JP2017173252A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】画像を再生する際にその画像を見る人が被写体の特徴を直感的にとらえることを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定部と、撮影方向の変化の有無に応じて複数の画像に写る被写体の位置の変化量を算出する変化量算出部と、変化量に関連する被写体の情報を表示する補助画像のデータを作成する補助画像作成部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、被写体の三次元的な位置を測定する技術が知られている。例えば、特許文献１には、撮影画面上の飛翔体の三次元位置を演算する技術が開示されている。この技術では、画面中心位置からの高さと水平距離を測定位置原点から飛翔体までの距離、相対高さ仰角および相対方位から演算し、この演算結果を用いて飛翔体の三次元位置の座標を演算する。

特開２０１１−９５１１２号公報

しかしながら、上述した従来技術は、演算によって得られた三次元位置の座標を用いて飛翔図などのマップを作成して表示することが目的であるため、画像を再生する際に画像を見る人が撮影対象である被写体の特徴を直感的にとらえることが難しかった。

本発明は、上記に鑑みてなされたものであって、画像を再生する際にその画像を見る人が被写体の特徴を直感的にとらえることを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定部と、前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出部と、前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成部と、を備えたことを特徴とする。

本発明に係る画像処理方法は、連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定ステップと、前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出ステップと、前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定ステップと、前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出ステップと、前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、再生中の画像に被写体の情報を表示する補助画像を挿入して表示するため、画像を再生する際にその画像を見る人が被写体の特徴を直感的にとらえることが可能となる。

図１は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。 図２は、変化判定部が撮影方向の変化があると判定する場合の状況を模式的に示す図である。 図３は、ユーザが被写体の動きに追従して撮像装置を操作している場合の異なる２つのフレームの画像を模式的に示す図である。 図４は、ユーザが被写体の動きに追従できずに撮像装置を操作している場合の異なる２つのフレームの画像を模式的に示す図である。 図５は、撮像装置の撮影方向が変化せず、ユーザが被写体の動きに追従して撮像装置を操作できていない場合の変化量を模式的に説明する図である。 図６は、表示部が表示する補助画像およびその前後の画像を重ねて模式的に示す図である。 図７は、履歴画像の表示部における表示例を示す図である。 図８は、撮像装置が行う処理の概要を示すフローチャート（その１）である。 図９は、撮像装置が行う処理の概要を示すフローチャート（その２）である。 図１０は、履歴画像作成部が行う履歴画像のデータ作成処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、以下の説明で参照する図面は模式的なものであって、同じ物体を異なる図面で示す場合には、寸法や縮尺等が異なる場合もある。

図１は、本発明の一実施の形態に係る画像処理装置を含む撮像装置の機能構成を示すブロック図である。同図に示す撮像装置１は、撮像パラメータに基づいて被写体を撮像して画像データを生成する撮像部２と、外部の音を集音して音声データを生成するマイクロフォン等からなる音声入力部３と、各種操作指示信号の入力を受け付ける入力部４と、撮像装置１の姿勢を検出する姿勢検出部５と、撮像部２が撮像した画像を含む各種情報を表示する表示部６と、音声を出力するスピーカ等からなる音声出力部７と、撮像装置１の動作を統括して制御する制御部８と、撮像装置１の動作等に関する情報を記憶する記憶部９と、を備える。

撮像部２は、１または複数のレンズを用いて構成され、被写体からの光を集光する光学系と、光学系を介して結像された光を光電変換して電気的な撮像信号を生成する撮像素子とを有する。光学系は、１または複数の各種光学素子を用いて構成される。撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconducter）またはＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて構成される。

入力部４は、表示部６の画面表示領域に積層して設けられるタッチパネルや、撮像装置１の本体表面に設けられ、静止画撮影の指示入力を受け付けるレリーズスイッチや動画撮影の開始および終了の指示入力を受け付ける動画スイッチを含む各種スイッチまたは各種ボタン等のユーザーインターフェースを用いて構成される。入力部４は、音声入力用のマイクロフォンを具備してもよい。

姿勢検出部５は、例えば互いに直交する３軸方向の加速度センサによって構成される。姿勢検出部５は、撮像装置１の３軸方向の加速度を検出することにより、撮像装置１の姿勢を検出する。

表示部６は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部６は、入力部４が入力を受け付けたレリーズ信号に応じた画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記憶部９が記憶する画像データを再生する再生表示、および撮像部２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等を行うことが可能である。また、表示部６は、撮像装置１の操作情報および撮像動作に関する情報を表示することが可能である。

制御部８は、本実施の形態に係る画像処理装置の機能を有する。制御部８は、画像処理部８１と、姿勢・動き判定部８２と、変化判定部８３と、変化量算出部８４と、タイミング判定部８５と、補助画像作成部８６と、履歴画像作成部８７と、表示制御部８８と、を有する。

画像処理部８１は、撮像部２が生成した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理済みの画像データを生成する。画像処理部８１が行う画像処理には、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、同時化処理（撮像部２の撮像素子がベイヤー配列のカラーフィルタを有する場合）、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等の少なくとも一部が含まれる。画像処理部８１は、上記各種処理後の画像データを所定の静止画または動画フォーマットにしたがって圧縮して出力する。静止画フォーマットとしては、例えばＪＰＥＧ、Ｅｘｉｆ等を挙げることができ、動画フォーマットとしては、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＡＶＣＨＤ等を挙げることができる。

姿勢・動き判定部８２は、姿勢検出部５の検出結果を用いて撮像装置１の姿勢を判定する一方、撮像部２が生成した画像データを用いて被写体の動きを判定する。動きを判定する場合には、例えば画像処理部８１が２枚の画像間における被写体の代表点の動きを示す動きベクトルを作成し、この動きベクトルを用いて被写体の動きを判定する。

変化判定部８３は、姿勢・動き判定部８２の判定結果に基づいて、撮像部２の撮影方向が変化したか否かを判定するとともに、画面内の被写体の位置が変化したか否かを判定する。変化判定部８３は、例えば所定の２つのフレーム（例えば隣接する２つのフレーム）を比較して背景の動きを判定することによって撮像部２の撮影方向の変化の有無を判定する。なお、撮像装置１に手振れ判定用の振動センサを撮像装置１に具備させた場合には、変化判定部８３が、振動センサの検出結果をもとに撮像部２の撮影方向の変化の有無を判定してもよい。

図２は、変化判定部８３が、撮影方向の変化があると判定する場合の状況を模式的に示す図である。図２では、撮像装置１のユーザ１０１が、スノーボードＳＢに乗っているスノーボーダー１０２を撮影対象としており、スノーボーダー１０２が滑走中にジャンプしている状況を動画撮影している状況を模式的に示している。図２に示す状況下では、ユーザ１０１が撮影方向を変化させたか否か、換言すればスノーボーダー１０２の動きに追従して撮像装置１を操作しているか否かに応じて処理を変える必要が生じる。以下、この点について具体的な例を挙げて説明する。

図３は、ユーザが被写体の動きに追従して撮像装置１を操作している場合の異なる２つのフレームの画像を模式的に示す図である。図３において、画像２０１におけるスノーボーダー１０２−１の位置と、その後で撮影される画像２０２におけるスノーボーダー１０２−２の位置は、ともに画面のほぼ中央部である。したがって、図３に示す場合、スノーボーダー１０２の位置は２つのフレーム間でほとんど変化しない。

これに対して、図４は、ユーザが被写体の動きに追従できずに撮像装置１を操作している場合の異なる２つのフレームの画像を模式的に示す図である。図４において、画像２０３におけるスノーボーダー１０２−３の位置は画面のほぼ中央部であるのに対し、画像２０４におけるスノーボーダー１０２−４の位置は画面の右上部である。このため、図４に示す場合には、スノーボーダー１０２の位置はフレーム間で大きく変化する。

変化判定部８３は、図３に示す状況を撮影方向が変化したと判定する一方、図４に示す状況を撮影方向が変化しないと判定する。

変化量算出部８４は、被写体の位置の変化量を算出する。例えば、図３に示すように、ユーザが被写体の動きに追従して撮像装置１を操作している場合、変化量算出部８４は、鉛直方向の変化量ΔＹを、水平方向に対する撮像部２の光軸方向の角度（仰角）の変化Δθを用いて、
ΔＹ＝Ｄ１・ｓｉｎΔθ ・・・（１）
によって算出する。以下、この変化量ΔＹを第１変化量という。ここで、右辺のＤ１は撮像装置１から被写体までの距離であり、ピント合わせ結果等をもとに求められる量であり、Δθは姿勢検出部５の検出結果から求められる。

図５は、撮像装置１の撮影方向が変化せず、ユーザが被写体の動きに追従して撮像装置１を操作できていない場合の変化量を模式的に説明する図である。図５において、撮像素子２１の検出範囲をＳ１とし、光学系２２の焦点距離をＦ１とすると、撮像部２がほとんど動かず、点Ｐに位置する被写体の代表点のＹ座標が点Ｐ’にΔＹだけ移動した場合において、その被写体までの距離がＤ１であるとき、変化量算出部８４は、撮像素子２１上の像の位置変化ΔＳ、距離Ｄ１および焦点距離Ｆ１を用いて、移動距離ΔＹを、
ΔＹ＝ΔＳ・Ｄ１／Ｆ１ ・・・（２）
によって算出する。以下、この変化量を第２変化量という。なお、式（２）では、時間的に連続して撮影したとき、画面の奥行方向の変化があまり起こらないことを前提としている。また、ここでは鉛直方向の変化量を説明したが、水平方向の変化量についても同様に算出することができる。さらに、撮像装置１の高さを基準として被写体の高さを求める場合において、点Ｐに位置する被写体の代表点を撮影した時点で撮像部２の光軸方向が水平方向に対して角度を有しているときには、この角度分を式（２）のΔＹに加えて求めればよい。

なお、ここで説明した変化量算出部８４の変化量算出処理はあくまでも一例であり、他にも例えば被写体の顔検出を行い、所定フレーム間の顔の回転量を変化量として算出することも可能である。

タイミング判定部８５は、画像再生時に補助画像のデータを作成して挿入するタイミングであるか否かを判定する。このタイミングとして、例えば被写体が画面上で動きを止めた直後のタイミングや、高さが最高点または最低点に到達した直後のタイミングなどを挙げることができる。より具体的には、例えば図２に示すようなスノーボードに乗っている人が滑走している状況を動画撮影する場合には、ジャンプして技が決まったタイミングや動きを止めたタイミングとして、最高点に到達した直後のタイミングを挙げることができる。また、野球のピッチャーが投球する状況を動画撮影する場合には、腕が伸びた状態や指先が最高点に到達した直後のタイミングを挙げることができる。また、ゴルファーがスイングする状況を動画撮影する場合には、ゴルフクラブの先端が最下点に到達した直後のタイミングを挙げることができる。このようにスポーツ競技の動画に補助画像を挿入するタイミングに関しては、挿入するタイミングの動作のテンプレートを予め記憶部９に記憶させておき、タイミング判定部８５がテンプレートマッチングを行うことによって挿入するタイミングを判定するようにしてもよい。

補助画像作成部８６は、補助画像のデータを作成する。図６は、表示部６が表示する補助画像およびその前後の画像を重ねて模式的に示す図である。図６において、補助画像３０１とその前に順次表示する画像２０５、２０６および補助画像３０１の後に表示する画像２０７を表示しており、画像の位置は撮影方向（高さ）に対応している。図６では、ユーザが被写体の動きに追従して撮像装置１を操作した場合における補助画像を示しており、画像２０ｎ（ｎ＝５、６、７）におけるスノーボーダー１０２−ｎの位置は全て画面のほぼ中央部である。補助画像３０１には、最高点の高さ情報３１１（○○（ｍ）と表示）の他、直前のフレームの被写体を模式的に網掛け表示したダミー画像ＤＭ、および被写体がジャンプしていることを示す「Ｊｕｍｐ」という文字が表示されている。補助画像３０１に被写体の速度情報をさらに表示してもよい。図６に示す場合、補助画像３０１は被写体が最高点に到達した画像２０６直後のタイミングで挿入される。補助画像３０１は、画像の視聴者が視認可能な程度の時間（例えば２〜３秒程度）表示される。なお、図６では補助画像３０１を識別可能とするためにその外縁を太枠で記載しているが、これは説明を明確化するための便宜的なものに過ぎない。また、ダミー画像は直前のフレームの画像を用いたものでなくてもよい。

補助画像作成部８６は、ダミー画像ＤＭに代えて、１フレーム前の画像２０６における被写体の画像を単に重畳して補助画像のデータを作成してもよいし、１フレーム前の被写体の画像に対して特殊効果処理を施した画像のデータを重畳してもよい。ここでいう特殊効果処理とは、複数の画像処理を組み合わせて視覚的な効果を生じさせる処理である。複数の画像処理とは、例えばソフトフォーカス処理、シェーディング処理、合成処理、ＨＤＲ処理および彩度強調処理等である。

履歴画像作成部８７は、例えばスノーボードのハーフパイプを滑走する人を被写体とする場合のように、往復運動しているとみなしうる場合に時間とともに変化する履歴画像のデータを作成する。履歴画像作成部８７は、水平方向に関して、例えば水平方向の加速度センサの検出結果を用いて２回積分することによって位置情報を取得してもよい。また、履歴画像作成部８７は、画像における被写体の水平方向の動きの変化を速度に換算し、その速度を用いて各時刻の位置情報を取得してもよい。なお、履歴画像作成部８７が作成する履歴画像において表示される履歴は、往復動に限られるわけではなく、所定の軌跡を描く履歴を作成可能である。例えば、履歴画像作成部８７は、ゴルファーがボールを打つ際に描く軌道のように、略円軌道に沿って回転した履歴を表示する履歴画像を作成することも可能である。

図７は、履歴画像の表示部６における表示例を示す図である。同図に示す履歴画像４０１は、スノーボードのハーフパイプを滑走するスノーボーダーを被写体とした場合の履歴４１１を示している。履歴画像４０１にはダミー画像ＤＭも表示されている。ただし、ダミー画像ＤＭの表示は必須ではない。本実施の形態では、動画再生終了時に履歴画像を表示するものとして説明するが、動画再生を開始する直前に履歴画像を表示してもよいし、動画再生中の適当なタイミングで履歴画像を挿入して表示してもよい。

表示制御部８８は、表示部６における画像等の表示を制御する。表示制御部８８は、補助画像や履歴画像を適宜挿入して表示する。表示制御部８８は、例えば補助画像を挿入して表示する際、補助画像表示前は再生画像のフレームレートを徐々に落として表示する一方、補助画像挿入後は再生画像のフレームレートを徐々に上げて表示する制御を行ってもよい。

以上の機能構成を有する制御部８は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサを用いて構成される。

記憶部９は、各種画像のデータを記憶する画像データ記憶部９１と、本実施の形態に係る撮像方法を実行するための撮像プログラムを含む各種プログラムを記憶するプログラム記憶部９２と、を有する。

記憶部９は、ＲＡＭ（Random Access Memory）等の揮発性メモリおよびＲＯＭ（Read Only Memory）等の不揮発性メモリを用いて構成される。このうち、ＲＡＭは、画像処理部８１から入力される処理済みの画像データおよび撮像装置１の処理中の情報を一時的に記憶する一時記憶部としての機能を有する。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部９を構成してもよい。

図８および図９は、撮像装置１が行う処理の概要を示すフローチャートである。まず、図８を参照して説明する。撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、表示制御部８８は、撮像部２が連続的に生成したライブビュー画像データに対応するライブビュー画像を表示部６に表示させる（ステップＳ１０２）。

続いて、姿勢・動き判定部８２は、姿勢検出部５の検出結果に基づいて撮像装置１の姿勢を判定して判定結果を記憶部９へ記録する（ステップＳ１０３）。また、姿勢・動き判定部８２は、撮像部２が生成した画像データを用いて被写体の動きを判定し、判定結果を記憶部９へ書き込んで記憶させる（ステップＳ１０４）。なお、姿勢・動き判定部８２が、他のタイミングで姿勢・動き判定を行うようにしてもよい。

この後、入力部４のレリーズスイッチが静止画撮影の指示入力を受け付けた場合（ステップＳ１０５：Ｙｅｓ）、制御部８は、撮像部２に静止画撮影を実行させる（ステップＳ１０６）。この場合、画像処理部８１は、撮像部２が生成した画像データ（ＲＡＷデータ）に対して所定の画像処理を行う。

その後、画像処理部８１は、静止画の画像データを画像データ記憶部９１に書き込んで記憶させる（ステップＳ１０７）。この際、画像処理部８１は、撮像部２が生成した画像データをリサイズ処理して静止画のサムネイルを作成し、そのサムネイルに対応する処理済みの画像データと対応付けて画像データ記憶部９１に記憶させる。

続いて、表示制御部８８は、撮像部２が生成した静止画の画像データに対応する静止画を所定時間（例えば３秒）だけ表示部６に表示させる（ステップＳ１０８）。

その後、入力部４を介して撮像装置１の電源がオフになった場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は、一連の処理を終了する。これに対して、入力部４を介して撮像装置１の電源がオフになっていない場合（ステップＳ１０９：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。

ステップＳ１０５において、入力部４のレリーズスイッチが静止画撮影の指示入力を受け付けない場合（ステップＳ１０５：Ｎｏ）、撮像装置１はステップＳ１１０へ移行する。

続いて、入力部４の動画スイッチが動画撮影の開始指示信号の入力を受け付けた場合（ステップＳ１１０：Ｙｅｓ）、制御部８は動画撮影を開始する制御を行う（ステップＳ１１１）。具体的には、制御部８は、撮像部２に所定の動画フォーマットに従って動画撮影を実行させるとともに、画像処理部８１が撮像部２によって連続的に生成された画像データに対して画像処理を実行し、音声入力部３が生成した音声データを加えて動画ファイルの生成を開始する。なお、動画を撮影する際のフレームレートは、ユーザが入力部４を操作して所望のフレームレートを選択して設定することが可能である。

その後、動画スイッチが動画撮影の終了指示信号の入力を受け付けた場合（ステップＳ１１２：Ｙｅｓ）、制御部８は、動画撮影を終了する制御を行う（ステップＳ１１３）。動画撮影の終了指示信号の入力を受け付けない場合（ステップＳ１１２：Ｎｏ）、撮像装置１はステップＳ１１２を繰り返す。

続いて、画像処理部８１は、動画の画像データを画像データ記憶部９１に書き込んで記憶させる（ステップＳ１１４）。この際、画像処理部８１は、動画データを構成する最初のフレームの画像データを用いて動画のサムネイルを作成し、そのサムネイルに対応する動画ファイルと対応付けて画像データ記憶部９１に書き込んで記憶させる。この後、撮像装置１はステップＳ１０９へ移行する。

ステップＳ１１０で動画撮影操作がない場合（ステップＳ１１０：Ｎｏ）、撮像装置１はステップＳ１０９へ移行する。

次に、撮像装置１が撮影モードに設定されておらず（ステップＳ１０１：Ｎｏ）、撮像装置１が再生モードに設定されている場合（ステップＳ１１５：Ｙｅｓ）を説明する。この場合、表示制御部８８は、画像データ記憶部９１が記憶する静止画または動画のサムネイルを表示部６に順次表示するサムネイル表示を行う（ステップＳ１１６）。

続いて入力部４が、表示部６が表示する複数のサムネイルのいずれか一つの選択入力を受け付けた場合（ステップＳ１１７：Ｙｅｓ）、選択された画像が動画であれば（ステップＳ１１８：Ｙｅｓ）、表示制御部８８は、選択された動画の表示部６における再生を開始させる（ステップＳ１１９）。なお、入力部４が、表示部６が表示する複数のサムネイルのいずれか一つの選択入力を受け付けない場合（ステップＳ１１７：Ｎｏ）、撮像装置１はステップＳ１０９へ移行する。

ステップＳ１１９に続く処理については、図９を参照して説明する。ステップＳ１２０において、変化判定部８３は、撮像部の撮影方向が変化したか否かを判定する（ステップＳ１２０）。撮影方向が変化した場合（ステップＳ１２０：Ｙｅｓ）において、被写体の画面内の位置が変化しないとき（ステップＳ１２１：Ｎｏ）、変化量算出部８４は、式（１）に基づいて第１変化量を算出する（ステップＳ１２２）。この状況は、図４に示すように、ユーザが被写体の動きに追従して撮像装置１を操作している状況に相当している。この後、撮像装置１は、後述するステップＳ１２５へ移行する。ステップＳ１２１において被写体の画面内の位置が変化したとき（ステップＳ１２１：Ｙｅｓ）、撮像装置１は後述するステップＳ１２９へ移行する。

一方、ステップＳ１２０で撮影方向が変化しない場合（ステップＳ１２０：Ｎｏ）において、被写体の画面内の位置が変化したとき（ステップＳ１２３：Ｙｅｓ）、変化量算出部８４は、式（２）に基づいて第２変化量を算出する（ステップＳ１２４）。この状況は、図５に示すように、ユーザが被写体の動きに追従させることができずに撮像装置１を操作している状況に相当している。ステップＳ１２４の後、撮像装置１はステップＳ１２５へ移行する。ステップＳ１２３において被写体の画面内の位置が変化しないとき（ステップＳ１２３：Ｎｏ）、撮像装置１は後述するステップＳ１２９へ移行する。

ステップＳ１２２またはＳ１２４の後に行うステップＳ１２５において、タイミング判定部８５は、ステップＳ１２２で算出した第１変化量またはステップＳ１２４で算出した第２変化量に基づいて補助画像を挿入して表示するタイミングを判定する（ステップＳ１２５）。

タイミング判定部８５が、補助画像を表示するタイミングであると判定した場合（ステップＳ１２６：Ｙｅｓ）、補助画像作成部８６はそのタイミングで表示される画像の情報を用いて補助画像のデータを作成する（ステップＳ１２７）。ここでいう画像の情報とは、例えば被写体の高さ、速度、または向きに関する情報のうちの少なくともいずれかである。なお、動画撮影の直後にタイミング判定部８５が補助画像を表示するタイミングを判定し、その判定結果に基づいて補助画像作成部８６が補助画像のデータを作成するようにしてもよい。また、画像の情報を、被写体の高さ、速度、または向き等の実測値を利用して予測した結果としてもよい。なお、ステップＳ１２６において、タイミング判定部８５が、補助画像を表示するタイミングでないと判定した場合（ステップＳ１２６：Ｎｏ）、撮像装置１はステップＳ１２９へ移行する。このタイミングは、再生表示の途中でも前後でも良いことは言うまでもない。再生前に表示すれば期待感が高まり、鑑賞者、観察者の注意を振り向けることができる。また、再生後に表示すると結末や予測を楽しむことができ、エンディングやつなぎの効果となる。

この後、表示制御部８８は、補助画像を表示部６に表示させる（ステップＳ１２８）。図６に示す補助画像３０１は、補助画像の表示部６における一表示例である。

その後、入力部４が再生を終了する指示入力を受け付けた場合（ステップＳ１２９：Ｙｅｓ）、履歴画像作成部８７は履歴画像のデータを作成する（ステップＳ１３０）。入力部４が再生を終了する指示入力を受け付けない場合（ステップＳ１２９：Ｎｏ）、撮像装置１はステップＳ１２１に戻る。なお、履歴画像作成部８７は、再生終了指示とは無関係に、動画データが生成された時点で予め履歴画像のデータを作成し、画像データ記憶部９１に記憶させておくようにしてもよい。

図１０は、履歴画像作成部８７が行う履歴画像のデータ作成処理（ステップＳ１３０）の概要を示すフローチャートである。まず履歴画像作成部８７は、有効データ判定を行う（ステップＳ２０１）。ここでいう有効データとは、被写体の動きに関する履歴を表す上で有効なデータのことであり、例えば複数フレームにわたって追尾することができる被写体の代表点等である。

続いて、履歴画像作成部８７は、被写体の大きさの変化を判定する（ステップＳ２０２）。被写体の大きさの変化が小さいと判定した場合（ステップＳ２０２：Ｙｅｓ）、履歴画像作成部８７はステップＳ２０３へ移行する。一方、被写体の大きさの変化が大きいと判定した場合（ステップＳ２０２：Ｎｏ）、履歴画像作成部８７は履歴画像作成処理を終了する。ここでの被写体の大きさの変化量は、例えば複数の代表点間の距離のフレーム間の変化量が閾値を超えているか否かによって判定される。

ステップＳ２０３において、履歴画像作成部８７は、被写体の繰返し動作の起点と終点を判定する（ステップＳ２０３）。被写体の繰返し動作の起点と終点の判定が可能である場合（ステップＳ２０３：Ｙｅｓ）、履歴画像作成部８７は、ステップＳ２０４へ移行する。一方、被写体の繰返し動作の起点と終点の判定が不可能である場合（ステップＳ２０３：Ｎｏ）、履歴画像作成部８７は履歴画像作成処理を終了する。

ステップＳ２０４において、履歴画像作成部８７は、有効データをプロットする（ステップＳ２０４）。その後、履歴画像作成部８７は、プロットした有効データを補間して被写体の履歴を描画する処理を行う（ステップＳ２０５）。これにより、履歴画像のデータが完成し、履歴画像作成部８７は一連の処理を終了する。図７に示す履歴画像４０１は、このステップＳ２０５で表示する履歴画像の一表示例である。このような履歴画像を見た人は、被写体の時間的な推移を予測したり、動きに応じた速さや高さ等の量を計測したりすることが可能となる。なお、図７に示すように全ての履歴を一度に表示するだけでなく、時間の経過とともに履歴を徐々に描画していくような表示を行うことも可能である。また、履歴画像に基づいて将来的な被写体の移動（時間推移）に関する予測を行い、その予測結果を表示するようにしてもよい。

再び図９に戻り、ステップＳ１３０の後に撮像装置１が行う処理を説明する。履歴画像のデータがある場合（ステップＳ１３１：Ｙｅｓ）、表示制御部８８は、その履歴画像を表示部６に表示させる（ステップＳ１３２）。この後、撮像装置１は上述したステップＳ１０９（図８を参照）へ移行する。一方、ステップＳ１３１において履歴画像のデータがない場合（ステップＳ１３１：Ｎｏ）、撮像装置１はステップＳ１０９へ移行する。

再び図８を参照して、ステップＳ１１８において静止画サムネイルが選択された場合（ステップＳ１１８：Ｎｏ）を説明する。この場合、表示制御部８８は、選択された静止画を表示部６に表示させる（ステップＳ１３３）。

続いて、入力部４が再生画像を変更する指示入力を受け付けた場合（ステップＳ１３４：Ｙｅｓ）、表示制御部８８は、指示に応じて変更した画像を表示部６に再生表示させる（ステップＳ１３５）。具体的には、入力部４が画像変更の指示入力を受け付けると、表示制御部８８は、まず選択可能な画像を表示部６にサムネイル表示させ、ユーザに変更する画像の選択入力を促す。この後、サムネイル表示している画面上で入力部４がサムネイルの選択入力を受け付けると、表示制御部８８は表示部６に対し、選択されたサムネイルに対応する静止画を拡大して再生表示させる。この後、撮像装置１はステップＳ１０９へ移行する。

ステップＳ１３４において、入力部４が再生画像を変更する指示入力を受け付けない場合（ステップＳ１３４：Ｎｏ）、表示制御部８８はステップＳ１０９へ移行する。

最後に、ステップＳ１１５で撮像装置１が再生モードに設定されていない場合（ステップＳ１１５：Ｎｏ）を説明する。この場合、撮像装置１はその他の設定可能なモードへ移行する。その他の設定可能なモードについての記載は省略する。

以上説明した本発明の一実施の形態によれば、連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定し、撮影方向の変化の有無に応じて複数の画像に写る被写体の位置の変化量を算出し、変化量に関連する被写体の情報を表示する補助画像のデータを作成するため、再生画像を見る人は、補助画像を通じて被写体の特徴を直感的に把握することが可能となる。

また、本実施の形態によれば、動画再生中に補助画像を挿入することで、変化のある動画再生を実現することができる。

また、本実施の形態によれば、再生画像に付随して被写体の履歴画像を表示するため、再生画像を見る人は、被写体に特徴的な履歴を直感的に把握することができる。

なお、上述した撮像装置１は、撮像部２を含む撮像機能を有するレンズ型のカメラと、このカメラと通信可能なスマートフォンなどの携帯機器とを用いて構成してもよい。この場合、本実施の形態に係る画像処理装置の機能をカメラ側で実現してもよいし、携帯機器側で実現してもよい。

撮像装置１に対して被写体の動きに関する計測機能や予測機能を具備させれば、監視カメラや車載カメラなどにも適用することができる。この場合、撮像装置１を固定する位置や可動範囲に応じて、ＧＰＳ（Global Positioning System）から取得する位置情報、仰角情報、および方位情報などを含み、被写体の動きや位置変化を計測または予測するための各種情報の数を多くしたり、各種情報の精度を高くしたりすることができる。各種情報の数を多くして高精度な情報を取得可能とした場合には、多くの情報を有する多彩な補助画像を作成することが可能となる。

また、上述した撮像装置１は、例えば医療用および工業用の内視鏡のように、撮像機能を備えた装置全般とすることも可能である。この場合には、本実施の形態に係る画像処理装置の機能をプロセッサ側に具備させればよい。

また、上述した撮像装置１を、顕微鏡や測定用観察機器に適用することも可能である。この場合には、補助画像によってユーザの視認性を補助することも可能である。なお、被写体の動きのみならず、装置自体の動きを可視化して、ユーザによる操作を補助するようにしてもよい。

本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記憶部が記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記憶部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１・・・撮像装置；２・・・撮像部；３・・・音声入力部；４・・・入力部；５・・・姿勢検出部；６・・・表示部；７・・・音声出力部；８・・・制御部、９・・・記憶部；２１・・・撮像素子；２２・・・光学系；８１・・・画像処理部；８２・・・姿勢・動き判定部；８３・・・変化判定部；８４・・・変化量算出部；８５・・・タイミング判定部；８６・・・補助画像作成部；８７・・・履歴画像作成部；８８・・・表示制御部；９１・・・画像データ記憶部；９２・・・プログラム記憶部；１０１・・・ユーザ；１０２・・・スノーボーダー；２０１〜２０７・・・画像；３０１・・・補助画像；３１１・・・情報；４０１・・・履歴画像；４１１・・・履歴；ＤＭ・・・ダミー画像；ＳＢ・・・スノーボード

Claims (10)

1. 連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定部と、
   前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出部と、
   前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記複数の画像を再生する際に該複数の画像のいずれかに隣接するタイミングで前記補助画像を挿入して表示部に再生表示させる表示制御部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像の再生中に前記補助画像を挿入するタイミングを判定するタイミング判定部をさらに備え、
   前記表示制御部は、
   前記タイミング判定部の判定結果に基づいて前記補助画像を前記表示部に表示させることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の画像の代表点の時間的な履歴を示す履歴画像のデータを作成する履歴画像作成部をさらに備え、
   前記表示制御部は、
   前記複数の画像を前記表示部に再生表示させる際、予め設定されたタイミングで前記履歴画像を前記表示部に表示させることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記履歴画像は、
   前記被写体の往復動の履歴を表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記変化判定部は、
   異なる画像間において前記被写体の画面中の位置が変化したか否かをさらに判定し、
   前記変化量算出部は、
   前記撮影方向の変化の有無および前記被写体の画面中の位置の変化の有無に応じて前記変化量を算出することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記変化判定部は、
   前記複数の画像を撮影した撮像装置の姿勢および動きの変化に関する情報に基づいて前記撮影方向の変化の有無を判定することを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記補助画像は、
   前記撮影方向の変化がある状態が続いてから該変化がなくなった時点における前記被写体の代表点の高さ情報を含むことを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
9. 連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定ステップと、
   前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出ステップと、
   前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成ステップと、
   を含むことを特徴とする画像処理方法。
10. 連続して撮影した複数の画像のデータを用いて該複数の画像の撮影方向の変化の有無を判定する変化判定ステップと、
    前記撮影方向の変化の有無に応じて前記複数の画像に写る被写体の位置の変化量を算出する変化量算出ステップと、
    前記変化量に関連する前記被写体の情報を表示する補助画像のデータを作成する補助画像作成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images