JP2006254129A - ヒストグラム表示装置 - Google Patents

Abstract

【課題】一連の被写体画像からなる動画像とともにヒストグラムを表示するときの利便性を向上させることが可能となるヒストグラム表示装置を提供する。
【解決手段】例えばスルー画像１０１の表示中、画像内で被写体の任意の一部に設定したオートフォーカス用のＡＦエリア１０１ａを追尾させる。ヒストグラムの更新時に、人物１０２の移動に伴い、画像内のＡＦエリア１０１ａがヒストグラム１０３の表示域と重なる位置に移動していたら、ヒストグラム１０３の表示域をＡＦエリア１０１ａと重ならない他の領域に自動的に変更することにより、ヒストグラム１０３をＡＦエリア１０１ａに重ならない場所に逃がす。ヒストグラム１０３によってＡＦエリア１０１ａが見えにくくなる事態を回避する。
【選択図】 図４

Description

本発明は、デジタルカメラに用いて好適なヒストグラム表示装置に関するものである。

従来、デジタルカメラにおいては、例えばＬＣＤなどの表示装置に、撮影待機状態で撮像した被写体のスルー画像を表示する間、その一部に被写体画像の輝度分布を示すヒストグラムを表示する機能を備えたものが多い。また、例えば下記特許文献１には、ヒストグラムとして、画像全体の輝度分布のみならず、特定範囲（ターゲット領域）の輝度分布を示すヒストグラムを表示させたり、さらにユーザーによるターゲット領域の指定を可能とすることにより、撮影者に対してより細かな輝度情報の提供を可能とするカメラが記載されている。
特開２００４−２０８０２８号公報

しかしながら、上記のようにユーザーがヒストグラムのターゲット領域を指定可能であったとしても、撮影者がヒストグラムを利用するときの状況を考えると、以下のような問題があった。すなわち、主たる被写体が存在する領域をヒストグラムのターゲット領域としたい場合、撮影者は、主たる被写体が移動する毎に、ターゲット領域を指定し直すといった煩雑な作業を余儀なくされるという問題があった。また、主たる被写体の位置がヒストグラムの表示位置と重なると被写体もしくはヒストグラムが見づらくなるといった問題もあった。

本発明は、かかる従来の課題に鑑みてなされたものであり、一連の被写体画像からなる動画像とともにヒストグラムを表示するときの利便性を向上させることが可能となるヒストグラム表示装置の提供を目的とする。

前記課題を解決するため請求項１の発明にあっては、動画像の表示に際し、動画像とともにヒストグラムを表示するヒストグラム表示装置であって、前記動画像を取得する動画像取得手段と、この動画像取得手段により取得される動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する領域取得手段と、この領域取得手段により取得された領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成する作成手段と、前記動画像とともに、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示手段に表示させる表示制御手段とを備えたものとした。

かかる構成においては、動画像を表示している間、動画像の一部には、常に、先行して設定された被写体部分に対応する注目領域をターゲット領域としたヒストグラムが表示される。したがって、ヒストグラムの対象である特定の被写体部分が画面内で移動する場合であっても、ターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、その被写体部分のヒストグラムを継続して確認することができる。

また、請求項２の発明にあっては、前記表示制御手段は、前記動画像中に、前記領域取得手段に取得された領域情報により示される注目領域を表わす注目枠を表示させる枠表示手段を含むものとした。

また、請求項３の発明にあっては、前記表示制御手段は、前記動画像の一部であって、前記領域取得手段に取得された領域情報により示される注目領域と重ならない表示域に、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示させるものとした。

かかる構成においては、ヒストグラムの対象である特定の被写体部分が画面内で移動する場合であっても、ヒストグラムの表示領域が常に特定の被写体部分を避ける位置に自動的に変更されることにより、特定の被写体部分がヒストグラムによって見づらくなる状態が未然に回避される。

また、請求項４の発明にあっては、動画像の表示に際し、動画像の一部にヒストグラムを表示するヒストグラム表示装置であって、前記動画像を取得する動画像取得手段と、この動画像取得手段により取得される動画像に基づきヒストグラムデータを作成する作成手段と、 前記動画像取得手段により取得される動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する領域取得手段と、前記動画像の一部であって、前記領域取得手段により取得された領域情報により示される注目領域と重ならない表示域に、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示手段に表示させる表示制御手段とを備えたものとした。

かかる構成においては、ヒストグラムの表示領域が常に特定の被写体部分を避ける位置に自動的に変更されることにより、特定の被写体部分がヒストグラムによって見づらくなる状態が未然に回避される。

また、請求項５の発明にあっては、前記表示制御手段により表示手段に表示される動画像を撮像する撮像手段を備えたものとした。

かかる構成においては、撮像手段を有する構成において、撮影待機状態におけるスルー画像や、撮影中の動画像を表示しているとき、ヒストグラムの対象である特定の被写体部分が画面内で移動する場合であっても、ターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、その被写体部分のヒストグラムを継続して確認することができたり、その被写体部分がヒストグラムによって見づらくなる状態が未然に回避されたりする。

また、請求項６の発明にあっては、前記表示制御手段により表示手段に表示される動画像を撮像する撮像手段と、この撮像手段により撮像された動画像を記録する画像記録手段と、前記領域取得手段により取得された領域情報を、前記動画像と対応付けて前記画像記録手段に記録させる記録制御手段と、前記画像記録手段から前記動画像、及び当該動画像に対応付けられている領域情報を読み出す読み出し手段とを備え、前記表示制御手段は、前記読み出し手段によって読み出された動画像を表示し、前記作成手段は、前記読み出し手段によって読み出された動画像に対応付けられている領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成するものとした。

かかる構成においては、撮像手段を有する構成において、記録した動画像を再生しているとき、ターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、その被写体部分のヒストグラムを継続して確認することができたり、その被写体部分がヒストグラムによって見づらくなる状態が未然に回避されたりする。

また、請求項７の発明にあっては、前記領域取得手段に取得された領域情報により示される注目領域をフォーカス領域としてフォーカス制御を行うフォーカス制御手段を備えたものとした。

かかる構成においては、撮像手段を有する構成において、撮影待機状態におけるスルー画像や、撮影中の動画像を表示しているとき、ヒストグラムの表示対象であるフォーカス領域が画面内で移動する場合であっても、フォーカス領域をターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、フォーカス領域のヒストグラムを継続して確認することができたり、フォーカス領域がヒストグラムによって見づらくなる状態が未然に回避されたりする。

また、請求項８の発明にあっては、動画像の表示に際し、動画像とともにヒストグラムを表示するヒストグラム表示装置が有するコンピュータに、前記動画像を取得する処理と、取得した動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する処理と、取得した領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成する処理と、前記動画像とともに、前記ヒストグラムデータに基づくヒストグラムを表示させる処理とを実行させるためのプログラムとした。

また、請求項９の発明にあっては、動画像の表示に際し、動画像の一部にヒストグラムを表示するヒストグラム表示装置が有するコンピュータに、前記動画像を取得する処理と、取得した動画像に基づきヒストグラムデータを作成する処理と、取得した動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する処理と、前記動画像の一部であって、取得した領域情報により示される注目領域と重ならない表示域に、前記ヒストグラムデータに基づくヒストグラムを表示手段に表示させる処理とを実行させるためのプログラムとした。

以上のように本発明においては、ヒストグラムの対象である特定の被写体部分が画面内で移動する場合であっても、ターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、その被写体部分のヒストグラムを継続して確認することができるようにした。よって、一連の被写体画像からなる動画像にヒストグラムを表示するときの利便性を向上させることが可能となる。

また、特定の被写体部分が画面内で移動する場合であっても、ヒストグラムの表示領域が常に特定の被写体部分を避ける位置に自動的に変更されることにより、特定の被写体部分がヒストグラムによって見づらくなる状態が未然に回避されるようにした。よって、一連の被写体画像からなる動画像にヒストグラムを表示するときの利便性を向上させることが可能となる。

また、撮像手段を有する構成において、撮影待機状態におけるスルー画像や、撮影中の動画像を表示しているとき、記録した動画像を再生しているとき等において、フォーカス領域等の特定の被写体部分が画面内で移動する場合であっても、ターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、その被写体部分のヒストグラムを継続して確認することができたり、その被写体部分がヒストグラムによって見づらくなる状態が未然に回避されることから、撮像手段を有する各種装置においてヒストグラムを表示するときの利便性を向上させることが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、後述する各実施の形態に共通するデジタルカメラの電気的構成の概略を示すブロック図である。このデジタルカメラは、撮影モードして静止画撮影モード及び動画撮影モードを有するものであり以下の構成を備えている。

すなわちカメラ本体１にはフォーカスレンズを含む光学系２、及び光学系２を介して自己の受光面に被写体の光像が結像される撮像手段であるＣＣＤ３が配置されている。ＣＣＤ３はタイミングジェネレータ７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ３からの出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整が行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換されたベイヤデータはＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６では、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のための処理も行われる。

ＤＳＰ部６から出力されたＹＵＶデータは解像度変換ブロック８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示器）１２によりスルー画像として表示される。ＬＣＤ１２は、静止画又は動画撮影モードで必要に応じて後述するヒストグラムを表示することにより本発明の表示手段として機能する。

また、静止画撮影モードでは、内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは、前記データ圧縮伸長ブロック９でＪＰＥＧ方式等でデータ圧縮した後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０に静止画データ（静止画ファイル）として記録される。さらに動画撮影モードでは、内蔵メモリ１４に格納されたＹＵＶデータは順次データ圧縮伸長ブロック９へ送られ、所定の動画記録方式（例えばＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後コード化され、最終的にはメディアコントローラ１０を介して動画ファイルとして記録メディア２０（画像記録手段）に記録される。また、データ圧縮伸長ブロック９は、静止画又は動画の再生時には記録メディア２０から読み出された静止画や動画のデータを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ１４の画像データ作業領域に展開する。

音声処理ブロック１５は、音声付の動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータは、動画ファイルと共に記録メディア２０に記録される。また、音声処理ブロック１５は、音声付動画の再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。

キー入力ブロック１８は、電源キーと、静止画撮影モード、動画撮影モード、再生モードの各モードの切り替えを行うモード切替キー、ＭＥＮＵキー、シャッターキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。なお、シャッターキーは動画撮影時には録画開始／終了ボタンとしても機能する。

フォーカスドライバ２１は、ＡＦ制御時にＣＰＵ１３から送られる制御信号に基づき光学系２を構成するフォーカスレンズを光軸方向に駆動するとともに、フォーカスレンズの位置情報をＣＰＵ１３に逐次出力する。なお、上記ＡＦ制御は、ＣＣＤ３によって撮像された画像データから得られるＡＦ評価値（コントラスト値）によるコントラスト検出方式に基づくものである。

プログラムメモリ１９はＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであり、プログラムメモリ１９には、ＣＰＵ１３に各ブロックの制御を行わせるためのプログラム、及びその制御に際して使用されるデータが記憶されている。また、上記プログラムやデータ以外にも、ユーザーにより設定されたシステムや各機能に関する各種の設定データが随時記憶される。

ＣＰＵ１３は、前記内蔵メモリ１４を必要に応じてワーキングメモリとして使用しながら、上記プログラムに従いキー入力信号に基づき動作することにより前述した各ブロックを制御するとともに、特に本発明の領域取得手段、作成手段、表示制御手段、枠表示手段、フォーカス制御手段として機能する。

次に、以上の構成からなるデジタルカメラの本発明に係る動作を説明する。図２は、デジタルカメラにおいて静止画撮影モードが選択されている間にＣＰＵ１３が実行する処理内容を示したフローチャートである。

ここで、以下の説明では、ＡＦモードとして、画像内に設定したフォーカス検出用のＡＦエリアを被写体の動きに追従して移動する自動追尾式のＡＦモードを有しており、係るＡＦモードが設定されているものとする。なお、係るＡＦモードにおいてＡＦエリアを被写体の動きに追従させる技術は既存のものであり、例えば以下のような方法によるものとする。すなわち連続して撮影された現在よりも１つ前の画像（ｉ−１フレーム）中の予め設定された追跡目標を含む探索エリアの画像データを参照画像データとして記憶しておき、現在の画像（ｉフレーム）中に設定した探索エリアの画像データと、上記参照画像データとの相関演算を行う。その際、相関度が高ければその探索エリア内に追跡目標が存在するものとして、相関度が最大となる探索エリア（注目領域）を探し、その探索エリアの画像データを参照画像データとして更新記憶するといった処理を繰り返す。そして、係る探索エリアに合わせてＡＦエリアを決定するものとする。また、ＡＦエリアのサイズは固定されているものとする。

以下、静止画撮影モードにおけるＣＰＵ１３の処理手順を図２に従って説明する。ＣＰＵ１３は、ユーザーによる静止画撮影モードの設定に伴い、所定のフレームレートでのＣＣＤ３による被写体画像の撮像、及び撮像により取得した画像データに基づくＬＣＤ１２によるスルー画像の表示を開始した後（ステップＳＡ１）、前述した方法により主たる被写体の位置を検出してＡＦエリアを設定し、設定したＡＦエリア内の画像データにおいて高周波成分のレベル（コントラスト値）が最も高くなる位置（合焦位置）へフォーカスレンズを移動するＡＦ制御を行うとともに、ＡＦエリアを表わす注目枠１０１ａ（図４参照）を表示させる（ステップＳＡ２）。なお、ここでは、ＡＦ制御において追尾する被写体は、任意の時点でユーザーにより所定のキー操作が行われた時点でスルー画像内の中央部に位置していた部分の被写体であるものとする。そして、ＡＦエリアを更新したら、ヒストグラム表示処理を行う（ステップＳＡ３）。

ヒストグラム表示処理では、図３に示したように、まず、ステップＳＡ１で撮像された画像データに基づき、被写体画像のうち前述したＡＦエリア部分について輝度値別に画素数を累計してヒストグラムデータを作成する（ステップＳＡ１１）。次に、その時点におけるヒストグラムの表示域（処理開始当初は、予め決められている場所）が、前述したＡＦ制御によって設定したＡＦエリアと重ならなければ（ステップＳＡ１２でＮＯ）、前記ヒストグラムデータに基づくヒストグラムを、表示中のスルー画像における現在設定されている表示域に重畳して表示する（ステップＳＡ１４）。

これに対し、現在設定されている表示域が、前述したＡＦ制御によって設定したＡＦエリアと重なっていたときには（ステップＳＡ１２でＹＥＳ）、その表示域として、ＡＦエリアと重ならない新たな表示域を設定した後（ステップＳＡ１３）、前記ヒストグラムデータに基づくヒストグラムを、表示中のスルー画像における新たな表示域に重畳して表示する（ステップＳＡ１４）。なお、本実施の形態では、設定可能なヒストグラムの表示域として複数の領域が予め決められているとともに、それらの表示域の座標データがプログラムメモリ１９に記憶されており、当該座標データに基づきＣＰＵ１３がステップＳＡ１２の判断を行う。

そして、上記処理が終了した後には図２への処理へ戻り、シャッターキーが押されるまでは（ステップＳＡ４でＮＯ）、前述した処理を繰り返す。これにより一定周期でスルー画像を更新するとともに、主たる被写体の動きに追随してＡＦエリアを更新する。また、必要に応じＡＦエリアの移動、つまり被写体の動きに追従するようにヒストグラムの表示域を移動させる。しかる後、シャッターキーが押されたら（ステップＳＡ４でＹＥＳ）、その時点で記録画像の撮像を行うとともに、取得した画像データを圧縮し静止画ファイルとして記録メディア２０に記録し、１回の撮影動作を終了する。

図４に、上述した処理中におけるＬＣＤ１２の表示画面例を示す。同図（ａ）は、ある時点のスルー画像１０１を示したものであり、スルー画像１０１には人物１０２の顔部分（主たる被写体）に注目枠（ＡＦエリア）１０１ａが設定され、または画面右下部分にヒストグラム１０３が表示されている。同図（ｂ）は、同図（ａ）の時点から、例えば画角等の変更がない状態で人物１０２が移動したときの状態、同図（ｃ）は、人物１０２がさらに移動し、それに追従した注目枠１０１ａが、それまでのヒストグラム１０３の表示域と重なる位置まで移動した結果、ヒストグラム１０３の表示域が画面右上に変更された状態である。つまり静止画撮影モードでスルー画像を表示している間（撮影待機時）には、人物１０２が移動したとしても、当初設定された顔部分に追随してＡＦエリアが設定され、同時に、その領域をターゲット領域とするヒストグラム１０３が常に主たる被写体を避けるように自動的に移動することとなる。

また、図５は、上記デジタルカメラにおいてユーザーにより動画撮影モードが選択された後、記録操作が行われたとき、ＣＰＵ１３が実行する処理内容を示したフローチャートである。

動画撮影モードにおいてＣＰＵ１３は、ユーザーによる録画開始指示に応じて（ステップＳＡ２１でＹＥＳ）、所定のフレームレートでのＣＣＤ３による被写体画像の撮像、及び撮像により取得した画像データに基づくＬＣＤ１２によるスルー画像の表示を開始した後（ステップＳＡ２２）、フレームタイミングで取得した画像データを動画のフレームデータ（動画データ）として内蔵メモリ１４に順次記憶する（ステップＳＡ２３）。

引き続き、前述した方法により主たる被写体の位置を検出して、ＡＦエリアを更新し、更新したＡＦエリア内の画像データにおいて高周波成分のレベル（コントラスト値）が最も高くなる位置（合焦位置）へフォーカスレンズを移動するＡＦ制御を行うとともに、ＡＦエリアを表わす注目枠１０１ａ（図４参照）を表示させる（ステップＳＡ２４）。なお、動画撮影モードにおいては、ＡＦ制御において追尾する被写体を、録画開始指示が行われた時点でスルー画像内の中央部に位置していた部分の被写体であるものとする。そして、ＡＦエリアを更新したら、静止画撮影モードでスルー画像を表示しているときと同様に、図３に示したヒストグラム表示処理を行う（ステップＳＡ２５）。

そして、ヒストグラム表示処理が終了した後には図５への処理へ戻り、以後、ユーザーによる録画終了指示があるまでは（ステップＳＡ２６でＮＯ）、前述した処理を繰り返す。これにより一定周期でスルー画像を更新するとともに、主たる被写体の動きに追随してＡＦエリアを更新する。また、必要に応じＡＦエリアの移動、つまり被写体の動きに追従するようにヒストグラムの表示域を移動させる。しかる後、録画終了指示があったら（ステップＳＡ２６でＹＥＳ）、その時点で、内蔵メモリ１４に蓄積されている複数フレーム分の画像データからなる動画データを圧縮し、動画ファイルとして記録メディア２０に記録し（ステップＳＡ２７）、１回の録画動作を終了する。

これにより動画撮影中においても、静止画撮影モードによる撮影待機状態と同様、当初設定された人物１０２の顔部分（主たる被写体）に追随してＡＦエリアを設定させると同時に、ＡＦエリアをターゲット領域とするヒストグラム１０３を、常に主たる被写体を避けるように自動的に移動させることができる（図４参照）。

以上のように本実施の形態のデジタルカメラにおいては、静止画像や動画像の撮影に際してヒストグラムを表示するとき、主たる被写体の位置が変化したとしても、ヒストグラム１０３のターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、ＡＦエリアのヒストグラムを継続して確認することができる。しかもヒストグラムによってそれが見えにくくなることがない。よって、画面内にヒストグラムを表示するときの利便性を向上させることができる。

なお、本実施の形態においては、静止画像や動画像の撮影中にＡＦエリアを被写体に自動追尾し、そのＡＦエリアをターゲット領域とし、かつそれを避けるようにヒストグラムを表示させるようにしたが、静止画像や動画像の撮影中にＡＦエリアとは異なる被写体の一部に注目領域を設定して、その注目領域を被写体に自動追尾させ、その注目領域をターゲット領域とし、かつそれを避けるようにヒストグラムを表示させるようにしてもよい。また、設定可能なヒストグラムの表示域として複数の領域が予め決められているものとしたが、表示域を予め決めておくことなく、ヒストグラムを表示する時点でＡＦエリアの位置に応じて自動的に計算するものとしてもよい。また、被写体画像の一部に表示するヒストグラムを、ＡＦエリア等の注目領域のみの輝度分布を示すものとしたが、ヒストグラムは画面全体の輝度分布を示すものであっても構わない。

（実施形態２）
次に、本発明の第２の実施の形態を説明する。本実施の形態は、図１に示した構成のデジタルカメラにおいて、ＣＰＵ１３を本発明の領域取得手段、作成手段、表示制御手段、枠表示手段、フォーカス制御手段に加えて、記録制御手段および読み出し手段として機能させるためのプログラムが前記プログラムメモリ１９に記憶されており、動画像の記録時および再生時に以下の動作を行うものである。

図６は、ユーザーにより動画撮影モードが選択されて記録操作が行われるとき、ＣＰＵ１３が実行する処理内容を示したフローチャートである。

動画撮影モードにおいてＣＰＵ１３は、ユーザーによる録画開始指示に応じて（ステップＳＢ１でＹＥＳ）、所定のフレームレートでのＣＣＤ３による被写体画像の撮像、及び撮像により取得した画像データに基づくＬＣＤ１２によるスルー画像の表示を開始し（ステップＳＢ２）、フレームタイミングで取得した画像データを動画のフレームデータ（動画データ）として内蔵メモリ１４に順次記憶する（ステップＳＢ３）。さらに、その時点で設定されていたＡＦエリアの設定位置情報も記憶する（ステップＳＢ４）。ここで記憶する設定位置情報はＡＦエリアの四隅を示す座標データである。なお、本実施の形態のようにＡＦエリアの大きさが固定されている場合にはＡＦエリアの所定位置（例えば、中心位置）を示す座標データでもよい。

引き続き、前述した方法により主たる被写体の位置を検出して、ＡＦエリアを更新し、更新したＡＦエリア内の画像データにおいて高周波成分のレベル（コントラスト値）が最も高くなる位置（合焦位置）へフォーカスレンズを移動するＡＦ制御を実施する（ステップＳＢ５）。なお、本実施の形態においても、このときＡＦエリアを表わす注目枠１０１ａ（図４参照）を表示させるとともに、ＡＦ制御において追尾する被写体は、録画開始指示が行われた時点でスルー画像内の中央部に位置していた部分の被写体であるものとする。

そして、ユーザーによる録画終了指示があるまでは（ステップＳＢ６でＮＯ）、前述した処理を繰り返す。これにより一定周期でスルー画像を更新するとともに、主たる被写体の動きに追随してＡＦエリアを更新する。しかる後、録画終了指示があったら（ステップＳＢ６でＹＥＳ）、その時点で、内蔵メモリ１４に蓄積されている複数フレーム分の画像データからなる動画データを符号化により圧縮し記録メディア２０に記録する（ステップＳＢ７）。これにより１回の録画動作を終了する。

図７（ａ）は、ここで記録される動画ファイル２００のデータ構造の一例を示した図であり、図示したように、動画データ２０１は、所定のヘッダ情報２０２と共にＡＦエリア設定履歴データ２０２が付加された状態で記録メディア２０に記録される。また、ＡＦエリア設定履歴データ２０２は、同図（ｂ）に示すように、フレーム番号２０３ａと、それと対応するＡＦエリアの四隅の座標データ２０３ｂである。

一方、図８は、ユーザーにより再生モードが選択され、そこで再生対象として任意の動画像が指定されたとき、ＣＰＵ１３が実行する処理内容を示したフローチャートである。

動画再生に際してＣＰＵ１３は、選択された動画ファイル（動画データ）を記録メディア２０から読み出し（ステップＳＢ１１）、読み出した動画ファイルに前述したＡＦエリア設定履歴データ２０２が付加されていれば（ステップＳＢ１２でＹＥＳ）、「付加有り」を示すフラグ（ＨＧ＝１）をセット（ステップＳＢ１３）する。なお、ＡＦエリア設定履歴データ２０２が付加されていない場合、例えば他のカメラ等で録画記録された後、記録メディア２０にコピーされた動画ファイル等が選択されていた場合には、そのまま次のステップへ進む。

引き続き、設定されているフレームレート毎の、フレーム画像すなわち１フレーム分の画像データのＬＣＤ１２への表示を開始する（ステップＳＢ１４）。そして、前記フラグが初期状態（ＨＧ＝０）であって、ＡＦエリア設定履歴データ２０２が付加されていない動画像の再生時には（ステップＳＢ１５でＮＯ）、全フレームの表示が完了するまで（ステップＳＢ２０でＮＯ）、ステップＳＢ１４の処理を繰り返すことにより、通常の動画再生を行う。

また、前記フラグがセットされているときには（ステップＳＢ１５でＹＥＳ）、ステップＳＢ１１で読み出したＡＦエリア設定履歴データ２０２におけるフレーム毎の座標データ２０３ｂに基づき、ＡＦエリアを表わす注目枠１０１ａ（図４参照）を表示させる（ステップＳＢ１６）。
また、上記ＡＦエリア内の画像データに基づき、被写体画像のうち前述したＡＦエリア部分について輝度値別に画素数を累計してヒストグラムデータを作成する（ステップＳＢ１７）。次に、現在のヒストグラムの表示域（動画の再生開始当初は、予め決められている場所）が、ＡＦエリア設定履歴データ２０２において示される当該フレーム画像のフレーム番号（コマ番号）に対応するＡＦエリアの位置と重ならなければ（ステップＳＢ１８でＮＯ）、前記ヒストグラムデータに基づくヒストグラムを、表示中のフレーム画像における現在設定されている表示域に重畳して表示する（ステップＳＢ２０）。なお、本実施の形態においても、設定可能なヒストグラムの表示域が予め複数用意されるとともに、プログラムメモリ１９に複数の表示域の座標データが記憶されており、当該座標データに基づきＣＰＵ１３がステップＳＢ１８の判断を行う。

これに対し、現在設定されている表示域が、ＡＦエリアの位置と重なるときには（ステップＳＢ１８でＹＥＳ）、その表示域として、ＡＦエリアと重ならない新たな表示域を設定した後（ステップＳＢ１９）、前記ヒストグラムデータに基づくヒストグラムを、表示中のフレーム画像における新たな設定領域に重畳して表示する（ステップＳＢ２０）。

そして、全フレームの表示が完了するまで（ステップＳＢ２１でＮＯ）、ステップＳＢ１６〜ＳＢ２０の処理を繰り返す。これにより再生中の動画像と共にヒストグラムをＬＣＤ１２に表示する一方、必要に応じ、動画記録時に変化していたＡＦエリアの移動、つまり被写体の動きに追従するようにヒストグラムの表示域を移動させる。しかる後、全フレームの表示を完了した時点で（ステップＳＢ２１でＹＥＳ）、処理を終了する。

これにより、本実施の形態においては、動画像の再生時に、撮影時に意図されていた主たる被写体部分（注目枠１０１ａ内）を自動的にターゲット領域としながら再生した動画像に重畳してヒストグラム１０３を表示させることができ、しかもそれを意図されていた主たる被写体を避けるように自動的に移動させることができる（図４参照）。

したがって、以上説明した第２の実施の形態においては、記録した動画像の再生時においてもヒストグラムを表示することができる。しかもその際には、主たる被写体の位置が変化したとしても、ヒストグラム１０３のターゲット領域を指定し直すといった煩雑な作業を必要とすることなく、ＡＦエリアのヒストグラムを継続して確認することができる。しかもヒストグラムによってそれが見えにくくなることがない。よって、画面内にヒストグラムを表示するときの利便性を向上させることができる。

なお、本実施の形態においては、ヒストグラムの表示に先立つヒストグラムデータの作成を動画像の再生時に行うようにしたが、ヒストグラムデータの作成は、例えば動画像の撮影中に行うこととし、作成したヒストグラムデータを動画像と対応付けて記録するようにしてもよい。また、動画撮影が終了した後の再生前の任意の時点で自動的に又はユーザーの指示に応じて行うようにしてもよい。

さらに、ヒストグラムデータと同様、ヒストグラムの表示域についても動画像の再生時に決定するようにしたが、それを例えば動画像の撮影中にフレーム毎に決定するとともに、決定したフレーム毎の表示域を動画像と対応付けて予め記録しておいたり、あるいは動画撮影が終了した後の再生前の任意の時点で自動的に又はユーザーの指示に応じて決定し、その時点で動画像と対応付けて予め記録したりしてもよい。

また、ＡＦエリア設定履歴データ２０２を動画データ２０１に付加して動画ファイル２００内に埋め込む場合について説明したが、動画データ２０１との対応関係が分かれば、ＡＦエリア設定履歴データ２０２を動画ファイル２００とは別のファイルとして個別に記録させてもよい。係る点については、前述したようにヒストグラムデータやヒストグラムの表示域を動画像と対応付けて予め記録しておく場合においても同様である。

また、本実施の形態においても、動画像の再生中において、動画像の撮影中において設定されたＡＦエリアをターゲット領域とし、かつそれを避けるようにヒストグラムを表示させるようにしたが、動画像の再生中にＡＦエリアとは異なる被写体の一部に注目領域を設定して、その注目領域を被写体に自動追尾させ、その注目領域をターゲット領域とし、かつそれを避けるようにヒストグラムを表示させるようにしてもよい。さらには、注目領域のヒストグラムではなく画像全体のヒストグラムを、注目領域を避けるように表示させてもよい。

また、設定可能なヒストグラムの表示域として複数の領域が予め決められているものとしたが、表示域を予め決めておくことなく、ヒストグラムを表示する時点でＡＦエリアの位置に応じて自動的に計算するものとしてもよい。また、被写体画像の一部に表示するヒストグラムを、ＡＦエリア等の注目領域のみの輝度分布を示すものとしたが、ヒストグラムは画面全体の輝度分布を示すものであっても構わない。

また、上述した第２の実施の形態のデジタルカメラには、第１の実施の形態で説明した動作を行う静止画撮影モード及び動画撮影モードを設けることもできる。その場合は、異なる動画撮影モードのいずれか一方を、動画撮影に先立ちユーザーに事前に選択させればよく、例えば動画撮影に関する設定項目として一般的な録画品質（ファイン、ノーマル、エコノミー等）と共に、ユーザーに選択させてもよい。

また、以上の説明においては、静止画像や動画像の撮影中にＡＦエリア（注目領域）を被写体に追従させる方法として、前述したように１つ前のフレーム画像に設定していたＡＦエリアの画像データとの相関度が最大となるエリアを、現在のフレーム画像のＡＦエリアとする方法を用いる場合について説明したが、それに限らず、以下の方法によってＡＦエリア（注目領域）を被写体に追従させてもよい。

例えば画像全体を複数エリアに分割しておき、合焦位置を至近側から∞側へ変化させるようフォーカスレンズを駆動させるとともに、その間に画像データにおけるコントラスト値の変化をエリア別に取得する。そして、コントラスト値の最高値が最も近点側の合焦位置で現れるエリアをＡＦエリアとすることにより、結果的にＡＦエリアを主たる被写体に追従させてもよい。また、画像内における人物や人物の顔等を画像認識して、それらが存在する領域や、それらを含む領域（大きさは一定でも、可変でも構わない。）を注目領域（ＡＦエリア）とするようにしてもよい。

また、本発明を、静止画像と動画像との双方が記録可能な一般的なデジタルカメラに適用し、デジタルカメラによって本発明のヒストグラム表示装置を実現する場合を示したが、これに限らず、以下のような装置にも本発明は適用することができる。すなわち静止画像のみの記録が可能なデジタルカメラや、デジタルビデオカメラ、カメラ付き携帯電話機、ＰＤＡ等のカメラ付き情報処理装置にも適用することができる。さらには、ＣＣＤ等の撮像素子を有していない構成の画像表示装置に、第２の実施の形態で説明した再生モードでの動作と同様の動作を行わせることにより、そのような画像表示装置によっても本発明のヒストグラム表示装置を実現させることもできる。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 第１の実施の形態における静止画撮影モードでの動作内容を示したフローチャートである。 ヒストグラム表示処理の内容を示したフローチャートである。 静止画撮影時におけるＬＣＤ１２の表示画面例である。 第１の実施の形態における動画撮影モードでの動作内容を示したフローチャートである。 第２の実施の形態における動画撮影モードでの動作内容を示したフローチャートである。 動画撮影モードで記録される動画ファイルのデータ構造を示す概念図である。 同実施の形態における動画像の再生時の動作内容を示したフローチャートである。

符号の説明

３ ＣＣＤ
６ ＤＳＰ部
１２ ＬＣＤ
１３ ＣＰＵ
１４ 内蔵メモリ
１８ キー入力ブロック
１９ プログラムメモリ
２０ 記録メディア
２１ フォーカスドライバ
１０１ スルー画像
１０１ａ 注目枠（ＡＦエリア）
１０２ 人物
１０３ ヒストグラム
２００ 動画ファイル
２０１ 動画データ
２０２ ヘッダ情報
２０３ ＡＦエリア設定履歴データ
２０３ａ フレーム番号
２０３ｂ 座標データ

Claims (9)

1. 動画像の表示に際し、動画像とともにヒストグラムを表示するヒストグラム表示装置であって、
   前記動画像を取得する動画像取得手段と、
   この動画像取得手段により取得される動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する領域取得手段と、
   この領域取得手段により取得された領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成する作成手段と、
   前記動画像とともに、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示手段に表示させる表示制御手段と
   を備えたことを特徴とするヒストグラム表示装置。
2. 前記表示制御手段は、前記動画像中に、前記領域取得手段に取得された領域情報により示される注目領域を表わす注目枠を表示させる枠表示手段を含むことを特徴とする請求項１記載のヒストグラム表示装置。
3. 前記表示制御手段は、前記動画像の一部であって、前記領域取得手段に取得された領域情報により示される注目領域と重ならない表示域に、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示させることを特徴とする請求項１又は２記載のヒストグラム表示装置。
4. 動画像の表示に際し、動画像の一部にヒストグラムを表示するヒストグラム表示装置であって、
   前記動画像を取得する動画像取得手段と、
   この動画像取得手段により取得される動画像に基づきヒストグラムデータを作成する作成手段と、
   前記動画像取得手段により取得される動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する領域取得手段と、
   前記動画像の一部であって、前記領域取得手段により取得された領域情報により示される注目領域と重ならない表示域に、前記作成手段により作成されたヒストグラムデータに基づくヒストグラムを表示手段に表示させる表示制御手段と
   を備えたことを特徴とするヒストグラム表示装置。
5. 前記表示制御手段により表示手段に表示される動画像を撮像する撮像手段を備えたことを特徴とする請求項１乃至４いずれか記載のヒストグラム表示装置。
6. 前記表示制御手段により表示手段に表示される動画像を撮像する撮像手段と、
   この撮像手段により撮像された動画像を記録する画像記録手段と、
   前記領域取得手段により取得された領域情報を、前記動画像と対応付けて前記画像記録手段に記録させる記録制御手段と、
   前記画像記録手段から前記動画像、及び当該動画像に対応付けられている領域情報を読み出す読み出し手段と
   を備え、
   前記表示制御手段は、前記読み出し手段によって読み出された動画像を表示し、
   前記作成手段は、前記読み出し手段によって読み出された動画像に対応付けられている領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成する
   ことを特徴とする請求項１乃至３いずれか記載のヒストグラム表示装置。
7. 前記領域取得手段に取得された領域情報により示される注目領域をフォーカス領域としてフォーカス制御を行うフォーカス制御手段を備えたことを特徴とする請求項１乃至６いずれか記載のヒストグラム表示装置。
8. 動画像の表示に際し、動画像とともにヒストグラムを表示するヒストグラム表示装置が有するコンピュータに、
   前記動画像を取得する処理と、
   取得した動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する処理と、
   取得した領域情報により示される注目領域の画像データに基づきヒストグラムデータを作成する処理と、
   前記動画像とともに、前記ヒストグラムデータに基づくヒストグラムを表示させる処理と
   を実行させるためのプログラム。
9. 動画像の表示に際し、動画像の一部にヒストグラムを表示するヒストグラム表示装置が有するコンピュータに、
   前記動画像を取得する処理と、
   取得した動画像に基づきヒストグラムデータを作成する処理と、
   取得した動画像中における注目被写体を追尾し、該注目被写体部分に対応する注目領域を示す領域情報を取得する処理と、
   前記動画像の一部であって、取得した領域情報により示される注目領域と重ならない表示域に、前記ヒストグラムデータに基づくヒストグラムを表示手段に表示させる処理と
   を実行させるためのプログラム。
   

Images