JP2009218719A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写体のフレームアウトやオクルージョン、誤認識の発生を回避して撮影が失敗する可能性を軽減し、追尾機能の使い勝手を向上させることができる撮像装置及び撮像方法を提供すること。
【解決手段】表示情報作成部１０７は、追尾中の主被写体３００を見失わない、又は、フレームアウトしないように注意を喚起する表示情報を作成し、システム制御部１０８は、作成された表示情報を追尾中の主被写体３００に関連付けて表示画面２００に表示する。
【選択図】図１

Description

本発明は、被写体の光学像を撮像する撮像装置及び撮像方法に関し、詳細には、被写体認識機能と追尾機能を備える撮像装置及び撮像方法に関する。

従来、主被写体の特徴量データを求め、その特徴量データをもとに、映像データ中から主被写体が存在する領域を推定する技術が知られている。特に、連続的に入力される映像データに対して主被写体が存在する領域を順次求める処理に関しては、移動する主被写体を追いかけるように動作するため、追尾処理又は追跡処理と呼ばれることが多い。

こうした追尾処理をオートフォーカスや露出制御、撮影範囲を調整するフレーミング制御等に適用した撮像装置が種々提案されている（例えば、特許文献１）。

特許文献２には、モニタを有する撮像装置において、指定された被写体を追尾し、追尾した被写体がモニタの表示画面のどの位置にいるかを表示する技術が記載されている。

図１３は、特許文献２記載の追尾機能を搭載したデジタルスチルカメラの表示画面の例を示す図である。図１３において、撮像結果として得られる画像データから、追尾対象として指定された被写体の画像１０の表示画面２０上の位置を特定し、特定した位置を指し示す矢印３０又は枠を表示画面２０に表示する。これにより、画像データ内に矢印や枠を描画し追尾対象の位置を指し示すことで、撮影者が主被写体を見失うことを防止する。

特許文献３には、主被写体の顔が撮影範囲外に出てしまわないよう（フレームアウトしないよう）、撮像装置を移動させるべき方向を表示画面に表示する撮像装置が記載されている。特許文献３では、顔認識結果の履歴を用いて、主被写体が一定時間後にどの位置に移動しているかを予測し表示するといった機能も開示されている。
特開平７−１４３３８９号公報 特開２００５−３４１４４９号公報 特開２００７−１２９４８０号公報

しかしながら、このような従来の追尾機能を搭載した撮像装置にあっては、以下のような課題がある。

特許文献１記載のデジタルスチルカメラでは、追尾対象である主被写体位置を指し示すものの、例えば主被写体の移動速度や移動方向等、撮影者が主被写体を見失わないよう配慮する際に必要となる様々な情報の提示については考慮されていなかった。

更には、主被写体を見失う状況はフレームアウト以外にも種々存在するが、そのような状況に陥らないための表示については、特許文献２記載のデジタルスチルカメラと、特許文献３記載の撮像装置の双方において考慮されていなかった。例えば、主被写体が他の物体に隠れて見えなくなってしまう場合（オクルージョン）や、追尾処理が十分な精度を保つことができないほど対象が遠ざかってしまう場合は、事前に撮影者がこれらの危険性を把握できることが望ましい。なぜなら、追尾処理の終了あるいは失敗により、主被写体以外の対象物にフォーカスが合ってしまったり、適切でない露出制御がなされたり、あるいは主被写体を無視してフレーミングがなされるといった撮影者の期待通りでない制御処理が行われ、結果として撮影に失敗する場合が考えられるからである。また、主被写体の位置表示に追尾処理を用いている際には、撮影者が主被写体を突然見失ったり、主被写体に類似した物体・人物等を主被写体と誤認識したりすることで、誤った範囲を撮影してしまうといった不都合が発生する場合が考えられる。

本発明は、かかる点に鑑みてなされたものであり、被写体のフレームアウト等によって撮影者が被写体を見失う可能性を軽減し、追尾機能の使い勝手を向上させることができる撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、被写体の光学像を形成する撮像光学系と、前記光学像を電気信号に変換する撮像手段と、前記電気信号に対して所定の処理を行って画像データを生成する信号処理手段と、生成された画像データを表示画面に表示する表示手段と、生成された画像データに基づいて、任意に指定された被写体を追尾する追尾手段と、前記表示画面内における前記追尾中の被写体の動き、及び／又は、前記表示画面内における前記追尾中の被写体の位置に基づいて、前記追尾中の被写体の状態を示す表示情報を作成する表示情報作成手段と、作成された表示情報を前記表示手段に表示させる制御手段と、を備える構成を採る。

本発明の撮像方法は、撮像装置における撮像方法であって、前記撮像装置によって撮像された画像データから、任意に指定された被写体を追尾するステップと、所定の表示画面内における前記追尾中の被写体の動き、及び／又は、前記表示画面内における前記追尾中の被写体の位置に基づいて、前記追尾中の被写体の状態を示す表示情報を作成するステップと、作成された表示情報を表示するステップとを有する。

本発明によれば、追尾処理の状況を示す情報を撮影者に提示することにより、主被写体のフレームアウトやオクルージョン、誤認識の発生を回避しやすくすることができ、撮影が失敗する可能性を軽減させ、追尾機能の使い勝手を向上させることができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態は、本発明を主被写体を追尾する追尾機能を有する家庭用ビデオカメラに適用した例である。

図１において、ビデオカメラ１００は、撮像光学系１０１、固体撮像素子１０２、Ａ／Ｄ変換部１０３、映像信号処理部１０４、追尾処理部１０５、動きベクトル検出部１０６、表示情報作成部１０７、システム制御部１０８、バッファメモリ１０９、表示部１１０、操作部１１１、ＣＯＤＥＣ（COmpresser DECompressor）１１２、記録インターフェース（Ｉ／Ｆ）部１１３、これらを相互に接続するシステムバス１１４、及びソケット１１５を備えて構成される。ソケット１１５には、記録媒体１２０が装着可能である。

撮像光学系１０１は、合焦状態調節のために光軸に沿って移動するフォーカスレンズ、被写体の光学的な像を変倍するため光軸に沿って移動するズームレンズといった複数枚のレンズから構成され、被写体像を固体撮像素子１０２上に結像させる。

固体撮像素子１０２は、撮像光学系１０１により結像された被写対象を電気信号（映像信号）に変換する。例えば、固体撮像素子１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。

Ａ／Ｄ変換部１０３は、固体撮像素子１０２から出力されるアナログ映像信号をデジタル映像信号に変換する。

映像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されるデジタル映像信号に対して、ゲイン調整やノイズ除去、ガンマ補正、アパーチャ処理、ニー処理等の周知の映像信号処理を施し、ＲＧＢ形式の映像信号に変換する。さらに、映像信号処理部１０４は、生成したＲＧＢ形式の信号を、Ｙ／Ｃ形式の映像信号に変換する。

追尾処理部１０５は、生成された画像データに基づいて、任意に指定された被写体を追尾する。追尾処理部１０５は、追尾対象である主被写体の特徴量データを保持し、映像信号処理部１０４から順次受信する映像信号（画像データ）を基に、適宜画像データの縮小や色変換等の処理を施した後、既知の追尾処理技術を用いて主被写体の特徴量データと相関性の高い領域を特定する。このような追尾処理を実現する画像処理の手法としては、テンプレートマッチングやパーティクルフィルタ等が存在する。主被写体の特徴量データは、画像データそのものや輝度情報、色ヒストグラム、形状等、様々な形式が考えられるが、追尾処理を実現する画像処理の内容に依存して定められる。また、各画像データに対して連続的に顔認識を行うことでも追尾処理は実現可能である。この場合、特徴量データは、顔の部位の形状や部位間の距離の比率といった情報となる。追尾処理部１０５によって得られる追尾処理結果情報は、システムバス１１４を介してシステム制御部１０８に送られる。

動きベクトル検出部１０６は、図示は省略するが、バッファメモリ１０９から取得したデジタル映像データに対して代表点マッチング法を適用するために必要な帯域制限を施すための各種フィルタと、前フィールド又はそれより以前に格納された、動きを検出するための基点となる代表点情報を格納するメモリと、このフィルタを通して得られた動きベクトル検出用映像データより動きベクトル検出のための各検出点を抽出し、メモリに格納された代表点情報に基づいて代表点マッチングを行う代表点マッチング演算部とを備え、代表点マッチング法により映像の動きベクトルを検出する。

表示情報作成部１０７は、表示部１１０の表示画面内における追尾中の主被写体の動き、及び／又は、表示画面内における追尾中の主被写体の位置に基づいて、追尾中の主被写体の状態を示す表示情報を作成する。表示情報作成部１０７は、追尾中の主被写体を見失わないように、又は、追尾中の主被写体が表示画面２００（図３により後述。以下同様。）からフレームアウトしないように注意を喚起する表示情報を作成する。具体的には、作成される表示情報は、（１）追尾中の主被写体の位置の変化を表す位置変化情報、（２）追尾中の主被写体の動きベクトル表示、（３）追尾中の主被写体が表示画面２００からフレームアウトする可能性が高い方向表示、（４）その強調表示、（５）表示画面２００の中央から追尾中の主被写体の位置までの離れ度合い表示、（６）表示画面２００の上下左右の四辺から追尾中の主被写体の位置までの距離表示、（７）追尾処理部１０５の追尾結果の履歴の軌跡表示、（８）さらに警告メッセージなどである。

システム制御部１０８は、ＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等からなり、システムバス１１４に接続されたビデオカメラ１００の各部の動作を制御する。また、システム制御部１０８は、ＦＩＦＯ（First-In First-Out）メモリ（図示略）を有し、追尾処理結果履歴などを蓄積する。

システム制御部１０８は、操作部１１１を通して得られるユーザの操作情報の処理、追尾処理部１０５から得られる追尾結果情報の蓄積と加工、映像信号処理部１０４、追尾処理部１０５、動きベクトル検出部１０６及び表示情報作成部１０７の動作制御、表示部１１０で表示する表示データの生成、ＣＯＤＥＣ１１２におけるデジタル映像データの圧縮処理の実行・停止制御、並びにバッファメモリ１０９と記録Ｉ／Ｆ部１１３間のデータ転送制御等を統合的に実施する。

システム制御部１０８は、バッファメモリ１０９上のデジタル映像データを表示部１１０への表示に適したサイズに縮小する。システム制御部１０８は、記録媒体１２０の残容量とＣＯＤＥＣ１１２で行われるデジタル映像データの圧縮処理の圧縮度合いから算出される残り記録可能時間、またバッテリ残量及び録画待機状態であることを示すアイコンなどの情報をＯＳＤ（On Screen Display）表示として生成し、縮小したデジタル映像データと重畳させ、表示部１１０に表示する。

システム制御部１０８はまた、関連情報のＧＵＩ（Graphical User Interface）を生成するＧＵＩ表示ＯＳＤ機能を含んで構成され、デジタル映像データに、各種操作アイコンや文字列データといったＯＳＤ表示を重畳して得られる出力映像データを表示する。ビデオカメラ等の映像装置では、各種操作アイコンや文字列データなどの情報を画面上に表示することが一般的になっている。ＯＳＤのデータは画像ではなく、ビットマップと呼ばれる形式で保持されており、このビットマップからＹ，Ｃｂ，Ｃｒで表されるＹＵＶ形式の画素値に変換され、その変換された画素が入力画像などの原画像の上に重畳される。

特に、システム制御部１０８は、表示情報作成部１０７により作成された表示情報を、追尾中の主被写体に重畳して表示部１１０に表示する制御を行う。また、システム制御部１０８は、表示情報作成部１０７により作成された表示情報を、映像信号処理部１０４により生成された画像データにＯＳＤ機能により重畳して表示部１１０に表示する制御を行う。

バッファメモリ１０９は、映像信号処理部１０４からシステムバス１１４を通して出力されたデジタル映像信号をデジタル映像データとして蓄積する。

表示部１１０はモニタであり、Ｄ／Ａ変換部（図示せず）と表示画面である小型の液晶パネルを有する。表示部１１０は、システム制御部１０８からの指示に従い、バッファメモリ１０９に蓄積されたデジタル映像データをＤ／Ａ変換部を通して液晶パネルに入力し、可視画像として表示する。

操作部１１１は、ビデオカメラ１００を操作するためのモード切替ボタンやレバー類である。モード切替ボタンは、ズームレバー、電源ボタン、撮影ボタン、メニューボタン、方向ボタン、決定ボタンなどの各種ボタン及びレバー類である。モード切替ボタンは、ビデオカメラ１００の複数の動作モードを切り替える。この複数の動作モードには、通常の撮影を行う通常撮影モード、主被写体を追尾しながらの撮影を行う追尾撮影モード 、及び撮影した映像データの再生を行う再生モードが含まれる。ズームレバーは、映像のズームを行う。電源ボタンは、ビデオカメラ１００の主電源のＯＮ／ＯＦＦを行う。撮影ボタンは、撮影の開始及び停止を行う。メニューボタンは、ビデオカメラ１００の設定に関する各種メニューを表示する。方向ボタンは、上下左右及び奥への押下が可能であり、ズーム位置やメニュー項目を切り替える。決定ボタンは、各種決定操作を行う。

ＣＯＤＥＣ１１２は、例えばＤＳＰ（Digital Signal Processor）から構成され、バッファメモリ１０９に蓄積されたデジタル映像データに不可逆圧縮処理を施す。ＣＯＤＥＣ１１２は、バッファメモリ１０９に蓄積されたデジタル映像データを、例えばＭＰＥＧ−２（Moving Picture Experts Group phase 2）、あるいはＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Moving Picture Experts Group phase 4 Part 10 Advanced Video Coding）などの所定の形式の圧縮映像データに変換する。

記録Ｉ／Ｆ１１３部は、ソケット１１５を介して記録媒体１２０に電気的に接続する。

ソケット１１５は、ビデオカメラ１００本体に設置された、記録媒体１２０を装着するためのスロットである。このソケット１１５に記録媒体１２０を装着し、記録媒体１２０にＣＯＤＥＣ１１２により圧縮生成した圧縮映像データを記録する。

記録媒体１２０は、ソケット１１５に着脱可能なメモリカードなどのリムーバブルメモリであり、汎用のハード機器に使用可能なように一般的なものであることが好ましい。記録媒体１２０は、例えばＳＤカードなどのメモリカードである。また、記録媒体１２０は、電源バックアップにより書き込まれた情報を保持するＳＲＡＭ（Static RAM）カードや電源バックアップが不要なフラッシュメモリ等からなるコンパクトフラッシュ（登録商標）（ＣＦ）、スマートメディア及びメモリスティックである。さらには、記録媒体１２０は、ハードディスクドライブ（ＨＤＤ）や光ディスク等である。

以下、上述のように構成された被写体認識機能と追尾機能を備えるビデオカメラ１００の動作を説明する。

まず、追尾処理部１０５による追尾処理動作を説明する。

図２は、追尾処理部１０５により得られる追尾処理結果情報及び追尾処理結果履歴の内容を示す図であり、図２（Ａ）は、追尾処理部１０５により得られる追尾処理結果情報を示し、図２（Ｂ）は、システム制御部１０８内のＦＩＦＯ（First-In First-Out）メモリ（図示略）に蓄積される追尾処理結果履歴を示す。

図２（Ａ）に示すように、追尾処理部１０５により得られる追尾処理結果情報は、求められた領域の位置（領域左上のＸ座標及びＹ座標）、領域の大きさ（領域の幅及び高さ）、並びに求めた領域が主被写体であるもっともらしさ（尤度）情報から構成される。尤度は、特徴量データの類似度であり、追尾処理部１０５内で行われる追尾処理に依存して定められる。例えば、主被写体の特徴量データとして色ヒストグラムを使用している場合、尤度は色ヒストグラムの類似度であり、その類似度は、ヒストグラムインターセクション法を用いて算出することができる。また、追尾処理部１０５内で追尾処理として顔認識を行っている場合、尤度は、顔の各特徴の類似度である。その他、特徴量データとして主被写体３００のエッジ形状情報を用いる場合はエッジ形状の類似度を、輝度分布を用いる場合は輝度分布の類似度をそれぞれ用いる。

この追尾処理結果情報は、追尾処理部１０５からシステム制御部１０８に送られ、図２（Ｂ）に示すように、定められた個数分、システム制御部１０８内のＦＩＦＯメモリに蓄積される。図２（Ｂ）に示す追尾処理結果履歴はＦＩＦＯメモリに格納され、ＦＩＦＯメモリからは、古く格納された追尾処理結果履歴が一番最後に取り出される。新しい追尾処理結果情報追加時には、最も古い追尾処理結果情報が破棄される。

次に、主被写体を追尾しながら撮影を行う場合の処理内容について説明する。

まず、操作部１１１に備えられたモード切り替えボタンにより、録画を行う通常撮影モードまたは追尾撮影モードが選択されると、ビデオカメラ１００は、撮像光学系１０１により得られる被写対象の映像を継続的に表示部１１０に表示する、録画待機状態に入る。具体的には、撮像光学系１０１を通して被写対象が固体撮像素子１０２にて結像、光電変換され、映像信号が生成される。生成された映像信号は、Ａ／Ｄ変換部１０３によるＡ／Ｄ変換処理、映像信号処理部１０４による周知の映像信号処理が施された後、システムバス１１４を介してバッファメモリ１０９にデジタル映像データとして蓄積される。システム制御部１０８は、バッファメモリ１０９上のデジタル映像データを表示部１１０への表示に適したサイズに縮小する。そして、システム制御部１０８は、記録媒体１２０の残容量とＣＯＤＥＣ１１２で行われるデジタル映像データの圧縮処理の圧縮度合いから算出される残り記録可能時間、またバッテリ残量、録画待機状態であることを示すアイコンなどといった、種々の情報をＯＳＤ表示として生成し、縮小したデジタル映像データと重畳させ、表示部１１０に表示する。本処理を繰り返し行うことで、表示部１１０におけるスルー映像表示が実現される。

次に、追尾撮影モード選択時の表示動作について説明する。

図３は、追尾撮影モード時の録画待機状態における表示部１１０の表示例を示す図である。

図３に示すように、表示部１１０の表示画面である表示画面２００の中央に枠２１０が表示される。これは、追尾対象とする主被写体を指定するための枠である。なお、表示画面２００の上部には、録画可能時間アイコン２０１、録画／停止及び録画時間アイコン２０２、並びにバッテリ残量時間アイコン２０３が表示される。

本状態において、操作部１１１に備えられた撮影ボタンを押下すると、以下のような追尾処理を伴った録画処理が開始される。

録画開始時、システム制御部１０８は、追尾処理部１０５に対して追尾処理の開始を指示する。追尾処理開始指示を受けた追尾処理部１０５は、バッファメモリ１０９にアクセスし、枠２１０内の領域に対応するデジタル映像データから主被写体の特徴量データを生成し、追尾処理部１０５内のメモリに保持する。また、システム制御部１０８は、ＣＯＤＥＣ１１２に対してデジタル映像データの圧縮処理開始指示を送る。システム制御部１０８からデジタル映像データの圧縮処理開始の指示を受けると、ＣＯＤＥＣ１１２は、バッファメモリ１０９上のデジタル映像データの圧縮を開始する。圧縮されたデジタル映像データは、圧縮前と同じくバッファメモリ１０９上に置かれる。システム制御部１０８は、圧縮されたデジタル映像データを記録Ｉ／Ｆ部１１３に転送する。記録Ｉ／Ｆ部１１３は、圧縮されたデジタル映像データを、ソケット１１５を介して記録媒体１２０に書き出す。

映像信号処理部１０４は、録画待機状態の時と同様、逐次デジタル映像データをバッファメモリ１０９に出力しており、録画中は、デジタル映像データ更新のたびに、ＣＯＤＥＣ１１２における圧縮処理、圧縮されたデジタル映像データの記録媒体１２０への書き出しが連続的に実施される。なお、システム制御部１０８は、録画中、録画時間のカウンタ表示やバッテリ残量の更新といったＯＳＤ表示の生成・更新処理も行う。

上記の録画処理と並行して、追尾処理部１０５は、バッファメモリ１０９上のデジタル映像データに対して、録画開始時に生成・保持した特徴量データに基づいて追尾処理を行う。追尾処理によって得られた追尾処理結果情報は、システム制御部１０８内のメモリに蓄積される。システム制御部１０８は、追尾処理結果情報等に基づいて、後述する追尾処理の状況を示す表示をＯＳＤ表示の一部として生成する。システム制御部１０８が生成したＯＳＤ表示は、録画待機状態時と同様、縮小したデジタル映像データとの重畳後、表示画面２００に表示される。

以上、ビデオカメラ１００において主被写体を追尾しながら撮影を行う場合の処理内容について述べた。以降では追尾処理の状況を示す表示内容に関して説明する。

図４は、表示情報作成部１０７による表示情報作成処理を示すフローチャートである。図中、Ｓはフローの各ステップを示す。

ステップＳ１１では、システム制御部１０８は追尾撮影モードか否かを判別する。モード選択は、操作部１１１に備えられたモード切替ボタンによって行われる。モード切替ボタンによってビデオカメラ１００が追尾撮影モードに移行すると、処理はステップＳ１２に進み、追尾撮影モードが始まる。また、追尾撮影モードでないときは、そのまま本フローを終了する。

ステップＳ１２では、映像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されるデジタル映像信号に対して映像信号処理を施し、ＲＧＢ形式の映像信号を１フレーム分出力する。

ステップＳ１３では、追尾処理部１０５は、追尾処理を実行する。本実施の形態では、この追尾処理は、追尾開始時に主被写体の特徴量を記憶し、追尾処理中にその記憶した特徴量と相関性の高い領域を入力映像の中から探索する。

ステップＳ１４では、追尾処理部１０５は、追尾処理の結果、主被写体を検出できたか否かを判別する。主被写体を検出できない場合には、本フローを終了する。上記ステップＳ１４で追尾処理の結果、主被写体を検出できた場合には、ステップＳ１５に進む。

ステップＳ１５では、動きベクトル検出部１０６は、主被写体の動きベクトルを検出する。主被写体の動き検出処理では、動きベクトル検出部１０６が撮影対象となる被写体の動きを、撮影画像の代表点を追跡することにより検出し、動きベクトルを出力する。

ステップＳ１６では、システム制御部１０８は、主被写体の映像位置を検出する。主被写体の映像位置を検出方法の具体例については後述する。

ステップＳ１７では、システム制御部１０８は、追尾処理部１０５から主被写体を追尾中であることを示す通知信号を受け取り、主被写体を追尾中か否かを判別する。主被写体を追尾中でない場合は、上記ステップＳ１３に戻って追尾処理を継続し、主被写体を追尾中である場合は、ステップＳ１８に進む。

ステップＳ１８では、表示情報作成部１０７は、システム制御部１０８が蓄積する資源（追尾処理結果履歴、主被写体の動き、位置情報、画面中央からの距離等）に基づいて、主被写体がフレームアウトしないよう撮影する際に有益となる情報（表示情報）を作成する。具体的作成方法については、図５乃至図１２により詳細に後述する。

ステップＳ１９では、システム制御部１０８は、表示情報作成部１０７により作成された表示情報をＯＳＤ機能を使ってデジタル映像データに重畳させ、表示部１１０に表示した後本フローを終了する。

このように、本実施の形態では、表示情報作成部１０７は、被写体の動きや画面中央からの距離等、被写体がフレームアウトしないよう撮影する際に有益となる情報（表示情報）を作成し、システム制御部１０８は、作成された情報をユーザが把握できるように表示部１１０の表示画面２００に表示させる。

表示情報作成部１０７は、追尾処理部１０５による追尾処理動作によって追尾中の被写体を見失わないために必要な表示情報を作成する。以下、表示情報作成部１０７によって作成される追尾処理の状況表示の具体例について説明する。

〔動きベクトル表示１〕
図５は、追尾対象である主被写体の動きベクトルを表示する例を示す図である。以下の各図において図３の表示例と同一部分には同一符号を付している。

図５において、表示部１１０の表示画面２００の略中央に主被写体３００が表示されている。矢印３１０は、主被写体３００の移動方向と移動速度を表す動きベクトルであり、主被写体３００に重畳して表示画面２００に表示される。この動きベクトルを示す矢印３１０は、表示部１１０のＯＳＤ機能により表示される。すなわち、表示情報作成部１０７によって、被写体がフレームアウトしないよう撮影する際に有益となる情報（ここでは、矢印３１０）が作成され、この表示情報が表示画面２００上にＯＳＤ表示される。なお、後述する図６乃至図１２の表示情報もＯＳＤ機能により表示される。

表示情報作成部１０７は、システム制御部１０８に蓄積されている追尾処理結果履歴を用いて主被写体３００の動きベクトルを算出する。図５では、主被写体３００の動きベクトルとして、主被写体３００が表示画面２００の右側に移動する動きが矢印３１０で表示される。

動きベクトルの算出方法は種々考えられ、例えば前後のフィールド間での位置情報の差分を所定のフィールド数分遡って取得し、それらの平均を動きベクトルとしてもよい。また、各位置情報の差分に対してあらかじめ定められた重みを乗じてから平均を取り、動きベクトルを算出してもよい。

また、矢印３１０の始点である主被写体３００の中心は、追尾処理結果情報である主被写体３００の位置（Ｘ座標、Ｙ座標）及び大きさ（幅、高さ）を用いて算出することができる。主被写体３００のＸ座標に主被写体３００の１／２の幅を加算した値が主被写体３００の中心のＸ座標であり、主被写体３００のＹ座標に主被写体３００の１／２の高さを加算した値が主被写体３００のＹ座標である。

主被写体３００の動きベクトルを表示することで、撮影者は、追尾対象の移動方向と移動速度を容易に知ることができるため、主被写体３００がフレームアウトしないよう撮影範囲を調整したり、主被写体３００が他の物体に隠れてしまうオクルージョンの発生により、追尾処理の続行が不可能になる前に録画を停止したりすることができるようになる。

〔動きベクトル表示２〕
上記動きベクトルの表示の変形例について説明する。

この動きベクトル表示では、主被写体３００の動きベクトル算出時、ビデオカメラ１００のパンニング、チルティング動作による動きベクトルを考慮する。

表示情報作成部１０７は、上述した方法と同様に、主被写体３００の動きベクトルを算出する。算出した動きベクトルを、見かけの動きベクトルと呼ぶ。これは、算出した動きベクトルが、主被写体３００の本来の動きベクトルからビデオカメラ１００自体の動きベクトルを減じた、相対的な動きベクトルとなっているからである。

動きベクトル検出部１０６は、ビデオカメラ１００自体の移動ベクトルを検出する。見かけの動きベクトルにビデオカメラ１００自体の移動ベクトルを加え、主被写体３００の本来の動きベクトルを得る。

こうして得られた本来の動きベクトルを、図５と同じように表示画面２００に表示することで、ビデオカメラ１００の動きに左右されない、主被写体３００の本来の動きを撮影者に提示できるようになる。例えば、主被写体３００とビデオカメラ１００が同じ速度で平行に移動すると、図５の例では主被写体３００の動きベクトルの大きさはほぼ０と判断されてしまう。これに対して、本変形例では、ビデオカメラ１００の動きに係わらず、主被写体３００本来の動きベクトルが表示画面２００に表示される。

なお、図示はしていないが、手ブレ防止機能を備えているビデオカメラでは、ビデオカメラの動きを得るためジャイロセンサをはじめとする各種センサが搭載されている場合がある。このような場合、画像処理である代表点マッチング法は用いず、ビデオカメラ内の各種センサ情報を基にビデオカメラ自体の動きベクトルを検出するようにしてもよい。

〔フレームアウト予防のための表示〕
図６は、主被写体３００の移動ベクトルをフレームアウト予防のための表示に応用した表示例を示す図である。

主被写体３００の移動ベクトルが一定だと仮定すると、主被写体３００の位置と主被写体３００の移動ベクトルより、何フィールド後に主被写体３００がフレームアウトするのかといった、フレームアウトまでの残り時間を予測することができる。

表示情報作成部１０７は、フレームアウトまでの予測残り時間があらかじめ定められた閾値を下回った時、主被写体３００のフレームアウト予測位置に表示する警告表示４１０を作成し、システム制御部１０８は、作成された警告表示４１０を表示部１１０の表示画面２００に表示する。

ここで、表示部１１０は、警告表示４１０を点滅して表示する。システム制御部１０８は、フレームアウトまでの予測残り時間によって警告表示４１０の点滅間隔を変えて表示画面２００に表示する。この点滅間隔は、フレームアウトまでの予測残り時間が少なくなればなるほど点滅間隔を短くし、緊急度が高いことを撮影者に通知する。

本表示により、撮影者は、主被写体３００がフレームアウトすると思われる方向とタイミングを事前に察知することが可能になり、フレームアウトを防止するためビデオカメラ１００の撮影範囲を変更したり、撮影を停止させたりすることができる。

〔画面中央からの離れ具合を表示〕
図７は、主被写体３００が映像の中央から遠ざかっていく度合いに応じて表示内容を変化させる表示例を示す図であり、図７（Ａ）は主被写体３００が映像の中央から遠ざかる例を、図７（Ｂ）は主被写体３００が映像の中央に近づいていく例を示す。

本例は、ビデオカメラ１００における追尾処理の状況表示の例として、主被写体３００が映像の中央から遠ざかっていく度合いに応じて表示内容を変化させる。

図７（Ａ）では、主被写体３００は映像の中央から遠ざかっており、図７（Ｂ）では、主被写体３００は映像の中央に近づいている。よって、図７（Ａ）の主被写体３００は、図７（Ｂ）の主被写体３００と比べてフレームアウトの可能性が高いため、図７（Ｂ）よりも目立つよう、主被写体３００の位置を示す枠５１０ａの枠線を太く描画して表示する。具体的には、動きベクトル検出部１０６は、主被写体３００が表示画面２００の中央に移動する又は遠ざかる動きベクトルを検出し、表示情報作成部１０７は、検出された主被写体３００の中心を始点とする動きベクトルを基に、主被写体３００が表示画面２００の中央に向かっている度合いに応じた枠５１０ａ，５１０ｂを作成し、システム制御部１０８は、作成された枠５１０ａ，５１０ｂを表示部１１０の表示画面２００に表示させる。

主被写体３００の動きベクトルの算出方法は、前述したように種々考えられ、例えば前後のフィールド間での位置情報の差分を所定のフィールド数分遡って取得し、それらの平均を動きベクトルとしてもよい。また、各位置情報の差分に対してあらかじめ定められた重みを乗じてから平均を取り、動きベクトルを算出してもよい。

このように、主被写体３００の中心を始点とする動きベクトルが映像の中央に向かっている度合いに応じて表示内容を変化させる。図７（Ａ）に示すように、フレームアウトの可能性が高い主被写体３００は太い枠５１０ａで表示され、フレームアウトの可能性が低い主被写体３００は細い枠５１０ｂで表示される。

ここで、フレームアウトの可能性が高い主被写体３００は太い枠５１０ａを、フレームアウトの可能性に従ってより強調して表示してもよい。例えば、主被写体３００が映像の中央から離れるに従って、太い枠５１０ａをより太くする。また、上述した警告表示４１０を点滅の方法を併用して太い枠５１０ａを点滅させたり、枠線の色をより目立つ色に変えたりしてもよい。

〔画面位置に応じた表示〕
図８は、主被写体３００の映像内での位置に応じて表示内容を変化させた場合の例を示す図であり、ビデオカメラ１００における追尾処理の状況表示の更に別の例として、主被写体３００の映像内での位置に応じて表示内容を変化させた場合の例である。

図８において、枠６１０ａ及び枠６１０ｂは追尾処理結果情報である主被写体３００の位置と大きさに基づいて表示されている枠である。図８（Ａ）の主被写体３００の位置と図８（Ｂ）の主被写体３００の位置を比較すると、図８（Ａ）の主被写体３００の方が映像の縁近くに位置している。よって、図８（Ａ）の主被写体３００はフレームアウトする可能性が図８（Ｂ）の主被写体３００と比べて高いと考えられる。そこで、図８（Ａ）の枠６１０ａは、図８（Ｂ）の枠６１０ｂよりも目立つよう表示画面２００に表示する。

図８に示した表示を実現するためには、主被写体３００の中心と映像の中央との離れ度合いを追尾処理結果情報から求め、求めた離れ度合いに応じて表示内容を変化させる。主被写体３００の中心と映像の中央との離れ度合いを求める計算方法の一例を以下に示す。

まず、主被写体３００の中心（Ｍｘ，Ｍｙ）と映像の中央位置（Ｃｘ，Ｃｙ）との距離をＸ方向、Ｙ方向それぞれにおいて求める。

Ｘ方向の距離をＤｘ、Ｙ方向の距離をＤｙと置くと、Ｄｘは｜Ｃｘ−Ｍｘ｜、Ｄｙは｜Ｃｙ−Ｍｙ｜で求めることができる。

Ｄｘの最大値はＣｘ、Ｄｙの最大値はＣｙであるから、ＤｘをＣｘで割りＤｘ’とし、ＤｙをＣｙで割りＤｙ’とすることで、Ｄｘ’、Ｄｙ’はそれぞれ０から１までの値を取るようになる。Ｄｘ’、Ｄｙ’いずれも、値が１に近づくほど、主被写体３００は映像の端に近づいていることを示している。

こうして得られたＤｘ’、Ｄｙ’の最小値、すなわちＭｉｎ（Ｄｘ’，Ｄｙ’）の値に比例して表示内容を変化させることで、図８に示した表示画面２００における表示が実現される。

なお、Ｍｉｎ（Ｄｘ’，Ｄｙ’）があらかじめ定められた閾値を上回った場合、撮影者に更なる注意を促すよう警告表示６２０を表示画面２００に表示してもよい。

〔図７の画面表示の実現方法１〕
図９は、図７に示した画面表示の実現方法の概略を説明する図である。図９（Ａ）において、主被写体３００の中心Ｍａと映像の中央Ｃを結んだ線分に対して、Ｍａを始点とする主被写体３００の移動ベクトルＶａがなす角θａを求める。θａの単位はラジアンであり−πからπまでの値を取るものとする。θａの絶対値｜θａ｜が０から１／２πまでの範囲内であれば主被写体３００は映像の中央Ｃに向かって移動しており、｜θａ｜が１／２πからπまでの範囲内であれば主被写体３００は映像の中央Ｃから離れるよう移動していると判断できる。更には、｜θａ｜が０に近いほど主被写体３００は映像の中央Ｃに向かって移動しており、｜θａ｜がπに近いほど映像の中央Ｃから遠ざかっていると判断できる。図７（Ａ）の主被写体３００の動きを図示した図９（Ａ）においては、｜θａ｜は１／２πを超えているため、主被写体３００は映像の中央Ｃから遠ざかっている。一方、図７（Ｂ）の主被写体３００の動きを図示した図９（Ｂ）においては、主被写体３００の中心Ｍｂと映像の中央Ｃを結んだ線分に対して、Ｍｂを始点とする主被写体３００の移動ベクトルＶｂがなす角θｂの絶対値｜θｂ｜は０から１／２πの範囲内であるため、主被写体３００は映像の中央Ｃに近づいている。

主被写体３００の中心と映像の中央Ｃとを結ぶ線分、そして主被写体３００の中心を始点とする主被写体３００の移動ベクトル、これら両者がなす角θの絶対値｜θ｜が大きな値になるほど、主被写体３００を囲む枠の幅を太くすることで、図７に示した画面表示が実現される。

〔図７の画面表示の実現方法２〕
上記実現方法１では、映像中央からの主被写体３００の離れ具合を、主被写体３００と映像の中央との距離及びベクトルにより求めていた。実現方法２は、映像の上下左右それぞれの辺から主被写体３００までの距離を利用して求める。

図１０は、図７に示した画面表示の実現方法の概略を説明する図であり、映像の上下左右それぞれの辺から主被写体３００までの距離を示す。

図１０において、主被写体３００の中心Ｍから、映像の上下左右各辺までの距離をそれぞれ、Ｋｔ、Ｋｄ、Ｋｌ、Ｋｒとしている。Ｋｔ、Ｋｄ、Ｋｌ、Ｋｒの最小値Ｍｉｎ（Ｋｔ，Ｋｄ，Ｋｌ，Ｋｒ）は、図１０ではＫｄであるため、Ｋｄの値に基づき前記図８における枠６１０の太さを決定する。

なお、映像サイズは、水平方向よりも垂直方向のほうが小さいため、Ｍｉｎ（Ｋｔ，Ｋｄ，Ｋｌ，Ｋｒ）を、映像の垂直方向の１／２の長さであるＣｙで割ると、値の取り得る範囲は０から１までとなる。本値をＭｉｎ’と置くと、主被写体３００が映像の端に近づいている場合、Ｍｉｎ’の値は０に近づく。よって、Ｍｉｎ’の逆数に比例するよう、図８における枠６１０の太さを変更する。

〔フレームアウト方向を表示〕
図１１は、主被写体３００の移動をフレームアウト予防のための警告表示に応用した表示例を示す図である。

本例は、主被写体３００がフレームアウトする可能性が高い方向を表示画面２００に表示する。主被写体３００がフレームアウトする可能性が高い方向は、上記実現方法１で説明したＤｘ’及びＤｙ’、又は上記実現方法２で説明したＫｔ，Ｋｄ，Ｋｌ，Ｋｒを基に求めることができる。以降では、上記実現方法２の方法、すなわち映像の上下左右それぞれから主被写体までの距離を基に警告表示を表示させる例について述べる。

図１１（Ａ）において、主被写体３００は映像の左辺に接近しているため、主被写体３００は表示画面２００の左辺方向にフレームアウトする可能性が高いと考えられる。そこで、表示画面２００の左辺に警告表示７１０ａを表示する。また、図１１（Ｂ）においては、映像の左辺と下辺の双方が主被写体３００と接近しているため、主被写体３００は表示画面２００の左下方向へフレームアウトする可能性が高いと考えられる。そこで、表示画面２００の左辺下部及び表示画面２００の底辺の左部に警告表示７１０ｂを表示させる。

このように、主被写体３００中央と表示画面２００の各辺との距離であるＫｔ、Ｋｄ、Ｋｌ、Ｋｒの値に応じて、上下左右及び右上、左上、右下、左下の８方向のうち、いずれかの方向に対して警告表示７１０を表示し、主被写体３００がフレームアウトする可能性の高い方向を撮影者に通知する。

なお、警告表示７１０を表示するかどうかは、主被写体３００の中心とＫｔ、Ｋｄ、Ｋｌ、Ｋｒそれぞれがあらかじめ定められた閾値を下回ったかどうかで判断する。また、警告表示７１０はＭｉｎ（Ｋｔ，Ｋｄ，Ｋｌ，Ｋｒ）が小さくなるにつれてより目立つようにしてもよい。更には、図６で説明したように矢印等による表示を行ってもよい。

〔移動の軌跡を表示〕
図１２は、主被写体３００の移動の軌跡を表示画面に表示する表示例を示す図であり、ビデオカメラ１００における追尾処理の状況表示の例として、主被写体３００の移動の軌跡を表示画面２００に描画した例である。

表示情報作成部１０７は、システム制御部１０８に蓄積されている追尾処理結果履歴から、直近の情報を定められた個数分抽出し、それぞれに対して主被写体３００の中央位置を求め、それら中央位置群が滑らかにつながるよう曲線を描画する表示情報を作成する。

図１２において、曲線８１０は表示部１１０内での主被写体３００の移動の軌跡を示している。主被写体３００の過去の移動の軌跡が見えるため、主被写体３００が今後どのような動きをするのかおおよそ予測することができ、主被写体３００のフレームアウト防止に役立てることができる。更には、被写体の移動予測先に物体が存在するかどうかを確認することで、オクルージョンが発生するかどうかをおおよそ把握することも可能である。

なお、描画する曲線は視認性を向上させるために太さや色を変化させるようにしてもよい。例えば、古い情報を接続する曲線ほど描画色を薄くしたり、透明度を高くしたりする。

以上のように、本実施の形態によれば、表示情報作成部１０７は、追尾中の主被写体３００を見失わない、又は、フレームアウトしないように撮影者の注意を喚起するための表示情報を作成し、システム制御部１０８は、作成された表示情報を追尾中の主被写体３００に関連付けて表示画面２００に表示するので、従来例のように、被写体に対して単に矢印や枠を表示する態様と異なり、主被写体３００がフレームアウトしないよう撮影する際に有益な情報を、撮影者に提示することができる。例えば、主被写体３００の動きに応じて主被写体３００を指し示すマークの色を変える、あるいは矢印を表示し、その方向・大きさを変化させるなどの表示を変更する。また、表示画面２００中央からの距離に応じて表示マークを変更する。また、主被写体３００が表示画面端に近い場合、フレームアウトしそうな方向に警告表示を出す。このように、追尾処理の状況を示す情報を撮影者に提示するので、撮影者はフレームアウトが発生する可能性の高低を直感的に把握することができる。そして、撮影者は、主被写体のフレームアウトやオクルージョン等の発生を回避しやすくなる。その結果、撮影が失敗する可能性を軽減させ、追尾機能の使い勝手を向上させることができる。

また、以上の説明における表示の形態においては、主被写体の表示画面２００内での位置を基準として撮影者の注意を喚起するための表示情報を作成しているため、主被写体と類似した物体が表示画面２００内に存在したとしても撮影者はその区別を容易に行うことができ、撮影の失敗を回避しやすくなるという効果も得ることができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本実施の形態では、撮像装置が家庭用のビデオカメラである場合について説明したが、被写体の光学像を撮像する撮像装置を有する電子機器であればどのような装置にも適用できる。例えば、デジタルカメラ及び業務用ビデオカメラは勿論のこと、カメラ付き携帯電話機、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末、及び撮像装置を備えるパソコン等の情報処理装置にも適用可能である。

また、本実施の形態において、表示画面２００は家庭用のビデオカメラの側面に備えられた液晶モニタであるとしたがこれに限らず、電子ビューファインダを構成する液晶モニタに対しても適用可能である。その他、ビデオカメラ以外の撮像装置に対しても、その装置が備える表示画面に対して、以上の実施例と同様に本発明を適用可能である。

また、本実施の形態における種々の表示方法は一例に過ぎず、様々な表示方法で代替可能である。例えば、図７の例では主被写体３００を囲む枠の太さを変化させていたが、枠の点滅間隔や、枠の色を変化させることで追尾処理の状況を撮影者に通知するようにしてもよい。また、枠の太さや点滅間隔を決定する元となる数値を表示画面２００に表示してもよい。この枠表示も必須の表示ではなく、例えば矢印等の表示でも代替可能である。

また、以上説明した種々の追尾処理状況は、複数を組み合わせて撮影者に提示するようにしてもよい。このようにすればそれぞれの効果を相乗して得ることができる。

また、本実施の形態では、被写体の動き速度は、動きベクトルを用いて算出したが、これに限らず、別途外部センサ等を用いて被写体の動き速度を検出してもよい。

また、本実施の形態では、被写体の指定を行うため追尾撮影モードというモードを設け、追尾撮影モードの際、表示画面２００の中央に枠２１０を表示し、追尾対象である主被写体の指定を行えるよう構成したが、これに限らず、例えば、表示部１１０をタッチパネル液晶モニタとし、タッチパネル液晶モニタをタッチした座標を基準にした一定の矩形領域を、追尾対象である主被写体と判断するようにしてもよい。あるいは、主被写体の特徴量を記憶することを目的とした被写体記憶モードを設け、当該モードの際、表示画面２００の中央に枠２１０を表示し、追尾対象である主被写体の指定を行い、追尾撮影モードに切り替わった際、被写体記憶モードにおいて記憶されている複数の主被写体のうち、いずれを追尾対象とするか、選択できるよう構成してもよい。

また、本実施の形態では、撮像装置及び撮像方法という名称を用いたが、これは説明の便宜上であり、撮像装置に代えて撮影装置やデジタルカメラに、また撮像方法に代えて撮像表示方法や撮影補助方法等であってもよい。

さらに、上記撮像装置を構成する各構成部、例えば撮像光学系の種類、その駆動部及び取付け方法など、さらには追尾処理部の種類などは前述した実施の形態に限られない。

本実施の形態では、表示情報作成部１０７が、システム制御部１０８からの指示に従って、システム制御部１０８が蓄積する資源（追尾処理結果履歴、動き、位置情報等）を基に表示情報を作成し、システム制御部１０８は、表示情報作成部１０７により作成された表示情報を、ＯＳＤ機能を使って映像データに重畳させ、表示部１１０に表示する制御を行う例により説明した。上記表示情報作成部１０７の機能は、システム制御部１０８が有していてもよく、またＯＳＤ機能は表示部１１０が備えていてもよい。システム制御部１０８は、マイクロコンピュータにより構成されており、表示情報作成部１０７は、表示情報作成処理を行うブロックとして明示したものである。

したがって、以上説明した撮像装置は、この撮像装置の撮像方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。

本発明に係る撮像装置及び撮像方法は、追尾処理の状況を示す情報を表示することで主被写体のフレームアウトをはじめとする追尾処理失敗・停止の可能性を撮影者が事前に把握できるため、被写体の追尾機能の有効性を高めるものであり、追尾機能を備えるデジタルカメラ、デジタルビデオカメラといった種々の撮像装置及び撮像方法として有用である。

本発明の実施の形態に係る撮像装置の構成を示すブロック図 本実施の形態に係る撮像装置の追尾処理部により得られる追尾処理結果情報及び追尾処理結果履歴の内容を示す図 本実施の形態に係る撮像装置の追尾撮影モード時の録画待機状態における表示部の表示例を示す図 本実施の形態に係る撮像装置の表示情報作成部による表示情報作成処理を示すフロー図 本実施の形態に係る撮像装置の追尾対象である主被写体の動きベクトルを表示する例を示す図 本実施の形態に係る撮像装置の主被写体の移動ベクトルをフレームアウト予防の表示例を示す図 本実施の形態に係る撮像装置の主被写体が映像の中央から遠ざかっていく度合いに応じて表示内容を変化させる表示例を示す図 本実施の形態に係る撮像装置の主被写体の映像内での位置に応じて表示内容を変化させた場合の例を示す図 図７に示した画面表示の実現方法の概略を説明する図 図７に示した画面表示の実現方法の概略を説明する図 本実施の形態に係る撮像装置の主被写体の移動をフレームアウト予防のための警告表示に応用した表示例を示す図 本実施の形態に係る撮像装置の主被写体の移動の軌跡を表示画面に表示する表示例を示す図 従来の追尾機能を搭載したデジタルスチルカメラの表示画面の例を示す図

符号の説明

１００ ビデオカメラ
１０１ 撮像光学系
１０２ 固体撮像素子
１０３ Ａ／Ｄ変換部
１０４ 映像信号処理部
１０５ 追尾処理部
１０６ 動きベクトル検出部
１０７ 表示情報作成部
１０８ システム制御部
１０９ バッファメモリ
１１０ 表示部
１１１ 操作部
１１２ ＣＯＤＥＣ
１１３ 記録Ｉ／Ｆ部
１１４ システムバス
１１５ ソケット
１２０ 記録媒体
２００ 表示画面

Claims (15)

1. 被写体の光学像を形成する撮像光学系と、
   前記光学像を電気信号に変換する撮像手段と、
   前記電気信号に対して所定の処理を行って画像データを生成する信号処理手段と、
   生成された画像データを表示画面に表示する表示手段と、
   生成された画像データに基づいて、任意に指定された被写体を追尾する追尾手段と、
   前記表示画面内における前記追尾中の被写体の動き、及び／又は、前記表示画面内における前記追尾中の被写体の位置に基づいて、前記追尾中の被写体の状態を示す表示情報を作成する表示情報作成手段と、
   作成された表示情報を前記表示手段に表示させる制御手段と、
   を備える撮像装置。
2. 前記表示情報は、前記追尾中の被写体を見失わないように撮影者に注意を喚起するための情報である、
   請求項１記載の撮像装置。
3. 前記表示情報は、前記追尾中の被写体が前記表示画面からフレームアウトしないように注意を喚起する情報である、
   請求項１記載の撮像装置。
4. 前記表示情報は、前記追尾中の被写体の位置の変化を表す位置変化情報である、
   請求項１記載の撮像装置。
5. 撮像装置の移動量を検知する移動量検知手段をさらに備え、
   前記表示情報作成手段は、前記位置変化情報に、前記移動量検知手段により検知された撮像装置の移動量を加算する、
   請求項４記載の撮像装置。
6. 前記表示情報は、前記追尾中の被写体の動きベクトルを表す情報である、
   請求項１記載の撮像装置。
7. 前記表示情報は、前記追尾中の被写体が前記表示画面からフレームアウトする可能性が高い方向を含む情報である、
   請求項１記載の撮像装置。
8. 前記表示情報は、前記追尾中の被写体が前記表示画面からフレームアウトする可能性が高い方向を強調表示する情報である、
   請求項１記載の撮像装置。
9. 前記表示情報は、前記表示画面の中央から前記追尾中の被写体の位置までの離れ度合いを含む情報である、
   請求項１記載の撮像装置。
10. 前記表示情報は、前記表示画面の上下左右の四辺から前記追尾中の被写体の位置までの距離を含む、
    請求項１記載の撮像装置。
11. 前記表示情報は、前記追尾手段の追尾結果の履歴を軌跡として含む、
    請求項１記載の撮像装置。
12. 前記表示情報は、警告メッセージ含む、
    請求項１記載の撮像装置。
13. 前記制御手段は、前記表示情報作成手段により作成された表示情報を、前記追尾中の被写体に重畳して前記表示手段に表示させる、
    請求項１記載の撮像装置。
14. 前記制御手段は、前記表示情報作成手段により作成された表示情報を、前記信号処理手段により生成された画像データにＯＳＤ機能により重畳して前記表示手段に表示させる、
    請求項１記載の撮像装置。
15. 撮像装置における撮像方法であって、
    前記撮像装置によって撮像された画像データから、任意に指定された被写体を追尾するステップと、
    所定の表示画面内における前記追尾中の被写体の動き、及び／又は、前記表示画面内における前記追尾中の被写体の位置に基づいて、前記追尾中の被写体の状態を示す表示情報を作成するステップと、
    作成された表示情報を表示するステップと
    を有する撮像方法。
    

Images