JP2007074143A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】 撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知できるようにすること。
【解決手段】 画像を撮像して該画像の画像信号を出力する撮像部（３）と、前記撮像部の画角よりも広い領域の情報を感知する広範囲センサ（８）と、少なくとも前記広範囲センサによって得られた情報から、被写体候補を抽出する被写体候補抽出部（９）と、前記広範囲センサからの情報及び前記撮像部の画角に基づいて、前記被写体候補抽出部によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する被写体候補提示部（１０）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及び撮像システムに関し、更に詳しくは、所定の被写体候補を検出する撮像装置及び撮像システムに関する。

従来、画像データから所定の特徴部位に関する情報を抽出して、該所定の特徴部位を含んだ所定範囲にズーミングする機構をもつ撮像装置や、画面上にマーカーによって、特徴部位を重畳表示する撮像装置が提案されている（例えば、特許文献１参照）。

特開２００４−３２０２８６号公報

しかしながら、上記の装置では、撮像装置の撮影画角内に目的とする特徴部位が存在しなければ特徴部位の情報抽出を行うことができず、従ってズーミングやマーカー表示も実行されない。従って、上記情報抽出が行われるようにするためには、撮影者が撮影画角内に特徴部位が入るように装置を動かす必要があった。また、撮影者が特徴部位が撮影画角外にあることに気づかず、撮影し損なうことがあった。

本発明は上記問題点を鑑みてなされたものであり、撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置、または、撮像装置と画像処理装置とからなる撮像システムは、画像を撮像して該画像の画像信号を出力する撮像手段と、前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段とを有する。

本発明によれば、撮像装置の撮影画角外に所望の被写体がある場合にも、被写体の存在を検知することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。

図１は、本発明の第１の実施形態の撮像装置１００の機能構成を示すブロック図である。図１に示すように、撮像装置１００は、結像光学系１、結像光学系制御部２、撮像部３、撮像動作制御部４、画像記録部５、画像記憶部６、画像表示部７、広範囲センサ８、被写体候補抽出部９、被写体候補提示部１０を含む。

結像光学系１はズーム機構を備えた光学レンズで構成される。またパン、チルト軸方向の駆動機構を備えてもよい。

結像光学系制御部２は、撮影者からの指定や、後述する撮像動作制御部４および被写体候補抽出部９からの情報に基づき、結像光学系１のズームまたは、結像光学系１の構成によってはパン、チルト方向の駆動制御を行う。

撮像部３は、映像センサ、センサ信号処理回路、センサ駆動回路を含む映像入力手段である。映像センサとしては、典型的にはＣＣＤまたはＣＭＯＳイメージセンサが用いられ、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）が画像データとして出力される。

撮像動作制御部４は、撮影者からの指示（画角調整指示、シャッター押下など）、結像光学系制御部２および被写体候補抽出部９からの情報を基に、撮像部３のセンサ駆動回路に対して読み出し制御信号を出力し、実際の撮像が行われるタイミングを制御する。

画像記録部５は、画像データを外部メディア等に記録する。

画像記憶部６は半導体メモリ等で構成され、撮像部３から転送された画像データを一時的に保持し、画像表示部７および被写体候補抽出部９からの要求に応じて、所定のタイミングで画像データを画像表示部７および被写体候補抽出部９に転送する。

画像表示部７は撮像された画像の表示などを行う。典型的には液晶モニタ等が用いられる。画像表示部７は電子式ファインダ（EVF）のような構成をとっても良い。また撮影者が撮影モード等の選択を行うための操作部と連動してメニュー表示を行う表示部を備えてもよい。画像記憶部６から転送された画像データに対して、結像光学系制御部２の情報に応じた所定の処理を施した後、画像の表示を行う。

広範囲センサ８は、画像表示部７に表示されている範囲よりも広範囲に亘ってセンシングを行うもので、撮像部３と同じく、画像信号を出力する画像センサを用いてもよい。また、集音マイクと音声信号を増幅するアンプから構成される集音装置であってもよい。その他、温度を感知する温度センサや、赤外線センサなど、検出する被写体に合わせて公知のセンサを用いることができる。なお、本第１の実施形態では、画像センサを用いた場合について説明する。

被写体候補抽出部９は広範囲センサ８の出力データおよび撮像部３から出力された画像データから、特定カテゴリに属する被写体候補を検出し、その被写体候補の情報を抽出する。被写体候補抽出部９は、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）内部において実行されるプログラムとして存在する。予め、または所定の手順に従って登録することにより、特定カテゴリを検出するプログラムモジュールを複数備え、撮影者の指定する特定カテゴリによって、プログラムモジュールをダイナミックにロード、実行し、所望の特定カテゴリに属する被写体候補を抽出するような構成にすることも可能である。

被写体候補提示部１０は、被写体候補抽出部９が出力する被写体候補の情報を撮影者に提示するもので、例えば画像表示部７に被写体の位置、大きさ等の情報を矢印等のマーカーにより提示する。他に、音声スピーカーから電子音を発生させたり、音声によって撮影者に被写体候補の情報を提示する構成も考えられる。

図２は上記構成を有する撮像装置における、本第１の実施形態の被写体候補を提示する全体処理を示すフローチャートである。以下、図２を参照しながら説明する。

始めに、画像表示部７が、結像光学系の焦点距離、画角、歪み係数、パン、チルト方向などのカメラパラメータを、結像光学系制御部２あるいは撮像動作制御部４から取得する（ステップＳ１）。続いて、撮像部３により撮像を行い、得られた画像データを画像記憶部６に一時的に記憶する（ステップＳ２）。また、このステップＳ２の処理と並行して、広範囲センサ８によるセンシングを行う（ステップＳ４）。ステップＳ２によって画像記憶部６に蓄えられた画像データは、ステップＳ１で取得したカメラパラメータに応じて画像表示部７で所定の画像処理を施された後、表示される（ステップＳ３）。所定の画像処理は、例えば結像光学系１の歪みなどの収差補正や、明るさを変換する処理である。他に、画像表示部７の解像度に合うように画像データの解像度を変換する処理等も行われる。なお、この所定の画像処理は、例えば、処理速度が重視されるような場合には、その一部または全部を行わないようにしてもよい。

次に、広範囲センサ８から転送されたセンシング情報と、画像記憶部６から転送された画像データとから、被写体候補抽出部９により被写体候補抽出処理を実行する（ステップＳ５）。なお、この被写体候補抽出処理については、詳細に後述する。被写体候補があった場合には（ステップＳ６でＹＥＳ）ステップＳ７にに進むが、何も無かった場合には（ステップＳ６でＮＯ）ステップＳ１に戻る。

被写体候補があった場合、被写体候補提示部１０は、その１つについて画像表示部７に表示されているか、即ち、撮像部３により撮影された画像に含まれているかを判定する（ステップＳ７）。被写体候補が画像表示部７に表示されている場合には、被写体候補提示部１０は、ステップＳ８において画像表示部７にマーカーによる表示などを行う。一方、被写体候補が画像表示部７に表示されていない場合、即ち、広範囲センサ８から出力された情報のみから抽出された被写体情報である場合には、ステップＳ９に進んで撮影者に被写体候補の情報を知らせる。ステップＳ７〜Ｓ９の処理は、全ての被写体候補について（ステップＳ１０でＹＥＳとなるまで）行う。

次に、ステップＳ５において被写体候補抽出部９で行われる被写体候補検出処理について、詳しく説明する。

図３は、被写体候補抽出部９の主な構成要素を表したブロック図である。

物体検出部２１は、画像記憶部６から入力される画像データ及び広範囲センサ８から入力されるデータから、予め指定された特定カテゴリの物体を検出するためのものである。また、検出される特定カテゴリの大きさは可変である。カテゴリの種類としては、例えば、人物、車などのような大分類から、人物の中での老若男女に類する中程度の分類クラス、更には特定人物レベルまでの細分化したクラスまであるものとする。ここでは、特定カテゴリを「人物の顔」として説明する。状態検出部２２は、物体検出部２１で検出されたオブジェクトの状態を検知するためのものである。人物の顔で言うと、顔の大きさや角度、年齢、性別や表情などを検出する。個体認識部２３は、オブジェクトの個体識別を行うためのもので、人物の場合、個人の識別を行う。

次に、被写体候補抽出処理手順について、図４のフローチャートを参照して説明する。撮影者が直接指定するか、撮像装置１００のモード（風景撮影、人物撮影、近景撮影、遠景撮影モードなど）により、抽出すべき物体の特定カテゴリが設定される（ステップＳ２０）。次に、物体検出部２１により、設定された特定カテゴリの物体検出処理を実行する（ステップＳ２１）。例えば、指定された特定カテゴリが特定の人物であった場合には、まず、顔検出を行う。続いて、状態検出部２２により検出された特定カテゴリの物体の状態検出処理を行う（ステップＳ２２）。人物の場合には、顔の傾き、大きさなどが検出された後、さらに性別や個人、表情などを表す特徴量となる、目、鼻、口などの形状や位置関係などを検出し、顔の状態を調べる。さらに、後述する個体認識部２３に備わる、検出された状態に基づく個体識別用の処理モジュールを選択して（ステップＳ２３）、個人の顔の判定といった個体識別処理を行う（ステップＳ２４）。

次に、物体検出部２１について詳しく説明する。図５は、物体検出部２１の主な構成要素を示すブロック図である。

特徴抽出部３１は、入力データに対して、所定サンプリング点位置で特徴量の抽出を行うものである。モデルデータ記憶部３２は、予め複数の検出すべき被写体のカテゴリの情報をモデルデータとして記憶するものである。上述のように、特定カテゴリが人物である場合には、顔に関するモデルデータが、ここに格納されている。モデルデータとしては、例えば、顔画像データ、主成分分析や独立成分分析により得られる顔全体に関する所定の特徴ベクトルデータ、または顔の目、口、などの個々の顔に特徴的な領域に関する局所的特徴データがある。マッチング処理部３３は、抽出された特徴量に基づき入力画像データとモデルデータとのマッチング処理（類似度算出）を行う。

マッチング処理部３３で行う処理としては、例えば、画像データならば、特開平９−１３０７１４号公報に記載の画像情報抽出装置で用いる方法を利用することができる。この装置では、被写体距離に応じたサイズのテンプレートモデル画像を生成し、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算することにより入力画像の局所部分とモデルデータとの類似度分布を算出する。他に、特許３０７８１６６号公報に記載の局所的特徴の空間配置関係に基づくアルゴリズムや特開２００２−８０３２号公報に記載の、畳み込み神経回路網をベースにしたアルゴリズムなどを用いても良い。一般的には類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。入力データが音声である場合は、例えば隠れマルコフモデルを用いた公知のアルゴリズムを用いた同様の所定処理を行えばよい。

また、物体検出の処理時間短縮のために予め前処理として時系列入力画像データから公知の方法により一次特徴量（動きベクトル、色情報などの低次特徴量）抽出を行い、主被写体が存在する可能性の高い候補領域を抽出して探索範囲の絞込みを行ってもよい。例えば、色情報に基づいて、予め登録してあるモデル画像データの要部の色彩（例えば、人物の肌色など）に近い色彩を有する画像領域を閾値処理により抽出して、絞り込みを行うことができる。或いは、一定サイズ以上のまとまった動きベクトル量を有する領域、人物の頭部に類似する検出領域などを被写体候補領域として抽出してもよい。なお、動きベクトル量を用いる場合には、撮像部３は所定位置に固定して設置されていることが好ましい。手持ち撮影を行う場合には、撮像部３そのものの動きに伴うグローバルな動きベクトル量（Ego-motion ベクトル）を抽出して、それを全体の動きベクトル分布から相殺した後に動きベクトル量に基づく領域分割を行う。これにより人物など動きのある被写体の候補領域を求めることができる。

なお、本発明で行われるマッチング処理部３３の処理は上記処理方法に限られるものでなく、公知の方法を適宜利用可能であることは言うまでもない。

次に状態検出部２２について説明する。状態検出部２２は撮影者または本実施形態の撮像装置１００のモードにより指定された特定カテゴリ（「顔」など）に関する状態クラスの検出を行う。状態クラスは、撮影者または本実施形態の撮像装置のモードにより指定されたカテゴリを大分類の状態クラスとし、中分類、小分類のレベルで状態検出を行う。状態カテゴリとしては、例えば本実施形態のように人物であれば、表情、顔の向きというように、検出される物体の種類に応じて予め分類され、所定のメモリに格納されている。

図６にメモリに格納される物体の種類ごとに木構造に分類された状態クラスの例を示す。図６に示すように、大分類が「人物」、中分類が「顔の向き」である場合の小分類としては、パン方向、チルト方向に細分化されたクラスが予め定められている。顔の状態クラスを検出する場合、まず顔の目尻、口元など性別や表情、顔の向きの検出に有効な部位の特徴点の検出を行う。その結果、状態クラスとしては、「斜め向き、男性、無表情」などのようなカテゴリが検出される。

次に、個体認識部２３について説明する。個体認識部２３は物体検出部２１で検出された顔の領域のうち、状態検出部２２で検出された状態クラスでの個体識別処理を行う。図７に個体認識部２３の構成を示す。ここでは、状態クラスは、大クラス、中クラス、小クラスの形式で木構造に予め分類され、大クラスごとに一つの処理モジュール群がまとまって配列している。大クラスは例えば、「顔」、中クラスは「正面」などの顔の向き、小クラスは「年齢」などのような状態を示す。なお、状態クラスの分類形式は、このような木構造以外のほかの形式であっても良いことは言うまでもない。状態検出部２２により検出された状態クラスに特化した個体識別処理モジュールを選択する制御部および選択されるべき個体識別処理モジュール群は個体認識部２３に内蔵されている。または、所定のメモリに格納されるプログラムとして、若しくはハードＩＰコアとして、予め被写体候補抽出部９のシステムＬＳＩ内に格納されている。

例えば、顔の状態が「正面、男性」を状態クラスとして状態検出部２２により検出されたとすると、個体認識部２３では、個体認識モジュールとしてその状態クラスに対応する個体認識モジュールを選択する。各状態クラスに対応した個体認識モジュールは、特定状態クラスを中心としたある程度広い識別性能を有する。即ち、「正面、男性」に特化した個人認識モジュールであっても、ある程度顔の向きや比較的広範な年齢などの属性範囲（例えば１０代の若者〜７０代初老の男性顔まで）の中で変動にロバストな識別が可能となるように予め学習により生成されている。

そのような識別モジュールとしては、例えば特定の状態カテゴリにある特定の二人の顔を識別するようなサポートベクトルマシンを学習により生成して用いる。学習は、例えば、特定状態カテゴリ（ここでは、正面、笑顔）を中心とするある範囲の特定の二人に関する顔データセット用いて、その二人を識別するようにサポートベクトルマシンをトレーニングする。なお、特定状態カテゴリを中心とする範囲の一例としては、正面から±20度の範囲で顔の向きが回転している顔であって、様々な年代の男性の顔を含む。なお、いわゆるone-against-allタイプのサポートベクトルマシンを生成してもよい。この場合、識別する個体数だけサポートベクトルマシンをトレーニングにより生成すればよい。

ここでは、この特定のカテゴリの状態クラスについてこのようなバイナリの識別を行うサポートベクトルマシンを全てのペアの組み合わせ数だけ学習により生成する。認識処理の時には、全てのペアの組み合わせについて実行するのではなく、２本木認識方式を用いれば、クラス数−１回の比較を実行すればよい。この例は、文献（Guo, Li, and Chan “Face Recognition by Support Vector Machines, in Proc. of 14th International Conf. on Automatic Face and Gesture Recognition, 2000）に開示されている。ただし、このような識別モジュールの生成を全ペアの全状態クラスについて予め行っておくのは困難である場合がある。

そこで、識別モジュールの生成は、状態クラスの検出を行った結果、識別できなかった人物について事後的にかつ蓄積的に生成するようにしてもよい。例えば、検出されたある特定の状態カテゴリについて識別ができない場合（若しくは、識別結果の信頼度が低いと推定される場合）、その状態クラスの同一人物の顔画像データを用いて学習を行うなどの方法による識別モジュールの生成を試みてもよい。

個体認識処理の各モジュールとしては、以上のサポートベクトルマシンをベースにした方法のほかに階層的神経回路網や統計的パターン認識の手法を用いても良い。例えば、階層的神経回路網として畳み込み神経回路網を用いた方法（文献：Lawrence et al., “Face Recognition: A Convolutional Neural-Network Approach, IEEE Transactions on Neural Networks, vol.8, pp.98-113, 1997）をベースしてもよい。この場合、状態クラス毎に学習用顔画像データを用意し、教師付き学習を行って個体認識用処理モジュールを生成すればよい。このように、様々な方法により各モジュールを構成することが可能である。

このように顔の識別時と学習時ともに先ず状態クラス（顔の向きや性別など）を判定し、その結果に基づいて特定の状態クラスに特化した識別モジュールの生成を行う。或いは、学習済みの特定の識別モジュールを選択的に起動（必ずしも一つの識別モジュールとは限らない）して個体の識別動作を行う。選択的起動の仕方としては、検出された状態クラスを中心としてその近傍にあるクラスに対応する個体認識モジュールの起動を行っても良い。

以上のように、予め設定された種類の状態クラス（性別、顔の向きなど）の何れに属するかの判定（比較的軽い処理）を個体認識に先立って行うことにより、特徴空間内での個体識別のための探索範囲を効率的に絞り込むことができる。その後に検出された状態クラスに特化して生成された識別モジュールによる識別動作を実行することにより、全ての状態クラスを含む集合の中で個体識別を行う場合と比べて、より効率的にかつ高い精度での認識が可能となる。

次に、被写体候補提示部１０について説明する。

被写体候補提示部１０は、被写体候補抽出部９が抽出した被写体候補が画像表示部７内にあるか、または画像表示部７外にあるかを判断し（図２のステップＳ７）、画像表示部７内にある場合には、その被写体候補をマーカーにより提示する（ステップＳ８）。図８は被写体候補提示部１０によって、画像表示部７に、被写体候補である人物の顔位置について情報を提示している例を表したものである。図８に示す例では、被写体候補である人物の顔に対してマーカー（枠）表示３１、３２が表示されているが、これに例えば人物の属性（性別、年齢、表情、個人名）などを表示しても良い。また、この属性を文字列ではなく、アイコン等によって抽象化した表示にしても良い。また、被写体候補抽出部９により複数の被写体候補が検出された場合、図８に示すようにそのまま重畳表示しても良いし、以下のように表示制御しても良い。即ち、撮影者の指定および撮影モードによって被写体候補の重要度が予め分かっている場合や、被写体候補抽出結果の過去の履歴等からその重要度を算出した場合には、選択的に被写体候補を提示するようにしても良い。

図９は、複数の被写体候補の内、少なくともその一部が画像表示部７の外側にある場合に、被写体候補提示部１０が情報表示を行った場合について示している（図２のステップＳ９）。この場合には、画像表示部７の外側にある被写体候補について矢印表示４２で被写体候補が画像表示範囲からどれくらい離れているか、その概略情報を示し、メッセージ表示４３である程度詳細な情報を提示している。なお、この情報を利用して、撮像部３が被写体候補を撮影できるように、自動的にパン・チルト角を変更したり、結像光学系１の画角を変更するように構成することも可能である。

以上のように、撮像装置の撮影画角外に被写体候補がある場合にも、被写体候補の存在を検知することが可能になる。さらに、撮影画角外にある被写体候補位置の情報を撮影者に的確に提示することが可能となる。

上記第１の実施形態では、撮像部３からの画像データ及び広範囲センサ８からの情報に基づいて被写体候補を検出するものとして説明した。しかし、広範囲センサ８から得られる情報が撮像部３の撮像範囲を含む場合には、撮像部３からの画像データを用いずに広範囲センサ８からの情報に基づいて被写体候補を検出することも可能である。

また、上記第１の実施形態では、広範囲センサ８が画像データを出力する場合について説明したが、例えば、温度センサの場合には温度を、また集音装置の場合には音と言ったように、検出対象に合わせてカテゴリを設定すればよい。具体的には、温度センサの場合には、例えば、３５〜３７度というような所定温度範囲にしたり、集音装置の場合には、例えば、検知するカテゴリを「笑い声」や「ＸＸデシベル以上の音」等とすることができる。そして、撮像部３の撮像範囲内かどうかについては、検知した方向及び撮像部３の画角に基づいて判断すればよい。

＜変形例＞
上記第１の実施形態では、撮像部３と広範囲センサ８とがそれぞれ独立に構成されている場合について説明したが、同一の構成であってもよい。本変形例ではその場合について説明する。なお、撮像装置の基本的な構成及び処理は上述した第１の実施形態と同様であるため、第１の実施形態と異なる部分について説明する。

図１０は、同一構成によって実現される撮像部３と広範囲センサ８の関係を示す図であり、広範囲センサ８のセンシング領域を有するエリアセンサにより構成される。従って、エリアセンサの一部から出力される画像データが撮像部３から出力される画像データに対応し、このエリアセンサ全体または撮像部３に相当する領域以外から出力される画像データが広範囲センサ８から出力される画像データに対応する。

撮像部３の大きさは撮影者からの画角指示に応じて変化し、画角が狭くなるように指示されると（ズームイン）、例えば図１０で実線で示す領域より狭い点線で示される領域の画像データが撮像部３の画像データとして出力される。反対に、画角が広くなるように指示されると（ズームアウト）、例えば図１０で実線で示す領域より広い点線で示される領域の画像データが撮像部３の画像データとして出力される。なお、撮像部３の領域は、解像度を鑑みて、広範囲センサ８に対して一定の割合の範囲内となるように結像光学系１の画角を調整する。

以下、エリアセンサの中央近辺の領域を撮像部３、また、全体または撮像部３に相当する領域以外の領域を広範囲センサ８と呼ぶ。なお、撮像部３から出力される画像データが画像表示部７に表示される画像となる。

次に、撮像部３と広範囲センサ８が同一の装置であった場合に図２のステップＳ２で行われる撮像処理について、図１１を参照して説明する。

まず、撮影者が不図示のシャッターを押下などして撮像指示信号が発せられると（ステップＳ３１）、結像光学系１のカメラパラメータから現在の画角Ａ１を求める（ステップＳ３２）。これは、広範囲センサ８の画角に相当する。続いて撮影者の指定するカメラパラメータから撮像部３の画角Ａ２を求める（ステップＳ３３）。そして、求めた画角Ａ２が、現在の画角Ａ１に対して、所定範囲内にあるかを判断する（ステップＳ３４）。所定範囲内に無い場合には、撮像部３の画角Ａ２が所定範囲内となるように、結像光学系１の画角を結像光学系制御部２により調整した後（ステップＳ３５）、実際の撮像指示信号を撮像部３に発して、撮影を行う（ステップＳ３６）。Ａ２がＡ１に対して所定範囲内にある場合には（ステップＳ３４でＹＥＳ）、そのままステップＳ３６に進んで撮影を行う。撮影により得られた画像データは、画像記憶部６に一時記憶される。

次に、図２のステップＳ３で行われる本変形例における画像処理について、図１２を参照して簡単に説明する。

まず、結像光学系制御部２から得たカメラパラメータより、結像光学系１の画角Ａ１を求める（ステップＳ４１）。上述したように、この画角Ａ１は広範囲センサ８の画角である。更に、撮影者の指定する画角Ａ２を求める（ステップＳ４２）。

次に、画角Ａ１及びＡ２に基づいて、エリアセンサから得られた画像データから、画角Ａ２の画像となるように画像を切り出して、解像度変換を施す（ステップＳ４３）。その後、所定の画像処理、例えば結像光学系１の歪みなど収差補正や、明るさの変換等、を施したのち（ステップＳ４４）、画像表示部７に表示する（ステップＳ４５）。所定の画像処理は、例えば結像光学系１の歪みなどの収差補正や、明るさを変換する処理である。他に、画像表示部７の解像度に合うように画像データの解像度を変換する処理等も行われる。なお、この所定の画像処理は、例えば、処理速度が重視されるような場合には、その一部または全部を行わないようにしてもよい。

上記の通り本変形例によれば、撮像部３と広範囲センサ８を同一構成により実現することができる。その場合、撮像部３と広範囲センサ８を別々に構成する場合と比較して、構成を単純にすることが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、第１の実施形態の構成に加え、更に移動体予測部を有する場合について説明する。

図１３は、本第２の実施形態における撮像装置２００の機能構成を示すブロック図である。図１３に示す構成は、第１の実施形態で説明した図１の構成と比較して、第１の実施形態の構成に加えて移動体予測部１１を更に備える。移動体予測部１１は、撮像画角外にある被写体候補が撮像画角内に入ってくる時刻、及び撮像画角内にある被写体候補が撮像画角外に出て行く時刻を予測する。被写体候補提示部１０はこの予測を情報として撮影者に提示する。なお、この他の構成要素については図１の構成と同様であるため同じ参照番号を付し、説明を省略する。

被写体候補抽出部９は、第１の実施形態における被写体候補抽出部９と同様に、人物の身体各部や車などや、予め登録された限定的種類でのマルチカテゴリ対応の物体検出部２１を有する。さらに、本第２の実施形態では、物体検出されたオブジェクトが人物である場合、その年齢や性別などの属性情報を検出する状態検出部２２が、動いている状態を検出する機能を有する。動いているかいないかを判定するための照合用分類モデルデータとしては、物体検出結果の時系列データであって、移動体の各部位の特徴点位置の変化パターンを用いる。移動体の各部位の特徴点位置は、３次元空間に時間軸を加えた４次元空間または撮像センサ面への投影２次元空間に時間軸を加えた３次元空間におけるものである。

図１４は本第２の実施形態の被写体候補を提示する全体処理を示すフローチャートである。図１４に示す処理は、第１の実施形態で説明した図２に示す処理とは、ステップＳ６における被写体候補の有無を判断する処理までが同じであるので説明を省略し、被写体候補があると判断された後の処理について説明する。

ステップＳ６において、被写体候補があると判断されるとステップＳ５１に進み、移動体抽出処理を行う。この処理は前述したように、状態検出処理（図４のステップＳ２２）の結果から、予め被写体候補でかつ動いている状態の物体をラベル付けしておいて、そのラベルを調べることによって行われる。なお、移動体抽出処理については、詳細に後述する。次に被写体候補が移動体か否かを判断する（ステップＳ５２）。被写体候補が移動体で無い場合は、図２のステップＳ７〜Ｓ９と同様の処理を行い、ステップＳ５６に進む。

一方、被写体候補が移動体であった場合は（ステップＳ５２でＹＥＳ）、被写体候補が画像表示部７に表示されているか、即ち、撮像部３により撮影された画像に含まれているかどうかを判定する（ステップＳ５３）。被写体候補が画像表示部７に表示されている場合は、被写体候補提示部１０は、被写体候補にマーカー表示を施し、さらに移動体予測部による情報を画像表示部７上にメッセージ出力したり、またはスピーカーから音声を出力する等して撮影者に提示する（ステップＳ５４）。移動体予測部１１による情報とは、例えば移動速度や、表示画面内から外側へ移動してしまう時刻、移動する物体をぶれなく撮影する所謂「流し撮り」を行うのに最適な指示情報となる撮像装置を動かす速度、露出、ピント制御などである。

一方、被写体候補が画像表示部７に表示されていない場合、即ち、広範囲センサ８から出力された情報のみから抽出された被写体情報である場合は（ステップＳ５３でＮＯ）、移動体予測部１１によって得られた被写体候補に関する情報を画像表示部７に表示する。ここでは、例えば被写体の種類や属性のほかに、撮影画角内に被写体候補が入ってくる予想時刻や、上述のような流し撮りを行うための撮影者への最適な指示、シャッタータイミング、ピント、露出などの情報提示を行う。

ステップＳ５２以降の処理を、全ての被写体候補について（ステップＳ５６でＹＥＳとなるまで）行い、当該処理を終了する。

次に、図１５を参照しながら、移動体予測部１１について説明する。図１５は、移動体予測部１１の構成を示すブロック図である。フレームバッファ４１は、動きベクトルを抽出するために、画像記憶部６に記憶された画像データ及び広範囲センサ８からの情報と被写体候補抽出部９の結果を一時的に記憶しておく。動きベクトル抽出部４２は、フレームバッファ４１から取得した画像データと広範囲センサ８からの情報、および被写体候補抽出部９の結果の時系列データを用いて、移動体である被写体候補の動きベクトルを取得する。移動速度算出部４３は、動きベクトル抽出部４２で抽出された移動体の速度を計算し、時系列データとして出力する。移動体位置予測部４４は、移動体速度算出部４３から取得した、移動体の速度の時系列データから、ある時刻の移動体の位置を予測し、被写体候補が撮像部３の画角の境界に来る時刻を算出する。

次に、移動体予測部１１の処理について、図１６のフローチャートを参照して説明する。この処理は、ステップＳ５４及びＳ５５で行われる。

まず、フレームバッファ４１から画像の時系列データを取得する（ステップＳ６０）。そして、時系列画像データから動きベクトルを抽出する（ステップＳ６１）。ここで、動きベクトルは、公知の技術、たとえばオプティカルフローなどを用いて求めればよい。撮像装置２００が動いている場合でも、グローバルな動きベクトルを取り去ることによって、注目する移動物体の動きベクトルだけを抽出することができる。続いて、結像光学系制御部２からカメラパラメータを取得する（ステップＳ６２）。カメラパラメータから結像光学系１の焦点距離を取得し、また移動体は被写体候補抽出部９により予めその大きさが分かっているので、移動体までの距離が算出され、両者と動きベクトルの分布から移動体の移動速度を推定する（ステップＳ６３）。続いて、推定された移動速度から、画像表示部７の表示範囲との位置関係を時系列で求める（ステップＳ６４）。このとき、移動体だけに合焦させて撮影する、所謂「流し撮り」に最適な、撮像装置２００を移動体に合わせて動かす速度をカメラパラメータから求めることも同時にできる。移動体が画像表示部７の表示範囲との境界に達する時刻を、フレームインまたはフレームアウトの予測時刻として提示する（ステップＳ６５）。

図１７は、被写体候補が移動体であって（ステップＳ５２でＹＥＳ）、且つ、画像表示部７の表示範囲内にあった場合（ステップＳ５３でＹＥＳ）の、移動体予測部１１による結果の表示例である（ステップＳ５４）。ここでは、移動体は人物であり、画面の右側から左側に移動している。被写体候補提示部１０によって、人物の顔にマーカー（枠）表示がされ、移動速度が進行方向を向いた矢印とともに表示される。また、人物がフレームアウトすると予想される時刻をメッセージ表示している。

図１８は、被写体候補が移動体であって（ステップＳ５２でＹＥＳ）、且つ、画像表示部７の表示範囲外にあった場合（ステップＳ５３でＮＯ）の、移動体予測部１１による結果の表示例である（ステップＳ５５）。ここでは移動体は特定の人物Ａであり、表示画面の右外側から画面内に進入する場合を想定している。移動速度を、進行方向を向いた矢印とともに提示し、人物の名前と、フレームインする時刻をメッセージ表示している。また、流し撮りに最適な撮像装置の移動速度も表示している。

上記の通り本第２の実施形態によれば、上記第１の実施形態と同様の効果に加え、被写体候補が移動体である場合に、より詳しい情報を提示することが可能になる。

なお、上記第１及び第２の実施形態では、被写体候補抽出部９により抽出した被写体候補を示すマーカー表示を画像表示部７上で行う場合について説明したが、本発明では必ずしもマーカー表示を行わなくてもよい。例えば、抽出した被写体候補の情報に基づいて、被写体候補が撮像部３により撮像されるように撮像装置を制御するなど、撮像部３の撮像範囲外にある被写体候補の抽出結果を利用して様々な制御を行うことが考えられる。

また、本発明は、複数の機器（例えばカメラヘッド、ホストコンピュータ、インターフェイス機器、通信手段など）から構成されるシステムに適用しても、一つの機器（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）からなる装置に適用してもよい。複数の機器で構成した場合には撮像以外の画像処理をホストコンピュータで実現するように構成することが可能であり、図２及び図１５のステップＳ５以降の処理の一部または全部をホストコンピュータで行うことが可能である。

本発明の第１の実施形態における撮像装置の機能構成を示すブロック図である。 本発明の第１の実施形態における被写体候補検出処理のフローチャートである。 本発明の第１の実施形態における被写体候補抽出部の構成を示すブロック図である。 本発明の第１の実施形態における被写体候補抽出部で行われる被写体候補抽出処理のフローチャートである。 本発明の第１の実施形態における物体検出部の構成を示すブロック図である。 本発明の第１の実施形態における状態検出部に格納される状態クラスの一例を示す図である。 本発明の第１の実施形態における個体認識部の構成図である。 本発明の第１の実施形態における被写体候補が画像表示部内にある場合の表示例を示す図である。 本発明の第１の実施形態における被写体候補が画像表示部外にある場合の表示例を示す図である。 本発明の変形例における撮像部兼広範囲センサを説明するための図である。 本発明の変形例における撮像処理を示すフローチャートである。 本発明の変形例における画像処理を示すフローチャートである。 本発明の第２の実施形態における撮像装置の機能構成を示すブロック図である。 本発明の第２の実施形態における被写体候補検出処理のフローチャートである。 本発明の第２の実施形態における移動体予測部の構成を示すブロック図である。 本発明の第２の実施形態における移動体予測処理を示すフローチャートである。 本発明の第２の実施形態における被写体候補が画像表示部内にある場合の移動体予測部の予測結果を表示した場合の表示例を示す図である。 本発明の第２の実施形態における被写体候補が画像表示部外にある場合の移動体予測部の予測結果を表示した場合の表示例を示す図である。

符号の説明

１ 結像光学系
２ 結像光学系制御部
３ 撮像部
４ 撮像動作制御部
５ 画像記録部
６ 画像記録部
７ 画像表示部
８ 広範囲センサ
９ 被写体候補抽出部
１０ 被写体候補提示部
１１ 移動体予測部
２１ 物体検出部
２２ 状態検出部
２３ 個体認識部
３１ 特徴抽出部
３２ モデルデータ記憶部
３３ マッチング処理部
４１ フレームバッファ
４２ 動きベクトル抽出部
４３ 移動体速度算出部
４４ 移動体位置予測部

Claims (11)

1. 画像を撮像して該画像の画像信号を出力する撮像手段と、
   前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、
   少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、
   前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段と
   を有することを特徴とする撮像装置。
2. 前記抽出手段は、前記撮像手段からの画像信号を更に用いて、被写体候補を抽出することを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段による判断結果を通知する通知手段を更に有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記被写体候補が移動体であるかどうかを判断し、移動体である場合には移動予測情報を出力する移動体検出手段を更に有し、
   前記通知手段は、前記移動予測情報を更に通知し、前記移動予測情報は、前記被写体候補の移動速度及び方向と、前記被写体候補が前記撮像手段の撮像範囲内にある場合には撮像範囲外にフレームアウトするまで時間と、前記被写体候補が前記撮像装置の撮像範囲外にある場合には撮像範囲内にフレームインするまで時間の少なくともいずれかを含むことを特徴とする請求項３に記載の撮像装置。
5. 前記通知手段は表示手段であって、前記被写体候補をマーカー表示することを特徴とする請求項３または４に記載の撮像装置。
6. 前記通知手段は音声出力手段であって、前記判断手段による判断結果を音声により通知することを特徴とする請求項３または４に記載の撮像装置。
7. 前記被写体候補が前記撮像手段の撮像範囲外にある場合に、前記通知手段は前記撮像手段の撮像範囲との位置関係を通知することを特徴とする請求項３乃至６のいずれかに記載の撮像装置。
8. 前記判断手段により、前記被写体候補が前記撮像装置の撮像範囲外にあると判断された場合に、前記被写体候補が前記撮像装置の撮像範囲に入るように前記撮像手段を制御する制御手段を更に有することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
9. 前記センサ手段は、撮像手段、集音手段、温度センサ、赤外線センサのいずれかであることを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
10. 前記撮像手段と前記センサ手段は、同一の撮像素子から画像信号の出力領域を選択することにより構成されていることを特徴とする請求項１または８に記載の撮像装置。
11. 撮像装置と、該撮像装置に接続された画像処理装置とからなる撮像システムであって、
    画像を撮像して該画像の画像信号を出力する撮像手段と、
    前記撮像手段の画角よりも広い領域の情報を感知するセンサ手段と、
    少なくとも前記センサ手段によって得られた情報から、被写体候補を抽出する抽出手段と、
    前記センサ手段からの情報及び前記撮像手段の画角に基づいて、前記抽出手段によって抽出された被写体候補が、前記撮像手段の撮像範囲内にあるか、前記撮像装置の撮像範囲外にあるかを判断する判断手段と
    を有することを特徴とする撮像システム。

Images