JP2010021598A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】 パン動作やティルト動作時であっても、撮影者が追尾している被写体を適切かつ迅速に抽出し、撮影者の意志を正確に反映した撮像制御を通じて高品質の画像データを生成することを目的とする。
【解決手段】 本発明の撮像装置１００は、撮像装置自体のパン動作またはティルト動作を検出する動作検出部１５０と、被写体を撮像して画像データを生成する撮像部１５２と、画像データにおける画像内の１または複数の人物を抽出する人物抽出部１８０と、抽出された１または複数の人物の画像内の移動速度を計算する移動速度計算部１８２と、パン動作またはティルト動作が検出された場合、計算された移動速度が最小となる人物を主たる被写体として、焦点調整または露光調整のいずれか一方または両方を含む撮像制御を遂行する撮像制御部１８４と、を備えることを特徴とする。
【選択図】 図３

Description

本発明は、焦点調整や露光調整等の撮像制御を遂行可能な撮像装置および撮像方法に関する。

ビデオカメラ等の撮像装置では、主たる被写体の焦点を自動的に合わせるオートフォーカス（ＡＦ）機能や、シャッター速度や絞りの大きさにより露光を自動的に調整するオートエキスポージャ（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等）で補正して被写体をきれいに撮像することが可能である。また、焦点調整や露光調整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する例えば人物といった被写体がその対象として選択される。このような焦点調整や露光調整の対象となる被写体を特定する様々な技術が存在する。

例えば、焦点調整に用いる画像の数を増やし、その合焦位置を評価して撮影レンズを駆動させるという一連の動作を繰り返すことで、手ぶれや被写体の動きに対応して被写体に適正に合焦し続ける技術が知られている（例えば、特許文献１）。

また、固定領域を撮像している画面中を推移する物体への焦点調整を試みる場合に、画面を複数の小さな領域に分割し、それぞれの分割領域毎に高周波成分を積分して、動きベクトルが集中する領域に焦点をあてることで、画面中の小さな被写体や動きのある被写体であっても適切に焦点調整を実行する技術も開示されている（例えば、特許文献２）。

さらに、撮像画像に人物を認識するための複数の顔が検出された場合において、その検出された顔のサイズおよび位置に応じて重み付けを行い、重み付けが大きい顔を主要被写体として選定する技術も知られている（例えば、特許文献３）。

また、撮像装置自体がパン動作やティルト動作を伴うとき、自体に設けられた加速度センサを用いて撮像装置の動きを検出し、その検出値に基づいて顔検出枠の表示位置を補正する技術も知られている（例えば、特許文献４）。
特開２００６−０９１９１５号公報 特開２００６−２４３３７３号公報 特開２００８−０３５１２５号公報 特開２００７−３０６４１６号公報

上述した撮像装置が固定された状態において焦点調整対象を選択する技術では、たとえその対象が小さかったとしても適切に焦点をあてることができる。しかし、撮影者が真に望む対象が必ずしも自動的に選択されるとは限らず、例えば、意志に反して画像内において移動量が大きい被写体や画像内の占有面積が大きい被写体に焦点があたり、所望する被写体はピントが外れた状態で撮像されることがあった。

また、パン動作やティルト動作時に顔検出枠の表示位置を補正する技術も、対象となる顔の検出枠を相対的に動かしているに留まり、パン動作やティルト動作時における所望する被写体を推定することはできなかった。

従って、パン動作やティルト動作時における撮影者の撮像対象が一意に特定されず、画像内の占有面積の大きい被写体や画面中央に位置する被写体に、意図せず焦点があたってしまうことがあった。例えば、サッカーボールをドリブルしながら走っていく人物の撮像を試みたとしても、その主たる被写体の顔が一番大きく、かつ画面中央に位置していない限り、誤った被写体が主たる被写体と判定され、所望する画像が得られないといった問題が生じていた。

本発明は、このような課題に鑑み、パン動作やティルト動作時であっても、撮影者が追尾している被写体を適切かつ迅速に抽出し、撮影者の意志を正確に反映した撮像制御を通じて高品質の画像データを生成することが可能な撮像装置および撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の代表的な撮像装置の構成は、撮像装置自体のパン動作またはティルト動作を検出する動作検出部と、被写体を撮像して画像データを生成する撮像部と、画像データにおける画像内の１または複数の人物を抽出する人物抽出部と、抽出された１または複数の人物の画像内の移動速度を計算する移動速度計算部と、パン動作またはティルト動作が検出された場合、計算された移動速度が最小となる人物を主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行する撮像制御部と、を備えることを特徴とする。かかる人物の抽出は、その人物の顔を判断して行われるとしてもよい。

撮像装置および被写体が固定された状態（パン動作またはティルト動作が行われていない状態）において、撮影者が、その撮像画像内を移動するいずれの被写体を主たる被写体と意識しているかを自動的に抽出するのは困難である。それに対して、撮影者が、移動している被写体を意識的に追尾している場合、そのパン動作またはティルト動作が撮影者の追尾対象の動作と近似することとなるので、相対的に移動速度（単位時間あたりの移動量）が小さい（最小の）対象を主たる被写体と特定することができる。従って、パン動作またはティルト動作の検出と、移動速度が最小となる人物といった２つの条件を同時かつ相補間的に利用することで、パン動作やティルト動作時であっても、撮影者が追尾している被写体を適切かつ迅速に抽出し、撮影者の意志を正確に反映した撮像制御を通じて高画質の画像データを生成することが可能となる。

移動速度計算部は、人物の単位時間あたりの移動画素数に基づいて移動速度を計算してもよい。

このような単位時間あたりの移動画素数によって、人物の移動速度を数値比較することが可能となり、確実かつ迅速に移動速度が最小の人物、即ち、撮影者が追尾している被写体を捕らえることが可能となる。

本発明の代表的な他の構成は、撮像装置を用いて被写体の撮像を行う撮像方法であって、撮像装置自体のパン動作またはティルト動作の発生を監視し、被写体を撮像して画像データを生成し、画像データにおける画像内の１または複数の人物を抽出し、抽出された１または複数の人物の画像内の移動速度を計算し、パン動作またはティルト動作の監視においてパン動作またはティルト動作が検出された場合、計算された移動速度が最小となる人物を主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行することを特徴とする。移動速度の計算は、人物の単位時間あたりの移動画素数に基づいて実行されてもよい。

上述した撮像装置における技術的思想に対応する構成要素やその説明は、当該撮像方法にも適用可能である。

以上説明したように本発明によれば、パン動作やティルト動作時であっても、撮影者が追尾している被写体を適切かつ迅速に抽出し、撮影者の意志を正確に反映した撮像制御を通じて高品質の画像データを生成することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態は、パン動作やティルト動作が撮影者によって実行されている状態において、撮影者が意識的に追尾している人物（被写体）を、画像枠内から適切かつ迅速に抽出し、その抽出された人物を確実に撮像制御することを目的としている。以下、本実施形態の代表的な撮像装置および撮像方法を述べる。

（撮像装置１００）
図１は、本実施形態における撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有するものが多く、本体１０２と、撮像レンズ１０４と、操作キー１０６と、ビューファインダ１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作キー１０６へのユーザ入力に応じてその記録タイミングや画角が調整される。また、画像データにおける画像内の所望する被写体の焦点および露光が所望する値になるよう自動調節される。ビューファインダ１０８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)等で構成され、実録される画像データを視認することができる。撮影者は、その画像を参照しながら被写体を所望する位置および大きさで捉えることが可能となる。

図２は、撮影者による撮像装置１００の動きを説明するための説明図である。本実施形態では、撮像装置１００を固定して利用するのみならず、移動する被写体を追尾すべく撮像装置１００自体を動かし、撮像レンズ１０４の方向を変えて利用している。このような撮像装置１００自体の動作として、本実施形態においては、図２に実線の矢印で示した左右への振り、即ちパン動作と、破線で示した上下への振り、即ちティルト動作とが想定される。

図３は、本実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、動作検出部１５０と、撮像部１５２と、中央制御部１５４と、信号出力部１５６と、記録部１５８とを含んで構成される。

動作検出部１５０は、角加速度計、角速度計、加速度計、傾斜計（ティルトにのみ適用）等とその検出信号から角速度を計算する計算部から構成され、撮影者が任意の被写体、例えば人物を追いかけるため撮像装置１００の方向を図２に示したように左右上下に意図的に変位させたときの当該撮像装置１００自体のパン動作またはティルト動作を検出する。角加速度計や角速度計は、手振れ補正機構と併用して利用されるとしてもよく、方向が左右上下に振れている状態を手振れ動作、左右上下のいずれか一方向に推移している状態をパン動作またはティルト動作と判定する。

撮像部１５２は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１５２は、具体的に、焦点調整に用いられるフォーカスレンズ１７０、露光調整に用いられる絞り１７２、撮像レンズ１０４を通じて入射する光を電気信号に変換する撮像回路（撮像素子）１７４、フォーカスレンズ１７０および絞り１７２を駆動させる駆動回路１７６、を含んで構成される。かかる撮像部１５２によって撮像された画像データは、中央制御部１５４、信号出力部１５６および記録部１５８に転送される。

中央制御部１５４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）を含む半導体集積回路により撮像装置１００全体を管理および制御する。また、中央制御部１５４は、人物抽出部１８０、移動速度計算部１８２、撮像制御部１８４としても機能する。

人物抽出部１８０は、画像データにおける画像内の１または複数の人物、特に人物の顔の有無を常時監視し、顔（人物）が検出されるとその顔の位置を抽出する。かかる顔の抽出は、撮像レンズ１０４を通じて肌の色、輪郭、目鼻口の配置パターン等様々な顔の特徴を認識する方法を適用することができる。また、顔に限らず人物の輪郭、手足の動き等により人物そのものを直接抽出することもできる。人物抽出部１８０は、顔又は人物を抽出した旨を撮像制御部１８４に伝達すると共に、その位置を移動速度計算部１８２に伝達する。以下、特に断らない限り「人物」の記載は人物そのものまたは顔等人物のいずれかの部位を指す。

移動速度計算部１８２は、人物抽出部１８０で抽出された１または複数の人物の位置に基づいて、その１または複数の人物の画像内の上下左右への移動速度を計算する。かかる移動速度の計算は、画像内の動きベクトルにより計算することができ、例えば、人物の単位時間あたりの移動画素数に基づいて計算することができる。

このような単位時間あたりの移動画素数によって、人物の移動速度を数値比較することが可能となり、確実かつ迅速に移動速度が最小の人物、即ち、撮影者が追尾している被写体を捕らえることが可能となる。

ここで、撮像装置１００から人物への距離によっては移動画素数を適切に比較できない場合が生じ得る。例えば、撮像対象として所望する人物ではないのに単に遠くにいるというだけで移動画素数が小さくなってしまい後述する撮像制御部１８４においてその人物が主たる被写体として認識されてしまう場合等である。これは、人物抽出部１８０で抽出された人物の移動速度にその人物の距離に応じて重み付け、例えば遠くの人物には近くより大きな値を乗算して移動速度を導出することで、距離に拘わらず適切に移動画素数を計算することができる。

撮像制御部１８４は、動作検出部１５０によってパン動作またはティルト動作が検出された場合、パン動作またはティルト動作が有効な間、移動速度計算部１８２によって計算された移動速度が最小となる人物を、その都度、主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行する。そして、撮像制御部１８４は、撮像制御を遂行するための制御指令を撮像部１５２の駆動回路１７６に伝達する。

図４は、パン動作またはティルト動作と移動速度との関係を説明するための説明図である。ここでは、撮像対象としてサッカーの試合が想定され、撮像した画像２００内には３人のサッカー選手である人物２０２、２０４、２０６が映し出されている。

例えば、撮影者が意識的に人物２０２を撮像しているとき、人物２０２の移動に合わせてパン動作を実行したとする。従来であれば、パン動作に対する特別な処理が遂行されないため、画像枠内の最も中央に位置している人物２０６が主たる被写体として認識されてしまい、撮像制御は人物２０６に対して遂行されることとなる。

このように、撮影者が、移動している被写体を意識的に追尾している場合、パン動作またはティルト動作が撮影者の追尾対象の動作と近似することとなるので、その人物が画像２００内のどの位置にいたとしても、パン動作またはティルト動作中において相対的に移動速度が小さい（最小の）対象を主たる被写体と特定することができる。移動速度は、撮影者が理想的な追尾を行った場合、ほぼ０となるはずである。

従って、パン動作またはティルト動作の検出と、移動速度が最小となる人物といった２つの条件を同時かつ相補間的に利用することで、パン動作やティルト動作時であっても、撮影者が追尾している被写体を適切かつ迅速に抽出し、撮影者の意志を正確に反映した撮像処理を通じて高画質の画像データを生成することが可能となる。

また、上述したように本実施形態では、撮像制御部１８４が、移動速度が最小となる人物を特定するだけでなく、その条件にパン動作またはティルト動作が含まれる。これは、以下の理由による。

撮像装置１００を固定し、その画像２００内を例えば右端から左端に移動する人物が、撮影者が所望する主たる被写体であった場合に、パン動作またはティルト動作時という条件を設けることなく本実施形態を遂行すると、画像２００内で移動速度が最小の他の人物に撮像制御が実行されてしまう。これは、撮影者が所望する人物には撮像制御が及ばないことを示す。

実際に、パン動作またはティルト動作を行わないときには、撮影者の意図を反映するのは困難であり、上述した移動速度が最小になる人物に対して撮像制御を行うことが却って撮影者の意図に背くことにもなりかねない。従って、本実施形態では、パン動作またはティルト動作を検出していないときには、撮像制御部１８４を機能させないこととする。

信号出力部１５６は、撮像部１５２からの画像データを視聴可能な画像信号に加工してビューファインダ１０８に出力する。撮影者は、かかるビューファインダ１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先をビューファインダ１０８としたが、別体のモニタ等様々な画像表示装置に接続することが可能である。

記録部１５８は、符号化処理を通じて符号化された記録信号（データストリーム）を生成し、画像データを任意の記録媒体１９０に記録する。任意の記録媒体１９０としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。

（撮像方法）
また、上述した撮像装置１００を用いて焦点調整や露光調整等の撮像制御を遂行可能な撮像方法も提供される。

図５は、撮像方法の具体的な処理を示したフローチャートである。まず、撮影者が撮像装置１００を用いて撮像を開始すると、撮像装置１００の動作検出部１５０は、当該撮像装置１００自体のパン動作またはティルト動作の有無を常時監視し（Ｓ３００）、パン動作またはティルト動作を検出すると（Ｓ３００の“ＹＥＳ”）、撮像部１５２によって撮像された画像データの画像内に人物が存在するかどうか判断する（Ｓ３０２）。ここで、人物が存在すると判断された場合（Ｓ３０２の“ＹＥＳ”）、本実施形態の人物追尾モードに推移する（Ｓ３０４）。

かかる人物追尾モードでは、人物抽出部１８０が、生成された画像データにおける画像内の１または複数の人物を抽出し（Ｓ３０６）、移動速度計算部１８２が、抽出された１または複数の人物の画像内の移動速度を計算する（Ｓ３０８）。

パン動作またはティルト動作が検出されているので、撮像制御部１８４は、計算された移動速度が最小となる人物を主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行する（Ｓ３１０）。

一方、パン動作またはティルト動作は検出されているが、人物が存在しないと判断された場合（Ｓ３０２の“ＮＯ”）、動作モードは、通常のパン／ティルト制御モードが適用され、撮像部１５２の画像データに基づいて撮像制御が遂行される（Ｓ３１２）。

また、パン動作またはティルト動作が検出されていない場合（Ｓ３００の“ＮＯ”）においても、撮像部１５２によって撮像された画像データの画像内に人物が存在するかどうか判断され（Ｓ３１４）、人物が存在すると判断された場合（Ｓ３１４の“ＹＥＳ”）、動作モードは、通常の人物撮像制御モードが適用され、人物抽出部１８０で抽出された人物のうち、画像内の占有面積の大きい人物や画面中央に位置する人物を対象として撮像制御が遂行される（Ｓ３１６）。また、人物が存在しないと判断された場合（Ｓ３１４の“ＮＯ”）、動作モードは、通常モードが適用され、撮像部１５２の画像データに基づいて撮像制御が遂行される（Ｓ３１８）。

かかる撮像方法においても、撮像装置１００自体のパン動作またはティルト動作と、画像内において移動速度が最小の人物という２つの条件を同時かつ補間的に利用することで、撮影者の意図する人物を確実に特定することができ、撮影者の意図を正しく反映した撮像制御を行うことが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、焦点調整や露光調整等の撮像制御を遂行可能な撮像装置および撮像方法に利用することができる。

撮像装置の一例を示した外観図である。 撮影者による撮像装置の動きを説明するための説明図である。 撮像装置の構成を示すブロック図である。 パン動作またはティルト動作と移動速度との関係を説明するための説明図である。 撮像方法の具体的な処理を示したフローチャートである。

符号の説明

１００ …撮像装置
１５０ …動作検出部
１５２ …撮像部
１８０ …人物抽出部
１８２ …移動速度計算部
１８４ …撮像制御部

Claims (4)

1. 撮像装置自体のパン動作またはティルト動作を検出する動作検出部と、
   被写体を撮像して画像データを生成する撮像部と、
   前記画像データにおける画像内の１または複数の人物を抽出する人物抽出部と、
   前記抽出された１または複数の人物の画像内の移動速度を計算する移動速度計算部と、
   前記パン動作またはティルト動作が検出された場合、前記計算された移動速度が最小となる人物を主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行する撮像制御部と、
   を備えることを特徴とする撮像装置。
2. 前記移動速度計算部は、前記人物の単位時間あたりの移動画素数に基づいて移動速度を計算することを特徴とする請求項１に記載の撮像装置。
3. 撮像装置を用いて被写体の撮像を行う撮像方法であって、
   前記撮像装置自体のパン動作またはティルト動作の発生を監視し、
   前記被写体を撮像して画像データを生成し、
   前記画像データにおける画像内の１または複数の人物を抽出し、
   前記抽出された１または複数の人物の画像内の移動速度を計算し、
   前記パン動作またはティルト動作の監視においてパン動作またはティルト動作が検出された場合、前記計算された移動速度が最小となる人物を主たる被写体として、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御を遂行することを特徴とする撮像方法。
4. 前記移動速度の計算は、前記人物の単位時間あたりの移動画素数に基づいて実行されることを特徴とする請求項３に記載の撮像方法。

Images