JP2023084461A - 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム - Google Patents

Abstract

【課題】 複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定する技術を提供する。【解決手段】 異なるタイミングで撮影された画像を取得する取得手段と、前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択手段と、前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定手段と、を有し、着目画像と前記着目画像が撮影されるより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が選択した前記主被写体の候補が前記判定手段によって、同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置。【選択図】 図３

Description

本発明は、被写体の推定及び推定結果に基づいて主被写体を判定する技術に関するものである。

従来から、デジタルカメラ等の撮像装置において、Ａｕｔｏ Ｆｏｃｕｓ（ＡＦ）などの撮像制御を行うために制御対象となる被写体を検出する様々な技術が提案されている。

特許文献１には、複数の人物を対象とした動作認識技術として、複数の人物を同時に追尾し、時系列データをリカレントニューラルネットワークに入れることで、動作の種類と、人物の位置を同時に推定する技術が開示されている。

特表２０１８－５３８６３１号公報

しかしながら、特許文献１の技術では、複数被写体の同時追尾、リカレントニューラルネットワークが必要になるため、撮像装置などのハードウェアに搭載するには、処理負荷が高い。

本発明はこのような状況に鑑みてなされたものであり、複数の被写体が存在する画像において、ユーザの意図に沿う可能性の高い主被写体を、処理負荷を低減しつつ高精度に判定する技術を提供することを目的とする。

上記課題を解決するために、本発明は、異なるタイミングで撮影された画像を取得する取得手段と、前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択手段と、前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定手段と、を有し、着目画像と前記着目画像が撮影されるより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が選択した前記主被写体の候補が前記判定手段によって、同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置を提供する。

また、本発明によれば、異なるタイミングで撮影された画像を取得する取得手段と、前記画像内の被写体から主被写体の候補を選択する選択手段と、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定手段と、を有し、着目画像を撮影するより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が前記主被写体の候補を選択し、かつ前記判定手段によって、前記所定の時間内に撮影された画像における主被写体の候補が前記着目画像における主被写体の候補と同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置を提供する。

また、本発明によれば、異なるタイミングで撮影された画像を取得する取得ステップと、前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択ステップと、前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定ステップと、を有し、着目画像と前記着目画像が撮影されるより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が選択した前記主被写体の候補が前記判定手段によって、同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法を提供する。

また、本発明によれば、異なるタイミングで撮影された画像を取得する取得ステップと、前記画像内の被写体から主被写体の候補を選択する選択ステップと、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定ステップと、を有し、着目画像を撮影するより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が前記主被写体の候補を選択し、かつ前記判定手段によって、前記所定の時間内に撮影された画像における主被写体の候補が前記着目画像における主被写体の候補と同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法を提供する。

本発明によれば、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を精度よく判定することが可能となる。

主被写体判定装置を含む撮像装置１００の構成を示すブロック図。 第１の実施形態に係る画像処理部１５２の詳細な構成の一部を示すブロック図。 第１の実施形態に係る主被写体判定処理のフローチャート。 姿勢取得部２０３が取得する情報の概念図。 処理対象の画像の異なるフレームにおける例。 第３の実施形態に係る主被写体判定処理のフローチャート。 第２の実施形態に係る主被写体候補の例。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜＜撮像装置１００の全体構成＞＞
図１は、主被写体判定装置を含む撮像装置１００の構成を示すブロック図である。撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録するデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。例えば、携帯電話（スマートフォン）、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機、車載センサ、ＦＡＦａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）機器、ドローン、医療機器など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。また、本明細書における「主被写体判定装置」は撮像装置により撮像された画像に基づいて主被写体を判定する任意の電子機器を包含することが意図されている。

以下では、被写体が人物である場合を例に説明を行う。また、主被写体は、ユーザが意図した撮像制御の対象となる被写体を表すものとする。なお、図１に示した構成は、撮像装置１００の構成の一例に過ぎない。

撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、主制御部１５１により制御される。

レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、及び、フォーカスレンズ１３１を備える撮影光学系である。絞り制御部１０５は、主制御部１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御部１３３は、フォーカスモータ１３２（ＦＭ）を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３及びフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。

レンズユニット１０１を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換する光電変換素子である。撮像素子１４１には、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。これにより、撮像面の画像を取得することができる。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダムアクセスメモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。また本実施形態では、画像処理部１５２は、被写体の姿勢情報（例えば、関節位置）の位置情報をもとに主被写体候補を選択する。画像処理部１５２は、主被写体候補の選択処理の結果を他の画像処理（例えばホワイトバランス調整処理）に利用してもよい。さらに、画像処理部１５２は、異なる時刻に選択された主被写体候補が同一被写体であるかの判定を行う。画像処理部１５２は、処理した画像データ、各被写体の姿勢情報、主被写体候補の重心、顔、及び瞳の位置情報などをＲＡＭ１５４に保存する。また、画像処理部１５２は不図示の追尾部も有しており、ライブビュー中の画像などの画像間における被写体や特定の領域について追尾処理を行うことができる。

追尾部は、指定された位置から追跡を行う画像領域（被写体領域）を特定する。例えば、ある着目フレームにおける画像の被写体領域から特徴量を抽出し、抽出した特徴量を用いて、次々と供給される個々の画像内から、着目フレームの被写体領域と類似度の高い領域を被写体領域として探索する。画像の特徴量に基づいて領域を探索する方法としては、テンプレートマッチング、ヒストグラムマッチングおよび、ＫＬＴ（Ｋａｎａｄｅ―Ｌｕｃａｓ―Ｔｏｍａｓｉ Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒ）法などを用いることができる。なお、被写体を特徴量に基づいて探索することができれば、別の手法を用いてもかまわない。上記以外にも、被写体追尾用のＣＮＮを学習し、異なるフレームの画像をＣＮＮに入力し、直接追跡を行う画像領域を出力してもよい。

操作部１５６は、ボタンなどを含む入力インタフェースである。表示部１５０に表示される種々の機能アイコンに対してユーザが選択操作を行うことなどにより、撮影モードの変更や後述する被写体判定処理の方法の切り替えといった撮像装置１００に対する様々な操作が行える。

主制御部１５１は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有する。そして、主制御部１５１は、例えばフラッシュメモリ１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより撮像装置１００の各部を制御し、撮像装置１００の機能を実現する。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピード又は蓄積時間、絞り値、及び感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は、例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域を基準として露出条件を決定することもできる。

フォーカス制御部１３３は、ＲＡＭ１５４に保存された主被写体の位置に対するＡＦ制御を行う。絞り制御部１０５は、特定の被写体領域の輝度値を用いた露出制御を行う。

表示部１５０は、画像や主被写体の検出結果などを表示する。バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。主制御部１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。

＜＜主被写体判定処理＞＞
図２及び図３を参照して、画像処理部１５２が実行する主被写体判定処理について説明する。図２は、画像処理部１５２の詳細な構成の一部を示すブロック図である。図３は、主被写体判定処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理部１５２の各部が主制御部１５１の制御下で動作することにより実現される。以下では、複数人がプレーするスポーツを主被写体判定処理の対象の撮影シーンとして説明を行うが、本実施形態を適用可能な撮影シーンはこれに限らない。

Ｓ３０１で、画像取得部２０１は、撮像制御部１４３から、Ｎフレーム目に撮像された画像を取得する。

Ｓ３０２で、姿勢取得部２０２は、画像取得部２０１が取得した画像において被写体（人物）を検出し、検出された被写体に対して姿勢推定を行い、姿勢情報を取得する。姿勢情報の取得は検出された被写体に対して後述する「関節位置」を取得することによって行われる。

姿勢取得部２０２で行う被写体や関節位置の検出方法は、例えば機械学習により学習されたＣＮＮ（コンボリューショナル・ニューラル・ネットワーク）といった学習済みモデルを用いてもよい。学習済みモデルを用いた被写体の検出では、姿勢取得部２０２は機械学習により生成される被写体検出用の辞書データを用いて被写体の検出を行うことができる。被写体の検出には「人物」用の辞書データや「動物」用の辞書データというように、特定の被写体ごとに異なる辞書データを用いてもよい。姿勢取得部２０２は辞書データを活用して被写体の検出を行い、どの辞書データによって被写体が検出されたのかによって、その後の姿勢推定の内容を変更する。例えば「人物」用の辞書データによって被写体の検出が完了した場合、「人物」に対応するように姿勢推定を行う。

姿勢取得部２０２にて被写体の検出が完了すると、検出された被写体の種類に応じて姿勢取得部２０２が被写体の姿勢推定を開始する。ここでは例として、検出された被写体が人物である場合を説明する。姿勢取得部２０２は、まず、被写体として人物の複数の関節の位置を特徴点として取得する。そして、取得された関節の位置の情報をもとに被写体の姿勢の推定が行われる。姿勢推定の方法には、ディープラーニングを活用した方法など、如何なる方法を用いてもよい。

なお、姿勢取得部２０２が行う被写体の検出方法、および関節位置の検出方法には、学習済みのＣＮＮ以外の任意の学習済みモデルが用いられてもよい。例えば、サポートベクタマシンや決定木等の機械学習により生成される学習済みモデルが、姿勢取得部２０２に適用されてもよい。また、姿勢取得部２０２は、機械学習により生成される学習済みモデルでなくてもよい。例えば、姿勢取得部２０２には、機械学習を用いない任意の被写体検出手法、および関節位置の検出手法が適用されてもよい。

Ｓ３０３で、選択部２０３は、姿勢情報をもとに、それぞれの被写体に対して、主被写体らしさの確率を算出する。

Ｓ３０４で選択部２０３は主被写体の候補となる被写体が存在するかを判定し、存在する場合は、Ｓ３０５に進む。主被写体らしさを表す確率の算出方法および、主被写体候補の選択の具体的な方法については、後述する。存在しない場合は、Ｓ３１０に進む。

Ｓ３０５において、判定部２０４がＲＡＭ１５４の情報を参照し、Ｎフレーム目とは異なるタイミングで撮像されているＮ－Ｍ～Ｎ－１フレーム目の画像内に主被写体候補が存在するか否かを判定し、存在する場合はＳ３０６に進み、存在しない場合は、Ｓ３０９に進む。Ｎ＝１（１フレーム目）の場合はそれ以前のフレームが存在しないのでＳ３０５の処理の後、Ｓ３０９に進むことになる。

Ｓ３０６でＲＡＭ１５４に一つもしくは複数の主被写体候補の情報を格納し、Ｓ３０７に進む。

Ｓ３０７において、判定部２０４は、Ｎ－Ｍ～Ｎ－１フレーム目の画像の中で主被写体候補が検出された、Ｎフレームに時間的に近い一部のフレームにおける主被写体候補とマッチング（同一被写体判定）を行う。マッチングの結果、同一被写体と判定された場合は、Ｓ３０８に進み、否の場合はＳ３０９に進む。

ここでＭは、フレームレートをｆとしたとき、Ｍ／ｆが撮影シーンや被写体に対して適切な時間となるように調整されていると好ましい。例えばサッカーのようなスポーツシーンにおいて注目している被写体がシュート動作を行う場合、シュートの予備動作からシュートの瞬間（シャッターチャンス）に至るまでの時間（猶予時間）は一般に２、３秒程度である。したがって、Ｍの値はシャッターチャンス前に同一被写体判定が完了するように設定されていることが好ましく、М／ｆが猶予時間よりも短くなればよい。なお、撮影シーンや被写体によってシャッターチャンスまでの猶予時間は異なるため、必要に応じて判定部２０４がＭの値を切り替えられるようにしてもよい。あるいはユーザによって事前にＭの値が決定できるような構成としてもよい。また、Ｎ－Ｍフレームより前のフレームの情報は、Ｓ３０７の処理においては用いない。

Ｓ３０８において、判定部２０４が同一被写体と判定した被写体を主被写体として決定し、Ｓ３０９において、ＲＡＭ１５４に主被写体の履歴情報として格納する。

Ｓ３１０において、フレームＮをＮ＋１に更新し、Ｓ３１１においてすべてのフレームを処理したか判定し、否の場合は、Ｓ３０１に戻る。

＜＜姿勢取得部および、選択部＞＞
図４は、姿勢取得部２０２が取得する情報の概念図である。図４（ａ）は、処理対象の画像を表しており、被写体４０１は、ボール４０３を蹴ろうとしている。被写体４０１は、撮影シーン中の重要な被写体である。本実施形態では、選択部２０３が姿勢取得部２０２にて取得された被写体の姿勢情報を用いることで、ユーザが撮像制御や監視（注視）等の対象として意図している可能性が高い被写体（主被写体）を判定する。一方、被写体４０２は非主被写体である。ここで、非主被写体とは、主被写体以外の被写体を表すものとする。

図４（ｂ）は、被写体４０１及び４０２の姿勢情報の例を表す図である。関節４１１は、被写体４０１の各関節を表しており、関節４１２は、被写体４０２の各関節を表している。図４（ｂ）では、関節（特徴点）として、頭頂部、首、肩、肘、手首、腰、膝、足首に対応する位置を取得する例を示しているが、関節位置はこれらの一部でもよいし、別の位置を取得してもよい。また、姿勢推定には関節位置だけでなく、関節同士を結ぶ軸などの情報を用いてもよい。

以下では、姿勢情報として、関節位置を取得する場合について説明する。

図３のＳ３０２において姿勢取得部２０２は、関節４１１及び関節４１２の画像中における２次元座標（ｘ，ｙ）を取得する。ここで、（ｘ，ｙ）の単位はピクセルである。姿勢取得部２０２は取得された関節の座標情報をもとに被写体の姿勢の推定を行う。具体的には、取得された各関節の座標情報をもとにそれぞれの関節位置の位置関係を把握し、その位置関係から推定される姿勢情報を取得する。被写体の姿勢の推定については学習済みのＣＮＮ以外の任意の学習済みモデルが用いられてもよい。例えば、サポートベクタマシンや決定木等の機械学習により生成される学習済みモデルが、姿勢取得部２０２に適用されてもよい。また、姿勢取得部２０２は、機械学習により生成される学習済みモデルでなくてもよい。例えば、姿勢取得部２０２には、機械学習を用いない任意の姿勢推定の手法が適用されてもよい。

図３の説明に戻る。Ｓ３０３で、選択部２０３は、姿勢取得部２０２が取得した関節の座標や姿勢情報に基づき、各被写体に対して主被写体らしさを表す信頼度（確率）を算出する。確率の算出方法は、ニューラルネットワーク、サポートベクタマシンや決定木などの機械学習の手法を用いることができる。また、機械学習に限らず、あるモデルに基づいて信頼度又は確率値を出力する関数を構築してもよい。学習済みの重みやバイアス値は、予めフラッシュメモリ１５５に保存しておき、必要に応じてＲＡＭ１５４に格納する。

なお、選択部２０３は、姿勢取得部２０２にて取得された関節の座標データに線形変換など所定の変換を施したデータを用いて信頼度を算出してもよい。この場合、姿勢取得部２０２や選択部２０３にて関節の座標データに対する所定の変換を行ってもよい。

本実施形態では、主被写体らしさを表す信頼度（被写体が処理対象画像の主被写体である可能性の度合いに対応する信頼度）として、被写体が処理対象画像の主被写体である確率を採用する場合について説明するが、確率以外の値を用いてもよい。例えば、信頼度として、被写体の重心位置とボールなどシーンにおける重要物体の重心位置との間の距離の逆数を用いることができる。例えばサッカーのシュートを行うシーンにおいてユーザが着目している被写体（シュートを行う人物）は重要物体であるサッカーボールと近いと予想されるので、上述の逆数を信頼度の算出に活用することが可能である。

Ｓ３０４で、選択部２０３は、検出した被写体（人物）の中で、確率が最大の被写体を主被写体候補として選択する。そして、選択部２０３は、Ｓ３０６において主被写体候補の関節の座標や、主被写体候補を表す代表的な座標（重心位置や、顔の位置など）をＲＡＭ１５４に格納する。これにより、選択処理が完了する。なお、Ｓ３０４の処理は判定部２０４側で行われてもよい。

上の説明では、単一フレームの姿勢情報を用いて主被写体候補を選択する場合について説明を行った。しかしながら、連続するフレームや動画を読み込み、時系列の姿勢情報を用いて確率を算出して主被写体を判定する構成を採用してもよい。時系列の姿勢情報を用いる場合は、各時刻における関節位置（特徴点）の情報を用いてもよいし、ある時刻の関節位置情報と、関節や被写体の動きベクトル（特徴点から算出される特徴量）の情報とを組み合わせて用いてもよい。その他にも、時系列情報を表すものであれば、任意の情報を用いることができる。

なお、選択部２０３に信頼度（確率）の算出について学習させる際には、重要な行動（記録、検出、あるいはモニタリングすべきイベントに係る行動）に移る前の状態（準備動作の状態）を主被写体の状態として学習させることができる。例えば、ボールを蹴る場合であれば、ボールを蹴ろうとして、足を振り上げた状態を主被写体の状態の１つとして学習することができる。この構成を採用する理由は、実際に主被写体となるべき被写体が重要な行動を起こした際に、的確に当該被写体を主被写体と判定し、撮像装置１００の制御が当該主被写体に合わせて実行されている必要があるためである。例えば、主被写体に対応する信頼度（確率値）が予め設定した閾値を超えた場合に、自動で画像や映像を記録する制御（記録制御）を開始することにより、ユーザは重要な瞬間（シャッターチャンス）を逃さず撮影することもできる。この際、学習対象の状態から、重要な行動までの典型的な時間（シャッターチャンスまでの猶予時間）の情報を撮像装置１００の制御に使用しても構わない。つまり、主制御部１５１が被写体から重要な行動を検出した場合に検出された重要な行動に対応する典型的な時間後にＡＦ、露出などが完了し、本撮影動作（シャッターを切る）を行うよう制御するようにしてもよい。

＜＜判定部＞＞
図５は、処理対象の画像の異なるフレームにおける例である。図５（ａ）は、着目するフレーム（着目フレーム）の画像（着目画像）を表しており、図５（ｂ）は、着目フレームより、Ｍフレーム前の画像を表している。選択部２０３が、５０１と５０３の被写体を選択した場合、判定部２０４は、被写体５０１の重心位置５０５と被写体５０３の重心位置５０６の距離を算出し、距離が予め定めた閾値未満であれば、同一被写体であるとみなす。これは、ｆをフレームレート［ｆｐｓ］とした際に、マッチング対象の時間Ｍ／ｆ［ｓｅｃ］が十分に短ければ、その間に被写体が動く距離は限定的であると予想されるからである。なお、図５において重心位置５０５、５０６は理解のために円と交差する線分を組み合わせた図形（線分の交差位置を重心点とみなす）で示している。実際の重心位置は前述した２次元座標中における関節の位置から算出することが可能な座標上の点、もしくは領域として算出される。それ以外にも、画像の色や輝度ヒストグラムを用いたテンプレートマッチングや、関節の一部情報を用いたマッチングなど、同一被写体判定ができる手法であれば、これに限らない。一般的に、姿勢情報が検出されている被写体は、オクルージョンが発生している可能性が低い。したがって、簡易的な手法で高いマッチング精度を実現することが可能である。

以上で説明したように、第１の実施形態によれば、撮像装置１００は、処理対象画像から検出された複数の被写体それぞれの姿勢情報を取得し、複数の被写体それぞれについて、姿勢情報に基づいて複数の被写体の中から主被写体の候補を選択する。そして、撮像装置１００は、所定の時間内のフレームにて検出された主被写体候補間で同一判定を行うことにより、主被写体を決定する。

これにより、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定することが可能となる。

また、主被写体判定処理において１回のみマッチングを行うことにより処理負荷を低減することができるほか、主被写体判定処理において２フレーム以上の情報を用いて同一被写体判定を行うことで、主被写体の検出精度をより向上させることができる。

＜＜表示部＞＞
表示部１５０において表示される画像や主被写体の検出結果について説明する。

主制御部１５１の指示に基づいて、表示部１５０は上述の主被写体判定が行われたのち、決定された主被写体にマーカーや枠などの表示を重畳した画像を表示してもよい。なお、マーカーや枠などの重畳表示は主被写体のみではなく、主被写体候補に対しても行なってもよい。その場合、主被写体候補と決定された主被写体の区別がつくようにマーカーや枠について色、太さ、形状などを変えて表示してもよい。例えば、主被写体に対して太い線の枠を重畳して表示し、主被写体候補について細い線の枠表示を行ってもよい。表示の仕方はこの例に限らず、ユーザが判別可能な表示であれば構わない。

マーカーや枠の表示は主被写体判定の完了を待つ必要はなく、画像中にて主被写体候補が検出された時点から開始してもよい。一方で画像中に主被写体候補、主被写体が存在しない場合は重畳表示をしなくてもよい。

また、ユーザが必要に応じて重畳表示をОＮ／ＯＦＦできるようにしてもよい。

［第２の実施形態］
第２の実施形態では、第１の実施形態における主被写体判定処理の変形例を説明する。

第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図３のＳ３０７において、判定部２０４はＮに最も近いフレームだけでなく、ＲＡＭ１５４に記録されたＮ－Ｍ～Ｎ－１のすべての主被写体候補とマッチングを行い、同一被写体と判定された場合は、Ｓ３０８に進み、否の場合はＳ３０９に進む。

このように、過去Ｍフレームすべての被写体候補とマッチングを行うことにより、図７のように、候補Ａの検出の間に、候補Ｂが検出されても、候補Ａを判定することができる。

以上で説明したように、第２の実施形態によれば、異なる人物が主被写体候補として検出されても過去の主被写体候補を取りこぼしにくくなり、主被写体の検出精度をより向上させることができる。

［第３の実施形態］
第３の実施形態では、第１～２の実施形態における主被写体判定処理と、被写体の追尾処理を同時に行う場合について説明する。

第３の実施形態において、撮像装置１００の基本的な構成は第１～２の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図６は、本実施形態のフローチャートである。Ｓ６０１では、画像処理部１５２の追尾部がＮ－１フレーム目まで追尾してきた被写体（追尾被写体）と同一の被写体をＮフレーム目で姿勢取得部２０２が検出する。

Ｓ６１０は、図３におけるＳ３０３から、Ｓ３０９までを表したものであり、実施形態１で説明した主被写体判定処理である。Ｓ６１０において、主被写体が決定されたか否かをＳ６０２において判定し、主被写体が決定されている場合は、Ｓ６０３において、追尾被写体をＳ６１０で決定された主被写体に変更する。なお、Ｓ６１０で決定された主被写体と追尾被写体が同一の場合は、追尾被写体の変更は行わない。

以上説明したように、第３の実施形態によれば、追尾処理を用いている最中においても、複数の被写体からユーザの意図に沿う可能性の高い主被写体を判定し、さらにその被写体を追尾することが可能となる。

また、本実施形態では撮像装置１００の撮像素子１４１は本体に固定され、同じ画角内で被写体を追尾する例を示した。しかし、各実施形態含めてこれに限らず、撮像装置１００がパン・チルト・ズームの駆動機構を有し、被写体の動きに応じてパン・チルト・ズームの少なくともいずれかを行いながら被写体を追尾する構成であってもよい。

［第４の実施形態］
第４の実施形態では、第１～３の実施形態における主被写体判定処理の変形例を説明する。本実施形態では、複数の被写体について主被写体らしさを示す確率の値の評価と複数フレームにおけるマッチングを組み合わせて主被写体判定を行う。これにより、スポーツにおける競り合いのように、主被写体の可能性が高い被写体が複数存在するような場合に、主被写体候補の取りこぼしを減らしつつ、主被写体判定の精度を高めることができる。

第４の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態に沿って説明する。

本実施例では、図３のＳ３０１からＳ３０３について第１の実施形態と同様の処理が行われる。

Ｓ３０４にて選択部２０４は、主被写体らしさを示す確率が最大の値を有する被写体に加え、その確率の最大値との差が予め定めた値よりも小さい値を有する被写体も主被写体候補として選択する。

Ｓ３０５で、判定部２０４はＲＡＭ１５４の情報を参照し、Ｎ－Ｍ～Ｎ－１フレーム以内の画像に主被写体候補が存在するか否かを判定し、存在する場合はＳ３０６に進み、存在しない場合は、Ｓ３０９に進む。Ｓ３０６も第１の実施形態と同様の処理を行う。

Ｓ３０７ではＲＡＭ１５４に記録されたすべての主被写体候補とＮ－Ｍ～Ｎ－１フレームの中でマッチングを行い、同一被写体と判定された場合は、Ｓ３０８に進み、否の場合はＳ３０９に進む。また、実施形態１～３では、Ｓ３０７の同一被写体判定の際に、着目フレームとそれ以外の１フレームで同一被写体が取れることを条件にしたが、着目フレームと、それ以外の２フレーム以上でマッチングが取れることを条件にしてもよい。主被写体候補を複数格納する手法と、同一被写体判定の条件を厳しくする手法は同時に行ってもよいし、いずれか一方を行ってもよい。同一被写体判定の条件を厳しくすることで、主被写体候補が多数存在する状況においても、同一被写体判定の精度の低下を抑えることができる。

以上で説明したように、第４の実施形態によれば、画面内に主被写体である可能性が高い複数の被写体が存在する場合に、主被写体候補の取りこぼしを減らしつつ、被写体選択の精度を向上させることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１００ 撮像装置
１４１ 撮像素子
１５１ 主制御部
１５２ 画像処理部
２０１ 画像取得部
２０２ 姿勢取得部
２０３ 選択部
２０４ 判定部

上記課題を解決するために、本発明は、異なるタイミングで撮像された複数の画像を取得する取得手段と、前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択手段と、前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一被写体か否かを判定する判定手段と、を有し、着目画像と前記着目画像が撮像されるより前の所定の時間内に撮像された１つ以上の画像において、前記選択手段により選択された前記主被写体の候補が前記判定手段によって同一被写体と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置を提供する。

また、本発明によれば、異なるタイミングで撮像された複数の画像を取得する取得手段と、前記画像内の被写体から主被写体の候補を選択する選択手段と、前記異なるタイミングごとに選択された前記主被写体の候補が同一被写体か否かを判定する判定手段と、を有し、着目画像を撮像するより前の所定の時間内に撮像された１つ以上の画像において、前記選択手段により前記主被写体の候補が選択され、かつ前記判定手段によって前記所定の時間内に撮像された画像における主被写体の候補が前記着目画像における主被写体の候補と同一被写体と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置を提供する。

また、本発明によれば、異なるタイミングで撮像された画像を取得する取得ステップと、前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択ステップと、前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一被写体か否かを判定する判定ステップと、を有し、着目画像と前記着目画像が撮像されるより前の所定の時間内に撮像された１つ以上の画像において、前記選択ステップにより選択された前記主被写体の候補が前記判定ステップによって同一被写体と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法を提供する。

また、本発明によれば、異なるタイミングで撮像された画像を取得する取得ステップと、前記画像内の被写体から主被写体の候補を選択する選択ステップと、前記異なるタイミングごとに選択された前記主被写体の候補が同一被写体か否かを判定する判定ステップと、を有し、着目画像を撮像するより前の所定の時間内に撮像された１つ以上の画像において、前記選択ステップにより前記主被写体の候補が選択され、かつ前記判定ステップによって、前記所定の時間内に撮像された画像における主被写体の候補が前記着目画像における主被写体の候補と同一被写体と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法を提供する。

Claims (15)

1. 異なるタイミングで撮影された画像を取得する取得手段と、
   前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択手段と、
   前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定手段と、を有し、
   着目画像と前記着目画像が撮影されるより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が選択した前記主被写体の候補が前記判定手段によって、同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置。
2. 前記被写体は、人物もしくは動物を表すことを特徴とする請求項１に記載の主被写体判定装置。
3. 前記特徴点は、前記被写体における少なくとも１つ以上の関節位置であることを特徴とする請求項１または２に記載の主被写体判定装置。
4. 前記特徴量の情報は、前記被写体の重心、前記被写体の体の一部を表す位置情報、前記特徴点から算出される前記被写体の位置もしくは動きベクトルであることを特徴とする請求項１乃至３のいずれか１項に記載の主被写体判定装置。
5. 異なるタイミングで撮影された画像を取得する取得手段と、
   前記画像内の被写体から主被写体の候補を選択する選択手段と、
   前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定手段と、を有し、
   着目画像を撮影するより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が前記主被写体の候補を選択し、かつ前記判定手段によって、前記所定の時間内に撮影された画像における主被写体の候補が前記着目画像における主被写体の候補と同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置。
6. 前記選択手段は、前記被写体から、主被写体である可能性の度合いに対応する信頼度を算出することを特徴とする請求項１乃至５のいずれか１項に記載の主被写体判定装置。
7. 前記選択手段は、前記被写体と重要物体との間の距離を用いて信頼度の算出を行うことを特徴とする請求項６に記載の主被写体判定装置。
8. 前記選択手段は、前記信頼度が最大の値を持つ被写体を前記主被写体の候補として選択することを特徴とする請求項６または７に記載の主被写体判定装置。
9. 前記選択手段は、前記信頼度について最大の値との差が予め定めた値より小さい前記被写体も前記主被写体の候補として選択することを特徴とする請求項８に記載の主被写体判定装置。
10. 前記被写体を追尾する追尾手段を有し、
    前記判定手段によって、前記主被写体の候補が同一と判定された場合に、前記着目画像における追尾の対象を前記主被写体に切り替えることを特徴とする請求項１乃至９のいずれか１項に記載の主被写体判定装置。
11. 前記選択手段は、前記着目画像が撮影するより前の前記所定の時間内で撮影されていない画像から前記主被写体の候補の選択を行わないことを特徴とする請求項１乃至１０のいずれか１項に記載の主被写体判定装置。
12. 撮影光学系を介して結像された被写体像を撮像する撮像手段と、
    請求項１乃至１１のいずれか１項に記載の主被写体判定装置を備えることを特徴とする撮像装置。
13. 異なるタイミングで撮影された画像を取得する取得ステップと、
    前記画像内の被写体の特徴点の情報を用いて、前記被写体から主被写体の候補を選択する選択ステップと、
    前記特徴点から算出される特徴量の情報を用いて、前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定ステップと、を有し、
    着目画像と前記着目画像が撮影されるより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が選択した前記主被写体の候補が前記判定手段によって、同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法。
14. 異なるタイミングで撮影された画像を取得する取得ステップと、
    前記画像内の被写体から主被写体の候補を選択する選択ステップと、
    前記異なるタイミングごとに選択された前記主被写体の候補が同一か否かを判定する判定ステップと、を有し、
    着目画像を撮影するより前の所定の時間内に撮影された１つ以上の画像において、前記選択手段が前記主被写体の候補を選択し、かつ前記判定手段によって、前記所定の時間内に撮影された画像における主被写体の候補が前記着目画像における主被写体の候補と同一と判定された場合に、主被写体を決定することを特徴とする主被写体判定装置の制御方法。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載の主被写体判定装置の各手段として機能させるためのプログラム。

Images