JP2020043544A

JP2020043544A - 撮像装置およびその制御方法、プログラムならびに記憶媒体

Info

Publication number: JP2020043544A
Application number: JP2018171679A
Authority: JP
Inventors: 保彦岩本; Yasuhiko Iwamoto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-13
Filing date: 2018-09-13
Publication date: 2020-03-19
Anticipated expiration: 2038-09-13
Also published as: JP7122916B2

Abstract

【課題】被写体の器官を追尾するモードにおいて、被写体の向きが変化した場合の誤追尾を抑制する。【解決手段】撮像装置は、時系列の画像を取得する取得手段と、前記画像から被写体および当該被写体の器官を検出可能な検出手段と、前記検出手段により検出された前記器官を追尾対象として指定可能な指定手段と、前記指定手段により指定された器官を追尾対象として探索する追尾手段と、を有し、前記検出手段は、時系列の画像のうち、過去の画像から被写体、被写体の向きおよび被写体に含まれる複数の器官を検出し、前記追尾手段は、現在の画像から追尾対象を決定する際に、前記過去の画像から検出された被写体の向きと前記現在の画像から検出された複数の候補領域の位置関係に基づいて追尾対象を決定する。【選択図】図１

Description

本発明は、検出された被写体の器官を追尾する技術に関する。

デジタルカメラなどの撮像装置では、撮像された画像データから人物の顔などの被写体の検出および追尾を行い、追尾対象の被写体のピント、明るさ、色を適切な状態にして撮影を行える。また、検出した被写体の特定部位として、顔の中の目、鼻、口といった器官を検出する技術がある。デジタルカメラは、検出された器官を追尾対象としてＡＦ制御を行う。

ところで、器官検出は処理に時間がかかる場合があり、動画撮影等のフレーム間の時間が短い場合、次フレームの撮像に向けたＡＦ制御までに前フレームの検出結果が間に合わないことがある。これに対して、特許文献１のように、人物の目の虹彩をテンプレートとし、比較的処理が高速なテンプレートマッチングを用いて位置を特定する技術がある。

特開２００３−１５０９４２号公報

しかしながら、特許文献１では、人物の目の形状が左右で類似している場合、一方の目を追尾対象としているにもかかわらずもう一方の目を誤って追尾対象としてしまう可能性がある。また、顔の向きが変化した場合には、追尾対象の目と追尾対象ではない目のいずれか一方だけが隠れてしまったり、左右の目の位置関係が変化してしまい、誤追尾が発生しやすくなる。

本発明は、上記課題に鑑みてなされ、その目的は、被写体の器官を追尾するモードにおいて、被写体の向きが変化した場合の誤追尾を抑制することができる。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、時系列の画像を取得する取得手段と、前記画像から被写体および当該被写体の器官を検出可能な検出手段と、前記検出手段により検出された前記器官を追尾対象として指定可能な指定手段と、前記指定手段により指定された器官を追尾対象として探索する追尾手段と、を有し、前記検出手段は、時系列の画像のうち、過去の画像から被写体、被写体の向きおよび被写体に含まれる複数の器官を検出し、前記追尾手段は、現在の画像から追尾対象を決定する際に、前記過去の画像から検出された被写体の向きと前記現在の画像から検出された複数の候補領域の位置関係に基づいて追尾対象を決定する。

本発明によれば、被写体の器官を追尾するモードにおいて、被写体の向きが変化した場合の誤追尾を抑制することができる。

本実施形態の装置構成を示すブロック図。本実施形態の被写体／器官検出処理を示すフローチャート。本実施形態の被写体／器官検出処理を説明する図。本実施形態の追尾領域決定処理を示すフローチャート。本実施形態の被写体検出結果と追尾対象候補領域の対応関係を説明する図。本実施形態の追尾対象候補領域に対するラベル付け処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜装置構成＞まず、図１を参照して、本実施形態の撮像装置１００の構成例を説明する。

本実施形態では、撮像装置１００を、例えば被写体の画像を撮像するデジタルカメラに適用した例を説明する。撮像装置１００は、静止画や動画の撮影時に順次撮像される画像中の被写体（例えば、人物の顔）を検出し、検出した被写体をオートフォーカス（ＡＦ）制御を行う対象として追尾する追尾機能を有する。

撮像装置１００は、撮影光学系１０１、撮像部１０２、信号処理部１０３、Ａ／Ｄ変換部１０４、制御部１０５、画像処理部１０６、表示部１０７、記録媒体１０８、被写体指定部１０９、被写体検出部１１０、器官検出部１１１、被写体追尾部１１２を有する。

撮影光学系１０１は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。

撮像部１０２は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。撮像部１０２は、撮影光学系１０１により結像された被写体像光を撮像素子により電気信号に変換する。

信号処理部１０３は、撮像部１０２から出力されたアナログ画像信号に対して相関二重サンプリング（ＣＤＳ）等のアナログ信号処理を施す。

Ａ／Ｄ変換部１０４は、信号処理部１０３から出力されたアナログ画像信号をデジタルデータに変換する。Ａ／Ｄ変換部１０４によってデジタルデータに変換されたデジタル画像信号は、制御部１０５および画像処理部１０６に入力される。

制御部１０５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の演算処理装置を有し、撮像装置１００の動作を制御する。制御部１０５は、図示しないＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）に記憶されたプログラムを図示しないＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。また、制御部１０５は、撮像時の焦点状態や露出状態等の撮影条件を制御する。制御部１０５は、例えば、Ａ／Ｄ変換部１０４から出力された画像信号を用いて所定の演算処理を行い、撮影光学系１０１に含まれるフォーカスレンズや絞り、シャッターを制御することで、ＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理を行う。

画像処理部１０６は、Ａ／Ｄ変換部１０４から入力されたデジタル画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。

表示部１０７は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）パネルや有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）パネル等を備え、画像処理部１０６から供給される画像信号に基づいて画像を表示する。撮像装置１００は、撮像部１０２により順次撮像され、画像処理が施された画像（ライブビュー画像）を表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能する。また、表示部１０７は、後述する被写体検出部１１０、器官検出部１１１および被写体追尾部１１２から得られる被写体領域を、ライブビュー画像に重畳した追尾枠（顔枠または目枠）で表示可能である。また、画像処理部１０６から出力された画像信号は、所定の形式でファイル化されて記録媒体１０８に記録可能である。

記録媒体１０８は、例えば撮像装置１００に着脱可能なメモリカードである。なお、画像ファイルの記録先は、撮像装置１００に内蔵されたメモリであっても、撮像装置１００と通信可能に接続された外部装置であってもよい。

被写体指定部１０９は、撮像装置１００の動作モードが追尾モードである場合に、画像に含まれる被写体から追尾対象の被写体を指定する。被写体指定部１０９は、例えばタッチパネルやボタン等を含む入力インターフェースである。ユーザは、ライブビュー画像に重畳表示された複数の顔枠および目枠を見ながら、被写体指定部１０９を介して、ライブビュー画像に含まれる所望の目を追尾対象として指定可能である。

被写体検出部１１０は、画像処理部１０６から時系列の画像信号が順次供給され、各画像に含まれる被写体として、例えば、１つまたは複数の人物の顔を検出可能である。顔検出結果は、画像の中の人物の顔領域や確からしさ等に関する情報を含む。

器官検出部１１１は、画像処理部１０６から時系列の画像信号が順次供給され、被写体検出部１１０から画像の顔検出結果が供給され、人物の顔領域を詳細に解析することで、顔の器官を検出可能である。器官検出結果は、目、鼻、口等の各種器官の領域、確からしさ、ヨー方向およびロール方向の顔向きなどに関する情報を含む。

被写体追尾部１１２は、追尾モードにおいてライブビュー画像中で指定された被写体（例えば人物の顔または目）を追尾し続け、追尾している被写体をＡＦ制御の対象とする。なお、人物以外を追尾対象とすることも可能である。また、追尾対象の指定がない場合は、撮像装置１００が自動的に主被写体と判定した被写体が追尾対象となる。例えば人物の顔が検出された場合は人物の顔または目を優先して主被写体として追尾対象にする。

被写体追尾部１１２は、画像処理部１０６から時系列の画像信号が順次供給され、撮像時刻の異なる画像から被写体指定部１０９によって指定された被写体または自動的に決定された被写体をＡＦ制御の対象とする。被写体追尾部１１２は、被写体情報記録部１１３およびテンプレートマッチング部１１４を含む。

被写体情報記録部１１３は、画像処理部１０６から順次供給される画像信号から、追尾対象として指定された顔の器官（例えば、目）を含む器官検出結果、器官検出結果の算出に用いた顔検出結果、および追尾対象の部分領域画像をテンプレート画像として保持する。

テンプレートマッチング部１１４は、追尾モードにおいて、画像処理部１０６から順次供給される画像信号から、追尾対象の被写体を探索する。探索処理においては、被写体モデルとして、被写体情報記録部１１３に保持されている各種情報を参照する。被写体情報記録部１１３およびテンプレートマッチング部１１４の詳細は後述する。

＜被写体／器官検出処理＞次に、図２を参照して、本実施形態の追尾モードにおける被写体／器官検出処理について説明する。

なお、以下では、撮像された画像に含まれる被写体として人物の顔、被写体の器官として顔の中の左右の目を検出する場合を説明する。

図２の処理は、制御部１０５がプログラムを実行し、撮像装置１００の各部を制御することで実現される。後述する図４も同様である。

Ｓ２００では、画像処理部１０６は、撮像部１０２により撮像され、信号処理部１０３により信号処理が施され、Ａ／Ｄ変換部１０４によりデジタル信号に変換された画像データを入力する。

Ｓ２０１では、被写体検出部１１０は、Ｓ２００で取得した画像データに含まれる１つまたは複数の人物の顔の検出結果を算出する。

Ｓ２０２では、器官検出部１１１は、Ｓ２０１で取得した顔検出結果を用いて、Ｓ２００で取得した画像データに含まれる顔ごとの目を検出した器官検出結果を算出する。

Ｓ２０３では、被写体指定部１０９からの被写体指定を受け付け、Ｓ２０２で算出した器官検出結果の中から左目または右目を追尾対象として指定する。

Ｓ２０４では、被写体情報記録部１１３は、Ｓ２００で取得した画像データから、Ｓ２０３で指定された左目または右目を含む器官検出結果を記録する。また、被写体情報記録部１１３は、記録した器官検出結果の算出に用いた顔検出結果を記録すると共に、テンプレート画像を記録する。Ｓ２０４の処理の詳細は後述する。

Ｓ２０５では、画像処理部１０６は、撮像部１０２により撮像され、信号処理部１０３により信号処理が施され、Ａ／Ｄ変換部１０４によりデジタル信号に変換された画像データを再度入力する。

Ｓ２０６では、テンプレートマッチング部１１４は、被写体情報記録部１１３に記録したテンプレート画像を参照して、Ｓ２０５で取得した画像データに対して探索処理を行い、相関度が所定値以上である複数の領域を候補領域として選択する。Ｓ２０６の処理の詳細は後述する。

Ｓ２０７では、テンプレートマッチング部１１４は、Ｓ２０４で記録した顔検出結果および器官検出結果と、Ｓ２０６で得られた複数の候補領域の位置関係を用いて、追尾対象領域を決定する。Ｓ２０７の処理の詳細は後述する。

Ｓ２０８では、制御部１０５は、焦点制御機構を駆動させ、Ｓ２０７で決定した追尾領域に合焦するようにＡＦ制御を行う。

Ｓ２０９では、被写体検出部１１０は、Ｓ２０５で取得した画像データから１つまたは複数の顔検出結果を算出する。

Ｓ２１０では、器官検出部１１１は、Ｓ２０９で取得した顔検出結果を用いて、Ｓ２０５で取得した画像データに含まれる顔ごとの器官検出結果を算出する。

Ｓ２１１では、被写体情報記録部１１３は、Ｓ２０９で算出した顔検出結果の中から、被写体記録部１１３に記録した顔検出結果と対応する顔検出結果を選択する。Ｓ２１１では、Ｓ２０９で得られた顔検出結果のうち、被写体情報記録部１１３が記録した顔検出結果と顔領域の位置およびサイズが最も近しい顔検出結果を選択する。

Ｓ２１２では、被写体情報記録部１１４は、Ｓ２１１で選択した顔検出結果で、記録した情報を更新する。更に、記録した顔検出結果を用いてＳ２１０で算出された器官検出結果で、記録した情報を更新する。さらに、Ｓ２０５で取得した画像データから、目の領域を切り出し、テンプレート画像を更新する。ここでの目の領域は、更新した器官検出結果のうち、Ｓ２０３で指定した目と同じ側の目領域である。

Ｓ２１２の処理が完了すると、Ｓ２０５に戻って一連の処理を繰り返す。Ｓ２１２の処理は、Ｓ２０４とは異なる画像データに対する顔検出結果および器官検出結果を参照している点を除き、Ｓ２０４と同一である。

＜被写体探索処理＞
次に、図３を参照して、被写体情報記録部１１３およびテンプレートマッチング部１１４における被写体探索処理について説明する。

図３（ａ）は動画撮影時における過去フレームの画像を示し、テンプレート領域３００は被写体情報記録部１１３がテンプレート画像を切り出した領域を示している。テンプレート領域３００は、被写体情報記録部１１３に記録された器官検出結果のうち、Ｓ２０３で指定された目領域とする。

図３（ｂ）は動画撮影時における現在フレームの画像を示し、サーチ領域３０１とウィンドウ領域３０２は、テンプレートマッチング部１１４が設定した領域である。サーチ領域３０１は画像全域とする。テンプレートマッチング部１１４は、サーチ領域３０１の内部において、２次元空間的に順次画素単位でずらしながらテンプレート領域３００と同じ大きさのウィンドウ領域３０２を複数設定する。テンプレート領域３００とウィンドウ領域３０２から算出した相関度が高い領域を候補領域とする。相関度はテンプレート領域３００から切り出した画像とウィンドウ領域３０２から切り出した画像の各画素の画素値の差分和を用いて、求められた差分和の値が小さい程、相関度が高いことを表す。なお、相関度を算出する方法は一例であり、前述した方法に限定されるものではない。相関度を求める方法は正規化相互相関など他の方法であってもよい。

＜追尾領域決定処理＞
次に、図４を参照して、テンプレートマッチング部１１４による追尾領域決定処理について説明する。

Ｓ４００では、テンプレートマッチング部１１４は、被写体記録部１１３に記録された顔検出結果および器官検出結果と、対応する候補領域を選択する。Ｓ４００の処理は、直前の過去フレームから得られた顔検出結果および器官検出結果と、現在フレームから得られた候補領域を後述する処理ステップで組み合わせて判定するために対応付ける処理である。また、対応付けに際しては、直前の過去フレームと現在フレームの時間間隔が十分に小さく、被写体の位置関係は大きく変化していない前提に基づく。

ここで、図５を参照して、Ｓ４００の対応付け処理を説明する。図５（ａ）は過去フレームの画像を示し、図５（ｂ）は現在フレームの画像を示している。顔領域５００は被写体記録部１１３に記録された顔検出結果である。対応付け領域５０１は、領域内の候補領域を顔領域５００と対応するとみなす領域であり、顔領域５００と重心が等しく、一辺をＮ倍した領域として設定する。例えば、顔領域５００の横幅をｗとすると、対応付け領域５０１の横幅はｗ×Ｎとする。Ｎの値は直前の過去フレームと、現在フレームとの時間間隔において、顔が画像平面上で動きうる値に基づいて決定する。対応付け候補領域５０２は、顔領域５００と対応付けられた候補領域である。

Ｓ４０１では、テンプレートマッチング部１１４は、Ｓ４００で選択した候補領域が２つあるか否かを判定し、２つある場合にはＳ４０２に進み、２つない場合にはＳ４０３に進む。

Ｓ４０２では、テンプレートマッチング部１１４は、被写体記録部１１３に記録された器官検出結果のうち、ロール方向（光軸まわりの回転方向）の角度を用いて２つの候補領域に左目または右目のラベル付けを行う。ここで図６の６ａから６ｄはＳ４０２の処理ステップにおけるラベル付けの一例を示している。右目領域６００は右目とラベル付された候補領域であり、左目領域６０１は左目とラベル付けされた候補領域である。図６の６ａから６ｄではそれぞれロール方向の角度が０度、９０度、１８０度、２７０度となっており、それぞれ画像右側、画像下側、画像左側、画像上側の候補領域を左目とラベル付けし、それぞれ反対側の候補領域を右目とラベル付けしている。図６に示すように、画像平面上におけるどちら側の候補領域を左目または右目とラベル付けするか異なるので、ロール方向の角度を用いてラベル付けを行う。

Ｓ４０３では、テンプレートマッチング部１１４は、被写体記録部１１３に記録された器官検出結果のうち、ヨー方向（光軸に直交する垂直軸まわりの回転方向）の角度が所定値以上か否かを判定する。なお、ヨー方向の角度は正面顔を０度とし、撮像装置１００に対して顔を逸らす程角度が大きくなるものとする。ヨー方向の角度が所定以上であればＳ４０４に進み、所定値未満であればＳ４０５に進む。

Ｓ４０４では、テンプレートマッチング部１１４は、被写体記録部１１３に記録された器官検出結果のうち、ヨー方向の角度を用いて１つの候補領域に左目または右目のラベル付けを行う。図６の６ｅから６ｆはＳ４０４の処理ステップにおけるラベル付けの一例を示している。６ｅはヨー方向の角度から左向きの横顔と判定できるため、１つの候補領域を左目とラベル付けしている。６ｆはヨー方向の角度から右向きの横顔と判定できるため、１つの候補領域を右目とラベル付けしている。

Ｓ４０５では、テンプレートマッチング部１１４は、被写体記録部１１３に記録された器官検出結果のうち、目領域を用いて１つの候補領域に左目または右目のラベル付けを行う。図６の６ｇおよび６ｈはＳ４０５の処理ステップにおけるラベル付けの一例を示している。６ｇは左側の目領域だけが検出されているため、１つの候補領域を左目とラベル付けする。６ｈは右側の目領域だけが検出されているため、１つの候補領域を右目とラベル付けする。

Ｓ４０６では、テンプレートマッチング部１１４は、Ｓ４００で選択され、Ｓ４０１からＳ４０５でラベル付けされた候補領域から現在フレームの追尾対象領域を決定する。追尾対象となる候補領域は、図２のＳ２０３で追尾対象に指定された左目または右目と、同じ側のラベル付けがされた候補領域である。なお、追尾対象となる候補領域が存在しない場合は、ロスト（追尾対象を見失った）と判定する。

以上の処理によれば、被写体がロール方向に回転していて、左目と右目の位置関係が変化している場合でも、逆側の目への誤追尾を抑制することができる。また、被写体がヨー方向に回転していて、見かけの目の個数が変化している場合でも、反対側の目への誤追尾を抑制し、正しくロストとみなすことができる。また、遮蔽物により片側の目が隠れている場合でも、逆側の目への誤追尾を抑制し、正しくロストとみなすことができる。

以上のように、本実施形態によれば、顔の向きが変化した場合においても目の誤追尾を抑制することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０９…被写体指定部、１１０…被写体検出部、１１１…器官検出部、１１２…被写体追尾部、１１３…被写体情報記録部、１１４…テンプレートマッチング部

Claims

時系列の画像を取得する取得手段と、
前記画像から被写体および当該被写体の器官を検出可能な検出手段と、
前記検出手段により検出された前記器官を追尾対象として指定可能な指定手段と、
前記指定手段により指定された器官を追尾対象として探索する追尾手段と、を有し、
前記検出手段は、時系列の画像のうち、過去の画像から被写体、被写体の向きおよび被写体に含まれる複数の器官を検出し、
前記追尾手段は、現在の画像から追尾対象を決定する際に、前記過去の画像から検出された被写体の向きと前記現在の画像から検出された複数の候補領域の位置関係に基づいて追尾対象を決定することを特徴とする撮像装置。
前記検出手段により検出された被写体、被写体の向きおよび被写体に含まれる複数の器官の検出結果を記録する記録手段と、
記録された検出結果と、現在の画像における複数の候補領域の対応付けを行う処理手段と、をさらに備え、
前記追尾手段は、記録された検出結果のうち、被写体の向きと、対応付けられた複数の候補領域の位置関係とに基づき、追尾対象を決定することを特徴とする請求項１に記載の撮像装置。
前記追尾手段は、記録された検出結果のうち、装置のヨー方向の被写体の向きと、現在の画像における複数の候補領域の位置関係とに基づき、追尾対象を決定することを特徴とする請求項２に記載の撮像装置。
前記追尾手段は、複数の候補領域がなく、前記ヨー方向の角度が所定値以上ではない場合、記録された検出結果の１つの候補領域を追尾対象と決定することを特徴とする請求項３に記載の撮像装置。
前記追尾手段は、記録された検出結果のうち、装置のロール方向の被写体の向きと、現在の画像における複数の候補の位置関係とに基づき、追尾対象を決定することを特徴とする請求項２に記載の撮像装置。
前記追尾手段は、前記追尾対象に対してＡＦ制御を行うことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記被写体は人物の顔であり、前記器官は前記顔に含まれる目であることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
前記時系列の画像は、動画撮影において順次撮像されるフレームであることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
時系列の画像を取得する取得手段と、
前記画像から被写体および当該被写体の器官を検出可能な検出手段と、
前記検出手段により検出された前記器官を追尾対象として指定可能な指定手段と、
前記指定手段により指定された器官を追尾対象として探索する追尾手段と、を有する撮像装置の制御方法であって、
時系列の画像のうち、過去の画像から被写体、被写体の向きおよび被写体に含まれる複数の器官を検出するステップと、
現在の画像から追尾対象を決定する際に、前記過去の画像から検出された被写体の向きと前記現在の画像から検出された複数の候補領域の位置関係に基づいて追尾対象を決定するステップと、を有することを特徴とする制御方法。
請求項９に記載された制御方法を、コンピュータに実行させるためのプログラム。
請求項９に記載された制御方法を、コンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。