JP2023166863A - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Abstract

【課題】改善された、特徴領域に対する指標の表示を実現する画像処理装置、画像処理方法および撮像装置を提供すること。
【解決手段】 画像処理装置は、追尾対象の特徴領域の追尾機能を提供する。画像処理装置は、追尾対象の特徴領域と他の特徴領域との重なり、追尾対象の特徴領域の位置または大きさの変化、追尾対象の特徴領域の向き、または複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成する。一方、条件を満たさない場合、画像処理装置は、追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成する。
【選択図】図５

Description

本発明は画像処理装置、画像処理方法、撮像装置に関し、特には特徴領域の検出を利用した機能の改良に関する。

従来、撮像装置などの画像処理装置では、画像から顔や頭部などの特徴領域を検出し、例えば焦点検出領域の設定などに利用している（特許文献１）。特許文献１では、検出された候補の中から主被写体を自動的に選択し、選択された主被写体に合焦するようにオートフォーカスを実行する撮像装置が開示されている。また、主被写体領域と候補領域とについて、枠状の指標を重畳表示することが開示されている。

特開2022-51280号公報（0049-0050, 0113, 図2, 図10(a)）

特許文献１のように、検出された特徴領域の全てに指標を表示すると、多くの特徴領域が検出された場合に指標の表示で被写体が見づらくなるなど、撮影の妨げになりうる。また、特許文献１では、自動選択される主被写体領域が切りかわる可能性がある場合に、どの候補領域が新たな主被写体領域に切りかわる可能性が高いのかをユーザが事前に知ることができない。

本発明はその一態様において、従来技術の課題の少なくとも１つを改善することが可能な、特徴領域に対する指標の表示を実現する画像処理装置、画像処理方法および撮像装置を提供する。

上述の目的は、時系列的に取得された複数の画像について、追尾対象の特徴領域の位置を検出する追尾手段と、複数の画像のデータに基づいて、追尾対象の特徴領域を示す指標が重畳された表示用画像データを生成する生成手段と、を有し、生成手段は、追尾対象の特徴領域と他の特徴領域との重なり、追尾対象の特徴領域の位置または大きさの変化、追尾対象の特徴領域の向き、または複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成し、条件を満たさない場合には、追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、改善された、特徴領域に対する指標の表示を実現する画像処理装置、画像処理方法および撮像装置を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態における撮像素子の構成例を示す図 実施形態に係るデジタルカメラの動作に関するフローチャート 実施形態に係るデジタルカメラの動作に関するフローチャート 実施形態に係るデジタルカメラの動作に関するフローチャート 実施形態に係るデジタルカメラの動作に関するフローチャート 実施形態おける特徴領域に対する指標の表示例を示す図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明を画像処理の一例としてのデジタルカメラで実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、特徴領域を検出可能な任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

＜カメラの構成＞
図１は、本実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。
レンズユニット１０は被写体の光学像を撮像素子１４の撮像面に形成する。レンズユニット１０と撮像素子１４の間にはシャッタ機能を有する絞り１２が設けられる。レンズユニット１０は合焦距離を調節するためのフォーカスレンズと、画角を調整するためのズームレンズとを有する。フォーカスレンズはフォーカス制御部４２が、ズームレンズはズーム制御部４４が、それぞれシステム制御部５０の制御に基づいて駆動する。

撮像素子１４は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子１４は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された光学像を表す画素信号群（アナログ画像信号）が得られる。

撮像素子１４の画素アレイには、焦点検出用の信号を生成するための専用画素（焦点検出用画素）が配置されている。図２に、撮像素子１４の画素アレイの一部を示す。画素アレイは、光電変換領域が遮光されていない撮像用画素２５０と、光電変換領域の一部が遮光された焦点検出用画素２５１とを有する。Ｒ，Ｇｒ，Ｇｂ，Ｂはそれぞれ各画素に設けられたカラーフィルタの色を示している。図２に示す例では、原色ベイヤ配列のカラーフィルタの繰り返し単位である２×２画素のうち、Ｂ画素の位置に焦点検出用画素２５１が配置されている。なお、光電変換領域の一部を遮光する代わりに、光電変換領域を分割した構成を有する画素を焦点検出用画素として配置してもよい。さらに、光電変換領域を分割した構成を有する画素を広範囲（例えば全面）に有し、原色ベイヤ配列のカラーフィルタを配するなどして撮像用画素と兼用する構成としてもよい。

焦点検出領域内に配置された焦点検出用画素のうち、光電変換領域の右半分が遮光された焦点検出用画素から得られる信号群（Ａ像）と、光電変換領域の左半分が遮光された焦点検出用画素から得られる信号群（Ｂ像）とは、１対の焦点検出用信号である。１対の焦点検出用信号の位相差からデフォーカス量が得られる。

Ａ／Ｄ変換器１６は撮像素子１４が出力するアナログ画像信号をＡ／Ｄ変換してデジタル画像信号（画像データ）を出力する。

タイミング発生回路１８は撮像素子１４および Ａ／Ｄ変換器１６にクロック信号および制御信号を供給する。タイミング発生回路１８の動作はメモリ制御回路２２およびシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６もしくはメモリ制御部２２が出力する画像データに対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理回路２０は例えば特定の機能を実現するように設計されたＡＳＩＣ(Application Specific Integrated Circuit)のような専用のハードウェア回路であってよい。あるいは画像処理回路２０はＤＳＰ(Digital Signal Processor)やＧＰＵ(Graphics Processing Unit)のようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。画像処理回路２０は、取得もしくは生成した情報やデータを、用途に応じてシステム制御部５０やメモリ制御部２２などに出力する。

画像処理回路２０が適用する画像処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、撮像素子にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、レンズユニット１０の光学収差に起因する画像劣化の補正（画像回復）、レンズユニット１０の周辺減光の影響の補正、色補正などの処理が含まれうる。
検出処理には、特徴領域（たとえば人間および／または動物の、顔、頭部、胴体、特定の器官（目、瞳、鼻、口など））の検出や追尾、人物の認識処理などが含まれうる。
データ加工処理には、領域の切り出し（トリミング）、画像合成、スケーリング、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。圧縮伸長部３２で実施する代わりに画像処理回路２０で画像データの符号化および復号を実施してもよい。表示用画像データや記録用画像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。上述した１対の焦点検出用画素信号の生成も評価値算出処理で行う。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理回路２０が適用可能な処理の例示であり、画像処理回路２０が適用する処理を限定するものではない。

画像処理回路２０は、検出処理結果として、特徴領域の位置およびサイズ、検出信頼度などを出力する。画像処理回路２０における特徴領域の検出は公知の任意の方法によって実現することができる。例えば、予め画像処理回路２０に保存された顏の輪郭形状を表すデータをテンプレートとして用いたパターンマッチングにより、顏領域を検出することができる。また、画像処理回路２０は、テンプレートとの一致度を信頼度として求め、一致度が閾値以上の領域だけを顔領域と見なしてもよい。

また、検出可能な顔の種類を増やしたり、検出精度を高めたりするために、顔の輪郭に関するテンプレートを複数種類用意し、個々のテンプレートを用いたテンプレートマッチングの結果に基づいて顔領域を検出してもよい。また、輪郭のテンプレートと、輪郭とは異なる種類のテンプレートとを用いたテンプレートマッチングの結果に基づいて顔領域を検出してもよい。例えば、顔の形状の一部をテンプレートとして用いてもよい。また、大きさの異なる顔領域を検出するため、拡大および／または縮小によって異なるサイズのテンプレートを生成して用いてもよい。

また、顔の器官（目、瞳、鼻、口など）を検出する場合、画像処理回路２０は、予め用意された器官の形状に関するテンプレートを用いたパターンマッチングを、検出された顔領域に対して適用する。また、画像処理回路２０は、テンプレートとの一致度を信頼度として求め、一致度が閾値以上の領域だけを器官の領域と見なしてもよい。

テンプレートマッチング以外の方法を用いて特徴領域を検出してもよい。例えば機械学習（ディープラーニングなど）を用いて特徴領域を検出することができる。例えば画像処理回路２０は畳み込みニューラルネットワーク（ＣＮＮ）を実現する回路もしくはプログラムを用い、特徴領域の種類ごとに用意された学習済みモデルをＣＮＮに適用することにより、特徴領域の検出器を生成することができる。学習済みモデル（パラメータセット）は、例えば不揮発性メモリ３１に予め用意しておくことができる。同一の画像データに対して用いる学習済モデルを切り替えることで、複数の種類の被写体領域を検出することができる。

不揮発性メモリ３１に例えば犬と猫のそれぞれについて、瞳、顔、体の部位を検出するための学習済みモデルと、鳥の瞳、顔、体の部位を検出するための学習済みモデルと、電車や自動車などの乗り物を検出するための学習済みモデルを用意しておく。システム制御回路５０は、３つの学習済みモデルの１つを選択して画像処理回路２０に適用することで、選択した学習済みモデルに対応した特徴領域を画像処理回路２０に検出させることができる。

３つの学習済みモデルを画像処理回路２０に順次適用し、同一の画像データに対して検出処理を３回実施することにより、３つの学習済みモデルに対応した全ての種類の被写体領域を検出することができる。

ここではパターンマッチングにより顔および器官を、学習済みモデルを用いて犬、猫、鳥の瞳、顔、体の部位、あるいは乗り物を検出する例を説明した。しかし、検出する特徴領域の種類はこれらに限定されない。また、検出する特徴領域の種類と検出方法との組み合わせもこれらに限定されない。

次に、画像処理回路２０で行う追尾処理について説明する。追尾処理は、時系列的に撮影された複数の画像（例えば動画の複数フレーム、または連写された複数フレームの静止画）について、特定の領域を追尾する処理である。追尾処理は、特定の領域をテンプレートとして用いたパターンマッチングと、パターンマッチングで検出された領域によるテンプレートの更新とを、フレームごとに繰り返すことで実現できる。

画像処理回路２０は、対象のフレームについて、テンプレートの位置を変更しながら相関値を算出し、テンプレートと最も高い相関を有する領域を検出する。相関値は例えば位置が対応する画素の輝度値の差分絶対値の合計であってよい。なお、輝度値の代わりに色成分の値の差や、ヒストグラムの一致度を相関値として求めてもよい。テンプレートと最も類似した領域を探索する方法に特に制限はなく、他の任意の公知の方法を用いることができる。

システム制御部５０は例えばプログラムを実行可能な１つ以上のプロセッサ（ＣＰＵ）である。システム制御部５０は、不揮発性メモリ３１に記憶されたプログラムをメモリ３０に読み込んで実行することにより、デジタルカメラ１００を構成する機能ブロックの動作を制御し、デジタルカメラ１００の機能を実現する。

システム制御部５０はその動作の一部として、画像処理回路２０が生成する評価値に基づく自動露出制御（ＡＥ）および自動焦点検出（ＡＦ）を実行する。具体的には、システム制御部５０は、評価値に基づいて、焦点検出領域が適正露出となるような露出条件（絞り値、シャッタスピード、感度）を決定する。そして、システム制御部５０は、露出条件に基づき、露光制御部４０を通じて絞り１２を駆動し、また撮像素子１４の動作を制御する。さらに、システム制御部５０は、信号処理回路２０が生成する１対の焦点検出用画素信号の位相差に基づいてデフォーカス量を求める。そして、システム制御部５０は、デフォーカス量に基づき、フォーカス制御部４２を通じてレンズユニット１０のフォーカスレンズを駆動することにより、レンズユニット１０を焦点検出領域に合焦させる。なお、システム制御部５０はコントラスト評価値に基づくオートフォーカスを行ってもよい。

なお、本実施形態においてシステム制御部５０は、ＡＦ用の評価値を生成する焦点検出領域を、画像処理回路２０が検出した被写体領域に基づいて設定する。例えば被写体領域を、あるいは焦点検出領域の部分領域を焦点検出領域を設定することにより、レンズユニット１０が被写体領域に合焦するようなオートフォーカスが実現できる。画像処理回路２０が複数の被写体領域を検出した場合、システム制御部５０はその１つを主被写体領域として選択し、焦点検出領域の設定に用いる。複数の被写体領域から主被写体領域を選択方法に特に制限はない。ユーザに指定させてもよいし、個々の被写体領域の位置、サイズ、信頼度の１つ以上に基づいてシステム制御部５０が選択してもよい。

不揮発性メモリ３１は電気的に書き換え可能であり、システム制御部５０が実行するプログラム、デジタルカメラ１００の各種の設定値、ＧＵＩデータなどを記憶する。画像処理回路２０が用いる学習済モデルおよび特徴データも不揮発性メモリ３１に記憶することができる。メモリ３０は、システム制御部５０がプログラムを実行する際に用いたり、画像データを一時的に格納したりするために用いられる。また、メモリ３０の一部は画像表示部２８のビデオメモリとして用いられる。

メモリ制御回路２２は、Ａ／Ｄ変換器１６および画像処理回路２０によるメモリ３０へのアクセスを制御する。また、メモリ制御回路２２はタイミング発生回路１８の動作を制御する。

画像表示部２８はメモリ３０のビデオメモリ領域に書き込まれた表示用画像データに基づく画像を表示する表示装置である。撮影された動画を画像表示部２８に直ちに表示することにより、画像表示部２８は電子ビューファインダ（ＥＶＦ）として機能する。画像表示部２８をＥＶＦとして機能させるための処理をライブビュー処理、ライブビュー処理に用いる表示用画像データをライブビュー画像データと呼ぶ。本実施形態では画像処理部２８はタッチディスプレイであるものとする。

圧縮伸長部３２は画像処理回路２０が生成した記録用画像データを符号化したり、記録部２０２から読み出された符号化画像データを復号したりする。符号化方式に特に制限は無いが、静止画はＪＰＥＧ規格、動画はＭＰＥＧ規格に準拠した符号化方式を用いるのが一般的である。

露光制御部４０はシステム制御部５０の制御に従って絞り１２を駆動する。
フラッシュ４８は補助光源である。フラッシュ４８の点灯・非点灯はデジタルカメラ１００の設定ならびに画像処理回路２０が生成する評価値に基づいてシステム制御部５０が決定する。フラッシュ４８の動作はシステム制御部５０が制御する。

モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の機能モードの１つをデジタルカメラ１００に設定する。

シャッタースイッチ６２は静止画撮影用のスイッチであり、半押しでＯＮするＳＷ１と、全押しでＯＮするＳＷ２とを有する。システム制御部５０は、ＳＷ１のＯＮを撮影準備指示、ＳＷ２のＯＮを撮影指示と認識する。システム制御部５０は、撮影準備指示に応じてＡＦおよびＡＥなどの撮影準備指示を実行する。また、システム制御部５０は、撮影指示に応じて、静止画撮影から記録までの一連の動作を実行する。画像処理回路２０が生成した記録用画像データは、必要に応じて圧縮伸長部３２で符号化されたのち、画像データファイルの形式でＩ／Ｆ９０を通じて記録媒体２００に記録される。

表示切替スイッチ６６は、画像表示部２８のＯＮ、ＯＦＦを切り替える。光学ファインダ１０４を用いる場合など、使用しない場合に画像表示部２８をＯＦＦすることで消費電力を低減することができる。

ズームスイッチ７２が操作されると、システム制御部５０は、ズーム制御部４４を通じてズームレンズを駆動し、レンズユニット１０の画角を変更する。画角を拡げるか狭めるかはズームスイッチ７２の操作に応じて決定される。

操作部７０はデジタルカメラ１００に設けられた入力デバイスのうち、説明していないものの総称である。メニューボタン、セットボタン、方向キー、動画記録ボタンなどが含まれる。また、画像表示部２８がタッチディスプレイの場合、画像表示部２８が有するタッチパネルは操作部７０に含まれる。

電源８６はデジタルカメラ１００に電力を供給する。電源８６はデジタルカメラ１００に装着される電池であっても、ＡＣアダプタなどの外部電源であってもよい。

インタフェース９０は記録媒体２００との通信インタフェースである。記録媒体２００はコネクタ９２に接続される。 記録媒体２００は例えばメモリカードである。記録媒体２００はデータを記憶する記録部２０２と、記録媒体２００のコネクタ２０６が接続された外部機器（ここではデジタルカメラ１００）と通信するためのインタフェース２０４とを有する。

通信部１１０はコネクタまたはアンテナ１１２を通じて外部機器と通信する。通信部１１０は有線および／または無線通信規格の１つ以上に準拠し、準拠する規格に応じたハードウェアを有する。

ジャイロセンサ１１５はデジタルカメラ１００の動き（角速度）に応じた信号をシステム制御部５０に出力する。システム制御部５０は、ジャイロセンサの出力する信号を積分し、軸周りの角度変化の組み合わせとしてデジタルカメラ１００の動きを検出する。システム制御部５０は、検出したデジタルカメラ１００の動きを例えば像ブレ補正やパンニング操作の検出に用いることができる。

＜静止画撮影処理＞
図３に示すフローチャートを用いて、デジタルカメラ１００が静止画を撮影、記録するための静止画撮影処理について説明する。
Ｓ３０１でシステム制御部５０は、デジタルカメラ１００の動作モードが静止画撮影モードに設定されているか否かを判定し、静止画撮影モードに設定されていると判定されればＳ３０２を実行する。静止画撮影モードに設定されていると判定されない場合、静止画の撮影および記録に関する動作は行わないため、システム制御部５０は静止画撮影処理を終了する。

Ｓ３０２でシステム制御部５０は、ライブビュー処理の準備が完了したか否かを判定し、準備が完了したと判定されればＳ３０３を実行し、判定されなければＳ３０２を繰り返し実行する。システム制御部５０は、タイミング発生回路１８が撮像素子１４やＡ／Ｄ変換器１６にライブビュー表示用のクロック信号や制御信号を供給可能となったことをもってライブビュー処理の準備が完了したと判定することができる。

Ｓ３０３でシステム制御部５０は、ライブビュー処理を開始したのち、Ｓ３０４を実行する。ライブビュー処理とは、画像表示部２８をＥＶＦとして機能させるための一連の処理である。具体的には撮像素子１４により動画を撮影し、画像処理回路２０で表示用画像データを生成してメモリ３０に格納し、画像表示部２８に表示させる処理を継続的に実施する。システム制御部５０は、Ｓ３０３でライブビュー処理を開始すると、以降は静止画撮影モードが終了するまで継続的にライブビュー処理を実行しながら、Ｓ３０４以降の処理を実行する。

また、画像処理回路２０は、ライブビュー処理で生成する画像データに対して被写体検出処理を実行し、結果をシステム制御部５０に出力する。なお、被写体検出処理は撮影される動画の全フレームに対して実施してもよいし、所定の複数フレームごとに実施してもよい。被写体検出処理の実施頻度は動画の撮影または表示フレームレートと、画像処理回路２０の処理能力などを考慮してシステム制御部５０が動的に決定してもよい。

Ｓ３０４でシステム制御部５０は主被写体決定処理を実行し、画像処理回路２０が検出した被写体領域から主被写体領域を決定してＳ３０５を実行する。主被写体決定処理の詳細については後述する。

Ｓ３０５でシステム制御部５０は、主被写体決定処理において主被写体領域が決定されているか否かを判定し、主被写体領域が決定されていると判定されればＳ３０６を、判定されなけれればＳ３１０を実行する。

Ｓ３０６でシステム制御部５０は、主被写体領域の情報とともに、主被写体領域を示す指標を重畳表示するように画像処理回路２０に指示する。画像処理回路２０は、主被写体領域を示す指標の画像が重畳されたライブビュー表示用の画像データを生成し、メモリ３０に格納する。指標は例えば主被写体領域に外接する矩形の輪郭の少なくとも一部であってよい。ここでは輪郭の全体、すなわち枠状の指標を重畳表示するものとする。しかしながら、主被写体領域を示唆する任意の大きさや形態の指標を用いうる。

図７（ａ）は主被写体領域に対する指標の表示例を示す図である。ここでは主被写体が右の人物であり、顔領域を包含する矩形枠状の指標７０１が表示されている。一方、同じ画像で検出された主被写体以外の被写体（副被写体）の領域には指標７０１と視覚的に異なる指標７０２が重畳されている。副被写体領域に関して表示する指標を以下では便宜上、副枠と呼ぶ。

図３に戻り、Ｓ３０７でシステム制御部５０は、副被写体領域に対する指標表示処理である副枠表示処理を実行したのち、Ｓ３０８を実行する。副枠表示処理の詳細については後述する。

Ｓ３０８でシステム制御部５０は、Ｓ３０７の副枠表示処理において副枠を表示したか否かを判定し、副枠を表示したと判定されればＳ３０９を実行し、判定されなければＳ３１０を実行する。

Ｓ３０９でシステム制御部５０は主被写体切り替え処理を実行し、その後Ｓ３１０を実行する。主被写体切り替え処理は、ユーザ指示に応じて主被写体を切り替える処理である。主被写体切り替え処理の詳細については後述する。

Ｓ３１０でシステム制御部５０は、撮影モードを終了するか否かを判定する。システム制御部５０は、例えばデジタルカメラ１００の動作モードが静止画撮影モードから別のモード（例えば再生モード）に切り替えられた場合や、電源ＯＦＦが指示された場合に撮影モードを終了すると判定することができる。システム制御部５０は、撮影モードを終了すると判定されれば静止画撮影動作を終了し、状態に応じた処理を実行する。一方、システム制御部５０は、撮影モードを終了すると判定されなければＳ３１１を実行する。

Ｓ３１１でシステム制御部５０は、シャッタースイッチ６２のＳＷ１がＯＮか否かを判定し、ＯＮと判定されればＳ３１２を、判定されなければＳ３１７を実行する。

Ｓ３１２でシステム制御部５０は、Ｓ３０５と同様に主被写体領域が決定されているか否かを判定し、主被写体領域が決定されていると判定されればＳ３１３を、判定されなけれればＳ３１４を実行する。

Ｓ３１３でシステム制御部５０は、主被写体領域に基づいて焦点検出領域を設定し、ＡＦ処理を実行する。具体的には、システム制御部５０は、画像処理回路２０から焦点検出領域に対する焦点検出用信号を取得し、デフォーカス量を求める。そして、システム制御部５０は、レンズユニット１０が焦点検出領域に合焦するように、フォーカス制御部４２を通じ、デフォーカス量に基づいてフォーカスレンズを駆動する。また、システム制御部５０は、焦点検出領域に対するＡＥ用の評価値を画像処理回路２０から取得し、ＡＥ処理を実行して露出条件を決定する。その後、システム制御部５０はＳ３１５を実行する。

Ｓ３１４でシステム制御部５０は、予め定められた複数の領域について画像処理回路２０から焦点検出用信号を取得し、デフォーカス量を求める。そして、システム制御部５０は、デフォーカス量に基づいて被写体距離が最も短い領域にレンズユニット１０が合焦するように、フォーカス制御部４２を通じてフォーカスレンズを駆動する。その後、システム制御部５０はＳ３１５を実行する。なお、撮影範囲におけいて被写体距離が最も短い領域は、例えば撮像素子１４の焦点検出用画素を用いて生成可能なデフォーカスマップに基づいて決定してもよい。

Ｓ３１５でシステム制御部５０は、シャッタースイッチ６２のＳＷ２がＯＮか否かを判定し、ＯＮと判定されればＳ３１６を、判定されなければＳ３１７を実行する。

Ｓ３１６でシステム制御部５０は、静止画の撮影および記録処理を実行する。システム制御部５０は、ＳＷ１がＯＮの状態で実行する撮影準備指示において直近に決定した露出条件に基づいて絞り１２および撮像素子１４を制御し、静止画撮影を実行する。そして、画像処理回路２０は記録用の静止画データを生成し、メモリ３０に格納する。システム制御部５０は、必要に応じて圧縮伸長部３２で静止画データを符号化した後、Ｉ／Ｆ９０を通じて記録媒体２００に画像データファイルを記録する。なお、静止画の撮影処理中はライブビュー処理は中断してもよい。撮影処理が終了すると、システム制御部５０はＳ３１７を実行する。

Ｓ３１７でシステム制御部５０は、Ｓ３０５と同様に主被写体領域が決定されているか否かを判定し、主被写体領域が決定されていると判定されればＳ３１８を、判定されなけれればＳ３０４を実行する。

Ｓ３１８でシステム制御部５０は、画像処理回路２０に主被写体領域の追尾処理を実行させる。画像処理回路２０は、直近の主被写体決定処理で決定された主被写体領域と最も類似する領域を、直近の主被写体決定処理を実行したフレームよりも後に撮影されたフレーム（例えば次のフレーム）で探索する。そして、画像処理回路２０は、探索された領域の位置、サイズ、探索の信頼度などを追尾処理の結果としてシステム制御部５０に通知する。被写体検出処理が行われたフレームに対する追尾処理では、探索範囲を検出された被写体領域に限定してもよい。なお、画像処理回路２０は探索の信頼度が予め定められた閾値を満たす領域が見つからなかった場合には、探索処理に失敗したことをシステム制御部５０に通知する。

画像処理回路２０は、追尾処理を開始すると、次に主被写体決定処理が実行されるまでは、直近に実行した追尾処理で検出された領域を主被写体領域として追尾処理を継続する。これにより、画像処理回路２０は、同一被写体の領域を追尾する。

Ｓ３１９でシステム制御部５０は、画像処理回路２０から通知された追尾処理の結果に基づいて、追尾処理が成功したか否かを判定する。システム制御部５０は、例えば探索結果の信頼度が予め定められた閾値を満たせば追尾処理が成功したと判定する。システム制御部５０は、追尾処理が成功したと判定されればＳ３０６を、判定されなければＳ３０４を実行する。このように、画像処理回路２０が追尾処理を失敗した場合には、主被写体決定処理を実行して、画像処理回路２０が追尾する主被写体領域を更新する。なお、追尾処理の１回の失敗で主被写体決定処理を実行するのではなく、所定の複数回連続して追尾処理に失敗した場合に主被写体決定処理を実行するようにしてもよい。

＜主被写体決定処理＞
次に、Ｓ３０４における主被写体決定処理の詳細について図４のフローチャートを用いて説明する。
Ｓ４０１でシステム制御部５０は、画像処理回路２０による被写体検出処理の結果から、人物被写体の領域が検出されたか否かを判定する。ここでは一例として被写体検出処理の対象が人物被写体、動物被写体、乗り物被写体であるものとする。システム制御部５０は、人物被写体の領域が検出されたと判定されればＳ４０２を、判定されなければＳ４０５を実行する。

Ｓ４０２でシステム制御部５０は、人物被写体の領域が複数検出されたか否かを判定し、複数検出されたと判定されればＳ４０３を、判定されなければＳ４０４を実行する。

Ｓ４０３でシステム制御部５０は、検出された複数の領域から主被写体領域を決定する。ここでは一例として顔領域の位置とサイズに基づいて主被写体を決定するものとする。システム制御部５０は、例えば位置およびサイズをそれぞれ重み（係数）に変換し、乗算して得られる値によって主被写体を決定することができる。例えば、位置の重みは焦点検出領域と被写体領域の距離（例えば中心間距離）が短いほど大きくなるように、サイズの重みは被写体領域のサイズが大きいほど大きくなるように予め設定しておくことができる。この場合システム制御部５０は、位置とサイズそれぞれの重みの積が最も大きい被写体領域を主被写体領域と決定し、主被写体決定処理を終了する。

なお、他の方法で主被写体領域を決定してもよい。例えば、顔の向きが正面に近いほど大きくなる重みを用いたり、検出の信頼度が高いほど大きくなる重みを用いたりしてもよい。

Ｓ４０４が実行されるのは、検出された人物被写体の領域が１つの場合である。そのため、システム制御部５０は、検出された人物被写体の領域を主被写体領域と決定し、主被写体決定処理を終了する。

Ｓ４０５でシステム制御部５０は、動物被写体の領域が検出されたか否かを判定し、検出されたと判定されればＳ４０６を、判定されなければＳ４１１を実行する。
Ｓ４０６でシステム制御部５０は、乗り物被写体の領域が検出されたか否かを判定し、検出されたと判定されればＳ４０７を、判定されなければＳ４０８を実行する。

Ｓ４０７でシステム制御部５０は、個々の被写体領域の位置とサイズに基づいて主被写体を決定し、主被写体決定処理を終了する。人物被写体の場合と同様、位置とサイズをそれぞれ重みに変換して主被写体を決定することができる。ただし、動物被写体と乗り物被写体の両方が検出されているため、サイズを正規化してから重みに変換する。具体的には、デジタルカメラ１００からの光軸方向の距離が等しい動物被写体と乗り物被写体との領域のサイズが等しくなるようにサイズを正規化する。例えば事前に複数のサンプルを用いて統計的に算出した係数を動物被写体領域と乗り物被写体領域の少なくとも一方に適用することにより、サイズを正規化することができる。なお、位置とサイズの重みは、人物被写体領域に用いるものとは異ってもよい。

Ｓ４０８でシステム制御部５０は、動物被写体の領域が複数検出されたか否かを判定し、検出されたと判定されればＳ４０９を、判定されなければＳ４１０を実行する。
Ｓ４０９でシステム制御部５０は、個々の被写体領域の位置とサイズに基づいて主被写体を決定し、主被写体決定処理を終了する。人物被写体の場合と同様、位置とサイズをそれぞれ重みに変換して主被写体を決定することができる。
Ｓ４１０が実行されるのは、検出された動物被写体の領域が１つの場合である。そのため、システム制御部５０は、検出された動物被写体の領域を主被写体領域と決定し、主被写体決定処理を終了する。

Ｓ４１１でシステム制御部５０は、乗り物被写体の領域が検出されたか否かを判定し、検出されたと判定されればＳ４１２を、判定されなければＳ４１５を実行する。
Ｓ４１２でシステム制御部５０は、乗り物被写体の領域が複数検出されたか否かを判定し、検出されたと判定されればＳ４１３を、判定されなければＳ４１４を実行する。

Ｓ４１３でシステム制御部５０は、個々の被写体領域の位置とサイズに基づいて主被写体を決定し、主被写体決定処理を終了する。人物被写体の場合と同様、位置とサイズをそれぞれ重みに変換して主被写体を決定することができる。
Ｓ４１４が実行されるのは、検出された乗り物被写体の領域が１つの場合である。そのため、システム制御部５０は、検出された乗り物被写体の領域を主被写体領域と決定し、主被写体決定処理を終了する。

Ｓ４１５でシステム制御部５０は、主被写体領域がないと決定し、主被写体決定処理を終了する。

＜副枠表示判定＞
次に、Ｓ３０７における副枠表示処理の詳細について、図５のフローチャートを用いて説明する。副枠表示処理では、副主被写体領域に対して指標（副枠）を表示するか否かを決定し、指標を表示すると決定した場合は表示対象の副被写体領域に指標を表示する。

Ｓ５０１でシステム制御部５０は、主被写体領域が副被写体領域と重なっているか否かを判定する。システム制御部５０は、例えば主被写体領域のうち、他の１つ以上の副被写体領域と重複する部分の割合が閾値を超える場合に、主被写体領域が副被写体領域と重なっていると判定することができる。あるいは、システム制御部５０は、主被写体領域のうち、特定の部分領域（例えば人物被写体領域における顔領域）の中心から一定距離の範囲で副被写体領域が重なっている場合に、主被写体領域が副被写体領域と重なっていると判定することができる。これらは単なる例示であり、他の条件に基づいて判定してもよい。システム制御部５０は、主被写体領域が副被写体領域と重なっていると判定されればＳ５０９を、判定されなければＳ５０２を実行する。

Ｓ５０９でシステム制御部５０は、主被写体領域を見失いやすい状態にあると判定し、例えばフラグを設定したのち、Ｓ５１０を実行する。主被写体領域を見失いやすい状態とは、近い将来、現在の主被写体領域に対する追尾処理ができなくなる可能性が高いと考えられる状態とも言える。

Ｓ５０２でシステム制御部５０は、主被写体領域が移動しているか否かを判定し、移動していると判定されればＳ５０３を、判定されなければＳ５０８を実行する。システム制御部５０は、例えば追尾処理の結果として得られる主被写体領域の位置の時間変化に基づいて主被写体領域が移動しているか否かを判定することができるが、他の方法で判定してもよい。

Ｓ５０３でシステム制御部５０は、主被写体領域が、撮影範囲から外れる方向に移動しているか否かを判定する。システム制御部５０は、例えば、主被写体領域の中心と画像の４辺との距離のうち、最も短い距離が経時的に減少している場合に、主被写体領域が撮影範囲から外れる方向に移動していると判定することができる。あるいはシステム制御部５０は、主被写体領域の移動量に基づいて被主写領域の一部が撮影範囲外に出るまでの時間を推測し、推測した時間が所定時間以内であれば撮影範囲から外れる方向に移動していると判定してもよい。もちろん、他の方法によって判定してもよい。システム制御部５０は、主被写体領域が、撮影範囲から外れる方向に移動していると判定されればＳ５０５を、判定されなければＳ５０４を実行する。

Ｓ５０４でシステム制御部５０は、デジタルカメラ１００が主被写体領域の移動方向にパンニング操作されているか否かを判定し、パンニング操作されていると判定されればＳ５０５を、判定されなければＳ５０９を実行する。システム制御部５０は、ジャイロセンサ１１５の出力する信号に基づくデジタルカメラ１００の動き方向と、主被写体領域の移動方向との角度差が閾値未満であれば、デジタルカメラ１００が主被写体領域の移動方向にパンニング操作されていると判定する。なお、デジタルカメラ１００の動きをフレーム間の動きベクトルに基づいて決定するなど、他の方法を用いて判定してもよい。

パンニング方向が主被写体領域の移動方向と異なる場合、あるいはパンニングされていない場合は、近い将来、主被写体が撮影範囲外に移動し、現在の主被写体領域に対する追尾処理に失敗する可能性が比較的高いと考えられる。そのため、システム制御部５０は、Ｓ５０９で主被写体領域を見失いやすい状態にあると判定し、例えばフラグを設定したのち、Ｓ５１０を実行する。

Ｓ５０５でシステム制御部５０は、主被写体の移動方向に、主被写体を隠しうる物体（遮断物）があるか否かを判定する。システム制御部５０は、例えば、主被写体領域の移動方向と移動速度から、主被写体の画面内の位置およびデジタルカメラ１００からの距離の経時変化を推定する。そして、システム制御部５０は、例えば撮像素子１４の焦点検出用画素を用いて生成することができるデフォーカスマップに基づいて、主被写体の移動経路より手前に存在する物体の有無を判定する。該当する物体が存在すれば、システム制御部５０は、主被写体の移動方向に遮断物があると判定することができる。システム制御部５０は、主被写体の移動方向に遮断物があると判定されればＳ５０９を、判定されなければＳ５０６を実行する。

被写体の移動方向に遮断物があると判定された場合、近い将来、現在の主被写体領域に対する追尾処理に失敗する可能性が比較的高いと考えられる。そのため、システム制御部５０は、Ｓ５０９で主被写体領域を見失いやすい状態にあると判定し、例えばフラグを設定したのち、Ｓ５１０を実行する。

Ｓ５０６でシステム制御部５０は、主被写体領域のサイズが経時的に減少しているか否かを判定し、減少していると判定されればＳ５０９を、判定されなければＳ５０７を実行する。この判定は、主被写体とデジタルカメラ１００との距離が経時的に増加しているか否かの判定であってもよい。

主被写体領域のサイズが経時的に減少している場合、あるいは主被写体がデジタルカメラ１００から遠ざかっている場合、近い将来、現在の主被写体領域に対する追尾処理に失敗する可能性が比較的高いと考えられる。そのため、システム制御部５０は、Ｓ５０９で主被写体領域を見失いやすい状態にあると判定し、例えばフラグを設定したのち、Ｓ５１０を実行する。

Ｓ５０７でシステム制御部５０は、主被写体の向きが後ろ向きか否かを判定し、後ろ向きと判定されればＳ５０９を実行し、判定されなければＳ５０８を実行する。ここでは、主被写体が人物、動物など、後ろ向きの場合に追尾処理の精度または信頼度が有意に低下する種類の被写体であることを想定している。乗り物被写体のように向きによって追尾処理の精度または信頼度が大きく変わらない被写体については、Ｓ５０７をスキップするか、後ろ向きでないと見なしてもよい。主被写体の向きが後ろ向きかどうかは、例えば人物や動物の顔の向きなど被写体の方向を決定できる深層学習の学習モデルを用いて判定することができる。画像処理回路２０で学習済みモデルに基づいて被写体の向きを判定し、システム制御部５０に判定結果を通知することができる。なお、後ろ向きか否かの代わりに追尾精度もしくは信頼度が低下する向きか否かを判定してもよい。

主被写体の向きが後ろ向きの場合、近い将来、現在の主被写体領域に対する追尾処理に失敗する可能性が比較的高いと考えられる。そのため、システム制御部５０は、Ｓ５０９で主被写体領域を見失いやすい状態にあると判定し、例えばフラグを設定したのち、Ｓ５１０を実行する。

Ｓ５０８でシステム制御部５０は、主被写体領域を見失いやすい状態ではないと判定し、例えばフラグが設定されていれば解除し、Ｓ５１０を実行する。

Ｓ５１０でシステム制御部５０は、例えばフラグの状態に基づいて主被写体領域を見失いやすい状態か否かを判定し、主被写体領域を見失いやすい状態と判定されればＳ５１１を、判定されなければＳ５１４を実行する。ここでは、フラグが設定されている（例えば１）場合に、システム制御部５０は、主被写体領域を見失いやすい状態と判定する。

Ｓ５１１でシステム制御部５０は、画像処理回路２０によって副被写体領域が検出されているか否かを判定し、検出されていると判定されればＳ５１２に、判定されなければＳ５１４を実行する。

Ｓ５１２でシステム制御部５０は、最も優先度が高い副被写体領域を決定する。例えばシステム制御部５０は、図４を用いて説明した主被写体決定処理を、副被写体領域を対象に実行することにより、最も優先度が高い副被写体領域を決定することができる。

Ｓ５１３でシステム制御部５０は、Ｓ５１２で決定した副被写体領域の情報とともに、副枠を表示するように画像処理回路２０に指示する。画像処理回路２０は、システム制御部５０から情報を取得した副被写体領域に副枠を重畳したライブビュー表示用の画像データを生成し、副枠表示処理を終了する。図７（ａ）に、副枠７０２の表示例を示す。主被写体領域に表示される指標７０１と副枠７０２とは、視覚的に区別がつくように色、パターン（例えば実線か点線か）などが異なっている。

一方、Ｓ５１４でシステム制御部５０は、副枠表示をしないことを決定し、副枠表示処理を終了する。

このように、本実施形態では、副被写体領域が検出されている場合であっても、主被写体領域が安定して追尾されている状態では主被写体領域だけに指標を表示する。そのため、ユーザは主被写体の撮影に集中することができる。

また、主被写体領域の追尾に近い将来失敗するおそれがあると判定される場合には、現在の主被写体領域に代わる新たな主被写体領域となる可能性が高い、１つの副被写体領域への指標の表示を追加するようにした。そのため、ユーザは撮影中に副被写体領域への指標が表示されるようになったことにより、現在の主被写体領域の追尾が近く終了する可能性があることを事前に把握することができる。さらに、ユーザは、副被写体領域のうち、次に主被写体領域となる可能性が高いものがどれかについても事前に把握することができる。例えば次に主被写体領域となる可能性が高い副被写体領域が意図しないものであれば、ユーザは別の副被写体領域を新たな主被写体領域として選択するかどうかを検討することができる。

＜被写体切り替え処理＞
次に、Ｓ３０９における主被写体切り替え処理の詳細について、図６のフローチャートを用いて説明する。主被写体切り替え処理は、ユーザの指示に応じて主被写体領域を変更する処理である。

Ｓ６０１でシステム制御部５０は、画像表示部２８のタッチパネルに対してタッチダウン操作が行われているか否かを判定する。タッチダウン操作は、タッチパネルで接触を感知している状態である。システム制御部５０は、タッチダウン操作が行われていると判定されればＳ６０２を、判定されなければＳ６０５を実行する。なお、システム制御部５０は、タッチダウン操作が一定時間継続した時点でタッチダウン操作が行われていると判定してもよい。

Ｓ６０２でシステム制御部５０は、画像処理回路２０に、選択可能な全ての副被写体領域に副枠を表示したライブビュー表示用の画像データを生成するように指示する。図７（ｂ）は、全ての副被写体領域に副枠８０２～８０４を表示した例を示している。なお、主被写体領域には指標８０１が表示されているため、Ｓ６０２では画像処理回路２０が検出した全ての被写体領域に対して指標が表示される。なお、検出された副被写体の領域のうち、信頼度が閾値以下のものについては選択されないように指標を表示しなくてもよい。

Ｓ６０３でシステム制御部５０は、タッチアップが検出されたか否かを判定する。タッチアップとはタッチパネルで感知されていた接触（タッチダウン）が感知されなくなった状態である。システム制御部５０は、タッチアップが検出されたと判定されればＳ６０４を実行し、判定されなければＳ６０３を繰り返し実行する。

Ｓ６０４でシステム制御部５０は、タッチアップが検出された位置（タッチアップが検出される直前に接触が検出されていた位置）を検出する。そして、システム制御部５０は、検出された位置を含む被写体領域を、ユーザ指定の主被写体領域として設定したのち、Ｓ６１５を実行する。

例えば図７（ｂ）において、指標８０１～８０４の内部でタッチアップが検出された場合、システム制御部５０は、タッチアップが検出された位置を含む指標に対応した被写体領域を主被写体領域に設定する。また、システム制御部５０は、人物または動物被写体の胴体や四肢領域でタッチアップが検出された場合、対応する顔領域を主被写体領域として設定してもよい。

なお、指標内でタッチアップが検出されなかった場合、システム制御部５０は、タッチアップを検出した位置からの画像中の距離が閾値以下である被写体領域をユーザ指定の主被写体領域として設定してもよい。あるいは、システム制御部５０は、タッチアップが検出された位置の被写体距離や、タッチアップが検出された位置の画素の色に基づいて決定された被写体領域を主被写体領域として設定してもよい。

このように、タッチダウン操作が検出されると、選択可能な被写体領域の全てに指標を表示するようにした。そのため、ユーザは検出されている被写体領域および、主被写体領域として選択可能な被写体領域を把握することができる。また、新たな主被写体領域が選択されると、主被写体領域以外に対する指標の表示を終了するため、指標の表示がその後の撮影を妨げることもない。

Ｓ６０５でシステム制御部５０は、操作部７０が有する、それぞれが複数の方向の１つに対応した複数の操作部材の１つ対する操作が検出されたか否かを判定し、検出されたと判定されればＳ６０６を、判定されなければＳ６１０を実行する。ここでは、複数の方向が左方向および右方向であり、複数の操作部材がに左方向キーまたは右方向キーであるものとする。

Ｓ６０６でシステム制御部５０は、現在の主被写体領域を基準として、Ｓ６０５で操作が検出された方向キーに対応する方向に、副被写体領域が存在するか否かを判定する。システム制御部５０は、操作された方向キーに対応した方向に副被写体領域が存在すると判定されればＳ６０７を、判定されなければＳ６１５を実行する。

Ｓ６０７でシステム制御部５０は、操作された方向キーに対応した方向に存在する副被写体領域を新たな主被写体領域として設定し、Ｓ６０８を実行する。なお、システム制御部５０は、操作された方向キーに対応した方向に複数の副被写体領域が存在する場合、現在の主被写体領域に最も近い副被写体領域を新たな主被写体領域として設定する。

Ｓ６０８でシステム制御部５０は、新たに設定した主被写体領域に指標を表示するとともに、新たに設定した主被写体領域から左右方向に最も近い副被写体領域に副枠を表示するよう、画像処理回路２０に指示する。画像処理回路２０は、指示に応じて、ライブビュー表示用の画像データに重畳する指標を変更する。

図７（ｃ）は、Ｓ６０８におけるライブライブビュー表示の例を示す。新たな主被写体領域には指標９０１が表示されており、その左右方向に最も近い副被写体領域に副枠９０２、９０３が表示されている。また、指標９０１の左右には、左方向キーおよび右方向キーの操作により主被写体領域を切り替え可能であることを示す指標９１２および９３１が表示されている。

Ｓ６０９でシステム制御部５０は、主被写体領域の切り替え操作が終了したか否かを判定し、終了したと判定されればＳ６１５を、判定されなければＳ６０５を実行する。システム制御部５０は、例えば右方向キーおよび左方向キーが一定時間継続して操作されなかった場合に、主被写体領域の切り替え操作が終了したと判定することができる。あるいは、システム制御部５０は、例えば右方向キーおよび左方向キー以外の特定の入力デバイスの操作を検出した場合に、主被写体領域の切り替え操作が終了したと判定することができる。

方向キーの操作によって主被写体領域が変更されると、次に方向キーを操作した際に主被写体領域として設定される被写体領域に副枠が方向ごとに表示されるようになる。そのため、ユーザは、次に方向キーを操作した際にどの被写体領域が主被写体領域に設定されるかを、方向キーごとに把握することができる。また、新たな主被写体領域の選択が終了したと判定されると、主被写体領域以外に対する指標の表示を終了するため、指標の表示がその後の撮影を妨げることもない。

Ｓ６１０でシステム制御部５０は、操作部７０に含まれる被写体切り替えボタンが操作されたか否かを判定し、操作されたと判定されればＳ６１１を、判定されなければＳ６１５を実行する。被写体切り替えボタンは、操作されるごとに前記追尾対象の特徴領域を切り替える操作部材である。

Ｓ６１１でシステム制御部５０は、画像処理回路２０によって副被写体領域が検出されているか否かを判定し、検出されていると判定されればＳ６１２を、判定されなければＳ６１５を実行する。

Ｓ６１２でシステム制御部５０は、最も優先度が高い副被写体領域を新たな主被写体領域として設定する。
Ｓ６１３でシステム制御部５０は、新たな主被写体領域と、主被写体領域の変更後における副被写体領域のうち、最も優先度が高い副被写体領域に指標を表示するよう画像処理回路に指示したのち、Ｓ６１０を実行する。画像処理回路２０は、新たな主被写体領域と、最も優先度が高い副被写体領域とに指標を重畳したライブライブビュー表示用の画像データを生成する。

被写体切り替えボタンが操作されるごとに、その時点で最も優先度が高い副被写体領域が新たな主被写体領域に設定される。また、主被写体領域が変更されると、次に被写体切り替えボタンが操作された際に選択される、その時点で最も優先度が高い副被写体領域に副枠が表示される。そのため、ユーザは、次に被写体切り替えボタンを操作した際にどの被写体領域が主被写体領域に設定されるかを把握することができる。また、新たな主被写体領域の選択が終了したと判定されると、主被写体領域以外に対する指標の表示を終了するため、指標の表示がその後の撮影を妨げることもない。

このように、主被写体領域を変更するための操作が検出された場合、操作の種類に応じて被写体領域に対する指標の表示方法を異ならせることで、ユーザによる新たな主被写体領域の選択を適切に支援することが可能になる。また、主被写体領域の変更が完了したと判定される場合には、主被写体領域以外に対する指標の表示を終了するため、指標の表示がその後の撮影を妨げることもない。

以上説明したように、本実施形態によれば、被写体追尾機能を有する画像処理装置において、追尾処理が安定している場合には追尾対象の主被写体領域に対してのみ指標を表示する。そのため、多数の被写体領域が検出されている場合であっても、指標の表示が被写体の視認性を低下させるおそれがない。一方、近い将来、現在の主被写体領域に対する追尾処理に失敗する可能性が比較的高いと考えられる条件を満たす場合には、次に主被写体領域となる可能性が高い副被写体領域に対する指標の表示を追加するようにした。ユーザは副被写体領域への指標の表示が開始されたことにより、現在の主被写体領域に対する追尾処理が近い将来できなくなる可能性が高いと考えられる状況にあることと、次に主被写体領域となる可能性が高い被写体領域とをそれぞれ把握することができる。

さらに、ユーザの指示によって主被写体領域を切り替える場合、切り替えのための操作の種類に応じて副被写体領域への指標の表示方法を異ならせるようにした。具体的には、全ての被写体領域から１回の操作で１つの被写体領域を選択可能な操作（例えばタッチ操作）の場合には、全ての被写体領域に副枠を表示するようにした。そのため、ユーザは選択可能な被写体領域を容易に把握することが可能になる。また、現在の主被写体領域に隣接する副被写体領域の１つを操作に応じて選択する操作の場合には、副被写体領域のうち、操作によって選択可能なものだけに指標を表示するようにした。さらに、新たな主被写体領域を画像処理装置に自動選択させる操作の場合には、副被写体領域のうち、操作によって次に選択される１つだけに指標を表示するようにした。そのため、ユーザは操作によって選択可能な副被写体領域を適切に把握することができる。さらに、新たな主被写体領域の選択が終了したと判定されると、副被写体領域への指標の表示を終了することで、副被写体領域への指標の表示によって被写体の視認性を低下させることがない。

（その他の実施形態）
例えば図３のＳ３０８において副枠を表示したときにＳ３０９で主被写体処理を実行しているが、Ｓ３０８の判定に関わらずＳ３０９の主被写体処理を実行してもよい。
ライブビュー表示に対する指標の表示に関して説明したが、記録済みの動画データや外部からリアルタイムに入力される動画データに対する指標の表示についても同様に適用できる。

上述の実施形態において、複数種類の被写体領域を検出する場合、最も優先度の高い副被写体領域は、現在の主被写体領域と同じ種類の被写体領域から決定することができる。あるいは、被写体の種類は考慮せず、現在の主被写体領域以外の全ての被写体領域から最も優先度の高い副被写体領域を決定してもよい。また、最も優先度の高い副被写体領域の決定において、現在の主被写体領域の種類を考慮するか否かをユーザが選択できるようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の画像処理装置、撮像装置、画像処理方法、およびプログラムを含む。
（項目１）
時系列的に取得された複数の画像について、追尾対象の特徴領域の位置を検出する追尾手段と、
前記複数の画像のデータに基づいて、前記追尾対象の特徴領域を示す指標が重畳された表示用画像データを生成する生成手段と、を有し、
前記生成手段は、
前記追尾対象の特徴領域と他の特徴領域との重なり、前記追尾対象の特徴領域の位置または大きさの変化、前記追尾対象の特徴領域の向き、または前記複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、前記追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成し、前記条件を満たさない場合には、前記追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成する、ことを特徴とする画像処理装置。
（項目２）
前記予め定められた条件は、前記追尾対象の特徴領域が検出できなくなる可能性が高いと考えられる条件であることを特徴とする項目１に記載の画像処理装置。
（項目３）
前記予め定められた条件を満たす場合に前記指標が表示される前記特徴領域が、前記追尾対象の特徴領域の検出ができなくなった場合に新たな追尾対象の特徴領域となる可能性が最も高い特徴領域であることを特徴とする項目１または２に記載の画像処理装置。
（項目４）
前記予め定められた条件を満たす場合に前記指標が表示される前記特徴領域が、前記追尾対象の特徴領域と同じ種類の特徴領域のうち、前記追尾対象の特徴領域の検出ができなくなった場合に新たな追尾対象の特徴領域となる可能性が最も高い特徴領域であることを特徴とする項目１から３のいずれか１項に記載の画像処理装置。
（項目５）
前記画像から特徴領域を検出する検出手段と、
前記検出手段が検出した特徴領域から前記追尾対象の特徴領域を選択する選択手段と、
をさらに有することを特徴とする項目１から４のいずれか１項に記載の画像処理装置。
（項目６）
前記選択手段は、前記画像処理装置が有する操作手段に対する操作に応じて、前記検出手段が検出した特徴領域から前記追尾対象の特徴領域を選択することを特徴とする項目５に記載の画像処理装置。
（項目７）
前記操作手段としてのタッチディスプレイに対する操作が検出されると、前記生成手段は、前記検出手段が検出した特徴領域のうち、選択可能な全ての特徴領域について指標を重畳した表示用画像データを生成することを特徴とする項目６に記載の画像処理装置。
（項目８）
前記操作手段としてのタッチディスプレイに対する操作が検出されなくなると、
前記選択手段は前記操作が検出されなくなった位置に応じて前記追尾対象の特徴領域を選択し、
前記生成手段は、前記検出手段が検出した特徴領域のうち、前記選択手段が選択した特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することを特徴とする項目７に記載の画像処理装置。
（項目９）
それぞれが複数の方向の１つに対応した複数の操作部材の１つに対する操作が検出されると、前記選択手段は、前記検出手段が検出した特徴領域のうち、前記追尾対象の特徴領域から前記複数の操作部材の１つに対応する方向に最も近い特徴領域を前記追尾対象の特徴領域として選択することを特徴とする項目６に記載の画像処理装置。
（項目１０）
前記生成手段は、前記選択手段が選択した前記追尾対象の特徴領域から前記複数の方向に最も近い特徴領域について指標を重畳した表示用画像データを生成することを特徴とする項目９に記載の画像処理装置。
（項目１１）
操作されるごとに前記追尾対象の特徴領域を切り替える操作部材に対する操作が検出されると、前記選択手段は、前記検出手段が検出した特徴領域のうち、現在の追尾対象の特徴領域以外で最も優先度が高い特徴領域を前記追尾対象の特徴領域として選択することを特徴とする項目６に記載の画像処理装置。
（項目１２）
前記生成手段は、次に前記操作部材が操作された際に選択される特徴領域について指標を重畳した表示用画像データを生成することを特徴とする項目１１に記載の画像処理装置。
（項目１３）
前記生成手段は、前記操作部材の操作に応じた追尾対象の特徴領域の選択が終了したと判定されると、前記検出手段が検出した特徴領域のうち、前記選択手段が選択した特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することを特徴とする項目９から１２のいずれか１項に記載の画像処理装置。
（項目１４）
複数の画像を時系列的に撮影する撮影手段と、
前記撮影手段が撮影した前記複数の画像を用いる項目１から１３のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
（項目１５）
装置が実行する画像処理方法であって、
時系列的に取得された複数の画像について、追尾対象の特徴領域の位置を検出する追尾工程と、
前記複数の画像のデータに基づいて、前記追尾対象の特徴領域を示す指標が重畳された表示用画像データを生成する生成工程と、を有し、
前記生成工程は、
前記追尾対象の特徴領域と他の特徴領域との重なり、前記追尾対象の特徴領域の位置または大きさの変化、前記追尾対象の特徴領域の向き、または前記複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、前記追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成することと、
前記条件を満たさない場合には、前記追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することと、を有する
ことを特徴とする画像処理方法。
（項目１６）
コンピュータを、項目１から１３のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１０…レンズユニット、２０…画像処理回路、２８…画像表示部、５０…システム制御部、７０…操作部、１００…デジタルカメラ

Claims (17)

1. 時系列的に取得された複数の画像について、追尾対象の特徴領域の位置を検出する追尾手段と、
   前記複数の画像のデータに基づいて、前記追尾対象の特徴領域を示す指標が重畳された表示用画像データを生成する生成手段と、を有し、
   前記生成手段は、
   前記追尾対象の特徴領域と他の特徴領域との重なり、前記追尾対象の特徴領域の位置または大きさの変化、前記追尾対象の特徴領域の向き、または前記複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、前記追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成し、前記条件を満たさない場合には、前記追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成する、ことを特徴とする画像処理装置。
2. 前記予め定められた条件は、前記追尾対象の特徴領域が検出できなくなる可能性が高いと考えられる条件であることを特徴とする請求項１に記載の画像処理装置。
3. 前記予め定められた条件を満たす場合に前記指標が表示される前記特徴領域が、前記追尾対象の特徴領域の検出ができなくなった場合に新たな追尾対象の特徴領域となる可能性が最も高い特徴領域であることを特徴とする請求項１に記載の画像処理装置。
4. 前記予め定められた条件を満たす場合に前記指標が表示される前記特徴領域が、前記追尾対象の特徴領域と同じ種類の特徴領域のうち、前記追尾対象の特徴領域の検出ができなくなった場合に新たな追尾対象の特徴領域となる可能性が最も高い特徴領域であることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像から特徴領域を検出する検出手段と、
   前記検出手段が検出した特徴領域から前記追尾対象の特徴領域を選択する選択手段と、
   をさらに有することを特徴とする請求項１に記載の画像処理装置。
6. 前記選択手段は、前記画像処理装置が有する操作手段に対する操作に応じて、前記検出手段が検出した特徴領域から前記追尾対象の特徴領域を選択することを特徴とする請求項５に記載の画像処理装置。
7. 前記操作手段としてのタッチディスプレイに対する操作が検出されると、前記生成手段は、前記検出手段が検出した特徴領域のうち、選択可能な全ての特徴領域について指標を重畳した表示用画像データを生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記操作手段としてのタッチディスプレイに対する操作が検出されなくなると、
   前記選択手段は前記操作が検出されなくなった位置に応じて前記追尾対象の特徴領域を選択し、
   前記生成手段は、前記検出手段が検出した特徴領域のうち、前記選択手段が選択した特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することを特徴とする請求項７に記載の画像処理装置。
9. それぞれが複数の方向の１つに対応した複数の操作部材の１つに対する操作が検出されると、前記選択手段は、前記検出手段が検出した特徴領域のうち、前記追尾対象の特徴領域から前記複数の操作部材の１つに対応する方向に最も近い特徴領域を前記追尾対象の特徴領域として選択することを特徴とする請求項６に記載の画像処理装置。
10. 前記生成手段は、前記選択手段が選択した前記追尾対象の特徴領域から前記複数の方向に最も近い特徴領域について指標を重畳した表示用画像データを生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記複数の操作部材の操作に応じた追尾対象の特徴領域の選択が終了したと判定されると、前記検出手段が検出した特徴領域のうち、前記選択手段が選択した特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することを特徴とする請求項９に記載の画像処理装置。
12. 操作されるごとに前記追尾対象の特徴領域を切り替える操作部材に対する操作が検出されると、前記選択手段は、前記検出手段が検出した特徴領域のうち、現在の追尾対象の特徴領域以外で最も優先度が高い特徴領域を前記追尾対象の特徴領域として選択することを特徴とする請求項６に記載の画像処理装置。
13. 前記生成手段は、次に前記操作部材が操作された際に選択される特徴領域について指標を重畳した表示用画像データを生成することを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記操作部材の操作に応じた追尾対象の特徴領域の選択が終了したと判定されると、前記検出手段が検出した特徴領域のうち、前記選択手段が選択した特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することを特徴とする請求項１２に記載の画像処理装置。
15. 複数の画像を時系列的に撮影する撮影手段と、
    前記撮影手段が撮影した前記複数の画像を用いる請求項１から１４のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
16. 装置が実行する画像処理方法であって、
    時系列的に取得された複数の画像について、追尾対象の特徴領域の位置を検出する追尾工程と、
    前記複数の画像のデータに基づいて、前記追尾対象の特徴領域を示す指標が重畳された表示用画像データを生成する生成工程と、を有し、
    前記生成工程は、
    前記追尾対象の特徴領域と他の特徴領域との重なり、前記追尾対象の特徴領域の位置または大きさの変化、前記追尾対象の特徴領域の向き、または前記複数の画像を撮影した装置の動きが予め定められた条件を満たす場合には、前記追尾対象の特徴領域以外の特徴領域を示す指標がさらに重畳された表示用画像データを生成することと、
    前記条件を満たさない場合には、前記追尾対象の特徴領域以外の特徴領域には指標が重畳されない表示用画像データを生成することと、を有する
    ことを特徴とする画像処理方法。
17. コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images