JP2022131706A - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Abstract

【課題】所望の被写体の検出領域を処理の対象領域に設定することが可能な画像処理装置を提供する。
【解決手段】撮像装置は、撮像された画像から被写体の複数の部位を検出する（Ｓ３０１乃至Ｓ３０３）。撮像装置は被写体の検出領域に関連する領域を関連領域として設定し（Ｓ３０５）、画像中の任意領域を探索領域として設定する（Ｓ３０６）。探索領域が被写体の検出領域と関連領域のうち、少なくとも一方に重複している場合、関連領域が検出領域を包含していない領域であってもＡＦ（オートフォーカス）対象領域として設定され（Ｓ３０７）、ＡＦ対象領域の通知処理が実行される（Ｓ３０８）。
【選択図】 図３

Description

本発明は、撮像された画像に基づいて被写体の検出および設定を行う技術に関する。

撮像装置において撮像素子により取得した画像から被写体を検出し、オートフォーカス（ＡＦ）制御で被写体に焦点を合わせる技術がある。一方で、ユーザが画像中の任意の位置に焦点を合わせられるように補助するために、撮像された画像の一部に矩形枠（以下、ＡＦ固定枠とも称する）を表示し、ユーザの操作指示に応じて矩形枠領域に対する焦点合わせを行う技術がある。これら２つの技術を組み合わせて、被写体検出枠とＡＦ固定枠の両方を表示し、それぞれの枠の位置情報や領域情報に基づいて、どちらに焦点を合わせるかを決定することができる。その結果をユーザに通知することで、焦点合わせの対象とユーザの意思に沿った対象との一致率を向上させることが可能である。

特許文献１には被写体を的確に認識するための技術が開示されている。画像の状況または撮像モードに応じて、被写体枠よりも広い範囲のタッチ許容枠が設定され、ユーザによる画像上の指定位置が検出されると、タッチ許容枠と指定位置とに基づいて追尾対象となる被写体が認識される。

特開２０１２－１５８８９号公報

ところで、検出対象である被写体によっては、例えばそのサイズが小さい場合、または動きが速い場合、撮像装置を把持したユーザが被写体検出枠をＡＦ固定枠の範囲内に捉え続けることが困難になる。ユーザに所望の被写体をＡＦ対象としたいという意思があったとしても、被写体検出枠とＡＦ固定枠とが重複した状態を維持できず、所望の被写体をＡＦ対象に選びづらくなる可能性がある。本発明の目的は、所望の被写体の検出領域を処理の対象領域に設定することが可能な画像処理装置を提供することである。

本発明の一実施形態の画像処理装置は、撮像された画像を処理する画像処理装置であって、前記画像から被写体の検出を行い、第１および第２の検出領域を取得する検出手段と、前記第１の検出領域を前記第２の検出領域に関連する関連領域として設定する関連領域設定手段と、前記画像にて被写体に係る探索領域を設定する探索領域設定手段と、前記画像の任意の領域を処理の対象領域に設定する対象設定手段と、を備え、前記対象設定手段は、前記探索領域と、前記第２の検出領域または前記関連領域とが重複する場合、前記第２の検出領域を前記対象領域に設定することを特徴とする。

本発明の画像処理装置によれば、所望の被写体の検出領域を処理の対象領域に設定することが可能である。

本実施形態の撮像装置の構成例を示す図である。 本実施形態における人物検出部の構成を示すブロック図である。 本実施形態における動作を説明するフローチャートである。 関連領域設定処理のフローチャートである。 ＡＦ対象領域設定処理のフローチャートである。 表示画面例を示す模式図である。

以下に本発明の実施形態について、図面を参照して詳細に説明する。画像処理装置を適用した装置として、画像内の人物の瞳、頭部、胴体を検出し、検出された被写体ごとに関連領域を設定するとともに探索領域およびＡＦ対象領域を設定し、ＡＦ対象領域をユーザに通知する撮像装置の例を示す。

例えば、被写体検出枠とＡＦ固定枠のうち、どちらの枠に対応する領域をＡＦ対象領域とするかを決定する処理において、被写体検出枠とＡＦ固定枠とが重複しているかどうかを判定することができる。被写体検出枠とＡＦ固定枠とが重複している場合、被写体検出枠がＡＦ対象領域として設定され、重複していない場合にはＡＦ固定枠がＡＦ対象領域として設定される。

被写体のサイズが小さい場合や動きが速い場合に被写体をＡＦ対象に選びづらいという課題に対し、被写体をＡＦ対象として選びやすくする対策として、被写体検出枠を大きくする方法がある。また、被写体検出枠とＡＦ固定枠との重複の判定範囲を広げる方法がある。しかしながら、サイズが小さい被写体や動きの速い被写体に対して、ユーザが被写体付近を捉え続けなければならない点は変わっていない。また、被写体検出枠や重複の判定範囲を広げすぎた場合には弊害が発生しうる。範囲を必要以上に広げることは、被写体検出されていない領域をユーザがＡＦ対象領域として設定することを妨げる要因となる。そこで以下の実施形態では、ユーザがＡＦ固定枠中に被写体検出枠を捉え続けることが困難な被写体に対して、ＡＦ対象として設定しやすくする方法について説明する。

図１は本実施形態に係る撮像装置の構成例を示す図である。瞳ＡＦ機能を搭載したミラーレスカメラの構成例を示す。交換レンズ１００は、撮像装置の本体部１２０に装着可能な光学機器のうちの一つである。交換レンズ１００の撮影レンズユニット１０１は、主撮像光学系１０２、光量調節を行う絞り１０３、および焦点調節を行うフォーカスレンズ群１０４を備える。

レンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１１は、交換レンズ１００の制御を行う。絞り制御部１１２は絞り１０３の動作を制御し、フォーカスレンズ制御部１１３はフォーカスレンズ群１０４の動作を制御する。例えばフォーカスレンズ制御部１１３は、本体部１２０から取得したフォーカスレンズ駆動情報に基づいてフォーカスレンズ群１０４を撮影レンズユニット１０１の光軸方向に駆動させることで、撮像光学系の焦点調節制御を行う。なお、フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していてもよい。図１では図示の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であってもよい。その場合、レンズ制御部１１１はズームレンズ位置を検出するエンコーダ出力から焦点距離情報を取得する。また、手振れ補正機能を有する交換レンズの場合、レンズ制御部１１１は像ブレ補正用のシフトレンズ群の制御を行う。

本体部１２０は、露出制御に用いるシャッター１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。撮像素子１２２の出力する撮像信号は、アナログ信号処理回路１２３で処理された後、カメラ信号処理回路１２４に送信される。カメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３１は、撮像装置全体を制御する。例えば、カメラ制御部１３１は不図示のシャッター駆動用のモータを制御し、シャッター１２１の駆動制御を行う。

メモリカード１２５は撮影された画像のデータ等を記録する記録媒体である。カメラ制御部１３１は、撮影者によって操作されるレリーズスイッチ１８１の押下状態に基づいて撮像画像のデータをメモリカード１２５に記録する処理を行う。

画像表示部１７１は液晶パネル（ＬＣＤ）等の表示デバイスを備える。画像表示部１７１は、撮影者がカメラで撮影しようとしている被写体の画像のモニタ表示や、撮影した画像の表示を行う。タッチパネル１７２は撮影者が指やタッチペン等により画像表示部１７１における座標を指定する際に使用する操作部であり、画像表示部１７１と一体的に構成することができる。例えば、タッチパネル１７２を、光の透過率が画像表示部１７１の表示を妨げないように構成し、画像表示部１７１の表示面の内部に組み込む内蔵型（インセル型）のデバイスがある。タッチパネル１７２上の入力座標と、画像表示部１７１上の表示座標とが対応付けられる。これにより、あたかもユーザが画像表示部１７１に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。タッチパネル１７２への操作状態はカメラ制御部１３１によって管理される。

本体部１２０は、交換レンズ１００とのマウント面に、交換レンズ１００と通信を行うための通信端子であるマウント接点部１６１を備える。一方、交換レンズ１００は、本体部１２０とのマウント面に、本体部１２０と通信を行うための通信端子であるマウント接点部１１４を備える。

レンズ制御部１１１とカメラ制御部１３１は、マウント接点部１１４，１６１を介して所定のタイミングでシリアル通信を行うことができる。この通信により、カメラ制御部１３１からレンズ制御部１１１にフォーカスレンズ駆動情報、絞り駆動情報等が送られ、またレンズ制御部１１１からカメラ制御部１３１へ焦点距離等の光学情報が送られる。

カメラ信号処理回路１２４はアナログ信号処理回路１２３からの信号を取得して信号処理を行う。カメラ信号処理回路１２４は人物検出部１４１を備える。人物検出部１４１は画像から人物の複数の部位を検出して検出情報を出力する。人物検出部１４１の詳細については図２にて説明する。人物検出部１４１による人物検出結果はカメラ制御部１３１に送られる。

カメラ制御部１３１は探索領域設定部１５０、関連領域設定部１５１、表示枠設定部１５２、ＡＦ対象設定部１５３、焦点検出部１５４を有する。各部はカメラ制御部１３１が備えるＣＰＵ（中央演算処理装置）がプログラムを実行することにより実現される。

探索領域設定部１５０は、画像表示部１７１に表示されているＡＦ固定枠やタッチパネル１７２がタッチ操作された際の座標から探索領域を設定する。画像内の任意の領域を探索領域として設定することが可能である。関連領域設定部１５１は、人物検出部１４１から取得された検出結果に含まれる各被写体に対し、関連領域を設定する。

表示枠設定部１５２は、画像表示部１７１に対し、ＡＦ固定枠と被写体検出枠、およびＡＦ対象領域の情報を表示させるための設定を行う。ＡＦ対象設定部１５３は、設定された領域をＡＦ対象領域として焦点検出部１５４に通知する処理を行う。

焦点検出部１５４は、ＡＦ対象設定部１５３によって通知された、焦点合わせの対象被写体に対応する画像信号に基づいて焦点検出処理を行う。焦点検出処理は位相差検出式やコントラスト検出式等で実行される。位相差検出式の場合、視差を有する一対の像信号の相関演算により像ずれ量が算出される。像ずれ量から更にデフォーカス量に変換する処理が行われる。デフォーカス量は、交換レンズ１００のレンズ駆動時の敏感度等を考慮することで、さらにフォーカスレンズ駆動量へと変換することができる。またコントラスト検出式の場合には、取得された画像のコントラスト評価情報に基づいて合焦位置を検出することができる。

カメラ制御部１３１は、焦点検出部１５４によって取得された焦点検出結果（像ずれ量またはデフォーカス量）、あるいは焦点検出結果に基づいて算出されたフォーカスレンズ駆動量等の駆動情報をレンズ制御部１１１に送信する。フォーカスレンズ制御部１１３は、カメラ制御部１３１から受信したフォーカスレンズ駆動情報に基づいて、フォーカスレンズの駆動制御を行う。換言すると、カメラ制御部１３１がフォーカスレンズ制御部１１３を介してフォーカスレンズの駆動制御を行う。

図２は人物検出部１４１の構成例を示すブロック図である。人物検出部１４１は頭部検出部２０１、瞳検出部２０２、胴体検出部２０３を有する。

頭部検出部２０１は、撮像された画像から人物の頭部領域を検出する。頭部検出には特徴的なエッジやパターンを検出した結果による方法や、顔領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。

瞳検出部２０２は、頭部検出部２０１の出力した頭部領域に基づき、撮像された画像から瞳領域を検出する。瞳検出にはパターンマッチングによる方法や、瞳領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。

胴体検出部２０３は、撮像された画像から胴体領域を検出する。胴体領域は人体の首から下、腰から上の胴体部分を含み、腕部を含まない矩形領域である。頭部検出部２０１、瞳検出部２０２と同様、胴体検出にはパターンマッチングによる方法や、胴体領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。

図３乃至図５を参照して、被写体検出からＡＦ対象通知までの動作について説明する。図３は、人物検出部１４１が人物を検出してから、カメラ制御部１３１がＡＦ対象をユーザに通知するまでの全体の動作を説明するフローチャートである。図４は、図３中において関連領域設定部１５１が行う関連領域設定処理を説明するフローチャートである。図５は、図３中においてＡＦ対象設定部１５３が行うＡＦ対象領域設定処理を説明するフローチャートである。

まず、図３のＳ３０１で頭部検出部２０１は、撮像された画像から頭部検出を行い、Ｓ３０２の処理に進む。Ｓ３０２で瞳検出部２０２は、撮像された画像とＳ３０１で取得された頭部検出結果を用いて瞳検出を行う。このとき、Ｓ３０１で取得された頭部検出結果が１つも無かった場合、瞳検出は行われず、Ｓ３０３の処理に進む。

Ｓ３０２の次にＳ３０３で胴体検出部２０３は、撮像された画像から胴体検出を行い、Ｓ３０４の処理に進む。Ｓ３０４で人物検出部１４１はＳ３０１、Ｓ３０２、およびＳ３０３で得られた各検出結果をまとめて人物検出結果とする。人物検出結果の情報はカメラ制御部１３１へ送られる。なお、Ｓ３０１、Ｓ３０２、およびＳ３０３の検出において、いずれも検出結果が得られなかった場合には、空の人物検出結果の情報がカメラ制御部１３１へ送られる。Ｓ３０４の次にＳ３０５の処理に進む。

Ｓ３０５で関連領域設定部１５１は、人物検出結果に含まれる各検出被写体に対して関連領域を設定する。関連領域設定処理の詳細については後述する。次のＳ３０６で探索領域設定部１５０は、画像表示部１７１に表示されているＡＦ固定枠に基づいた探索領域を設定する。ＡＦ固定枠は、その位置と範囲がユーザの行った設定により定められる。表示枠設定部１５２によってＡＦ固定枠が画像表示部１７１に通知され、画像表示部１７１は撮像された画像にＡＦ固定枠を重畳して表示する。

Ｓ３０７でＡＦ対象設定部１５３は、ＡＦ対象領域を設定する。ＡＦ対象領域の設定処理の詳細については後述する。その後、Ｓ３０８で表示枠設定部１５２は、ＡＦ対象領域情報を画像表示部１７１に通知する。

図４を参照して、図３のＳ３０５（関連領域設定処理）の処理内容を詳細に説明する。Ｓ４０１で関連領域設定部１５１は、人物検出結果に頭部検出結果があるか否かを判断する。頭部検出結果があると判断された場合、Ｓ４０２の処理に進み、頭部検出結果が無いと判断された場合には関連領域設定処理を終了する。

Ｓ４０２で関連領域設定部１５１は、人物検出結果に瞳検出結果があるか否かを判断する。瞳検出結果があると判断された場合、Ｓ４０３の処理に進み、瞳検出結果が無いと判断された場合にはＳ４０４の処理に進む。

Ｓ４０３で関連領域設定部１５１は、頭部検出領域を瞳検出結果の関連領域として設定し、Ｓ４０４の処理に進む。Ｓ４０４で関連領域設定部１５１は、人物検出結果に胴体検出結果があるか否かを判断する。胴体検出結果があると判断された場合、Ｓ４０５の処理に進み、胴体検出結果が無いと判断された場合には関連領域設定処理を終了する。

Ｓ４０５で関連領域設定部１５１は、胴体検出領域を頭部検出結果の関連領域として設定し、Ｓ４０６の処理に進む。Ｓ４０６で関連領域設定部１５１は、人物検出結果に瞳検出結果があるか否かを判断する。瞳検出結果があると判断された場合、Ｓ４０７の処理に進み、瞳検出結果が無いと判断された場合には関連領域設定処理を終了する。なお、Ｓ４０２での判断結果を示す情報を人物検出部１４１が保持しておき、当該情報をその後のＳ４０６の処理で用いてもよい。

Ｓ４０７で関連領域設定部１５１は、胴体検出領域を瞳の関連領域に追加し、関連領域設定処理を終了する。

図５を参照して、図３のＳ３０７（ＡＦ対象領域設定処理）の処理内容を詳細に説明する。Ｓ５０１でＡＦ対象設定部１５３は、人物検出結果に瞳検出結果があるか否かを判断する。瞳検出結果があると判断された場合、Ｓ５０２の処理に進み、瞳検出結果が無いと判断された場合にはＳ５０３の処理に進む。

Ｓ５０２でＡＦ対象設定部１５３は、瞳を、ＡＦ対象領域設定処理内における検出対象領域（以下、単に検出対象領域とも称する）に設定し、Ｓ５０５に進む。Ｓ５０３でＡＦ対象設定部１５３は、人物検出結果に頭部検出結果があるか否かを判断する。頭部検出結果があると判断された場合、Ｓ５０４の処理に進み、頭部検出結果が無いと判断された場合にはＳ５０５の処理に進む。

Ｓ５０４でＡＦ対象設定部１５３は、頭部を検出対象領域に設定し、Ｓ５０５の処理に進む。Ｓ５０５でＡＦ対象設定部１５３は、図３のＳ３０６にて探索領域設定部１５０が設定した探索領域の情報を取得する。

Ｓ５０６でＡＦ対象設定部１５３は、探索領域と検出対象領域とが重複しているか否かを判断する。探索領域と検出対象領域とが重複していると判断された場合、Ｓ５０７の処理に進み、探索領域と検出対象領域とが重複していないと判断された場合にはＳ５０８の処理に進む。ただし、これまでの処理で検出対象領域が設定されていない場合には、探索領域と検出対象領域とが重複していないと判断され、Ｓ５０８の処理に進む。

Ｓ５０７でＡＦ対象設定部１５３は、検出対象領域をＡＦ対象領域として設定し、ＡＦ対象領域設定処理を終了する。また、Ｓ５０８でＡＦ対象設定部１５３は、探索領域と、検出対象領域として設定されている検出対象の関連領域とが重複しているか否かを判断する。探索領域と検出対象の関連領域とが重複していると判断された場合、Ｓ５０７の処理に移行し、重複していないと判断された場合にはＳ５０９の処理に進む。ただし、これまでの処理で検出対象領域が設定されていないか、または検出対象に関連領域が設定されていない場合には、探索領域と検出対象の関連領域とが重複していないと判断され、Ｓ５０９の処理に進む。

Ｓ５０９でＡＦ対象設定部１５３は、探索領域をＡＦ対象領域として設定し、ＡＦ対象領域設定処理を終了する。

図６を参照して、表示例を説明する。図６（Ａ）は被写体である人物の上半身の撮影時の表示画面例６００を示す模式図である。図６（Ｂ）は被写体である人物の頭部の撮影時の表示画面例６１０を示す模式図である。

図６（Ａ）にて、表示枠６０１は被写体の探索領域に基づく枠（ＡＦ枠や追尾枠等）である。被写体人物の胴体検出領域６０２は、被写体人物の頭部検出領域６０３に関連する関連領域である。胴体検出領域６０２が非表示領域であることを点線で図示している。胴体検出領域６０２は頭部検出領域６０３を包含していない関連領域として設定されている。この場合、表示枠６０１と被写体人物の頭部検出領域６０３とは画面上で重複していない。よって図５のＳ５０６からＳ５０８の処理へ進む。表示枠６０１と胴体検出領域６０２とが画面上で重複しているので、図５のＳ５０８からＳ５０７の処理へ進む。頭部検出領域６０３がＡＦ対象領域として設定され、頭部検出領域６０３に対応する枠が画面上に表示される。

図６（Ｂ）にて、表示枠６１１は被写体の探索領域に基づく枠（ＡＦ枠や追尾枠等）である。被写体人物の頭部検出領域６１２は、被写体人物の瞳検出領域６１３に関連する関連領域である。頭部検出領域６１２が非表示領域であることを点線で図示している。この場合、表示枠６１１と被写体人物の瞳検出領域６１３とは画面上で重複していない。よって図５のＳ５０６からＳ５０８の処理へ進む。表示枠６１１と頭部検出領域６１２とが画面上で重複しているので、図５のＳ５０８からＳ５０７の処理へ進む。瞳検出領域６１３がＡＦ対象領域として設定され、瞳検出領域６１３に対応する枠が画面上に表示される。

従来の技術では、表示枠内に被写体の一部が検出された場合、表示枠と検出対象領域とが重複していないかぎり、検出対象領域をＡＦ対象領域として選択することができない。例えばＡＦ固定枠内に被写体の一部が捉えられていても被写体検出枠を捉えていないと被写体をＡＦ対象とすることができない。これに対し、本実施形態では、検出される被写体ごとに各部位（全体含む）に優先順位（上位下位）が設定されている。いずれかの領域がＡＦ対象領域として設定される操作が行われた場合、その時点で検出されている最上位の被写体部位にＡＦ対象領域の設定がなされる。すなわち、表示枠内に被写体の一部が検出された場合、表示枠と検出対象領域の関連領域とが重複していれば、検出対象領域をＡＦ対象領域として選択することができる。つまり、画像から被写体の検出領域を取得してその関連領域を設定し、探索領域と検出領域または関連領域との重複を判断して処理の対象領域を設定することが可能である。よってユーザは所望の被写体を容易に指定することができる。

本実施形態では、検出対象が瞳または頭部である場合、胴体領域が関連領域として設定されてＡＦ対象領域設定処理で用いられる。胴体領域は首から上を含まない範囲であるので、瞳や頭部よりも検出領域が広く、また瞳や頭部に比べ被写体の動きがゆるやかである。さらに、胴体領域は検出対象である瞳や頭部を包含していないので、検出対象が激しく動いている状態でも胴体領域は影響を受けづらい。よって、撮像装置を把持するユーザはＡＦ固定枠の領域内に被写体を捉えることが容易になる。

また、被写体が瞳や頭部等のように検出領域サイズが小さく、動きの速くなりがちな部位であっても、ＡＦ固定枠を胴体周辺に近づければＡＦ対象として選択できるようになる。よって、ユーザが狙った被写体をＡＦ対象として選びづらくなるという課題への対策を講じることができる。さらには、同一の人物の部位が関連領域として設定されるため、ユーザが人物ではない別の領域をＡＦ対象としたい時の動作を妨げることはない。

また、図３乃至図５を用いて説明したアルゴリズムに基づく処理では、ユーザがＡＦ固定枠を被写体に近づけてＡＦ対象を選択するまでの動作が行われる。その後の動作ではさらにユーザ操作によりＡＦ対象を確定する処理が行われる。ＡＦ対象の確定が行われるとＡＦ対象となる被写体が固定される（以下、固定されたＡＦ対象の被写体を固定ＡＦ対象とも称する）。固定ＡＦ対象とは別の被写体はＡＦ対象に選択されなくなる。ＡＦ対象の確定はユーザにより解除されるか、または撮像装置が該当する被写体を見失うまで継続される。

ＡＦ対象の確定処理は、ユーザがレリーズスイッチ１８１を押下するか、またはタッチパネル１７２へのタッチ操作を行うことにより発動する。どちらの方法で処理が開始されかによって、ＡＦ対象として固定される被写体は異なる。例えば、レリーズスイッチ１８１の押下によるＡＦ対象の確定処理では、あらかじめ設定されているＡＦ対象領域が固定ＡＦ対象として確定する。一方で、タッチパネル１７２へのタッチ操作によるＡＦ対象の確定処理では、タッチ操作で指定された座標に基づいて固定ＡＦ対象が決定される。タッチ操作で指定された座標が検出対象領域内または検出対象の関連領域内に含まれていた場合、検出対象領域が固定ＡＦ対象の領域として確定される。またタッチ操作で指定された座標が検出対象領域内または検出対象の関連領域内に含まれていない場合、タッチ操作で指定された座標の周辺で顕著度の近い領域が固定ＡＦ対象の領域として確定される。顕著度とは、画素ごとの色や輝度、深度がどれほど近いかを示す指標である。深度は画像の奥行き方向を表す情報であり、視点の異なる複数の画像の像ずれ量の分布やデフォーカス量の分布、距離画像や距離マップ等の情報から公知の方法で取得可能である。なお例外として、検出対象が人物の瞳または顔であり、かつ関連領域が人物の胴体領域であるときに、タッチ操作で指定された座標が人物の胴体領域内の場合がある。この場合のみ、検出対象領域ではなくタッチ位置周辺での顕著度の近い領域が固定ＡＦ対象の領域として確定される。

前記実施形態によれば、撮像画像内の被写体の検出対象領域に関連する関連領域を設定し、ＡＦ固定枠の領域と、検出対象領域またはその関連領域とが重複している場合、当該検出対象領域をＡＦ対象領域として設定することが可能である。

［その他の実施形態］
以上、本発明の実施形態を詳述したが、本発明は特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明の技術的範囲に含まれる。例えば、被写体は人物でなくともよく、犬、猫といった動物、または無生物でもよく、特定の種別に限定されない。

前記実施形態では瞳領域に対して頭部領域と胴体領域の２つの領域を関連領域として設定される例を示したが、検出対象と関連領域とが１対１対応でなくともよい。また、胴体に対しては関連領域が無い場合のように、関連領域を持たない検出対象があってもよい。

また、前記実施形態では検出被写体に対し、同一の人物の部位の検出結果を関連領域として使用する例を示した。これに限らず、検出被写体と関連領域とは別種の被写体であってもよい。例えば、人物と装飾品等であってもよい。被写体人物が装飾品等を身に着けている場合、探索領域と関連領域である装飾品等の検出領域とが重複する場合に被写体人物に対応する検出領域をＡＦ対象領域として設定することが可能である。

前記実施形態のように、関連領域の設定に検出結果を用いることは一例であり、検出結果を用いなくともよい。例えば、検出対象領域に対し、ある位置関係にある固定範囲の領域や、色情報や深度情報が近い範囲を算出することで取得される領域を関連領域に設定してもよい。またはマシンラーニングによって検出対象の関連領域を算出するべく学習されたアルゴリズムによって取得される領域等を関連領域に設定することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２２ 撮像素子
１２４ カメラ信号処理回路
１３１ カメラ制御部
１４１ 人物検出部
１５０ 探索領域設定部
１５１ 関連領域設定部
１５２ 表示枠設定部
１５３ ＡＦ対象設定部
１５４ 焦点検出部
１７１ 画像表示部

Claims (12)

1. 撮像された画像を処理する画像処理装置であって、
   前記画像から被写体の検出を行い、第１および第２の検出領域を取得する検出手段と、
   前記第１の検出領域を前記第２の検出領域に関連する関連領域として設定する関連領域設定手段と、
   前記画像にて被写体に係る探索領域を設定する探索領域設定手段と、
   前記画像の任意の領域を処理の対象領域に設定する対象設定手段と、を備え、
   前記対象設定手段は、前記探索領域と、前記第２の検出領域または前記関連領域とが重複する場合、前記第２の検出領域を前記対象領域に設定する
   ことを特徴とする画像処理装置。
2. 前記関連領域設定手段は、前記第２の検出領域を包含していない領域を前記関連領域として設定し、
   前記対象設定手段は、設定した前記対象領域を通知する処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記対象設定手段は、前記探索領域と前記第２の検出領域とが重複しておらず、かつ前記探索領域と前記関連領域とが重複していない場合、前記探索領域を前記対象領域に設定する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第１の検出領域は、被写体の第１の部位に対応する領域であり、
   前記第２の検出領域は、前記被写体の第２の部位に対応する領域である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記検出手段は第１および第２の被写体を検出し、
   前記第１の検出領域は、前記第１の被写体に対応する領域であり、
   前記第２の検出領域は、前記第２の被写体に対応する領域である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記対象設定手段は、設定した前記対象領域を通知している場合、前記関連領域の通知を行わない
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記探索領域に対応する表示枠および前記対象領域に対応する表示枠を表示する表示手段を備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   撮像光学系を介して被写体を撮像する撮像手段と、
   撮像された画像を表示する表示手段と、を備える
   ことを特徴とする撮像装置。
9. 前記対象設定手段は、決定した前記対象領域を、前記撮像光学系の焦点調節制御の対象領域として前記表示手段によって通知する処理を行う
   ことを特徴とする請求項８に記載の撮像装置。
10. 画像内の被写体を指定する指定手段を備え、
    前記対象設定手段は、前記指定手段により指定された前記画像内の位置が前記対象領域内または前記関連領域内であるか否かを判断して前記対象領域を確定する処理を行う
    ことを特徴とする請求項９に記載の撮像装置。
11. 撮像された画像を処理する画像処理装置にて実行される制御方法であって、
    前記画像から被写体の検出を行い、第１および第２の検出領域を取得する工程と、
    前記第１の検出領域を前記第２の検出領域に関連する関連領域として設定する関連領域設定工程と、
    前記画像にて被写体に係る探索領域を設定する探索領域設定工程と、
    前記画像の任意の領域を処理の対象領域に設定する対象領域設定工程と、を有し、
    前記対象領域設定工程では、前記探索領域と、前記第２の検出領域または前記関連領域とが重複する場合、前記第２の検出領域を前記対象領域に設定する処理が行われる
    ことを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の各工程を画像処理装置のコンピュータに実行させる
    ことを特徴とするプログラム。
    
    

Images