JP2023071422A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】被写体間の重なり具合を判定すること。【解決手段】画像処理装置は、被写体を含む画像データから第１被写体を抽出する抽出部と、前記画像データ内の複数位置における奥行き情報を検出する検出部と、前記奥行き情報を検出した、前記第１被写体と重なる所定位置と前記第１被写体の周辺の所定位置のそれぞれの位置における前記奥行き情報、及び、前記それぞれの位置の接近度合いに基づいて、前記第１被写体と他の被写体との重なり状態を判定する判定部と、を備える。【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

下記特許文献１の撮像装置は、集合写真を撮影する撮像装置を開示する。

特開２００６－１４０６９５号公報

第１開示技術の画像処理装置は、被写体を含む画像データから第１被写体を抽出する抽出部と、前記画像データ内の複数位置における奥行き情報を検出する検出部と、前記奥行き情報を検出した、前記第１被写体と重なる所定位置と前記第１被写体の周辺の所定位置のそれぞれの位置における前記奥行き情報、及び、前記それぞれの位置の接近度合いに基づいて、前記第１被写体と他の被写体との重なり状態を判定する判定部と、を備える。

第２開示技術の画像処理装置は、被写体を含む画像データに関する顕著性マップ及び奥行き情報に基づいて、第１被写体及び第２被写体を抽出する抽出部と、前記第１被写体と前記第２被写体に関する奥行き情報、及び、前記第１被写体と前記第２被写体の接近度合いに基づいて、前記第１被写体と前記第２被写体との重なり状態を判定する判定部と、を備える。

第３開示技術の画像処理方法は、画像処理装置が、被写体を含む画像データから第１被写体を抽出する抽出処理と、前記画像データ内の複数位置における奥行き情報を検出する検出処理と、前記奥行き情報を検出した、前記第１被写体と重なる所定位置と前記第１被写体の周辺の所定位置のそれぞれの位置における前記奥行き情報、及び、前記それぞれの位置の接近度合いに基づいて、前記第１被写体と他の被写体との重なり状態を判定する判定処理と、を実行する。

第４開示技術の画像処理方法は、画像処理装置が、被写体を含む画像データに関する顕著性マップ及び奥行き情報に基づいて、第１被写体及び第２被写体を抽出する抽出処理と、前記第１被写体と前記第２被写体に関する奥行き情報、及び、前記第１被写体と前記第２被写体の接近度合いに基づいて、前記第１被写体と前記第２被写体との重なり状態を判定する判定処理と、を実行する。

図１は、実施例１にかかる撮像装置のハードウェア構成例を示すブロック図である。 図２は、実施例１にかかる画像処理装置の機能的構成例を示すブロック図である。 図３は、実施例１にかかる画像処理装置による画像処理手順例を示すフローチャートである。 図４は、撮影部によって取得された画像データの一例を示す説明図である。 図５は、図４に示した画像データから得られたデプスマップの一例を示す説明図である。 図６は、デフォーカス値プロットグラフの一例を示す説明図である。 図７は、顕著性マップの一例を示す説明図である。 図８は、ＡＦ測距点を用いた接近度合い判定例を示す説明図である。 図９は、スコア算出例１を示す説明図である。 図１０は、スコア算出例２を示す説明図である。 図１１は、出力部によるスコアの表示例を示す説明図である。 図１２は、実施例２にかかる画像処理装置の機能的構成例を示すブロック図である。 図１３は、実施例２にかかる画像処理装置による画像処理手順例を示すフローチャートである。 図１４は、被写体の分割例を示す説明図である。 図１５は、手前被り発生例を示す説明図である。 図１６は、手前被り改善例を示す説明図である。 図１７は、判定部による連射速度の変更例を示す説明図である。

実施例１は、主要被写体に隣接し、かつ、主要被写体よりも手前にピントが合う（いわゆる、前ピン）被写体を手前被り被写体と判定して、主要被写体の推薦度を示すスコアを算出する例である。

＜撮像装置のハードウェア構成例＞
図１は、実施例１にかかる撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、静止画または動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御したりする。

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサ１０９は、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサ、深度センサなどがある。ＡＦセンサは、たとえば再結像位相差方式のＡＦセンサである。また、ＡＦセンサを像面位相差検出式のＡＦセンサとすることもでき、プロセッサ等（図示しない）での処理により焦点検出を可能とする。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、ネットワークと接続し、データを送受信する。

なお、プロセッサ１０１、記憶デバイス１０２、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、通信ＩＦ１１１、およびバス１１２を、画像処理部１３０と称す。また、撮像装置１００から撮像部１２０を除いた画像処理部１３０からなる装置を、画像処理装置と称す。

＜画像処理装置の機能的構成例＞
図２は、実施例１にかかる画像処理装置の機能的構成例を示すブロック図である。図３は、実施例１にかかる画像処理装置による画像処理手順例を示すフローチャートである。画像処理装置２００は、たとえば、図１に示した画像処理部１３０により構成され、取得部２０１と、抽出部２０２と、検出部２０３と、判定部２０４と、算出部２０５と、出力部２０６と、を有する。取得部２０１、抽出部２０２、検出部２０３、判定部２０４、算出部２０５、および出力部２０６は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。

図３において、画像処理装置２００は、取得部２０１による画像データの取得（ステップＳ３０１）、抽出部２０２による被写体抽出（ステップＳ３０２）、検出部２０３による奥行き情報の検出（ステップＳ３０３）、判定部２０４による重なり状態の判定（ステップＳ３０４）、算出部２０５によるスコアの算出（ステップＳ３０５）、および出力部２０６による結果出力（ステップＳ３０６）を実行する。

図２に戻り、取得部２０１は、被写体を含む画像データを取得する。具体的には、たとえば、取得部２０１は、被写体を含む画像データを、撮像部１２０による静止画の撮影により取得したり、撮影前のスルー画として取得したり、または、記憶デバイス１０２から取得したりする。なお、画像データに含まれ被写体は１つであっても複数であってもよい。また、取得部２０１は、センサ１０９の一例である深度センサにより、スルー画である画像データのデプスマップを取得する。取得したデプスマップは、画像データに関連付けて記憶デバイス１０２に格納される。

また、取得部２０１は、取得した画像データにおいて顔検出を実行し、検出された顔画像の数および画像データ内の位置や顔の表情を含む顔検出情報を画像データから取得してもよい。取得した顔検出情報は、画像データに関連付けて記憶デバイス１０２に格納される。

図４は、撮像部１２０によって取得された画像データの一例を示す説明図である。図４は、表示デバイス１１０に表示された画像データ４００を示している。なお、表示デバイス１１０の画面中央にある１０５個の矩形は、ＡＦ測距点４１０である。画像データ４００は、人物を示す被写体４０１～４０３を含む。取得部２０１は、画像データ４００が撮像された場合、ＡＦ測距点４１０をフォーカス情報として記憶デバイス１０２に格納する。

図５は、デフォーカス値プロットグラフの一例を示す説明図である。デフォーカス値プロットグラフ５００は、ＡＦ測距点４１０ごとにデフォーカス値をプロットしたグラフでありデフォーカスマップの一例である。横軸がＡＦ測距点４１０を一意に特定するＡＦ測距点番号であり、縦軸がデフォーカス値である。プロット５０１は、被写体４０１のデフォーカス値をあらわし、プロット５０２とプロット５０３は、それぞれ被写体４０２と被写体４０３のデフォーカス値をあらわす。プロット５０２とプロット５０３は、デフォーカス値がマイナスであることから、被写体４０２と被写体４０３は、被写体４０１に対して手前側に位置していることが分かる。

図６は、図４に示した画像データ４００から得られたデプスマップの一例を示す説明図である。図５では、説明の便宜上、矩形で示した複数の画素領域６１０の集合である画素領域群において、被写体４０１～４０３および背景を濃淡でデプスマップ６００を示しているが、デプスマップ６００は、各画素領域６１０の深度値（濃いほど浅く、薄いほど深い）により構成される。画素領域６１０は、１以上の画素の集合である。深度値は、たとえば、深度センサの前方の対物レンズまたはセンサ面から人物までの距離である。

なお、図６をデプスマップ６００として説明したが、取得部２０１は、画像データ４００からデフォーカスマップを取得してもよい。デフォーカスマップの場合、ＡＦ測距点４１０ごとのデフォーカス値を示すマップとなる。取得部２０１は、デフォーカスマップからデフォーカス値プロットグラフを取得してもよい。また、取得部２０１は、デフォーカスマップを用いてデプスマップを作成してもよい。

図２に戻り、取得部２０１は、画像データ４００の顕著度の分布を示す顕著性マップを画像データ４００から取得してもよい。顕著性マップは、人の知識や経験に寄らない汎用的な注視点を算出する手法である。具体的には、たとえば、取得部２０１は、カラーの画像データ４００を色、輝度、エッジ方向の３つの特徴に分解し、それぞれのガウシアンピラミッドを生成し、これら３つのガウシアンピラミッドを用いてｃｅｎｔｅｒ－ｓｕｒｒｏｕｎｄ演算を行うことで特徴マップを生成した後、すべての特徴マップを正規化し統合することで顕著性マップを生成する。顕著性マップでは、周辺領域と性質の異なる領域が、「顕著性が高い（注意を引く）領域」として抽出される。

図７は、顕著性マップの一例を示す説明図である。実施例１の顕著性マップ７００は、被写体４０１～４０３ごとに輪郭を検出する。これにより、たとえば、被写体４０１とボケ量が大きい被写体４０２との境界を特定し、被写体４０１を示すオブジェクトと被写体４０２を示すオブジェクトとを分離することができる。

図２に戻り、抽出部２０２は、取得部２０１によって取得された複数の被写体４０１～４０３を含む画像データ４００から主要被写体を抽出する。ここでは、被写体４０１を主要被写体とする。具体的には、抽出部２０２は、画像データ４００内のオブジェクトの姿勢に基づいて、主要被写体４０１を抽出する。たとえば、抽出部２０２は、デプスマップ６００を参照してオブジェクトを抽出する。

たとえば、オブジェクトとして人物を抽出する場合、抽出部２０２は、深度値により領域抽出を行い、人物として認識できる形状のオブジェクトを特定し、人物のオブジェクト（被写体４０１～４０３）を抽出する。また、抽出部２０２は、人物として抽出されたオブジェクトの各々について、複数（たとえば、１８か所）の骨格点となるノードと、ノード間を接続するリンクと、の組み合わせである骨格情報を抽出する。

抽出部２０２は、たとえば、オブジェクトの領域における各所の深度値とオブジェクトの形状の特徴量とに基づいて、オブジェクトの領域に写る人物の実空間上の部位（左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等）を特定し、各部位における中心位置に骨格点を設定する。

また、抽出部２０２は、たとえば、記憶デバイス１０２に記憶された特徴量辞書を用いて、オブジェクトの領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、オブジェクトの領域における人物の各部位を特定し、各部位における中心位置に骨格点を設定してもよい。なお、骨格点は、たとえば、左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足である。なお、骨格点の数は、オブジェクトの姿勢や範囲により増減する。

また、抽出部２０２は、人物のオブジェクトを抽出する場合、取得部２０１によって取得された顔検出情報を用いて、顔検出された画像を含むオブジェクトを人物のオブジェクトとして抽出してもよい。

また、抽出部２０２は、画像データ４００から得られた顕著性マップ７００に基づいて、主要被写体４０１を人物のオブジェクトとして抽出してもよい。

また、抽出部２０２は、画像データ４００において、被写体４０１～４０３の焦点検出のために設定された複数のＡＦ測距点４１０のうち、手動（操作デバイス１０８のユーザ操作）で選択されたＡＦ測距点４１０と重なるオブジェクトを、主要被写体４０１として抽出してもよい。

同様に、抽出部２０２は、画像データ４００において、被写体４０１～４０３の焦点検出のために設定された複数のＡＦ測距点４１０のうち、自動（オートフォーカス機能）で選択されたＡＦ測距点４１０と重なるオブジェクトを、主要被写体として抽出してもよい。この場合、抽出部２０２は、ＡＦ測距点４１０を包含する個数が最大で、且つデフォーカス量の小さい被写体を主要被写体として抽出してもよい。図４の例では、被写体４０１が主要被写体として抽出される。

検出部２０３は、画像データ４００内の複数位置における奥行き情報を検出する。奥行き情報とは、デプスマップ６００から得られる画素領域６１０ごとの深度値、または、デフォーカスマップ（またはデフォーカス値プロットグラフ５００）において、ＡＦ測距点４１０のうち、焦点検出したＡＦ測距点４１０ごとのデフォーカス値である。なお、検出部２０３は、深度値として、たとえば、タイムオブフライト法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ法）を用いて、画像データ４００内の複数位置における距離を測定し、奥行情報を取得してもよい。

判定部２０４は、奥行き情報を検出した、主要被写体４０１と重なる所定位置と主要被写体４０１周辺の所定位置のそれぞれの位置における奥行き情報、および、それぞれの位置の接近度合いに基づいて、主要被写体４０１と他の被写体との重なり状態を判定する。重なり状態の判定とは、たとえば、主要被写体が他の被写体と重なっているか否かの判定である。また、判定部２０４は、主要被写体が他の被写体と重なっている場合には、重なり具合を検出してもよい。

所定位置とは、デプスマップ６００を用いる場合は画素領域６１０であり、デフォーカスマップを用いる場合はＡＦ測距点４１０である。したがって、所定位置の奥行き情報とは、デプスマップ６００を用いる場合は画素領域６１０の深度値であり、デフォーカスマップを用いる場合はＡＦ測距点４１０のデフォーカス値となる。奥行き情報により、被写体の奥行き方向の位置が特定される。

主要被写体４０１と重なる所定位置とは、複数の画素領域６１０またはＡＦ測距点４１０のうち、主要被写体４０１に包含されている画素領域６１０またはＡＦ測距点４１０である。また、主要被写体４０１周辺の所定位置とは、たとえば、主要被写体４０１の輪郭と重なる画素領域６１０またはＡＦ測距点４１０と隣接する主要被写体４０１外の画素領域６１０またはＡＦ測距点４１０である。

接近度合いとは、主要被写体４０１と重なる所定位置と、主要被写体４０１周辺の所定位置と、により決定される。具体的には、たとえば、判定部２０４は、主要被写体４０１の輪郭と重なる所定位置ごとに、主要被写体４０１周辺に存在するオブジェクトの輪郭と重なる所定位置との最短距離を検出する。距離は、たとえば、マンハッタン距離（画素領域６１０またはＡＦ測距点４１０の数）である。ＡＦ測距点４１０の場合を例に挙げる。

図８は、ＡＦ測距点４１０を用いた接近度合い判定例を示す説明図である。図８では、主要被写体４０１と被写体４０２との接近度合い判定例を示す。主要被写体４０１の輪郭と重なるＡＦ測距点４１０をドットを施したＡＦ測距点４１１とし、被写体４０２の輪郭と重なるＡＦ測距点４１０をハッチングを施したＡＦ測距点４１２とする。また、被写体４０３の輪郭と重なるＡＦ測距点４１０をハッチングを施したＡＦ測距点４１３とする。なお、主要被写体４０１および被写体４０２の両方を含むＡＦ測距点４１０については、面積が大きい方の被写体に属するものとする。

ＡＦ測距点４１１の各々とＡＦ測距点４１２の各々との最短距離は、それぞれ１である。判定部は、最短距離の統計値（たとえば、平均値、最大値、最小値、最頻値、または中央値）を主要被写体４０１と被写体４０２との重なり状態を示す値として算出する。判定部は、重なり状態を示す値がしきい値以下であれば、主要被写体４０１よりも手前側に位置する被写体４０２を、主要被写体４０１の手前被り被写体であると判定する。しきい値が、たとえば、「２」であるとすると、被写体４０２は、主要被写体４０１の手前被り被写体となる。

一方、ＡＦ測距点４１１とＡＦ測距点４１３との最短距離は、６である。したがって、判定部２０４は、主要被写体４０１よりも手前側に位置する被写体４０３を、主要被写体４０１の手前被り被写体でないと判定する。なお、所定位置が画素領域６１０であっても同様である。

なお、判定部２０４は、主要被写体４０１の輪郭と重なる所定位置の周辺（主要被写体の外側）にあるＡＦ測距点４１１の中から、所定位置に最も近く、且つ、所定位置の手前に位置するＡＦ測距点４１１を検出し、所定位置とのマンハッタン距離を算出することにより主要被写体の重なり状態を判定してもよい。

また、判定部２０４は、主要被写体４０１の輪郭と重なる所定位置から主要被写体の外側における所定距離以内（たとえば、「２」以内）にあるＡＦ測距点４１１の奥行情報を取得し、主要被写体の重なり状態を判定してもよい。たとえば、重なり状態を示すしきい値が「３」である場合に、所定距離が「２」以内において、所定位置より手前に位置するＡＦ測距点４１１を検出しなかったときに、判定部２０４は、主要被写体４０１は手前被り被写体ではないと判定することができる。

このように、重なり状態を示す値が小さいほど主要被写体４０１の周辺の被写体４０２は手前被り被写体と判定される可能性が高くなり、重なり状態を示す値が大きいほど主要被写体４０１の周辺の被写体４０３は手前被り被写体と判定されない可能性が高くなる。なお、実施例１ の一例では、必ずしも被写体４０２及び被写体４０３を他の被写体として認識して検出する必要がない。

すなわち、被写体４０２及び被写体４０３を検出しなくても、判定部２０４は、主要被写体４０１と重なる所定位置と主要被写体４０１周辺の所定位置のそれぞれの位置における奥行き情報、および、それぞれの位置の接近度合いに基づいて、主要被写体４０１と他の被写体との重なり状態を判定できる。

このため、重なり状態の判定は、主要被写体が何かしらの物体と重なっているかどうかの判定であってもよい。さらに、主要被写体が他の被写体（物体）と重なっていると判定した場合、画像データの表示部に、主要被写体が他の被写体と重なっていることをオブジェクト(たとえば、文字列や丸印等)で表示してもよい。また、この場合に、他の被写体と重なっている主要被写体に重畳してオブジェクトを表示する等してもよい。

なお、判定部２０４は、主要被写体４０１の骨格情報を用いて、近接度合いを判定してもよい。具体的には、たとえば、主要被写体４０１の本来あるべき骨格点が欠落しており、かつ、その骨格点が配置されるべき位置が被写体４０２に重なっていれば、判定部２０４は、被写体４０２は主要被写体４０１の手前被り被写体であると判定してもよい。

図４の例では、主要被写体４０１の右手の骨格点が欠落しており、かつ、その骨格点が配置されるべき位置が被写体４０２の頭部である。判定部２０４は、主要被写体４０１の右手の骨格点が配置されるべき位置を、主要被写体４０１の右腕の骨格点を示すノードおよびリンクによって推定する。

推定結果の位置が被写体４０２と重なっていれば、判定部２０４は、被写体４０２は主要被写体４０１の手前被り被写体であると判定する。また、判定部２０４は、推定結果の位置に、主要被写体よりも手前にあるＡＦ測距点４１２が検出された場合、被写体４０２は主要被写体４０１の手前被り被写体を判定してもよい。

算出部２０５は、抽出部２０２が抽出した被写体ごとに推薦度を示すスコアを算出する。具体的には、算出部２０５は、判定部が判定した手前被り被写体の有無および重なり状態を示す値に応じた手前被りスコアを、推薦度の高さを示すスコアを算出する。

たとえば、算出部２０５は、判定部２０４によって手前被り被写体が存在しないと判定された場合、その被写体は手前被り被写体により隠ぺいされる領域が存在しないため、スコアを高くする。一方、算出部２０５は、判定部２０４によって手前被り被写体が存在すると判定された場合、その被写体は手前被り被写体により隠ぺいされる領域が存在するため、スコアを低くする。

図４および図８の主要被写体４０１の場合、主要被写体４０１には、手前被り被写体として被写体４０２が存在するため、被写体４０２が存在しない場合に比べてスコアが低くなる。また、算出部２０５は、主要被写体４０１の骨格情報を用いて、手前被りが発生している骨格部位に応じてスコアを算出してもよい。たとえば、算出部２０５は、頭部付近に手前被りが発生している場合は、脚部付近に手前被りが発生している場合よりスコアを低くしてもよい。

また、算出部２０５は、さらに、画像データ４００内における被写体に関する大きさ、姿勢、配置、デフォーカス量、および、他の被写体と比較した被写体の大きさのうち、少なくともいずれか１つに基づいて、スコアを算出してもよい。

図９は、スコア算出例１を示す説明図である。被写体の大きさに関するスコア（以下、大きさスコア）は、顔検出情報および骨格情報で特定された人物の被写体９０１の縦方向の幅Ｖ１を画像データ９００の背景となる縦方向の幅Ｖ０で割った比「Ｖ１／Ｖ０」である。大きさスコアは、他の人物の被写体９０２～９０４についても算出される。

被写体の姿勢に関するスコア（以下、ポーズスコア）は、顔検出情報および骨格情報で特定された人物の被写体９０１～９０４の骨格情報に基づいて被写体９０１～９０４ごとに算出されるスコアである。具体的には、たとえば、ポーズスコアは、被写体９０１～９０４の縦方向において手の位置が高い位置にあるほど高くなり、両手が映っている場合には両手が離れているほど高くなる。たとえば、被写体が万歳をしている状態で最もポーズスコアが高くなる。

被写体の配置に関するスコア（ポジションスコア）は、顔検出情報および骨格情報で特定された人物の被写体９０１～９０４の撮像範囲の配置に基づいて被写体９０１～９０４ごとに算出されるスコアである。具体的には、たとえば、ポジションスコアは被写体９０１～９０４が撮像範囲の中央付近に配置されていると高くなり、被写体９０１～９０４が撮像範囲の四隅付近に配置されていると低くなる。また、１つの画像データ内に複数の被写体が含まれる場合における被写体の配置や散らばり程度等の全体的なバランスに注目して、画像データ全体としてスコアを付与することもできる。

被写体のデフォーカス量に関するスコア（以下、フォーカススコア）は、顔検出情報および骨格情報で特定された人物の被写体９０１～９０４の顔検出情報と、デプスマップ６００から得られるデプス情報と、フォーカス情報と、に基づいて被写体９０１～９０４ごとに算出されるスコアである。フォーカス情報は、画像データ４００を例に挙げると、ＡＦ測距点４１０の位置でのデフォーカス量に基づく合焦状態に関する情報である。具体的には、たとえば、フォーカススコアは、被写体の顔の目周辺のピントが合っているほど高くなる。

図１０は、スコア算出例２を示す説明図である。他の被写体と比較した被写体の大きさに関するスコア（以下、目立ち具合スコア）は、被写体９０１～９０４の縦方向の幅Ｖ１～Ｖ４に基づいて、被写体９０１～９０４間の相対的なサイズを示すスコアである。具体的には、たとえば、画像データ９００については、目立ち具合スコアの値ｃｓは、下記式（１）により算出される。

ｃｓ＝Ｖ＃／（Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４）・・・（１）
ただし、＃は、１～４のいずれかの値。

このように、算出部２０５は、被写体ごとに、手前被りスコア、大きさスコア、ポーズスコア、ポジションスコア、フォーカススコア、および目立ち具合スコアを算出するとともに、手前被りスコア、大きさスコア、ポーズスコア、ポジションスコア、フォーカススコア、および目立ち具合スコアの総合スコアを、被写体の推薦度を示すスコアとして算出する。

総合スコアは、たとえば、これらの要素を任意に組み合わせて単純和や重み付き線形和の回帰式で表現することもできる。また、これらの各要素の基準値を合わせるために正規化の手法を用いてもよい。この場合、正規化された各要素に対して重みづけを行い、単純和や重み付き線形和の回帰式で表現してもよい。

なお、手前被り、被写体の大きさ、ポーズ、ポジション、フォーカスや目立ち具合に関する各スコアの算出方法を撮影シーンに応じて変更してもよい。たとえば、撮影シーンがマラソンのゴールシーンである場合、被写体の両腕が横方向に伸びているポーズを含む画像データに対して高いポーズスコアを付与することもできる。また、手前被り被写体により顔検出されない人物の被写体については、その分、手前被りスコアを低くしてもよい。

出力部２０６は、判定部２０４による判定結果や算出部２０５による算出結果を出力する。判定結果とは、手前被り被写体の有無である。算出結果とは、手前被りスコア、大きさスコア、ポーズスコア、フォーカススコア、目立ち具合スコア、および総合スコアである。

図１１は、出力部２０６によるスコアの表示例を示す説明図である。図１１では、被写体４０１～４０３ごとにスコアＳＣ１～ＳＣ３が関連付けて表示されている。

このように、実施例１によれば、主要被写体の重なり状態を判定することができ、主要被写体が、他の被写体によって手前被り被写体であるかどうかを特定することができる。また、重なり状態および手前被り被写体の有無により、被写体を含む画像の推薦度を示すスコアの高精度化を図ることができる。

つぎに、実施例２について説明する。実施例２では、主要被写体に隣接し、かつ、主要被写体よりも手前にピントが合う（いわゆる、前ピン）被写体のボケ量が大きすぎて、デプスマップ６００やデフォーカスマップでは手前被り判定ができない場合に有効な手前被り判定例を示す。なお、実施例２では、実施例１との相違点を中心に説明する。また、実施例１と同一箇所には同一符号を付し、その説明を省略する。

＜画像処理装置の機能的構成例＞
図１２は、実施例２にかかる画像処理装置の機能的構成例を示すブロック図である。図１３は、実施例２にかかる画像処理装置による画像処理手順例を示すフローチャートである。画像処理装置１２００は、取得部２０１と、抽出部１２０２と、分割部１２０３と、判定部１２０４と、算出部２０５と、出力部２０６と、を有する。抽出部１２０２、分割部１２０３、判定部１２０４、および算出部２０５は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。

図１３において、画像処理装置２００は、取得部２０１による画像データ４００の取得（ステップＳ１３０１）、抽出部１２０２による被写体抽出（ステップＳ１３０２）、分割部１２０３による被写体分割（ステップＳ１３０３）、判定部１２０４による重なり状態の判定（ステップＳ１３０４）、算出部２０５によるスコアの算出（ステップＳ１３０５）、および出力部２０６による結果出力（ステップＳ１３０３）を実行する。

抽出部１２０２は、複数の被写体４０１～４０３を含む画像データ４００に関する顕著性マップ７００および奥行き情報に基づいて、主要被写体４０１および被写体４０２を抽出する。奥行き情報は、実施例１で説明したように、画像データ４００の奥行き情報をあらわすデフォーカス情報又はデプス情報のうちいずれか１つである。

隣接する複数の被写体の各々の奥行き情報の差が許容範囲外であれば、主要被写体４０１および被写体４０２のように、別々の被写体として抽出される。隣接する複数の被写体の各々の奥行き情報の差が許容範囲内であれば、１つの被写体として抽出される。ただし、顕著性マップ７００を用いることにより、隣接する複数の被写体の各々の輪郭が検出されるため、奥行き情報の差が許容範囲内であっても、別々の被写体として抽出される。したがって、抽出部１２０２は、ボケ量が大きすぎてデフォーカスマップやデプスマップ６００では抽出できない被写体も抽出することができる。

また、抽出部１２０２は、さらに、画像データ４００内のオブジェクトの姿勢に基づいて、主要被写体４０１を抽出する。たとえば、抽出部１２０２は、実施例１と同様、デプスマップ６００を参照してオブジェクトを抽出する。

分割部１２０３は、抽出部１２０２が抽出した被写体を分割する。具体的には、たとえば、複数の被写体の各々の奥行き情報の差が許容範囲内である場合、顕著性マップ７００を用いても、１つの被写体として抽出される場合がある。

図１４は、被写体の分割例を示す説明図である。画像データ１４００において、抽出部１２０２が被写体１４３０を抽出したとする。この場合、分割部１２０３は、骨格情報を用いて、被写体１４３０内に複数の人物の被写体４０２，１４０３が含まれていることを特定し、被写体４０２と被写体１４０３との間の境界を設定する。この境界は、近接する被写体４０２の骨格点と被写体１４０３の骨格点との中間点としてもよい。分割部１２０３は、この中間点を通過する線を境界に設定し、被写体１４３０を被写体４０２と被写体１４０３とに分割する。

分割部１２０３は、さらに、顔検出情報を用いて被写体１４３０を被写体４０２と被写体１４０３とに分割してもよい。顔検出情報を用いることにより、被写体１４３０内の人物の数および位置を特定することができるため、分割精度の向上を図ることができる。

判定部１２０４は、主要被写体４０１と被写体４０２とに関する奥行き情報、および、主要被写体４０１と被写体４０２との接近度合いに基づいて、主要被写体４０１と被写体４０２との重なり状態を判定する。具体的には、たとえば、判定部１２０４は、実施例１と同様、主要被写体４０１の輪郭と重なる所定位置ごとに、被写体４０２の輪郭と重なる所定位置との最短距離を検出する。判定部１２０４は、最短距離の統計値を主要被写体４０１と被写体４０２との重なり状態を示す値として算出する。

また、分割部１２０３によって被写体分割が実行された場合、判定部１２０４は、主要被写体４０１と、被写体４０２および被写体１４０３とのうち、いずれかの被写体、たとえば、主要被写体４０１に近接する方の被写体４０２とに関する奥行き情報、および、主要被写体４０１と被写体４０２との接近度合いに基づいて、主要被写体４０１と被写体４０２との重なり状態を判定する。

被写体４０２および被写体１４０３とのうちいずれが主要被写体４０１と近接するかについては、たとえば、分割部１２０３は、主要被写体４０１の輪郭と被写体４０２の輪郭との最短距離と、主要被写体４０１の輪郭と被写体１４０３の輪郭との最短距離と、を比較して、短い方の被写体を主要被写体４０１と近接する特定の被写体としてもよい。また、分割部１２０３は、主要被写体４０１の骨格点と被写体４０２の骨格点との最短距離と、主要被写体４０１の骨格点と被写体１４０３の骨格点との最短距離と、を比較して、短い方の被写体を主要被写体４０１と近接する特定の被写体としてもよい。

このように、重なり状態を示す値が小さいほど主要被写体４０１の周辺の被写体４０２は手前被り被写体と判定される可能性が高くなり、重なり状態を示す値が大きいほど主要被写体４０１の周辺の被写体４０３は手前被り被写体と判定されない可能性が高くなる。

実施例２によれば、顕著性マップ７００を用いて被写体抽出を実行するため、ボケ量が大きすぎてデフォーカスマップやデプスマップ６００では抽出できない被写体も抽出することができる。したがって、重なり状態の判定対象候補の欠落を抑制することができ、算出部によって算出されるスコアの高精度化を図ることができる。

つぎに、実施例３について説明する。実施例３は、実施例２において、動く被写体の重なり状態を判定する例である。なお、実施例３では、実施例１および実施例２との相違点を中心に説明する。また、実施例１および実施例２と同一箇所には同一符号を付し、その説明を省略する。

図１５は、手前被り発生例を示す説明図である。図１５は、例として、撮像装置１００が１０［ｆｐｓ］で連射中に、画像データ１５０１の次のフレームの画像データ１５０２で手前被りが発生した例を示す。画像データ１５０１は、動く被写体（矢印Ａ方向に走っている走者）である第１被写体１５１０と、静止している被写体（たとえば、看板やポスト）である第２被写体１５２０と、を画像として含む。画像データ１５０２は、第１被写体１５１０の動きにより、第１被写体１５１０の一部が第２被写体１５２０に隠れてしまい、第２被写体１５２０による手前被りが発生した状態を示す。

図１６は、手前被り改善例を示す説明図である。図１６は、図１５のような手前被りが発生しないように、撮像装置１００が１０［ｆｐｓ］で連射中に、画像データ１５０１の取得後、連射速度（フレームレート）を１０［ｆｐｓ］から５［ｆｐｓ］に減速して画像データ１６０２を撮像した例である。このように、手前被りが発生しないよう、撮像装置１００は、事前に連射速度を変更する。

図１７は、判定部１２０４による連射速度の変更例を示す説明図である。画像データ１５０１の左下頂点を原点とし、右下頂点のｘ座標値をｘ３とする。まず、画像データ１５０１内の情報について説明する。第１矩形１７１０は、第１被写体１５１０が内接する矩形データである。第１矩形１７１０の縦の辺の実空間での長さをＨ［ｍ］、横の辺の実空間での長さをＷ［ｍ］とする。また、第１矩形１７１０の左上頂点座標値を（ｘ０，ｙ０）とする。また、第１被写体１５１０の矢印Ａ方向の移動速度をａ［ｍ／ｓ］とする。

第２矩形１７２０は、第２被写体１５２０が内接する矩形データである。原点Ｏを基準として、第２矩形１７２０の左上頂点座標値を（ｘ１，ｙ１）とし、右下頂点座標値を（ｘ２，ｙ２）とする。また、変更前のフレームレートをｂ［ｆｐｓ］とする。これら画像データ１５０１内の情報は、画像データ１５０１以前のフレームまでの既知のＣＶ演算により取得されるものとする。

まず、判定部１２０４は、画像データ１５０１の第２被写体１５２０が、次のフレームで第１被写体１５１０の手前に被るか否かを判定する。第２被写体１５２０が第１被写体１５１０の手前に被る条件は、（ｉ）次のフレームにおいて、第１矩形１７１０の右上頂点のｘ座標値ｘ１０が、第２矩形１７２０の幅（ｘ１，ｘ２）にあること、（ｉｉ）次のフレームにおいて、第１矩形１７１０の右上頂点のｘ座標値ｘ１０が第２矩形１７２０の右下頂点のｘ座標値ｘ２よりプラス側にある場合に、第１矩形１７１０の左上頂点のｘ座標値ｘ２０が、第２矩形１７２０の右下頂点のｘ座標値ｘ２より小さいこと、のいずれかの条件を満たすことである。

以下の説明では、上述の（ｉ）の条件においてフレームレートｂ［ｆｐｓ］を上昇させ、または低下させることにより、第２被写体１５２０が第１被写体１５１０の手前に被ることを回避するための一例を示す。具体的には、たとえば、判定部１２０４は、次のフレームまでに第１被写体１５１０が移動する距離ａ／ｂ［ｍ］を算出する。また、次のフレームでの第１矩形１７１０の右上頂点のｘ座標値ｘ１０を下記式（２）で算出する。

ｘ１０＝ｘ０＋Ｗ＋ａ／ｂ・・・（２）

判定部１２０４は、上記式（２）の算出結果であるｘ座標値ｘ１０が、下記式（３）により、第２矩形１７２０の幅（ｘ１，ｘ２）に含まれるか否かを判定する。

ｘ１＜ｘ１０＜ｘ２・・・（３）

上記式（３）を充足する場合、第２被写体１５２０による第１被写体１５１０の手前被りが発生する。したがって、撮像部１２０は、下記式（４）を充足するように、フレームレートｂ［ｆｐｓ］を調整する。

ｂ＞ａ／（ｘ１－ｘ０－Ｗ）・・・（４）

上記の例では、フレームレートｂ［ｆｐｓ］を上昇させる例について示したが、フレームレートｂ［ｆｐｓ］を下げるように調整してもよい。具体的には、撮像部１２０は、下記式（５）を充足するように、フレームレートｂ［ｆｐｓ］を調整する。

ｂ＜ａ／（ｘ２－ｘ０）・・・（５）

これにより、フレームレートｂ［ｆｐｓ］を低下させることによっても、第２被写体１５２０による第１被写体１５１０の手前被りを抑制することができる。なお、フレームレートｂ［ｆｐｓ］を低下させた場合、次のフレームにおいて、第１被写体１５１０が画像データ１５０１の枠内に収まるように、すなわち、第１矩形１７１０の右上頂点のｘ座標値ｘ１０が画像データ１５０１のｘ座標値ｘ３を超えないように調整してもよい。また、実施例３では、第１被写体１５１０が＋Ｘ方向に移動する例を示しているが、この形態に限定されない。たとえば、第１被写体１５１０が-Ｘ方向や＋Ｙ方向に移動していてもよい。

このように、判定部１２０４は、第１被写体１５１０および第２被写体１５２０の少なくともいずれか一方が動いている場合、動いている第１被写体１５１０の速さと動きの方向、および、第１被写体１５１０および第２被写体１５２０の大きさに基づいて、所定時間経過時における第１被写体１５１０と第２被写体１５２０との重なり状態を判定する。

そして、第１被写体１５１０と第２被写体１５２０とが重なると判定された場合、撮像部１２０は、第１被写体１５１０および第２被写体１５２０が重ならないように、撮像タイミングをより早く又は遅く制御して撮像する。したがって、第２被写体１５２０による第１被写体１５１０の手前被りを抑制することができる。

なお、所定時間経過後に第１被写体１５１０と第２被写体１５２０とが重なると判定された場合、撮像タイミングを変えずに、所定時間経過後に撮像する画像データを記憶デバイスに保存しないように処理してもよい。このように、手前被りが生じている画像データの保存を行わないことで、記憶デバイスの保存容量を抑制することができる。

なお、上述した例では、左から右に向かう矢印Ａ方向に移動する第１被写体１５１０を例に挙げて説明したが、第１被写体１５１０は、右から左に向かう方向に移動した場合でも、適用可能である。この場合、上記式（１）～（６）の不等号が逆になる。また、被写体の移動方向が左右方向ではなく、上下方向や斜め方向でも同様に適用可能である。

実施例３によれば、手前被りを事前に予測してフレームレートを調整することにより、手前被りの発生を低減することができる。またこれにより、スコアの高い画像データの数を増加することができる。

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。たとえば、本実施形態では、判定部が主要被写体と他の被写体との被り状態を判定しているが、判定部の代わりに、検出部が、主要被写体と他の被写体との被り状態を検出してもよい。

１００ 撮像装置、１２０ 撮像部、１３０ 画像処理部、２００ 画像処理装置、２０１ 取得部、２０２ 抽出部、２０３ 検出部、２０４ 判定部、２０５ 算出部、２０６ 出力部、４００ 画像データ、４０１～４０３ 被写体、４１０～４１３ ＡＦ測距点、５００ デプスマップ、６００ デフォーカス値プロットグラフ、７００ 顕著性マップ、９００ 画像データ、９０１～９０４ 被写体、１２００ 画像処理装置、１２０２ 抽出部、１２０３ 分割部、１２０４ 判定部、１４００ 画像データ、１４０３ 被写体、１４３０ 被写体、１５０１ 画像データ、１５０２ 画像データ、１５１０ 被写体、１５２０ 被写体、１６０２ 画像データ

Claims (24)

1. 被写体を含む画像データから第１被写体を抽出する抽出部と、
   前記画像データ内の複数位置における奥行き情報を検出する検出部と、
   前記奥行き情報を検出した複数位置のうち、前記第１被写体と重なる所定位置と前記第１被写体の周辺の所定位置のそれぞれの位置における前記奥行き情報、及び、前記それぞれの位置の接近度合いに基づいて、前記第１被写体と他の被写体との重なり状態を判定する判定部と、
   を備える画像処理装置。
2. 前記奥行き情報は、デフォーカス情報及びデプス情報のうち少なくとも１つである、請求項１に記載の画像処理装置。
3. 前記抽出部は、前記画像データ内のオブジェクトの姿勢に基づいて、前記第１被写体を抽出する、請求項１又は２に記載の画像処理装置。
4. 前記抽出部は、顔検出された前記画像データ内のオブジェクトの姿勢 に基づいて、前記第１被写体を抽出する、請求項３に記載の画像処理装置。
5. 前記抽出部は、前記画像データに関する顕著性マップに基づいて、前記第１被写体を抽出する、請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記抽出部は、前記画像データの取得において、前記被写体の焦点検出のために設定された測距点から手動で又は自動で選択された測距点と重なる被写体を前記第１被写体として抽出する、請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記奥行き情報を検出した前記複数位置は、前記焦点検出のために設定された測距点の位置であり、前記奥行き情報は、前記焦点検出の結果を用いて取得される、請求項６に記載の画像処理装置。
8. 前記判定部は、前記画像データの取得において検出された前記複数位置の前記デフォーカス情報をあらわすデフォーカスマップ又は前記デプス情報をあらわすデプスマップを用いて、前記それぞれの位置における前記デフォーカス情報又は前記デプス情報、及び、前記それぞれの位置の接近度合いを決定する、請求項２に記載の画像処理装置。
9. 前記抽出部が抽出した第１被写体について、該第１被写体の推薦度を示すスコアを算出する算出部を有する、請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記算出部は、前記第１被写体について前記推薦度を算出する場合、前記判定部が判定した前記第１被写体と前記他の被写体との重なり状態に基づいて、前記スコアを算出する、請求項９に記載の画像処理装置。
11. 前記算出部は、前記画像データ内における前記第１被写体に関する大きさ、姿勢、配置、デフォーカス量、及び、他の被写体と比較した前記第１被写体の大きさのうち少なくともいずれか１つに基づいて、前記スコアを算出する、請求項９又は１０に記載の画像処理装置。
12. 少なくとも１つの被写体を含む画像データに関する顕著性マップ及び奥行き情報に基づいて、第１被写体及び第２被写体を抽出する抽出部と、
    前記第１被写体と前記第２被写体に関する奥行き情報、及び、前記第１被写体と前記第２被写体の接近度合いに基づいて、前記第１被写体と前記第２被写体との重なり状態を判定する判定部と、
    を備える画像処理装置。
13. 前記奥行き情報は、前記画像データの奥行き情報をあらわすデフォーカス情報又はデプス情報のうちいずれか１つである、請求項１２に記載の画像処理装置。
14. 前記抽出部は、更に、前記画像データ内のオブジェクトの姿勢に基づいて、前記第１被写体を抽出する、請求項１２又は１３に記載の画像処理装置。
15. 前記抽出部が抽出した前記第２被写体を分割する分割部を備え、
    前記判定部は、前記第１被写体と、前記第２被写体から分割された複数の第２分割被写体のうち特定の第２分割被写体との接近度合いに基づいて、前記第１被写体と前記特定の第２分割被写体との重なり状態を判定する、請求項１２から１４のいずれか一項に記載の画像処理装置。
16. 前記抽出部が抽出した第１被写体について、該第１被写体の推薦度を示すスコアを算出する算出部を有する、請求項１２から１５のいずれか一項に記載の画像処理装置。
17. 前記算出部は、前記判定部が判定した前記第１被写体と第２被写体との重なり状態に基づいて、前記スコアを算出する、請求項１６に記載の画像処理装置。
18. 前記算出部は、前記画像データ内における前記第１被写体に関する大きさ、姿勢、配置、デフォーカス量、及び、他の被写体と比較した前記第１被写体の大きさ、のうち少なくともいずれか１つに基づいて、前記スコアを算出する、請求項１６から１７のいずれか一項に記載の画像処理装置。
19. 前記判定部は、前記第１被写体及び前記第２被写体の少なくともいずれか一方が動いている場合、動いている被写体の速さと動きの方向、及び、前記第１被写体及び第２被写体の大きさに基づいて、所定時間経過時における前記第１被写体と前記第２被写体との重なり状態を判定する、請求項１２から１８のいずれか一項に記載の画像処理装置。
20. 請求項１から１９のいずれか一項に記載の画像処理装置を有する撮像装置。
21. 被写体を所定のタイミングで撮像する撮像部を備え、
    前記判定部が、前記撮像部が撮像する前記所定のタイミングにおいて前記第１被写体及び第２被写体が重なると判定した場合、前記撮像部は、前記第１被写体及び第２被写体が重ならないように、前記所定のタイミングより早く又は遅く撮影する、請求項１２から１９のいずれか一項を引用する請求項２０に記載の撮像装置。
22. 前記第１被写体を含む被写体を撮像する撮像部と、
    前記撮像部による撮像結果を表示する表示部を備え、
    前記画像処理装置は、前記第１被写体と他の被写体との重なり状態を示すオブジェクトを前記表示部に表示する、請求項２０に記載の撮像装置。
23. 画像処理装置が、
    被写体を含む画像データから第１被写体を抽出する抽出処理と、
    前記画像データ内の複数位置における奥行き情報を検出する検出処理と、
    前記奥行き情報を検出した、前記第１被写体と重なる所定位置と前記第１被写体の周辺の所定位置のそれぞれの位置における前記奥行き情報、及び、前記それぞれの位置の接近度合いに基づいて、前記第１被写体と他の被写体との重なり状態を判定する判定処理と、
    を実行する画像処理方法。
24. 画像処理装置が、
    被写体を含む画像データに関する顕著性マップ及び奥行き情報に基づいて、第１被写体及び第２被写体を抽出する抽出処理と、
    前記第１被写体と前記第２被写体に関する奥行き情報、及び、前記第１被写体と前記第２被写体の接近度合いに基づいて、前記第１被写体と前記第２被写体との重なり状態を判定する判定処理と、
    を実行する画像処理方法。

Images