JP2016076987A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】好適なトリミング画像を生成する。
【解決手段】複数の被写体が含まれる画像について、好適にトリミング位置を決定する画像処理装置を提供する。この画像処理装置は、画像から被写体領域を特定し、特定した被写体領域それぞれについて複数のトリミング領域候補を設定する。画像処理装置は、複数のトリミング領域候補それぞれについて求めた評価値と、複数のトリミング領域候補の間の類似度とに基づいて、複数のトリミング領域候補の中から所定数を、トリミング領域として選択する。
【選択図】図６

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関し、特に画像のトリミング技術に関する。

近年、デジタルカメラ等の撮像装置に限らず、画像管理アプリケーション等で、人物等の特定の被写体を画像内から検出するものがある。特許文献１には、検出された特定の被写体に合わせて画像をトリミングする技術が開示されている。

特許第４６２５３５６号公報 特開２００７−１９８９３号公報

上述の特許文献１では、トリミング後の画像における１つの被写体の位置が所定の位置となるようにトリミング位置を決定している。しかしながら、特許文献１に開示された方法を複数の被写体が含まれる画像について適用した場合、以下のような好ましくないトリミングが行われることがある。

例えば、トリミング後の画像において、水平方向に３等分する直線上に被写体が存在する構図が好適な構図として設定されている場合について考える。図１６（ａ）に示されるように画像１２００内に１人の人物（被写体）１２０１のみが存在する場合、トリミング後は画像１２０２のように、設定された好適な構図に合致する画像が得られる。一方、図１６（ｂ）に示されるように画像１２１０内に２人の人物が存在する場合を考える。このとき、人物１２１１について好適な構図となるように画像がトリミングされると、画像１２１３のように人物１２１２の一部が画像に含まれない構図となってしまうことがあった。

また、特許文献２には、予め決められた所定の設定条件に従って、画像に対して複数のトリミング領域を設定し、設定した各々のトリミング領域に基づいて、該画像から複数のトリミング画像を生成する技術が開示されている。

しかし、特許文献２に記載されるように設定した複数のトリミング領域についてトリミング画像を生成する場合、類似したトリミング画像が複数生成されてしまう場合がある。

本発明は、上述の問題点に鑑みてなされたものであり、好適なトリミング画像を生成する画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の一態様に係る画像処理装置は、画像から被写体領域を特定する特定手段と、画像を用いて被写体領域を含むトリミング画像を出力する出力手段と、を有し、出力手段は、特定手段により複数の被写体領域が特定された場合に、複数の被写体領域の配置が所定の条件を満たすのであれば、複数の被写体領域を含むトリミング画像を出力し、複数の被写体領域の配置が所定の条件を満たさないのであれば、複数の被写体領域のそれぞれを含むトリミング画像を出力することを特徴とする。

前述の目的を達成するために、本発明の別の態様に係る画像処理方法は、画像から被写体領域を特定する特定工程と、画像を用いて被写体領域を含むトリミング画像を出力する出力工程と、を有し、出力工程では、特定工程において複数の被写体領域が特定された場合に、複数の被写体領域の配置が所定の条件を満たすのであれば、複数の被写体領域を含むトリミング画像が出力され、複数の被写体領域の配置が所定の条件を満たさないのであれば、複数の被写体領域のそれぞれを含むトリミング画像が出力されることを特徴とする。

このような構成により本発明によれば、好適なトリミング画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 画像処理部１０５の、トリミング処理に用いられる内部構成を示したブロック図 トリミング領域候補のアスペクト比およびサイズの例示した図 被写体の領域候補の優先度の設定処理を例示したフローチャート （ａ）は被写体の領域候補に対する面積に応じた評価値の算出例を示す図、（ｂ）は被写体の領域候補に対する画像の中心からの距離に対応する評価値の算出例を示す図 トリミング領域候補決定処理を例示したフローチャート （ａ）は顔領域のサイズを示す図、（ｂ）は顔領域のサイズから推定される胴体領域のサイズを示す図、（ｃ）は注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複する例を示す図、（ｄ）は注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複しない例を示す図 単独トリミングにおける注目顔領域の好適な配置を説明するための図 単独トリミング用の評価処理を例示したフローチャート （ａ）は対象被写体領域候補の対象画像外に対するはみ出し量が大きい場合の例を示す図、（ｂ）は対象被写体領域候補の対象画像外に対するはみ出し量が小さい場合の例を示す図 単独トリミング用の評価処理における評価値の算出方法を説明するための図 複数トリミングにおける顔領域の好適な配置を説明するための図 複数トリミング用の評価処理を例示したフローチャート トリミング領域候補外に顔領域が存在する場合の処理を説明するための図 各被写体領域のトリミング領域の選択処理を例示したフローチャート 従来のトリミング技術の問題点を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、対象画像から任意の領域をトリミングした画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、対象画像についてトリミング領域を設定することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に格納された各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要なパラメータ等の情報を記憶する。ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データを一時的に記憶する記憶領域としても用いられる。

画像信号取得部１０４は、デジタル画像信号を出力する。画像信号取得部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。画像信号取得部１０４は、撮像により、不図示の光学系により撮像面に結像された光学像を光電変換し、アナログ画像信号を取得する。また画像信号取得部１０４は、得られたアナログ画像信号に対してサンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等の所定の画像処理を行い、デジタル画像信号を出力する。また、画像信号取得部１０４は、外部の記録メディアやネットワークを介して、任意の画像信号を受信して出力する構成であってもよい。

画像処理部１０５は、デジタル画像信号（以下、単に画像）に対して、色変換処理や拡大縮小処理等の画像処理を行う。この他、画像処理部１０５は、入力された画像から任意の領域を抽出するトリミング処理を行う。

〈画像処理部１０５の詳細構成〉
ここで、本実施形態の画像処理部１０５で行われるトリミング処理に係る処理ラインの機能構成を、図２を用いてさらに説明する。

被写体領域抽出部１１１は、入力された画像（対象）に含まれる特定の被写体に対応する被写体領域を検出する。本実施形態では被写体領域抽出部１１１は、被写体領域として、対象画像に含まれる人物の顔に対応する顔領域を検出するものとして説明するが、本発明の実施はこれに限られるものではない。例えば、被写体領域の種類は人物以外の動物の顔や、特定パターンの外観を有する物体あってもよい。また本実施形態では被写体領域抽出部１１１は、画像処理部１０５に入力された対象画像に対応する輝度画像について検出を行うものとして説明するが、検出を行う画像は輝度画像に限られるものではない。対象画像に対応する色差信号から検出を行う構成としてもよい。被写体領域抽出部１１１は、被写体領域の検出結果として、例えば検出した顔領域の対象画像における中心座標、及び顔領域のサイズの情報を出力するものとする。

また、被写体領域抽出部１１１は、入力された画像から顔領域が検出できなかった場合には、顔領域以外の被写体を検出するため、画像を複数のブロックに分割して、それぞれのブロックの色相を求める。そして、類似する色相を有する隣接ブロックを同じ被写体として統合することで、色相ごとにまとめた領域を抽出する。そして、この色相ごとにまとめた領域のうち、画像の端部に接しておらず、かつ、サイズが所定の大きさ以上であるものを、被写体領域の候補（被写体領域候補）として設定し、出力する。

領域優先度設定部１１２は、被写体領域抽出部１１１で顔領域ではない被写体領域候補を設定した場合には、検出された複数の被写体領域候補の各々について、領域毎の優先順位を決定算出する。領域優先度設定部１１２は、例えば、画像における被写体領域候補の位置、大きさ、距離情報等から、被写体領域候補毎の評価値を算出し、算出した評価値が高い領域ほど、優先順位を高くする。例えば、位置に基づいて評価値を算出する場合、被写体領域候補の重心座標が画像の中心座標に近いほど、位置についての評価値が高くなるようにする。そして、評価値が閾値以上であり、かつ、優先順位が所定以内（例えば、２位以内）となる領域候補が、被写体領域として決定される。この領域優先度設定方法については図４を参照して後述する。

トリミング領域候補設定部１１３は、トリミング処理によって切り出す領域の候補である、トリミング領域候補を設定する。本実施形態の画像処理部１０５は、被写体領域が好適に配置された構図となるような領域の画像を、撮像により得られた対象画像からトリミング処理によって切り出す。このためトリミング領域候補設定部１１３は、被写体領域抽出部１１１により検出された被写体領域の各々について、該被写体領域の配置条件を満たすトリミング領域候補を複数設定する。あるいはトリミング領域候補設定部１１３は、領域優先度設定部１１２により供給される評価値及び優先順位の情報に基づいて被写体領域抽出部１１１により設定された被写体領域候補から被写体領域を決定する。そして該被写体領域の各々についてトリミング領域候補を複数設定する。本実施形態ではトリミング領域候補設定部１１３は、図３に示すアスペクト比およびサイズ（画素数）の矩形領域をトリミング領域候補として設定する。

トリミング領域評価部１１４は、トリミング領域候補設定部１１３により設定されたトリミング領域候補の各々を、該領域における被写体領域の位置を基準にして評価値を算出する。トリミング領域評価部１１４における各トリミング領域候補の評価値の算出方法については後述のトリミング領域の決定処理の説明において詳述する。

トリミング領域選択部１１５は、トリミング領域候補設定部１１３により設定されたトリミング領域候補のうち、トリミング領域評価部１１４により算出された評価値を基にトリミング領域を選択する。トリミング領域選択部１１５は、例えば、１つの画像から１つのトリミング画像を生成する場合には、トリミング領域評価部１１４で算出された評価値が最も高いトリミング領域候補をトリミング領域として選択する。一方、１つの画像から複数のトリミング画像を生成する場合には、トリミング領域選択部１１５は後述の類似度判定部１１６と共働して、複数のトリミング領域候補の中から、生成するトリミング画像の数のトリミング領域を決定する。

類似度判定部１１６は、１つの画像から複数のトリミング画像を生成する場合に、トリミング領域選択部１１５により類似する構図のトリミング領域が選択されないようにトリミング領域候補の類似度を判定し、判定結果をトリミング領域選択部１１５に返す。例えば、類似度判定部１１６は、トリミング領域選択部１１５から評価値の高い順にトリミング領域候補を順次受信し、受信した候補と既に決定したトリミング領域との類似度を判定する。トリミング領域選択部１１５は、判定結果が類似する旨を示す場合は、判定が行われたトリミング領域候補をトリミング領域として設定せず、候補から除外する。一方、トリミング領域選択部１１５は、判定結果が類似しない旨を示す場合は、判定が行われたトリミング領域候補をトリミング領域として設定する。トリミング領域選択部１１５は、トリミング領域として選択したトリミング領域候補の数が出力するトリミング画像の数に達するまで、類似度判定部１１６による類似度判定のためにトリミング領域候補の出力及び類似度に基づく選択判断を繰り返し行う。この類似度判定及びトリミング領域の決定方法については図１５を参照して後述する。

なお、１つの画像から１つのトリミング画像を生成する場合には、トリミング領域選択部１１５は１つのトリミング領域のみを選択すればよいため、類似度判定部１１６による処理を行う必要はない。

トリミング領域抽出結果出力部１１７は、トリミング領域選択部１１５により選択されたトリミング領域の情報、あるいは、類似度判定部１１６により最終的なトリミング領域として決定された領域の情報に基づいて対象画像から切り出しを行う。そしてトリミング領域抽出結果出力部１１７は、トリミング画像を生成して出力する。

またデジタルカメラ１００の表示部１０６は、例えばＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１０６には、画像信号取得部１０４における撮像や画像処理部１０５におけるトリミング処理により得られた画像、あるいは記録媒体１０７に記録されている画像等が表示される。

記録媒体１０７は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続された記録装置である。記録媒体１０７には、画像信号取得部１０４における撮像や画像処理部１０５におけるトリミング処理により得られた画像が記録される。

なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

＜領域優先度の設定処理＞
次に、領域優先度設定部１１２において行われる、複数の被写体領域の候補（被写体領域候補）に優先度を設定する方法について、図４のフローチャートを用いて具体的な処理を説明する。本フローチャートは、例えば被写体領域抽出部１１１において顔領域が検出されず、色相に基づいて複数の被写体領域候補が設定された場合に開始されるものとする。

まずＳ２００において、領域優先度設定部１１２は、検出された全ての被写体領域候補について総合評価値の算出が完了しているかどうかを判断する。領域優先度設定部１１２は、完了していなければ処理をＳ２０１に進め、完了していれば処理をＳ２０６へ進める。

Ｓ２０１において、領域優先度設定部１１２は、検出された被写体領域候補のうち、まだ総合評価値の算出を行っていない被写体領域候補（対象被写体領域候補）を選択し、その面積を取得する。本実施形態では領域優先度設定部１１２は、対象被写体領域候補の設定に用いられたブロックの数を面積として取得する。次に、領域優先度設定部１１２は、Ｓ２０１で取得したブロック数に基づいて、対象被写体領域候補の面積についての評価値を算出する（Ｓ２０２）。図５（ａ）は対象被写体領域候補の面積についての評価値の算出例を示すものである。図５（ａ）は、画像全体に対する対象被写体領域候補の面積比率、即ち全ブロック数のうちの対象被写体領域候補に係るブロック数の割合と、面積についての評価値との関係を示している。図５（ａ）に示されるように、対象被写体領域候補の面積についての評価値は、対象被写体領域候補の面積が大きいほど、高い評価値となるように設定されていればよい。

次にＳ２０３において、領域優先度設定部１１２は、対象被写体領域候補について、画像の中心からの距離を算出する。具体的には領域優先度設定部１１２は、まず対象被写体領域候補を構成するブロックの各々について画像の中心からの距離を算出する。そして対象被写体領域候補の全ブロックについて算出した画像中心からの距離の平均値を、対象被写体領域候補についての画像中心からの距離とする。次にＳ２０４において領域優先度設定部１１２は、Ｓ２０３で算出した画像の中心からの距離に基づいて、対象被写体領域候補の、画像中心からの距離についての評価値を算出する。図５（ｂ）は画像の中心からの距離についての評価値の算出例を示すものである。図５（ｂ）に示されるように、対象被写体領域候補の画像中心からの距離についての評価値は、画像中心から対象被写体領域候補までの距離が大きいほど、低い評価値となるように設定されていればよい。

次にＳ２０５において領域優先度設定部１１２は、Ｓ２０２及びＳ２０４で算出した２種の評価値に基づいて、対象被写体領域候補の総合評価値を算出する。総合評価値は、例えば、Ｓ２０２及びＳ２０４で算出した２種の評価値の積として算出すればよい。Ｓ２０５の処理後、領域優先度設定部１１２は処理をＳ２００に戻し、全ての被写体領域候補について総合評価値の算出が完了したかどうかを再び判断し、完了していなければ次の被写体領域候補について上記処理を繰り返す。

全ての被写体領域候補について総合評価値を算出し終えたら（Ｓ２００でＹＥＳ）、Ｓ２０６において領域優先度設定部１１２は、それぞれの被写体領域候補に対して、総合評価値の高い順に優先順位を割り当てる。

《トリミング領域候補決定処理》
次に、被写体領域抽出部１１１が顔領域である被写体領域を出力した場合のトリミング領域候補決定処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１の制御の下、トリミング領域候補設定部１１３およびトリミング領域評価部１１４により実現される。なお、本トリミング領域候補決定処理は、例えば自動トリミング処理を適用する対象画像が設定された後、被写体領域抽出部１１１により被写体領域の検出がなされた際に開始されるものとして説明する。また本トリミング領域候補決定処理において、対象画像には少なくとも１つの顔領域が含まれているものとする。

Ｓ３０１で、トリミング領域候補設定部１１３は、被写体領域抽出部１１１により検出された顔領域（被写体領域）の位置及びサイズの情報を取得する。

Ｓ３０２で、トリミング領域候補設定部１１３は、対象画像に所定数以上の顔領域が含まれるか否かを判断する。本実施形態のデジタルカメラ１００では、対象画像に含まれる顔領域の数が所定数以上である場合、トリミング領域候補設定部１１３は対象画像が集合写真を撮影した画像であると判断するものとする。即ち、集合写真の場合、１つの顔領域がトリミング後の画像において好適と定める位置に配置されるようにトリミング領域（構図）を決めたとしても、好適な位置に配置されない顔領域の数が多数となりうる。このため、本実施形態ではトリミング領域候補設定部１１３は、集合写真が撮影されたものとして判断する所定数以上の顔領域が対象画像に含まれる場合は、１つの顔領域の配置を基準にしたトリミング領域の決定を行わない。

なお、本実施形態では対象画像内に含まれる顔領域の数が所定数以上である場合に集合写真が撮影されたとして判断するものとして説明するが、集合写真であることの判断には顔領域のサイズ等にさらに条件を課して判断してもよい。例えば、撮影中に現れた無関係の人物が対象画像に写ってしまった場合、該人物の顔領域を集合写真の被写体であると判断することは不適切である。このため、例えば顔領域のサイズに範囲を設け、サイズが該範囲に含まれる顔領域のみを集合写真であるか否かの判断に用いる顔領域として計数してもよい。

トリミング領域候補設定部１１３は、対象画像に含まれる顔領域が所定数以上であると判断した場合は処理をＳ３０９に移し、所定数未満であると判断した場合は処理をＳ３０３に移す。

Ｓ３０３で、トリミング領域候補設定部１１３は、対象画像に含まれる顔領域が１つであるか否かを判断する。本実施形態では、トリミング処理のために設定するトリミング領域候補について顔領域を複数含めるか否かによって、トリミング領域評価部１１４における評価方法が異なる。このため、本ステップではトリミング領域候補設定部１１３は、トリミング領域候補に含めることが可能な顔領域の数が、確実に１である条件について適用する評価方法を割り当てる。トリミング領域候補設定部１１３は、対象画像に含まれる顔領域が１つであると判断した場合は処理をＳ３０５に移し、複数であると判断した場合は処理をＳ３０４に移す。

Ｓ３０４で、トリミング領域候補設定部１１３は、顔領域に対応する被写体同士が対象画像において重なって撮像されているか否かという、複数の被写体の配置を判断する。具体的には制御部１０１は、検出された顔領域の被写体について、該顔領域の下端に隣接して存在するであろう胴体部の領域（胴体領域）を推定し、該胴体領域が他の被写体の胴体領域あるいは顔領域と所定割合以上の重複を有するか否かを判断する。

胴体領域は、顔領域が例えば図７（ａ）のようである場合、図７（ｂ）に示されるように顔領域の幅及び高さの各々に予め定められた係数を乗ずることにより推定されればよい。そしてトリミング領域候補設定部１１３は、図７（ｃ）のように注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複する場合は、これらの顔領域は異なるトリミング領域候補に分離されるべきではないと判断する。一方、図７（ｄ）のように注目被写体の顔領域及び胴体領域のいずれも、他の被写体の顔領域あるいは胴体領域と重複しない場合は、これらの被写体に対応する顔領域を異なるトリミング領域候補に分離する方が好適な構図になると判断する。

なお、本実施形態では胴体領域の設定方法は顔領域の下端に胴体が隣接するものとして説明したが、これに限られるものではない。胴体領域は、例えば顔領域から算出された顔の向きに応じて設定されてもよいし、デジタルカメラ１００が重力方向を検出可能である場合は、顔領域の鉛直下方向に存在するものとして設定されてもよい。あるいは、胴体領域を求めずに、顔領域の距離から、被写体同士が対象画像において重なって撮像されているか否かを判断するようにしてもよい。

トリミング領域候補設定部１１３は、顔領域に対応する被写体同士が対象画像において重なって撮影されていると判断した場合は処理をＳ３０７に移し、重なって撮影されていないと判断した場合は処理をＳ３０５に移す。なお、本ステップの処理は、検出された顔領域ごとに行われてよい。即ち、対象画像に含まれる他のいずれの顔領域の被写体とも重なりがないものとして判断された顔領域についてのみ、トリミング領域候補設定部１１３はＳ３０５における評価処理を行うように制御する。そして、制御部１０１は、他のいずれかの顔領域の被写体と重なりがあると判断された顔領域については、Ｓ３０７における評価処理を行うように制御すればよい。

Ｓ３０５で、トリミング領域候補設定部１１３は、対象画像内の画像のうち、単独でトリミングを行う顔領域についてトリミング領域候補を設定する。具体的には、トリミング領域候補設定部１１３は単独でトリミングを行う顔領域（注目顔領域）を順に選択し、それぞれについてトリミング領域候補を複数パターン設定する。トリミング領域候補設定部１１３は、設定されるトリミング領域候補における注目顔領域の配置位置が、予め定められた位置となるようにトリミング領域候補を設定する。本実施形態では図８に示されるように、経験的に好適な構図となる、トリミング領域候補を水平方向及び垂直方向に３等分する線分を基準とした位置に注目顔領域が配置された６種類のトリミング領域候補が設定される。上述したように本実施形態のトリミング領域候補設定部１１３では、５種類のアスペクト比の矩形領域についてそれぞれ３種類のサイズを有するトリミング領域候補を設定するものとしている。そのため、５×３×６＝９０通りのトリミング領域候補が、１つの注目顔領域について設定される。なお、この６種類の構図は一つの例であって、顔領域を中央に配置した構図や、中央上部に配置した構図としてもよい。

Ｓ３０６で、トリミング領域評価部１１４は、Ｓ３０５において設定された全てのトリミング領域候補について、それぞれに単独トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。

〈評価処理（単独）〉
ここで、本ステップで行われる単独トリミング用の評価処理について、図９のフローチャートを参照して詳細を説明する。なお、以下の説明では本評価処理の対象となるトリミング領域候補を「対象領域候補」として説明する。

Ｓ６０１で、トリミング領域評価部１１４は、対象領域候補の一部の領域が対象画像外の領域を参照しているか否かを判断する。即ち、本ステップにおいてトリミング領域評価部１１４は、図１０（ａ）のように、破線で示された対象領域候補が実線で示される対象画像の範囲を超えた領域をトリミング対象としているか否かを判断する。トリミング領域評価部１１４が対象領域候補が対象画像外の領域を参照していると判断した場合、制御部１０１は処理をＳ６０２に移す。また対象領域候補が対象画像内の領域を参照しているとトリミング領域評価部１１４が判断した場合、制御部１０１は処理をＳ６０４に移す。

Ｓ６０２で、トリミング領域評価部１１４は、対象画像外に出ている対象領域候補の量が予め定めた閾値以下であるか否かを判断する。本ステップでトリミング領域評価部１１４は、対象画像外に出ている対象領域候補の量（はみ出し量）を水平方向及び垂直方向の各々について取得し、該はみ出し量が対象領域候補の微調整可能な閾値以下に収まるか否かを判断する。図１０（ａ）の例では対象領域候補は垂直方向のみ対象画像外に出ているため、その垂直方向のはみ出し量Δが判断の基準となる。制御部１０１は、はみ出し量が予め定めた閾値以下であるとトリミング領域評価部１１４が判断した場合は処理をＳ６０３に移し、閾値を超えると判断した場合は処理をＳ６０５に移す。

Ｓ６０３で、領域候補設定部１１３は制御部１０１の制御の下、Ｓ６０２で取得されたはみ出し量の情報に従って、対象領域候補が対象画像内に収まるように参照範囲を更新する。例えば図１０（ｂ）に示されるように、はみ出し量Δが微調整可能な閾値以下である場合は、はみ出している方向、即ち垂直方向にΔ分だけ平行移動することで対象領域候補を更新すればよい。

Ｓ６０４で、トリミング領域評価部１１４は、対象領域候補についての評価値を算出する。本実施形態においてトリミング領域候補の評価値Ｅは、以下の４つ値（Ｅ１、Ｅ２、Ｅ３、Ｅ４）を乗じることで算出される。
１．対象領域候補における注目顔領域の面積の割合について定められた評価値Ｅ１
２．注目顔領域の配置位置について定められた評価値Ｅ２
３．アスペクト比について定められた評価値Ｅ３
４．評価結果の偏りを抑止するための乱数値Ｅ４

評価値Ｅ１は、例えば図１１（ａ）に示されるように、対象領域候補における注目顔領域の面積の割合（占有率）に応じてＶａｌ１〜Ｖａｌ２の値が設定される。図１１（ａ）の例では、評価値Ｅ１は、注目顔領域の占有率Ｒについて好適であると定められた範囲（Ｒ２≦Ｒ＜Ｒ３）では最大値Ｖａｌ２をとっている。また小さすぎるまたは大きすぎると定められた範囲（Ｒ＜Ｒ１、及びＲ≧Ｒ４）では最小値Ｖａｌ１をとっている。またさらに、その中間範囲（Ｒ１≦Ｒ＜Ｒ２、及びＲ３≦Ｒ＜Ｒ４）では、割合に応じて最大値と最小値の中間値をとる。

なお、本実施形態では評価値Ｅ１は、図１１（ａ）のように設定されるものとして説明するが、本発明の実施はこれに限られるものではない。例えば露出オーバー撮影により、人物の後方に存在する背景領域に白飛び画素が多数存在する場合は、白飛び領域がトリミング領域に含まれていても好適な構図とは言えない。このように被写体に対応する領域以外の領域において所定の輝度値よりも高い輝度値を有する画素の割合が所定数を超える場合に、例えば注目顔領域の占有率が高いほど評価値Ｅ１が高くなるように設定されていてもよい。あるいは例えば露出アンダー撮影により対象画像が全体的に輝度が低い雰囲気である場合、注目顔領域が大きすぎると背景を含んだ画像の雰囲気がトリミング後に残りにくい。この場合、例えば注目顔領域の占有率が低いほど評価値Ｅ１が高くなるように設定されていてもよい。

評価値Ｅ２は、トリミング領域候補内における注目顔領域の配置位置について、例えば図１１（ｂ）のように評価値が設定される。このとき、経験的に好適な構図となる垂直方向３等分線のうちの上方の線上、水平方向３等分線上に注目顔領域が配置されているトリミング領域候補ほど高い評価値Ｅ３が設定されるものとする。なお、評価値Ｅ３の評価分布はこれに限らず、例えば撮影シーン判定結果や撮影時に設定されていた撮影モード等に応じて定められた好適な構図が高い評価となるように変更されてよい。

評価値Ｅ３は、対象画像のアスペクト比に応じて、トリミング領域候補の好適なアスペクト比について高い評価値が与えられるように定められている。トリミング領域評価部１１４は、対象画像内の顔領域および胴体領域を包含する最小の矩形領域の高さＨｏｂｊと幅Ｗｏｂｊを算出し、この矩形領域のアスペクト比であるＷｏｂｊ／Ｈｏｂｊを求める。トリミング領域評価部１１４は、図３に示すトリミング領域候補のアスペクト比をＷｔｒｉ：Ｈｔｒｉとし、次の式によって両者のアスペクト比の類似値を求める。
（ｉ）Ｗｏｂｊ／Ｈｏｂｊ＜Ｗｔｒｉ／Ｈｔｒｉの場合、
アスペクト類似値 ＝ （Ｗｏｂｊ／Ｈｏｂｊ）／（Ｗｔｒｉ／Ｈｔｒｉ）
（ｉｉ）Ｗｏｂｊ／Ｈｏｂｊ≧Ｗｔｒｉ／Ｈｔｒｉの場合、
アスペクト類似値 ＝ （Ｗｔｒｉ／Ｈｔｒｉ）/（Ｗｏｂｊ／Ｈｏｂｊ）

そして、トリミング領域評価部１１４は、図１１（ｃ）に示すように、アスペクト類似値が１に近いトリミング領域候補ほど、評価値Ｅ３の値を高くする。あるいは、トリミング領域評価部１１４は、顔領域および胴体領域を包含する最小の矩形領域のアスペクト比の代わりに、対象画像のアスペクト比とトリミング領域候補のアスペクト比の類似値から、トリミング領域候補の評価値Ｅ３を決定してもよい。

乱数値Ｅ４は、自動で設定されるトリミング領域が毎回同様の構図とならないように、評価結果を変動させるための値である。しかしながら、乱数値Ｅ４は、評価結果が大幅に変更され、好適でない構図がトリミング領域として選択されぬよう、例えば０．９〜１．１の範囲等、他の評価値への影響が少ない値に設定されることが好ましい。

トリミング領域評価部１１４は、このように対象領域候補について得られた４つの値を乗じて評価値Ｅを算出した後、本評価処理を完了する。

またＳ６０２においてはみ出し量が予め定められた閾値を超えると判断した場合、トリミング領域評価部１１４はＳ６０５で、対象領域候補に対して評価値０（低い評価）を割り当て、本評価処理を完了する。

一方、複数の顔領域を含むようにトリミングを行うことが好ましい場合、トリミング領域候補設定部１１３は制御部１０１の制御の下、トリミング領域候補を設定する。具体的には、トリミング領域候補設定部１１３は互いに重なると判定された全ての顔領域を１つのグループとする。そして、トリミング領域候補設定部１１３はグループ内の左端に存在する顔領域の配置位置、及び右端に存在する顔領域の配置位置が予め定められた位置となるようにトリミング領域候補を設定する。

左端の顔領域及び右端の顔領域についての条件は、図１２に示されるようであってよい。図１２は、対象画像内に２つの顔領域が含まれる場合の、配置位置についての条件例を示している。具体的には左端の顔領域については、水平方向３等分線の左側の線上に存在し、かつｉ）垂直方向３等分線の上側の線上、ｉｉ）垂直方向３等分線の中心、ｉｉｉ）垂直方向３等分線の下側の線上のいずれかに存在するようにトリミング領域候補が設定される。また右端の顔領域については、水平方向３等分線の右側の線上に存在し、かつｉ）垂直方向３等分線の上側の線上、ｉｉ）垂直方向３等分線の中心、ｉｉｉ）垂直方向３等分線の下側の線上のいずれかに存在するようにトリミング領域候補が設定される。

このため、本ステップにおいて設定されるトリミング領域候補は、「全て」の注目顔領域について、５×３×６＝９０通りとなる。

Ｓ３０８で、トリミング領域評価部１１４は制御部１０１の制御の下、Ｓ３０７において設定された全てのトリミング領域候補について、それぞれに複数トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。

〈評価処理（複数）〉
ここで、本ステップで行われる複数トリミング用の評価処理について、図１３のフローチャートを参照して詳細を説明する。なお、以下の説明では上述した単独トリミング用の評価処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略するものとする。

Ｓ６０３までの対象領域候補と対象画像との関係に関する処理の後、トリミング領域評価部１１４はＳ１００１で、グループの全ての顔領域が対象領域候補に含まれているか否かを判断する。制御部１０１は、全ての顔領域が対象領域候補に含まれているとトリミング領域評価部１１４が判断した場合は処理をＳ１００４に移し、含まれていないと判断した場合は処理をＳ１００２に移す。

トリミング領域評価部１１４は、グループの全ての顔領域を含むように規定される最小の矩形領域の対象領域候補外に出ている量が予め定めた閾値以下であるか否かを判断する。本ステップでトリミング領域評価部１１４は、対象領域候補外に出ている顔領域のはみ出し量を水平方向及び垂直方向の各々について取得し、該はみ出し量が対象領域候補の微調整可能な閾値以下に収まるか否かを判断する。即ち、グループの顔領域のうち、上端、下端、左端、右端のそれぞれに配置される顔領域についての対象領域候補からのはみ出し量を取得し、判断が行われる。制御部１０１は、はみ出し量が予め定めた閾値以下であるとトリミング領域評価部１１４が判断した場合は処理をＳ１００３に移し、閾値を超えると判断した場合は処理をＳ６０５に移す。

Ｓ１００３で、トリミング領域候補設定部１１３は制御部１０１の制御の下、Ｓ１００２で取得されたはみ出し量の情報に従って、グループの全ての顔領域が対象領域候補に収まるように参照範囲を更新する。例えば図１４に示されるように、垂直方向のはみ出し量Δが微調整可能な閾値以下である場合は、垂直方向にΔ分だけ平行移動した位置に対象領域候補を更新すればよい。なお、本ステップにおいて対象領域候補の位置を更新したとしてもグループの全ての顔領域が対象領域候補に収まらない場合は処理をＳ６０５に移す。あるいは、全ての顔領域が対象領域候補に収まらないまま後述するＳ１００４で評価値を算出し、この評価値に対して１未満の係数（例えば、０．８）を乗算したものを新たな評価値として算出するようにしてもよい。

このようにして対象領域候補が設定された後、Ｓ１００４でトリミング領域評価部１１４は、単独トリミング用の評価処理のＳ６０４と同様に対象領域候補の評価値を算出し、本評価処理を完了する。このとき、評価方法は単独トリミング用と同様であってもよいし、異なる方法を用いてもよい。単独トリミング用と同様の方法を用いる場合、評価値Ｅ１は対象領域候補内の全て顔領域について算出された占有率の平均とし、評価値Ｅ２は全ての顔領域の配置位置についての評価値の合計値とすればよい。また評価値Ｅ２は、単にグループ下端の顔領域と対象領域候補の下端との距離が長いほど大きい評価値が設定されるものとしてもよい。

一方、トリミング領域候補決定処理のＳ３０２において対象画像に含まれる顔領域が所定数以上であると制御部１０１により判断された場合、Ｓ３０９でトリミング領域候補設定部１１３は、集合写真用のトリミング領域候補を設定する。具体的にはトリミング領域候補設定部１１３は、対象画像内の全ての顔領域についての重心位置を中心としてトリミング領域候補を設定する。本実施形態ではトリミング領域候補は、上述のように５種類のアスペクト比のそれぞれについて３つのサイズを有するものとして予め定められているため、本ステップでは５×３＝１５通りのトリミング領域候補が設定される。

Ｓ３１０で、トリミング領域評価部１１４は制御部１０１の制御の下、Ｓ３０９において設定された全てのトリミング領域候補について、それぞれについて評価値を算出する。集合写真トリミング用の評価処理については詳述しないが、全ての顔領域が含まれることを前提として評価されるものとする。

以上が、対象画像に少なくとも１つの顔領域が含まれている場合のトリミング領域候補の決定方法である。

なお、ここでは、検出された顔領域の数に応じて評価方法を変更するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、１つの顔領域のみを含む対象画像について設定したトリミング領域候補に、上述した複数トリミング用の評価処理を適用したとしても問題はないことは容易に想像されよう。

続いて、被写体領域抽出部１１１が被写体領域候補を出力した場合、即ち対象画像に顔領域が含まれていない場合のトリミング領域候補の決定方法について説明する。対象画像に顔領域が含まれていない場合は、上述したように、領域優先度設定部１１２により算出された評価値及び優先順位によって被写体領域が決定される。

ここで、トリミング領域候補設定部１１３は、顔領域に対しては、顔領域に対応する被写体同士が対象画像において重なって撮影されているか否かを判定したが、顔領域でない被写体領域については、この判定は行わない。顔以外の物体がトリミング領域からはみ出していても、さほどユーザにとっては気にならないと考えられるためである。そのため、対象画像に顔領域が含まれていない場合は、それぞれの被写体領域に対して、１つの顔領域が検出されたときと同様の方法で、トリミング領域候補を設定すればよい。

つまり、トリミング領域候補設定部１１３は、被写体領域の位置およびサイズの情報を取得すると、トリミング領域候補を水平方向及び垂直方向に３等分する線分を基準とした位置に、顔領域ではない被写体領域が配置されるようにする。あるいは、顔領域ではない被写体領域が中心となるようにトリミング領域候補を設定してもよいし、顔領域ではない被写体領域の一部分だけがトリミング領域候補に含まれるようにしてもよい。この場合、トリミング領域候補の５割以上を被写体領域が占めるようにし、かつ、被写体領域の水平方向または垂直方向の両端がトリミング領域候補からはみ出るトリミング領域候補は設定しないものとする。

そして、トリミング領域評価部１１４は、設定された全てのトリミング領域候補について、それぞれに単独トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。これは顔領域に対する評価処理と同様の処理を行えばよい。

《トリミング領域選択及び類似度判定方法》
次に、類似度判定部１１６及びトリミング領域選択部１１５によって実施されるトリミング領域を選択する方法を説明する。

図１５は本実施形態において、１つの被写体領域について設定したトリミング領域候補の各々について算出した評価値に基づいて、該被写体領域について設定されたトリミング領域候補の中からトリミング領域を決定する方法を示すフローチャートである。以下のフローチャートに係る処理は、トリミング領域が１つ確定する度に終了するが、１つの被写体領域について予め設定した数（トリミング画像を生成する数）のトリミング領域が選択されるまで繰り返し実行される。また、この処理は、対象画像に複数の被写体領域が存在する場合は、検出されている被写体領域を優先度の高い順に選択し、それぞれについて所定数のトリミング領域が設定されるまで実行される。

まずＳ１５０１で、トリミング領域選択部１１５は、設定されたトリミング領域候補の各々について算出された評価値が最も高いトリミング領域候補を判定対象候補として選択する。そしてトリミング領域選択部１１５は、選択した判定対象候補の情報を類似度判定部１１６に出力する。

Ｓ１５０２において、類似度判定部１１６は、受信した判定対象候補の情報に従い、判定対象であるトリミング領域候補（判定対象候補）と、同一の被写体領域について既に決定したトリミング領域とについて、アスペクト比の観点での類似度を判定する。具体的には類似度判定部１１６は、既に決定した全てのトリミング領域のアスペクト比と判定対象候補のアスペクト比とを比較し、その差が所定範囲内であるトリミング領域が存在する場合、処理をＳ１５０３に移す。また類似度判定部１１６は、アスペクト比の差が所定範囲内であるトリミング領域が存在しない場合、類似しない旨を示す判定結果をトリミング領域選択部１１５に出力して処理をＳ１５０６に移す。そしてトリミング領域選択部１１５はＳ１５０６で、判定対象候補を処理中の被写体領域のトリミング領域の１つとして決定し、本選択処理を終了する。

Ｓ１５０３で、類似度判定部１１６は、判定対象候補と、同一の被写体領域について既に決定したトリミング領域とについて、サイズの観点での類似度を判定する。類似度判定部１１６は、既に決定した全てのトリミング領域のサイズと判定対象候補のサイズとを比較し、その差が所定範囲内であるトリミング領域が存在する場合、処理をＳ１５０４に移す。また類似度判定部１１６は、サイズの差が所定範囲内であるトリミング領域が存在しない場合、類似しない旨を示す判定結果をトリミング領域選択部１１５に出力して処理をＳ１５０６に移す。

Ｓ１５０４で、類似度判定部１１６は、判定対象候補と、同一の被写体領域について既に決定したトリミング領域とについて、トリミング範囲の観点での類似度を判定する。まず類似度判定部１１６は、全てのトリミング領域と判定対象候補とについて領域開始座標（例えば、領域の左上端の座標）を取得する。類似度判定部１１６は、各トリミング領域の領域開始座標と判定対象候補の領域開始座標とについて水平座標及び垂直座標の差分を算出する。そして類似度判定部１１６は、該差分が以下の条件式をいずれも満たす場合、類似する旨を示す判定結果をトリミング領域選択部１１５に出力して処理をＳ１５０５に進める。また類似度判定部１１６は、領域開始座標の差分が少なくともいずれかの条件式を満たさない場合、類似しない旨を示す判定結果をトリミング領域選択部１１５に出力して処理をＳ１５０６に進める。
（領域開始座標の水平方向の差分）／（トリミング領域の水平方向画素数） ＜ １／２
（領域開始座標の垂直方向の差分）／（トリミング領域の垂直方向画素数） ＜ １／２

Ｓ１５０５で、トリミング領域選択部１１５は、受信した判定結果に基づき、判定対象候補をトリミング領域として決定せず、トリミング領域候補からも除外する。そしてトリミング領域選択部１１５は、現在判定を行った判定対象候補の次に評価値が高いトリミング領域候補を新たな判定対象候補として選択し、その情報を類似度判定部１１６に出力し、処理をＳ１５０２に戻す。

このようにすることで、１つの被写体領域について複数のトリミング画像を生成する場合に、構図が類似するトリミング領域が設定されることを除外することができる。

このように決定したトリミング領域の各々の情報はトリミング領域抽出結果出力部１１７に伝送される。そしてトリミング領域抽出結果出力部１１７は、該情報に従って対象画像についてトリミング処理を実行し、得られたトリミング画像を出力する。

以上説明したように、本実施形態の画像処理装置は、取得したトリミング対象の対象画像について、画像内に含まれる特定の被写体を検出する。そして対象画像について、検出した１つの被写体がトリミング後の領域において所定の条件を満たす位置に配置されるような１以上のトリミング領域候補を設定し、評価する。

このようにすることで、トリミング領域における被写体の配置位置だけでなく、特定の被写体が全て含まれるような好適な構図のトリミング領域が設定可能となる。

また、評価値が高いトリミング領域候補であっても、同一の被写体領域について既に選択した他のトリミング領域と類似する構成である場合には、該領域候補をトリミング領域に選択しない構成とした。これにより、類似したトリミング画像が複数生成されることを抑制することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：画像信号取得部、１０５：画像処理部、１０６：表示部、１０７：記録媒体、１１１：被写体領域抽出部、１１２：領域優先度設定部、１１３：トリミング領域候補設定部、１１４：トリミング領域評価部、１１５：トリミング領域選択部、１１６：類似度判定部、１１７：トリミング領域抽出結果出力部

前述の目的を達成するために、本発明の一態様に係る画像処理装置は、画像から被写体領域を特定する特定手段と、画像を用いて被写体領域を含むトリミング画像を出力する出力手段と、を有し、出力手段は、特定手段により複数の被写体領域が特定された場合に、複数の被写体領域が所定の条件を満たすのであれば、複数の被写体領域のいずれかを含まないトリミング画像を出力し、複数の被写体領域が所定の条件を満たさないのであれば、複数の被写体領域を含むトリミング画像を出力し、所定の条件は、少なくとも、複数の被写体領域が所定割合以上の重複を有さずに配置されていること、および、複数の被写体領域が予め定められた値よりも長い距離を領域間で有して配置されていること、のいずれか一つを含むことを特徴とする。

前述の目的を達成するために、本発明の別の態様に係る画像処理方法は、画像から被写体領域を特定する特定工程と、画像を用いて被写体領域を含むトリミング画像を出力する出力工程と、を有し、出力工程では、特定工程において複数の被写体領域が特定された場合に、複数の被写体領域が所定の条件を満たすのであれば、複数の被写体領域のいずれかを含まないトリミング画像が出力され、複数の被写体領域が所定の条件を満たさないのであれば、複数の被写体領域を含むトリミング画像が出力され、所定の条件は、少なくとも、複数の被写体領域が所定割合以上の重複を有さずに配置されていること、および、複数の被写体領域が予め定められた値よりも長い距離を領域間で有して配置されていること、のいずれか一つを含むことを特徴とする。

Claims (9)

1. 画像から被写体領域を特定する特定手段と、
   前記画像を用いて前記被写体領域を含むトリミング画像を出力する出力手段と、を有し、
   前記出力手段は、前記特定手段により複数の前記被写体領域が特定された場合に、前記複数の被写体領域の配置が所定の条件を満たすのであれば、前記複数の被写体領域を含むトリミング画像を出力し、前記複数の被写体領域の配置が前記所定の条件を満たさないのであれば、前記複数の被写体領域のそれぞれを含むトリミング画像を出力する
   ことを特徴とする画像処理装置。
2. 前記所定の条件は、前記複数の被写体領域が所定割合以上の重複を有して配置されていることであることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の条件は、前記複数の被写体領域が、予め定められた値よりも短い距離を領域間で有して配置されていることであることを特徴とする請求項１に記載の画像処理装置。
4. 前記出力手段は、前記特定手段により所定数以上の前記被写体領域が特定された場合に、前記所定数以上の被写体領域を含むトリミング画像を出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記出力手段は、前記複数の被写体領域が予め定められた被写体を示す領域でない場合に、前記複数の被写体領域の配置に関わらず、前記複数の被写体領域のそれぞれを含むトリミング画像を出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記予め定められた被写体が顔であることを特徴とする請求項５に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置と、
   前記画像を生成する撮像手段と、を有する
   ことを特徴とする撮像装置。
8. 画像から被写体領域を特定する特定工程と、
   前記画像を用いて前記被写体領域を含むトリミング画像を出力する出力工程と、を有し、
   前記出力工程では、前記特定工程において複数の前記被写体領域が特定された場合に、前記複数の被写体領域の配置が所定の条件を満たすのであれば、前記複数の被写体領域を含むトリミング画像が出力され、前記複数の被写体領域の配置が前記所定の条件を満たさないのであれば、前記複数の被写体領域のそれぞれを含むトリミング画像が出力される
   ことを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images