JP2009212929A - 画像トリミング範囲の評価方法、装置およびプログラム - Google Patents

Abstract

【課題】様々な角度からトリミング範囲を定量的に評価し、より適切なトリミング範囲の自動設定に資する。
【解決手段】総合評価部６が、各種の最適化アルゴリズム（ＰＳＯ、遺伝的アルゴリズム、タブーサーチなどのその他のメタヒューリスティック手法）に従って任意に生成した各トリミング領域Ｒ_Ｔにつき、各スコアＣＰ（Ｒ_Ｔ）、ＲＯＩ（Ｒ_Ｔ）、ＶＣ（Ｒ_Ｔ）、ＣＳ（Ｒ_Ｔ）を求め、評価スコア算出部７がこれを重みづけ加算した総合評価値ＴＳ（Ｒ_Ｔ）を算出する。そして、トリミング範囲最適化部８が当該最適化アルゴリズムに従い、総合評価値ＴＳ（Ｒ_Ｔ）の最適解である最適なトリミング領域Ｒ_Ｔ（ｏｐｔ）を導出する。
【選択図】 図１

Description

本発明は最適な画像トリミング範囲の評価に関する。

非特許文献１では、構図サブモデル、保存サブモデル、および罰サブモデルの３つのサブ評価モデルを構築することにより、画像領域範囲を評価して、最適なトリミング範囲を探索する。すなわち、顔の位置分布による構図評価や、注目領域に対する保存性評価、顔領域に対する罰評価などの定量的評価により、最適なトリミング範囲を探索する。

特許文献１では、顔、高彩度領域、水平線などのオブジェクトを用いて、予め構築した画像構図に関するルールに基づき、画像範囲を選択して画像をクロッピングする。
Li-Qun Chen, Xing Xie, Xin Fan, Wei-Ying Ma, Hong-Jiang Zhang, He-Qin Zhou, "A visual attention model for adapting images on small displays", Multimedia Systems(2003), pp.353-364. US7,133,571 B2

非特許文献１は、空、地面、消失点、高彩度領域などの興味領域（ＲＯＩ）に関する評価や、注目領域を用いた視覚一致性に関する評価などに対応していない。

特許文献１は、予め決めた構図ルールによりクロッピングを行うため、定量的に評価して最適な画像範囲を設定することに対応していない。

本願発明は、様々な角度からトリミング範囲を定量的に評価し、より適切なトリミング範囲の自動設定に資することを目的とする。

本発明に係る画像トリミング範囲の評価方法は、所望の画像を入力するステップと、入力された画像のトリミング範囲を設定するステップと、画像の主要被写体を識別し、識別された主要被写体とトリミング範囲との位置関係に基づいてトリミング範囲の構図を評価する構図評価値を算出するステップと、画像の興味領域を識別し、識別された興味領域とトリミング範囲との位置関係に基づいてトリミング範囲を評価する興味領域評価値を算出するステップと、画像の注目領域を識別し、識別された注目領域とトリミング範囲との位置関係に基づいてトリミング範囲における注目領域の一致性を評価する視覚一致性評価値を算出するステップと、画像の所定のオブジェクトを抽出し、所定のオブジェクトとトリミング範囲との包含関係に応じてトリミング範囲における所定のオブジェクトの保存性を評価する保存性評価値を算出するステップと、構図評価値と、興味領域評価値と、視覚一致性評価値と、保存性評価値とに基づき、トリミング範囲の総合評価値を算出するステップと、を含む。

構図評価値を算出するステップでは、三分割法に従って構図評価値を算出してもよい。

興味領域評価値を算出するステップでは、画像の三分割線と興味領域との最短距離に応じて興味領域評価値を算出してもよい。

視覚一致性評価値を算出するステップでは、画像の注目領域を識別し、識別された注目領域の中心位置とトリミング範囲の中心位置の一致性に応じて視覚一致性評価値を算出してもよい。

保存性評価値を算出するステップでは、トリミング範囲における所定のオブジェクトの専有面積比率に応じて保存性評価値を算出してもよい。

興味領域は、高彩度領域、消失点、空および地面のうち少なくとも１つを含む。 注目領域は、画像中で最大の情報量を有する領域を含む。

所定のオブジェクトは、人物の顔または人体を含む。

総合評価値を最適化するようなトリミング範囲を探索するステップを含んでもよい。

本発明に係る画像トリミング範囲の評価装置は、所望の画像を入力する手段と、入力された画像のトリミング範囲を設定する手段と、画像の主要被写体を識別し、識別された主要被写体とトリミング範囲との位置関係に基づいてトリミング範囲の構図を評価する構図評価値を算出する手段と、画像の興味領域を識別し、識別された興味領域とトリミング範囲との位置関係に基づいてトリミング範囲を評価する興味領域評価値を算出する手段と、画像の注目領域を識別し、識別された注目領域とトリミング範囲との位置関係に基づいてトリミング範囲における注目領域の一致性を評価する視覚一致性評価値を算出する手段と、画像の所定のオブジェクトを抽出し、所定のオブジェクトとトリミング範囲との包含関係に応じてトリミング範囲における所定のオブジェクトの保存性を評価する保存性評価値を算出する手段と、構図評価値と、興味領域評価値と、視覚一致性評価値と、保存性評価値とに基づき、トリミング範囲の総合評価値を算出する手段と、を含む。

上記の画像トリミング範囲の評価方法をコンピュータに実行させるプログラムも本発明に含まれる。このプログラムは、ＤＶＤやＣＤＲＯＭなどの着脱可能な記録媒体に記録されて供与されてもよいし、ＲＯＭやハードディスクのような内蔵記録媒体に記録されてもよいし、ネットワーク経由で供与してもよい。

本発明によると、構図評価値、興味領域評価値と、視覚一致性評価値と、保存性評価値という４つの評価値を用いて総合評価値を算出するから、これにより様々な角度からトリミング範囲を定量的に評価でき、より適切なトリミング範囲の自動設定に資する。

図１は、本発明の好ましい実施形態に係る自動トリミング装置の概略構成図である。自動トリミング装置は、画像入力部１、構図評価部２、ＲＯＩ評価部３、視覚一致性評価部４、保存性評価部５、総合評価部６、評価スコア出力部７、トリミング範囲最適化部８、トリミング部９を含む。

画像入力部１は、ネットワークアダプタ、ＵＳＢポート、メディアインタフェースなどからなり、カメラつき携帯電話その他の外部の通信機器、デジタルカメラ、可搬性記録媒体などから、画像データを入力する。

構図評価部２、ＲＯＩ評価部３、視覚一致性評価部４、保存性評価部５、総合評価部６、評価スコア出力部７、トリミング範囲最適化部８、トリミング部９は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクなど、データ演算に必要な各種装置からなる。これらの各部、あるいは自動トリミング装置そのものが、１または複数のパソコンで構成されてもよい。また、これら各部のデータ演算の手順を規定するコンピュータプログラムを記録した記録媒体（ハードディスク、ＲＯＭ、ＣＤＲＯＭなど）も自動トリミング装置に備えられていか装着可能である。

構図評価部２は、トリミング領域の中心点や三分割線の交点などの位置情報を参照して主要被写体の位置に関する合理性を示す値（構図評価値）を算出する。

ＲＯＩ評価部３は、トリミング領域の三分割線を基準にして、空、地面、消失点、高彩度領域などの興味領域（ＲＯＩ；Region of Interest）に関する妥当性を示す値（ＲＯＩ評価値）を算出する。

視覚一致性評価部４は、まず、人間の注目メカニズムを模倣した「Saliency map（顕著度マップ）」を作成する。そして、ズーム枠のように予め定められたサイズの枠を用いて、最大情報量を持つ位置を探し、探し出された領域（注目領域）の中心位置と、トリミング領域の中心位置とを比較して、トリミング領域の位置の合理性を示す値（視覚一致性評価値）を算出する。

保存性評価部５は、画像の重要なオブジェクト（例えば人物の顔や人体など、自動的に検出された重要領域）がトリミング領域でカバーされている割合を示す値（保存性評価値）を算出する。

総合評価部６は、構図評価値、ＲＯＩ評価値、視覚一致性評価値、および保存性評価値に基づき、トリミング範囲の総合評価値を算出する。具体的には、構図評価値、ＲＯＩ評価値、視覚一致性評価値、および保存性評価値を重みづけ加算した値を総合評価値とする。

すなわち、Ｒ_Ｔを任意に設定されたトリミング領域、ＣＰ（Ｒ_Ｔ）、ＲＯＩ（Ｒ_Ｔ）、ＶＣ（Ｒ_Ｔ）、ＣＳ（Ｒ_Ｔ）をそれぞれＲ_Ｔに対する構図評価値、ＲＯＩ評価値、視覚一致性評価値、および保存性評価値、α、β、μ、ηをそれぞれＣＰ（Ｒ_Ｔ）、ＲＯＩ（Ｒ_Ｔ）、ＶＣ（Ｒ_Ｔ）、ＣＳ（Ｒ_Ｔ）に対する重みとすると、総合評価値ＴＳ（Ｒ_Ｔ）は、
ＴＳ（Ｒ_Ｔ）＝α×ＣＰ（Ｒ_Ｔ）＋β×ＲＯＩ（Ｒ_Ｔ）＋μ×ＶＣ（Ｒ_Ｔ）＋η×ＣＳ（Ｒ_Ｔ）・・・（１）
となる。各評価値の重みα、β、μ、ηは、経験的に定められる。つまり、どの評価値を重視するかにより、重みの値を変える。

構図評価部２は、後述する各種手法で検出された主要被写体の中心位置Ｍ_Ｃが、図２に示すようなトリミング領域Ｒ_Ｔの中心位置Ｃまたは中心線と三分割線との交点Ｇなどの参照点との距離を計算し、この距離を変数とし、この距離が小さいほど高い値を出力するような関数を用いて、構図評価値ＣＰ（Ｒ_Ｔ）を算出する。ここで、参照点は次のようなルールによって定めるとよい。

（１）大きいまたは小さいサイズの主要被写体の場合、点Ｃを参照点とする。これは例えば、人物被写体の顔をアップで撮影する場合や、周囲の背景を含めて人物を撮影する場合、主要被写体である人物の顔は、中央部分に集まるとより見栄えがよいと考えられるからである。

（２）中程度のサイズの主要被写体の場合、点Ｇを参照点とする。これは例えば、人物被写体の全身を縦撮りする場合（ポートレート）、主要被写体である人物の顔は、中央部分より少し上に位置するとより見栄えがよいと考えられるからである。

つまり、主要被写体のサイズ判断に応じて参照点を決める。その他、参照点は、黄金分割点などとしてもよく、適宜なしうる。

ＲＯＩ評価部３は、空、地面、消失点、高彩度領域のような興味領域（ＲＯＩ）の評価値を算出する。具体的には、ＲＯＩ領域Ｒ_Ｔの三分割線（Ｈ３_１、Ｈ３_２、Ｖ３_１、Ｖ３_２）（図２参照）と興味領域との最短距離の算出し、この最短距離を変数とし、この最短距離が小さいほど高い値を出力するような関数（例えばｅ^−ｘ）を用いて、ＲＯＩ評価値を算出する。あるいは、興味領域とトリミング領域Ｒ_Ｔとの重複度が高いほど高い値を出力するような関数を用いて、ＲＯＩ評価値を算出する。最短距離が小さいほど高い値を出力しかつ重複度が高いほど高い値を出力するような関数を用いてもよい。

視覚一致性評価部４は、後述する手法により注目領域Ｒ_Ａを抽出した上、トリミング領域Ｒ_Ｔの中心位置Ｃと注目領域Ｒ_Ａとの位置ずれの指標を求め、この位置ずれの指標に基づいて、視覚一致性の評価スコアＶＣ（Ｒ_Ｔ）を求める。

保存性評価部５は、図３（ａ）に例示する顔と人体領域を対象として、保存性の評価を行う。これは例えば、トリミング領域に包含されている領域と主要被写体の顔領域との比率、ないしトリミング領域に包含されている領域と人体領域との比率を算出し、これを保存性のスコアＣＳ（Ｒ_Ｔ）とする。

以上のような４つの評価モデルの結果を統合して、最終的な評価スコアを計算する。図３（ｂ）は、このような評価モデルで複数のトリミング範囲をスコアで評価する結果の一例を示す。図３（ｂ）の画像上に線で表示している枠は、トリミングの範囲を示し、同図下部の数は、トリミングのスコアを表示している。ここでは、実線のトリミング範囲が最もスコアが高い。

注目領域抽出は、光学ズームと類似の考えである。多くの人間視覚に関する実験により、人間の注目位置が、オブジェクトやオブジェクトパーツ、オブジェクトグループと関連しており、これらのオブジェクトを認識する前に、どうやって注目されるのかが課題になっている。視覚処理のための注目メカニズムの関連研究が、１９８０年代から始まり、コンピュータ処理技術、計算技術、コンピュータビジョン技術の発展に伴い、１９９０年代の中期から、大きく進歩してきた。現在、多くの研究では、KochとUllmanに提案された”saliency map-based model of bottom-up attention”のモデルをベースにして、様々な研究提案を展開している。この構築手法については、基本的に、輝度値、方向性、色彩などの要素特徴の抽出と統合により、”saliency map（顕著度マップ）”を作成する。

人の視覚システムに関する知見を用いると，画像のどの部分が人の注意を引き、どの部分が注意を引かないかを調べることができる。このような、人の視覚注意の引く強さを表すマップとして顕著度マップは用いられる。

最近の脳科学研究の発展により，人の低レベルにおける視覚システムにおいては、オブジェクトのエッジを検出したり，あるいは線の方向を検出するなどの、低レベルな画像処理が行われていることがわかってきている。 顕著度マップは、その知見に基づいて， 人の目が画像のどのあたりに注目するかを示すもので、 明るい部分がより人の視覚注意を引きやすい部分に対応する。 顕著度マップは，実際には、画像の輝度値、色彩、方向性に対してそれぞれ計算されたマップを合成することで計算することができる。

本願では、最適なトリミング範囲を探索する目的で、顕著度マップを利用した注目領域の抽出について提案する。

具体的には、注目領域の抽出が、顕著度マップの算出と、最大注目値を持つ注目領域の検出のような２つのステップで行う。まず、顕著度マップの算出では、図４に示すように、マルチ解像度の画像空間の中で行う。図４（ａ）に示す解像度レベルＬの画像上で、ある任意の画素ｘにおいて、ある大きさの隣接領域Ｒ（図では３×３画素）の中に位置するある画素ｙとの間で、図４（ｂ）に示すようなマスクを利用して、両画素ｘ、ｙの特徴量の類似性（例えば、輝度値、色彩および方向性）を計算する。

図５は、以上のような手法により求めた顕著度マップの結果の一例を示す。

なお、注目領域の検出手法は上記に限定されず、その他、本出願人による特開２００７−２５８８７０号公報に示されるように、オブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、該算出された注目度が所定の閾値以上であるオブジェクトを含む領域を注目領域として検出してもよい。

次に、以上のように求めた顕著度マップを用いて、最大情報量を持つ領域を探索する。本願では、図６に例示するようなズームファクターを設けて、それに合わせて得られる枠を利用して、注目領域を探索する。注目領域を探索する際に、あるズームファクターにより決めたサイズの枠の中に位置する画素位置での注目値の和を枠のサイズで割って得られたスコアを、枠の注目値とする。そして、顕著度マップから、最大の注目値を持つ枠の位置を求めて、注目領域として抽出する。図７は、５つのズームファクターにより決めたサイズの枠を用いて、それぞれ検出した注目領域の結果の一例を示す。図８は、予め決めたズームファクターにより決めたサイズの枠を用いて検出した注目領域の結果の一例を示す。

以下、上述の定量化評価モデルを用いて、最適なトリミングの位置と範囲を決める手法の一例を説明する。

概要を説明すると、最適なトリミング範囲の探索用の枠のサイズと初期位置を決め、式（１）により総合評価値を計算することを所定回数繰り返し、最大値を持つ（式（１）を最適化する）枠の位置を探索する。

まず、探索用の枠のサイズの選択を行う。まず、ランダムに枠を生成し、その中から、Ｒｆ×（ｎ−１）／ｎ＞ｈｆ＞１／２×Ｒｆ，または，Ｒｗ×（ｎ−１）／ｎ＞ｗｆ＞１／２×Ｒｗの条件を満たすサイズ（ｗｆ，ｈｆ）を選ぶ（ｎはランダムに生成される自然数）。これにより、基準の大きさに満たない枠で枠の位置が探索されるという無駄が防げる。

次に、上記条件に合致するものとして選択された枠のサイズを、予め定められたアスペクト比（例えば画像の縦横比率）に合致するよう、枠のサイズを修正する。例えば図９に示すような、枠Ｌ１、Ｌ２、Ｌ３は、画像の縦横スケールを保つために、サイズが所定のアスペクト比に合うよう修正された枠である。広さが高さより大きければ、広さを保ちながら、高さを修正する。そうでなければ、高さを保ちながら、画像の縦横比率になるように広さを修正する。当然ながら、こうすると枠サイズの修正が効率的である。

次に、探索の初期位置の選択を行う。探索の初期位置の選択では、ランダムに、図８に示すような画像の４つの角にある輝度領域（大きさはws×hs；wsとhsは経験的に定められ、例えばws 、hsはそれぞれ、画像の幅あるいは高さの１／５〜１／６など）と中心にある輝度領域（大きさは角領域と重複しない範囲の任意の値）の中から、ランダムに選択された１つの領域範囲の中で、ランダムに一か所を指定する。ここでは、４つの角領域Ｃ１〜Ｃ４のうちいずれか１つが選択されれば、枠の角を当該選択された角領域Ｃ１〜Ｃ４にそれぞれ対応させ、中心領域Ｏが選択されれば、枠の中心を当該選択された中心領域Ｏに対応させる。つまり、選択された領域においてランダムに指定された位置に、枠の対応する位置（枠の４つ角、すなわち左上角、左下角、右上角、右下角のうちいずれか１つもしくは枠の中心）を合わせることで、枠の探索初期位置を決める。

図９では、枠Ｌ１の左上角が領域Ｃ１の指定位置に、枠Ｌ２の右下角が領域Ｃ３の指定位置に、枠Ｌ３の左下角が領域Ｃ２の指定位置にそれぞれ置かれることで、初期位置が設定されている。

ここで、最適化アルゴリズムとしてＰＳＯ（Particle Swarm Optimization）を用いる場合は、以上の初期位置に配置された枠（図９の例では、Ｌ１〜Ｌ３）をエージェント群（何らかの目的関数を最適化するような行動をとる粒子の群れ）として、総合評価値ＴＳ（Ｒ_Ｔ）の算出関数（１）を最適化するエージェント群の位置（本願では枠で囲まれるトリミング範囲）を、ＰＳＯ所定の数式（例えば特開２００６−０４８４７４号公報や特開２００６−２０９３３１号公報などに記載される周知のもの）によって修正していく。

当該修正は、総合評価値ＴＳ（Ｒ_Ｔ）が所定の閾値以上に達するか、所定の反復回数までエージェント群の位置が修正されるまで、繰り返し、ＴＳ（Ｒ_Ｔ）を最適化する枠の位置を探索する。

ここで、エージェント群の枠の初期位置が画像の四隅か中心に合うように決められているため、修正された位置の枠サイズが、探索中に画像外縁からはみ出ることはない。

定量化評価モデルを用いて各位置でのフィット値を計算することにより、最適解（枠の位置）を決める。ここでは、総合評価値が予め決めた閾値以上になるか、あるいはエージェント群の位置修正が予め決めた循環回数まで達したかによって、最適解の探索を停止させる。図１０および図１１は、以下のような手法で探索したトリミング領域（実線で表示する領域範囲）の探索結果例を示す。

以下、図１２のフローチャートを参照し、構図、ＲＯＩ、視覚一致性および保存性の４つの評価モデルを用いたトリミング領域の評価値算出処理の流れを説明する。この処理のうち、Ｓ１は画像入力部１が、Ｓ１１−Ｓ１３は構図評価部２が、Ｓ２１−２３は保存性評価部５が、Ｓ３１−Ｓ４３はＲＯＩ評価部３が、Ｓ５１−Ｓ５３は視覚一致性評価部４が、それぞれ実施するものとする。ただし、これらのステップをコンピュータに実施させるプログラムも本発明に含まれるため、当該プログラムが供与された情報処理装置であれば、図１の自動トリミング装置に限らず、どのような情報処理装置でも実施しうる。

Ｓ１で画像入力部１が画像を入力すると、Ｓ１１では、構図評価部２が、入力された画像から、画像を構成する各画素から複数の特徴量を抽出する。特徴量とは、例えば、画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量、画像のエッジの特徴を示すエッジ特徴量、画像の色の特徴を示す色特徴量などが挙げられる。

Ｓ１２では、構図評価部２が抽出された特徴量を有するオブジェクトを検出する。オブジェクトの検出方法としては、例えば、本出願人による特許公開２００５−６３３０９号公報に記載されるように、類似した画素特徴量毎に画素を分類し、画素の分類毎に領域分割して複数のクラスタリング領域を生成し、生成されたクラスタリング領域のうち最も画素数の少ない最小クラスタリング領域を抽出し、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域を抽出し、生成されたクラスタリング領域を統合して、オブジェクトを検出する。抽出するオブジェクトの種類としては、例えば、人物の顔、植物、地面、空、建築物（ランドマーク）等が考えられる。説明の簡略のため、ここでは、人物の顔を検出するものとする。

Ｓ１３では、構図評価部２が全体画像から検出されたすべての顔画像の大きさを算出して最も大きい顔画像を検出し、最も大きい顔画像の所定の割合（たとえば０．４倍）を設定しきい値とする。そして、この設定しきい値より小さい顔画像を顔画像として検出されなかったものとして除外し、残った顔画像を主要被写体とする。

Ｓ２１では、保存性評価部５が入力画像から色彩の特徴量を抽出し、Ｓ２２では色彩モデルを構築する。そして、Ｓ２３では、保存性評価部５が色彩モデルに基づいて人体領域を検出する。これは例えば、Ｓ１２で検出した顔領域を基準として、当該顔領域と同一人物の人体領域の存在領域を推定する。そして、推定された人体領域の存在領域の色彩情報を抽出し、人物ごとの色彩モデルを構築する。そして、推定領域における類似色彩領域を抽出し、それを人体領域とする。

あるいは、本出願人による特許公開２００８−９５７６号公報に記載されるように、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれると推測される推測領域を決定し、決定された推測領域中の人体領域を抽出し、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、人体領域の少なくとも一部が存在すると判断したとき、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出するようにしてもよい。

例えば、図３の例では、二人の人物の顔領域Ｘ１およびＸ２を基準に、当該人物の人体領域Ｙ１およびＹ２が抽出される。

Ｓ３１では、ＲＯＩ評価部３が入力画像からエッジ特徴量を抽出する。そして、Ｓ３２では、ＲＯＩ評価部３が上述のように抽出されたエッジ特徴量毎に画素を分類して、オブジェクトを検出する。Ｓ３３では、ＲＯＩ評価部３が検出されたオブジェクトから、空・地面領域を判別する。これは、例えば、白色や青色が支配的なオブジェクトを空、黄土色が支配的なオブジェクトを地面と判別する。

Ｓ３４では、ＲＯＩ評価部３が抽出された色特徴量から、高彩度領域を判別する。

Ｓ４１では、ＲＯＩ評価部３が入力画像に対して細線化処理、エッジ検出などの画像処理により、画像の方向成分の特徴量を算出する。Ｓ４２では、ＲＯＩ評価部３が算出された方向成分から、線分を検出する。そして、Ｓ４３では、検出された線分が集中している点、すなわち、消失点を算出する。

Ｓ５１では、視覚一致性評価部４が上述のように、画像の輝度値、色彩、方向性に対してそれぞれマップを計算し、Ｓ５２では、視覚一致性評価部４が計算されたマップを合成して顕著度マップを作成する。

Ｓ５３では、視覚一致性評価部４が顕著度マップに基づき、注目領域を抽出する。

Ｓ５８では、総合評価部６が、各種の最適化アルゴリズム（上述のＰＳＯの他、遺伝的アルゴリズム、タブーサーチなどのその他のメタヒューリスティック手法）に従って任意に生成した各トリミング領域Ｒ_Ｔにつき、各スコアＣＰ（Ｒ_Ｔ）、ＲＯＩ（Ｒ_Ｔ）、ＶＣ（Ｒ_Ｔ）、ＣＳ（Ｒ_Ｔ）を求め、評価スコア算出部７がこれを重みづけ加算した総合評価値ＴＳ（Ｒ_Ｔ）を算出する。そして、トリミング範囲最適化部８が最適化アルゴリズムに従い、総合評価値ＴＳ（Ｒ_Ｔ）の最適解である最適なトリミング領域Ｒ_Ｔ（ｏｐｔ）を導出する。

Ｓ５９では、トリミング範囲最適化部８が最適なトリミング領域Ｒ_Ｔ（ｏｐｔ）をトリミング部９に出力する。この後、トリミング部９がこの出力された最適なトリミング領域Ｒ_Ｔ（ｏｐｔ）に相当する画像領域を、入力画像から抽出する。

自動トリミング装置の概略構成図 主要被写体の中心位置Ｍ_Ｃ、トリミング領域Ｒ_Ｔの中心位置Ｃ、中心線と三分割線との交点Ｇの位置関係を例示した図 顔と人体領域の一例を示す図 顕著度マップの算出の概念説明図 顕著度マップの一例を示す図 ズームファクターに応じた注目領域の探索の様子を例示した図 複数のズームファクターにより決めたサイズの枠を用いて、それぞれ検出した注目領域の結果の一例を示す図 予め決めたズームファクターにより決めたサイズの枠を用いて検出した注目領域の結果の一例を示す図 画像の四隅または中央部を基準として初期位置に配置された枠の一例を示す図 トリミング領域の探索結果の一例を示す図 トリミング領域の探索結果の他の例を示す図 トリミング領域の評価値算出処理の流れを説明するフローチャート

符号の説明

１：画像入力部、２：構図評価部、３：ＲＯＩ評価部、４：視覚一致性評価部、５：保存性評価部、６：総合評価部、７：評価スコア算出部、８：トリミング範囲最適化部、９：トリミング部

Claims (11)

1. 所望の画像を入力するステップと、
   前記入力された画像のトリミング範囲を設定するステップと、
   前記画像の主要被写体を識別し、前記識別された主要被写体と前記トリミング範囲との位置関係に基づいて前記トリミング範囲の構図を評価する構図評価値を算出するステップと、
   前記画像の興味領域を識別し、前記識別された興味領域と前記トリミング範囲との位置関係に基づいて前記トリミング範囲を評価する興味領域評価値を算出するステップと、
   前記画像の注目領域を識別し、前記識別された注目領域と前記トリミング範囲との位置関係に基づいて前記トリミング範囲における前記注目領域の一致性を評価する視覚一致性評価値を算出するステップと、
   前記画像の所定のオブジェクトを抽出し、前記所定のオブジェクトと前記トリミング範囲との包含関係に応じて前記トリミング範囲における前記所定のオブジェクトの保存性を評価する保存性評価値を算出するステップと、
   前記構図評価値と、前記興味領域評価値と、前記視覚一致性評価値と、前記保存性評価値とに基づき、前記トリミング範囲の総合評価値を算出するステップと、
   を含む画像トリミング範囲の評価方法。
2. 前記構図評価値を算出するステップでは、三分割法に従って前記構図評価値を算出する請求項１に記載の画像トリミング範囲の評価方法。
3. 前記興味領域評価値を算出するステップでは、画像の三分割線と前記興味領域との最短距離に応じて前記興味領域評価値を算出する請求項１または２に記載の画像トリミング範囲の評価方法。
4. 前記視覚一致性評価値を算出するステップでは、前記画像の注目領域を識別し、前記識別された注目領域の中心位置と前記トリミング範囲の中心位置の一致性に応じて前記視覚一致性評価値を算出する請求項１〜３のいずれかに記載の画像トリミング範囲の評価方法。
5. 前記保存性評価値を算出するステップでは、前記トリミング範囲における前記所定のオブジェクトの専有面積比率に応じて前記保存性評価値を算出する請求項１〜４のいずれかに記載の画像トリミング範囲の評価方法。
6. 前記興味領域は、高彩度領域、消失点、空および地面のうち少なくとも１つを含む請求項１〜５のいずれかに記載の画像トリミング範囲の評価方法。
7. 前記注目領域は、前記画像中で最大の情報量を有する領域を含む請求項１〜６のいずれかに記載の画像トリミング範囲の評価方法。
8. 前記所定のオブジェクトは、人物の顔または人体を含む請求項１〜７のいずれかに記載の画像トリミング範囲の評価方法。
9. 前記総合評価値を最適化するような前記トリミング範囲を探索するステップを含む請求項１〜８のいずれかに記載の画像トリミング範囲の評価方法。
10. 所望の画像を入力する手段と、
    前記入力された画像のトリミング範囲を設定する手段と、
    前記画像の主要被写体を識別し、前記識別された主要被写体と前記トリミング範囲との位置関係に基づいて前記トリミング範囲の構図を評価する構図評価値を算出する手段と、
    前記画像の興味領域を識別し、前記識別された興味領域と前記トリミング範囲との位置関係に基づいて前記トリミング範囲を評価する興味領域評価値を算出する手段と、
    前記画像の注目領域を識別し、前記識別された注目領域と前記トリミング範囲との位置関係に基づいて前記トリミング範囲における前記注目領域の一致性を評価する視覚一致性評価値を算出する手段と、
    前記画像の所定のオブジェクトを抽出し、前記所定のオブジェクトと前記トリミング範囲との包含関係に応じて前記トリミング範囲における前記所定のオブジェクトの保存性を評価する保存性評価値を算出する手段と、
    前記構図評価値と、前記興味領域評価値と、前記視覚一致性評価値と、前記保存性評価値とに基づき、前記トリミング範囲の総合評価値を算出する手段と、
    を含む画像トリミング範囲の評価装置。
11. 請求項１〜９のいずれかに記載の画像トリミング範囲の評価方法をコンピュータに実行させるプログラム。

Images