JP2017208591A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】本発明は、入力された画像から構図を３次元的に探索することができる画像処理装置を提供することを目的とする。【解決手段】本発明によれば、入力画像から構図を探索する画像処理装置であって、入力画像から注目領域を抽出する注目領域抽出部と、仮想的なカメラで前記入力画像の前記注目領域を含む領域を撮影してなる仮想的な撮影画像の構図を注目構図として設定する構図設定部であって、該仮想的なカメラの所定のカメラパラメータを所定の探索範囲内で変更して複数の前記注目構図を設定する、構図設定部と、前記仮想的な撮影画像と目標とする構図を持つテンプレート画像の類似度に基づいて、該仮想的な撮影画像に対応する前記注目構図の評価値を算出する構図評価部と、前記評価値が最大となる前記注目構図を探索する構図探索部と、を含む、画像処理装置が提供される。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、入力される画像から抽出した注目領域や特徴量に基づいて、入力された画像から視覚的に優れた構図を探索する技術が種々提案されている。

この点につき、特許文献１は、画像から顕著性を抽出し、予め決められた構図の法則を提供して画像のクロッピングを行う技術を開示する。特許文献２は、注目領域を抽出し、絵画や写真から得た基準構図との相関を参照して画像をクロッピングする技術を開示する。特許文献３は、注目領域と不要領域を抽出し、注目領域を含み、不要領域を除いた構図を生成する技術を開示する。特許文献４は、主被写体の位置、興味領域の位置、注目領域の一致性、オブジェクトの保存性に基づいてトリミング範囲を評価する方法を開示する。特許文献５は、注目領域と背景領域のエッジに対して適応的に重みを設定し、構図のグリッドとの相関演算で構図の良否の評価を行う技術を開示する。

しかしながら、従来の技術は、専ら、入力された画像から視覚的に優れた構図を２次元的に探索するものでしかなかった。

本発明は、上記に鑑みてなされたものであり、入力された画像から構図を３次元的に探索することができる画像処理装置を提供することを目的とする。

本発明者は、入力された画像から構図を３次元的に探索することができる画像処理装置につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、入力画像から構図を探索する画像処理装置であって、入力画像から注目領域を抽出する注目領域抽出部と、仮想的なカメラで前記入力画像の前記注目領域を含む領域を撮影してなる仮想的な撮影画像の構図を注目構図として設定する構図設定部であって、該仮想的なカメラの所定のカメラパラメータを所定の探索範囲内で変更して複数の前記注目構図を設定する、構図設定部と、前記仮想的な撮影画像と目標とする構図を持つテンプレート画像の類似度に基づいて、該仮想的な撮影画像に対応する前記注目構図の評価値を算出する構図評価部と、前記評価値が最大となる前記注目構図を探索する構図探索部と、
を含む、画像処理装置が提供される。

上述したように、本発明によれば、入力された画像から構図を３次元的に探索することができる画像処理装置が提供される。

本実施形態の画像処理装置の機能ブロック図。 本実施形態の画像処理装置が実行する処理を示すフローチャート。 構図設定部が実行する処理を説明するための概念図。 構図テンプレートを示す図。 エッジ算出部が実行する処理を説明するための概念図。 Equirectangular形式（正距円筒図法）の画像を説明するための概念図。 構図設定部が実行する処理を説明するための概念図。 構図設定部が実行する処理を説明するための概念図。 リトルプラネットの構図テンプレートを示す図。 主要直線算出部が実行する処理を説明するための概念図。 構図評価部が実行する処理を説明するための概念図。 本実施形態の画像処理装置のハードウェア構成図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

本発明の実施形態である画像処理装置１００は、入力画像から視覚的に優れた構図を探索する機能を有する装置である。以下、図１に示す機能ブロック図に基づいて、本実施形態の画像処理装置１００の機能構成を説明する。

図１に示すように、画像処理装置１００は、画像入力部１０１と、注目領域抽出部１０２と、構図設定部１０３と、エッジ算出部１０４と、主要直線算出部１０５と、構図評価部１０６と、構図探索部１０７と、画像出力部１０８とを含んで構成される。

画像入力部１０１は、処理対象となる画像を入力する手段である。

注目領域抽出部１０２は、処理対象となる画像から注目領域を抽出する手段である。

構図設定部１０３は、仮想的なカメラで処理対象となる画像を撮影してなる仮想的な撮影画像の構図を注目構図として設定する手段である。

エッジ算出部１０４は、仮想的な撮影画像のエッジ情報を算出する手段である。

主要直線算出部１０５は、仮想的な撮影画像から算出されたエッジ情報に基づいて主要直線を算出する手段である。

構図評価部１０６は、仮想的な撮影画像と目標とする構図を持つテンプレート画像の類似度に基づいて、仮想的な撮影画像に対応する注目構図の評価値を算出する手段である。

構図探索部１０７は、評価値が最大となる注目構図を探索する手段である。

画像出力部１０８は、評価値が最大となった注目構図で処理対象となる画像を切り出して出力する手段である。

なお、本実施形態では、画像処理装置１００を構成するコンピュータが所定のプログラムを実行することにより、画像処理装置１００が上述した各手段として機能する。

以上、本実施形態の画像処理装置１００の機能構成について説明してきたが、続いて、画像処理装置１００が実行する処理の内容を図２に示すフローチャートに基づいて説明する。

まず、ステップ１０１では、画像入力部１０１が、任意の記憶手段から処理対象となる画像を読み込んで入力する。以下、入力した画像を“入力画像”という。

続くステップ１０２では、注目領域抽出部１０２が、入力画像から注目領域を抽出する。ここで、注目領域の抽出は、顔や人物などの物体を画像中から検出する物体検出または顕著性マップに基づいて行うことができる。顕著性マップに基づく注目領域の抽出は、例えば、L. Itti, et al., "A model of saliency-based visual attention for rapid scene analysis," IEEE Transactions on Pattern Analysis & Machine Intelligence 11 pp. 1254-1259, 1998.（非特許文献１）や、R. Zhao, et al., "Saliency detection by multi-context deep learning," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.（非特許文献２）が開示する方法によって行うことができる。なお、本実施形態において、“注目領域”とは、面積を有する領域のみならず、面積を有しない点（注目点）を含む概念である。

続くステップ１０３では、構図設定部１０３が、仮想的なカメラ（以下、仮想カメラという）で先のステップ１０２で抽出した注目領域を含む矩形の領域を撮影してなる仮想的な撮影画像（以下、仮想撮影画像という）の構図を“注目構図”として設定する。以下、注目構図を設定する手順を図３に基づいて説明する。

本実施形態では、まず、入力画像を撮影した実カメラの投影中心Ｏと共通の投影中心を有する仮想カメラを定義する。その上で、図３（ａ）に示すように、注目領域の重心を算出し、投影中心Ｏと仮想カメラの撮影面（以下、仮想カメラ撮影面という）の中心を通る光軸ａが注目領域の重心を通るような仮想カメラの３次元回転パラメータを求める。続いて、求めた３次元回転パラメータを使用して入力画像を透視投影変換することにより仮想撮影画像を生成する。本実施形態では、このとき得られた仮想撮影画像の構図を“基準構図”とする。

ここで、仮想カメラの３次元回転パラメータを求めるためには、入力画像を撮影した実カメラの内部パラメータ（焦点距離、光軸中心、レンズ歪み係数、画角など）が既知（校正済み）であることが前提となる。実カメラの内部パラメータが既知（校正済み）であれば、実カメラの投影中心Ｏから見た入力画像上の注目領域の重心の３次元方向を知ることができ、これにより、その光軸ａが注目領域の重心を通るために必要な仮想カメラの３次元回転パラメータが求まる。

なお、本実施形態においては、実カメラの内部パラメータを、入力画像のexifタグから取得しても良いし、Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 11, pp. 1330-1334, 2000.（非特許文献３）に開示されるような既知のカメラ校正法を用いて取得しても良い。また、実カメラの正確な内部パラメータを取得できない場合は、便宜的に、標準的な焦点距離（たとえば35mm版換算で50mm）を用いて、仮想カメラの３次元回転パラメータを求めるようにしてもよい。

なお、本実施形態においては、仮想カメラの３次元回転パラメータを探索する範囲（以下、探索範囲という）を予め設定しておく。具体的には、図３（ｂ）に示すように、投影中心Ｏと注目領域の重心を通る直線Ｌと仮想カメラの光軸ａのなす角度θがｄθ以内となる範囲を探索範囲として設定した上で、当該探索範囲内で角度θを離散化することにより、Ｎ個（Ｎは２以上の整数。以下同様。）の角度条件を予め定義しておく。

その上で、ステップ１０３では、Ｎ個の角度条件の中から順番に１つずつ角度条件を選択し、選択した角度条件を満たす仮想カメラの仮想撮影画像の構図を“注目構図”として設定する。なお、ステップ１０３では、仮想カメラの３次元回転パラメータ以外のパラメータ（焦点距離、画角等）を固定としておく。

続くステップ１０４では、先のステップ１０３で設定した注目構図に対応する仮想撮影画像の特徴量を算出する。本実施形態では、画像のエッジ情報を特徴量として算出することができる。その場合、エッジ算出部１０４は、先のステップ１０３で設定した注目構図に対応する仮想撮影画像の中で、画像のエッジ（画素値の変化点）を検出し、そのエッジ情報（エッジの強度と方向）を仮想撮影画像の特徴量として算出する。なお、エッジ検出は、ソーベルフィルタや微分演算の空間フィルタ（ガボールフィルタなど）を用いた既知の方法で行うことができる。

続くステップ１０５では、構図評価部１０６が、先のステップ１０４でエッジ情報を算出した注目構図について、その視覚的な優位性を評価する評価値を算出し、算出した評価値とその注目構図を対応付けて一時記憶手段に保存する。本実施形態においては、目標とする構図を持つテンプレート画像を予め用意しておき、当該テンプレート画像と仮想撮影画像の類似度に基づく評価値を所定の評価関数を用いて算出する。以下、本実施形態に適用可能な評価関数について説明する。

本実施形態では、下記式（１）に示す評価関数Ｊ_１を用いることができる。

上記式（１）に示す評価関数Ｊ_１は、注目領域が注目構図の中心に存在し、また、画像のエッジが水平となっている構図が高く評価されるように設計されている。

また、本実施形態では、下記式（２）に示す評価関数Ｊ_２を用いることができる。

上記式（２）において、e(i,j)は、評価の対象となる注目構図の位置(i,j)におけるエッジベクトルを示し、o(i,j)は、テンプレート画像の位置(i,j)におけるエッジベクトルを示す。ここで、エッジベクトルとは、水平・垂直方向の画素値の勾配を要素に持つ縦ベクトルであり、グレースケール画像の場合は２次元のベクトルとなり、ＲＧＢ画像の場合は６次元のベクトルとなる。

さらに、本実施形態では、下記式（３）に示すように、テンプレート画像のエッジベクトルo(i,j)と、注目構図のエッジベクトルe(i,j)の内積の和を評価関数Ｊ_３として用いることができる。

なお、上述した評価関数Ｊ_１、Ｊ_２、Ｊ_３は、いずれも構図の評価が高くなるほどその評価値の値が大きくなるように設計されている。

図４は、本実施形態に適用可能な６種類のテンプレート画像の構図（日の丸構図、三分割構図、水平構図、垂直構図、放射構図、斜線構図）を例示的に示す。本実施形態においては、１種類のテンプレートを用いて評価値を算出しても良いし、任意のＭ種類（Ｍは２以上の整数。以下同様）のテンプレートを用いてＭ個の評価値を算出しても良い。ただし、１つの仮想撮影画像（注目構図）に対して、Ｍ個の評価値を算出する場合、Ｍ個の評価値の中の最小値を当該注目構図の評価値とする。

なお、グレースケールの場合、水平構図、垂直構図および放射構図のテンプレート画像のエッジベクトルo(i,j)の具体的表現は、それぞれ、下記式（４）〜（６）のようになる。

ここで、上記式（６）において、cx、cyはそれぞれ構図の中心位置のx座標とy座標を示し、N(x)はスカラー倍によって引数ベクトルxのL2ノルムを1にする正規化作用素である。

以上、本実施形態に適用可能な評価関数について説明してきたが、上述した評価関数は例示であって、その他の距離尺度を用いた評価関数を採用しても良い。

続くステップ１０６では、構図探索部１０７が、予め設定した探索範囲内の全構図を探索したか否かを判断する。この時点では、探索すべき構図が残っているので（ステップ１０６、Ｎｏ）、処理は再びステップ１０３に戻る。

続くステップ１０３では、構図設定部１０３が、残った角度条件の中から選択された次の角度条件を満たす仮想カメラの仮撮影画像を新たな注目構図として設定し、続くステップ１０４で、エッジ算出部１０４が、設定した注目構図からエッジ情報を算出し、続くステップ１０５では、構図評価部１０６が、算出した仮撮影画像のエッジ情報とテンプレート画像のエッジ情報に基づいて、当該仮撮影画像に対応する注目構図の評価値を算出する。以降、探索範囲内の全ての構図を探索するまで（ステップ１０６、Ｎｏ）、ステップ１０３〜１０６を繰り返し実行する。

ここで、ステップ１０３〜１０６を繰り返し実行するにあたって、エッジ算出部１０４は、２巡目以降のステップ１０４において、１巡目のステップ１０４で算出したエッジ情報を３次元変換することによって、該当する注目構図に係るエッジ情報を算出することが好ましい。

具体的には、一つの撮像面で検出されたエッジは、３次元空間中では、図５に示すように、投影中心Ｏからの位置ベクトルとエッジの方向ベクトルの組で表現することができるので、２巡目以降のステップ１０４では、１巡目のステップ１０４で検出したエッジ（位置ベクトルと方向ベクトルの組）を、仮想カメラの３次元回転パラメータを用いて透視投影変換することにより、仮撮影画像のエッジ情報を直接的に算出することができる。この方法によれば、２巡目以降のステップ１０４において、仮撮影画像の生成とフィルタ処理が不要になるので、その分、計算コストが低減される。なお、この場合は、誤差を低減する観点から、１巡目のステップ１０４で、基準構図の仮撮影画像からエッジ情報を算出することが好ましい。

ステップ１０３〜１０６を繰り返し実行し、探索範囲内の全構図を探索を終えると（ステップ１０６、Ｙｅｓ）、処理はステップ１０７に進む。この時点でＮ個の注目構図とその評価値が一時記憶手段に保存されているので、ステップ１０７では、構図探索部１０７が、そのＮ個の評価値の中から最大の評価値を有する注目構図を決定する。

最後に、ステップ１０８では、画像出力部１０８が、先のステップ１０７で決定した注目構図で入力画像を切り出して出力する。具体的には、画像出力部１０８は、先のステップ１０７で決定した注目構図に対応する仮撮影画像（透視投影変換画像）を出力して、処理を終了する。

なお、これまで、仮想的カメラの３次元回転パラメータを所定の探索範囲内で変更することにより複数の注目構図を設定する態様を説明してきたが、本実施形態では、焦点距離、光軸中心、レンズ歪み係数、画角、並進といった、その他のカメラパラメータを所定の探索範囲内で変更することによって複数の注目構図を設定しても良い。

以上、説明したように、本実施形態によれば、注目領域を含む基準構図の近傍で仮想カメラのカメラパラメータを変動させることにより、入力画像が撮影された３次元空間における３次元的な回転・並進を考慮して構図を３次元的に探索することができる。これにより、例えば、一度撮影した画像の構図を変更して美観を向上させることなどが可能になる。また、本実施形態によれば、探索範囲を基準構図を中心とした所定の範囲に限定することによって、低い計算コストで構図を探索することが可能となる。

なお、本実施形態によれば、同様の手順で、パノラマ画像に代表されるような広角画像から視覚的に優れた構図を持つ部分画像を切り出すことが可能となる。以下、この点について説明する。

Equirectangular形式（正距円筒図法）は、主にパノラマ撮影に使われる画像の表現形式であり、図６に示すように、画素の３次元方向を緯度と経度に分解し、正方格子状に対応する画素値を並べた画像形式である。Equirectangular形式の画像からは、経度緯度の座標値から任意の３次元方向の画素値を得ることができ、概念的には、単位球に画素値がプロットされたものとして捉えることができる。

入力画像がEquirectangular形式の画像である場合、構図設定部１０３は、図７に示すように、仮想カメラの光軸が注目領域の重心を通る構図を基準構図として設定し、基準構図の近傍に探索範囲を設定し、その探索範囲内で仮想カメラのカメラパラメータを離散化してＮ個の候補構図を作成する。なお、探索するパラメータには、焦点距離、光軸中心、レンズひずみ係数、３次元回転の他に、投影中心Ｏを含めることができる。この場合、図８（ａ）、（ｂ）に示すように、探索範囲内で投影中心Ｏを変更することよって異なる候補構図を作成することができる。

構図設定部１０３は、Ｎ個の候補構図の中から１つずつ順番に注目構図を選択し、エッジ算出部１０４は、選択された注目構図の画像のエッジ情報（エッジの強度と方向）を算出し、構図評価部１０６は、算出したエッジ情報とテンプレート画像のエッジ情報を上述した評価関数に投入して、当該注目構図の評価値を算出する。入力画像がEquirectangular形式の画像の場合、図４に例示したテンプレート画像に加えて、図９に示すパノラマ画像に特有なリトルプラネットと呼ばれる構図を持つテンプレート画像を用いてもよい。なお、リトルプラネットの構図を持つテンプレート画像のエッジベクトルo(i,j)の具体的表現は、それぞれ、下記式（７）のようになる。

以上、説明したように、本実施形態によれば、Equirectangular形式などで表現される広角画像から視覚的に優れた構図の部分画像を低い計算コストでクロッピングすることが可能となる。

これまで、仮想撮影画像のエッジ情報を特徴量として構図を評価する態様について説明してきたが、本実施形態では、仮想撮影画像の主要直線を特徴量として構図を評価することもできる。その場合、先のステップ１０４（図２参照）では、主要直線算出部１０５が、先のステップ１０３（図２参照）で設定した注目構図に対応する仮想撮影画像からエッジ情報を算出し、算出したエッジ情報に基づいてハフ変換により主要直線を算出する。このとき、主要直線算出部１０５は、図１０に示すように、３次元空間において、検出した主要直線と投影中心Ｏを含む平面ｓを規定し、検出した主要直線を平面ｓの法線ベクトルとして表現する。

続くステップ１０５（図２参照）では、構図評価部１０６が、仮想撮影画像から算出した主要直線（法線ベクトル）と、テンプレート画像の主要直線に基づいて当該仮想撮影画像に対応する注目構図の評価値を算出する。ここで、本実施形態においては、直線に関する構図を持つテンプレート画像は、直線群の単位法線ベクトル群で表現されており、図１１に示すように、３次元空間中の単位球面で特定の分布を取る。本実施形態では、テンプレート画像の構図（ここでは、垂直構図を例示している）に係る直線群の分布と、注目構図を持つ仮想撮影画像から算出された主要直線の単位球面上での分布の類似度に基づく評価値を適切な評価関数を用いて算出する。本実施形態では、たとえば、単位球面上で分布間の積和を取る評価関数を用いても良いし、その際、特定の直線に対して重み付けを行っても良い。

このように、仮想撮影画像の主要直線を特徴量として用いて評価値を算出することにより、ノイズに対するロバスト性を向上させることができる。なお、仮想撮影画像の主要直線を算出する場合も、仮想撮影画像のエッジ情報を算出する場合と同様に、２巡目以降のステップ１０４（図２参照）では、１巡目のステップ１０４で算出した主要直線をカメラパラメータを用いて３次元変換して、該当する注目構図に係る主要直線を直接的に算出することにより、計算コストを低減することができる。なお、この場合も、誤差を低減する観点から、１巡目のステップ１０４で、基準構図の仮撮影画像から主要直線を算出することが好ましい。

最後に、図１２に基づいて本実施形態の画像処理装置１００を構成するコンピュータのハードウェア構成について説明する。

図１２に示すように、本実施形態の画像処理装置１００を構成するコンピュータは、装置全体の動作を制御するプロセッサ１０と、ブートプログラムやファームウェアプログラムなどを保存するＲＯＭ１２と、プログラムの実行空間を提供するＲＡＭ１４と、画像処理装置１００を上述した各手段として機能させるためのプログラムやオペレーティングシステム（ＯＳ）等を保存するための補助記憶装置１５と、外部入出力装置を接続するための入出力インタフェース１６と、ネットワークに接続するためのネットワーク・インターフェース１８とを備えている。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述されたプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの記録媒体に格納して頒布することができ、また他の装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…プロセッサ
１２…ＲＯＭ
１４…ＲＡＭ
１５…補助記憶装置
１６…入出力インタフェース
１８…ネットワーク・インターフェース
１００…画像処理装置
１０１…画像入力部
１０２…注目領域抽出部
１０３…構図設定部
１０４…エッジ算出部
１０４…構図評価部
１０５…主要直線算出部
１０６…構図評価部
１０７…構図探索部
１０８…画像出力部

特表２００４−５２０７３５号公報 特許３４８２９２３号公報 特開２００７−１５７０６３号公報 特開２００９−２１２９２９号公報 特許５７３１０３３号公報

Claims (15)

1. 入力画像から構図を探索する画像処理装置であって、
   入力画像から注目領域を抽出する注目領域抽出部と、
   仮想的なカメラで前記入力画像の前記注目領域を含む領域を撮影してなる仮想的な撮影画像の構図を注目構図として設定する構図設定部であって、該仮想的なカメラの所定のカメラパラメータを所定の探索範囲内で変更して複数の前記注目構図を設定する、構図設定部と、
   前記仮想的な撮影画像と目標とする構図を持つテンプレート画像の類似度に基づいて、該仮想的な撮影画像に対応する前記注目構図の評価値を算出する構図評価部と、
   前記評価値が最大となる前記注目構図を探索する構図探索部と、
   を含む、
   画像処理装置。
2. 前記画像処理装置は、
   前記仮想的な撮影画像のエッジ情報を算出するエッジ情報算出部を含み、
   前記構図評価部は、
   前記仮想的な撮影画像のエッジ情報と前記テンプレート画像のエッジ情報の類似度に基づいて前記評価値を算出する、
   請求項１に記載の画像処理装置。
3. 前記構図設定部は、
   その光軸が前記注目領域の重心を通る前記仮想的なカメラが撮影した前記仮想的な撮影画像の構図を基準構図として設定し、
   前記エッジ情報算出部は、
   前記基準構図を持つ前記仮想的な撮影画像から算出したエッジ情報を前記カメラパラメータを用いて３次元変換することにより複数の前記注目画像のエッジ情報を算出する、
   請求項２に記載の画像処理装置。
4. 前記画像処理装置は、
   前記仮想的な撮影画像から算出されたエッジ情報に基づいて主要直線を算出する主要直線算出部を含み、
   前記構図評価部は、
   前記仮想的な撮影画像から算出された主要直線と前記テンプレート画像の主要直線の類似度に基づいて前記評価値を算出する、
   請求項１に記載の画像処理装置。
5. 前記構図設定部は、
   その光軸が前記注目領域の重心を通る前記仮想的なカメラが撮影した前記仮想的な撮影画像の構図を基準構図として設定し、
   前記主要直線算出部は、
   前記基準構図を持つ前記仮想的な撮影画像から算出した主要直線を前記カメラパラメータを用いて３次元変換することにより前記注目画像の主要直線を算出する、
   請求項４に記載の画像処理装置。
6. 前記カメラパラメータは、
   焦点距離、光軸中心、３次元回転、並進およびレンズ歪み係数からなる群から選択される少なくとも１つのパラメータである、
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記注目領域抽出部は、
   物体検出または顕著性マップに基づいて前記注目領域を抽出する、
   請求項１〜６のいずれか一項に記載の画像処理装置。
8. 入力画像から構図を探索する方法であって、
   入力画像から注目領域を抽出するステップと、
   仮想的なカメラで前記入力画像の前記注目領域を含む領域を撮影してなる仮想的な撮影画像の構図を注目構図として設定するステップであって、該仮想的なカメラの所定のカメラパラメータを所定の探索範囲内で変更して複数の前記注目構図を設定する、ステップと、
   前記仮想的な撮影画像と目標とする構図を持つテンプレート画像の類似度に基づいて、該仮想的な撮影画像に対応する前記注目構図の評価値を算出するステップと、
   前記評価値が最大となる前記注目構図を探索するステップと、
   を含む、
   方法。
9. 前記方法は、
   前記仮想的な撮影画像のエッジ情報を算出するステップを含み、
   前記評価値を算出するステップは、
   前記仮想的な撮影画像のエッジ情報と前記テンプレート画像のエッジ情報の類似度に基づいて前記評価値を算出するステップを含む、
   請求項８に記載の方法。
10. 前記注目構図を設定するステップは、
    その光軸が前記注目領域の重心を通る前記仮想的なカメラが撮影した前記仮想的な撮影画像の構図を基準構図として設定するステップを含み、
    前記エッジ情報を算出するステップは、
    前記基準構図を持つ前記仮想的な撮影画像から算出したエッジ情報を前記カメラパラメータを用いて３次元変換することにより複数の前記注目画像のエッジ情報を算出するステップを含む、
    請求項９に記載の方法。
11. 前記方法は、
    前記仮想的な撮影画像から算出されたエッジ情報に基づいて主要直線を算出するステップを含み、
    前記評価値を算出するステップは、
    前記仮想的な撮影画像から算出された主要直線と前記テンプレート画像の主要直線の類似度に基づいて前記評価値を算出するステップを含む、
    請求項８に記載の方法。
12. 前記注目構図を設定するステップは、
    その光軸が前記注目領域の重心を通る前記仮想的なカメラが撮影した前記仮想的な撮影画像の構図を基準構図として設定するステップを含み、
    前記主要直線を算出するステップは、
    前記基準構図を持つ前記仮想的な撮影画像から算出した主要直線を前記カメラパラメータを用いて３次元変換することにより前記注目画像の主要直線を算出するステップを含む、
    請求項１１に記載の方法。
13. 前記カメラパラメータは、
    焦点距離、光軸中心、３次元回転、並進およびレンズ歪み係数からなる群から選択される少なくとも１つのパラメータである、
    請求項８〜１２のいずれか一項に記載の方法。
14. 前記注目領域を抽出するステップは、
    物体検出または顕著性マップに基づいて前記注目領域を抽出するステップを含む、
    請求項８〜１３のいずれか一項に記載の方法。
15. コンピュータに、請求項８〜１４のいずれか一項に記載の方法の各ステップを実行させるためのプログラム。