JP2010267180A - 画像処理装置、電子機器、及びプログラム - Google Patents

Abstract

【課題】注目被写体や背景が好適な位置になるような構図を判定できる画像処理装置、電子機器及びプログラム等の提供。
【解決手段】画像処理装置は、入力された画像の注目被写体領域と、注目被写体領域以外の背景領域のエッジの少なくとも一方に対して重みを付けた重み画像を作成する重み画像作成部と、グリッド線に対して重みを付けた構図グリッドを作成する構図グリッド作成部と、作成された重み画像と構図グリッドとに基づいて、入力された画像の構図評価演算を行う構図評価部を含む。
【選択図】図３

Description

本発明は、画像処理装置、電子機器、及びプログラム等に関係する。

カメラで写真を撮る際には、より良い構図で撮りたいというニーズがある。

例えば特許文献１には、画像の構図の良し悪しを判定し、その判定結果をユーザに提示する手法が開示されている。この特許文献１の手法では、三分割線の線上や交点に被写体が近いかどうかを基準として、構図を判定している。

また特許文献２には、画像から人物などの注目被写体（主要被写体）を検出し、三分割線の交点に注目被写体が位置するように画像をトリミングし、交点の数の分だけできる４枚の画像をユーザに提示して、好みの画像をユーザに選択させる手法が開示されている。

また特許文献３には、画像から顔・人体領域・空領域・消失点・高彩度領域を抽出し、空領域・消失点・高彩度領域の少なくとも１つ以上が含まれ、且つ三分割線の交点に人体領域が位置するように画像をトリミングする手法が開示されている。また、複数人の人物が検出される集合写真のような場合には、人物顔が画像の左右中央に位置するようにトリミングを行っている。

特開２００１−１６７２５３ 特開２００７−２９５２０３ 特開２００８−４２８００

しかしながら、特許文献１の手法は、画像全体での構図の良し悪しを判定するものであり、画像内のどの領域が良い構図かを決定する手法ではない。また、三分割線の線上に被写体が近いかどうかを評価基準としているものの、構図の良し悪しを判定する具体的な演算手法は提案されていない。

また特許文献２の手法は、人物などの注目被写体が三分割線の交点に位置する画像をユーザに提示するのみであり、その中で、どの構図がより好適であるかは考慮されていない。また、注目被写体と背景のバランスについても考慮されていない。

また特許文献３の手法では、人物以外の背景領域も利用しているが、空領域・消失点・高彩度領域というように、利用する対象を限定しているため、実世界に対応するのが難しい。また、背景領域はあくまでもそれらが含まれるように構図を決定するというだけであるため、人物と背景の両方の位置関係が好適になるように三分割線の位置が決定されるわけではないという課題がある。

本発明の幾つかの態様によれば、注目被写体や背景が好適な位置になるような構図を判定できる画像処理装置、電子機器及びプログラム等を提供できる。

本発明の一態様は、入力された画像の構図を評価する画像処理装置であって、入力された画像の注目被写体領域と、前記注目被写体領域以外の背景領域のエッジの少なくとも一方に対して重みを付けた重み画像を作成する重み画像作成部と、グリッド線に対して重みを付けた構図グリッドを作成する構図グリッド作成部と、作成された前記重み画像と前記構図グリッドとに基づいて、入力された画像の構図評価演算を行う構図評価部とを含む画像処理装置に関係する。また本発明の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、入力された画像の注目被写体領域及び背景領域のエッジの少なくとも一方に対して重みを付けた重み画像と、グリッド線に対して重みを付けた構図グリッドが作成される。そして、作成された重み画像と構図グリッドを用いて、入力された画像の構図評価演算が行われる。これにより注目被写体や背景が好適な位置になるような構図の判定や提示等が可能になる。また入力された画像の任意の位置等における構図評価の実現も可能になる。

また本発明の一態様では、前記構図評価部は、前記重み画像と前記構図グリッドの相関演算を行い、前記相関演算により構図評価値を算出してもよい。

このようにすれば、重み画像において重みが付けられた領域と構図グリッドにおいて重みが付けられた領域の一致を、相関演算により評価して、構図評価値を算出できるようになる。

また本発明の一態様では、前記重み画像作成部は、前記注目被写体領域に対して、前記背景領域のエッジに付けられた重みよりも大きな重みを付けた前記重み画像を作成してもよい。

このように注目被写体領域の重みを、注目被写体領域以外の背景領域の重みよりも大きくすることで、注目被写体領域をより重視した構図の評価演算を実現できる。

また本発明の一態様では、前記重み画像作成部は、入力された画像から人物が検出された場合に、人物の顔領域に対して、人物の胴体領域に付けられた重みよりも大きな重みを付けた前記重み画像を作成してもよい。

このように注目被写体が人物である場合に、人物の顔領域の重みを胴体領域よりも大きくすることで、人物の顔領域をより重視した構図の評価処理を実現できる。

また本発明の一態様では、前記重み画像作成部は、前記注目被写体領域の中心部に近いほど大きな重みを付けた前記重み画像を作成してもよい。

このように注目被写体領域の重みを、注目被写体領域の中心部に近いほど大きな重みとすれば、注目被写体領域の中心に近い領域をより重視した構図の評価処理を実現できる。

また本発明の一態様では、前記重み画像作成部は、入力された画像のエッジを抽出し、抽出されたエッジに対して平滑化処理を行って前記重み画像を作成してもよい。

このように、入力された画像から領域間等のエッジを抽出した後、エッジを平滑化した結果を用いて重みを付けるようにすれば、領域のエッジに近いほど大きな重みが付けられ、遠いほど小さな重みが付けられた重み画像を得ることができる。

また本発明の一態様では、前記構図グリッド作成部は、グリッド線に近いほど大きな重みを付けた前記構図グリッドを作成してもよい。

このようにグリッド線に近い座標ほど大きな重みを付ければ、グリッド線の線上をより重視した構図評価演算を実現できる。なお構図グリッドとしては、例えば三分割線、黄金分割線、或いは任意の座標に置かれた複数のグリッド線（線分）で構成されるユーザ設定の任意のグリッドを用いることができる。そしてユーザ設定の構図グリッドを用いれば、人の感性に合った、或いは個々の人の感性に合った構図グリッドを作成できるようになる。

また本発明の一態様では、前記構図グリッド作成部は、前記構図グリッドの交点に対して、前記交点以外の線上に付けられた重みよりも大きな重みを付けた前記構図グリッドを作成してもよい。

このように構図グリッドの交点（交点付近）に、交点以外の線上よりも大きな重みを付けるようにすれば、構図グリッドの交点をより重視した構図評価演算を実現できる。

また本発明の一態様では、前記構図評価部は、前記構図グリッドの交点に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線上に付けられた重みを用いた構図評価値の算出処理を行ってもよい。

このように構図グリッドの交点（交点付近）の重みを用いて構図評価値を算出し、構図評価値が所定閾値以上である場合に、グリッド線上の重みを用いて構図評価値を算出すれば、交点での構図評価値が低いと思われる場合に、処理時間の節約等が可能になる。

また本発明の一態様では、前記構図評価部は、グリッド線上に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線の周囲の領域に付けられた重みを用いた構図評価値の算出処理を行ってもよい。

このように構図グリッドのグリッド線上の重みを用いて構図評価値を算出し、構図評価値が所定閾値以上である場合に、グリッド線に沿って与えられたグリッド線の周囲の重みを用いて構図評価値を算出すれば、グリッド線上での構図評価値が低いと思われる場合に、処理時間の節約等が可能になる。

また本発明の一態様では、前記構図評価部は、入力された画像から人物の顔領域が検出された場合に、前記構図グリッドの複数の交点のうちのいずれかの交点を、検出された人物の顔領域の中心部に設定して、構図評価値を算出してもよい。

このように、入力された画像から人物の顔が検出された場合に、構図グリッドの交点のいずれか１つを、人物の顔領域の中心部に合わせ、その近辺の座標にて構図評価値を算出すれば、人物の顔を重視した構図評価演算を実現できる。また処理時間の節約等も可能になる。

また本発明の一態様では、前記構図評価部は、入力された画像から人物の顔領域が検出された場合に、検出された人物の顔領域のサイズに応じて前記構図グリッドのサイズを設定してもよい。

このようにすれば、入力された画像から人物の顔が検出された場合に、例えば人物の顔領域のサイズに比例するように構図グリッドのサイズを決定でき、人物の顔のサイズに対応した構図グリッドを得ることが可能になる。

また本発明の一態様では、前記構図評価部は、前記構図グリッドのサイズを変化させながら構図評価値を算出して、より大きな構図評価値が算出される前記構図グリッドのサイズを探索してもよい。

このようにすれば、構図グリッドのサイズを変化させながら構図評価値を算出し、より大きな構図評価値が算出される構図グリッドのサイズを探索できる。これにより、より構図評価値が高い構図グリッドのサイズが求めることができる。

また本発明の一態様では、前記構図評価部は、前記構図グリッドの複数の交点のうち、前記重み画像と前記構図グリッドの相関演算の相関値が最も高い交点をサイズの拡縮中心として、前記構図グリッドのサイズを変化させ、より大きな構図評価値が算出される前記構図グリッドのサイズを探索してもよい。

このようにすれば、構図グリッドの交点のうち、交点座標周辺の局所領域の相関が最も高い交点に座標を設定して、構図グリッドのサイズを探索することができ、構図評価値が高い構図グリッドのサイズを、より効率的に求めることが可能になる。

また本発明の一態様では、前記構図評価部は、前記構図グリッドを回転させながら構図評価値を算出して、より大きな構図評価値が算出される前記構図グリッドの回転角度を探索してもよい。

このようにすれば、構図グリッドを任意の回転角度で回転させながら構図評価値を算出し、より大きな構図評価値が算出される構図グリッドの角度を探索できるようになる。

また本発明の一態様では、前記構図評価部は、前記構図グリッドの複数の交点のうち、前記重み画像と前記構図グリッドの相関演算の相関値が最も高い交点を回転中心として、前記構図グリッドを回転させて、より大きな構図評価値が算出される前記構図グリッドの回転角度を探索してもよい。

このようにすれば、構図グリッドの交点のうち、交点座標周辺の局所領域において相関が最も高い交点を回転中心として、構図グリッドの回転角度を探索することができ、構図評価値が高い構図グリッドの回転角度を、より効率的に求めることが可能になる。

また本発明の一態様では、入力された第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する貼り合わせ画像作成部を含み、前記構図評価部は、作成された前記貼り合わせ画像から作成された前記重み画像と、前記構図グリッドに基づいて、構図評価演算を行ってもよい。

このようにすれば、望ましい構図範囲が画角範囲外にある場合等にも、好適な構図での構図評価演算を実現できる。

また本発明の一態様では、ユーザが注目被写体を設定するための注目被写体設定部を含み、前記重み画像作成部は、ユーザにより設定された注目被写体の領域に対して、他の被写体又は背景の領域に付けられた重みよりも大きな重みを付けた前記重み画像を作成してもよい。

このようにすれば、入力された画像において、任意に設定された注目被写体の領域が存在する場合に、重み画像において、当該領域の重みを他の被写体や背景の領域の重みより大きくすることが可能になり、ユーザが任意に設定した注目被写体を重視した構図評価演算を実現できる。

また本発明の一態様では、前記重み画像と前記構図グリッドを用いた構図評価演算の結果に基づいて、入力された画像の構図を決定し、決定された構図をユーザに対して提示する構図提示部を含んでもよい。

このようにすれば、ユーザは、入力された画像の好適な構図を知ることが可能になる。

また本発明の一態様では、前記構図提示部は、前記重み画像と前記構図グリッドを用いた構図評価演算の結果を、文字、グラフ及び画像エフェクトの少なくとも１つを用いてユーザに提示してもよい。

このように任意の座標における構図評価演算の結果を、文字、グラフ、及び画像エフェクトの少なくとも１つを用いてユーザに提示することが可能になり、ユーザは構図評価演算の結果を知ることができる。

また本発明の一態様は、上記のいずれかに記載の画像処理装置を含む電子機器に関係する。

図１（Ａ）〜図１（Ｃ）は好適な構図についての説明図。 本実施形態の画像処理装置、電子機器の構成例。 本実施形態の処理を説明するためのフローチャート。 重み画像の作成処理を説明するためのフローチャート。 図５（Ａ）〜図５（Ｄ）は重み画像の説明図。 構図グリッドの作成処理を説明するためのフローチャート。 図７（Ａ）〜図７（Ｃ）は構図グリッドの説明図。 構図グリッドを重み画像に重畳させた様子を示す図。 構図グリッドのサイズ、位置、回転角度の決定手法の説明図。 図１０（Ａ）〜図１０（Ｃ）は構図グリッドのサイズ、位置、回転角度の決定手法の説明図。 高速化手法における構図評価値の算出処理を説明するためのフローチャート。 高速化手法における構図グリッドの作成処理を説明するためのフローチャート。 図１３（Ａ）、図１３（Ｂ）は構図グリッドの位置を人物顔を基準に決定する手法の説明図。 図１４（Ａ）、図１４（Ｂ）は構図グリッドのサイズを人物顔を基準に決定する手法の説明図。 高速化手法における構図グリッドの位置・サイズ・回転角度の更新処理を説明するためのフローチャート。 図１６（Ａ）、図１６（Ｂ）は高速化手法における構図グリッドのサイズ、回転角度の更新処理の説明図。 貼り合わせ処理についての説明図。 作成された貼り合わせ画像の例。 貼り合わせ画像から構図を決定する処理の説明図。 貼り合わせ処理を説明するためのフローチャート。 貼り合わせ処理についての説明図。 本実施形態の画像処理装置、電子機器の第２の構成例。 本実施形態の第２の構成例の処理を説明するためのフローチャート。 図２４（Ａ）〜図２４（Ｃ）は構図評価演算の結果の提示手法の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成例
本実施形態では、入力された画像から、好適な構図となる画像内の矩形領域を求め、ユーザに提示する例について説明する。

まず、好適な構図の定義について図１（Ａ）〜図１（Ｃ）を用いて説明する。一般に、図１（Ａ）のように被写体が画像中央に写っている写真よりも、図１（Ｂ）のように被写体を画像中心からずらした写真の方が、好ましい構図であると言われている。被写体を好適な構図で撮影する指標として、図１（Ｃ）のようなグリッド線が良く用いられる。グリッド線としては、縦横をそれぞれ三分割して得られる三分割線、縦横を約１：１．６２に分割する黄金分割線などがある。分割線の交点や線上に注目被写体や背景のエッジを合わせると好適な構図を得ることができる。本実施形態では、このグリッド線を利用して、入力された画像の構図の好適度を評価する。また、最も好適になる画像内の矩形領域を求めてユーザに提示する。

図２に本実施形態の画像処理装置３０及びこれを含む電子機器の構成例を示す。図２の電子機器は、画像入力部２０、画像処理装置３０、操作部６０、記憶部７０、制御部８０、画像出力部９０、情報記憶媒体９８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

図２では電子機器として例えばデジタルカメラやビデオカメラなどの電子カメラを想定している。但し本実施形態は電子カメラに限定されず、例えばコンピュータ、携帯型情報端末、携帯電話機、携帯型ゲーム機等の種々の電子機器に適用できる。例えばパーソナルコンピュータのプログラムにより本実施形態の画像処理手法を実現して、パーソナルコンピュータの記憶部に保存された画像データを用いた構図評価演算を行うようにしてもよい。

画像入力部２０（画像取得部）は、画像処理の対象となる画像を入力（取得）するためのものであり、例えば電子カメラが備える撮像部などにより実現できる。撮像部は、レンズ等の光学系や、ＣＣＤやＣＭＯＳセンサなどの撮像素子などにより実現できる。なお画像入力部２０は、外部から画像データを無線又は有線で受信する通信部や、メモリーカードやＵＳＢなどのインターフェース処理を行う外部インターフェースにより実現してもよい。

画像処理装置３０は、本実施形態の種々の処理を行うものであり、その機能は、画像処理用ＩＣや、各種プロセッサ（ＣＰＵ）とソフトウェアとの組み合わせなどにより実現できる。本実施形態では画像処理装置３０は、入力された画像の構図を評価する処理などを行う。

操作部６０は、電子カメラを例にとれば、シャッター、各種操作ボタン、各種ダイアルなどにより実現されるものである。なおタッチパネルディスプレイにより操作部６０の機能を実現してもよい。

記憶部７０は、画像処理装置３０や制御部８０のワーク領域となるものであり、画像データ等の各種データを記憶する。記憶部７０の機能は、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。

制御部８０（制御装置）は、装置全体の制御処理を行うものであり、各種ＡＳＩＣやマイクロコンピュータなどのプロセッサにより実現できる。

画像出力部９０は、画像処理後の画像を出力するためのものであり、例えば電子カメラが備える表示部などにより実現できる。表示部は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネルにより実現されるものであり、スルー画像等のフレーム画像を表示する。

情報記憶媒体９８（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード、ＨＤＤ、光ディスク（ＣＤ、ＤＶＤ）、或いはＲＯＭ等のメモリなどにより実現できる。画像処理装置３０や制御部８０は、情報記憶媒体９８に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体９８には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

画像処理装置３０は、重み画像作成部３２、構図グリッド作成部３４、構図評価部３６、人物認識部３８、貼り合わせ画像作成部４０、構図提示部４２を含む。なおこれらの一部の構成要素（例えば人物認識部、貼り合わせ画像作成部、構図提示部等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

重み画像作成部３２は、重み画像の作成処理を行う。そして作成された重み画像のデータは記憶部７０に記憶される。

具体的には重み画像作成部３２は、入力された画像の注目被写体領域（人物、動物等の主要被写体の領域）や、注目被写体領域以外の背景領域（注目被写体以外の背景被写体の領域）のエッジ（境界）に対して重みを付けた重み画像を作成する。例えば、注目被写体領域の各ドット（各画素）や背景領域のエッジ（及びその周囲）の各ドットに対して重み値（重み係数値、重み画素値）が設定された重み画像を作成する。

なお例えば風景写真のように人物等の注目被写体が存在しない場合には、背景領域に対してのみ重み値を設定してもよい。或いは背景領域には重み値を設定せずに、注目被写体領域に対してのみ重み値を設定する変形実施も可能である。

重み画像作成部３２は、注目被写体領域に対して、背景領域のエッジに付けられた重みよりも大きな重みを付けた重み画像を作成してもよい。例えば注目被写体領域に設定される重み値（例えば平均値、代表値）をＷＰＳとし、背景領域のエッジに設定される重み値（平均値、代表値）をＷＢＫとした場合に、ＷＰＳ＞ＷＢＫの関係が成り立つように重み画像を作成する。なおＷＰＳとＷＢＫを等しくする変形実施も可能である。

また重み画像作成部３２は、人物認識部３８により入力画像から人物が検出された場合に、人物の顔領域に対して、人物の胴体領域に付けられた重みよりも大きな重みを付けた重み画像を作成してもよい。例えば人物の顔領域に設定される重み値（平均値、代表値）をＷＦＡとし、人物の胴体領域に設定される重み値（平均値、代表値）をＷＢＤとした場合に、ＷＦＡ＞ＷＢＤの関係が成り立つように重み画像を作成する。なおＷＦＡとＷＢＤを等しくする変形実施も可能である。

また重み画像作成部３２は、注目被写体領域の中心部に近いほど大きな重みを付けた重み画像を作成してもよい。例えば注目被写体が人物であり、人物の顔領域が検出された場合には、人物の顔領域の中心部に近いほど重み値を大きくし、顔領域の境界に近いほど重み値を小さくする。或いは人物の胴体が検出された場合には、胴体領域の中心部に近いほど重み値を大きくし、胴体領域の境界に近いほど重み値を小さくする。なお、顔領域や胴体領域に対して一定値の重み値を設定するようにしてもよい。また、本実施形態における中心部は、各領域の正確な中心座標である必要はなく、例えば各領域の中心を含むような領域であればよい。

また重み画像作成部３２は、入力された画像のエッジを抽出し、抽出されたエッジに対して平滑化処理を行って重み画像を作成してもよい。例えば入力画像に、エッジ抽出用のフィルタ処理を施すことでエッジ画像を抽出し、抽出されたエッジ画像に対して平滑化フィルタ処理を施すことで、エッジ及びその周囲の領域に重み値が設定された重み画像を作成する。

構図グリッド作成部３４は、構図グリッドの作成処理を行う。そして作成された構図グリッドのデータは記憶部７０に記憶される。

具体的には構図グリッド作成部３４は、グリッド線（線及び交点）に対して重みを付けた構図グリッドを作成する。例えば、グリッド線（及びその周囲）の各ドット（各画素）に対して重み値（重み係数値、重み画素値）が設定された構図グリッド（構図グリッド用重み画像）を作成する。この構図グリッドは例えば複数のグリッド線により構成される。具体的には、第１のグリッド線群（例えば横方向のグリッド線群）と、第１のグリッド線群に交差（例えば直交）する第２のグリッド線群（例えば縦方向のグリッド線群）により構成され、これらのグリッド線群の各グリッド線（及びその周囲）に対して重み値が設定される。

構図グリッド作成部３４は、グリッド線に近いほど大きな重みを付けた構図グリッドを作成してもよい。例えばグリッド線の座標に近いほど重み値を大きくし、グリッド線の座標から遠いほど重み値を小さくする。なおグリッド線上のドット及びその周囲のドットに対して一定値の重み値を設定するようにしてもよい。

また構図グリッド作成部３４は、構図グリッドの交点に対して、グリッド線のうち交点以外の線上に付けられた重みよりも大きな重みを付けた構図グリッドを作成してもよい。例えば構図グリッドの交点（グリッド線間の交点）に設定される重み値（平均値、代表値）をＷＣＰとし、交点以外の線上に設定される重み値（平均値、代表値）をＷＬＮとした場合に、ＷＣＰ＞ＷＬＮの関係が成り立つように構図グリッド（構図グリッド用重み画像）を作成する。なおＷＣＰとＷＬＮを等しくする変形実施も可能である。

構図評価部３６は構図評価演算を行う。具体的には、重み画像作成部３２により作成された重み画像と、構図グリッド作成部３４により作成された構図グリッドに基づいて、入力された画像の構図評価演算を行い、構図評価値（構図好適度、構図評価度）を算出する。例えば重み画像と構図グリッドの相関演算を行い、この相関演算により得られた相関値を、構図評価値として算出する。

ここで、構図評価部３６は、構図グリッドの交点に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線上に付けられた重みを用いた構図評価値の算出処理を行ってもよい。またグリッド線上に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線の周囲の領域に付けられた重みを用いた構図評価値の算出処理を行ってもよい。

例えば構図グリッドの交点の重み値を用いて算出された構図評価値が所定閾値（第１の閾値）よりも小さい場合には、グリッド線上（グリッド線のドット）の重み値を用いた構図評価値の算出処理を行わないようにする。そして、交点の重み値を用いて算出された構図評価値が所定閾値以上である場合に、グリッド線上の重み値を用いた構図評価値の算出処理を行う。

そしてグリッド線上の重み値を用いた算出された構図評価値が所定閾値（第２の閾値）よりも小さい場合には、グリッド線の周囲の領域（グリッド線のドットの周囲のドット）の重み値を用いた構図評価値の算出処理を行わないようにする。そして、グリッド線上の重み値を用いた算出された構図評価値が所定閾値以上である場合に、グリッド線の周囲の領域の重み値を用いた構図評価値の算出処理を行う。このようにすることで、無駄な処理が行われてしまう事態を防止でき、処理の全体的なスピードを高速化できる。

また構図評価部３６は、入力された画像から人物の顔領域が検出された場合に、構図グリッドの複数の交点（例えば４つの交点）のうちのいずれかの交点を、検出された人物の顔領域の中心部に設定して、構図評価値を算出してもよい。即ち構図グリッドの交点が人物の顔領域の中心に来るようにして構図評価値を算出する。或いは検出された人物の顔領域のサイズに応じて構図グリッドのサイズを設定してもよい。例えば顔領域のサイズが大きい場合には構図グリッドのサイズも大きくし、顔領域のサイズが小さい場合には構図グリッドのサイズも小さくする。

また構図評価部３６は、構図グリッドを回転させながら構図評価値を算出して、より大きな構図評価値が算出される構図グリッドの回転角度を探索（検索）してもよい。例えば構図グリッドを任意の角度範囲内の回転角度で回転させながら構図評価値を算出し、構図評価値が最大になる回転角度を求め、その回転角度を構図グリッドの回転角度とする。この場合に、構図グリッドの複数の交点のうち、重み画像と構図グリッドの相関演算の相関値が最も高い交点（構図評価値が最も高い交点）を求める。そしてその交点を回転中心として、構図グリッドを回転させて、より大きな構図評価値が算出される構図グリッドの回転角度を探索することが望ましい。

或いは構図評価部３６は、構図グリッドのサイズを変化させながら構図評価値を算出して、より大きな構図評価値が算出される構図グリッドのサイズを探索してもよい。例えば構図グリッドのサイズを、任意のサイズ範囲内で変化させながら、構図評価値を算出し、構図評価値が最大になるサイズを求め、そのサイズを構図グリッドのサイズとする。この場合に、構図グリッドの複数の交点のうち、重み画像と構図グリッドの相関演算の相関値が最も高い交点（構図評価値が最も高い交点）をサイズの拡縮中心として、構図グリッドのサイズを変化させる。そして、より大きな構図評価値が算出される構図グリッドのサイズを探索することが望ましい。

人物認識部３８は人物の認識処理を行う。即ち、入力された画像から画像認識により人物領域を検出する。なお、人物の顔領域の抽出処理としては、例えば「Paul Viola，Michael Jones，"Rapid Object Detection using a Boosted Cascade of Simple Features"，CVPR2001」に開示される、Haar-like特徴量とAdaBoost学習を用いたViola - Jonesの手法などがある。また、人物領域の抽出処理としては、「三井相和，山内悠嗣，藤吉弘亘，"Joint HOG特徴を用いた2段階AdaBoostによる人検出"，第14回画像センシングシンポジウム，IN1-06，2008」に開示される手法などがある。

貼り合わせ画像作成部４０は、貼り合わせ画像の作成処理を行う。例えば入力された第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する。そして構図評価部３６は、作成された貼り合わせ画像から作成された重み画像と、構図グリッドに基づいて、構図評価演算を行う。即ち、重み画像作成部３２が、貼り合わせ画像から重み画像を作成し、構図評価部３６は、作成された貼り合わせ画像の重み画像と構図グリッドの相関演算を行うことで、構図評価値を算出する。これにより、貼り合わせ画像の中の任意の矩形領域を、好適な構図の候補として抽出できる。

構図提示部４２は、ユーザに対する構図（構図候補）の提示処理を行う。例えば重み画像と構図グリッドを用いた構図評価演算の結果（構図評価値）に基づいて、入力された画像の好適な構図を決定し、決定された構図をユーザに対して提示する。例えば構図グリッドの大きさで囲まれた重み画像の矩形領域を、入力画像における好適な構図と決定し、その好適な構図位置をユーザに図示したり、構図の矩形領域のトリミングを行う。例えば最適な構図の矩形領域の指示画像を生成して、ユーザに表示する。

また構図提示部４２は、重み画像と構図グリッドを用いた構図評価演算の結果を、文字、グラフ及び画像エフェクトの少なくとも１つを用いてユーザに提示してもよい。即ち構図の好適度を、文字やグラフや画像エフェクトなどを用いて視覚的に分かるようにユーザに提示する。

２．本実施形態の手法
２．１ 全体処理
次に本実施形態の手法の詳細例について説明する。図３は本実施形態の全体的な処理の流れを示すフローチャートである。

まず、撮像部等の画像入力部２０から画像が入力され（ステップＳ１）、入力画像のデータは、一旦、記憶部７０に送られる。なお、入力画像のデータは、デジタルカメラの撮影待機中のスルー画用の画像データであってもよいし、ユーザによる撮影後の画像データであってもよい。

次に、人物認識部３８が、入力画像から画像認識により人物領域を検出する（ステップＳ２）。そして重み画像作成部３２が重み画像の作成処理を行う（ステップＳ３）。また構図グリッド作成部３４が構図グリッドの作成処理を行う（ステップＳ４）。

次に、構図評価部３６が、ステップＳ３で作成された重み画像と、ステップＳ４で作成された構図グリッドを用いて、構図評価値の算出処理を行う（ステップＳ５）。そして終了条件が満たされたか否かを判断し（ステップＳ６）、満たされていない場合には構図グリッドの位置・サイズ・回転角度の更新処理（変更処理）を行う（ステップＳ７）。そして、位置・サイズ・回転角度の更新後の構図グリッドと重み画像を用いて、再度、構図評価値の算出処理を行う（ステップＳ５）。そしてステップＳ６の終了条件が満たされた場合には、構図評価値に基づき決定された構図をユーザに提示する（ステップＳ８）。

２．２ 重み画像の作成処理
次に図３のステップＳ３の重み画像の作成処理の詳細について、図４のフローチャートを用いて説明する。

図４に示すように、重み画像の作成処理では、まず重み画像を用意する（ステップＳ１１）。そして、入力画像の人物領域に対応する重み画像の領域に対して重みを付ける処理を行う（ステップＳ１２）。また入力画像の背景領域に対応する重み画像の領域に対して重みを付ける処理を行う（ステップＳ１３）。

図５（Ａ）〜図５（Ｄ）に、入力画像と、入力画像に対応する重み画像の例を示す。図５（Ｂ）〜図５（Ｄ）に示すように、重み画像は、図５（Ａ）の入力画像と位置関係（人物や背景などの被写体の位置関係）が対応した係数マップである。この重み画像は入力画像と位置関係が対応していればよく、入力画像と同解像度（同ピクセル数）である必要はない。なお、重み画像の全ての重み値（係数値）は、その初期値がゼロになっている。

図５（Ｂ）は、入力画像の人物領域（広義には注目被写体領域）に重みを付けた重み画像の例である。この重み画像は、例えば図５（Ａ）の入力画像から人物領域を特定し、特定された人物領域に対して重み値を設定することで作成できる。ここで人物領域は、図３のステップＳ２において検出された領域であり、例えば顔領域と胴体領域が別々に定義されている。

そして図５（Ｂ）では、胴体領域よりも顔領域の方の重み付け（重み値）を大きくしている。また、顔領域及び胴体領域の各領域では、その中心部に近いほど重み値が大きくなっており、例えば中心部において重み値は最大になる。このような重み付けは、例えば各領域の中心座標を頂点とするガウシアン関数（ぼかし関数）などを利用することで実現できる。具体的には、人物領域に対して所定の重み値（例えば重み値＝２５５）が設定された画像（人物領域以外は例えば重み値＝０）を作成する。そして、この画像に対してガウシアンフィルタを施すことで、各領域の中心部に近いほど重み値が大きく、中心部から離れるにしたがって重み値が小さくなる重み画像を作成できる。

図５（Ｃ）は、入力画像の背景領域（人物以外の背景被写体の領域）に重みを付けた重み画像の例である。具体的には、背景被写体のエッジ（境界線）を抽出し、エッジに近いほど大きな重み付けとなり、エッジから遠いほど小さな重み付けになるようにする。これは、例えば背景領域からSobelフィルタでエッジを抽出し、抽出されたエッジに平滑化フィルタを施すことなどにより実現できる。また、画素領域を、色・テクスチャ情報などで統合してから、エッジを抽出することで、より精度を上げることが可能になる。例えば同じような色やテクスチャの領域を統合し、統合された領域のエッジを抽出するようにする。このようにすれば、統合前の領域間のエッジは抽出されず、統合後の領域のエッジだけが抽出されるようになるため、不要なエッジが抽出されてしまう事態を防止できる。

図５（Ｂ）の人物領域の重み画像と図５（Ｃ）の背景領域の重み画像を重ね合わせることで、図５（Ｄ）に示すような最終的な重み画像を作成できる。なお図５（Ｂ）〜図５（Ｄ）では、人物領域（注目被写体領域）での重み付けの方が、背景領域での重み付けよりも大きくなっている。こうすることで、人物の方が優先された構図評価演算を実現できる。

２．３ 構図グリッドの作成処理
次に、図３のステップＳ４の構図グリッドの作成処理の詳細について、図６のフローチャートを用いて説明する。

図６に示すように、構図グリッドの作成処理では、まず構図グリッドの種類を決定する（ステップＳ２１）。次に構図グリッドの重み付け処理を行う（ステップＳ２２）。そして、構図グリッドの位置・サイズ・回転角度の決定処理を行う（ステップＳ２３）。

図７（Ａ）〜図７（Ｃ）に構図グリッドの例を示す。構図グリッドは入力画像のサイズ以下の重み係数マップであり、複数の線分（グリッド線）により構成される。構図グリッドの線分の形態としては、一般に写真の構図決めに利用される三分割線や黄金分割線などがある。図７（Ａ）の構図グリッドでは、縦横がそれぞれ三分割される箇所にグリッド線を設定される。この構図グリッドの種類（三分割線、黄金分割線、ユーザが任意に設定した分割線等）は図６のステップＳ２１で決定される。

図６のステップＳ２２では、構図グリッドのグリッド線に沿って重みを付ける処理が行われる。具体的には、グリッド線上に近いほど大きな重みを付け、遠いほど小さな重みを付ける。また構図グリッドの交点には交点以外の線上よりも大きな重みを付ける。これにより図７（Ｂ）に示すような構図グリッドが作成される。

なお、座標ごとの重み値の大きさを立体的に図示すると図７（Ｃ）のようになる。図７（Ｃ）に示すように、グリッド線上のドットから遠ざかるにつれて重み値が小さくなっており、構図グリッドの交点の重み値はグリッド線の重み値よりも大きくなっている。

構図グリッドの重み付け処理の具体的な実現手法としては、重み画像の場合と同様に、グリッド線に沿ってガウシアン関数を使用して重み付けを行ってもよいし、グリッド線に沿って重み付けを与えた後に平滑化処理を行ってもよい。具体的には、グリッド線（グリッド線の領域）に対して所定の重み値が設定された画像を作成する。例えば構図グリッドの交点に対しては大きな重み値が設定され、交点以外の線上には小さな重み値が設定された画像を生成する。そして、この画像に対してガウシアンフィルタを施す。これにより、グリッド線上で重み値が最も大きく、グリッド線から離れるにしたがって重み値が小さくなり、且つ、交点の重み値が交点以外の線上の重み値に比べて大きくなる構図グリッドが作成される。

図６のステップＳ２３では、構図グリッドの位置・サイズ・回転角度の決定処理が行われる。ここでの位置・サイズ・回転角度とは、重み画像上に構図グリッドを重畳させたときの重み画像に対する構図グリッドの関係を示すものである。本実施形態では、構図グリッドの位置の初期値は、重み画像の原点（Ｘ＝０、Ｙ＝０）とし、サイズの初期値は重み画像と同サイズとし、回転角度の初期値は０度としている。

２．４ 構図評価値の算出処理等
次に図３のステップＳ５〜Ｓ８の詳細な処理例について説明する。

図３のステップＳ５では構図評価値の算出処理が行われる。この構図評価値の算出処理（広義には構図評価演算）は、重み画像と構図グリッドを利用して構図の好適度を算出する処理である。構図の好適度とは、重み画像と構図グリッドが重畳している矩形領域に対応する入力画像の矩形領域の好適度である。

図６のステップＳ２３で決定された位置・サイズ・回転角度で、構図グリッドを重み画像に重畳させた様子を、図８に示す。構図評価値（構図好適度）は、この位置・サイズ・回転角度における重み画像と構図グリッドの相関値を計算することで得ることができる。相関値の算出手法としては種々の手法を想定できるが（例えば「ディジタル画像処理」CG-ARTS協会の２０３頁参照）、ここでは下式（１）のように差の二乗和で計算されるＳＳＤを利用する。

上式（１）において構図グリッドのサイズをM×N（Ｍ×Ｎドット）とする。また構図グリッドの座標（ｉ，ｊ）における重み値をＧ（ｉ，ｊ）と表し、構図グリッドと重畳させた重み画像の座標（ｉ，ｊ）における重み値をＷ（ｉ，ｊ）と表す。

このような相関演算を行えば、重み画像と構図グリッドの重み位置が一致すればするほど、相関演算により得られる相関値である構図評価値は高くなり、構図好適度が高いと判断される。例えば重み値が大きい構図グリッドの交点が、同じく重み値が大きい人物顔の中心部と一致すると、構図評価値は高くなり、構図好適度が高いと判断される。或いは、重み値が設定されている構図グリッドのグリッド線が、同じく重み値が設定されている背景領域のエッジに一致すると、構図評価値は高くなり、構図好適度が高いと判断される。従って、構図好適度を相関演算処理により数値的に評価して判断できるようになる。なお、算出された構図評価値は、位置・サイズ・回転角度等の条件と共に記憶部７０に記憶しておく。

図３のステップＳ６では、構図評価値の算出処理の結果（構図評価演算の結果）が終了条件を満たすか否かを判定する。ここで終了条件は、予め定められている構図評価値の閾値や、構図評価値の算出回数などであり、目的によって変化する。例えば構図評価値が所定閾値以上になった場合や、構図評価値の算出回数が所定回数以上になった場合に、終了条件が満たされたと判定する。或いは構図評価値が極値になったと判断された場合に、終了条件が満たされたと判定してもよい。

なお図３では、終了条件が満たされるまで構図グリッドの位置・サイズ・回転角度の更新処理を行って、ステップＳ５、Ｓ６、Ｓ７の処理をループさせる反復処理を行っているが、このような反復処理を行わない変形実施も可能である。例えば入力画像の全体の構図評価値（標準的な構図グリッドを用いた場合の構図評価値）だけを算出したい場合には、反復処理を行わずにステップＳ８に移行する。一方、構図グリッドの位置・サイズ・回転角度を様々に変更して、入力画像から、好適な構図である部分領域を特定する場合には、ステップＳ５、Ｓ６、Ｓ７の反復処理を行って、終了条件が満たされた時にステップＳ８に移行する。

図３のステップＳ７では、構図グリッドの位置・サイズ・回転角度の更新処理を行う。即ち、構図グリッドの位置・サイズ・回転角度を、前回の位置・サイズ・回転角度から変更して、再度、ステップＳ５の構図評価値の算出処理を行う。例えば構図グリッドのサイズを縮小することで、構図グリッドの位置を移動できるようになるため、次は、構図グリッドのサイズはそのままにして、構図グリッドの位置を順次変えながら構図評価値を算出して行く。そして、画像のテンプレートマッチング（「ディジタル画像処理」CG-ARTS協会、２０３頁参照）の要領で、構図グリッドの各条件（位置・サイズ・回転角度の条件）での構図評価値を算出する。この様子を図９に示す。

そして所定閾値以上の構図評価値が算出されたり、構図評価値の算出処理の回数が所定回数以上になったり、構図グリッドのサイズが所定サイズ以下になった場合などの終了条件が満たされたりしたときに、この反復処理を終了する。

図３のステップＳ８では、算出された構図評価値に基づき決定された好適な構図をユーザに提示する。具体的には、構図提示部４２は、これまで算出した構図評価値と、その構図評価値に対応する条件（位置・サイズ・回転角度）を記憶部７０から読み出す。そして例えば図１０（Ａ）に示す構図グリッドの位置・サイズ・回転角度において、構図評価値が最も高くなったとすると、構図提示部４２は、図１０（Ｂ）、図１０（Ｃ）に示すように最も好適な構図位置を図示する画像を作成する。作成された画像は画像出力部９０に送られ、例えばカメラに備えられた表示部（ディスプレイ）に表示される。或いは、構図提示部４２は、作成した図１０（Ｂ）、図１０（Ｃ）の画像を、記憶部７０に送って、保存するようにしてもよい。

なお本実施形態では、構図グリッドとして三分割線を利用する例を示したが、ユーザ定義の任意の形態のグリッドを利用することも可能である。例えば、縦方向のグリッド線が上に向かって傾いているような構図グリッドを定義した場合、高いビル群を見上げるような画像から好適な構図を求めることが可能となる。

以上のように本実施形態によれば、入力画像の各領域に重みが付けられた重み画像と、グリッド線に重みが付けられた構図グリッドを用いて、構図評価演算が行われ、入力画像の構図の好適度が評価される。従って、例えば構図グリッドの位置やサイズや回転角度の設定により、入力画像の任意の領域での構図の好適度を算出することが可能になる。また、従来技術では複数の構図候補があった場合に優先順位をつける手法が示されていないが、本実施形態によれば、構図評価値を構図の好適度とすることで、より好適な構図をユーザに提供することが可能になる。

また本実施形態によれば、重み画像と構図グリッドの相関演算により構図評価値を算出することで、構図の好適度を客観的な数値として得ることができる。従って、この構図評価値に基づいて、より好適な構図を探索して、ユーザに提示することが可能になる。また、構図評価値を用いて、構図評価演算の結果を、文字やグラフや画像エフェクトでユーザに提示することも可能になる。

また本実施形態では、人物領域などの注目被写体領域と背景領域のエッジの両方に重みを付けた重み画像を作成し、構図グリッドとの相関演算を行えば、注目被写体領域と背景の両方が構図グリッドのグリッド線上で好適な位置になるような構図を得ることが可能になる。

なお本実施形態は、例えば人物の写っていない建築物や風景だけの画像にも適用可能である。即ち本実施形態によれば、画像内に人物が存在しない場合でも、背景領域の情報から好適な構図を得ることが可能になる。

２．５ 高速化手法
次に本実施形態の構図評価演算の高速化（効率化）手法について説明する。例えば図３を用いて説明した前述の手法では、構図グリッドの条件（位置・サイズ・回転角度）をしらみ潰しに変化させて、重み画像と構図グリッドにより構図評価値を算出していた。これに対して、以下に説明する本実施形態の高速化手法では、入力画像から得られる情報に基づいて、構図グリッドの各条件を限定しつつ計算を行う。なお、図３のステップＳ４の構図グリッド作成処理、ステップＳ５の構図評価値の算出処理、ステップＳ７の構図グリッドの位置・サイズ・回転角度の更新処理以外の処理については、前述の手法と同様であるため、ここでは説明を省略する。

図１１に、本実施形態の高速化手法における構図評価値の算出処理のフローチャートを示す。図１１は、構図グリッドの位置・サイズ・回転角度の条件が、特定の条件であった場合のフローチャートである。

まず、ステップＳ４１で構図グリッドの交点の領域のみを用いて重み画像との相関演算を行って、相関値である構図評価値を算出する。そしてステップＳ４２において、ステップＳ４１で算出された構図評価値（相関値）が所定閾値以上であると判断された場合には、構図グリッドの条件が好適な条件である可能性が高いと判断して、次のステップＳ４３に移行する。一方、所定閾値よりも小さい場合には、その時点で相関演算処理を打ち切り、ステップＳ４６に移行する。

ステップＳ４３では、構図グリッドの線上の領域において構図評価値を算出する。そしてステップＳ４４において、ステップＳ４３で算出された構図評価値が所定閾値以上であると判断された場合には、次のステップＳ４５に移行する。一方、所定閾値よりも小さい場合には、その時点で相関演算処理を打ち切り、ステップＳ４６に移行する。

ステップＳ４５では、構図グリッドの交点及びグリッド線の周囲の領域にて構図評価値を算出する。即ち図７（Ｂ）、図７（Ｃ）で説明したように、グリッド線からの距離に応じて段階的に重みが付けられた領域を用いて構図評価値を算出する。そして最後にステップＳ４６では、算出された構図評価値を、その条件での最終的な構図評価値とする。

このように図１１では、まずステップＳ４１において構図グリッドの交点に付けられた重みを用いた構図評価値の算出処理を行う。そして算出された構図評価値が所定閾値以上であることを条件に、ステップＳ４３に示すようにグリッド線上に付けられた重みを用いた構図評価値の算出処理を行う。そしてステップＳ４３で算出された構図評価値が所定閾値以上であることを条件に、ステップＳ４５に示すようにグリッド線の周囲の領域に付けられた重みを用いた構図評価値の算出処理を行う。

このようにすれば、構図評価値（相関値）が、あまり大きな値になりそうもない場合には、早々に処理を打ち切り、見込みのある場合にだけ最後まで計算を行うことで、計算速度の高速化を図れる。

図１２に、本実施形態の高速化手法における構図グリッドの作成処理のフローチャートを示す。ステップＳ５１、Ｓ５２は図６のステップＳ２１、Ｓ２２と同様であるため説明を省略する。

図１２のステップＳ５３では、構図グリッドの位置（構図グリッドを重み画像に重畳させる初期位置）を、人物顔の位置を基準に決定する。即ち、構図グリッドの複数の交点のいずかの交点が、人物顔の中心部（中心座標）に合うように構図グリッドの初期位置を決定する。つまり、構図グリッドのいずれかの交点を、検出された人物の顔領域の中心部に設定して、構図評価値を算出する。

例えば図１３（Ａ）では、入力画像の上方の領域に人物顔が検出されている。この場合には、構図グリッドの上方の２つの交点のいずれかが、人物顔の中心部に位置するように、構図グリッドの初期位置を決定する。また図１３（Ｂ）では、入力画像の下方の領域に人物顔が検出されている。この場合には、構図グリッドの下方の２つの交点のいずれかが、人物顔の中心部に位置するように、構図グリッドの初期位置を決定する。

図１２のステップＳ５４では、構図グリッドのサイズを人物顔のサイズを基準に決定する。即ち、入力画像において人物顔が占める領域の大きさが大きいほど構図グリッドのサイズが大きくなり、小さいほど構図グリッドのサイズが小さくなるようにする。つまり検出された人物顔のサイズに応じて構図グリッドのサイズを設定する。

例えば図１４（Ａ）では、入力画像において人物顔の占める領域の大きさが大きいため、構図グリッドの初期サイズも大きなサイズに設定する。一方、図１４（Ｂ）では、人物顔の占める領域の大きさが小さいため、構図グリッドの初期サイズも小さなサイズに設定する。

以上のように構図グリッドの初期位置、初期サイズを決定し、構図グリッドの位置やサイズについて予めあたりをつけておけば、構図グリッドの条件を更新しながら行う図３のステップＳ５、Ｓ６、Ｓ７の反復処理の回数を少なくできる。これにより処理の高速化・効率化を図れる。

なお、集合写真のように複数の人物顔が検出された場合には、一番手前側の人物顔の位置を基準に構図グリッドの位置を決定すればよい。即ち、一番手前側の人物顔の中心部に、構図グリッドの交点が位置するように構図グリッドの位置を決定する。或いは、後述するように、ユーザによる注目被写体の設定により、これを解決してもよい。また、構図グリッドの回転角度（角度）については、通常は初期回転角度＝０度にすればよいが、人物顔の検出の際に顔の傾き角度も検出された場合には、その傾き角度に合うように構図グリッドの初期回転角度を設定してもよい。

図１５に、本実施形態の高速化手法における構図グリッドの位置・サイズ・回転角度の更新処理のフローチャートを示す。

図１５のステップＳ６１では、構図グリッドの新しい位置を決定する。図１３（Ａ）、図１３（Ｂ）のように設定された初期位置において、構図評価値である相関値は、既にある程度高い値になっていることが期待できるため、ステップＳ６１では初期位置の周辺の位置のみを新しい位置として決定する。即ち前述の手法では、構図グリッドの位置をしらみ潰しに変化させて、図３のステップＳ５、Ｓ６、Ｓ７の反復処理を実行していた。これに対して本実施形態の高速化手法においては、構図グリッドの位置を、図１３（Ａ）、図１３（Ｂ）の初期位置の周辺位置だけで変化させて、ステップＳ５、Ｓ６、Ｓ７の反復処理を実行する。こうすることで、反復処理の回数を減らすことができ、処理を効率化できる。

図１５のステップＳ６２では、構図グリッドのサイズを相関値の高い交点を基準に決定する。即ち、構図グリッドの４つの交点のうち、交点領域の局所的な相関値が最も高い交点を選択し、その交点を構図グリッドのサイズ変化の中心点とする。構図グリッドのサイズは、図１４（Ａ）、図１４（Ｂ）で設定された初期サイズによって、ある程度妥当なサイズが決定されているので、ここでのサイズの変化量は少なくて済む。

即ち、図３のステップＳ５、Ｓ６、Ｓ７の反復処理では、構図グリッドのサイズを変化させながら構図評価値を算出して、より大きな構図評価値が算出される構図グリッドのサイズを探索している。この場合に本実施形態の高速化手法では、図１６（Ａ）に示すように、構図グリッドの４つ交点のうち、重み画像と構図グリッドの相関演算の相関値が最も高い交点（Ａ１の交点）をサイズの拡縮中心として、構図グリッドのサイズを変化させる。具体的には、例えば人物顔の中心部に一致する交点を拡縮中心として構図グリッドのサイズを変化させて、より大きな構図評価値が算出される構図グリッドのサイズを探索する。このようにすることで、構図グリッドのサイズをしらみ潰しに変化させて図３のステップＳ５、Ｓ６、Ｓ７の反復処理を実行する手法に比べて、反復処理の回数を減らすことができ、処理を効率化できる。

図１５のステップＳ６３では、構図グリッドの回転角度を相関値の高い交点を基準に決定する。即ち、構図グリッドの４つの交点のうち、交点領域の局所的な相関値が最も高い交点を選択し、その交点を構図グリッドの回転の中心点とする。この場合に、通常の入力画像では著しく傾いた画像は少ないので、回転角度を数度だけ変化させて前後を調べるだけで済む。

即ち、図３のステップＳ５、Ｓ６、Ｓ７の反復処理では、構図グリッドの回転角度を変化させながら構図評価値を算出して、より大きな構図評価値が算出される構図グリッドの回転角度を探索している。この場合に本実施形態の高速化手法では、図１６（Ｂ）に示すように、構図グリッドの４つの交点のうち、重み画像と構図グリッドの相関演算の相関値が最も高い交点（Ａ１の交点）を回転中心として、構図グリッドを回転させる。具体的には、例えば人物顔の中心部に一致する交点を回転中心として構図グリッドの回転角度を変化させて、より大きな構図評価値が算出される構図グリッドの回転角度を探索する。このようにすることで、構図グリッドの回転角度をしらみ潰しに変化させて図３のステップＳ５、Ｓ６、Ｓ７の反復処理を実行する手法に比べて、反復処理の回数を減らすことができ、処理を効率化できる。

以上では、構図グリッドの条件（位置・サイズ・回転角度）を更新する手法について説明したが、これらの処理は必ずしも本実施形態で説明したフローチャートの順番通りに実行する必要はない。実際には、条件の１つを更新処理の対象としたら、それ以外の条件は固定して構図評価値を算出し反復することが望ましい。

２．６ 貼り合わせ処理
さて、入力画像から好適な構図を決定する場合に、入力された１枚のフレーム画像から好適な構図を決定してもよいが、入力された複数のフレーム画像（第１〜ｎのフレーム画像）の貼り合わせ処理を行い、作成された貼り合わせ画像を用いて構図評価演算を行い、好適な構図を決定してもよい。以下、この貼り合わせ処理について詳細に説明する。

例えば、ユーザがカメラを構えているときに入力された第１のフレーム画像ＩＭ１（ＩＭＯＢ）と第２のフレーム画像ＩＭ２（ＩＭｉ）を貼り合せたとする。すると、フレーム１から２の間にユーザがカメラを動かした分だけ、１枚のフレーム画像（スルー画像）よりも広い範囲の被写体が含まれた貼り合わせ画像が取得されることになる。この様子を図１７に示す。

例えば図１７では、実世界において被写体（人物）にカメラを向けたときに１枚のフレーム画像（スルー画像）に入る画像領域、すなわち撮影画角が、第１、第２のフレーム画像ＩＭ１、ＩＭ２の矩形領域で示されている。また第１、第２のフレーム画像ＩＭ１、１Ｍ２を貼り合わせ処理を行うことで作成された貼り合わせ画像ＩＭＺが示されている。図１７に示すように、貼り合わせ画像ＩＭＺは、１つのフレーム画像よりも広い画像領域を有している。

このようにして、第１〜第ｎのフレーム画像ＩＭ１〜ＩＭｎの貼り合わせ処理を行うことで、図１８に示すような最終的な貼り合わせ画像ＩＭＺが完成する。ユーザはカメラを構えつつ、好適な構図を探すためにカメラを前後左右に又は上下左右に動かす。このため、図１８に示すように貼り合せ画像ＩＭＺは、結果としてカメラの撮影画角よりも広い画角を反映した画像になる。

そして本実施形態では、作成された貼り合わせ画像ＩＭＺに基づいて、好適な構図（構図候補）を決定する。例えば図１９に示すように、フレーム画像よりも広い画像領域を有する貼り合わせ画像ＩＭＺから、好適な構図ＲＣＭ（構図領域）を決定する。具体的には、図１８の貼り合わせ画像ＩＭＺと図７（Ａ）〜図７（Ｃ）で説明した構図グリッドに基づいて構図評価演算を行い、構図評価値を算出する。そして例えば構図評価値が最も大きくなる構図グリッドの位置・サイズ・回転角度から、図１９の好適な構図ＲＣＭを決定する。そしてユーザに対して、構図ＲＣＭが最適な構図であることを知らせるための指示画像を作成する。具体的には、構図ＲＣＭの領域（構図候補領域）の色・輝度・テクスチャを変化させたり、構図ＲＣＭの位置を指し示す矢印が表示された指示画像を作成する。

そして作成された指示画像は、カメラ等に設けられた表示部に表示され、好適な構図がどの位置にあるのかがユーザに知らされる。このような指示画像を見たユーザは、提示された構図に合うようにカメラを動かしたりズーム操作を行ってから、シャッターボタンを押して撮影を行う。こうすることで、望ましい構図範囲がカメラの画角の範囲外にある場合にも、好適な構図の写真を撮影することが可能になる。

図２０に貼り合わせ処理の一例のフローチャートを示す。まず貼り合わせ対象画像ＩＭＯＢとフレーム画像ＩＭｉのマッチング処理（テンプレートマッチング）を行う（ステップＳ３１）。例えば図２１において、貼り合わせ対象画像ＩＭＯＢの位置を基準にして、フレーム画像ＩＭｉの位置をＸ、Ｙ座標方向で順次シフトさせながらマッチング処理を行い、相関値を求める。相関値の算出法は一般に用いられるＳＳＤなどを利用する。

次に、マッチング処理の相関値が最も大きくなる位置を貼り合わせ位置ＰＣＭとして決定する（ステップＳ３２）。例えば図２１では、画像ＩＭＯＢとＩＭｉがＣ１に示す位置関係である場合に、相関値が最も高くなり、この時の画像ＩＭｉの位置（代表点の位置）が貼り合わせ位置ＰＣＭとなる。そして、決定された貼り合わせ位置ＰＣＭで、画像ＩＭＯＢに対して画像ＩＭｉを貼り合わせる（ステップＳ３３）。具体的には、図２１のＣ２のように画像ＩＭＯＢとＩＭｉがマッチングする領域（画素値の同一又は類似領域）に対しては、画像ＩＭＯＢ又はＩＭｉの画素値が設定される。またＣ３のように画像ＩＭＯＢだけが存在する領域に対しては画像ＩＭＯＢの画素値が設定され、Ｃ４のように画像ＩＭｉだけが存在する領域に対しては画像ＩＭｉの画素値が設定される。

このようなマッチング処理により貼り合わせ処理を実現すれば、解像度を低下させることなく２つの画像ＩＭＯＢとＩＭｉを貼り合わせることが可能になる。

なお、貼り合わせ対象画像ＩＭＯＢとフレーム画像ＩＭｉのマッチング処理は同じ解像度の画像で行う必要は必ずしもない。例えば前回のフレーム画像ＩＭｉ−１が取得（撮影）されてから今回のフレーム画像ＩＭｉが取得されるまでの間に、ユーザがカメラのズーム操作を行い、倍率が２倍になったとする。この場合には、貼り合わせ対象画像ＩＭＯＢと、フレーム画像ＩＭｉの解像度を１／２に縮小した画像とのマッチング処理を行い、画像ＩＭＯＢに対して、解像度が縮小された画像ＩＭｉを貼り合わせればよい。

また、本実施形態の貼り合わせ手法は図２０の手法には限定されず、種々の手法を採用できる。例えば貼り合わせ対象画像ＩＭＯＢ、フレーム画像ＩＭｉから顔領域を検出し、この顔領域での重み付け（重み値）を高くした重み画像を作成し、これらの重み画像のマッチング処理を行うことで、貼り合わせ位置を決定してもよい。

２．７ 注目被写体の設定
次に、ユーザが注目被写体を任意に選択し、注目被写体を考慮した好適な構図を提示する手法について説明する。図２２に、この手法を実現する本実施形態の画像処理装置３０等の第２の構成例を示す。図２２が図２と異なるのは、画像処理装置３０に注目被写体設定部４４が更に設けられている点である。

図２２においてユーザは、自身が所望する注目被写体を操作部６０を用いて設定する。操作部６０は、カメラ等の電子機器を操作するためのユーザインターフェースであり、ダイヤルキー・ボタン・タッチパネルの操作や、音声などを用いて注目被写体の設定が行われる。

図２２では、注目被写体設定部４４は、ユーザが注目被写体を設定するための処理を行う。そして重み画像作成部３２は、ユーザにより設定された注目被写体（例えばイヌ・猫などの動物、複数の人物の中の特定人物）の領域に対して、他の被写体（例えば他の人物）又は背景（例えば背景被写体）の領域に付けられた重みよりも大きな重みを付けた重み画像を作成する。そして構図評価部３６は、このようにして作成された重み画像と、構図グリッド作成部３４により作成された構図グリッドに基づいて、構図評価演算を行い、構図評価値を算出して、好適な構図を判断する。

図２３に第２の構成例の処理を説明するフローチャートを示す。ステップＳ７０で画像が入力された後、ステップＳ７１で注目被写体を設定する。具体的にはユーザは操作部６０によりカメラを操作し、現在の画角範囲における注目被写体を設定する。注目被写体とは、ユーザがその被写体を重視して好適な構図を得たいと思う被写体であり、物や動物、複数人物の中の特定人物などでもよい。また、注目被写体は１つとは限らず、ユーザの好きなだけ設定することも可能である。注目被写体の領域の指定方法は、画像上のある一点の指定でもよいし、矩形や楕円範囲等の指定でもよい。

図２３のステップＳ７２では、前述のように画像中から人物領域を検出する。そしてステップＳ７３の重み画像の作成処理では、図５（Ｂ）で説明したように人物領域に重みを付ける。ここでは、ステップＳ７１で設定された注目被写体の領域に対しても、人物領域と同様の処理手順で重みを付ける。この場合に、ステップＳ７２で検出された人物領域よりも、ユーザが指定した注目被写体の領域の重みが大きくなるように重みを付ける。

このようにすれば、例えばユーザが写真の被写体として飼い犬を重視しているような場合に、飼い犬の近くに居る他の人物よりも、飼い犬が最適な構図になるような写真を撮影することが可能になる。或いは、ユーザが写真の被写体として山などの背景被写体を重視しているときに、たまたま周囲の人物が画角の範囲に入っているような場合にも、背景被写体が最適な構図になるような写真を撮影することが可能になる。なおステップＳ７４〜Ｓ７８の処理は図３のステップＳ４〜Ｓ８と同様であるため、説明を省略する。

以上の第２の構成例によれば、ユーザが任意に設定した注目被写体を考慮した好適な構図を得ることが可能になる。

２．８ 構図評価演算結果の表示
次に、好適な構図をユーザに提示する際に、構図評価演算の結果（構図の好適度）も合わせて提示する手法について説明する。

例えば図３のステップＳ８では、構図評価値に基づき決定された最適な構図をユーザに提示している。この際に、構図評価演算の結果もユーザに提示するようにする。その例を図２４（Ａ）〜図２４（Ｃ）に示す。

図２４（Ａ）では構図評価演算結果をスコア（広義には文字）を用いて提示している。構図評価演算結果は、構図評価値という数値として得られるため、どの程度の構図好適度であればどの程度のスコアにするのかを定める変換テーブルを、図２の記憶部７０に予め記憶しておく。この変換テーブルを用いることで、構図評価値からスコアを求めて、図２４（Ａ）に示すようにユーザに提示できる。

このような構図評価演算結果は、図２４（Ａ）に示すスコアのような文字に限定されず、グラフや画像エフェクトを用いて提示してもよい。図２４（Ｂ）、図２４（Ｃ）に、グラフ、画像エフェクトを用いた提示例を示す。

図２４（Ａ）〜図２４（Ｃ）に示すような手法を採用することで、ユーザは、構図評価演算により求められた構図の好適度が、どの程度好適なものなのかを文字やグラフや画像エフェクトにより視覚的に認識できる。これにより、これまでにないタイプのインターフェース環境をユーザに提供できる。

なお、以上では、構図評価演算により好適な構図を探索した後に、その構図評価演算の結果を表示する例について説明したが、入力された画像全体の構図評価値を算出してユーザに提示するようにしてもよい。この場合にはカメラが取得している現時刻のスルー画、或いはユーザが撮影した画像全体の構図評価演算結果が提示されることになり、ユーザは、カメラを動かしながら画像の好適度を確認するといった使い方が可能になる。

例えばユーザがカメラを構図評価モードに設定し、カメラのシャッターボタンを半押しすると、スルー画のフレーム画像に対して、そのフレーム画像と同サイズの構図グリッドが作成される。そしてスルー画のフレーム画像と構図グリッドとの構図評価演算を行い、その構図評価演算の結果を図２４（Ａ）〜図２４（Ｃ）等の提示手法でリアルタイムにユーザに提示する。そしてユーザは、自身が納得する構図評価の結果になった時にシャッターボタンを押すことで、好適な構図での写真を撮影できるようになる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（注目被写体、構図評価演算等）と共に記載された用語（人物、構図評価値の算出処理等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、電子機器の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

２０ 画像入力部、３０ 画像処理装置、３２ 重み画像作成部、
３４ 構図グリッド作成部、３６ 構図評価部、３８ 人物認識部、
４０ 貼り合わせ画像作成部、４２ 構図提示部、４４ 注目被写体設定部、
６０ 操作部、７０ 記憶部、８０ 制御部、９０ 画像出力部、９８ 情報記憶媒体

Claims (22)

1. 入力された画像の構図を評価する画像処理装置であって、
   入力された画像の注目被写体領域と、前記注目被写体領域以外の背景領域のエッジの少なくとも一方に対して重みを付けた重み画像を作成する重み画像作成部と、
   グリッド線に対して重みを付けた構図グリッドを作成する構図グリッド作成部と、
   作成された前記重み画像と前記構図グリッドとに基づいて、入力された画像の構図評価演算を行う構図評価部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記構図評価部は、
   前記重み画像と前記構図グリッドの相関演算を行い、前記相関演算により構図評価値を算出することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記重み画像作成部は、
   前記注目被写体領域に対して、前記背景領域のエッジに付けられた重みよりも大きな重みを付けた前記重み画像を作成することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記重み画像作成部は、
   入力された画像から人物が検出された場合に、人物の顔領域に対して、人物の胴体領域に付けられた重みよりも大きな重みを付けた前記重み画像を作成することを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記重み画像作成部は、
   前記注目被写体領域の中心部に近いほど大きな重みを付けた前記重み画像を作成することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかにおいて、
   前記重み画像作成部は、
   入力された画像のエッジを抽出し、抽出されたエッジに対して平滑化処理を行って前記重み画像を作成することを特徴とする画像処理装置。
7. 請求項１乃至６のいずれかにおいて、
   前記構図グリッド作成部は、
   グリッド線に近いほど大きな重みを付けた前記構図グリッドを作成することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかにおいて、
   前記構図グリッド作成部は、
   前記構図グリッドの交点に対して、前記交点以外の線上に付けられた重みよりも大きな重みを付けた前記構図グリッドを作成することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記構図評価部は、
   前記構図グリッドの交点に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線上に付けられた重みを用いた構図評価値の算出処理を行うことを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記構図評価部は、
    グリッド線上に付けられた重みを用いた構図評価値の算出処理を行い、算出された構図評価値が所定閾値以上であることを条件に、グリッド線の周囲の領域に付けられた重みを用いた構図評価値の算出処理を行うことを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記構図評価部は、
    入力された画像から人物の顔領域が検出された場合に、前記構図グリッドの複数の交点のうちのいずれかの交点を、検出された人物の顔領域の中心部に設定して、構図評価値を算出することを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記構図評価部は、
    入力された画像から人物の顔領域が検出された場合に、検出された人物の顔領域のサイズに応じて前記構図グリッドのサイズを設定することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記構図評価部は、
    前記構図グリッドのサイズを変化させながら構図評価値を算出して、より大きな構図評価値が算出される前記構図グリッドのサイズを探索することを特徴とする画像処理装置。
14. 請求項１３において、
    前記構図評価部は、
    前記構図グリッドの複数の交点のうち、前記重み画像と前記構図グリッドの相関演算の相関値が最も高い交点をサイズの拡縮中心として、前記構図グリッドのサイズを変化させ、より大きな構図評価値が算出される前記構図グリッドのサイズを探索することを特徴とする画像処理装置。
15. 請求項１乃至１４のいずれかにおいて、
    前記構図評価部は、
    前記構図グリッドを回転させながら構図評価値を算出して、より大きな構図評価値が算出される前記構図グリッドの回転角度を探索することを特徴とする画像処理装置。
16. 請求項１５において、
    前記構図評価部は、
    前記構図グリッドの複数の交点のうち、前記重み画像と前記構図グリッドの相関演算の相関値が最も高い交点を回転中心として、前記構図グリッドを回転させて、より大きな構図評価値が算出される前記構図グリッドの回転角度を探索することを特徴とする画像処理装置。
17. 請求項１乃至１６のいずれかにおいて、
    入力された第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する貼り合わせ画像作成部を含み、
    前記構図評価部は、
    作成された前記貼り合わせ画像から作成された前記重み画像と、前記構図グリッドに基づいて、構図評価演算を行うことを特徴とする画像処理装置。
18. 請求項１乃至１７のいずれかにおいて、
    ユーザが注目被写体を設定するための注目被写体設定部を含み、
    前記重み画像作成部は、
    ユーザにより設定された注目被写体の領域に対して、他の被写体又は背景の領域に付けられた重みよりも大きな重みを付けた前記重み画像を作成することを特徴とする画像処理装置。
19. 請求項１乃至１８のいずれかにおいて、
    前記重み画像と前記構図グリッドを用いた構図評価演算の結果に基づいて、入力された画像の構図を決定し、決定された構図をユーザに対して提示する構図提示部を含むことを特徴とする画像処理装置。
20. 請求項１９において、
    前記構図提示部は、
    前記重み画像と前記構図グリッドを用いた構図評価演算の結果を、文字、グラフ及び画像エフェクトの少なくとも１つを用いてユーザに提示することを特徴とする画像処理装置。
21. 請求項１乃至２０のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
22. 入力された画像の構図を評価するためのプログラムであって、
    入力された画像の注目被写体領域と、前記注目被写体領域以外の背景領域のエッジの少なくとも一方に対して重みを付けた重み画像を作成する重み画像作成部と、
    グリッド線に対して重みを付けた構図グリッドを作成する構図グリッド作成部と、
    作成された前記重み画像と前記構図グリッドとに基づいて、入力された画像の構図評価演算を行う構図評価部として、
    コンピュータを機能させることを特徴とするプログラム。