JP2011193125A - 画像処理装置および方法、プログラム、並びに撮像装置 - Google Patents

画像処理装置および方法、プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP2011193125A
JP2011193125A JP2010056255A JP2010056255A JP2011193125A JP 2011193125 A JP2011193125 A JP 2011193125A JP 2010056255 A JP2010056255 A JP 2010056255A JP 2010056255 A JP2010056255 A JP 2010056255A JP 2011193125 A JP2011193125 A JP 2011193125A
Authority
JP
Japan
Prior art keywords
composition
input image
evaluation
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010056255A
Other languages
English (en)
Other versions
JP2011193125A5 (ja
Inventor
Yusuke Nakamura
雄介 中村
Shinichiro Gomi
信一郎 五味
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010056255A priority Critical patent/JP2011193125A/ja
Priority to US13/036,228 priority patent/US8565491B2/en
Priority to CN201110057886XA priority patent/CN102196177A/zh
Publication of JP2011193125A publication Critical patent/JP2011193125A/ja
Publication of JP2011193125A5 publication Critical patent/JP2011193125A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

【課題】ユーザの撮影に関する技術をより向上させる。
【解決手段】撮影状況識別部２１は、入力画像が撮影されたときの撮影状況を入力画像から識別し、構図パターン選択部２２は、撮影状況識別部２１によって識別された撮影状況に基づいて、入力画像に適用すべき構図パターンを選択し、構図評価部２３は、撮影状況識別部２１によって識別された撮影状況と、構図パターン選択部２２によって選択された構図パターンとに基づいて、入力画像の構図を評価し、評価結果出力部２４は、構図評価部２３の評価によって得られた評価結果を、入力画像とともに出力する。本発明は、例えば、画像の構図を評価する画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、ユーザの撮影に関する技術をより向上させることができるようにする画像処理装置および方法、プログラム、並びに撮像装置に関する。
従来、デジタルカメラ等の撮像装置によって撮像された画像を評価する技術がある。
例えば、ネットワークを介して、サーバに記憶されているサンプル画像と比較することで、撮影画像を評価するシステムがあった（例えば、特許文献１参照）。
しかしながら、上述の手法においては、ネットワークに接続する必要があるので、撮像装置の使用環境に制限があった。また、評価の幅を広げるためには、大量のサンプル画像を用意する必要があるため、システムや装置の規模が大きくなり、撮像装置単体では実現することが容易ではなかった。
そこで、撮像装置単体で画像を評価するものとして、画像データにおいて、主要被写体が、黄金分割された長方形内に位置する場合に、高い評価点を与えるようにしたデジタルカメラが提案されている（例えば、特許文献２参照）。
特開２００２−１９７４５６号公報 特開２００３−２９８８８２号公報
しかしながら、特許文献２の手法において評価される画像の構図は、いわゆる日の丸構図といわれる構図のみとなる。この日の丸構図は、被写体の存在感を高める安定した構図ではあるが、単調になりがちで面白みに欠ける。このように、特許文献２の手法では、日の丸構図しか考慮されないため、ユーザは、その評価に飽きてしまう恐れがあり、また、他の構図について評価されないため、撮影の技術を向上させることができない。
本発明は、このような状況に鑑みてなされたものであり、ユーザの撮影に関する技術をより向上させることができるようにするものである。
本発明の第１の側面の画像処理装置は、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別手段と、前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択手段と、前記撮影状況識別手段によって抽出された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価手段と、前記構図評価手段の評価によって得られた構図評価結果を、前記入力画像とともに出力する出力手段とを備える。
前記撮影状況識別手段には、前記入力画像において注目する注目領域を抽出する注目領域抽出手段と、前記入力画像のシーンを判別するシーン判別手段と、前記シーン判別手段によって判別された前記シーンに対応する参照画像の色情報と、前記入力画像の色情報とを比較し、前記参照画像と前記入力画像との類似度を算出する色情報比較手段とを設け、前記撮影状況には、前記入力画像において注目する前記注目領域、前記入力画像の前記シーン、および前記参照画像と前記入力画像との前記類似度が含ませることができる。
前記構図パターン選択手段には、前記入力画像において注目する前記注目領域の数および前記入力画像の前記シーンの少なくともいずれか一方に基づいて、前記入力画像に適用すべき前記構図パターンを選択させることができる。
前記構図評価手段には、前記構図パターン選択手段によって選択された前記構図パターン、前記入力画像において注目する前記注目領域、および前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の構図を評価させることができる。
前記構図評価手段には、前記構図パターン選択手段によって選択された前記構図パターンと、前記入力画像において注目する前記注目領域の位置および大きさとに基づいて、前記入力画像に前記構図パターンを適用した場合の前記注目領域の配置を評価する配置評価手段を設け、前記出力手段には、前記配置評価手段の評価によって得られた配置評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
前記構図評価手段には、前記入力画像において注目する前記注目領域の注目度に基づいて、前記入力画像における前記注目領域の重要度を評価する重要度評価手段を設け、前記出力手段には、前記重要度評価手段の評価によって得られた重要度評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
前記構図評価手段には、前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の色情報の、前記シーンとの適合の程度を評価する色評価手段を設け、前記出力手段には、前記色評価手段の評価によって得られた色評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
前記色情報比較手段には、前記入力画像を色毎の色領域に分割させ、前記参照画像における色領域との形状の類似度である形状類似度と、前記色領域毎の色の類似度である色類似度とを算出させることができる。
本発明の第１の側面の画像処理方法は、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、前記撮影状況識別ステップの処理によって抽出された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと含む。
本発明の第１の側面のプログラムは、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、前記撮影状況識別ステップの処理によって抽出された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップとを含む処理をコンピュータに実行させる。
本発明の第１の側面においては、入力画像が撮影されたときの撮影状況が入力画像から識別され、識別された撮影状況に基づいて、入力画像に適用すべき構図パターンが選択され、識別された撮影状況と、選択された構図パターンとに基づいて、入力画像の構図が評価され、評価によって得られた構図評価結果が、入力画像とともに出力される。
本発明の第２の側面の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像画像が撮影されたときの撮影状況を前記撮像画像から識別する撮影状況識別手段と、前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記撮像画像に適用すべき構図パターンを選択する構図パターン選択手段と、前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された構図パターンとに基づいて、前記撮像画像の構図を評価する構図評価手段と、前記構図評価手段の評価によって得られた構図評価結果を、前記撮像画像とともに表示する表示手段とを備える。
本発明の第２の側面においては、被写体が撮像され、撮像画像が撮影されたときの撮影状況が撮像画像から識別され、識別された撮影状況に基づいて、撮像画像に適用すべき構図パターンが選択され、識別された撮影状況と、選択された構図パターンとに基づいて、撮像画像の構図が評価され、評価によって得られた構図評価結果が、撮像画像とともに表示される。
本発明の第１および第２の側面によれば、ユーザの撮影に関する技術をより向上させることが可能となる。
本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。 撮影状況識別部の機能構成例を示すブロック図である。 注目領域抽出部の機能構成例を示すブロック図である。 色情報比較部の機能構成例を示すブロック図である。 構図評価部の機能構成例を示すブロック図である。 図１の画像処理装置の画像評価処理について説明するフローチャートである。 撮影状況識別処理について説明するフローチャートである。 色情報比較処理について説明するフローチャートである。 入力画像および領域画像の色情報について説明する図である。 注目領域の数とシーンとに基づいて設定される構図パターンについて説明する図である。 構図評価処理について説明するフローチャートである。 配置評価処理について説明するフローチャートである。 配置評価処理で用いられる係数について説明する図である。 主題領域の形状による評価関数の値について説明する図である。 主題領域の大きさに応じた重み係数について説明する図である。 重要度評価処理について説明するフローチャートである。 色評価処理について説明するフローチャートである。 形状類似度に応じた重み係数について説明する図である。 色類似度に応じた重み係数について説明する図である。 出力画像の例を示す図である。 配置評価処理について説明するフローチャートである。 対比構図について説明する図である。 対比構図について説明する図である。 重要度評価処理について説明するフローチャートである。 配置評価処理について説明するフローチャートである。 対角線構図について説明する図である。 本発明を適用した撮像装置の一実施の形態の機能構成例を示すブロック図である。 図２７の撮像装置の画像評価処理について説明するフローチャートである。 撮像装置の表示部の表示例を示す図である。 撮像装置の表示部の他の表示例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（入力画像が３分割構図の画像として評価される例）
２．第２の実施の形態（入力画像が対比構図の画像として評価される例）
３．第３の実施の形態（入力画像が対角線構図の画像として評価される例）
４．第４の実施の形態（撮像装置に適用された場合について）
＜１．第１の実施の形態＞
［画像処理装置の構成例について］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の撮影状況に応じた構図パターンを選択し、その撮影状況と構図パターンとに基づいて、入力画像の構図を評価することで、入力画像を評価する。
画像処理装置１１は、撮影状況識別部２１、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４から構成される。
画像処理装置１１に入力された入力画像は、撮影状況識別部２１および評価結果出力部２４に供給される。
撮影状況識別部２１は、入力画像が撮影（撮像）されたときの撮影状況を入力画像から識別し、その撮影状況を表す撮影状況情報を、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４に供給する。撮影状況は、入力画像における被写体やシーン、色によって決定され、識別される。
［撮影状況識別部の機能構成例について］
図２は、撮影状況識別部２１の機能構成例を示している。
撮影状況識別部２１は、注目領域抽出部３１、シーン判別部３２、および色情報比較部３３を備えている。
注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン選択部２２に供給する。注目領域は、入力画像における被写体（物体）を含む（囲む）矩形領域であり、入力画像中の被写体の数だけ設定され、抽出される。注目領域情報は、例えば、矩形領域の頂点の位置等とされる。
［注目領域抽出部の機能構成例について］
図３は、注目領域抽出部３１の機能構成例を示している。
注目領域抽出部３１は、注目度算出部５１、注目矩形領域決定部５２、および顔矩形領域決定部５３を備えている。
注目度算出部５１は、入力画像の各画素について特徴量を求め、その特徴量から画素毎の注目度を算出する。ここで、特徴量とは、画像のエッジ成分の大きさ、近傍画素との色相の差、画像の所定の領域における色分布、画像全体の平均色と各画素の色相の差などである。さらに、注目度算出部５１は、画素毎の注目度（特徴量）から、１枚の入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給する。注目度算出部５１によって生成される注目度マップは、いわば、１枚の入力画像において注目すべき被写体が含まれる領域を表す情報である。
また、注目度算出部５１は、入力画像の各画素について求めた特徴量から、顔度（顔らしさ度）を算出し、１枚の入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。注目度算出部５１によって生成される顔度マップは、いわば、１枚の入力画像において注目すべき顔が含まれる領域を表す情報である。
注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。より具体的には、注目矩形領域決定部５２は、注目度マップにおいて、所定の閾値より高い注目度の画素（位置）を矩形の中心とし、その周辺で、他の閾値より低い注目度の画素（位置）を矩形の端点（頂点）とすることで、注目矩形領域を決定する。
また、複数の注目矩形領域が決定された場合、矩形の中心同士が所定の距離より小さいときには、それらを併せて含む最小の矩形領域を、注目矩形領域とする。
顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。より具体的には、顔矩形領域決定部５３は、顔度マップにおいて、顔の鼻の画素（位置）を矩形の中心とし、その周辺で、顔度が急激に変化する（下がる）画素（位置）を矩形の端点（頂点）とすることで、顔矩形領域を決定する。
なお、注目矩形領域決定部５２によって得られる注目矩形領域情報と、顔矩形領域決定部５３によって得られる顔矩形領域情報とを併せて注目領域情報という。
図２に戻り、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、色情報比較部３３、構図パターン選択部２２、および評価結果出力部２４に供給する。より具体的には、シーン判別部３２は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判別を行う。
SVMにおいては、２クラス判別（１対１の判別）が行われ、例えば、「海岸」のクラスとそれ以外のクラス、「田園風景」のクラスとそれ以外のクラス、「空」のクラスとそれ以外のクラス、「山」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判別結果とされる。
なお、シーン判別部３２は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
色情報比較部３３は、シーン判別部３２からのシーン情報で表わされるシーンに対応して予め用意された領域画像の色についての情報（色情報）と、入力画像の色情報とを比較し、領域画像と入力画像との類似度を算出する。領域画像は、所定のシーンの画像においてよく得られる色の領域（色領域）で構成される画像であり、シーン情報で表わされるシーン毎に複数用意されている。
［色情報比較部の機能構成例について］
図４は、色情報比較部３３の機能構成例を示している。
色情報比較部３３は、スケーリング部７１、領域分割部７２、領域画像DB（Database）７３、領域画像選択部７４、および類似度算出部７５を備えている。
スケーリング部７１は、入力画像に対してスケーリング処理を施し、領域分割部７２に供給する。ここで、スケーリング処理とは、入力画像の大きさを、領域画像の大きさと同一の大きさに変更する処理をいう。
領域分割部７２は、スケーリング部７１から供給された入力画像を、同一または近似した色からなる色領域に分割し、類似度算出部７５に供給する。
領域画像DB７３は、シーン情報で表わされるシーン毎に、複数の領域画像を記憶している。領域画像DB７３に記憶されている領域画像は、所定の大きさに統一されており、必要に応じて領域画像選択部７４に読み出される。
領域画像選択部７４は、シーン判別部３２からのシーン情報に基づいて、そのシーン情報で表わされるシーンの領域画像を領域画像DB７３から読み出し、類似度算出部７５に供給する。
類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と色配置が最も似ている領域画像を決定する。具体的には、類似度算出部７５は、領域画像選択部７４からの領域画像の色領域と、入力画像の色領域との類似度を算出し、領域画像の中から、最も類似度が高くなる領域画像（以下、参照領域画像という）を決定する。類似度算出部７５は、入力画像と参照領域画像との類似度を構図評価部２３に供給するとともに、参照領域画像を評価結果出力部２４に供給する。
なお、注目領域抽出部３１によって得られる注目領域情報、シーン判別部３２によって得られるシーン情報、並びに、色情報比較部３３によって得られる類似度および参照領域画像のいずれか１つでも含む情報を撮影状況情報という。
図１に戻り、構図パターン選択部２２は、撮影状況識別部２１からの撮影状況情報で表わされる撮影状況に基づいて、入力画像に適用すべき構図パターンを選択する。具体的には、構図パターン選択部２２は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報の少なくともいずれか一方に基づいて、入力画像に対応する構図パターンを選択し、構図評価部２３および評価結果出力部２４に供給する。構図パターンは、注目領域（被写体）の数とシーンとに対応して予め決められている。構図パターンの詳細については、図１０を参照して後述することとする。
構図評価部２３は、撮影状況識別部２１からの撮影状況情報と、構図パターン選択部２２からの構図パターンとを基に、画像処理装置１１に入力された入力画像の構図を評価し、評価結果を数値化したスコアを評価結果出力部２４に供給する。
［構図評価部の機能構成例について］
図５は、構図評価部２３の機能構成例を示している。
構図評価部２３は、配置評価部１１１、重要度評価部１１２、色評価部１１３、およびスコア算出部１１４を備えている。
配置評価部１１１は、構図パターン選択部２２からの構図パターンと、注目領域抽出部３１（図２）からの注目領域情報で表わされる注目領域の位置および大きさとに基づいて、入力画像に構図パターンを適用した場合の注目領域の配置を評価する。配置評価部１１１は、評価結果である配置要素をスコア算出部１１４に供給する。
重要度評価部１１２は、注目領域抽出部３１（図２）からの注目領域情報で表わされる注目領域の注目度（または顔度）に基づいて、入力画像における注目領域の重要度を評価し、その評価結果である重要度要素をスコア算出部１１４に供給する。
色評価部１１３は、色情報比較部３３（図２）からの類似度（入力画像と参照領域画像との類似度）に基づいて、入力画像の色（色情報）が、シーン判別部３２で判別されたシーンと、どの程度適合するかを評価する。色評価部１１３は、評価結果である色要素をスコア算出部１１４に供給する。
スコア算出部１１４は、配置評価部１１１からの配置要素、重要度評価部１１２からの重要度要素、および色評価部１１３からの色要素を、重み付け加算することで、入力画像の構図の評価結果を、スコアとして算出し、評価結果出力部２４に供給する。
なお、配置要素、重要度要素、色要素の詳細については、後述することとする。
図１に戻り、評価結果出力部２４は、構図評価部２３からのスコア、撮影状況識別部２１からの撮影状況情報（シーン情報および参照領域画像）、構図パターン選択部２２からの構図パターンを、入力画像とともに、図示せぬ表示装置等に出力する。
［画像処理装置の画像評価処理について］
次に、図６のフローチャートを参照して、図１の画像処理装置１１の画像評価処理について説明する。
ステップＳ１１において、撮影状況識別部２１は、撮影状況識別処理を実行し、入力画像が撮影されたときの撮影状況を入力画像から識別し、その撮影状況を表す撮影状況情報を、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４に供給する。
［撮影状況識別部の撮影状況識別処理について］
ここで、図７のフローチャートを参照して、図６のフローチャートのステップＳ１１における撮影状況識別処理について説明する。
ステップＳ３１において、注目領域抽出部３１は、入力画像に対応する注目度マップおよび顔度マップを生成する。より詳細には、注目度算出部５１は、入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給するとともに、入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。
ステップＳ３２において、注目領域抽出部３１は、注目度マップおよび顔度マップに基づいて、入力画像において注目する注目領域を抽出し、決定する。より詳細には、注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。また、顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。
なお、ステップＳ３２においては、注目領域として、注目矩形領域と顔矩形領域とを決定するようにしたが、顔矩形領域を、注目矩形領域としてまとめて処理するようにしてもよい。
ステップＳ３３において、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、色情報比較部３３、構図パターン選択部２２、および評価結果出力部２４に供給する。
ステップＳ３４において、色情報比較部３３は、入力画像に対して、色情報比較処理を実行し、シーン判別部３２からのシーン情報で表わされるシーンに対応する領域画像の色情報と、入力画像の色情報とを比較し、領域画像と入力画像との類似度を算出する。
［色情報比較部の色情報比較処理について］
ここで、図８のフローチャートを参照して、図７のフローチャートのステップＳ３４における色情報比較処理について説明する。
ステップＳ５１において、スケーリング部７１は、入力画像に対してスケーリング処理を施し、入力画像の大きさを、領域画像DB７３に記憶されている領域画像の大きさと同一の大きさに変更して、領域分割部７２に供給する。
ステップＳ５２において、領域分割部７２は、スケーリング部７１からの、スケーリング処理された入力画像を、同一または近似した色の色領域に分割し、類似度算出部７５に供給する。画像の色による領域分割は、例えば、「Mean Shift: A Robust Approach toward Feature Space Analysis, Dorin Comaniciu et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, no.5, 2003」に開示されている、平均値シフトアルゴリズムを用いた手法により行われる。なお、他の手法により、色による領域分割を実現するようにしてももちろんよい。
ステップＳ５３において、領域画像選択部７４は、シーン判別部３２からのシーン情報に基づいて、そのシーン情報で表わされるシーンの領域画像を領域画像DB７３から読み出し、類似度算出部７５に供給する。
ステップＳ５４において、類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と領域画像との類似度の１つである形状類似度を算出する。なお、形状類似度は、入力画像の色領域の形状と、シーン情報に対応する領域画像の色領域の形状との類似の度合を示すものである。
例えば、入力画像として、晴れた日の夕暮れ時の水平線を撮影した画像が入力されたとすると、図９の左側に示されるように、入力画像Iiは、領域分割部７２によって、夕焼けに染まったオレンジ色の空に対応する色領域Ri1と、夕焼けの影響で茶色がかった海に対応する色領域Ri2とに領域分割される。図９の入力画像Iiにおいては、水平線（色領域Ri1と色領域Ri2との境界）は、入力画像Iiを上下にほぼ等分するように位置している。
図９で説明したような入力画像Iiが画像処理装置１１に入力された場合、シーン判別部３２によれば、“海”を表すシーン情報が領域画像選択部７４に供給される。そして、領域画像選択部７４によれば、シーンが“海”である複数の領域画像が、領域画像DB７３から読み出される。このとき読み出される領域画像は、例えば、図９の右側に示されるような、いわゆる水平線構図となる領域画像Ijとなる。領域画像Ijは、色領域Rj1と色領域Rj2とから構成され、また、色領域Rj1と色領域Rj2との境界は、領域画像Ijの下から３分の１程度に位置している。
なお、図９の例の場合、シーンが“海”となる画像には、同一の構図であっても、入力画像Iiのような夕暮れ時のものもあれば、青い空と海からなる日中帯のもの等もあるので、領域画像Ijは、色領域Rj1と色領域Rj2との色の組み合わせにより複数用意されている。
このような場合、ステップＳ５４においては、類似度算出部７５により、入力画像Iiの色領域Ri1および色領域Ri2との形状と、領域画像Ijの色領域Rj1と色領域Rj2の形状との類似度（形状類似度）が算出される。具体的には、例えば、「構図に基づく類似画像検索のための類似度, 山本敦 et al., 情報処理学会論文誌. データベース, vol.48(SIG_14(TOD_35)), pp.82-90, 2007」に開示されている、Jaccard係数に領域の大きさを加味した類似度算出の手法により、以下の式（１）で示される形状類似度simS(Ii,Ij)が算出される。
Figure 2011193125
式（１）において、ｐ，ｑは、それぞれ入力画像Iiおよび領域画像Ijにおける色領域を特定する値であり、図９の例では、それぞれ１および２の値をとる。
なお、類似度算出部７５は、他の手法により、形状類似度を算出するようにしてももちろんよい。
ステップＳ５５において、類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と領域画像との類似度の１つである色類似度を算出する。なお、色類似度は、入力画像の色領域の色情報と、シーン情報に対応する領域画像の色領域の色情報との類似の度合を示すものである。
具体的は、例えば、類似度算出部７５は、以下の式（２）で示される色類似度simC(Ii,Ij)を算出する。
Figure 2011193125
なお、式（２）において、h(Rip)，h(Rjq)は、それぞれ入力画像Iiおよび領域画像Ijにおける各色領域における各画素の色相の平均を表している。また、δpqは、以下の式（３）で示される、いわゆるクロネッカーのデルタである。
Figure 2011193125
式（２）において、第２項は、入力画像Iiにおける色領域と、領域画像Ijにおける色領域とが一致している全ての色領域についての色差の平均を表している。すなわち、入力画像Iiと領域画像Ijとで、各色領域（図９の場合、色領域Ri1と色領域Rj2、および、色領域Ri1と色領域Rj2）の色が似ているほど、式（２）における第２項の値が小さくなり、色類似度simC(Ii,Ij)の値は大きくなる。
類似度算出部７５は、シーン情報に対応する複数の領域画像について算出した形状類似度および色類似度に基づいて、例えば、所定の閾値より大きい形状類似度を有する領域画像のうち、もっとも大きい色類似度を有する領域画像を参照領域画像として、評価結果出力部２４に供給する。また、類似度算出部７５は、入力画像と参照領域画像との類似度（形状類似度および色類似度）を、構図評価部２３に供給し、処理は、図７のフローチャートのステップＳ３４に戻る。
なお、類似度算出部７５は、例えば、色領域の分割数が同一である領域画像のうち、もっとも大きい色類似度を有する領域画像を参照領域画像とし、入力画像と参照領域画像との形状類似度および色類似度を、それぞれ類似度とするようにしてもよい。
図７のフローチャートに戻り、ステップＳ３４の後、処理は、図６のフローチャートのステップＳ１１に戻る。
図６のフローチャートに戻り、ステップＳ１１の後、処理はステップＳ１２に進み、構図パターン選択部２２は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に適用すべき（推奨される）構図パターンを選択し、構図評価部２３および評価結果出力部２４に供給する。
ここで、図１０を参照して、注目領域（被写体）の数とシーンとに基づいて選択される構図パターンについて説明する。
図１０においては、注目領域（被写体）の数と、シーンである「海岸」、「田園風景」、「空」、「山」、「高速道路」、「街路」、「街中」、「高層ビル」それぞれに対応して、種々の構図パターンが決められている。
図１０によれば、例えば、シーンが「海岸」である入力画像において、注目領域の数が０であるとき（すなわち、海岸の風景のみのとき）には、構図パターンとして水平線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と水平線構図とが選択される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と水平線構図が選択され、注目領域の数が６以上であるときには、構図パターンとして対比構図と水平線構図とが選択される。
また、シーンが「田園風景」である入力画像において、注目領域の数が０であるとき（すなわち、田園風景のみのとき）には、構図パターンとして放射線構図が選択される。注目領域の数が１であるときには、構図パターンとして３分割構図と放射線構図とが選択される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と放射線構図が選択され、注目領域の数が６以上であるときには、構図パターンとして放射線構図とパターン構図とが選択される。
同様にして、シーンが「空」である入力画像、「山」である入力画像、「高速道路」である入力画像、・・・における注目領域の数に応じて、構図パターンが選択される。
なお、構図パターンが２つ選択されている場合、それぞれの構図を満たすような構図パターンが構図評価部２３および評価結果出力部２４に供給される。
また、以降においては、入力画像における注目領域の数は１であり、入力画像の構図パターンとして、３分割構図が設定されたものとして説明する。
図６のフローチャートに戻り、ステップＳ１３において、構図評価部２３は、撮影状況識別部２１からの撮影状況情報と、構図パターン選択部２２からの構図パターンとを基に、構図評価処理を実行し、画像処理装置１１に入力された入力画像の構図を採点する。
［構図評価部の構図評価処理について］
ここで、図１１のフローチャートを参照して、図６のフローチャートのステップＳ１３における構図評価処理について説明する。
ステップＳ７１において、構図評価部２３の配置評価部１１１は、構図パターン選択部２２からの構図パターンと、注目領域抽出部３１からの注目領域情報で表わされる注目領域の位置および大きさとに基づいて、配置評価処理を実行する。
［配置評価部の配置評価処理について］
ここで、図１２のフローチャートを参照して、図１１のフローチャートのステップＳ７１における配置評価処理について説明する。
ステップＳ１１１において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域の大きさに基づいて、注目領域（以下、適宜、主題領域という）のアスペクト比を求める。
ステップＳ１１２において、配置評価部１１１は、主題領域のアスペクト比に応じた参照位置と主題領域の重心位置との距離を算出する。ここで、参照位置とは、３分割構図において水平方向を３分割する線（水平３分割線）LDh，垂直方向を３分割する線（垂直３分割線）LDv，および、水平３分割線と垂直３分割線との交点（３分割線交点）PDを示している。すなわち、主題領域の重心位置をPMとすると、配置評価部１１１は、距離| LDh - PM |，| LDv - PM |，| PD - PM |を算出する。
ステップＳ１１３において、配置評価部１１１は、参照位置と主題領域の重心位置との距離に基づいて、以下の式（４）で示される値GDLhM，GDLvM，GDPMを求める。
Figure 2011193125
なお、式（４）において、ｄは、入力画像の対角線の長さを表している。式（４）で示される値GDLhM，GDLvM，GDPMのそれぞれは、主題領域の重心位置が、水平３分割線、垂直３分割線、３分割線交点のそれぞれに近づくほど大きい値となる。
ステップＳ１１４において、配置評価部１１１は、主題領域のアスペクト比に基づいて、注目領域の形状についての係数αhM，αvM，αpMを求める。
係数αhM，αvM，αpMは、主題領域の幅、高さをそれぞれsal_widthM，sal_heightMとしたとき、以下の式（５）で与えられる主題領域のアスペクト比sal_aspect_ratioMに応じて、それぞれ、図１３の上段図乃至下段図で示されるように変化するパラメータである。図１３上段図乃至下段図において、横軸はアスペクト比sal_aspect_ratioMを、縦軸はそれぞれの係数αhM，αvM，αpMの値を示している。
Figure 2011193125
図１３の上段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_minのとき、係数αhMは1.0となり、アスペクト比sal_aspect_ratioMがr_mid1より大きいとき、係数αhMは0.0となる。また、アスペクト比sal_aspect_ratioMがr_min乃至r_mid1のときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αhMは減少する。すなわち、主題領域が縦長であるときに、係数αhMは有効となる。
図１３の中段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_mid2のとき、係数αvMは0.0となり、アスペクト比sal_aspect_ratioMがr_maxより大きいとき、係数αvMは1.0となる。また、アスペクト比sal_aspect_ratioMがr_mid2乃至r_maxのときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αvMは増加する。すなわち、主題領域が横長であるときに、係数αvMは有効となる。
図１３下段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_min、または、r_maxより大きいとき、係数αpMは0.0となり、アスペクト比sal_aspect_ratioMがr_mid1乃至r_mid2のとき、係数αpMは1.0となる。また、アスペクト比sal_aspect_ratioMがr_min乃至r_mid1のときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αpMは増加し、アスペクト比sal_aspect_ratioMがr_mid2乃至r_maxのときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αpMは減少する。すなわち、主題領域が正方形に近い形であるときに、係数αpMは有効となる。
ステップＳ１１５において、配置評価部１１１は、値GDLhM，GDLvM，GDPM、係数αhM，αvM，αpM、および主題領域の大きさに応じた重み係数wMsizeに基づいて、入力画像に構図パターンを適用した場合の主題領域の配置の評価結果を表す配置要素elem_pを算出する。
まず、以下の式（６）で示される、入力画像における主題領域の配置を評価する評価関数E(M)が求められる。ここで、Ｍは、評価関数Ｅが主題領域についての評価関数であることを示している。
Figure 2011193125
式（６）は、図１４に示されるように、主題領域が、縦長である領域L1ならば水平３分割線に、横長である領域L2ならば垂直３分割線に、正方形に近い領域L3であるならば３分割線交点に近づくほど、評価関数E(M)の値が大きくなることを示している。
そして、評価関数E(M)と重み係数wMsizeとに基づいて、以下の式（７）で示される配置要素elem_pが求められる。
Figure 2011193125
重み係数wMsizeは、主題領域の大きさ（サイズ）Msizeに応じて、図１５で示されるように変化するパラメータである。図１５において、横軸は主題領域のサイズMsizeを、縦軸は重み係数wMsizeの値を示している。
図１５によれば、サイズMsizeがsize_th_minより大きいとき、重み係数wMsizeは1.0となる。なお、サイズMsizeが０乃至size_th_minのときは、サイズMsizeの増加に応じて、重み係数wMsizeは増加する。すなわち、主題領域の大きさが所定の大きさsize_th_min以下である場合には、主題領域の大きさに応じて重み係数wMsizeによる重みは大きくなる。
以上のようにして、主題領域が、縦長であるならば水平３分割線に、横長であるならば垂直３分割線に、正方形に近い形状であるならば３分割線交点に近づくほど、値が大きくなる配置要素elem_pが算出される。算出された配置要素elem_pは、スコア算出部１１４に供給される。
図１１のフローチャートに戻り、ステップＳ７２において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる注目領域の注目度（または顔度）に基づいて、重要度評価処理を実行し、入力画像における注目領域の重要度を評価する。
［重要度評価部の重要度評価処理について］
ここで、図１６のフローチャートを参照して、図１１のフローチャートのステップＳ７２における重要度評価処理について説明する。
ステップＳ１３１において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる注目領域（主題領域）の注目度（また顔度）salMを用いて、以下の式（８）で示される、入力画像に構図パターンを適用した場合の主題領域の重要度の評価結果を表す重要度要素elem_sを算出する。
Figure 2011193125
このようにして、主題領域の注目度（また顔度）が大きいほど、値が大きくなる重要度要素elem_sが算出される。なお、重要度要素elem_sは、上述の式（８）によって求められる値に限らず、他の方法によって求められるようにしてもよい。算出された重要度要素elem_sは、スコア算出部１１４に供給される。
図１１のフローチャートに戻り、ステップＳ７３において、色評価部１１３は、色情報比較部３３からの類似度に基づいて、色評価処理を実行し、入力画像の色（色情報）が、シーン判別部３２で判別されたシーンと、どの程度適合するかを評価する。
［色評価部の色評価処理について］
ここで、図１７のフローチャートを参照して、図１１のフローチャートのステップＳ７３における色評価処理について説明する。
ステップＳ１５１において、色評価部１１３は、色情報比較部３３からの形状類似度に基づいて、重み係数wshape_layoutを算出する。
重み係数wshape_layoutは、色情報比較部３３からの形状類似度simSに応じて、図１８で示されるように変化するパラメータである。図１８において、横軸は形状類似度simSを、縦軸は重み係数wshape_layoutの値を示している。
図１８によれば、形状類似度simSがsims_th_minより小さいとき、重み係数wshape_layoutはws_th_minとなり、形状類似度simSがsims_th_maxより大きいとき、重み係数wshape_layoutは1.0となる。なお、形状類似度simSがsims_th_min乃至sims_th_maxのときは、形状類似度simSの増加に応じて、重み係数wshape_layoutは増加する。すなわち、形状類似度simSが高いほど、重み係数wshape_layoutによる重みは大きくなる。
ステップＳ１５２において、色評価部１１３は、色情報比較部３３からの色類似度に基づいて、重み係数wcolor_layoutを算出する。
重み係数wcolor_layoutは、色情報比較部３３からの色類似度simCに応じて、図１９で示されるように変化するパラメータである。図１９において、横軸は色類似度simCを、縦軸は重み係数wcolor_layoutの値を示している。
図１９によれば、色類似度simCがsimc_th_minより小さいとき、重み係数wcolor_layoutはwc_th_minとなり、色類似度simCがsimc_th_maxより大きいとき、重み係数wcolor_layoutは1.0となる。なお、色類似度simCがsimc_th_min乃至simc_th_maxのときは、色類似度simCの増加に応じて、重み係数wcolor_layoutは増加する。すなわち、色類似度simCが高いほど、重み係数wcolor_layoutによる重みは大きくなる。
ステップＳ１５３において、色評価部１１３は、重み係数wshape_layoutおよびwcolor_layoutから、以下の式（９）で示される、入力画像における色の、入力画像のシーンとの適合の度合の評価結果を表す色要素elem_cを算出する。
Figure 2011193125
このようにして、入力画像と参照画像との形状類似度および色類似度が高いほど、値が大きくなる色要素elem_cが算出される。なお、色要素elem_cは、上述の式（９）によって求められる値に限らず、他の方法によって求められるようにしてもよい。算出された色要素elem_cは、スコア算出部１１４に供給される。
図１１のフローチャートに戻り、ステップＳ７４において、スコア算出部１１４は、配置評価部１１１からの配置要素elem_p、重要度評価部１１２からの重要度要素elem_s、および色評価部１１３からの色要素elem_cに基づいて、入力画像の構図の評価結果であるスコアを算出し、評価結果出力部２４に供給する。
具体的には、スコア算出部１１４は、配置要素elem_p、重要度要素elem_s、および色要素elem_cを重み付け加算することで、以下の式（１０）で示されるスコアScoreを算出する。
Figure 2011193125
式（１０）において、係数α、β、およびγは、それぞれ配置要素elem_p、重要度要素elem_s、および色要素elem_cについての重み係数であり、以下の式（１１）の関係を有する。
Figure 2011193125
具体的には、例えば、α＝40、β＝20、γ＝40などとされる。ここで、配置要素elem_p、重要度要素elem_s、および色要素elem_cをそれぞれ、０乃至１の値をとるように正規化することで、式（１０）で示されるスコアScoreは、０乃至100の値をとるようになる。また、係数α、β、およびγについて、α＝100、β＝０、γ＝０とした場合には、スコアScoreは、注目領域の配置のみに注目した評価結果となり、α＝０、β＝０、γ＝100とした場合には、スコアScoreは、入力画像の色のみに注目した評価結果となる。
以上のようにして、入力画像における主題領域の配置および重要度についての評価結果と、入力画像の色とシーンとの適合性の評価結果とから、入力画像についての構図の評価結果（スコア）が算出される。算出されたスコアは、評価結果出力部２４に供給される。
さて、図６のフローチャートに戻り、ステップＳ１４において、評価結果出力部２４は、構図評価部２３からのスコアScore、シーン判別部３２からのシーン情報、色情報比較部３３からの参照領域画像、および構図パターン選択部２２からの構図パターンを、入力画像とともに、出力画像として、図示せぬ表示装置等に出力する。
図２０は、図示せぬ表示装置に出力された出力画像の例を示している。
図２０においては、晴れた日の夕暮れ時の水平線に沈む太陽が撮影された入力画像に、シーン情報、構図パターン、スコア、および参照領域画像を示す縮小画像がOSD（On Screen Display）表示されている。
具体的には、入力画像の左上には、シーン情報として「scene:海岸＋夕景」、構図パターンとして「推奨構図:３分割構図＋水平線構図」、スコアとして「Score:50」の文字列が表示されている。また、入力画像の右上には、「参照領域画像」の文字列と参照領域画像を示す縮小画像が表示されている。
また、図２０においては、被写体としての太陽と色領域を決定する水平線とが、矩形によって囲まれて表示され、入力画像全体に対して、３分割構図を表す３分割線が表示されている。
以上の処理によれば、入力画像の撮影状況に応じた構図パターンとしての３分割構図が選択され、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
以上においては、入力画像における注目領域（主題領域）の数は１で、入力画像の構図パターンとして、３分割構図が選択された場合の画像評価処理について説明してきたが、以下においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして、対比構図が選択された場合の処理について説明する。
＜２．第２の実施の形態＞
入力画像における注目領域の数は２で、入力画像の構図パターンとして、対比構図が選択された場合の画像評価処理においては、配置評価処理および重要度評価処理以外の処理は、上述で説明したものと同様となるので、それらの説明は省略する。
なお、以下では、入力画像において、注目領域の数が２である場合、２つの注目領域のうち、例えば注目度が大きい方の注目領域を主題領域といい、注目度が小さい方の注目領域を副題領域という。
［対比構図が選択された場合の配置評価処理について］
まず、図２１のフローチャートを参照して、対比構図が選択された場合の配置評価処理について説明する。
ステップＳ２１１において、配置評価部１１１は、主題領域についての配置評価処理を実行し、主題領域についての配置要素elem_pMを算出する。なお、ここで算出される配置要素elem_pMは、図１２のフローチャートを参照して説明した配置評価処理によって算出される配置要素elem_pと同様にして算出されるので、詳細な説明は省略する。すなわち、配置要素elem_pMは、入力画像における主題領域の配置についての評価関数E(M)と、主題領域の大きさに応じた重み係数wMsizeとの積E(M)・wMsizeとして算出される。
ステップＳ２１２において、配置評価部１１１は、副題領域についての配置評価処理を実行し、副題領域についての配置要素elem_pSを算出する。なお、ここで算出される配置要素elem_pSもまた、図１２のフローチャートを参照して説明した配置評価処理によって算出される配置要素elem_pと同様にして算出されるので、詳細な説明は省略する。すなわち、配置要素elem_pSは、入力画像における副題領域の配置についての評価関数E(S)と、副題領域の大きさに応じた重み係数wSsizeとの積E(S)・wSsizeとして算出される。なお、評価関数E(S)におけるＳや、重み係数wSsizeの添え字のＳは、評価関数や重み関数が、副題領域についての評価関数や重み関数であることを示している。
ステップＳ２１３において、配置評価部１１１は、主題領域についての配置要素elem_pM（=E(M)・wMsize）、副題領域についての配置要素elem_pS（=E(S)・wSsize）、および主題領域についての重み関数αMに基づいて、以下の式（１２）で示される配置要素elem_pを算出する。
Figure 2011193125
式（１２）において、重み関数αMは、０＜αM＜１の範囲の値をとり、主題領域への注目の度合に応じて予め設定される。すなわち、重み関数αMは、対比構図において、主題領域に対応する被写体と、副題領域に対応する被写体とで、主題領域に対応する被写体をどの程度際立たせるかを決めるためのパラメータとも言える。
また、ここでは、配置要素elem_pは、対比構図における主題領域および副題領域の配置を評価するための指標であり、主題領域および副題領域のそれぞれが、参照位置である３分割線や３分割線交点に近づくほど大きい値となる。
しかしながら、主題領域および副題領域のそれぞれが、同一の３分割線または３分割線交点に近い場合、例えば、図２２に示されるように、主題領域LMおよび副題領域LSのそれぞれが、３分割構図上の左上の３分割線交点PDに近い場合、対比構図としては、決してバランスが良くないにもかかわらず、式（１２）で示される配置要素elem_pは大きい値となってしまう。
そこで、主題領域および副題領域のそれぞれが、同一の３分割線または３分割線交点に近い場合には、配置要素elem_pに、例えば0.5などの所定の係数を乗じることで、その値を下げるようにしてもよい。
また、主題領域および副題領域のそれぞれが同一の参照位置に近い場合に限らず、図２３に示される構図Ａや構図Ｂのように、対比構図としてバランスのよい特定の構図（主題領域および副題領域の配置）を複数、予め決めておき、これらの配置と大きく異なる配置の場合には、主題領域および副題領域のそれぞれが異なる参照位置に近い場合でも、配置要素elem_pに、所定の係数を乗じることで、その値を下げるようにしてもよい。
以上のようにして、入力画像において、３分割構図上で主題領域および副題領域の２つの注目領域が存在することで対比構図が選択された場合の配置要素elem_pが算出される。
［対比構図が選択された場合の重要度評価処理について］
次に、図２４のフローチャートを参照して、対比構図が選択された場合の重要度評価処理について説明する。
ステップＳ２３１において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる主題領域の注目度salM、副題領域の注目度salS、および主題領域についての重み関数αMを用いて、以下の式（１３）で示される重要度要素elem_sを算出する。
Figure 2011193125
式（１３）において、重み関数αMは、式（１２）で説明したものと同一である。
このようにして、主題領域および副題領域の注目度が大きいほど、値が大きくなる重要度要素elem_sが算出される。なお、ここでも、重要度要素elem_sは、上述の式（１３）によって求められる値に限らず、他の方法によって求められるようしてもよい。
このように、注目領域の数は２で、入力画像の構図パターンとして対比構図が選択された場合であっても、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
以上においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして対比構図が選択された場合の画像評価処理について説明してきたが、以下においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合の処理について説明する。
＜３．第３の実施の形態＞
入力画像における注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合の画像評価処理においては、配置評価処理以外の処理は、対比構図が選択された場合の処理について説明したものと同様であるので、その説明は省略する。
［対角線構図が選択された場合の配置評価処理について］
すなわち、図２５のフローチャートを参照して、対角線構図が選択された場合の配置評価処理について説明する。
ステップＳ３１１において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域のうちの主題領域の大きさに基づいて、主題領域のアスペクト比を求める。
ステップＳ３１２において、配置評価部１１１は、主題領域のアスペクト比に応じた参照位置と主題領域の重心位置との距離を算出する。
なお、上述で説明したように、３分割構図が選択された場合においては、水平３分割線、垂直３分割線、および３分割線交点のそれぞれと主題領域の重心位置との距離が算出されるようにしたが、ここでは、３分割線交点と主題領域の重心位置との距離のみが算出される。すなわち、配置評価部１１１は、図２６に示される３分割線交点PDi（但し、i=0,1,2,3）のそれぞれと、主題領域の重心位置PMとの距離| PDi - PM |を算出する。
ステップＳ３１３において、配置評価部１１１は、参照位置（３分割線交点PDi）と主題領域の重心位置との距離に基づいて、上述した式（４）で示される値GDPMを求める。
ステップＳ３１４において、配置評価部１１１は、主題領域のアスペクト比に基づいて、主題領域の形状についての係数αpMを求める。ここで、係数αpMは、図１３を参照して説明した係数αpMと同様にして求められる。
ステップＳ３１５において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域のうちの副題領域の大きさに基づいて、副題領域のアスペクト比を求める。
ステップＳ３１６において、配置評価部１１１は、副題領域のアスペクト比に応じた参照位置と副題領域の重心位置との距離を算出する。
ここで、副題領域の重心位置PSとすると、ステップＳ３１２の処理と同様に、配置評価部１１１は、図２６に示される３分割線交点PDiのそれぞれと、副題領域の重心位置PSとの距離| PDi - PS |を算出する。
ステップＳ３１７において、配置評価部１１１は、参照位置（３分割線交点PDi）と副題領域の重心位置との距離に基づいて、上述した式（４）で示される値GDPMと同様にして、値GDPMを求める。
ステップＳ３１８において、配置評価部１１１は、副題領域のアスペクト比に基づいて、副題領域の形状についての係数αpSを求める。なお、係数αpSは、図１３を参照して説明した係数αpMと同様にして求められる。
このように、対角線構図においては、注目領域（主題領域および副題領域）が縦長であったり横長であることは無視され、注目領域が正方形に近い形であることのみが注目されている。
ステップＳ３１９において、配置評価部１１１は、入力画像の対角線上に参照位置をとる主題領域についての値GDPM、係数αpM、および重み係数wMsizeと、副題領域についての値GDPS、係数αpS、および重み係数wSsizeとに基づいて、配置要素elem_pを算出する。
まず、以下の式（１４）で示される、入力画像における主題領域の配置についての評価関数Epm(M)、および、入力画像における副題領域の配置についての評価関数Epn(S)が求められる。
Figure 2011193125
式（１４）は、主題領域および副題領域が、それぞれ３分割線交点に近づくほど、評価関数Epm(M)およびEpn(S)の値が大きくなることを示している。
また、式（１４）において、添え字ｍ，ｎは、それぞれ、図２６で示された３分割線交点PDiの添え字ｉがとる値のうち、３分割線交点PDiが対角線上に位置する値をとる。すなわち、図２６においては、３分割線交点PD0およびPD3、３分割線交点PD1およびPD2が対角線上に位置するので、添え字ｍ，ｎは、その組み合わせとして、(m,n)=(0,3),(1,2),(2,1),(3,0)の４通りで与えられ、一方の値が決まれば、他方の値も一意に決まる。したがって、評価関数Epm(M)およびEpn(S)は、４通りの組み合わせで求められる。
そして、評価関数Epm(M)およびEpn(S)、重み係数wMsizeおよびwSsize、並びに、重み関数αMに基づいて、以下の式（１５）で示される配置要素elem_pが求められる。
Figure 2011193125
式（１５）において、括弧｛｝内の値をＡとすると、max{Ａ}（maxの下にｍが記されている）は、所定の値ｍによって与えられる値Ａのうち、最大となる値Ａを示している。すなわち、式（１５）においては、４通りの組み合わせで求められる評価関数Epm(M)およびEpn(S)はで与えられる値Ａのうち、最大となる値Ａが配置要素elem_pとして算出される。また、式（１５）において、重み関数αMは、式（１２）等で説明したものと同一である。
以上のようにして、主題領域および副題領域がそれぞれ、対角線上に並ぶ３分割線交点のそれぞれに近づくほど、値が大きくなる配置要素elem_pが算出される。
このように、注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合であっても、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
以上のように、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される様々な構図と比較することができるとともに、入力画像の構図についての評価結果として、日の丸構図などの単純な構図についての評価結果でなく、入力画像に推奨される様々な構図に基づいた評価結果を容易に確認することができるので、ユーザの撮影に関する技術をより向上させることが可能となる。
なお、上述で説明した、３分割構図、対比構図、および対角線構図以外の構図パターンが選択された場合であっても、３分割構図上の参照位置と注目領域の重心位置とに基づいて、その構図パターンに応じた配置要素elem_pが算出されれば、画像処理装置１１は、その選択された構図パターンに基づいた評価結果を出力することが可能である。
以上においては、撮像装置等で撮像された画像を入力画像として、入力画像の構図を採点する画像処理装置について説明してきたが、撮像した撮像画像の構図をそのまま採点する構成を撮像装置に設けるようにしてもよい。
＜４．第４の実施の形態＞
［撮像装置の構成例について］
図２７は、撮像した撮像画像の構図を採点するようにした撮像装置の構成例を示している。なお、図２７の撮像装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図２７の撮像装置５１１において、図１の画像処理装置１１と異なるのは、撮像部５２１、画像処理部５２２、および表示部５２３を新たに設けた点である。
なお、図２７の評価結果出力部２４は、構図評価部２３からのスコア、撮影状況識別部２１からの撮影状況情報（シーン情報および参照領域画像）、構図パターン選択部２２からの構図パターンを、撮像画像とともに、表示部５２３に供給する。
撮像部５２１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部５２１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部５２１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部５２２に供給する。
画像処理部５２２は、撮像部５２１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、撮影状況識別部２１に供給する。
表示部５２３は、評価結果出力部２４から撮像画像とともに供給された、シーン情報、構図パターン、スコア、および参照領域画像を、撮像画像とともに表示する。
［撮像装置の画像評価処理について］
次に、図２８のフローチャートを参照して、図２７の撮像装置５１１の画像評価処理について説明する。なお、図２８のフローチャートにおけるステップＳ５１３乃至Ｓ５１５の処理は、図６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３の処理と同様であるので、その説明は省略するものとする。
すなわち、ステップＳ５１１において、撮像部５２１は、被写体を撮像し、得られた撮像画像を画像処理部５２２に供給する。
ステップＳ５１２において、画像処理部５２２は、撮像部５２１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、撮影状況識別部２１および評価結果出力部２４に供給する。
ステップＳ５１６において、評価結果出力部２４は、構図評価部２３からのスコアScore、シーン判別部３２からのシーン情報、色情報比較部３３からの参照領域画像、および構図パターン選択部２２からの構図パターンを、撮像画像とともに、表示部５２３に供給する。表示部５２３は、評価結果出力部２４から撮像画像とともに供給された、シーン情報、構図パターン、スコア、および参照領域画像を、撮像画像とともに表示する。
図２９は、撮像装置５１１の表示部５２３に表示された表示例を示している。
図２９に示される撮像装置５１１の表示部５２３においては、図２０と同様に、晴れた日の夕暮れ時の水平線に沈む太陽が撮影された撮像画像に、シーン情報、構図パターン、スコア、および参照領域画像を示す縮小画像がOSD表示されている。
具体的には、撮像画像の左上には、シーン情報として「scene:海岸＋夕景」、構図パターンとして「推奨構図:３分割構図＋水平線構図」、スコアとして「Score:50」の文字列が表示されている。また、撮像画像の右上には、「参照領域画像」の文字列と参照領域画像を示す縮小画像が表示されている。
また、図２９においては、被写体としての太陽と色領域を決定する水平線とが、矩形によって囲まれて表示され、撮像画像全体に対して、３分割構図を表す３分割線が表示されている。
以上の処理によれば、撮影状況に応じた構図パターンが選択され、その撮影状況と構図パターンとに基づいて、撮像画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像した撮像画像を、撮像画像に推奨される様々な構図と比較することができるとともに、撮像画像の構図についての評価結果として、日の丸構図などの単純な構図についての評価結果でなく、撮像画像に推奨される様々な構図に基づいた評価結果を容易にかつリアルタイムに確認することができるので、ユーザの撮影に関する技術をより向上させることが可能となる。
また、図２９の撮像装置５１１において、表示部５２３の右側に配置されている、ボタンやダイヤルから構成される操作部などが操作されることにより、図３０に示されるように、ユーザに対して、スコアがより高くなるようなアドバイスを表示させるようにしてもよい。
図３０においては、撮像装置５１１の表示部５２３に表示されている撮像画像と３分割構図を表す３分割線とに加え、ユーザに対するアドバイスが表示されている。具体的には、表示部５２３において、被写体としての太陽については、右上の３分割線交点に合わせるように示唆する矢印および「主題を３分割交点に合わせるとGood」のアドバイスが表示されている。また、撮像画像の色領域を決定する水平線については、下側の垂直３分割線に合わせるように示唆する矢印および「水平線を３分割線に合わせるとGood」のアドバイスが表示されている。
これは、例えば、構図評価部２３の配置評価部１１１によって求められる、注目領域（主題領域）の重心位置と参照位置との距離に基づいて、その距離がより小さくなる注目領域の重心位置の移動先（方向）を求めることにより実現される。これにより、配置要素の値がより大きくなり、ひいては、スコアがより高くなるようになる。
このように、ユーザに対して、スコアがより高くなるようなアドバイスが表示されることにより、ユーザは、撮像している画像について、推奨される構図に近づけるためのノウハウを知ることができるので、ユーザの撮影に関する技術をさらに向上させることが可能となる。
なお、以上においては、入力画像（または撮像画像）の構図についての評価結果として、数値化されたスコアを出力（または表示）するようにしたが、数値化されたスコアに基づいた５段階評価結果としての文字（例えばＡ乃至Ｅ）やアイコンを出力するようにしてもよいし、配置要素、重要度要素、および色要素の値をそれぞれグラフ化した図形を表示するようにしてもよい。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 画像処理装置， ２１ 撮影状況識別部， ２２ 構図パターン選択部， ２３ 構図評価部， ２４ 評価結果出力部， ３１ 注目領域抽出部， ３２ シーン判別部， ３３ 色情報比較部， ５１ 注目度算出部， ５２ 注目矩形領域決定部， ５３ 顔矩形領域決定部， ７１ スケーリング部， ７２ 領域分割部， ７３ 領域画像DB， ７４ 領域画像選択部， ７５ 類似度算出部， １１１ 配置評価部， １１２ 重要度評価部， １１３ 色評価部， ５１１ 撮像装置， ５２１ 撮像部， ５２２ 画像処理部， ５２３ 表示部

Claims (11)

  1. 入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別手段と、
    前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択手段と、
    前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価手段と、
    前記構図評価手段の評価によって得られた構図評価結果を、前記入力画像とともに出力する出力手段と
    を備える画像処理装置。
  2. 前記撮影状況識別手段は、
    前記入力画像において注目する注目領域を抽出する注目領域抽出手段と、
    前記入力画像のシーンを判別するシーン判別手段と、
    前記シーン判別手段によって判別された前記シーンに対応する参照画像の色情報と、前記入力画像の色情報とを比較し、前記参照画像と前記入力画像との類似度を算出する色情報比較手段とを備え、
    前記撮影状況には、前記入力画像において注目する前記注目領域、前記入力画像の前記シーン、および前記参照画像と前記入力画像との前記類似度が含まれる
    請求項１に記載の画像処理装置。
  3. 前記構図パターン選択手段は、前記入力画像において注目する前記注目領域の数および前記入力画像の前記シーンの少なくともいずれか一方に基づいて、前記入力画像に適用すべき前記構図パターンを選択する
    請求項２に記載の画像処理装置。
  4. 前記構図評価手段は、前記構図パターン選択手段によって選択された前記構図パターン、前記入力画像において注目する前記注目領域、および前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の構図を評価する
    請求項２に記載の画像処理装置。
  5. 前記構図評価手段は、
    前記構図パターン選択手段によって選択された前記構図パターンと、前記入力画像において注目する前記注目領域の位置および大きさとに基づいて、前記入力画像に前記構図パターンを適用した場合の前記注目領域の配置を評価する配置評価手段を備え、
    前記出力手段は、前記配置評価手段の評価によって得られた配置評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
    請求項２に記載の画像処理装置。
  6. 前記構図評価手段は、
    前記入力画像において注目する前記注目領域の注目度に基づいて、前記入力画像における前記注目領域の重要度を評価する重要度評価手段を備え、
    前記出力手段は、前記重要度評価手段の評価によって得られた重要度評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
    請求項２に記載の画像処理装置。
  7. 前記構図評価手段は、
    前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の色情報の、前記シーンとの適合の程度を評価する色評価手段を備え、
    前記出力手段は、前記色評価手段の評価によって得られた色評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
    請求項２に記載の画像処理装置。
  8. 前記色情報比較手段は、前記入力画像を色毎の色領域に分割し、前記参照画像における色領域との形状の類似度である形状類似度と、前記色領域毎の色の類似度である色類似度とを算出する
    請求項２に記載の画像処理装置。
  9. 入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、
    前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、
    前記撮影状況識別ステップの処理によって識別された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、
    前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと
    を含む画像処理方法。
  10. 入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、
    前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、
    前記撮影状況識別ステップの処理によって識別された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、
    前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと
    を含む処理をコンピュータに実行させるプログラム。
  11. 被写体を撮像する撮像手段と、
    前記撮像手段によって撮像画像が撮影されたときの撮影状況を前記撮像画像から識別する撮影状況識別手段と、
    前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記撮像画像に適用すべき構図パターンを選択する構図パターン選択手段と、
    前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記撮像画像の構図を評価する構図評価手段と、
    前記構図評価手段の評価によって得られた構図評価結果を、前記撮像画像とともに表示する表示手段と
    を備える撮像装置。
JP2010056255A 2010-03-12 2010-03-12 画像処理装置および方法、プログラム、並びに撮像装置 Pending JP2011193125A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010056255A JP2011193125A (ja) 2010-03-12 2010-03-12 画像処理装置および方法、プログラム、並びに撮像装置
US13/036,228 US8565491B2 (en) 2010-03-12 2011-02-28 Image processing apparatus, image processing method, program, and imaging apparatus
CN201110057886XA CN102196177A (zh) 2010-03-12 2011-03-04 图像处理设备、图像处理方法、程序以及成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010056255A JP2011193125A (ja) 2010-03-12 2010-03-12 画像処理装置および方法、プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
JP2011193125A true JP2011193125A (ja) 2011-09-29
JP2011193125A5 JP2011193125A5 (ja) 2013-04-25

Family

ID=44560037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010056255A Pending JP2011193125A (ja) 2010-03-12 2010-03-12 画像処理装置および方法、プログラム、並びに撮像装置

Country Status (3)

Country Link
US (1) US8565491B2 (ja)
JP (1) JP2011193125A (ja)
CN (1) CN102196177A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034256A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 表示制御装置、表示制御システムおよび表示制御方法
JP2017069911A (ja) * 2015-10-02 2017-04-06 株式会社Ｎｔｔドコモ 撮像システム、構図設定装置、及び構図設定プログラム
JP2017162055A (ja) * 2016-03-08 2017-09-14 株式会社Ｎｔｔドコモ 画像評価装置及び画像評価プログラム
WO2022014273A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 撮像支援制御装置、撮像支援制御方法、撮像支援システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI492166B (zh) * 2012-01-12 2015-07-11 Kofax Inc 行動影像擷取和處理的系統和方法
CN104346801B (zh) 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
US11314089B2 (en) * 2016-03-07 2022-04-26 Apple Inc. Method and device for evaluating view images
US11599598B2 (en) * 2019-06-19 2023-03-07 Canon Kabushiki Kaisha System and method for recommending challenges
CN110472002B (zh) * 2019-08-14 2022-11-29 腾讯科技（深圳）有限公司 一种文本相似度获取方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167253A (ja) * 1999-12-10 2001-06-22 Fuji Photo Film Co Ltd 撮像画像を評価する撮像装置、方法および記録媒体
WO2007072663A1 (en) * 2005-12-22 2007-06-28 Olympus Corporation Photographing system and photographing method
JP2008035246A (ja) * 2006-07-28 2008-02-14 Mitsubishi Space Software Kk 構図評価装置、構図調整装置、画像撮影装置、構図評価プログラム、構図調整プログラム、画像撮影プログラム、構図評価方法、構図調整方法及び画像撮影方法
WO2010027080A1 (ja) * 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483521B1 (en) * 1998-02-02 2002-11-19 Matsushita Electric Industrial Co., Ltd. Image composition method, image composition apparatus, and data recording media
JP2001287330A (ja) * 2000-04-10 2001-10-16 Olympus Optical Co Ltd 光学的に読み取り可能なドットのイメージデータ作成方法及びイメージデータ作成装置、並びに記録媒体
JP3501756B2 (ja) 2000-12-25 2004-03-02 キヤノン株式会社 画像評価システム、画像評価側端末装置、画像評価方法及び記憶媒体
JP2003298882A (ja) 2002-03-29 2003-10-17 Olympus Optical Co Ltd デジタルカメラ
DE102004003613B4 (de) * 2004-01-25 2015-01-08 grapho metronic Meß- und Regeltechnik GmbH Vorrichtung und Erfassung eines Bildes von einem vorbestimmten Ausschnitt eines in Bewegung befindlichen Druckerzeugnisses
CN101212702B (zh) * 2006-12-29 2011-05-18 华晶科技股份有限公司 影像评分方法
JP5206095B2 (ja) * 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167253A (ja) * 1999-12-10 2001-06-22 Fuji Photo Film Co Ltd 撮像画像を評価する撮像装置、方法および記録媒体
WO2007072663A1 (en) * 2005-12-22 2007-06-28 Olympus Corporation Photographing system and photographing method
JP2008035246A (ja) * 2006-07-28 2008-02-14 Mitsubishi Space Software Kk 構図評価装置、構図調整装置、画像撮影装置、構図評価プログラム、構図調整プログラム、画像撮影プログラム、構図評価方法、構図調整方法及び画像撮影方法
WO2010027080A1 (ja) * 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034256A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 表示制御装置、表示制御システムおよび表示制御方法
JPWO2014034256A1 (ja) * 2012-08-27 2016-08-08 ソニー株式会社 表示制御装置、表示制御システムおよび表示制御方法
JP2017069911A (ja) * 2015-10-02 2017-04-06 株式会社Ｎｔｔドコモ 撮像システム、構図設定装置、及び構図設定プログラム
JP2017162055A (ja) * 2016-03-08 2017-09-14 株式会社Ｎｔｔドコモ 画像評価装置及び画像評価プログラム
WO2022014273A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 撮像支援制御装置、撮像支援制御方法、撮像支援システム

Also Published As

Publication number Publication date
US20110222796A1 (en) 2011-09-15
CN102196177A (zh) 2011-09-21
US8565491B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
JP2011193125A (ja) 画像処理装置および方法、プログラム、並びに撮像装置
JP5224149B2 (ja) 画像処理装置および方法、撮像装置、並びにプログラム
AU2006252252B2 (en) Image processing method and apparatus
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
JP5577793B2 (ja) 画像処理装置および方法、並びにプログラム
US8488878B2 (en) Sky detection system used in image extraction device and method using sky detection system
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
US9058655B2 (en) Region of interest based image registration
US20160073004A1 (en) Detection of object in digital image
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
Min et al. Histogram based ghost removal in high dynamic range images
KR20110129158A (ko) 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템
JP2013110484A (ja) 画像処理装置、画像処理方法、および記録媒体
JP5803058B2 (ja) 画像処理装置および方法、並びにプログラム
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
JP2011150594A (ja) 画像処理装置および方法、並びにプログラム
KR101012729B1 (ko) 마커를 이용한 문자열 추출 시스템 및 그 방법
JP5278307B2 (ja) 画像処理装置及び方法、並びにプログラム
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
JP6776532B2 (ja) 画像処理装置、撮像装置、電子機器及び画像処理プログラム
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
JP2010197968A (ja) 合焦評価装置、カメラおよびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150205