JP2004526179A - 画像構図評価方法および装置 - Google Patents

Abstract

画像構図評価の提供方法は、構図された画像を１つ以上の所定の構図ルールに従って解析し、構図ルールのうちの１つ以上の構図ルールが違反されている場合には、報告または警告信号を提供することを含む。解析は、画像内の構図的に重要な領域を特定し、それらの領域に構図ルールを適用することを含む。構図ルールは、「３分割のルール」、その中にほとんど、あるいは全く重要でない領域の前景または背景が大きく広がらないことを確実にすること、および構図される画像のエッジが任意の重要な領域を横切らないことを確実にすること、等を含む既知の写真構図ルールを含み得る。画像評価方法は、電子スチルカメラ、ビデオカメラ、あるいは従来の光学カメラのような画像捕捉システム内に組み込まれ、画像を実際に捕捉する前に、画像の構図に関する指示がカメラユーザに提供されるようにすることができる。これは特に、未熟なカメラユーザにとって有利である。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、画像構図評価またはアドバイスを提供する方法と、その方法を利用する画像構図評価システムに関する。
【背景技術】
【０００２】
画像の捕捉は、その画像が写真フィルム上に、またはデジタル静止画像として永久に捕捉されるにせよ、あるいはその画像がビデオカメラまたはテレビカメラ等を用いて動画として捕捉されるにせよ、大抵の場合に、その捕捉前に最初に画像を構図することを含む。これは標準的には、ファインダ、あるいはカメラ装置に関連する他の類似の装置を通して達成される。満足のいく写真を作成するために画像をうまく構図することは、通常は長い間に身に付ける技能であり、未熟なカメラユーザが習得するのが難しいと多くの場合に感じる技能である。熟練した写真家あるいはカメラユーザであっても、画像を捕捉する時点で集中力を欠いていることが原因で、あるいは画像を慌てて捕捉することが原因で、画像のいくつかの構図に関する様相を見逃す可能性がある。
【０００３】
満足のいくように構図される画像は多くの場合に、１つあるいは複数の既知の構図ルールに従う。これらのルールはたとえば、「３分割のルール」によって対象の要素を位置決めすること、確実に対象の要素が画像フレームのエッジに近すぎないように配置すること、画像のエッジに、ほとんど関心のないエリアを配置することにより、たとえば、画像のエッジに、相対的に暗いエリアまたは相対的にアクティビティの少ないエリアを配置して、主に対象とするエリアをフレーミングすること、およびはっきりとした対角線が画像の主な対象物に向かって走るように位置決めすることを含む。「３分割のルール」は、等間隔で配置される２本の水平線と等間隔で配置される２本の垂直線とを用いて画像エリアを細分し（「三目並べ」のボードのように）、水平線および垂直線が交差する部分において対象の要素を位置決めするか、あるいは同じく、水平線および垂直線のうちの１つに、はっきりとした水平な、あるいは垂直な特徴を配置することを含む。
【０００４】
これらの構図のルールはよく知られており、勉強することができるが、未熟な写真家は適用するのが難しいと感じることが多い。詳細には、ある画像の意図した構図に関するフィードバックが直ちに得られないことが、学習過程を時間のかかるものにし、難しくしている。
【０００５】
同時係属の英国特許出願ＧＢ００３１４２３．７において、画像の構図を改善するために、画像が捕捉された後にそれを自動的にクロッピングするための方法およびシステムを提供することが本出願人によって提案されている。この同時係属の特許出願において開示された自動クロッピング方法は、上記の構図ルールのうちの１つあるいは複数のルールを自動的に選択することに基づく。捕捉後の解析およびクロッピングは非常に有用であるが、この方法の短所は、画像が捕捉された後に画像をクロッピングすることにより、結果としてクロッピングされた画像が元の画像よりも小さくなるか、あるいはその対象物が最初の場所に正確にフレーミングされた場合よりも解像度が低くなることである。これは、画像をクロッピングすることにより必然的にそのサイズが縮小され、それゆえ、クロッピングされた画像を元の画像と同じサイズに戻すために、その画像を含む各画像要素のサイズを拡大する必要があるためである。また、画像が捕捉された後にその画像をクロッピングするため、元々不完全に構図された画像に一部分のみが含まれていた任意の対象物、あるいは対象のエリアを完全に含むことはできない。同様に、対象のエリアと元の画像のエッジとの間に不適切な境界が存在する場合には、後続の捕捉後クロッピングでは修正することができない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
それゆえ、候補となる画像を捕捉する前に、その画像が、これらの既知の構図ルールに如何に良好に一致するかの指示を提供することが有利であろう。これは、自動的な構図アドバイスを提供するものとみなすことができる。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、構図評価を提供する方法が提供され、その方法は、画像を取得することと、１組の所定の構図ルールに従って上記画像の構図を解析することと、その画像の構図に関する報告を提供することと、を含む。
【０００８】
その解析は画像プロセッサによって実行されることが好ましい。その画像は画像検出器アレイによって取得されることが好ましい。
【０００９】
その解析は、上記検出された画像内の構図的に重要な１つあるいは複数の領域を特定することと、上記１つあるいは複数の特定された領域に上記１組の構図ルールを適用することと、を含むことが好ましい。その構図ルールはヒューリスティックであることが好ましい。
【００１０】
本発明の好ましい実施形態では、画像の構図を解析するステップは、
ｉ． 画像を処理して、その画像の構図に関連する少なくとも１つの特徴を特定するステップと、
ｉｉ． 特定された特徴のうちの１つあるいは複数の特徴に対する構図ルールの関連性に基づいて、複数の構図ルールから少なくとも１つの構図ルールを選択するステップと、
ｉｉｉ．その画像が適切に構図されているか否かを判定するステップと、
を含む。
【００１１】
構図的に重要な領域は、含まれるべき領域および除かれるべき領域の両方を含む。除かれる領域は、たとえば、画像内に一部しか現れない人物を含み得る。
【００１２】
構図解析は、構図評価要求信号に応答して実行されることができる。
【００１３】
その報告は、視覚的な警告信号あるいは音声信号のいずれかにすることができる。その報告が視覚的な警告信号である場合、それは画像表示手段上に表示されることができる。画像表示手段には、ＬＣＤディスプレイのようなディスプレイを用いることができる。さらに、あるいは別法では、その報告には画像表示手段上に表示される視覚的な警告信号を用いることができ、その場合に、視覚的な警告信号が、構図ルールの少なくとも１つにおいて違反する、特定された対象の領域のうちの１つを指示する。その報告は、「水平線が中央に近すぎる」あるいは「人がエッジに近すぎる」などのテキスト形式あるいは音声形式のメッセージを与えることにより、構図誤りを強調することができる。
【００１４】
本発明のさらなる態様によれば、画像を電気信号に変換するように構成された画像受信素子と、電気画像信号を受け取り、１組の所定の構図ルールに従ってその画像の構図を解析し、その画像の構図に関する報告を提供するように構成された画像プロセッサと、を含む画像構図評価装置が提供される。
【００１５】
画像プロセッサは、構図評価信号の受信に応答して、解析を実行するように構成されることが好ましい。構図評価信号は、構図評価要求スイッチが作動するのに応答して発生されることができる。構図評価スイッチは、画像捕捉システムを起動し、解析される画像を捕捉するように構成された画像捕捉スイッチを含むか、あるいは画像捕捉スイッチに含まれることが好ましい。
【００１６】
その報告は警告信号の形をとることができる。
【００１７】
警告信号は視覚的な警告信号を含むことが好ましい。視覚的な警告信号は、オプションでは、画像ビューファインダとして機能することができる表示装置上に表示されることができる。
【００１８】
別法では、あるいはそれに加えて、警告信号は音声信号を含むこともできる。
【００１９】
その画像構図評価システムは、動画用カメラあるいは静止画用カメラに収容されることが好ましい。
【００２０】
別法では、その報告は、画像の対象物を形成することになるか、あるいは形成することができるエリアを強調表示することができる。対象のエリアが強調表示されるのに対して、退屈な、あるいは単調なエリアが灰色に塗り潰されることもできる。これは、たとえば、画像を改善するためにその対象物をパニング、ズーミングあるいはリポジショニングすることによって、ユーザが如何に画像を構図し直すべきかに関する迅速な指示を与える。
【００２１】
したがって、報告は構図し直された画像のためのクロップ境界線を推奨することもできる。
【００２２】
ここで本発明が、一例として添付の図面を参照しながら説明されるであろう。
【発明を実施するための最良の形態】
【００２３】
図１は、フィルムカメラシステムとともに、本発明の一実施形態を構成する画像構図評価システムを概略的に示す。被写体１がレンズ系３によって光学的に焦点を合わされ、レンズ系３が対象物からの光を受け、その光の焦点をビューファインダ５に合わせる。この特定の例では、ビューファインダ５は、画像構図評価システムおよび光学カメラシステムの両方の一部である。一眼レフカメラでよく知られているタイプの可動式ミラー７を用いて、画像１の焦点は画像変換器９にも合わせられる。画像変換器９には、たとえば、光検出器アレイを用いることができる。画像変換器９は、光学的な画像信号を電気的な画像信号に変換する。画像変換器９には画像プロセッサ１１が接続され、画像プロセッサ１１は受け取られた画像についての画像構図評価を実行する。受け取られた画像が１組の所定の構図ルールのうちの１つあるいは複数のルールに違反するものと画像プロセッサ１１が判定する場合には、警告信号が生成される。警告信号には、スピーカ１３を用いて生成される音声警告信号を用いることができるか、あるいは別法では、たとえば警告ランプ１５を点灯することにより、またはテキスト形式のメッセージを与えることにより生成される視覚的な警告信号を用いることができる。視覚的な警告は、画像ビューファインダ５を通して視認することができる。同じく、音声警告信号および視覚的な警告信号の両方が生成される場合もある。画像１は、焦点調節素子３およびミラー７によって写真フィルム１７上に捕捉することもできる。写真フィルム１７上への画像１の捕捉は、画像構図評価システムが画像の構図を評価した後に行うことができ、それにより、最終的にさらに満足のいくように構図された画像を捕捉するために、画像１を構図し直す機会をカメラシステムのユーザに与えることができる。
【００２４】
図２は、電子画像捕捉システムとともに、本発明の一実施形態を構成する画像構図評価システムの別の構成を示す。特に指示されない場合には、図２に示されるシステムと図１に示されるシステムとの間で共通の部品は、同じ参照番号を付される。画像１はレンズ系３を用いて光学的に焦点を合わされ、レンズ系３は画像１から受光し、光学的な画像を電子画像信号に変換するための画像変換装置９にその焦点を合わせる。その後、画像信号は画像プロセッサ１１に送られ、画像プロセッサ１１において画像構図評価が実行される。また画像プロセッサは、ＬＣＤディスプレイのようなディスプレイとして実施されることができる画像ビューファインダ５に画像信号を出力することもできる。別法では、画像変換器９からの電子画像信号は、図２の破線２３によって示されるように、画像ビューファインダ５に直に転送されることができる。画像の構図を評価した後に、画像プロセッサは、その画像を表示するほかに、画像ビューファインダ５内に視覚警告システムを設けることができる。視覚警告システムには単に、画像ビューファインダ５内の記号、メッセージ、警告ランプまたはＬＥＤの点灯または点滅を用いることができるか、あるいは視覚警告システムは、１組の所定の構図ルールのうちの１つあるいは複数のルールに具体的に違反する画像のエリアを強調表示するか、薄暗くするか、または異なる方法で指示することにより提供されることができる。画像構図評価は先に記載されたように連続して行われることができるか、あるいは構図評価要求スイッチ１９から与えられる画像構図評価要求信号に応答する場合にのみ行われることができる。構図評価スイッチ１９は、電子画像捕捉システムの一部として、画像プロセッサが電子記録媒体２１上に画像１を捕捉することができるようにする画像捕捉スイッチとしても機能することができる。この場合には、画像構図評価スイッチ１９として２あるいは３ポジションスイッチを用いることができ、その場合に、第１の位置は画像構図評価要求信号を発生するが、画像を捕捉することができるようにするには、スイッチ１９を操作して、さらにたとえば第２の位置にしなければならない。
【００２５】
本発明の一実施形態では、画像構図評価を実行する方法は、画像内の構図的に重要な、あるいは対象となる１つあるいは複数の領域を特定することと、その特定された領域に１つあるいは複数の所定の構図ルールを適用することと、を含む。適切な構図ルールは、たとえば、「３分割のルール」、構図的に重要な任意の領域が画像のエッジに近すぎないようにすること、「主に対象となる領域」が常に画像内に、むしろ大抵の場合に画像の中心に存在すること、対象となる領域あるいは重要な領域をほとんど含まない比較的大きなエリアが、可能であるなら画像内に含まれないようにすること、を含むことができる。
【００２６】
図３は、おそらく未熟な写真家によって何気なく構図された画像を示す。ブランコに乗っている少女２５は、その画像の主な対象物を表す。しかしながら、他の候補となる対象の領域には、画像の左下角に配置された花２７が含まれる。また、画像の右側に示される人物２９が一部しか含まれていないことにより、重大な構図誤りが生じている。本発明のシステムは、たとえば、人物２９が画像に完全に含まれるべきであるか、あるいは画像から完全に除外されるべきであるかを指示するメッセージを発行することができる。図４はほとんどの構図ルールを満たす画像の１つの実現可能な再構図を示す。図４において、主な対象の領域、すなわち少女２５が、ここでは画像内の唯一の対象の領域であり、最終的な画像は、図３に示される元の画像の花２７および部分的な人物２９を除外するように構図し直されている。図５は、部分的な人物２９のみが除外されている図３の画像の別の再構図を示す。当然、図３に示される人物２９の全体を含むように画像を構図し直すこと、あるいは唯一の対象の領域として花２７のみを含むように構図し直すことのような、他の実現可能な再構図が存在する。その画像の最終的な構図は、構図評価システムの操作者の選択による。多数の再構図が存在する場合には、ユーザは、画像プロセッサに、見本としてそれらの構図を提示するように指示することができる。これは、さらに別のスイッチ、あるいは既存のキーあるいは音声コマンドのような他の入力手段を起動することにより行うことができる。
【００２７】
電子画像から対象の領域を選択するための種々の方式が知られている。１つのそのような方式は、「automatic cropping of electronic images」というタイトルの本出願人による同時係属の英国特許出願ＧＢ ００３１４２３．７に記載されている。ここで、完全を期すために、図３に示される画像を参照しながらＧＢ ００３１４２３．７に開示される方式の概要が記載されるであろう。再現されるものに対してグレースケール画像を用いることのみが示されるが、図３の元の画像がカラーであったことは理解されよう。
【００２８】
自動化された画像処理システムは、写真の対象についての事前知識を持たないので、写真の構図的に重要な領域が存在する場所を指示することになる、ある形式の表現を抽出するよう、写真を処理する必要がある。
【００２９】
写真１０は、２，０００，０００個を超えるアクティブ画素を有するカメラで撮影されている場合がある。そのような多数の画素を解析することは、計算が極めて大量になるであろう。したがって、任意の他の処理ステップを実行する前に、画像プロセッサは、その写真の中の画素の数を低減するために画像をダウンサンプリングする。図６は、図３に示されるのと同じであるが、２４０×１８０画素までダウンサンプリングされた後の画像を概略的に示す。このダウンサンプリングは、４３，２００までアクティブ画素の数を減らしている。ダウンサンプリングした後に、ダウンサンプリングされた画像は、圧縮された色変化を有するが、依然として明度変化を保持する画像に変換される。そのような処理の一例は、画像をＹＣＣ色空間形式に変換することである。これは、用いることができる唯一の色空間表現ではないことに留意されたい。したがって、ＣＩＥＬＡＢ色空間系を用いることもできる。この系はよく知られており、その色が如何に明るいかの指標である明度Ｌ^*が縦軸に対してプロットされ、２つのさらに別の量ａ^*およびｂ^*が直線軸として定義され、ａ^*が赤色から緑色への色のスケールを定義し、ｂ^*が青色から黄色への色のスケールを指示する軸であるような空間を定義する。量ａ^*およびｂ^*は水平な色平面内にあり、互いに直交して、この表色系が直交デカルト空間を定義するようにする。Ｌ^*、ａ^*およびｂ^*軸はそれぞれ、それらのスケールのうちの任意のスケール上の一単位が概ね同じ「視感度」を有し、この系が人間の知覚に関して線形になり、かつ等方性を有するように定義される。Ｌ^*軸は０（黒色）〜１００（白色）までのスケールを有するのに対して、ａ^*およびｂ^*スケールはそれぞれ−６０〜＋６０までの範囲を有する。この系は、一単位の色差が色空間の任意の部分において概ね同じ視感度を有するという利点を持つ。
【００３０】
画像を色空間に変換した後、類似の色および明度を有する、変換された画像内のエリアが生成され、拡張される。この過程は画像をぼかすことにより開始され、その後、滑らかな色および明度を有する「種エリア」を形成するために、ぼかされた画像が解析される。その後、種エリアは、その種エリアの境界に隣接し、種エリアと十分に類似の色および明度を有するエリアを加えることにより拡張される。色が圧縮された画像内の全ての画素が種エリアに割り当てられたか否かを判定するために検査が行われる。割り当てられていない場合には、ぼかして、領域を拡張する過程が繰り返し行われる。
【００３１】
図７は、一旦画像の全てがぼかされ、領域に割り当てられた場合の図６の画像を概略的に示す。この段階において、図７に示される画像は約２，８００領域を含み、そのうちの２，２００領域が１０個以下の画素を含む。
【００３２】
その後、画像処理は、「弱いエッジ」によって分離される画像の隣接するエリアを併合することにより続けられる。「弱いエッジ」は、相対的に低い色差あるいは明度差を有する画像のエリアを分離する境界である。言い換えると、ＹＣＣ空間あるいはＣＩＥＬＡＢ空間内で互いに近い領域である。その後、類似の平均色を有する隣接するエリアが互いに併合され、その後、その画像が解析されて、小さなエリア、すなわちそのサイズがある閾値よりも小さいエリアが別のさらに大きなエリアによって完全に包囲されるか否かが判定される。包囲される場合には、小さなエリアがそのさらに大きなエリアに併合される。個々の領域の数がある所定の閾値数未満になったか否かを判定するために検査を行うことができる。依然として、存在する領域が多すぎるものと判定される場合には、おそらく弱いエッジを構成する定義が変更され、併合されないようになるほど十分に異なるものとみなされる前に、色が分離されなければならない色空間内の距離を大きくすることができるようにして、併合を繰り返すことができる。図８は領域を併合した後の画像を示す。
【００３３】
色の数が、概ね２０程度である適当な数まで落とされる時点まで、類似の色をクラスタリングするために、画像がさらに解析される。クラスタリングされた色からなる画像が、図９に概略的に示される。
【００３４】
本明細書において用いられるような領域は、画像の、空間的に接続されたサブエリアであることに留意されたい。しかしながら、クラスタは類似の領域の集合体であるが、領域は互いに隣接する必要はない。
【００３５】
図９を参照すると、花２７の主な部分は均一な色のエリアに併合されているように見える。同様に、少女の顔は、彼女のズボン５２がそうであるように、均一な色のエリア５１に併合されている。背景の大きなエリア、たとえば画像の、向かって左側の木も、概ね均一な色のエリアに併合されている。
【００３６】
次に、色の特異性に基づいて対象の判定基準が形成され、複数の異なる可能な特性の中から構図的に重要な特性を判定するために画像が解析される。
【００３７】
実行される場合があるそのような解析は、図９に示されるクラスタリングされた色を解析して、それらの色がどの程度特異であるのかを判定することである。図９に示される画像は、先に留意されたように、約２０程度の異なる色のクラスタを含む。その後、いくつの画素がそれらの色の各色に属するかを特定するために、これらのクラスタは分類される。
【００３８】
色のクラスタはそれぞれ順に処理される。１つの色が処理されると、その色と他のそれぞれの色のクラスタとの間の色距離が計算され、その後、クラスタは、処理されている色のクラスタからの色距離の順に分類される。その後、色距離の次元に沿って数が増加するクラスタに含まれる画像画素の累積和をカウントすることにより、検査中の色のクラスタに関して累積ヒストグラムを形成することができる。
【００３９】
近い色を有する隣接するクラスタとともに、画像の画素の比較的大きな割合を占めるクラスタは背景であるとみなされる。逆に、近い色を有する隣接するクラスタとともに、画像の画素の比較的小さな割合しか占有しないクラスタ色は前景であるとみなされる。この解析によって、クラスタ色が前景色である可能性に基づいて、クラスタ色はデフォルトの顕著性を割り当てられ得る。
【００４０】
しかしながら、色のマッピングは、顕著性画像を決定するために適用される唯一の過程ではない。一般的に、画像のエッジに向かって配置される領域は、それらの領域が完全にはフレーム内に存在しない物体に属する際には、ペナルティを科せられる場合がある。
【００４１】
パターン認識のようなさらに別のプロセスが画像に適用されることもできる。こうして、画像内のエリアをモデルライブラリ内に保持されるモデルと比較する結果として、身体あるいは顔を特定するための探索を行うことができる。
【００４２】
図１０は、１つあるいは複数の解析過程を終了した後の図３の顕著性画像を概略的に示す。
【００４３】
顕著性画像は処理され、画像内の顕著性の大部分を包囲する少ない数の大きなエリア（通常長方形）に細分される。こうして、選択されたエリアは顕著性画像の明るい領域を包囲する。これを果たす１つの方法は、各行に沿って、および別に、各列に下って顕著性画素値の和を形成することである。垂直軸および水平軸に対してそれぞれこれらの和をプロットすることにより、顕著性の垂直方向および水平方向の分布が示される。次にこれらの和が解析され、垂直方向または水平方向の顕著性の分布の最も幅広の極小を見つけることができる。その後、画像はこの極小において３つの部分に分割されることができる。第１の部分は水平方向、あるいは場合によっては垂直方向の、この極小の幅に概ね対応する幅を有する画像を通る帯を含む。この部分は顕著ではないとして無視されることができる。その際、これは、顕著性を含むことになるこの極小帯の各側に画像の２つの部分を残すであろう（極小帯が画像のエッジのうちの１つに隣接する場合の、１つの空虚でない、すなわち顕著な側のみが存在する場合を除く）。これらの部分はそれぞれ、同じアルゴリズムによって処理されることができる。最も幅広の極小を有する部分は、同じようにして分割され、その極小の幅を破棄し、それゆえその部分を２つのさらに小さな部分に分割することができる。この工程は、以下の制約条件の１つに達するまで、最良の極小に関してその部分を分割する各段階を継続することができる。
ａ．残りの部分のうちのいずれにおいても極小を見つけることができない。すなわち、十分に広く、かつ十分に顕著性が小さい極小が見つからない。
ｂ．保持されるブロックの外側にある画像の全顕著性の割合が、５％のようなある所定の限界に達する。
【００４４】
この工程の結果は、画像の顕著な主なエリアを包囲する１組の少数の長方形ブロックが導出されることである。
【００４５】
画像が最初に図３に示されるようにフレーミングされるものと仮定すると、その画像は望ましくない特徴を含む。
【００４６】
一旦、画像の構図に関連する特徴が特定されると、この時点で、顕著性マップは、含まれる領域および除外される領域として定義される画像の領域を含むことができる。こうして、図１１Ａについて考えてみると、その少女は「含まれる」領域として特定されており、その中に少女の全てを含むことができる最小限の境界を表すクロップ境界６０によってフレーミングされている。同様に、花は含まれる領域として特定されており、その花を含むために必要とされる最小クロップを表すクロップ境界６１によってフレーミングされる。さらに、「必ず除外される」領域が、それぞれクロップ境界６４および６６によって特定され、包囲されている。しかしながら、これらの領域をユーザに対して強調表示して、それによりこれらの特徴が完全に含まれるように画像を構図し直すための機会をユーザに与えることもできる。
【００４７】
こうして、この時点で、かつオプションではユーザによって設定される好みに応答して、そのユーザは、構図的に重要な領域が強調表示される、図１０に示される画像に対応するか、または基づく画像、すなわち最小クロップ境界が表される図１１Ａの画像に類似の画像を表されることができる。実際には、そのような画像は、含まれる領域が１つの色、たとえば緑色において与えられ、一方、除外される領域が赤色のような別の色において与えられるようにカラーコード化されることができるであろう。
【００４８】
除外される領域が重要な場合もあり、たとえば、部分的な人物２９が画像内に完全にフレーミングされるように画像をフレーミングし直すことが望まれる場合もある。この構図に関するオプションが、本発明のユーザに与えられることができる。しかしながら、人物２９が、捕捉後画像処理のみを用いたシステムにおいては含まれることができないことは自明である。
【００４９】
この時点では、大きな単調なエリアを含むこと、配置が下手な水平線、傾斜している画像、フレームから外れて見えている人々、太陽に直に向けられているカメラ、不必要に高いレベルのアクティビティを有するエッジなどの他の問題点が指示される場合もある。これはユーザに写真を構図し直すための機会を与える。
【００５０】
さらに別の代替形態として、ユーザは画像の推奨された再構図を提示されることができる。これを果たすために、さらに別の処理が必要とされる。これらの付加的な処理の一例が以下に与えられる。
【００５１】
最小クロップ境界を特定した後、最大クロップ境界を特定することが有利である。図１１Ｂに関して、１つの実現可能な最大クロップ境界６８が特定されている。このクロップ境界は、除外されなければならない領域６４および６６と隣接するだけでなく、含まれる領域６１のエッジにも隣接する。その境界はまた、写真の上側エッジと下側エッジとの間に延在する。このクロップ境界６８は、少女を含むが、花を除外するために利用可能な最大クロップ境界を表す。しかしながら、少女と花とをいずれも含む別のクロップ境界も利用可能である。したがって、図１１Ｃに示されるように、少女と花とをいずれも含む、さらに別の最小クロップ境界７０を定義することができ（花がエッジに非常に近いので、花が一部除外されることが許容される）、また、写真の上側エッジおよび下側エッジまで延在し、かつ左側エッジまで延在するが、その右側エッジにおいて除外されなければならない領域６４および６６と隣接する、さらに別の最大クロップ境界７２も定義されている。
【００５２】
その中にいくつの対象のエリアが存在するかを判定するために、顕著性マップが解析される。こうして、顕著性マップがＮ個の個別の対象のエリア（たとえば、適応的に設定された閾値によって決定されるような、ある対象外のエリアによって分離される対象のエリア）を示す場合には、１〜Ｎ個の対象のエリアの選択的な組み合わせを含む実現可能な最小クロップ長方形が生成されることができ、その場合に、その最小クロップ長方形は、対象のエリアの選択された組み合わせを含み、他のエリアを除外する。したがって、これは、図１１Ａおよび１１Ｃの最小ククロップ長方形６０、６１および７０の生成に対応する。選択されないエリアのうちの１つあるいは複数のエリアを除外する単一の長方形内には収まらない場合もあるので、全ての組み合わせが実現可能であるとは限らないことに留意されたい。対象のエリアのそれぞれ単一、あるいはその組み合わせのための最大クロップ長方形は、対象のエリアを含むが、選択されない対象のエリアを除外する最大長方形である。したがって、これは、図１１Ｂおよび１１Ｃの長方形６８および７２に対応する。
【００５３】
各最小クロップ長方形６０、６１、７０およびその関連する最大クロップ限界（クロップ限界６８および７２のみが図１１Ｂおよび１１Ｃに示される）はその後、順に処理される。しかしながら、ある初期の分類によって、必要とされる処理が低減される場合もある。構図ルールのうちの１つによれば、画像内の大きく、概ね中央に位置する対象の領域が不可欠であるとみなされる。このルールを当てはめる場合には、最小クロップ境界６０および７０のみが許容され、クロップ境界６１によって定義されるような花は除外される。最初のステップは、そのクロップ限界とともに、可能性があるクロップ候補として最小クロップ境界６０および７０のうちの最初の１つを選択することである。その後、各エッジに対して実現可能なエッジ位置を特定するための探索が行われる。
【００５４】
最小および最大クロップ長方形が定義されており、この時点で、最小限界と最大限界との間の適当なクロップ境界の位置を見つけたいものと仮定する。この説明の目的を果たすために、最小クロップ長方形の左側に現れる、１つの境界のエッジの位置を特定するつもりである。デジタル画像が複数の列から構成されるものとみなすことができるなら、最大クロップ長方形の左側のエッジは列Ｐに配置され、一方、最小クロップ長方形の左側のエッジは列Ｑに配置される。列ＰおよびＱは隣接しない。
【００５５】
ある列がクロップ長方形の境界線として如何に相応しいかの判定基準を生成するために、ＰとＱとの間の各列が順に検査される。こうして、その列に沿った暗いエリアあるいはゆっくり変化する画素は、被るコストペナルティが小さいのに対して、画素の１つの行内のより明るいエリアあるいは急激に変化する色は、ペナルティの見積りが高くなるような判定基準が構成される。さらに、その見積りは、最小および最大クロップ境界に対するその列の近さに関して、さらには、その写真のエッジに対するその列の近さに関して変更されることもできる。
【００５６】
本発明の好ましい実施形態では、エッジ品質判定基準は以下のものの関数である。
ｉ． 明度： 暗いエッジが好ましく、それゆえ低いペナルティしか被らない。
ｉｉ． アクティビティ（activity）： 行あるいは列によって横切られる領域間の色差の和が解析され、小さい和は、より低いペナルティを得る。
ｉｉｉ．顕著性： 行あるいは列内の画素に関する顕著性値の和が形成され、低い顕著性は被るペナルティが小さい。
ｉｖ． 検査される列あるいは行に平行であり、かつその内側にある強い色遷移からの距離： その距離は近すぎても遠すぎてもだめであり、これを達成するために、重み付けされた距離項が用いられる。この後者の判定基準を用いて、ある特徴が最小クロップ長方形の一部でない場合であっても、その特徴に近すぎるクロッピングが避けられる。
【００５７】
これらの要因は、独立して平滑化され、かつ正規化され、その後、重み付けされた和を形成し、図１２に示されるようなエッジ品質判定基準を生成するために組み合わされる。
【００５８】
こうして、個々の列の各１つに対して、ペナルティ測定が形成され、その後、列に対してペナルティ測定をプロットして、それによりペナルティ測定プロファイル９０を得ることができる。その後、プロファイル９０は検査され、後にクロップ境界とみなされる可能性がある広い極小９２あるいは鋭い極小９４および９６のような、プロファイル中の極小の位置を判定することができる。この工程は、左側、右側、下側および上側クロップ境界それぞれの場合に繰り返されることができ、たとえば、上側クロップ限界より上に、あるいは下側クロップ限界より下に存在する列内の画素が、クロップ境界の次の繰返しから除外されるように繰返し行われることができる。その後、これらの候補クロップにさらに制約を加えることができる。実際には、あまりにも多くの制約があるので、それらの制約の全てを同時に満たすことはできないであろう。その制約は、水平線に関して「３分割のルール」を実施することを含むことができる。同様に、「３分割のルール」は、主な対象の特徴に作用して、それをクロップのエッジからの距離の３分の１に配置するために導入されることができる。
【００５９】
最終的なクロップはカメラの縦横比によっても制約される。
【００６０】
一旦、クロップ候補が特定されると、その後、１つあるいは複数のルールを適用することによりそれが評価される。各ルールは、ヒューリスティックに評価される尺度として画像上で実行される。
【００６１】
ヒューリスティックな尺度は、フレームのエッジの近くにある画像の乱れをなくすこと、最小限のエッジ品質、暗いあるいはアクティビティの少ない境界を選択することなどの構図ルールに対して用いられる。
【００６２】
重み付けされた和による種々のルールペナルティの組み合わせによって、いくつかのルールが他のものよりも重要であるとみなされるようになる。再び、重みはヒューリスティックに決定される。
【００６３】
電子画像から対象の領域を特定する他の既知の方法も本発明の実施形態に同じく当てはめることができる。
【００６４】
したがって、先に留意されたように、用いられる種々の構図ルールが異なる重みを関連付けられ、そのルールの重要性を変更することができ、たとえば、大きな単調なエリア、画像のエッジにおける乱れ、あるいは水平線が、画像フレームの中央に配置されるか、画像フレームの上下の非常に近くに配置されるかを特定するために特別な注意を払うことができる。その重みは画像コンテンツに応じて変更することができる。
【００６５】
特に重要であると考えることができる判定基準は、フレームのエッジを越えて延在する対象の領域を特定する判定基準である。画像評価システムのユーザは、これらの特徴を完全に捕捉しようと試みるために音声あるいは視覚的な警告信号によってアドバイスされることができるか、あるいは画像構図評価システムによって特定される対象の領域が実際には多数の対象物の組み合わせである場合には、これらの２つの対象物が一列に並ばないように画像捕捉システムを配置し直すようにアドバイスされることができる。このアドバイスに従うことにより、真の対象物が、たとえば背景領域によって分離されることにより、競合する対象の領域からうまく分離される画像構図が生成される可能性が高くなる。
【００６６】
候補のクロップがユーザに提示され、かつそのクロップが元の下手に構図された画像内に完全に存在する場合、完全にフレーミングされる画像を、推奨されるクロップに一致させるために、ユーザはズーミングおよびパニングを実施するように指示されることができる。これを達成するために、カメラによって視認される「現在の」画像に加えて、推奨されるクロップの画像をビューファインダ上にかすかに表示することができる。
【図面の簡単な説明】
【００６７】
【図１】フィルムカメラに組み込まれる本発明の一実施形態による画像構図評価システムの概略図である。
【図２】電子画像捕捉システムに組み込まれる本発明のさらに別の実施形態による画像構図評価システムの概略図である。
【図３】本発明の一実施形態に従って構図評価を実行することができる画像を示す図である。
【図４】図３の画像の改善された構図を示す図である。
【図５】図３の画像の別の改善された構図を示す図である。
【図６】アクティブ画素の数を低減するためにリサンプリングした後の図３の画像を示す図である。
【図７】一旦画像がぼかされ、同じように見える領域に細分された場合の図６の画像を示す図である。
【図８】さらに領域を併合した後の図７の画像を示す図である。
【図９】色をクラスタリングした後の図８の画像を示す図である。
【図１０】図３の画像に関する顕著性画像を示す図である。
【図１１Ａ】可能性がある最小および最大クロップ境界を示す図である。
【図１１Ｂ】可能性がある最小および最大クロップ境界を示す図である。
【図１１Ｃ】可能性がある最小および最大クロップ境界を示す図である。
【図１２】クロップ境界のために適した位置を判定する態様を示す図である。
【符号の説明】
【００６８】
１：対象物
３：レンズ系
５：ビューファインダ
７：可動ミラー
９：画像変換器
１１：画像プロセッサ
１３：スピーカ
１５：警告ランプ
１７：写真フィルム
１９：構図評価要求スイッチ
２１：電子記録媒体

Claims (33)

1. 画像の構図評価を提供する方法であって、
   画像を取得することと、
   １組の所定の構図ルールに従って前記画像の構図を解析することと、
   前記画像の構図に関する報告を提供することと、
   を含む方法。
2. 前記解析が、前記検出された画像内の構図的に重要な１つあるいは複数の領域を特定することと、前記１つあるいは複数の特定された領域に前記１組の構図ルールを適用することと、を含む、請求項１に記載の、構図評価を提供する方法。
3. 前記解析が、構図評価要求信号に応答して実行される、請求項１に記載の、構図評価を提供する方法。
4. 前記報告が視覚的に提示される、請求項１に記載の、構図評価を提供する方法。
5. 前記報告が、画像ビューア上に表示される視覚的な警告信号である、請求項４に記載の、構図評価を提供する方法。
6. 前記報告が表示装置上に表示され、前記報告が前記構図ルールのうちの少なくとも１つに違反する、構図的に重要な前記特定された領域のうちの１つを指示する、請求項２に記載の、構図評価を提供する方法。
7. 前記画像の可能な構図変更がユーザに対して表示される、請求項１に記載の方法。
8. 前記報告が音声信号である、請求項１に記載の、構図評価を提供する方法。
9. 前記構図ルールがヒューリスティックなルールである、請求項１に記載の、構図評価を提供する方法。
10. 前記画像を解析するステップが、
    ａ）前記画像を処理して、前記画像の構図に関連する少なくとも１つの特徴を特定することと、
    ｂ）前記特定された特徴のうちの１つあるいは複数の特徴に対する前記構図ルールの関連性に基づいて少なくとも１つの構図ルールを選択することと、
    ｃ）前記画像が適切に構図されているか否かを判定することと、
    を含む、請求項１に記載の、画像の構図評価を提供する方法。
11. 前記解析の結果が視覚的に提示される、請求項１０に記載の、画像の構図評価を提供する方法。
12. 前記結果がテキストのコメントとして提供される、請求項１１に記載の、画像の構図評価を提供する方法。
13. 前記関連する特徴が、前記画像内の色および明度のうちの一方の特異性に基づいて特定される、請求項１０に記載の、画像の構図評価を提供する方法。
14. 画像の構図評価を提供する方法であって、
    ｉ）画像を取得することと、
    ｉｉ）前記画像を処理して、前記画像の構図に関連する少なくとも１つの特徴を特定することと、
    ｉｉｉ）前記特定された特徴のうちの１つあるいは複数の特徴に対する構図ルールの関連性に基づいて、複数の構図ルールから少なくとも１つの構図ルールを選択することと、
    ｉｖ）前記画像が適切に構図されているか否かを判定することと、
    ｖ）前記画像の構図に関する出力を提供することと、
    を含む方法。
15. 前記画像の少なくとも１つの推奨されるクロップが、計算され、出力装置上に提示される、請求項１４に記載の方法。
16. 前記画像の少なくとも１つの推奨されるクロップが、ユーザに対して表示される、請求項１４に記載の方法。
17. 画像を電気信号に変換するように構成された画像受信素子と、
    前記電気画像信号を受信し、１組の所定の構図ルールに従って前記画像の構図を解析し、前記画像の構図に関する報告を提供するように構成された画像プロセッサと、
    を含む画像構図評価装置。
18. 前記画像プロセッサが、構図評価要求信号の受信に応答して前記解析を実行するように構成されている、請求項１７に記載の画像構図評価装置。
19. 前記構図評価要求信号が、構図評価要求スイッチの作動に応答して発生される、請求項１８に記載の画像構図評価装置。
20. 前記構図評価要求スイッチが、画像捕捉システムを作動して前記解析された画像を捕捉するように構成された画像捕捉スイッチを含む、請求項１９に記載の画像構図評価装置。
21. 前記報告が視覚的に提示される、請求項１７に記載の画像構図評価装置。
22. 前記報告がビューファインダ上に表示される視覚的な警告信号である、請求項２１に記載の画像構図評価装置。
23. 前記報告が音声信号を含む、請求項１７に記載の画像構図評価装置。
24. 前記画像プロセッサによって、前記画像の推奨される構図変更がユーザに対して提示される、請求項１７に記載の装置。
25. 請求項１７に記載の画像構図評価装置を含む動画用カメラ。
26. 請求項１７に記載の画像構図評価装置を含む静止画用カメラ。
27. 前記画像を解析するステップが、
    ａ）前記画像を処理して、前記画像の構図に関連する少なくとも１つの特徴を特定することと、
    ｂ）前記特定された特徴のうちの１つあるいは複数の特徴に対する前記構図ルールの関連性に基づいて少なくとも１つの構図ルールを選択することと、
    ｃ）前記画像が適切に構図されているか否かを判定することと、
    を含む、請求項１７に記載の装置。
28. 前記解析の結果が視覚的に提示される、請求項２７に記載の装置。
29. 前記結果がテキストのコメントとして提示される、請求項２８に記載の装置。
30. 前記関連する特徴が、前記画像内の色および明度のうちの一方の特異性に基づいて特定される、請求項２７に記載の、画像の構図評価を提供するための装置。
31. 画像を取得するための光検出器と、
    ｉ）前記画像を処理して、前記画像の構図に関連する少なくとも１つの特徴を特定し、
    ｉｉ）前記特定された特徴のうちの１つあるいは複数の特徴に対する構図ルールの関連性に基づいて、複数の構図ルールから少なくとも１つの構図ルールを選択し、
    ｉｉｉ）前記画像が適切に構図されているか否かを判定し、
    ｉｖ）前記画像の構図に関する出力を提供する、
    ためのプロセッサと、
    を含む、画像の構図評価を提供するための装置。
32. 前記画像の少なくとも１つの推奨されるクロップが、計算され、出力装置上に提示される、請求項３１に記載の装置。
33. 前記画像の少なくとも１つの推奨されるクロップが、ユーザに対して表示される、請求項３１に記載の装置。

Images