JP2004520735A - 電子画像の自動クロッピング方法および装置 - Google Patents

Abstract

本発明は電子画像の自動および半自動クロッピングに関し、特に電子カメラを用いて電子画像を取り込み、クロッピングする装置及び方法に関する。電子画像をクロッピングする電子画像処理装置（１）は画像処理手段（６，８）を備え、画像処理手段は、電子画像を処理するための電子プロセッサならびにファームウェア及び／又はソフトウェアを含む。装置（１）は電子画像を処理して、電子画像の構図に関連する１つ以上の特徴を特定する。特徴の各々は、複数の異なる所定の構図的特性の中の１つ以上の構図的に重要な特性を有し、電子画像のサブ領域を占める。次に装置（１）は、所定の構図の法則のセットから１つ以上の構図の法則を、構図の法則の、特定された特徴のうちの１つ以上の特徴の構図的に重要な特性との関連性に基づいて選択する。次に装置（１）は、選択された構図法則のうちの１つ以上を適用することによって、１つ以上の好適なクロップ境界を決定する。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、電子画像の自動および半自動クロッピングに関し、特に、電子カメラを用いてそのような電子画像を取り込んでクロッピングする装置および方法に関する。
【背景技術】
【０００２】
従来の写真撮影は、撮影者がファインダを用いてカメラの照準および写真の構図の両方を決めることを必要とする。特定の場所での構図は、カメラの方向を変えてズーム制御を変更することによって決まる。慎重な構図決めは、時間と注意力、ならびに様々な良い写真の構図の法則の理解を必要とする。これは、多くの人が習得し難いと感じる技能である。必要とされる努力のために撮影者は「好機を逃し」、多くの場合において、この問題は満足できる写真が撮れる可能性を十分に阻むものとなる。これは特に、写真を迅速に撮らなければならない場合、例えば動作事象や子供を撮影する場合に当てはまる。原則的には、事象の後で写真をクロッピングすることもできるが、これは時間がかかるし不便であり、その撮影者が持っていない良い写真構図の法則の知識を依然として必要とする場合がある。
【０００３】
米国特許第５，９７８，５１９号は、非常に特殊な画像、特に一人の人が均一な背景の前にいる「肖像」写真をクロッピングする自動クロッピング装置を開示する。これらの比較的明確な条件下において、米国特許第５，９７８，５１９号に開示されるシステムは先ず、入力画像をＲＧＢ色空間から輝度空間に変換する。次に画像を、２５６×２５６画素のグリッドに適合するように拡大縮小する。この２５６×２５６画素のグリッド自体は４×４画素のブロックに細分される。
【０００４】
次に、各画素ブロックについて輝度レベルの平均および分散を計算し、画像の分散プロファイルを計算する。背景が無地であるため、画像中のほとんどのブロックはわずかな分散しか示さないであろうことが予期され得る。分散曲線から、この曲線の「膝」に対応する閾値を計算する。次に、関心領域が収まる最小サイズの矩形（よってクロップ）として選択される矩形により関心の全ブロックの境界を定めることによって、それらのブロックをクロッピングする。‘５１９に開示される発明の一実施形態では、この最小クロップは次に、ボーダーを定めるために１％増大される。
【０００５】
次に、後処理手順を行って、クロップ境界内の「雑音」を取り除くことができる。したがって、‘５１９特許に記載されるように、「小さなグリッチおよび点を除去するため、特に自動クロッピング画像のエッジにおいてより優れた境界矩形を提供する」。
【０００６】
したがって、この従来技術によるシステムは、確かに画像の自動クロッピングを行うが、背景が無地であることが事前に分かっている画像に対して、被写体が１つしか存在しないという仮定に基づいてしか行わず、よって常に１つの被写体を枠で囲むための１つのクロップ境界を生成する。この技法は、より複雑なシーンが取り込まれる、１つまたは複数の競合する被写体が存在する可能性がある、あるいは美的に満足できる結果を得るには被写体を枠で囲むことのできる最小クロップよりも大きなクロップが必要となる可能性がある「実世界」の画像にはあまり適さない。
【発明の開示】
【０００７】
本発明の第１の態様によれば、画像プロセッサを備える、電子画像をクロッピングする電子画像処理装置が提供され、当該装置は、
ａ）上記電子画像を処理して、各特徴が上記電子画像のサブ領域を占める、当該電子画像の構図に関連する１つまたは複数の特徴を特定し、
ｂ）複数の所定の構図の法則から少なくとも１つの構図の法則を、当該構図の法則（複数可）の、上記特定した特徴のうちの１つまたは複数との関連性に基づいて選択し、
ｃ）上記選択した構図の法則のうちの１つまたは複数を適用することによって１つまたは複数の好適なクロップ境界を決める、
ようになっている。
【０００８】
したがって、電子画像を取り込んでクロッピングするより便利な装置および方法を提供することが可能である。
【０００９】
また本発明によれば、電子画像をクロッピングする電子画像処理装置の使用方法であって、上記画像処理装置は画像処理手段を備え、当該画像処理手段は、上記電子画像を処理するための電子プロセッサならびにファームウェアおよび／またはソフトウェアを含む方法が提供される。本方法は、上記画像処理手段を用いて、
ｉ）上記電子画像を処理して、各特徴が上記電子画像のサブ領域を占める、上記電子画像の構図に関連する１つまたは複数の特徴を特定するステップと、
ｉｉ）複数の所定の構図の法則を含むセットから１つまたは複数の構図の法則を、当該構図の法則（複数可）の、上記特定した特徴のうちの１つまたは複数との関連性に基づいて選択するステップと、
ｉｉｉ）上記選択した構図の法則のうちの１つまたは複数を適用することによって１つまたは複数の好適なクロップ境界を決めるステップと、
を含む。
【００１０】
好ましくは、上記特定した特徴の各々は、複数の異なる所定の構図的特性の中から１つまたは複数の構図的に重要な特性を有する。有利には、所定の構図の法則のセットから１つまたは複数の構図の法則を、当該構図の法則（複数可）の、上記特定した特徴のうちの１つまたは複数の特徴の構図的に重要な特性との関連性に基づいて選択する。
【００１１】
画像は、画像処理手段によって、考え得るクロップ境界の品質測度に従って自動的にクロッピングされ得る。あるいは、複数の自動的に計算したクロッピングをユーザに提示して、当該ユーザが上記考え得るクロップ境界の中から手動選択を行い、画像のクロッピングを半自動的に行うようにすることができる。
【００１２】
特徴の構図的に重要な特性には、特徴のタイプ、例えば空虚なエリア、比較的高コントラストあるいは色またはテクスチャのエリア、顔、空またはエッジまたは水平線などの認識可能な対象（object）といったものが含まれる。したがって、画像中の「構図的に重要な特徴」は、画像の一部に対象がないこと、すなわち空虚なエリアであり得る。
【００１３】
電子画像形成システムは、電子カメラ、文書画像形成システム、あるいは、取り込まれた画像をクロッピングすることができる任意の他の画像取り込みシステムの一部であり得る。
【００１４】
電子画像形成システムを電子カメラシステムとともに用いて、シーンの電子画像を取り込むことができる。特に、電子画像形成システムは、電子カメラに組み込まれ得る。
【００１５】
あるいは、上記システムは、取り込んだ画像を画像処理装置、例えば画像処理手段を含むパーソナルコンピュータまたは他のデータ処理装置に出力する従来の電子カメラを含み得る。
【００１６】
カメラは通常、電子画像を取り込む検出器アレイと、シーンを検出器アレイ上に結像するように構成されている光学結像系とを備える。カメラは、携帯用のスチル電子カメラおよび／またはビデオ電子カメラであり得る。
【００１７】
第１の構図の法則は、エッジ配置基準、例えばクロップ画像のエッジに暗いボーダーを設けることを含み得る。別の構図の法則は、クロップ境界内の関心エリアからの距離の３分の１または３分の２にエッジを配置しようとするものであり得る。
【００１８】
１つの構図の法則のみを１枚の画像に複数回、特定した各特徴について１回ずつ用いてもよい。
【００１９】
いったんクロップ境界候補が決まると、それらをシステムのユーザに提示することができる。するとユーザはクロッピング候補を選択することができ、画像処理装置はすぐにユーザの選択に従って電子画像をクロッピングするように構成されている。
【００２０】
特定可能な特徴は、処理画像におけるクロッピング境界の配置に関連する特徴であるべきである。
【００２１】
カメラは、当該カメラのユーザが上記電子画像の構図に関連する１つまたは複数の特徴をタグ付けすることができる手段を備え、その場合に当該タグ付けした特徴（複数可）は、当該タグ付けした特徴（複数可）をクロップ画像に含める構図の法則に関連付けられ得る。かかるタグ付けは、ユーザに対して例えばカメラに内蔵されたＬＣＤディスプレイ上に表示される取り込んだ画像の特徴またはエリアをユーザが好適な制御装置により指示することによって行われ得る。
【００２２】
しかしながら、画像中の特徴を自動的にタグ付けすることも可能であり得る。例えば、カメラの視野にある人物は、カメラ内の画像処理手段が自動的に認識できる何らかの種類の識別子タグを着用することができる。このタグは、画像処理ソフトウェアによって理解される光学的に特定可能なバッジパターンであり得る。その場合、人物を自動的に特定することができる。
【００２３】
したがって任意選択的に、特定可能な特徴は所定の特徴、例えば人物が着用できるタグを備え得る。かかるタグは、画像処理システムが認識する特定可能なパターンを有し得る。次に、少なくとも１つの構図の法則が上記特定したタグに関連付けられ、特定された特徴がクロップ画像に含まれるようになる。タグが、クロップ画像を閲覧しているユーザの気を逸らすことのないように、タグは赤外線専用タグ（例えば赤外線送信器）として実施されれば好ましい。
【００２４】
特徴を手動でタグ付けする一方法は、カメラのファインダを（従来のポインティングおよび構図決めデバイスの両方としての使用に対して）ポインティングデバイスとして用いることである。この使用において、主な関心エリアは意図的に枠の略中央に位置付けられる。本発明により画像を自動クロッピングする場合、画像の中央領域は、クロップ画像に不可欠であるものみなされるため、クロッピングにより除外されることが防止される。
【００２５】
本発明の別の実施形態において、電子カメラは、取り込んだ画像において任意の特徴を特定する前に、クロップ画像に含めるべき特徴に一致する外観を持った対象の画像を取り込むように用いられ得る。これは対象の外観（あるいは人物の外観−例えば顔）自体に関連がある可能性があるが、異なる使用では、モデルは特定目的で着用される付加物にも関連がある可能性がある。例えば、ある人物が特定の青の色調のジャケットを着用している場合、電子カメラは、上記ジャケットを指向して、その青の色調が電子画像に取り込まれた際に当該青の色調を、タグ付けした特徴に関連するものとして認識するように画像処理手段を「初期化」するようにし得る。この青の色調には、高い関心メトリックが割り当てられ、かつ／または特定の構図の法則が関連付けられ得る。画像が取り込まれると、画像処理手段を用いて、取り込んだ画像において少なくとも１つのタグ付けした特徴を特定することができる。次に構図の法則を用いて、タグ付けした特徴がクロップ画像に含まれるように、取り込んだ画像をクロッピングすることができる。
【００２６】
本発明の一実施形態において、上記ステップｉｉｉ）は、
ｉｖ）複数の代替的なクロップ境界候補を生成するステップと、
ｖ）写真構図メトリックのセットを用いることによって上記代替的なクロップ境界候補の各々について構図の品質の測度を生成するステップと、
ｖｉ）構図の品質の測度が比較的高い少数のクロップ候補、例えばただ１つのクロップ候補を出力として選択するステップと、
を含む。
【００２７】
本発明の代替的な実施形態において、上記ステップｉｉｉ）は、
ｖｉｉ）上記構図の法則を、多少とも満足され得る制約として実施するステップであって、上記制約の各々は、当該制約の満足度が低下すればするほど増加するコスト関数が関連付けられている、実施するステップと、
ｖｉｉｉ）個々の上記制約に関連する別個の上記コスト関数の組み合わせを形成することによって、総コストメトリックを画像中のクロップ座標の関数として定義するステップと、
ｉｘ）最適化法を適用するステップであって、それによって、上記総コストメトリックにおける極小を見つけることにより１つまたは複数の最良のクロップ位置を見つける、適用するステップと、
ｘ）上記最良のクロップ位置について少数のクロップ候補、例えばただ１つのクロップ候補を出力として選択するステップと、
を含む。
【００２８】
少なくとも１つのクロップエッジが存在することになる。例えば円または楕円が有するクロップエッジは１つだけである。多くの場合は２つ以上のクロップエッジが存在することになる。例えば、正方形または矩形は４つのエッジを有し、そのうち１つないし４つは、元の電子画像をクロッピングしたことで生じるものとなる。
【００２９】
クロップ画像のクロップ境界が複数のクロップエッジを有する場合、本方法のステップは、上記クロップエッジの各々に対して別々に行われて上記クロップ境界を生成することができる。これは、各エッジを他のエッジとは無関係に評価できるため、クロップ境界を選択するために必要な計算を減らすのに役立つ。しかしながら、ユーザが何らかのアスペクト比制約を適用しようとする場合、計算量を減らすことができる。したがって、例えばユーザが、アスペクト比がちょうどＡ：Ｂ（ここで、ＡおよびＢは４および３といった数である）となるように定義した場合、いったん３つのクロップ境界さえ分かれば最終的な境界の位置が定まる。
【００３０】
本発明を実施することができる一方法は、上述のステップ（ｉ）が、重なり合わない関心のセグメント化領域をなす特徴を特定するステップを含む場合である。その場合に、上記ステップ（ｉｉｉ）は、まず上記クロップ境界に含められるものと、上記クロップ境界から除外されるものとへの上記特定した関心領域の択一的な分割を選択することによって達成され得る。次に上記関心領域の択一的な分割の各々を用いて、内側クロップ境界限界および外側クロップ境界限界を求め、上記内側クロップ境界限界が、上記含められるべき関心領域を囲む最小の境界であり、上記外側クロップ境界限界が、上記除外されるべき関心領域を除外する最大の境界であるようにする。次に上記１つまたは複数の好適なクロップ境界が、上記関心領域の択一的な分割の各々について上記内側および外側クロップ境界限界の当該限界間で求められ得る。
【００３１】
上記クロップ境界が複数のエッジを有し、上記内側および外側クロップ境界限界間の考え得る各エッジ配置のエッジ品質メトリックを評価することによって１つまたは複数の好適なクロップ境界が決まると、上記最良のクロップ境界の選択は、当該境界のエッジの各々の別個の上記エッジ品質メトリックに少なくとも部分的に依存し得る。
【００３２】
これもまた、外側クロップ境界限界が内側クロップ境界限界を完全には包囲しない、あるいは外側および内側クロップ境界限界間のエリアの形状により所望のクロップ境界形状を配置することができない代替的なクロップを考慮する必要がなくなるため、計算の負担を軽減するのに役立ち得る。
【００３３】
上記ステップ（ｉ）において、空虚または無関心のエリアを上記構図に関連する上記特徴のうちのいくつかとして検出し、上記ステップ（ｉｉ）および（ｉｉｉ）において、上記構図の法則のうちの１つまたは複数により、上記電子画像の上記構図に関連する他の特定した特徴に対する上記空虚または無関心のエリアの配置に従って上記画像がクロッピングされることも可能である。
【００３４】
写真撮影において、上記空虚なエリアは通常、無地の背景または空に関連する。画像処理手段は、かかる空虚なエリアに関連する１つまたは複数の構図の法則を用いることができる。例えばシーン上部の水平帯全体に広がる空虚なエリアは、明白な空（plain sky）に関連し得るため、適切な構図の法則は、この特定エリアの量を最小化し、当該エリアと下部の関心エリアとの間の境界を水平方向に向けるものであるだろう。したがって、本方法は概して、構図の法則を用いて、空虚でない他の特徴に対する空虚なエリアの配置に従って、取り込んだ画像をクロッピングするステップを含み得る。
【００３５】
上記画像がカラー画像である場合、上記画像を同様の色および／またはテクスチャのエリアにセグメント化することによって、少なくとも１つの特徴を特定することもできる。
【００３６】
画像の構図に関連する特徴または各特徴を特定するための画像の好ましい処理方法は、
１）任意選択的に画像を少数の画素にリサンプリングすることと、
２）画像をぼかすことと、
３）同様の外観の領域を結合させることと、
を含む。
【００３７】
画像をぼかすことは、細かな細部を取り除き、よって重要でない高コントラストのエリア、例えば木の葉の間から見える空に必要以上の注意が注がれることのないようにする効果を持つ。
【００３８】
次に「領域の結合」は、同様の外観、例えば同様の色を持った画像の隣接部分を一緒にグループ化する。結合は有利には繰り返し行われ、各繰り返し毎に、画像中の異なる領域の数を特定するための検査が行われ得る。
【００３９】
このプロセスの一部として、同様の色または明度を有するより大きなエリアに取り囲まれた小さいカラーエリアもまた、大きい方のエリアに結合され得る。
【００４０】
領域の結合中に色はクラスタリングされる。しかしながら、さらなる色のクラスタリングステップを行って色数を減らすことができる。
【００４１】
次に画像中での色の特異性を計算し、これを用いて、元の画像の領域の顕著さを示す「顕著性画像（saliency image）」を導き出すことができる。この顕著性画像は、画像領域の関心メトリックを表す。
【００４２】
「関心メトリック」という用語は、本明細書中において、特定の関心エリアに置く重みすなわち重要性を定義するために用いられる。特定した特徴の関心メトリックは、当該特徴に少なくとも１つの特定の写真の構図の法則を関連付けるために用いられ得る。例えば高い関心メトリックを有する特徴は、かかるエリアをクロップ画像の中央に、あるいは例えば「三分割法」と呼ばれるよく知られた写真の構図の法則に従って画像の中央からわずかに片側に寄せて配置する法則に関連付けられ得る。
【００４３】
有利には、本システムは、顔の検出、あるいは、衣服認識、顔検出、髪色およびよく似たスタイルの認識、体形モデルの使用のうちの１つまたは複数を用いた人物の検出、も可能であり得る。
【００４４】
−領域の色、明度、およびテクスチャの、他の隣接領域に対する相対的特異性、および／または
−領域の色、明度、およびテクスチャの、上記画像の大部分に対する相対的特異性、
の何らかの組み合わせに基づいて領域に高い顕著性を割り付けることによって、ある領域を他の領域よりも顕著であるものとして示すことができる。
【００４５】
次に画像プロセッサ、ソフトウェアおよび／またはファームウェアは、上記領域が人物の顔、頭または全身である可能性、あるいは上記領域が既知の人物である可能性、または上記領域がどれだけ画像の中央にあるかについて判断を行うことができる。
【００４６】
本システムはまた、主な関心領域を指示するユーザからの対話的な入力を可能にし得る。
【００４７】
画像の中央で特定した特徴の構図の法則は、当該特徴をクロップ画像に含めるというものであり得る。
【００４８】
次に本発明を、添付図面を参照しながら例示目的でのみ説明する。
【発明を実施するための最良の形態】
【００４９】
図１は、シーン２の電子画像を取り込む電子カメラ１を概略的に示す。このカメラは、上記シーン２をカメラ内の２次元検出器アレイ４上に結像するように構成されている光学結像系３を有する。検出器アレイは、当該検出器アレイが取り込んだ画像の処理のためにマイクロプロセッサ６に接続される（５）。マイクロプロセッサ６は、取り込んだ電子画像を処理する内部ソフトウェアおよび／またはファームウェアを有する。
【００５０】
マイクロプロセッサ６自体は、カメラ１のユーザが用いて画像の取り込みを開始することができる画像取り込みボタン７と、メモリ８とに接続される。従来の電子カメラに通常付随する様々な要素、すなわちバッテリ電源、ファインダまたは液晶ファインダディスプレイ、集光および光レベル検出用の光学装置および電子装置、ならびに露光およびオートフォーカス制御機構は図示していない。
【００５１】
好ましくは、取り込んだ画像１０の処理は、カメラ１内のマイクロプロセッサ６によって行われ、メモリ８は、自動クロッピングプロセスによって生成されたデータ、および結果として得られるクロップ画像５９を保持する役目を果たす。しかしながら、画像処理をカメラ本体外部で行うことが可能であり、その場合、電子カメラと外部の処理とが本発明の電子カメラシステムを形成する。
【００５２】
本発明は、比較的多数の検出素子を有する検出器アレイ４を有する電子カメラの場合に特に有用である。例えば、２百万個以上の素子を有する検出器アレイが、広角の視野を有する光学系３とともに用いられ得る。その場合、ユーザは電子カメラ１を、撮影したいシーン２の方向に概ね向ければよい。次に上述したように自動クロッピングを用いて、取り込んだ画像の不要なエリアをクロッピングすることができる。これにより、撮影者が写真の構図の細部を過度に気にする必要がなくなるため、撮影者から相当な負担を取り除く。すると電子写真を迅速に撮ることができ、撮影者が所望の瞬間を取り込む可能性が増大する。
【００５３】
本発明の一実施形態による画像処理に用いられる方法の一例を、図２Ａおよび図２Ｂを参照して説明する。本方法の様々なステップは、その結果とともに、図３Ａないし図３Ｆを参照して見ることができる。
【００５４】
図３Ａは、おそらくは不慣れな撮影者または急いでそのシーンを取り込もうとした者がその場的に構図を決めた画像を示す。この全体を１０で示す写真は、ブランコに乗った少女１２を示す。少女１２は、ほぼ画像の中央に位置しており、画像の主な被写体を表すものと考えることができる。しかしながら、画像中の他の考え得る関心領域に、画像の左下の隅に位置する花１４がある。画像をさらに調べると、画像の右側に全体を１６で示す人物の姿の一部が含まれていることにより、重大な構図ミスを犯していることが分かる。
【００５５】
自動画像処理システムは、写真の主題の先験的な知識を有さないため、写真を処理して、写真の構図的に重要な領域がどこにあるかを示す何らかの形態の表現を抽出する必要がある。
【００５６】
写真１０は、２，０００，０００を超える有効画素数を有するカメラを用いて撮られた可能性がある。それほど多数の画素を解析することは計算が非常に大そうになるだろう。したがって任意の他の処理ステップを行う前に、画像プロセッサは、画像中の画素数を減らすために画像をダウンサンプリングする。図３Ｂは、図３Ａに示したものと同じであるが２４０×１８０画素にダウンサンプリングした後の画像を概略的に示す。このダウンサンプリングにより、有効画素数は４３，２００に減少している。ダウンサンプリングに続いて、ダウンサンプリングした画像１８は次にステップ３０において、圧縮した色変化を有するものの依然として明度の変化は保持する画像に変換される。かかる処理の一例は、画像をＹＣＣ色空間形式に変換することである。これは使用できる唯一の色空間表現ではないことが留意されるべきである。したがって、ＣＩＥＬＡＢ色空間系も用いることができる。この系はよく知られており、色の明るさの測度である明度Ｌ＊が縦軸にプロットされ、さらなる２つの測定値ａ＊およびｂ＊が直線軸（ａ＊が赤から緑までのスケールの色を規定し、ｂ＊軸が青から黄色までのスケールの色を示す）として規定される空間を定義する。測定値ａ＊およびｂ＊は、水平な色平面であり、この表色系が直交デカルト空間を定義するように互いに垂直である。Ｌ＊軸、ａ＊軸およびｂ＊軸の各々は、任意のスケール上の１単位がほぼ同じ「視感度」を持つように規定され、この系を人間の知覚に関して線形かつ等方的にしている。Ｌ＊軸はゼロ（黒）から１００（白）までのスケールを有するのに対し、ａ＊およびｂ＊スケールは、それぞれ−６０から＋６０までの範囲である。この系は、１単位の色差が当該色空間のどの部分でもほぼ同一の視感度を持つという利点を有する。
【００５７】
画像の色空間への変換に続いて、変換した画像内の、同様の色および明度を有するエリアを生成し成長させる。このプロセスは、画像をぼかすステップ３１で開始し、次にステップ３２において、平滑な色および明度を持つ「種エリア」を形成するために、ぼかした画像を解析する。次にステップ３３において、種エリアの境界に隣接するエリアが十分に似た色および明度を持つ場合に当該隣接エリアを加えることによって、上記種エリアを成長させる。ステップ３３から、ステップ３４において、色圧縮した画像内の画素がすべて種エリアに割り付けられたかどうかを判定する検査を行う。割り付けられていない場合、制御はステップ３４からステップ３１に戻り、ぼかしおよび領域成長プロセスを反復的に繰り返す。
【００５８】
最終的にステップ３４の検査が満たされる。図３Ｃは、画像全体をぼかして領域に割り当てた画像３Ｂを概略的に示す。この段階で、図３Ｃに示す画像は、約２，８００個の領域を含み、そのうちおよそ２，２００個が１０個以下の画素を含む。
【００５９】
次に画像処理は、続いてステップ３７において、「弱いエッジ」によって分離された画像の隣接エリアを結合させる。「弱いエッジ」とは、比較的小さな色差または明度差を持った写真のエリアを分離する境界である。換言すれば、これらの領域はＹＣＣまたはＣＩＥＬＡＢ空間内で互いに近接している。制御はステップ３７から、同様の平均色を有する隣接エリア同士を結合させるステップ３８に移る。制御は次にステップ３８から、画像を調べて、小さなエリア（サイズが閾値よりも小さいエリア）が別のより大きなエリアによって完全に包囲されているかを判定するステップ３９に移る。包囲されている場合、小さなエリアを大きな方のエリアに結合させる。ステップ３７、３８および３９は１回の通過で適用することができる。しかしながら、ステップ３７、３８および３９を繰り返し適用してもよく、ステップ３９の後に、個々の領域の数が所定の閾値未満に減少したかどうかを判定する検査を行ってもよい。依然として多すぎる領域が存在すると判断された場合、弱いエッジをなすものの定義をおそらくは、色が十分に異なり結合されないものとみなされる前に、分離されるべき色空間における距離が増大し得るように変更した上で、ステップ３７、３８および３９を繰り返すことができる。図３Ｄは、領域結合後の画像を示す。
【００６０】
制御は、ステップ３９から図２Ｂのステップ５０に移り、このステップ５０では、色数が通常は２０個ほどの領域である適切な数まで減少する時点まで似た色を一緒にクラスタリングするために、画像をさらに解析する。色をクラスタリングした画像を図３Ｅに概略的に示す。
【００６１】
本明細書中で使用する場合、領域とは、画像の、空間的に繋がったサブエリアであることに留意すべきである。クラスタが似た領域の集合であるのに対し、領域は互いに隣接している必要はない。
【００６２】
図３Ｅを参照すると、花１４の主要部分が同一色のエリアに結合されていることが分かる。同様に、少女の顔は同一色のエリア５１に結合されており、ズボン５２も同様である。大きな背景エリア、例えば画像の左側の木も略同一色のエリアに結合されている。制御は、最初にステップ５０から、色の特異性に基づいて関心メトリックを形成するステップ５４に移り、このステップ５４から、画像を解析して、複数の考え得る異なる特性の中から当該画像中の構図的に重要な特性を求めるステップ５５に移る。
【００６３】
行うことのできるそのような解析の１つは、図３Ｅに示すクラスタリングした色を解析して、それらの色の特異性を判定することである。本明細書中で上記したように、図３Ｅに示す画像は、約２０個ほどの異なる色クラスタを含む。これらのクラスタは次に、各々の色に属する画素数を特定するためにソートされる。
【００６４】
図４は、色距離に対するある色に属する画素の割合の累積ヒストグラムを概略的に示す。色クラスタの各々を順に処理する。ある色を処理する場合、その色と他の色クラスタの各々との色距離を計算し、次にクラスタを、処理中の色クラスタからの色距離の順にソートする。次に、色距離次元に沿って数が増加するクラスタに含まれる画像の画素の累積和をカウントすることによって、検査中の色クラスタについて累積ヒストグラムを形成することができる。
【００６５】
近い色の近傍クラスタとともに画像の画素の比較的大きな割合を占めるクラスタは、背景とみなされる。かかる背景の色クラスタのヒストグラムを線５６で示す。逆に、近い色の近傍クラスタとともに画像の画素の比較的小さい割合のみを占めるクラスタ色は、前景とみなされる。かかる前景の色の典型的なヒストグラムの形を線５７で表す。この解析によって、クラスタ色が前景の色である可能性に基づいて当該クラスタ色にデフォルトの顕著性を割り付けることができる。
【００６６】
しかしながら、カラーマッピングは、顕著性画像を求めるために適用される唯一のプロセスではない。概して、画像のエッジの方に位置する領域は、完全には枠に入っていない対象に属する可能性があるので、ペナルティが課される。
【００６７】
パターン認識といったさらなるプロセスを画像に適用することもできる。したがって、探索を行い、画像中のエリアをモデルライブラリに保持されたモデルと比較した結果として身体または顔を特定することができる。
【００６８】
図３Ｆは、ステップ５５において行われる１つまたは複数のプロセスの完了後の図３Ａの顕著性画像を概略的に示す。
【００６９】
顕著性画像を処理して、図５に示すような、画像中の顕著性の大部分を包囲する少数の大きなエリア（通常は矩形）に細分する。したがって、選択したエリアは、顕著性画像の明るい領域を包囲する。これを行う一方法は、各行に沿って、および別に、各列に下って顕著性画素値の和を形成することである。これらの和をそれぞれ縦軸および横軸にプロットすると、垂直方向および水平方向の顕著性分布が示される。これらを解析して、垂直方向または水平方向の顕著性分布のいずれかで最も幅広の極小を見つけることができる。その場合、この極小のところで画像を３つの部分に分割することができる。第１の部分は、画像にわたる、極小の幅に略一致する幅を有する水平帯、あるいは場合によっては垂直帯を含む。この部分は顕著でないものとして無視できる。これで残るのは、極小帯の両側の、顕著性を含む画像の２つの部分である（極小帯が画像のエッジのうちの１つに隣接する場合は例外であり、この場合は片側のみが空虚でない、すなわち顕著となる）。これらの部分をそれぞれ同じアルゴリズムで処理することができる。最も幅広の極小を有する部分は同様の方法で、極小の幅を捨て、よって当該部分を２つのより小さな部分に分割することにより分割することができる。このプロセスに引き続き、以下の制約条件のうちの１つに達するまで、最良の極小付近で部分を分割する各段階が行われ得る。すなわち、
ｉ．残りの部分のいずれにも極小が見つからない。すなわち十分に幅広で顕著性が十分に低い極小が見つからない。
ｉｉ．保持ブロックの外側の画像の総顕著性の割合がある所定の限界、例えば５％に達する。
【００７０】
このプロセスの結果、図５に示すように、画像の主要な顕著性エリアを包囲する矩形ブロックの小セットが導出される。
【００７１】
画像の構図に関連する特徴がいったんステップ５６までで特定されると、ここで顕著性マップは、包含領域および除外領域として規定される画像領域を含み得る。したがって、図５Ａを検討すると、少女は「包含」領域として特定され、少女全体を内部に含めることが可能な最小境界を表すクロップ境界６０によって枠で囲まれている。同様に花は、包含領域として特定され、花を含めるために必要な最小クロップを表すクロップ境界６１によって枠で囲まれている。さらに、「除外すべき」領域が特定され、それぞれクロップ境界６４および６６によって包囲されている。
【００７２】
最小クロップ境界を特定したら、最大クロップ境界を特定することが有利である。図５Ｂに関して、１つの考え得る最大クロップ境界６８が特定されている。このクロップ境界は、除外すべき領域６４および６６に接するが、包含すべき領域６１のエッジにも接する。当該境界はまた、写真の上部エッジと下部エッジとの間に延在する。このクロップ境界６８は、少女を含めるが花は除外するのに利用可能な最大クロップ境界を表す。しかしながら、少女と花の両方を含める代替的なクロップ境界も利用可能である。したがって、図５Ｃに示すように、少女と花の両方を含めるさらなる最小クロップ境界７０を定めることができ（花はエッジに非常に近いため、花の部分的な除外は許容される）、また、写真の上部および下部エッジまで延在し、左側のエッジまで延在するが、写真の右側のエッジにある除外すべき領域６４および６６に接するさらなる最大クロップ境界７２も定められている。
【００７３】
図６Ａを参照すると、制御は、いくつの関心エリアが存在するかを求めるために顕著性マップが解析されるステップ８０で開始する。したがって、顕著性マップがＮ個の別個の関心エリア（例えばある適応的に設定された閾値によって求められる、ある無関心のエリアによって分離される関心エリア）を示す場合、１〜Ｎ個の関心エリアの代替的な組み合わせを含む考え得る最小クロッピング矩形を生成することができ、ここで当該最小クロッピング矩形は、選択した関心エリアの組み合わせを含み、他のエリアは除外する。したがってこれは、図５Ａおよび図５Ｃの最小クロッピング矩形６０、６１および７０の生成に相当する。全ての組み合わせが可能であるわけではないことに留意すべきである。これは、それらの組み合わせが、１つまたは複数の非選択エリアを除外する単一の矩形に含められない可能性があるからである。各々の関心エリアまたは関心エリアの組み合わせの最大クロッピング矩形は、関心エリアは含むが選択されない関心エリアは除外する最大矩形である。したがってこれは、図５Ｂおよび図５Ｃの矩形６８および７２に相当する。
【００７４】
次に、各最小クロッピング矩形６０、６１および７０ならびにその関連最大クロッピング限界（そのうちクロッピング限界６８および７２のみを図５Ｂおよび図５Ｃに示す）を順に処理する。しかしながら、一定の初期ソートは必要な処理を減らすことができる。構図の法則のうちの１つは、画像中の大きく十分に中央に位置した関心エリアが不可欠であるとみなされることを要し得る。この法則を適用する場合、最小クロッピング境界６０および７０のみが許容可能となり、クロップ境界６１によって画定される花は除外される。最初のステップは、最小クロッピング境界６０および７０のうち第１のものを、考え得るクロッピング候補としてそのクロッピング限界とともに選択することである。このプロセスはステップ８２において行われる。それから制御は、エッジの各々について考え得るエッジ位置を特定しようとするステップ８３に移る。
【００７５】
図７を参照してステップ８３の手順をより完全に説明する。最小および最大クロップ矩形が定まり、今度は最小および最大限界間で好適なクロップ境界の位置を見つけたいものと仮定する。この説明の目的で、最小クロップ矩形の左側に存在する１つの境界のエッジの位置を見つけることにする。デジタル画像を複数の列からなるものとして考えることができるものと仮定すると、最大クロップ矩形の左側のエッジは列Ｐにあり、最小クロップ矩形の左側のエッジは列Ｑにある。列ＰおよびＱは隣接していない。
【００７６】
ＰとＱの間の列の各々を順次調べ、その列がクロッピング矩形のボーダーとなる適性のメトリックを生成する。したがって、列に沿った暗いエリアまたは徐々に変化する画素には低コストのペナルティが課せられ、一方で画素の行におけるより明るいエリアあるいは急速に変化する色はペナルティ格付けが高くなるようにメトリックを構築する。さらにこの格付けは、最小および最大クロップ境界に対するその列の近さ、またさらに言えば写真のエッジに対するその列の近さに関して修正することもできる。
【００７７】
本発明の好ましい実施形態において、エッジ品質メトリックは、次の関数である。すなわち、
ａ．明るさ。すなわち暗いエッジが好ましく、よって低いペナルティしか課されない。
ｂ．アクティビティ。すなわち行または列が横断する領域間の色差の和を解析するもので、和が小さいほど低いペナルティを与える。
ｃ．顕著性。すなわちその列または行における画素の顕著性の値の和を求めるもので、顕著性が低いほど低いペナルティを課す。
ｄ．検査中の列または行と並行した、当該列または行内の強い色遷移からの距離。この距離は近すぎても遠すぎてもいけず、これを達成するために重み付き距離項を用いる。この後者の基準は、特徴が最小クロッピング矩形の一部でなくとも、特徴に近すぎるクロッピングを防ぐために用いられる。
【００７８】
これらの要素は、重み付き和を求めて図７に示すようなエッジ品質メトリックを生成するために組み合わされる前に、個々に平滑化および正規化される。
【００７９】
したがって、個々の列のそれぞれについて、ペナルティ測定を形成し、このペナルティ測定を列に対してプロットし、それによってペナルティ測定プロファイル９０を得ることができる。次にこのプロファイル９０を調べて、その中の極小、例えば広い極小９２またはより鋭い極小９４および９６の位置を求めることができ、その場合にこれらの極小を考え得るクロッピング境界としてみなす。このプロセスは、左側、右側、下部および上部のクロップ境界について個別に繰り返すことができ、例えば上部クロップ限界よりも上あるいは下部クロップ限界よりも下にある列の画素は次のクロップ境界の反復から除外されるように反復的に繰り返すことができる。次に、これらのクロップ候補にさらなる制約を与えることができる。実際には、全ての制約を同時に満足するには多すぎるほどの制約があるだろうが、ステップ８３において生成されたであろう多くのクロップ候補の中からクロップを特定する際に任意選択的に用いることのできる制約のいくつかの実施例としてステップ８４および８５が挙げられる。したがってステップ８４において、水平線を特定しようとする試みがなされ、水平線をクロップ候補のエッジから離して配置するクロップのほうが、これを達成しないクロッピングの可能性よりも好まれる。したがってこれは、水平線に関して「三分割法」を課すことに相当する。同様に、ステップ８５において「三分割法」を導入して主要な関心の特徴に作用させ、この特徴をクロップエッジからの距離の１／３に配置することができる。
【００８０】
最終的なクロップは、ユーザが選択したアスペクト比にも制約され得る。図６Ｂは、クロップ候補をアスペクト比に基づいて選択するために実施することができる処理を示す。
【００８１】
制御は、クロップ画像が固定アスペクト比を有するものであるか否かについて質問がなされるステップ１００で開始する。これにより、特定のアスペクト比が指定および実施され得ることが確実に可能となる。これは実際には、アスペクト比を指定した場合（制御はステップ１０２に移る）、クロップ候補を完全に指定するために必要となる他の制約は通常、アスペクト比が必要とされない代替的な場合よりも少数となることを意味する。明示的なアスペクト比要件が存在しない場合、ステップ１０６における評価基準は、ばかげたほど実質の無い（thin）アスペクト比にペナルティを与える可能性が高い。
【００８２】
いったんクロップ候補を特定すると、このクロップ候補はステップ１０６において、１つまたは複数の基準を適用することによって評価される。各基準は、画像上でヒューリスティックに評価される測度として実施される。例えば、関心点が３分の１のラインからどのくらい近いかを測定するメトリック１０７を図８に示す。クロップ候補における点の内部（fractional）位置が水平方向と垂直方向の両方で測定される。各方向のペナルティは、図８に示すヒューリスティックに求めたグラフから求める。２つの測度ｐｅｎａｌｔｙ_vertおよびｐｅｎａｌｔｙ_horizを次の法則によって組み合わせる。すなわち、
ｍａｘ（ｐｅｎａｌｔｙ_vert，ｐｅｎａｌｔｙ_horiz）＞０．７５である場合に
ｐｅｎａｌｔｙ＝ｍａｘ（ｐｅｎａｌｔｙ_vert，ｐｅｎａｌｔｙ_horiz）
および、
ｍａｘ（ｐｅｎａｌｔｙ_vert，ｐｅｎａｌｔｙ_horiz）＝０．７５である場合に
ｐｅｎａｌｔｙ＝ｍｅａｎ（ｐｅｎａｌｔｙ_vert，ｐｅｎａｌｔｙ_horiz）
【００８３】
枠のエッジに近い余計なものの除去、最小エッジ品質、暗い境界すなわち低アクティビティの境界の選好などといった他の構図の法則に対し、同様のヒューリスティックな測度を用いる。
【００８４】
重み付き和による異なる基準ペナルティの組み合わせにより、いくつかの基準を他の基準よりも重要なものとしてみなすことができる。ここでもまた、重み付けはヒューリスティックに決められる。
【００８５】
多数の考え得る基本的な方式の拡張がある。例えば、画像の全体的な種類に従って基準の組み合わせの重み付けを動的に調整することが可能であろう。例えば、カメラにまっすぐに向けられる１つの顔を含む単一の関心エリアを有するクロップ矩形６０は、三分割法の重み付けを減らし、より中央に配置された肖像が選ばれることを可能にすることができる。
【００８６】
別の可能性は、ある種のクロップ矩形が他のクロップ矩形に比して本質的に好ましい（すなわち低いペナルティを与えられる）さらなるペナルティ要素をステップ８１から生成することである。
【００８７】
図６Ｂでは、ペナルティを次のように評価する。まず、総クロップペナルティが以前の最も低い総クロップペナルティよりも低いか否かについて検査１０８を行う。低い場合、ステップ１１０において現在のクロップ候補をこれまでで最良のクロップ候補として記録する。低くない場合、ステップ１１２において、検査すべき制約の組み合わせがまだ残っているか否かについて検査を行う。残っている場合、フローチャートはステップ１００にループバックする。
【００８８】
残っていない場合、フローチャートは次にステップ１１４において、検査すべき他の最小クロッピング矩形が残っているかを検査する。残っている場合、フローチャートはステップ８３にループバックする。残っていない場合、フローチャートは、ステップ１１６において最良のクロップ候補がプロセスからの出力として返されたことを示す。
【００８９】
図６Ａおよび図６Ｂの背後にある思想は、位置の全ての組み合わせを生成し、後のステップで評価するというものである。これは、最小および最大クロッピング矩形によって決められる「制約セット」を用いて１つまたは複数の好適なクロップ境界を決めるための「生成・検査」法である。図１２Ａおよび図１２Ｂは、本発明に従って生成されたクロップの例を示す。
【００９０】
本発明の一実施形態においてクロッピング選択プロセスは、対象が含められるように当該対象を「タグ付け」する能力をユーザに与えることによって修正され得る。特徴を手動でタグ付けする一方法は、カメラのファインダを（従来のポインティングおよび構図決めデバイスの両方としての使用に対して）ポインティングデバイスとして用いることである。この使用において、主な関心エリアは意図的に枠の略中央に位置付けられる。本発明により画像を自動クロッピングする場合、画像の中央領域は、クロップ画像に不可欠であるものみなされ、よってクロッピングにより除外されることが防止される。
【００９１】
本発明の別の変形において、カメラは、高い関心を持つものとして特定の色またはテクスチャを特定するように初期化され得る。ここでは少なくとも２つの使用モデルが可能である。１つは単に、「自然な」重要性すなわち固有の関心のある特徴、すなわち顔、人物または対象の全体的な形状、および期待される他の構図の要素の特定を含む。もう１つは、対象をクロップ画像に強制的に含めるための「タグ付け」という特定の目的のための付加的な要素すなわち付加物を提供することである。いずれの場合も実質的な効果は同様である。例えば、人物が青のレインジャケットを着用している場合、カメラは、その青のレインジャケットをクローズアップして指向されてから、当該ジャケットの画像を取り込むことができる。次にカメラは、取り込んだ画像を処理して、その特定の色に高い関心メトリックを割り当てるようにプログラムされ得る。その後、青いジャケットが出現するシーンの広角写真を撮る場合、このエリアには最も高い関心メトリックを割り当てて、取り込んだ画像を自動的に、青いジャケットが画像中に保持されるような方法でクロッピングするようにすることができる。これは特に、人々の集団の画像を取り込み、撮影者がそのうちの１人を写真の主な被写体としたい場合に有用である。
【００９２】
図１０および図１１は、上述した「制約ベース」の手法および「生成・検査」法の背後にある概念をそれぞれより一般的な表現で示す。両方の場合に、出発点は、例えば図２Ｂのステップ５４までのステップに記載するような、画像の構図に関連する特徴の特定である（２００、３００）。
【００９３】
次のステップ２０２は、特定した特徴に関連する「制約セット」を決めることである。「制約セット」という概念は、選択肢のセットであり、一度に考慮するのはそのうちの１つのみであるべきである。各選択肢は、１つまたは複数の完全に指定した制約、例えば何らかの所要値を有する特徴からなり、次にステップ２０４において、これらの制約を列挙する。
【００９４】
制約セットの単純な例は「アスペクト比」である。２つの選択肢、すなわち「ポートレイト」および「ランドスケープ」が存在する。第１の選択肢（ポートレート）は、次の制約によって定義され得る。すなわち、
（右−左）／（下−上）＝０．７５
第２の選択肢（ランドスケープ）は、次の制約によって定義され得る。すなわち、
（右−左）／（下−上）＝１．３３
【００９５】
図９を参照すると、より複雑な制約セットは、元の取り込み画像の最大境界１９０内の異なる分類の関心エリア１８４、１８５のクロッピング限界の選択肢を定義することもできる。このセットにおける選択肢の数は、画像中の関心エリアの解析によって決まる。以下に示すように、画素座標（３０，１８０）〜（２００，３００）および（３５０，５０）〜（６００，２４０）を持つ２つの関心エリア１８４、１８５が決められているものと仮定する。この例において、画像全体は左上の座標（０，０）および右下の座標（６４０，４８０）を持つ。
【００９６】
クロップ限界の制約セットは、３つの選択肢からなるだろう。
選択肢１（左側の関心エリア１８４のみ）は、次の制約によって定義される。
左＞０ 左＜３０
上＞０ 上＜１８０
右＞２００ 右＜３５０
下＞３００ 下＜４８０
選択肢２（右側の関心エリア１８５のみ）は、次の制約によって定義される。
左＞２００ 左＜３５０
上＞０ 上＜５０
右＞６００ 右＜６４０
下＞２４０ 下＜４８０
選択肢３（両方の関心エリアを含む（１８６））は、次の制約によって定義される。
左＞０ 左＜３０
上＞０ 上＜５０
右＞６００ 右＜６４０
下＞３００ 下＜４８０
【００９７】
制約セットの概念を用いて、多くの相互排除的な選択肢セットを表すことができる。典型例には、アスペクト比、様々な分類の関心エリアの最小クロップ矩形および最大クロップ限界に基づく代替的な被写体の選択、水平線の配置の選択肢（下３分の１のラインまたは上３分の１のライン）、関心点の配置（４つの「３分の１」の各交点のところ、あるいは細長のアイテムの場合には４本の「３分の１」のラインのうちの１本に沿って）、および上、下、左および右のエッジの好ましいエッジ配置がある。
【００９８】
各エッジ毎に、エッジ品質メトリックに基づいて許容可能な代替的な距離範囲からなる制約セットが存在する。
【００９９】
上に挙げた例は全て「ハードな」制約である。すなわち、条件は満たされねばならず、条件の違反に伴う段階的なペナルティはない。多くの場合は、制約を「ソフトな」ものとして実施すること、すなわち解が局所最適解から離れるほど大きなペナルティを課すことが望ましい。一例として、水平線の正確な３分の１のラインへの配置は、正確な３分の１の位置から少し外れた配置を可能にしながらも、所望の３分の１の場所からの距離の増加にペナルティを与えるように実施するほうがよい。
【０１００】
最適化の問題は、「ソフトな」実施を含むように容易に設定することができる。例えば、条件を次のように変更することによって行う。
ｘ＝１／３
から
ｘ＋ｅ１−ｅ２＝１／３
ここでｅ１およびｅ２は、最適化されるべきペナルティ関数全体に、通常は次のような寄与の重み付き和として寄与する正のペナルティ項である。
ｐｅｎａｌｔｙ＝ｃｌｅ１＋ｃ２ｅ２＋．．．．．
【０１０１】
次のステップ２０６は、次の制約の組み合わせとして、各制約セットから選択肢を１つずつ選ぶことである。多くの組み合わせが、他の制約のいくつかによって排除されるので、即座に除外または簡略化され得る。例えば特定のクロッピング限界の選択肢の選択は、いくつかの関心点がこれらのクロッピング限界の外側となり得るため、どの関心点が考慮され得るのかを制限することになる。
【０１０２】
次にステップ２０８において、現在の制約に最適なクロップ候補を決めることができる。設定した制約は、単純な線形条件の組み合わせである。これらは、ハードな制約をすべて満たし、総ペナルティが極小となる方法でソフトな制約を満足するクロップの上、下、左および右の境界の場所を見つける線形プログラミング法によって効果的に解くことができる。
【０１０３】
解消中のまさにその制約セットの組み合わせに応じて、いくつかの状況がある可能性がある。理想的には、１つの最適な解が存在する。
【０１０４】
しかしながら、解が存在しない場合もある。これは、いくつかの制約が矛盾している場合に当てはまる。例えば、２つの関心点ＡおよびＢ（ＡはＢの左側にある）と、Ａを右側の３分の１のライン付近、Ｂを左側の３分の１のライン付近に配置しようとする制約の組み合わせとがある場合、明らかに解は存在しない。解くべき制約セットを選択するステップ２０６の方法は、理想的には、これらの状況をなくすような方法で実施されるべきである。
【０１０５】
ペナルティスコアが同等に低い複数の解が存在する場合もある。この場合、複数の選択肢がある。１つは、複数の解の空間内で１つの解を無作為に選ぶことである。もう１つは、例えば１つまたは複数のソフトな制約をハードな制約に変えることによって制約を厳しくすることである。任意でステップ２１０において、より上等な評価メトリックを用いて、同等に許容可能な解の空間内で選択肢セットを生成し、これらを洗練された評価メトリックに基づいて選択することが可能である。この任意のステップは例えば、「生成・検査」法であり得る。これには多くの変形が可能である。
【０１０６】
線形解は、代替的な妥当と思われる選択肢を表す制約セットを形成することができるため、自動クロッピングに良好に働く実用的な方法である。各組み合わせを個別に処理し、よって異なる局所最適解を見つけることは、ユーザのためによい選択肢を生成する有用な方法である。非線形最適化法はしばしば、局所最適解を大域最適解と混同するという問題を伴う。探索空間の理解を高めることにより、この技法は上記問題を比較的知的な方法で回避できるようになる。
【０１０７】
線形プログラミングは、ステップ２０８で用いることのできる一方法であるが、制約が規定される方法に制限を課すことも確かである。制約セットからの制約の選択によって定められる部分空間内における局所最適化の同一の基本的な枠組みの中で他の最適化技法を用いることもできる。
【０１０８】
全ての考え得る制約および評価基準が、ステップ２０８において最適化され得るハードまたはソフトな条件としてコード化される場合、ステップ２１０を飛び越すことができる。しかしながら、ステップ２０８を線形プログラミングによって達成する場合、制約のいくつかは近似することが難しいか、あるいは省略されてしまう。ステップ２０８により生成された解のより精密な評価は、後にステップ２１０において得ることができる。より洗練された実施は、ステップ２０８からの近似解を、より詳細な評価メトリックを用いた「生成・検査」ベースの局所最適化の開始点として用い得る。
【０１０９】
線形表現でのみ近似することができる制約の一例は、エッジ品質メトリックである。真のエッジ品質は、エッジの限界が既知である場合にのみ本当に評価することができる。例えば、代替的な左のエッジ位置の真の相対品質は、上および下の限界に依存する。上下を狭く選択すると、左のエッジの品質に悪影響を及ぼすであろう画像中の特徴を除外することができる。この種の相互依存性は、線形システムではモデル化できない。最善の方法は、ステップ２０４中に、最小および最大クロッピング限界を選択した状態で、例えば最大クロッピング限界を用いてエッジ品質メトリックを計算し直し、各エッジ制約セットについて特定の代替的な制約セットを生成することである。これらの特定の制約は、クロッピング限界のこの特定の選択を検討する間中用いられる。
【０１１０】
線形モデル化できない別のタイプの制約は、画像中のエリアの比率、例えばクロップ境界内の単調な（boring）領域の相対面積に関係した制約である。明らかに、面積は水平方向および垂直方向のクロップ位置に関係した項の乗算であるため、この制約は非線形である。
【０１１１】
いずれにせよ、いったんクロップ候補が評価されると、このクロップ候補はステップ２１２において、そのペナルティスコアとともに記録される。
【０１１２】
ステップ２１２から、制御は、制約セットの組み合わせをすべて検査したか否かについて検査を行うステップ２１４に移る。検査していない場合、フローチャートはステップ２０６にループバックする。検査した場合、結果をどうするかの決定には多くの可能性がある。図１０は一例のみを示し、この例では、ステップ２１６においてクロップ候補をペナルティスコアの順に格納し、次にペナルティスコアが最も低いクロップ候補のいくつかをステップ２１８においてシステムのユーザに提示する。
【０１１３】
選択肢セットからの選択に加えて、ユーザは、選択した選択肢に対して改善を提案したいと思うかもしれない。これは、「大きくする」または「小さくする」といった単純なコマンドによって達成することができる。このような場合にシステムは、選択されたクロップと、ユーザが拒絶した選択肢とに基づいて新たな最小クロップ矩形および新たな最大クロップ限界を定めることができる。例えば、ユーザが「大きくする」を要求した場合、選択されたクロップが新たな最小クロップ矩形となり、選択されたクロップのサイズを上回る選択されなかった最小クロップが新たな最大クロップ限界となる。次にシステムは、これらの制限内の代替的なエッジ配置を再検討して、ユーザに提示すべき新たな選択肢セットを生成することができる。この形式の対話を繰り返し使用することにより、構図的に許容可能なクロップに関するシステムの基準を最もよく満たす選択肢の空間をユーザが対話的に探索することを可能にすることができる。
【０１１４】
別の手法の一例は、考え得る代替的なクロップ限界の各々からの限界を確実に１つずつ用いるものであろう。
【０１１５】
本発明のいくつかの用途では、ユーザが関与せず、クロップは完全に自動化され得る。
【０１１６】
図１１は、ある種の制約がハードな等価制約として規定され、最適化を試みずにクロップ候補を定めるために用いられる「生成・検査」法の一般例である。各ハードな制約は、特定基準の局所最適位置である。
【０１１７】
比較を容易にするために、図１０のステップに対応する図１１のステップには１００だけ増加させた参照番号を付した。
【０１１８】
特徴に関連する制約セットがいったん決まると（３０２）、これらを列挙し（３０４）、一群の制約セットを「制御制約（driving constraint）セット」として選択する（３０５）。これらの制約セットは、各制御制約セットから１つずつの制約により制約の群が形成されると、クロップ候補が完全に指定されるようになっている。
【０１１９】
単純な例は、制御制約の群が上、下、左および右の場所の制約セットから構成されることであり、ここでこれらの制約の各々は、エッジ品質メトリックから決まるエッジ位置候補である。
【０１２０】
よって例えば、左のエッジ制約セットは次のようなものであり得る。
左＝５
左＝３８
左＝１５０
【０１２１】
考え得る右、上および下の候補についても同様の制約セットが存在するだろう。
【０１２２】
上述の例において、制御制約は、様々な関心エリアの組み合わせのクロッピング限界と組み合わされた上記のようなエッジ制約（すなわち最小クロップ矩形およびクロッピング限界）である。
【０１２３】
代替的な一群の制御制約セットは、３つの列挙されたエッジ位置制約セットおよびアスペクト比制約セットであり得る。
【０１２４】
制御制約セットは、考え得る全てのクロップ矩形のうちのどれを「生成する」かを決める。最も知的でない可能な実施態様では、考え得る全ての左、右、上および下の場所を生成する。ただしこれは、計算量を増大させる。
【０１２５】
ステップ３０６において、制御制約の次の組み合わせとして、各制御制約セットから制約を１つずつ選択する。
【０１２６】
ステップ３０８における現在のクロップ候補の決定は、制御制約に対する考え得る解は定義上１つしか存在しないため、取るに足りないものである。
【０１２７】
ステップ３１０において、ソフトな制約をすべて評価する。ここで、不特定のソフトな評価基準の集合を組み合わせる。
【０１２８】
いったんクロップ候補が評価されると、このクロップ候補はステップ３１２において、そのペナルティスコアとともに記録される。
【０１２９】
次にステップ３１４において、制御制約セットの組み合わせをすべて検査したか否かについて検査を行う。検査していない場合、フローチャートはステップ３０６にループバックする。フローチャートは制御制約の間でのみループする。これは制御制約が、検討すべきクロップ矩形候補を完全に指定するためである。
【０１３０】
制御制約セットをすべて評価した場合、結果をどうするかの決定には多くの可能性がある。図１１は一例のみを示し、この例では、ステップ３１６においてクロップ候補をペナルティスコアの順にソートし、次にペナルティスコアが最も低いクロップ候補のいくつかをステップ３１８においてシステムのユーザに提示する。
【０１３１】
本発明は、主題の選択および構図を改善したクロップ画像の取り込みの自動化および半自動化において様々な利点を提供する。本発明はまた、良好かつ適切な構図で写真を撮るための撮影者側の努力を減らし、それによって多数の画像を迅速に取り込む電子カメラの可能性に適合する。
【０１３２】
したがって、画像を解析する方法および装置を提供することが可能であり、当該方法および装置は、
ａ．画像の特徴から計算される、各々が構図の法則を具現化するメトリックのセットを実施し、
ｂ．所与の画像にはどの構図の法則が適切であるかを当該画像の内容に基づいて決定する動的な決定機構を使用し、
ｃ．上記適切な構図の法則に従ってクロップ境界の位置を最適化する機構を組み込む。
【０１３３】
本方式に従って多数の構図の法則を実施することができ、その非限定的で非網羅的なリストには以下が含まれる。
・シーンから除外されるべき余計なものを特定する。
・サイズを小さくすべき単調なエリアを特定する。
・水平線を特定し、この水平線が中央、あるいは画像の上部または下部付近に配置されないようする。
・重要な被写体を特定し、出力クロップにおける当該被写体の配置を整える。これは例えば、よく知られた「三分割法」の使用を含み得る。
・複数の考え得る被写体を特定し、異なる組み合わせの被写体を含む代替的なクロップを生成する。
・１人または複数の人物が見つめる大まかな方向を特定し、その人物または各人物が面している画像の側により大きな空間を提供しようとする。この法則は、２人以上の人々が異なる方向に面している場合に満たされない場合がある。
・可能であれば、例えば境界を配置するエリアとして画像中の比較的暗い非アクティブなエリアを選択することによって、境界が自然な枠を形成するようにする。
・コントラストの強いエッジが枠のエッジまたはエッジ付近に配置されないようにする。
・枠のエッジの方を指向する小さな対象がいくらかの背景ボーダーとともに完全に枠内に入るか、あるいははっきりとクロッピングされるようにする。かかる対象の例には、伸ばした腕や教会の尖塔がある。
・必要であれば、人々が不快でないことが分かっている点でクロッピングされるようにする。これは通常、足首、腰、ひじまたは首といった関節でのクロッピングを防ぐ。
・出力クロップのアスペクト比が一般に許容される伝統的な割合の範囲内となるように制約する。これは任意で所望のアスペクト比に固定されてもよい。
【０１３４】
実際には、全ての法則が全ての画像に当てはまるわけではない。さらに、いくつかの法則は矛盾し、よって当該法則の下で最も低いペナルティが課される潜在的なクロップを規定するために重み付けして組み合わされ得る。しかしながら、本発明は実施される法則のセットを提供し、これらの法則セットは画像に対して、当該画像と関連するかどうか、またどこが関連するのかを確かめるために検査される。単一の法則を同一の画像に複数回適用して、例えばいくつかの余計なものを取り除くこともできる。これは、通常は法則を１つだけ用いて単一の被写体エリアを分離させ、これを枠または何らかの比較的小さな固定サイズのボーダー内の中央に配置するという現在知られている技術とは対照的な本発明の態様である。
【０１３５】
複数の構図の法則が実施されるため、画像に当てはまる構図の法則すべてを同時に完全に満足するのは通常不可能であることにも留意すべきである。したがって、１つまたは複数の比較的良い妥協を特定して形成する手段が必要である。本発明は、画像に当てはまることが分かった法則の一部または全部を自動的に制約として設けることを可能にする。すると、対立する制約のセットを満足する局所的に最適な方法を見つけるために様々な自動化された方法が可能となる。本発明のもう１つの重要な特徴は、代替的な各局所最適解自体が適切なクロップ結果であり得ることである。これは従来技術と対照的である。したがって、本発明は、ユーザが選択を行うことのできる少数の代替的なクロップを生成することができる。
【０１３６】
本明細書中で上述した本発明の特定の実施態様において、構図の法則は、処理ステップのいくつかの主要な特徴において具現化された。特に、
ｉ．顕著性マップの生成。ここでは人間の閲覧者の注意を引く可能性の高いエリアを特定する法則を適用した。
ｉｉ．最大クロッピング限界を求める際に画像のエッジにおける余計なものを特定および除去する法則。
ｉｉｉ．代替的な構図について被写体の異なる組み合わせを特定する法則。
ｉｖ．クロッピングエッジ位置を設けるのに適切な場所を選択する法則を含むエッジ品質メトリックの生成。
ｖ．クロップ品質メトリックの重み付き和結合（weighted sum combination）の形成、および代替的な考え得る出力クロップを比較により評価する法則の実施。
【０１３７】
当業者は当然、上記教示から本発明の原則が代替的な実施に役立つことを確認するであろう。
【図面の簡単な説明】
【０１３８】
【図１】検出器アレイと、当該検出器アレイが取り込んだ電子画像を自動的にクロッピングする画像プロセッサとを有する、本発明による電子画像処理装置を組み込んだ電子カメラシステムのブロック概略図である。
【図２Ａ】取り込んだ電子画像をクロッピングする本発明による方法の一実施形態を示すフローチャートである。
【図２Ｂ】取り込んだ電子画像をクロッピングする本発明による方法の一実施形態を示すフローチャートである。
【図３Ａ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図３Ｂ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図３Ｃ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図３Ｄ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図３Ｅ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図３Ｆ】図２Ａおよび図２Ｂを参照して記載した方法に従うことによって得られる処理ステップを示す図である。
【図４】検討中の色クラスタからの色距離の増大に対するカラー画素の累積ヒストグラムを示す図である。
【図５Ａ】考え得るクロップ境界を示す図である。
【図５Ｂ】考え得るクロップ境界を示す図である。
【図５Ｃ】考え得るクロップ境界を示す図である。
【図６Ａ】図２Ａおよび図２Ｂに示したような本発明による方法を実施する一方法を詳細に示すフローチャートである。
【図６Ｂ】図２Ａおよび図２Ｂに示したような本発明による方法を実施する一方法を詳細に示すフローチャートである。
【図７】クロップ距離に対するクロップペナルティメトリックのプロット図である。
【図８】主な関心領域の代替的な位置に関するペナルティメトリック対位置のプロット図である。
【図９】２つの特定した特徴の最小および最大クロッピング矩形を概略的に示す図である。
【図１０】図２Ａおよび図２Ｂに示したような本発明による方法を実施する、「制約」ベースの手法を用いた一方法を詳細に示すフローチャートである。
【図１１】図２Ａおよび図２Ｂに示したような本発明による方法を実施する、「生成・検査」ベースの手法を用いた一方法を詳細に示すフローチャートである。
【図１２Ａ】自動的に生成したクロップ画像の例を示す図である。
【図１２Ｂ】自動的に生成したクロップ画像の例を示す図である。
【符号の説明】
【０１３９】
１：電子カメラ
２：シーン
３：光学結像系
４：検出器アレイ
６：マイクロプロセッサ
８：メモリ

Claims (47)

1. 電子画像をクロッピングする電子画像プロセッサであって、
   ａ）前記電子画像を処理して、該電子画像の構図に関連する１つまたは複数の特徴を特定し、
   ｂ）複数の所定の構図の法則から少なくとも１つの構図の法則を、該構図の法則の、前記特定した特徴のうちの１つまたは複数との関連性に基づいて選択し、
   ｃ）前記選択した構図の法則を適用することによって、１つまたは複数の好適なクロップ境界を決める、
   ようになっている電子画像プロセッサ。
2. 画像処理用のファームウェアおよびソフトウェアのうちの少なくとも１つを備える、請求項１に記載の電子画像プロセッサ。
3. 前記画像を解析して、顕著性マップを生成するように構成されている、請求項１に記載の電子画像プロセッサ。
4. 前記画像は複数の画素を含み、前記画像プロセッサは前記画像中の同様な画素を複数の領域にクラスタリングするように構成され、前記画像中の特異性測度を求めるように前記領域が解析される、請求項３に記載の電子画像プロセッサ。
5. 特異性のある領域が、より普通に存在する領域よりも顕著なものとして格付けされる、請求項４に記載の電子画像プロセッサ。
6. 前記画像プロセッサが、所定の法則に従い、関連する特徴としてみなされる形状に関して前記画像を探索し、前記特徴は人々の顔を含む、請求項３に記載の電子画像プロセッサ。
7. 前記画像プロセッサが、所定の法則に従い、関連する特徴としてみなされる形状に関して前記画像を探索し、前記特徴はタグ付けした対象を含む、請求項３に記載の電子画像プロセッサ。
8. クロップ限界が生成され、次に該クロップ限界間の好適なクロップ境界候補が、少なくとも１つの品質メトリックに従って、前記クロップ境界候補の各々の品質測度を生成することによって評価され、解析に基づいて、低減された数のクロップ候補が出力候補として選択される、請求項１に記載の電子画像プロセッサ。
9. １）画像を解析して、電子画像中の少なくとも１つの構図的に重要な特徴を決定し、
   ２）前記特徴に少なくとも１つの構図の法則を適用して、クロップ画像に含めるべき特徴を特定し、
   ３）前記画像に含めるべき少なくとも１つの特徴に関連するクロップの境界を定めるクロップ限界を生成し、
   ４）前記境界内にクロップ候補を生成し検査して、品質メトリックにより許容可能なクロップを表すクロップ候補を特定する、
   ように構成されているデータプロセッサを備える電子画像処理装置。
10. 前記クロップ候補は、アスペクト比によって制約される、請求項９に記載の電子画像処理装置。
11. 電子画像を処理して該画像中の構図的に重要な特徴を特定し、該特徴を少なくとも１つの構図の法則に従って、前記画像をクロップしたものに含めるべき特徴と、前記画像をクロップしたものから除外すべき特徴とに分類し、次にクロップ候補を自動的に生成するように構成されている電子画像プロセッサであって、前記クロップ候補は、含めるべき特徴を包囲する単なる最小クロップではない、電子画像プロセッサ。
12. 複数のクロップ候補を生成する、請求項１１に記載の電子画像プロセッサ。
13. 前記画像に複数の制約を適用することによって、好適なクロップ境界が特定され、前記制約は、少なくとも１つの構図の法則から生成される、請求項１１に記載の電子画像プロセッサ。
14. 画像を解析して該画像中の構図的に重要な特徴を特定し、少なくとも１つの構図の法則を適用して複数の制約を生成し、前記画像に前記制約を適用して複数のクロップ候補を生成し、該クロップ候補の各々には、前記制約に違反する程度を示す測定値が関連付けられており、次により良いクロップ候補のうちの少なくとも１つをユーザに提示するように構成されている電子画像プロセッサ。
15. シーンの電子画像を取り込む電子カメラシステムであって、前記電子画像を取り込む検出器アレイと、前記シーンを前記検出器アレイ上に結像するように構成されている光学結像系と、前記取り込んだ画像をクロッピングする画像プロセッサとを備え、該画像プロセッサは、請求項１に記載した通りである、電子カメラシステム。
16. 前記カメラは、該カメラのユーザが前記電子画像の構図に関連する１つまたは複数の特徴をタグ付けすることができる手段を備え、その場合に前記タグ付けした特徴は、該タグ付けした特徴をクロップ画像に含める構図の法則に関連付けられている、請求項１５に記載の電子カメラ。
17. 電子画像をクロッピングする電子画像処理装置の使用方法であって、前記画像処理装置は画像処理手段を備え、該画像処理手段は、前記電子画像を処理するための電子プロセッサ、ファームウェア、およびソフトウェアのうちの少なくとも１つを含み、前記画像処理手段を用いて、
    ｉ）前記電子画像を処理して、各特徴が前記電子画像のサブ領域を占める、前記電子画像の構図に関連する少なくとも１つの特徴を特定するステップと、
    ｉｉ）複数の所定の構図の法則を含むセットから少なくとも１つの構図の法則を、該構図の法則の、前記特定した特徴のうちの少なくとも１つとの関連性に基づいて選択するステップと、
    ｉｉｉ）前記選択した構図の法則のうちの１つまたは複数を適用することによって、少なくとも１つの好適なクロップ境界を決定するステップと、
    を含む方法。
18. 前記特定した特徴の各々は、複数の異なる所定の構図的特性の中からの少なくとも１つの構図的に重要な特性を有し、所定の構図の法則のセットから少なくとも１つの構図の法則を、該構図の法則の、前記特定した特徴のうちの１つまたは複数の特徴の前記構図的に重要な特性との関連性に基づいて選択する、請求項１７に記載の方法。
19. 前記ステップｉｉｉ）が、
    ｉｖ）複数の代替的なクロップ境界候補を生成するステップと、
    ｖ）写真構図メトリックのセットを用いることによって、前記代替的なクロップ境界候補の各々について構図の品質の測度を生成するステップと、
    ｖｉ）構図の品質の測度が比較的高い減じられた数のクロップ候補を選択するステップと、
    を含む、請求項１７に記載の方法。
20. 前記ステップ（ｉｉｉ）が、
    ｖｉｉ）前記構図の法則を、多少とも満足され得る制約として実施するステップであって、前記制約の各々には、該制約の満足度が低下すればするほど増加するコスト関数が関連付けられている、実施するステップと、
    ｖｉｉｉ）個々の前記制約に関連する別個の前記コスト関数の組み合わせを形成することによって、総コストメトリックを前記画像中のクロップ座標の関数として定義するステップと、
    ｉｘ）最適化法を適用して、前記総コストメトリックにおける極小を見つけることにより少なくとも１つの最良のクロップ位置を見つけるステップと、
    ｘ）前記最良のクロップ位置について、減じられた数のクロップ候補を出力として選択するステップと、
    を含む請求項１７に記載の方法。
21. クロップ候補が１つだけ選択される、請求項１９に記載の方法。
22. クロップ候補が１つだけ選択される、請求項２０に記載の方法。
23. 前記クロップ画像の前記クロップ境界が、複数のクロップエッジを有し、該方法のステップが、前記クロップエッジの各々に対して別々に行われて前記クロップ境界を生成する、請求項１７に記載の方法。
24. 前記ステップ（ｉ）が、重なり合わない関心のセグメント化領域をなす特徴を特定することを含み、
    前記ステップ（ｉｉｉ）が、まず前記特定した関心領域の、前記クロップ境界に含められるものと、前記クロップ境界から除外されるものとへの択一的な分割を選択することによって達成され、
    前記関心領域の択一的な分割の各々を用いて、内側クロップ境界限界および外側クロップ境界限界を決定し、前記内側クロップ境界限界が、前記含められるべき関心領域を囲む最小の境界であり、前記外側クロップ境界限界が、前記除外されるべき関心領域を除外する最大の境界であるようにし、
    前記１つまたは複数の好適なクロップ境界が、前記関心領域の択一的な分割の各々について前記内側および外側クロップ境界限界の該限界間で決定される、
    請求項１７に記載の方法。
25. 前記内側クロップ境界限界および前記外側クロップ境界限界が、複数のエッジを有し、前記内側および外側クロップ境界限界間の考え得る各エッジ配置のエッジ品質メトリックを評価することによって、１つまたは複数の好適なクロップ境界が決定され、前記最良のクロップ境界の選択が、該境界のエッジの各々の別個の前記エッジ品質メトリックに少なくとも部分的に依存する、請求項２４に記載の方法。
26. 前記好適なクロップ境界のうちの１つまたは複数が、前記電子画像のクロッピングに関して前記装置のユーザによる手動選択のために該ユーザに提示される、請求項１７に記載の方法。
27. 前記ステップ（ｉ）において、空虚または無関心のエリアを前記構図に関連する前記特徴のうちのいくつかとして検出し、前記ステップ（ｉｉ）および（ｉｉｉ）において、前記構図の法則のうちの１つまたは複数により、前記電子画像の構図に関連する他の特定した特徴に対する前記空虚または無関心のエリアの配置に従って前記画像がクロッピングされる、請求項１７に記載の方法。
28. 前記画像がカラー画像であり、前記画像を同様の色および／またはテクスチャのエリアにセグメント化することによって、少なくとも１つの特徴が特定される、請求項１７に記載の方法。
29. 前記ステップ（ｉ）において、前記電子画像の構図に関連する特徴が、
    前記画像を複数の領域にセグメント化し、
    ある領域を他の領域よりも顕著であるものとして示し、
    顕著な領域を、比較的顕著でない領域によって分離されたより大きな領域にグループ化し、
    前記顕著な領域のグループを、関心領域の特性を有する特徴として特定する、
    プロセスによって特定される、請求項１７に記載の方法。
30. 前記画像が、該画像を同種のサブエリアにセグメント化することによって複数の領域にセグメント化され、同種性測度が、色、明度、およびテクスチャのある組み合わせに基づいている、請求項２９に記載の方法。
31. 前記領域の色、明度、およびテクスチャのうちの少なくとも１つの、他の隣接領域に対する相対的特異性、および／または、
    前記領域の色、明度、およびテクスチャのうちの少なくとも１つの、前記画像の大部分に対する相対的特異性、
    のうちの少なくとも１つに基づいて、前記領域に高い顕著性を割り付けることによって、ある領域が他の領域よりも顕著であるものとして示される、請求項２９に記載の方法。
32. 前記画像の中央で特定した特徴に関する前記構図の法則が、該特徴を前記クロップ画像に含めるというものである、請求項１７に記載の方法。
33. 前記ステップ（ｉ）の前に、前記電子画像の取り込みに関係なく、関心の特定の特徴または対象を決定するステップ（０）をさらに含み、前記ステップ（ｉ）は、前記関心の特定の特徴または対象の特定を試みることと、特定に成功した関心の特定の特徴または対象の、前記電子画像の構図に関連する特徴としての指定とをさらに含む、請求項１７に記載の方法。
34. 前記ステップ（０）が、前記電子画像の取り込み前に特定の特徴または対象の特定を含む、請求項３３に記載の方法。
35. 前記ステップ（０）が、少なくとも１つの識別子タグと識別子タグの特定の法則との提供を含み、前記ステップ（ｉ）が、前記識別子タグの特定のための前記法則の使用を含む、請求項３３に記載の方法。
36. 前記識別子タグは、赤外線送信器である、請求項３５に記載の方法。
37. 電子画像をクロッピングする方法であって、
    ｉ）前記画像を自動的に解析して、前記画像の構図に重要である前記画像中の少なくとも１つの特徴を特定するステップと、
    ｉｉ）少なくとも１つの構図の法則を、特定した特徴に自動的に関連付けるステップと、
    ｉｉｉ）前記画像中に含めるべき特徴として特定した少なくとも１つの特徴を含むクロップ境界を生成するステップであって、該クロップ境界は、前記特徴を包囲するのに必要な最小の境界よりも大きくなるように選択される、生成するステップと、
    を含む方法。
38. 電子画像をクロッピングする方法であって、
    ｉ）前記画像を処理して、前記画像中の少なくとも１つの明確な特徴を特定するステップと、
    ｉｉ）前記少なくとも１つの特徴に関連する少なくとも２つの構図の法則を選択するステップであって、該構図の法則は、前記画像をクロップしたものの中への前記特徴の考え得る包含および配置を決定する、選択するステップと、
    ｉｉｉ）前記選択した構図の法則に従って、前記画像をクロップしたものの少なくとも１つのクロップ境界を決定するステップと、
    を含む方法。
39. 前記画像をクロップしたものに含めるべき特徴が特定され、該特徴の空間的な大きさを用いて、最小クロッピング限界が定められ、最大クロッピング限界も定められ、前記最小および最大クロッピング限界によって境界が定められるクロップ境界候補について検査が行われて、該クロップ境界候補の前記選択した構図の法則への適合性が判定される、請求項３８に記載の方法。
40. 前記選択した構図の法則を用いて制約セットが規定され、次に該制約に従ってクロップ境界候補が決められる、請求項３８に記載の方法。
41. 前記制約が、ソフトな制約として実施され、該制約の各々に対する不適合度を用いてペナルティ測定が形成されるように実施される、請求項４０に記載の方法。
42. 最も低いペナルティが関連付けられたクロップが、ユーザへの提示のために選択される、請求項４１に記載の方法。
43. 前記構図の法則にユーザが自分の選択を強要することができる、請求項４２に記載の方法。
44. 実質的に本明細書中で添付図面を参照して説明した、あるいは添付図面に図示した通りである、電子画像をクロッピングする電子画像形成処理装置。
45. 実質的に本明細書中で添付図面を参照して説明した、あるいは添付図面に図示した通りである、シーンの電子画像を取り込む電子カメラシステム。
46. 実質的に本明細書中で添付図面を参照して説明した、あるいは添付図面に図示した通りである、電子画像処理装置を用いて電子画像をクロッピングする方法。
47. 複数セットのクロップ限界が生成および評価され、該セットの各々が、最小クロッピング限界および最大クロッピング限界を含む、請求項８に記載の電子画像プロセッサ。

Images