JP2010271776A - 被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラム - Google Patents

Abstract

【課題】デジタル画像における複数の被写体の重要度をより適切に判定可能な重要度判定方法を提供する。
【解決手段】デジタル画像における複数の被写体の重要度を判定する際、被写体の面積情報等に加えて、被写体同士の相対的な位置関係やデジタル画像全体の構図情報を考慮することで、より適切に被写体の重要度を判定することができ、また、被写体の重要度を適切に判定しておくことで、画像検索の際、適切に検索対象を絞り込むことができるとともに、効率的な検索が可能となり、さらに、被写体同士の相対的な位置関係を考慮した重要度判定プログラムや画像検索プログラムにより、適切な重要度判定処理を行わせ、適切且つ効率的な画像検索を行わせることができる。
【選択図】図１

Description

本発明は、デジタル画像における被写体の重要度判定方法及び装置、重要度判定プログラム、複数のデジタル画像から任意のデジタル画像を検索する画像検索方法及び装置、並びに画像検索プログラムに関する。

近年、デジタルカメラ等の普及に伴い、手軽にスナップ写真を撮像することが可能となり、個人が所有するデジタル画像数は増加の傾向にある。このため、膨大な画像データの中から個人の要求に適した画像の検索を目的として、類似画像検索に関する検討が行われている。

例えば、特許文献１には、一の被写体（顔）を特定したうえで、当該一の被写体を含む画像データを複数の画像データの中から検索する手段が開示されている。また、特許文献２には、一の画像データと他の画像データとの類似度を算出して画像検索を行う手段が開示されている。

一方、特許文献３、４には、デジタルカメラ等の撮像装置の使用時に、撮像画像から検出した顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正するといった機能を効率的に実現するため、デジタル画像処理において被写体の重要度を用いる手段が開示されている。また、特許文献５には、撮像画像データに対して適切な画像処理を行うべく、撮像画像データ中の被写体画像の画像サイズに応じて、画像変換処理を施すか否かが判断される画像処理装置が開示されている。

特開２００９−８７００４号公報 特開２００９−５９１３３号公報 特開２００８−２０５６５０号公報 特開２００７−２０１９８０号公報 特開２００８−２３６１４１号公報

特許文献１、２にかかる画像検索方法及び画像検索装置にあっては、画像データに含まれるすべての被写体を対象として検索を行っている。そのため、検索に余分な時間を要するほか、ユーザの要求に適した検索が困難になる場合があった。

画像検索の効率化を図るには、画像データ中の被写体すべてを検索対象とせず、画像データ中の検索すべき被写体を適切に絞り込むことが効果的であると考えられる。例えば、特許文献３〜５に開示されたような、被写体の重要度（優先順位等）を判定することにより対象の絞り込みを行う方法を、画像検索にも適用することで、画像データ中の検索対象を絞り込むことができ、画像検索が効率化されるものと考えられる。このような新規な発想に基づき、本発明者らはさらに研究を進めた。

しかしながら、特許文献３〜５に開示された手段は、撮影時の画像処理や、編集時の画像変換において供されるものであり、これを画像検索に用いたとしても、検索対象である被写体を必ずしも適切に絞り込めるわけではない。例えば、特許文献３〜５においては、画像に複数の被写体がある場合、被写体の重要度を、あくまでも一の被写体毎に個別に判定している。また、一の被写体が他の被写体に与える影響等を考慮していない。このため、画像処理装置による重要度の判定が適切とはいえず、画像処理装置により判定された画像データ中の被写体の重要度が、ユーザの判定した重要度と異なる可能性が高かった。

本発明は上記に鑑みてなされたものであり、デジタル画像における被写体の重要度をより適切に判定可能な重要度判定方法及び装置、重要度判定プログラム、被写体の重要度を適切に判定することにより検索対象を適切に絞り込むことが可能な画像検索方法及び装置、並びに、画像検索プログラムを提供することを課題とする。

本発明者らは、デジタル画像中における被写体の重要度判定方法について研究を進めた結果、以下の知見を得た。
（１）デジタル画像における複数の被写体について重要度を判定する場合、被写体同士が与える影響を考慮することで、より適切に被写体の重要度を判定できる。
（２）デジタル画像における被写体同士が与える影響については、被写体同士の相対的な位置関係が大きく寄与する。
（３）複数の被写体の中から最も重要度が高い一の被写体を特定する場合に、デジタル画像における他の被写体との相対的な位置関係を用いることで、最も重要度が高い一の被写体をより適切に特定することができる。
（４）重要度が最も高い一の被写体を特定し、さらに、他の被写体について重要度を判定する場合、最も重要度が高いと判定された当該一の被写体にかかる位置を基準とした、他の被写体の相対的な位置関係を用いることで、当該他の被写体にかかる重要度の判定（順位付け）をより適切に行うことができる。
（５）上記に加えて、重要度判定の際、さらにデジタル画像における被写体の面積を比較、考慮することで、より精度よく重要度の判定を行うことができる。
（６）複数の被写体を含むデジタル画像は、被写体が横一列に並んだ構図の横一列型や、被写体が前後に点在している構図の点在型に大別できる。重要度判定の際、デジタル画像から被写体の構図情報を取得し、横一列型の場合と点在型の場合とで異なる処理を施すことで、さらに適切な重要度判定が可能となる。
（７）重要度判定の際、デジタル画像における被写体の数が２である場合と３以上である場合とで異なる処理を施すことで、さらに適切な重要度判定が可能となる。
（８）重要度判定の際、被写体の相対的な位置関係のうち、被写体の左右の位置関係が考慮されることで、重要度の判定をより適切に行うことができる。

本発明は上記知見に基づいてなされたものである。すなわち、第一の本発明は、
デジタル画像を記憶する、画像データ記憶工程、
記憶されたデジタル画像において、対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出工程、
検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定工程、
検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出工程、及び、
複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定工程、
を備える、デジタル画像における被写体の重要度判定方法を提供して前記課題を解決するものである。

第一の本発明において、重要度判定工程において最も重要度が高い一の画像領域を特定し、当該一の画像領域を基準とした相対的な位置関係と面積とによって、他の画像領域の重要度が判定されることが好ましい。

第一の本発明において、画像領域検出工程において検出された画像領域の数が２である場合、位置関係特定工程において画像領域の左右の位置関係が特定され、重要度判定工程において画像領域の左右の位置関係が考慮されることが好ましい。

第一の本発明において、位置関係特定工程に、デジタル画像における複数の画像領域の構図情報を得る、構図情報取得工程が含まれる形態であってもよい。

構図情報取得工程を備える第一の本発明において、画像領域検出工程において検出された画像領域の数が３以上である場合、構図情報取得工程において、デジタル画像における複数の画像領域の構図を、横一列と点在とに判別することが好ましい。

第二の本発明は、
デジタル画像を記憶する、画像データ記憶部、
記憶されたデジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部、
検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定部、
検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出部、及び、
複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定部、
を備える、デジタル画像における被写体の重要度判定装置を提供して前記課題を解決するものである。

第二の本発明において、重要度判定部において最も重要度が高い一の画像領域を特定し、当該一の画像領域に対する相対的な位置関係とデジタル画像に占める面積とによって、他の画像領域の重要度が判定されることが好ましい。

第二の本発明において、画像領域検出部において検出された画像領域の数が２である場合、位置関係特定部において画像領域の左右の位置関係が特定され、重要度判定部において画像領域の左右の位置関係が考慮されて重要度が判定されることが好ましい。

第二の本発明において、位置関係特定部に、デジタル画像における複数の画像領域の構図情報を得る、構図情報取得部が含まれる形態であってもよい。

第二の本発明において、画像領域検出部において検出された画像領域の数が３以上である場合、構図情報取得部において、デジタル画像における複数の画像領域の構図を、横一列と点在とに判別することが好ましい。

第三の本発明は、
複数のデジタル画像に対して画像検索を行う画像検索処理工程を備え、当該画像検索処理工程において複数のデジタル画像に対して画像検索が行われる際、上記第一の本発明の重要度判定方法により判定された被写体の重要度が用いられる、画像検索方法を提供して前記課題を解決するものである。

第四の本発明は、
複数のデジタル画像について画像検索を行う画像検索処理部を備え、当該画像検索処理部において複数のデジタル画像の画像検索が行われる際、上記第二の本発明の重要度判定装置により判定された被写体の重要度が用いられる、画像検索装置を提供して前記課題を解決するものである。

第五の本発明は、
デジタル画像を記憶する記憶部と、当該デジタル画像における被写体の重要度を判定する重要度判定部と、を備える重要度判定装置において実行される重要度判定プログラムであって、
記憶部に記憶されたデジタル画像における被写体の重要度を重要度判定装置に判定させる際、重要度判定装置に、デジタル画像において対象となる被写体が含まれる複数の画像領域を検出させ、検出した複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定させ、検出した複数の画像領域について、デジタル画像に占める各々の面積を算出させ、重要度判定部において、複数の画像領域の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定させる、重要度判定プログラムを提供して前記課題を解決するものである。

第五の本発明において、重要度判定部において最も重要度が高い一の画像領域を特定させ、当該一の画像領域に対する相対的な位置関係とデジタル画像に占める面積とによって、他の画像領域の重要度を判定させることが好ましい。

第五の本発明において、重要度判定装置に、デジタル画像から画像領域を検出させ、検出した画像領域の数が２である場合、画像領域の左右の位置関係を特定させ、画像領域の左右の位置関係を考慮して重要度を判定させることが好ましい。

第五の本発明において、重要度判定装置に、さらに、デジタル画像における複数の画像領域の構図情報を取得させてもよい。

デジタル画像における複数の画像領域の構図情報を取得させる第五の本発明において、重要度判定装置にデジタル画像から画像領域を検出させ、検出した画像領域の数が３以上である場合、デジタル画像における複数の画像領域の構図を、横一列と点在とに判別させることが好ましい。

第六の本発明は、
画像検索装置により複数のデジタル画像を検索させる際、上記第五の本発明の重要度判定プログラムにより判定させた被写体の重要度を用いて、複数のデジタル画像から任意のデジタル画像を検索させる、画像検索プログラムを提供して前記課題を解決するものである。

本発明によれば、デジタル画像における被写体の重要度を判定する際、被写体同士が与える影響を考慮しているため、デジタル画像における被写体の重要度をより適切に判定可能な、重要度判定方法及び装置、並びに重要度判定プログラムを提供することができる。また、被写体の重要度を適切に判定することにより検索対象を適切に絞り込むことが可能な、画像検索方法及び装置、並びに、画像検索プログラムを提供することができる。

本発明にかかる重要度判定方法を説明するためのフローチャートである。 デジタル画像の状態を説明するための概略図である。 画像領域の相対的な位置関係を特定する工程を説明するための図である。 画像領域数が２である場合の重要度判定工程を説明するための図である。 画像領域数が３以上である場合の重要度判定工程を説明するための図である。 画像領域数が３以上である場合の重要度判定工程を説明するための図である。 画像領域数が３以上である場合の重要度判定工程を説明するための図である。 画像領域数が３以上である場合の重要度判定工程を説明するための図である。 重要度の判定がなされたデジタル画像の状態を説明するための概略図である。 本発明にかかる重要度判定装置１００を概略的に示す図である。 本発明にかかる画像検索方法を説明するためのフローチャートである。 本発明にかかる画像検索装置２００を概略的に示す図である。

１．重要度判定方法
本発明にかかる重要度判定方法は、図１に示すように、画像データ記憶工程Ｓ１、画像領域検出工程Ｓ２、位置関係特定工程Ｓ３、領域面積算出工程Ｓ４、及び重要度判定工程Ｓ５を備える。以下、工程ごとに説明する。

１．１．画像データ記憶工程Ｓ１
工程Ｓ１は、デジタルカメラ等により撮影された画像データを、記憶装置等に取り込みデジタル画像として記憶する工程である。画像データを取り込む方法や記憶装置としては、従来公知のものを特に限定することなく用いることができる。記憶されたデジタル画像は、例えば、図２（Ａ）のような状態にある。図２（Ａ）に例示したデジタル画像においては、下記工程Ｓ２において検出すべき被写体（画像領域）の数が４である。

１．２．画像領域検出工程Ｓ２
工程Ｓ２は、記憶されたデジタル画像について、対象となる被写体が含まれる複数の画像領域を検出する工程である。特に本発明においては、顔画像を検出の対象とする。工程Ｓ２において、記憶されたデジタル画像から顔画像を含む画像領域を検出する場合、公知の顔検出方法を用いることができる。本発明において適用される具体的な顔検出方法としては、Ｈａａｒ−ｌｉｋｅ特徴に着目した対象検出方法（Paul Viola and Michael Jones : “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR(2001)や、Rainer Lienhart and Jochen Maydt “An Extended Set of Haar-like Features for Rapid Object Detection”, Proceedings of the 2002 IEEE International Conference on Image Processing, Vol.1, 900-903等）を適用することができる。具体的には、例えば、記憶されたデジタル画像をグレースケール化し、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像とを分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出する。そして、当該閾値に基づいて、検出すべき画像領域か否かが判断され、肯定判断がされれば顔画像を含む画像領域として検出される。但し、Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法のみでは、デジタル画像中の顔を精度よく検出できず、顔以外のオブジェクトを誤検出してしまう虞がある。そのため、本発明では、複数の顔検出方法を併用して顔画像を含む画像領域を検出することが好ましい。Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法と併用可能な顔検出方法としては、例えば、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法（大瀧健太、白澤洋一、西田眞、“ホワイトバランスの変化にロバストな肌抽出法に関する検討”電子情報通信学会ソサエティ大会、Ａ−４−２１（２００７））等の方法を用いることが好ましい。工程Ｓ２により、デジタル画像から顔画像を含む画像領域が検出される（図２（Ｂ）の状態）。

１．３．位置関係特定工程Ｓ３
工程Ｓ３は、工程Ｓ２において検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する工程である。相対的な位置関係としては、画像領域同士の上下左右前後の位置関係、画像領域同士の距離、さらにはデジタル画像の中心からの画像領域の距離等を挙げることができる。

また、工程Ｓ２により検出された画像領域の数が３以上である場合、工程Ｓ３は、デジタル画像の構図情報を取得する工程を含む。デジタル画像の構図情報は、画像領域同士の相対的な位置関係を特定することで取得することができる。例えば、デジタル画像の構図は、被写体が横一列に並んで撮像された横一列型と、前後に分かれて撮像された点在型とに大別することができる。具体的には、工程Ｓ３において、デジタル画像の構図情報は、以下の方法により取得されることが好ましい。

工程Ｓ２を経て得られたデジタル画像（図２（Ｂ））は、工程Ｓ３において、図３（Ａ）に示されるように、デジタル画像の中心を原点とするｘｙ平面と仮定され、４つの領域（領域ａ〜ｄ）に等分割される。この場合、当該ｘｙ平面のｘ軸方向はデジタル画像の左右方向に、ｙ軸方向はデジタル画像の上下方向に相当し、ｘｙがいずれも正となる領域が、デジタル画像の、向かって右上領域（領域ａ）となるように設定する。その後、検出された複数の画像領域それぞれについて、画像領域の中心座標（ｘ，ｙ）が特定され（図３（Ｂ））、当該画像領域の中心座標が、領域ａ〜ｄのいずれに存在するかを判定することにより、デジタル画像の構図情報を得て、当該構図が横一列型か点在型かが特定される。すなわち、画像領域の中心座標が領域ａ、ｂ又は領域ｃ、ｄに存在している場合（デジタル画像の上下のいずれか一方に横一列に存在している場合）はデジタル画像の構図を横一列型とする。一方、画像領域の中心座標が領域ａ、ｂ、ｃ、ｄに点在している場合はデジタル画像の構図を点在型とする。例えば、図２、３に例示したデジタル画像は、検出された画像領域の各中心座標が領域ａ〜ｄに点在しており、点在型の構図である。

１．４．領域面積算出工程Ｓ４
工程Ｓ４は、工程Ｓ２を経て検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する工程である。デジタル画像に占める画像領域の各々の面積の算出方法については、従来公知のものを特に限定されずに用いることができる。例えば、図２（Ｂ）に示されるように、画像領域を所定の長方形として検出した場合は、当該長方形の面積を画像領域の面積とすることができる。尚、本発明において、画像領域の面積を数値化するにあたっては、デジタル画像における面積が最大である画像領域を基準（１００％）とした、他の画像領域の面積率を相対的に算出することにより数値化することが好ましい。また、デジタル画像全体を基準（１００％）とした、当該デジタル画像全体に占める画像領域の相対的な面積率を画像領域ごとに算出し数値化してもよい。

１．５．重要度判定工程Ｓ５
工程Ｓ５は、工程Ｓ３によって得られた複数の画像領域同士の相対的な位置関係にかかる情報と、工程Ｓ４によって得られた複数の画像領域のデジタル画像に占める各々の面積にかかる情報と、によって画像領域の重要度を判定する工程である。工程Ｓ５においては、まず、デジタル画像において最も重要度が高い一の画像領域を特定する。

本発明において、デジタル画像において最も重要度が高い一の画像領域を特定するにあたっては、上記工程Ｓ２にて検出された画像領域の数が２である場合と、３以上である場合とで異なる方法を用いる。

（検出された画像領域の数が２である場合）
図４は、検出された画像領域の数が２である場合の、重要度判定工程Ｓ５の流れを示すフローチャートである。検出された画像領域が２である場合、当該画像領域の相対的な位置関係及び各々の面積にかかる情報に基づいて、重要度の高低を判定する。
（１）工程Ｓ３で得られた、画像領域の中心座標（ｘ，ｙ）に基づく画像領域の左右の位置関係を用いる（工程Ｓ５１）。
（２）画像領域の面積を比較し、面積が大である画像領域面積を分母として、面積比率を算出する（工程Ｓ５２）。
（３）算出された面積比率が閾値以上（閾値としては特に限定されるものではないが、例えば、０．５５とすることが好ましい。）である場合、工程Ｓ３で左側と判定された画像領域を重要度が高い一の画像領域として特定する（工程Ｓ５３）。一方、面積比率が閾値未満である場合、面積が大である画像領域を重要度が高い一の画像領域として特定する（工程Ｓ５４）。

（検出された画像領域の数が３以上である場合）
図５は、検出された画像領域の数が３以上である場合の、重要度判定工程Ｓ５の流れを示すフローチャートである。検出された画像領域が３以上である場合、当該各画像領域の相対的な位置関係及び各々の面積にかかる情報に基づいて、まず重要度が高い一の画像領域を下記のように特定する。
（１）図６に示されるように、デジタル画像の中心（原点）を中心とする円を設定する（工程Ｓ１５１）。このとき、工程Ｓ３において得られたデジタル画像の構図情報が横一列型か点在型かによって、設定する円を変化させる。具体的には、横一列型である場合は正円（図６（Ａ））を、点在型である場合は上下方向を長軸とする楕円（図６（Ｂ））を設定する。円の径については特に限定されるものではないが、例えば、正円を設定する場合、直径がデジタル画像の長辺の２０％以上４０％以下となる長さとすることが好ましい。また、楕円とする場合は、長軸直径がデジタル画像の上下辺の８０％以上１００％以下となる長さで、且つ、短軸直径がデジタル画像の左右辺の２０％以上４０％以下となる長さとすることが好ましい。また、楕円を設定する場合は、長軸がデジタル画像の上下方向に沿うように設定することが好ましい。
（２）次に、デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されているか否かを判定する（工程Ｓ１５２）。
（３−１）デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されている場合、当該円内に包含された画像領域同士の面積を比較し、そのうち最大の面積を有する一の画像領域を特定する（工程Ｓ１５３）。そして、当該一の画像領域の面積が、すべての画像領域の平均面積以上である場合、当該一の画像領域を最も重要度が高い画像領域として特定する。
（３−２）デジタル画像の中心に設定した円内に、画像領域の中心座標が包含されていない場合、或いは、上記（３−１）の条件を満たす画像領域が存在しない場合、工程Ｓ３で得られた構図情報を基に、横一列型と点在型とで処理をさらに分岐させて、最も重要度が高い一の画像領域を特定する（工程Ｓ１５４）。具体的には下記の方法を用いることが好ましい。

横一列型である場合：工程Ｓ３により得られた、デジタル画像の中心（原点）と画像領域の中心とのユークリッド距離を比較し、その距離が最小となる一の画像領域を最も重要度が高い画像領域として特定する。
点在型である場合：工程Ｓ４により得られた画像領域の面積が最大である一の画像領域を、最も重要度が高い画像領域として特定する。

工程Ｓ２において検出された画像領域の数が３以上である場合、上記の流れで最も重要度が高い一の画像領域を特定したのち、当該一の画像領域の位置情報及び面積情報を基準として、他の画像領域の重要度が判定される。具体的には以下の通りである。

図７は、最も重要度が高い一の画像領域（以下、「最重要画像領域」という場合がある。）を特定したのち、当該最重要画像領域の位置情報及び面積情報を基準として、他の画像領域の重要度を判定する場合の流れを示すフローチャートである。図７に示されるように、他の画像領域の重要度を判定する際は、上記工程Ｓ３で得られた構図情報が、横一列型である場合と点在型である場合とで、処理を分岐させる（工程Ｓ２５１）。

（横一列型の場合）
工程Ｓ３により、デジタル画像の構図情報が横一列型であると判定されている場合は、まず、工程Ｓ３により得られた、最重要画像領域の位置と他の画像領域の位置との相対的な位置関係から、最重要画像領域と他の画像領域とのユークリッド距離Ｋを算出する（工程Ｓ２５２）。また、工程Ｓ４により算出された最重要画像領域の面積と他の画像領域の面積とを用いて、他の画像領域の面積を最重要画像領域の面積で除した面積率Ａ_ｈを算出する（工程Ｓ２５３）。そして、算出された距離Ｋ、面積率Ａ_ｈを用いて、下記式（１）から他の画像領域にかかる重要度判定値Ｒ_ｈを算出する（工程Ｓ２５４）。

ここに、Ｄは、デジタル画像から得られる最大ユークリッド距離（長方形画像の場合、画像対角線距離）である。

このようにして得られた重要度判定値Ｒ_ｈを比較し、他の画像領域についての重要度の順位付けが行うことで、すべての画像領域にかかる重要度が判定される（工程Ｓ２５５）。

（点在型の場合）
工程Ｓ３により、デジタル画像の構図情報が点在型であると判定されている場合は、まず、デジタル画像中に最重要画像領域を中心とする同心円を設定する（工程Ｓ２５６）。具体的には、図８に示されるように、最重要画像領域の中心座標を中心とするとともに、当該最重要画像領域の横幅長さを半径とした同心円（正円）を設定し、デジタル画像における同心円の最大数Ｎを特定する。図８においては、デジタル画像に現れる同心円は５であるから、同心円の最大数Ｎは５となる。また、他の画像領域について、その中心座標が位置する円の領域番号Ｍを特定し、同心円の最大数Ｎから円の領域番号Ｍを引いた値である同心円値Ｃ_ｎを算出する。例えば、図８においては、最重要画像領域が包含される最小の同心円内に中心座標が存在する場合、領域番号Ｍを０とする。その外側の同心円内に中心座標が存在する場合はＭ＝１、その外側を２、以下３、４、５とする（図８中、点Ａ〜Ｄに付した数字０、１、２が領域番号Ｍに相当する。）。従って、例えば、図８中の点Ｄについては、同心円値Ｃ_ｎがＮ−Ｍ＝５−２＝３となる。次に、上記横一列型の場合と同様、他の画像領域の面積を最重要画像領域の面積で除した値である面積率Ａ_ｄを算出する（工程Ｓ２５７）。そして、算出された同心円値Ｃ_ｎ、同心円の最大数Ｎ、及び面積率Ａ_ｄを用いて、下記式（２）から他の画像領域にかかる重要度判定値Ｒ_ｄを算出する（工程Ｓ２５８）。

さらに、最重要画像領域及び他の画像領域の中心座標がともに、上側（図３（Ａ）の領域ａ、ｂ）又は下側（図３（Ａ）の領域ｃ、ｄ）のいずれか一方に分布している場合は、最重要画像領域と、当該他の画像領域との関連性が高いものと仮定して、上記式（２）により得られた重要度判定値Ｒ_ｄに対して重みを付加する。例えば、図８において最重要画像領域Ａと、他の画像領域Ｄとは、双方ともにデジタル画像下側（領域ｃ、ｄ）に存在しているため、当該他の画像領域Ｄから算出される重要度判定値Ｒ_ｄについては、重みが付加される。具体的には算出された重要度判定値Ｒ_ｄに所定の値を乗算することにより、重みが付加される。当該所定の値としては、例えば、１．２とすることができる。

このようにして得られた重要度判定値Ｒ_ｄを比較し、他の画像領域についての重要度の順位付けが行うことで、すべての画像領域にかかる重要度が判定される（工程Ｓ２５９）。例えば、図９に示されるように、重要度が高い順に順位付けされる。

以上のように、本発明にかかる重要度判定方法においては、最も重要度が高い一の画像領域を特定するにあたって、画像領域同士の相対的な位置関係を用いる。また、最も重要度が高い一の画像領域を特定したのち、当該一の画像領域にかかる位置情報及び面積情報を基準として他の画像領域の重要度が判定される。従って、画像領域同士が与える影響をも考慮して画像領域の重要度の判定をより適切に行うことができる。画像領域には対象となる被写体（顔画像）が含まれるため、本発明によれば、適切に被写体の重要度を判定することができる重要度判定方法を提供することができる。

２．重要度判定装置
図１０は、本発明にかかる重要度判定装置１００を概略的に示す図である。重要度判定装置１００は、デジタル画像を記憶する、画像データ記憶部１０、記憶されたデジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部２０、検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する、位置関係特定部３０、検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する、領域面積算出部４０、及び、複数の画像領域同士の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって画像領域の重要度を判定する、重要度判定部５０、を備えている。

２．１．画像データ記憶部１０
画像データ記憶部１０は、デジタルカメラ等により撮影された画像データを取り込み、デジタル画像等として記憶する部分である。画像データを取り込む手段や記憶装置としては、従来公知のものを特に限定することなく用いることができる。記憶されたデジタル画像を重要度判定に供する場合は、画像データ記憶部１０からデジタル画像が読み取られ、下記画像領域検出部２０にて、被写体を含む画像領域の検出がなされる。

２．２．画像領域検出部２０
画像領域検出部２０は、画像データ記憶部１０に記憶されたデジタル画像を読み込み、当該デジタル画像について、対象となる被写体が含まれる複数の画像領域を検出する部分である。特に本発明においては、顔画像を検出の対象とする。画像領域検出部２０において、記憶されたデジタル画像から顔画像を含む画像領域を検出する場合、公知の顔検出手段を用いることができる。例えば、上記のＨａａｒ−ｌｉｋｅ特徴を用いた顔検出方法を実行可能なプログラムやその他顔検出プログラム（上記のホワイトバランスに着目した肌領域抽出にかかる顔検出法を用いたプログラム等が好ましい。）を組み合わせたプログラムが組み込まれた、公知の演算手段、検出手段等により、デジタル画像から画像領域を検出することができる。画像領域検出部２０により、デジタル画像から所定の画像領域を検出したのち、下記位置関係特定部３０と領域面積算出部４０とにより、画像領域の位置関係や面積等の情報が特定される。

２．３．位置関係特定部３０
位置関係特定部３０は、画像領域検出部２０において検出された複数の画像領域について、デジタル画像における複数の画像領域同士の相対的な位置関係を特定する部分である。相対的な位置関係としては、画像領域同士の上下左右前後の位置関係、画像領域同士の距離、さらにはデジタル画像の中心からの画像領域の距離等を挙げることができる。

また、画像領域検出部２０により検出された画像領域の数が３以上である場合、位置関係特定部３０は、デジタル画像の構図情報を取得する。デジタル画像の構図情報は、画像領域同士の相対的な位置関係を特定することで取得することができる。例えば、デジタル画像の構図は、被写体が横一列に並んで撮像された横一列型と、前後に分かれて撮像された点在型とに大別することができる。位置関係特定部３０における画像領域同士の相対的な位置関係やデジタル画像の構図情報を取得する手法については、上記重要度判定方法における位置関係特定工程Ｓ３にて説明したものと同様であるため、説明を省略する。位置関係特定部３０は、検出された画像領域のデジタル画像における相対的な位置関係を特定することが可能な手段であれば特に限定されるものではなく、例えば、上記位置関係特定工程Ｓ３にかかる方法を行わせるプログラムが組み込まれた、公知の演算装置や検出装置等とすることができる。

２．４．領域面積算出部４０
領域面積算出部４０は、画像領域検出部２０により検出された複数の画像領域について、デジタル画像に占める各々の面積を算出する部分である。領域面積算出部４０は、検出された画像領域の面積を算出することが可能な手段であれば特に限定されるものではなく、例えば、上記領域面積算出工程Ｓ４にかかる方法を行わせるプログラムが組み込まれた、公知の演算装置や検出装置等とすることができる。

２．５．重要度判定部５０
重要度判定部５０は、位置関係特定部３０によって得られた複数の画像領域同士の相対的な位置関係にかかる情報と、領域面積算出部４０によって得られた複数の画像領域のデジタル画像に占める各々の面積にかかる情報と、によって画像領域の重要度を判定する部分である。重要度判定部５０においては、まず、デジタル画像において最も重要度が高い一の画像領域を特定し、その後、当該最も重要度が高い一の画像領域にかかる位置関係情報や、面積情報を基準として、他の画像領域の重要度が判定される。重要度判定部５０において、各画像領域の重要度を判定するにあたっては、検出された画像領域の数、デジタル画像の構図情報等によって、異なる処理を行う。詳細については、上記重要度判定工程Ｓ５にかかる方法と同様であるので、説明を省略する。重要度判定部５０としては、特定、算出された画像領域にかかる情報によって、上記重要度判定工程Ｓ５にかかる方法を用いて画像領域の重要度を判定可能な手段であれば特に限定されるものではなく、例えば、上記重要度判定工程Ｓ５にかかる方法を行わせるプログラムが組み込まれた、公知の演算装置や検出装置等とすることができる。

重要度判定装置１００は上記構成を備えてなる。また、デジタル画像における重要度判定処理を可視化するため、表示部１１０に接続されて、画像データ情報や重要度判定の結果等を必要に応じて表示可能な形態としてもよい。

以上、本発明にかかる重要度判定装置においては、最も重要度が高い一の画像領域を特定するにあたって、画像領域同士の相対的な位置関係を用いる。また、最も重要度が高い一の画像領域を特定したのち、当該一の画像領域にかかる位置情報及び面積情報を基準として他の画像領域の重要度が判定される。従って、画像領域同士が与える影響をも考慮して画像領域の重要度の判定をより適切に行うことができる。画像領域には対象となる被写体（顔画像）が含まれるため、本発明によれば、適切に被写体の重要度を判定することができる重要度判定装置が提供される。

３．重要度判定プログラム
本発明にかかる重要度判定プログラムは、デジタル画像を記憶する記憶部（例えば、上記画像データ記憶部１０）と、当該デジタル画像における被写体の重要度を判定する重要度判定部（例えば、上記重要度判定部５０）と、を備える重要度判定装置（例えば、上記重要度判定装置１００）において実行される重要度判定プログラムである。具体的には、上記画像データ記憶部１０等の記憶部に記憶されたデジタル画像における被写体の重要度を重要度判定装置１００等の装置に判定させるプログラムとすることができる。例えば、重要度判定装置１００の画像領域検出部２０に、デジタル画像において対象となる被写体が含まれる複数の画像領域を検出させ、検出した複数の画像領域について、重要度判定装置１００の位置関係特定部３０に、デジタル画像における複数の画像領域同士の相対的な位置関係を特定させ、重要度判定装置１００の領域面積算出部４０に、検出した複数の画像領域について、デジタル画像に占める各々の面積を算出させ、重要度判定部５０において、複数の画像領域の相対的な位置関係と、複数の画像領域のデジタル画像に占める各々の面積と、によって、画像領域の重要度を判定させる。画像データ記憶部１０によるデジタル画像の記憶、画像領域検出部２０によるデジタル画像からの画像領域の検出については、公知のアルゴリズムを用いることができる。位置関係特定部３０、領域面積算出部４０、及び重要度判定部５０による、画像領域にかかる情報の取得及び重要度の判定については、上記重要度判定方法における位置関係特定工程Ｓ３、領域面積算出工程Ｓ４、及び重要度判定工程Ｓ５を行わせることが可能な形態であれば特に限定されるものではない。

本発明にかかる重要度判定プログラムによれば、重要度判定装置に最も重要度が高い一の画像領域を特定させるにあたって画像領域同士の相対的な位置関係が用いられ、また、最も重要度が高い一の画像領域を特定したのち、当該一の画像領域にかかる位置情報及び面積情報を基準として他の画像領域の重要度が判定させることで、画像領域同士が与える影響をも考慮して、重要度の判定をより適切に行わせることができる。画像領域には対象となる被写体（顔画像）が含まれるため、本発明によれば、重要度判定装置に、適切に被写体の重要度を判定させることができる重要度判定プログラムを提供することができる。

４．画像検索方法
本発明にかかる画像検索方法は、図１１に示すように、複数のデジタル画像に対して画像検索を行う画像検索処理工程Ｓ６を備え、当該画像検索処理工程Ｓ６において複数のデジタル画像に対して画像検索が行われる際、上記重要度判定方法（工程Ｓ１〜Ｓ５）により判定された被写体の重要度が用いられる、画像検索方法である。

４．１．画像検索処理工程Ｓ６
工程Ｓ６は、複数のデジタル画像について画像検索を行い、任意のデジタル画像を抽出する工程である。複数のデジタル画像からの任意のデジタル画像の検索及び抽出することに関しては、例えば、一のデジタル画像における被写体（画像領域）を特定し、他のデジタル画像において特定された当該被写体（画像領域）に類似する画像が含まれているか否かを判断することにより行うことができる。手法としては公知の手法が適用される。但し、工程Ｓ６においては、上記重要度判定方法により判定された被写体の重要度が考慮される。すなわち、一の被写体が含まれるデジタル画像を検索する際、デジタル画像において重要度が高いと判定された被写体に対してのみ検索を行えばよい。例えば、重要度判定方法により判定された重要度が上位２位以内である被写体に対して、検索対象である一の被写体との照らし合わせを行うことで画像検索を行い、複数のデジタル画像から検索対象を含む任意のデジタル画像が抽出される。

本発明にかかる、画像検索方法によれば、画像検索処理の際、上記重要度判定方法により判定された重要度が用いられる。上述の通り、上記重要度判定方法により被写体の重要度が適切に判定される。そして、当該重要度判定方法によりデジタル画像における被写体の重要度をあらかじめ判定しておくことで、画像検索対象をあらかじめ適切に絞り込むことができる。従って、本発明によれば、画像検索を効率的に行うことができ、必要とするデジタル画像を適切且つ短時間で抽出することができる画像検索方法を提供することができる。

５．画像検索装置２００
図１２は、本発明にかかる画像検索装置２００を概略的に示す図である。画像検索装置２００は、上記重要度判定装置１００と、記憶部１５と、画像検索処理部６０と、表示部２１０とを備えている。重要度判定装置１００については、上記と同様のため説明を省略する。

５．１．記憶部１５
記憶部１５は、当該重要度判定装置１００により判定された重要度判定情報が付与されたデジタル画像データを記憶する部分である。下記画像検索処理部６０による画像検索処理の際は、ここからデジタル画像が読み込まれ検索に供される。記憶部１５は、デジタル画像データを記憶可能なものであれば特に限定されず、公知の記憶装置等を用いることができる。図１２において記憶部１５は、重要度判定装置１００とは個別に設けられているが、重要度判定装置１００の画像データ記憶部１０に、重要度判定部５０にて判定された重要度情報が書きこまれたデジタル画像が記憶されていてもよく、この場合は、記憶部１５を介さずに、重要度判定装置１００から画像検索処理部６０へと直接デジタル画像情報が伝えられることで、画像検索処理に供することができる。

５．２．画像検索処理部６０
画像検索処理部６０は、記憶部１５若しくは画像データ記憶部１０から、複数のデジタル画像データを読み込み、画像検索により当該複数のデジタル画像から任意のデジタル画像を抽出する複数のデジタル画像について画像検索を行い、任意のデジタル画像を抽出する部分である。複数のデジタル画像からの任意のデジタル画像の抽出に関しては、例えば、一のデジタル画像における被写体（画像領域）を特定し、他のデジタル画像において特定された当該被写体（画像領域）に類似する画像が含まれているか否かを判断することにより行うことができる。画像検索処理部６０は、例えば、公知の画像検索及び抽出プログラムが組み込まれた公知の画像検索手段を特に限定されずに適用することができる。但し、画像検索処理部６０においては、上記重要度判定装置１００により判定された被写体の重要度が考慮される。すなわち、一の被写体が含まれるデジタル画像を検索する際、デジタル画像において重要度が高いと判定された被写体に対してのみ検索を行えばよい。例えば、重要度判定装置１００により判定された重要度が上位２位以内である被写体に対して、抽出対象である一の被写体との照らし合わせを行うことで、複数のデジタル画像から当該抽出対象を含む任意のデジタル画像が抽出される。また、画像検索装置２００において画像検索を行う際は、検索対象とする重要度順位にかかる閾値等をユーザが適宜変更可能な形態とすることが好ましい。これにより、ユーザの要望に応じた画像検索が可能となり、より効率的に任意のデジタル画像を抽出することができる。

５．３．表示部２１０
画像検索装置２００により抽出された所定のデジタル画像は、画像検索装置２００に接続された表示部２１０に表示される形態とすることが好ましい。画像検索装置２００と表示部２１０の接続や、検索、抽出結果の表示方法については、公知の手法を特に限定することがなく用いることができる。また、表示部２１０に表示された情報に基づいて、ユーザが画像検索を行うことが可能な形態とすることが好ましい。

本発明にかかる、画像検索装置によれば、画像検索処理の際、上記重要度判定装置により判定された重要度が用いられる。上述の通り、上記重要度判定装置により被写体の重要度が適切に判定される。そして、当該重要度判定装置によりデジタル画像における被写体の重要度をあらかじめ判定しておくことで、画像検索対象をあらかじめ適切に絞り込むことができる。従って、本発明によれば、画像検索を効率的に行うことができ、必要とするデジタル画像を適切且つ短時間で抽出することができる画像検索装置を提供することができる。

６．画像検索プログラム
本発明にかかる画像検索プログラムは、重要度判定装置と画像検索処理部とを有する画像検索装置により複数のデジタル画像を検索させる際、重要度判定装置において上記重要度判定プログラムにより判定された被写体の重要度を用いて、画像検索処理部に複数のデジタル画像から任意のデジタル画像を検索させる、画像検索プログラムである。具体的には、一の被写体が含まれるデジタル画像を検索する際、重要度判定装置によりデジタル画像において重要度が高いと判定された被写体に対してのみ、画像検索処理部に画像検索を行わせる。例えば、画像検索処理部６０において、重要度判定装置１００により判定された重要度が上位２位以内である被写体に対して、抽出対象である一の被写体との照らし合わせを行うことで、複数のデジタル画像から当該抽出対象を含む任意のデジタル画像を抽出させる。また、画像検索装置２００に画像検索を行わせる際、検索対象とする重要度順位にかかる閾値等をユーザが適宜変更可能なように、プログラムに自由度を持たせることが好ましい。これにより、ユーザの要望に応じた画像検索が可能となり、より効率的に任意のデジタル画像を抽出させることができる。

本発明にかかる、画像検索プログラムによれば、画像検索処理の際、上記重要度判定装置により判定させた重要度が用いられる。上述の通り、上記重要度判定装置により被写体の重要度が適切に判定される。そして、当該重要度判定装置によりデジタル画像における被写体の重要度をあらかじめ判定させておくことで、画像検索対象をあらかじめ適切に絞り込むことができる。従って、本発明によれば、画像検索装置に、画像検索を効率的に行わせることができ、必要とするデジタル画像を適切且つ短時間で抽出させることが可能な画像検索プログラムを提供することができる。

（本発明による重要度判定評価の詳細）
本発明の効果を確認するため、デジタル画像における被写体の重要度判定に関する評価を行った。室内環境下において、市販のデジタルカメラにより、２〜６人が撮像された人物画像（１０２４画素×６８０画素）を１００枚取得し、ＤＥＬＬ社製ＰＲＥＣＩＳＩＯＮ Ｔ５４００（以下「実施装置」という。）に、当該画像データを記憶した。記憶した画像データ各々につき、所定の顔検出プログラムにより、顔画像を含む画像領域を検出した。顔検出プログラムとしては、Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出方法と、ホワイトバランスに対応した肌検出が可能な、口唇周辺領域の彩度情報を利用した顔検出方法とを併用したプログラムを実施装置に実行させることで、検出を行った。検出された顔画像を含む画像領域は２６２例であり、検出率は８７．３％であった。当該２６２例の画像領域を対象として、実施装置に、本発明にかかる重要度判定方法（重要度判定プログラム）を実行させ、画像データ中の画像領域の重要度判定を行い、図９に示されるような画像データを取得した。

一方、被験者による評価（主観評価）を以下のように行った。
被験者１０名が、検出された上記２６２例の画像領域につき、デジタル画像における重要度にかかる順位付けを行った。順位付けは主観により、画像領域に１〜ｎ（ｎの最大値は６）の番号を付すことにより行った。この場合において、順位値が小さいほど重要度が高いことを示している。

上記本発明の重要度判定方法（プログラム）を実行可能な実施装置により行われた重要度判定結果と、被験者により行われた順位付け結果との一致率を比較した。結果を表１に示す。

表１の評価結果において、「重要度：１位」にかかる結果は、最も重要度が高いと判定される最重要人物を選定した場合において、本発明にかかる重要度判定装置による結果と主観評価による結果との一致率を示している。「重要度：２位」又は「重要度：３位」にかかる結果は、主観評価により１位と判断されたが、本発明にかかる重要度判定装置によっては、重要度２位、又は、重要度３位と判定されたデジタル画像の割合である。

表１から分かるように、本発明によれば画像データ１００枚のうち７８枚（７８．０％）の画像において、重要人物の選定が正しく行われていることが分かる。また、誤差の許容範囲を、重要度２位までとすれば、画像データ１００枚のうち９６枚（７８枚、１８枚）（９６．０％）について、重要人物の選定が良好に行われていることが分かる。以上の結果から、重要度判定の際、画像における画像領域の相対的な位置関係を用いた本発明により、複数人が撮像された人物画像から最も重要である人物を適切に選定可能であることが示唆された。

また、表２に、本発明による重要度判定結果と、主観評価による重要度の順位付けとの一致率を示す。

表２から、１００枚中７０枚（７０．０％）の画像において、本発明による重要度判定結果が主観評価による順位付けと完全に一致した。また、重要度１位の画像領域の選定が正しく行われた上記７８枚の画像に絞って、その順位付けの一致率を見てみると、７８枚中７０枚（８９．７％）の画像において、本発明による重要度判定結果が主観評価による順位付けと完全に一致した。以上の結果から、重要度判定の際、画像における画像領域の相対的な位置関係を用いた本発明により、複数人が撮像された人物画像の順位付けが適切に行われることが示唆された。また、最も重要な一の画像領域を正しく選定し、当該一の画像領域を基準として他の画像領域の重要度が判定されれば、より高い精度で重要度の順位付けが行われることが示唆された。

以上、現時点において、もっとも、実践的であり、かつ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う被写体の重要度判定方法及び装置、重要度判定プログラム、画像検索方法及び装置、並びに、画像検索プログラムもまた本発明の技術的範囲に包含されるものとして理解されなければならない。

上記においては、人物の顔画像について重要度判定を行うものとして説明してきたが、本発明にかかる重要度判定対象である被写体は、これに限定されるものではない。動植物や建造物、その他被写体に対しても、本発明を適用することができる。また、上記においては、本発明にかかる重要度判定方法、及び装置が、画像検索の際に適用されるものとして説明したが、本発明はこれに限定されるものではない。本発明にかかる重要度判定方法、及び装置は、被写体の重要度を判定する様々な場合（例えば、撮影時のオートフォーカス等）にも適用され得る。

本発明によれば、複数の画像データについて検索を行い、目的とする画像データを抽出する際、効率的な検索が可能とされ、検索・抽出時間を短縮化でき、且つ、精度のよい適切な検索が可能とされ、目的とする画像データを効率的に取得することができる。従って、膨大な量の画像データを検索により絞り込み、目的の画像データを早期に得たい場合に、特に有用である。

Claims (18)

1. デジタル画像を記憶する、画像データ記憶工程、
   記憶された前記デジタル画像において、対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出工程、
   検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定工程、
   検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出工程、及び、
   複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定工程、
   を備える、デジタル画像における被写体の重要度判定方法。
2. 前記重要度判定工程において、最も重要度が高い一の前記画像領域を特定し、該一の画像領域を基準とした相対的な位置関係と面積とによって、他の前記画像領域の重要度が判定される、請求項１に記載の重要度判定方法。
3. 前記画像領域検出工程において検出された前記画像領域の数が２である場合、前記位置関係特定工程において前記画像領域の左右の位置関係が特定され、前記重要度判定工程において前記画像領域の左右の位置関係が考慮される、請求項１又は２に記載の重要度判定方法。
4. 前記位置関係特定工程に、前記デジタル画像における複数の前記画像領域の構図情報を得る、構図情報取得工程が含まれる、請求項１〜３のいずれかに記載の重要度判定方法。
5. 前記画像領域検出工程において、検出された前記画像領域の数が３以上である場合、前記構図情報取得工程において、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別する、請求項４に記載の重要度判定方法。
6. デジタル画像を記憶する、画像データ記憶部、
   記憶された前記デジタル画像において対象となる被写体が含まれる複数の画像領域を検出する、画像領域検出部、
   検出された複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定する、位置関係特定部、
   検出された複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出する、領域面積算出部、及び、
   複数の前記画像領域同士の前記相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定する、重要度判定部、
   を備える、デジタル画像における被写体の重要度判定装置。
7. 前記重要度判定部において、最も重要度が高い一の前記画像領域を特定し、該一の画像領域に対する相対的な位置関係と前記デジタル画像に占める面積とによって、他の前記画像領域の重要度が判定される、請求項６に記載の重要度判定装置。
8. 前記画像領域検出部において検出された前記画像領域の数が２である場合、前記位置関係特定部において前記画像領域の左右の位置関係が特定され、前記重要度判定部において前記画像領域の左右の位置関係が考慮されて重要度が判定される、請求項６又は７に記載の重要度判定装置。
9. 前記位置関係特定部に、前記デジタル画像における複数の前記画像領域の構図情報を得る、構図情報取得部が含まれる、請求項６〜８のいずれかに記載の重要度判定装置。
10. 前記画像領域検出部において検出された前記画像領域の数が３以上である場合、前記構図情報取得部において、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別する、請求項９に記載の重要度判定装置。
11. 複数のデジタル画像に対して画像検索を行う画像検索処理工程を備え、該画像検索処理工程において前記複数のデジタル画像に対して画像検索が行われる際、請求項１〜５のいずれかに記載の重要度判定方法により判定された被写体の重要度が用いられる、画像検索方法。
12. 複数のデジタル画像について画像検索を行う画像検索処理部を備え、該画像検索処理部において前記複数のデジタル画像の画像検索が行われる際、請求項６〜１０のいずれかに記載の重要度判定装置により判定された被写体の重要度が用いられる、画像検索装置。
13. デジタル画像を記憶する記憶部と、該デジタル画像における被写体の重要度を判定する重要度判定部と、を備える重要度判定装置において実行される重要度判定プログラムであって、
    前記記憶部に記憶された前記デジタル画像における前記被写体の重要度を前記重要度判定装置に判定させる際、該重要度判定装置に、前記デジタル画像において対象となる前記被写体が含まれる複数の画像領域を検出させ、検出した複数の前記画像領域について、前記デジタル画像における複数の前記画像領域同士の相対的な位置関係を特定させ、検出した複数の前記画像領域について、前記デジタル画像に占める各々の面積を算出させ、前記重要度判定部において、複数の前記画像領域の相対的な位置関係と、複数の前記画像領域の前記デジタル画像に占める各々の面積と、によって前記画像領域の重要度を判定させる、重要度判定プログラム。
14. 前記重要度判定部において、最も重要度が高い一の前記画像領域を特定させ、該一の画像領域に対する相対的な位置関係と前記デジタル画像に占める面積とによって、他の前記画像領域の重要度を判定させる、請求項１３に記載の重要度判定プログラム。
15. 前記重要度判定装置に、前記デジタル画像から前記画像領域を検出させ、検出した前記画像領域の数が２である場合、前記画像領域の左右の位置関係を特定させ、前記画像領域の左右の位置関係を考慮して重要度を判定させる、請求項１３又は１４に記載の重要度判定プログラム。
16. 前記重要度判定装置に、さらに、前記デジタル画像における複数の前記画像領域の構図情報を取得させる、請求項１３〜１５のいずれかに記載の重要度判定プログラム。
17. 前記重要度判定装置に前記デジタル画像から前記画像領域を検出させ、検出した前記画像領域の数が３以上である場合、前記デジタル画像における複数の前記画像領域の構図を、横一列と点在とに判別させる、請求項１６に記載の重要度判定プログラム。
18. 画像検索装置により複数のデジタル画像を検索させる際、請求項１３〜１７のいずれかに記載の重要度判定プログラムにより判定された被写体の重要度を用いて、前記複数のデジタル画像から任意の前記デジタル画像を検索させる、画像検索プログラム。

Images