JP2009199232A - 画像処理装置 - Google Patents

Abstract

【課題】画像中の顔を利用して多数の画像の中から適切な画像を選択する技術を提供する。
【解決手段】画像処理装置は、各写真画像の中に顔が存在するか否かを検出して各写真画像中で検出された顔の顔領域をそれぞれ決定する顔領域決定部と、各写真画像中の顔領域に関する第１のエッジ量を算出する画像評価処理部と、各写真画像の第１のエッジ量に基づいて複数の写真画像の中から写真画像を選択する画像選択部と、を備える。
【選択図】図１

Description

この発明は、写真画像の選択等を行う画像処理技術に関する。

デジタルカメラやコンピュータなどには、多数の画像が格納されている場合が多い。また、これらの多数の画像の中から、画像の保存や印刷のために、いくつかの画像を選択したい場合がある。このため、従来から、種々の画像選択技術が提案されている（例えば特許文献１）。

特開２００７−３３４５９４号公報

ところで、写真画像は顔を含むものが多い。しかし、従来は、画像選択の際に、画像内の顔を利用するという工夫が十分になされていないのが実情であった。

本発明は、画像中の顔を利用して多数の画像の中から適切な画像を選択する技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
複数の写真画像の中から少なくとも１つの写真画像を選択する画像処理装置であって、
各写真画像の中に顔が存在するか否かを検出するとともに、各写真画像中で検出された顔の顔領域をそれぞれ決定する顔領域決定部と、
各写真画像中の前記顔領域に関する第１のエッジ量を算出する画像評価処理部と、
各写真画像の前記第１のエッジ量に基づいて、前記複数の写真画像の中から写真画像を選択する画像選択部と、
を備える画像処理装置。
この画像処理装置によれば、顔領域に関する第１のエッジ量に基づいて写真画像を選択するので、顔領域に関するエッジ量が多く合焦状態の良好な画像を多数の画像の中から選択することが可能である。

［適用例２］
適用例１記載の画像処理装置であって、
前記画像評価処理部は、
各写真画像中の前記顔領域以外の領域、又は、各写真画像の全領域に関する第２のエッジ量を算出するとともに、
前記第１と第２のエッジ量を重み付き平均して総合エッジ量を算出し、
前記画像選択部は、前記総合エッジ量を用いて前記選択を実行する、画像処理装置。
この装置では、顔領域以外の領域に関する第２のエッジ量も考慮した総合エッジ量を用いて選択を実行するので、顔領域とそれ以外の領域の合焦状態が良好な画像を選択することが可能である。

［適用例３］
適用例２記載の画像処理装置であって、
前記第２のエッジ量は、各写真画像中の前記顔領域以外の領域に関するエッジ量であり、
前記重み付き平均の算出では、前記第１のエッジ量に対して前記第２のエッジ量よりも大きな重みが使用される、画像処理装置。
この装置では、顔領域に関する第１のエッジ量に対してより大きな重みが使用されるので、顔領域の合焦状態をより考慮した画像選択を実行することができる。

［適用例４］
適用例１〜３のいずれかに記載の画像処理装置であって、
前記画像評価処理部は、
前記顔領域を複数の小領域に区分してそれぞれのエッジ量を算出し、
前記複数の小領域の間のエッジ量の差が所定の閾値以上の場合には前記複数の小領域のエッジ量の中の最大値を前記第１のエッジ量として採用し、前記複数の小領域の間のエッジ量の差が前記所定の閾値未満の場合には前記複数の小領域のエッジ量の平均値を前記第１のエッジ量として採用する、画像処理装置。
この装置によれば、顔領域の一部の小領域の合焦状態と他の小領域の合焦状態との間に大きな差異がある場合に、合焦状態が特に良好でエッジ量が多い小領域のエッジ量が顔領域に関する第１のエッジ量として採用される。従って、例えば横顔の写真画像の場合も、第１のエッジ量として顔領域の正しい合焦状態を表す値を採用することができ、この結果、適切な画像選択を実行できる。

［適用例５］
適用例１〜４のいずれかに記載の画像処理装置であって、
前記画像評価処理部は、さらに、各写真画像の輝度値の平均と、各写真画像の輝度値の分散との少なくとも一方を算出し、
前記画像選択部は、前記輝度値の平均と前記輝度値の分散とのうちの少なくとも一方と、前記エッジ量とに基づいて、前記選択を実行する、画像処理装置。
この装置によれば、画質の指標として、エッジ量のみでなく、輝度値の平均や分散を利用して画像選択を行うので、より好まし画質を有する画像を選択することができる。

［適用例６］
適用例１〜５のいずれかに記載の画像処理装置であって、
前記複数の写真画像の中で顔が検出された写真画像がＮ枚（Ｎは所定の自然数）以下の場合には、前記画像選択部は、前記第１のエッジ量の値に拘わらず、顔が検出された写真画像をすべて選択する、画像処理装置。
この装置では、顔を含む画像を優先的に選択することが可能である。

［適用例７］
適用例１〜６のいずれかに記載の画像処理装置であって、
各写真画像の前記顔領域の大きさの差が所定の閾値以上の場合には、前記画像選択部は、前記第１のエッジ量の値に拘わらず、前記顔領域が最も大きな写真画像を選択する、画像処理装置。
この装置によれば、顔が大きく見栄えの良い画像を優先的に選択することが可能である。

［適用例８］
適用例１〜７のいずれかに記載の画像処理装置であって、
前記顔領域決定部は、１つの写真画像に複数の顔が含まれている場合には、前記複数の顔に対する複数の顔領域を決定し、
前記画像評価処理部は、前記複数の顔領域におけるエッジ量の平均値又は合計値を前記第１のエッジ量として算出する、画像処理装置。
この装置によれば、複数の顔を含む画像に関するエッジ量を適切に決定することが可能である。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像の選択を行う方法および装置、画像の選択及び選択された画像の処理を行う方法及び装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

次に、本発明の実施の形態を以下の順序で説明する。
A．第１実施例：
B．第２実施例：
C．第３実施例：
D．第４実施例：
E．変形例

A．第１実施例：
図１は、本発明の第１実施例としての画像処理システムを示す説明図である。この画像処理システムは、デジタルカメラ１００とコンピュータ２００とカラープリンタ３００とを備えている。コンピュータ２００は、複数の写真画像の中から１枚以上の画像を選択する画像選択処理部４００を備えている。この画像選択処理部４００は、デジタルカメラ１００に設けられていてもよく、また、カラープリンタ３００に設けられていてもよい。

図１の下部には、画像選択処理部４００の内部構成がツリー構造で示されている。画像選択処理部４００は、各画像内の顔領域を決定する顔領域決定部４１０と、各画像の各種の画質評価値を算出する画像評価処理部４５０と、画質評価値に基づいて画像を選択する画像選択部４９０と、を備えている。顔領域決定部４１０は、目や口などの顔器官を検出する顔器官判定部４２０と、検出された顔器官から矩形の顔領域を決定する矩形取得部４３０とを有している。顔器官判定部４２０は、口判定部４２２と目判定部４２４とを含んでいる。画像評価処理部４５０は、エッジ量計算部４６０と、輝度平均値計算部４７０と、輝度分散値計算部４８０とを含んでいる。すなわち、画像評価処理部４５０は、画質評価値として、エッジ量と輝度平均値と輝度分散値とを求めることが可能である。図１の各部の機能は、コンピュータ２００内の記憶媒体（例えばハードディスク）に格納されたコンピュータプログラムによって実現することが可能である。

図２は、第１実施例における処理手順を示すフローチャートである。ステップＴ１０では、画像選択処理部４００が、複数の写真画像を選択候補（「候補画像」と呼ぶ）として決定する。これらの候補画像は、コンピュータ２００のメモリ（ハードディスクや携帯型記憶媒体）に格納されていた多数の画像の中から互いに類似する画像として自動的に抽出されたものでもよく、あるいは、ユーザによって選択されたものでもよい。後者の場合には、画像選択処理部４００が所定の選択画面（ユーザインタフェース画面）を表示してユーザに複数の候補画像を選択させることが好ましい。なお、候補画像としては、２枚以上の任意の枚数の画像を選択することが可能である。ステップＴ２０では、画像選択処理部４００が、各候補画像のエッジ量を算出するとともに、エッジ量に基づいて画像の選択を実行する。ステップＴ２０の詳細については後述する。ステップＴ３０では、画像選択処理部４００が、選択された画像に関して他の処理を実行する。ステップＴ３０の処理としては、いわゆる画像処理（画質調整など）や、画像の印刷、画像の転送、画像の保存等の種々の処理を適用可能である。

図３は、図２のステップＴ２０の詳細手順を示すフローチャートである。ステップＳ１０では、顔器官判定部４２０（図１）が、各候補画像の中の顔器官（口や目）が存在するか否かを判定する。個々の顔器官の判定は、口判定部４２２や目判定部４２４によって行われる。なお、口や目以外の顔器官を判定するようにしてもよい。顔器官判定部４２０は、顔器官が検出された画像には顔があるものと判定し、顔器官が検出されなかった画像には顔が無いものと判定する。

ステップＳ２０では、画像選択部４９０が、複数の候補画像の中で、顔が検出された候補画像が１つだけか否かを判定する。顔のある候補画像が１つだけの場合には、画像選択部４９０は、その候補画像を選択して図３の処理を終了する（ステップＳ３０）。

図４（Ａ）は、ステップＳ３０における処理内容を示している。この例では、２つの候補画像ＭＧａ，ＭＧｂが予備的に選択されている。これらのうちで、顔が存在するのは第２の候補画像ＭＧｂだけである。従って、ステップＳ３０においては、この画像ＭＧｂが選択される。なお、顔が存在する画像を選択する理由は、通常の写真では、顔が写っている画像の方がより好まれる傾向にあるからである。

図３のステップＳ２０において、顔のある候補画像が２つ以上存在する場合には、画像選択部４９０が、それぞれの候補画像における顔領域（後述）のサイズの差が所定の閾値を越えているか否かを判定する。顔領域のサイズの差が所定の閾値を越えている場合には、画像選択部４９０は、顔領域の大きな候補画像を選択して図３の処理を終了する（ステップＳ５０）。

図４（Ｂ）は、ステップＳ５０における処理内容を示している。この例での２つの候補画像ＭＧｃ，ＭＧｂは、それぞれ顔を有している。また、それぞれに関して顔領域ＦＡｃ，ＦＡｄが決定されている。これらの顔領域ＦＡｃ，ＦＡｃは、ステップＳ４０又はステップＳ１０において、矩形取得部４３０によって決定される。具体的には、例えば、顔領域ＦＡｃ，ＦＡｄは、ステップＳ１０で検出された１つ以上の顔器官を含む矩形領域として決定される。図４（Ｂ）の例では、第２の候補画像ＭＧｄの顔領域ＦＡｄの面積が、第１の候補画像ＭＧｃの顔領域ＦＡｃの面積よりも大きく、その差が所定の閾値を越えている。そこで、顔領域のより大きな第２の候補画像ＭＧｄが選択される。なお、この閾値は、経験的に予め設定される。上記の説明において、２つの顔領域の面積（サイズ）の「差が大きい」とは、両者の比が大きいことと実質的に同一である。ステップＳ５０において顔領域がより大きな画像を選択する理由は、通常の写真では、顔が大きく写っている画像の方がより好まれる傾向にあるからである。なお、１つの画像内に複数の顔が存在する場合には、ステップＳ５０において、各画像内の最も大きな顔領域を用いて、他の画像との比較を行うことが好ましい。

図３のステップＳ４０において、複数の候補画像における顔領域の差が所定の閾値以下の場合には、ステップＳ６０〜Ｓ８０の処理が実行される。まず、エッジ量計算部４６０が、顔領域と他の領域のエッジ量を計算し（ステップＳ６０）、これらのエッジ量を用いて各候補画像の総合エッジ量を計算する（ステップＳ７０）。

図５は、総合エッジ量の計算方法の一例を示す説明図である。ここでは、２つの候補画像ＭＧ１，ＭＧ２が処理対象となっている。これらの２つの候補画像ＭＧ１，ＭＧ２は、それぞれ顔領域ＦＡ１，ＦＡ２を有しており、また、それぞれ所定サイズのブロックＢＬに区切られている。エッジ量計算部４６０は、それぞれの顔領域ＦＡ１，ＦＡ２内のエッジ量Edge1を計算する。顔領域のエッジ量Edge1は、例えば、２次微分フィルタ（ラプラシアンフィルタ）を用いたフィルタ処理を画素毎に１回適用してその結果を合計することによって得られる。２次微分フィルタの代わりに、１次微分フィルタ（Prewittフィルタ、Sobelフィルタ，Robertsフィルタ等）を用いてもよい。エッジ量計算部４６０は、また、画像全体のエッジ量Edge2を計算する。画像全体のエッジ量Edge2は、例えば、ブロックＢＬ毎に求めたエッジ量を合計した値である。但し、画像全体をブロックＢＬで区切らずに、画像全体のエッジ量Edge2を算出することも可能である。

総合エッジ量EdgeAllは、例えば以下の式に従って計算される。
EdgeAll＝Edge1×W1＋Edge2×W2 …（１）
ここで、Edge1は顔領域のエッジ量、Edge2は画像全体のエッジ量、W1，W2は重みである。

重みW1,W2としては、同じ値を用いることも可能であり、互いに異なる値を用いることも可能である。重みW1,W2として異なる値を用いる場合には、顔領域のエッジ量Edge1に対する重みW1をより大きな値とすることが好ましい。顔領域に関してより大きな重みを使用する理由は、以下の通りである。すなわち、通常は、顔領域は肌色で起伏が少ないので、他の画像部分よりもエッジ量が少ない傾向にある。従って、顔領域に関して他の領域よりも大きな重みを付して総合エッジ量を計算するようにすれば、顔領域の画質（特に合焦状態）をより適切に反映した総合エッジ量を得ることができるからである。

但し、重みW1，W2が等しい場合にも、顔領域に対する実質的な重みは、顔領域以外の領域に対する重みの２倍となっている。この理由は、画像全体のエッジ量Edge2には顔領域のエッジ量Edge1も含まれているからである。従って、上記（１）式において重みW1，W2が等しい場合にも、顔領域のエッジ量Edge1に対して、他の領域のエッジ量の２倍の重みが適用されることが理解できる。なお、１つの画像内に複数の顔が存在する場合には、上述した顔領域のエッジ量Edge1として、各画像内の複数の顔領域のエッジ量の合計値又は平均値を使用することが好ましい。

画像の総合エッジ量EdgeAllとしては、顔領域のエッジ量Edge1のみを使用し、顔領域以外の領域のエッジ量を使用しないようにしてもよい。しかしながら、顔領域以外の領域のエッジ量を含む総合エッジ量EdgeAllを用いるようにすれば、この総合エッジ量EdgeAllとして、背景（顔以外の部分）の合焦状態を反映した値が得られる。従って、総合エッジ量EdgeAllとして、顔と背景の両方の合焦状態を反映した値が得られるので、全体の合焦状態が良好な画像を適切に選択できるという利点がある。

図６は、総合エッジ量の計算方法の他の例を示す説明図である。この方法では、総合エッジ量EdgeAllは、以下の（２）式に従って計算される。
EdgeAll＝EdgeFace×Wa＋EdgeNoFace×Wb …（２）
ここで、EdgeFaceは顔領域を含むブロックのエッジ量、EdgeNoFaceは画像の顔領域を含まないブロックのエッジ量、Wa，Wbは重みである。

なお、図６の場合には、顔領域ＦＡ１，ＦＡ２（顔器官の判定によって決定された領域）と一部でも重なるブロック（ハッチングを付した３×３個のブロック）が、顔領域ＦＡ１，ＦＡ２に関するエッジ量EdgeFaceを計算するためのブロックとして使用されている。また、顔領域ＦＡ１，ＦＡ２に全く重ならないブロック（ハッチングの無いもの）が、顔領域以外の領域に関するエッジ量EdgeNoFaceを計算するためのブロックとして使用されている。なお、上記（２）式の場合には、顔領域に関するエッジ量の実質的な重みを、顔領域以外の領域に関するエッジ量の重みよりも大きくするために、第１の重みWaを第２の重みWbよりも大きくすることが好ましい。また、上記（２）式を使用する際に、１つの画像内に複数の顔が存在する場合には、上述したエッジ量EdgeFaceとして、各画像内の複数の顔領域のエッジ量の合計値を使用することが好ましい。

上記（１）式の重みW1,W2や、（２）式の重みWa,Wbは、顔領域の大きさ（面積）と、その画像全体の大きさ（面積）との比に応じて変更してもよい。具体的には、例えば、顔領域の面積を画像全体の面積で除した値（顔面積率）が増加するに伴って、顔領域に対する重みW1，Waを減少させるようにしてもよい。こうすれば、顔領域が画像中でかなり大きな面積を占める場合に、顔領域のエッジ量の寄与が過度に大きくなることを防止できる。

図３のステップＳ８０では、こうして得られた総合エッジ量EdgeAllに基づいて、画像選択部４９０（図１）が、複数の候補画像の中から所定数の画像を選択する。なお、選択される画像の枚数Ｍ（Ｍは自然数）は、通常は１であるが、選択枚数Ｍをユーザが変更できるものとしてもよい。

本実施例では、総合エッジ量EdgeAllの計算において、顔領域に関して他の領域よりも実質的に大きな重みを用いているので、ステップＳ８０では、顔領域のエッジ量がより多い画像が選択される。具体的には、顔の合焦状態がより良好な画像や、顔の大きな画像が選択されることになる。このような画像は、一般的に好ましい画像としてユーザに選択される場合が多い。従って、本実施例の選択処理によれば、ユーザに通常好まれる画像を自動的に選択することができるという利点がある。

なお、複数の候補画像の総合エッジ量の差が所定の閾値よりも小さい場合には、以下のような種々の選択方法を採用することが可能である。
（Ａ１）複数の候補画像のうちの最初又は最後の１枚を選択する。
（Ａ２）候補画像が３枚以上の場合には、その中央の１枚の画像を選択する。
（Ａ３）候補画像が３枚以上の場合には、その両端の２枚の画像を選択する。

図７は、上記（Ａ３）による画像選択例を示している。ここでは、３つの候補画像ＭＧ１〜ＭＧ３の総合エッジ量の差が所定の閾値以下（すなわち所定の許容範囲内）の場合に、その両端の画像ＭＧ１，ＭＧ３が両方とも選択されている。このように２枚を選択する理由は、通常は画像が撮影時間に従って配列されているので、その両端にある画像は最も撮影時間が離れており、印刷などの処理の対象として適切な場合が多いからである。

以上のように、本実施例では、顔領域の有無や、顔領域のサイズ、顔領域のエッジ量等を利用して複数の候補画像の中から所定数の画像を自動的に選択するので、その後の処理に適した望ましい画像を容易に得ることが可能である。

B．第２実施例：
図８は、第２実施例における処理手順を示すフローチャートである。図８は、図２のステップＴ２０，Ｔ３０の間にステップＴ１００，Ｔ１１０を追加したものであり、他の点は第１実施例と同じである。第２実施例では、上述したステップＴ２０においてｎ枚（ｎは２以上の整数）の画像が仮に選択され、その後、ステップＴ１１０，Ｔ１２０において最終的な画像選択が実行される。

ステップＴ１００では、輝度平均値計算部４７０と輝度分散値計算部４８０（図１）が、ステップＴ２０で仮選択されたｎ枚の画像に関して輝度値の平均と輝度値の分散をそれぞれ算出する。ステップＴ１１０では、画像選択部４９０が、輝度平均値と輝度分散値に基づいて最終的な画像選択を実行する。なお、ステップＴ１００，Ｔ１１０において、輝度平均値と輝度分散値のうちの一方のみを使用してもよい。輝度平均値と輝度分散値の両方を利用する場合には、例えば、まず各画像の輝度平均値を比較し、輝度平均値の大きな順に２つの画像を選んでそれらの輝度平均値の差を求め、この差が所定の閾値以上の場合には最も輝度平均値の大きな画像のみを最終的に選択する、とう方法を採用可能である。また、輝度平均値の差が所定の閾値未満の場合には、輝度平均値の大きな画像のうち、輝度分散値の最も大きな画像を最終的に選択することが可能である。なお、ステップＴ１１０において最終的に選択される画像の選択枚数Ｍ（Ｍは自然数）は、予め設定しておくことが可能である。

このように、第２実施例では、エッジ量に基づいた予備選択を行った後に、輝度平均値と輝度分散値のうちの少なくとも一方に基づいて最終的な画像選択を実行するので、より好ましい画質を有する画像を選択することが可能である。

C．第３実施例：
図９は、第３実施例における処理手順を示すフローチャートである。図９は、図８のステップＴ２０，Ｔ１００〜Ｔ１１０をステップＴ２００〜Ｔ２２０に置き換えたものであり、他の点は第２実施例と同じである。

ステップＴ２００では、画像評価処理部４５０（図１）が、各画像候補についてエッジ量と輝度平均値と輝度分散値を算出する。エッジ量としては、第１実施例で説明した総合エッジ量EdgeAllを使用することが可能である。ステップＴ２１０では、画像評価処理部４５０が、各画像候補の総合評価値Etotalを下記（３）式に従って算出する。
Etotal＝ｆ（EdgeAll，Lave，Ldiv) …（３）
ここで、ｆ（EdgeAll，Lave，Ldiv)は、総合エッジ量EdgeAllと輝度平均値Lave輝度分散値Ldivとに依存する関数であることを意味している。なお、総合エッジ量EdgeAllの代わりに顔領域のみのエッジ量Edge1又はEdgeFaceを使用しても良い。

上記（３）式の具体例は例えば以下の通りである。
Etotal＝α×EdgeAll＋β×Lave＋γ×Ldiv …（３ａ）
ここで、α，β，γは定数（重み）である。

ステップＴ２２０では、画像選択部４９０が、総合評価値Etotalを利用してＭ枚（Ｍは自然数）の画像を選択する。このように、第３実施例では、総合評価値Etotalを利用して画像選択を行うので、画像のエッジ量や輝度分布に基づいて、好ましい画像を適切に選択することが可能である。なお、上記（３）式において、輝度平均値Laveと輝度分散値Ldivのうちの一方のみを使用してもよい。また、他の画質評価値を使用することも可能である。

D．第４実施例：
図１０は、第４実施例における顔領域に関するエッジ量の計算手順を示すフローチャートである。また、図１１は、第４実施例の処理内容を示す説明図である。第４実施例は、顔領域に関するエッジ量の計算方法が他の実施例と異なるだけであり、他の構成や処理内容は、上述した第１〜第３実施例等を採用可能である。なお、図１０の処理は、エッジ量計算部４６０（図１）によって実行される。

図１０のステップＳ１００では、顔領域が複数の小領域に区分される。図１１の例では、矩形の顔領域ＦＡが、４つの小領域ＳＣ１〜ＳＣ４に等分されている。ステップＳ１１０では、各小領域ＳＣ１〜ＳＣ４に関して、それぞれエッジ量が計算される。この計算は、第１実施例と同様に、例えば１次微分フィルタや２次微分フィルタを用いて行うことができる。ステップＳ１２０では、複数の小領域ＳＣ１〜ＳＣ４におけるエッジ量の差が所定の閾値以上であるか否かが判定される。具体的には、例えば、エッジ量の多い順に２つの小領域を選んでそれらのエッジ量の差を求め、この差が所定の閾値以上であるか否かを判定するようにしてもよい。エッジ量の差が閾値以上である場合には、ステップＳ１３０において、最もエッジ量の多い小領域のエッジ量を、顔領域ＦＡ全体のエッジ量として採用する。一方、エッジ量の差が閾値未満である場合には、ステップＳ１４０にいて、複数の小領域ＳＣ１〜ＳＣ４のエッジ量の平均値を、顔領域ＦＡ全体のエッジ量として採用する。

上記のように顔領域のエッジ量を決定する理由は、顔領域の中で合焦状態が異なる場合を考慮しているためである。例えば、図１１（Ｂ）のように顔が横向きになっている場合には、４つの小領域ＳＣ１〜ＳＣ４の合焦状態がかなり異なる。仮に、第２の小領域ＳＣ２にピントが合った状態で写真が撮影されているものと仮定すると、この第２の小領域ＳＣ２のエッジ量は、他の小領域ＳＣ１，ＳＣ３，ＳＣ４よりもかなり多い。従って、この場合には、図１０のステップＳ１３０において、最もエッジ量の多い第２の小領域ＳＣ２のエッジ量が、顔領域ＦＡ全体のエッジ量として採用される。こうすれば、顔の一部の小領域に局所的にピントが合っている場合に、その小領域の合焦状態を反映したエッジ量を、顔領域のエッジ量として決定することが可能となる。一方、図１１（Ａ）のように、顔全体の合焦状態があまり変わらない場合には、顔領域ＦＡの平均的なエッジ量を採用すれば、顔全体の合焦状態を反映したエッジ量を、顔領域に関するエッジ量として決定することが可能である。

このように、第４実施例では、顔領域の一部の小領域の合焦状態が特に良好な場合に、その合焦状態を反映したエッジ量を顔領域のエッジ量として採用するので、より好ましい画像を選択することが可能である。

E．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

E１．変形例１：
上記第１実施例では、各写真画像に関して、顔領域のエッジ量と、顔領域以外の領域のエッジ量の両方の寄与を考慮した総合エッジ量を用いて画像の選択を行っていたが、この代わりに、顔領域以外の領域のエッジ量を利用せずに顔領域のエッジ量を使用して画像の選択を行うようにしてもよい。この構成によっても、顔領域の合焦状態を反映した画像選択を行うことが可能である。但し、総合エッジ量を使用すれば、顔領域のみでなく、背景部分の合焦状態も反映した画像選択を行えるという利点がある。

E２．変形例２：
図３のステップＳ２０では、複数の候補画像の中で顔のある画像が１つだけの場合にその画像を選択するものとしていたが、一般に、複数の候補画像の中で顔のある画像がＮ枚（Ｎは所定の自然数）以下の場合には、顔が検出された写真画像をすべて選択するものとしてもよい。この場合に、画像選択部４９０は、各候補画像の画像評価値に拘わらず、顔が検出された写真画像をすべて選択することが好ましい。

本発明の第１実施例としての画像処理システムを示す説明図である。 第１実施例における処理手順を示すフローチャートである。 図２のステップＴ２０の詳細手順を示すフローチャートである。 図３のステップＳ３０、Ｓ５０における処理内容を示す説明図である。 総合エッジ量の計算方法の一例を示す説明図である。 総合エッジ量の計算方法の他の例を示す説明図である。 複数の候補画像の総合エッジ量の差が小さい場合の画像選択方法を示す説明図である。 第２実施例における処理手順を示すフローチャートである。 第３実施例における処理手順を示すフローチャートである。 第４実施例における顔領域に関するエッジ量の計算手順を示すフローチャートである。 第４実施例の処理内容を示す説明図である。

符号の説明

１００…デジタルカメラ
２００…コンピュータ
３００…カラープリンタ
４００…画像選択処理部
４１０…顔領域決定部
４２０…顔器官判定部
４２２…口判定部
４２４…目判定部
４３０…矩形取得部
４５０…画像評価処理部
４６０…エッジ量計算部
４７０…輝度平均値計算部
４８０…輝度分散値計算部
４９０…画像選択部

Claims (10)

1. 複数の写真画像の中から少なくとも１つの写真画像を選択する画像処理装置であって、
   各写真画像の中に顔が存在するか否かを検出するとともに、各写真画像中で検出された顔の顔領域をそれぞれ決定する顔領域決定部と、
   各写真画像中の前記顔領域に関する第１のエッジ量を算出する画像評価処理部と、
   各写真画像の前記第１のエッジ量に基づいて、前記複数の写真画像の中から写真画像を選択する画像選択部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記画像評価処理部は、
   各写真画像中の前記顔領域以外の領域、又は、各写真画像の全領域に関する第２のエッジ量を算出するとともに、
   前記第１と第２のエッジ量を重み付き平均して総合エッジ量を算出し、
   前記画像選択部は、前記総合エッジ量を用いて前記選択を実行する、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記第２のエッジ量は、各写真画像中の前記顔領域以外の領域に関するエッジ量であり、
   前記重み付き平均の算出では、前記第１のエッジ量に対して前記第２のエッジ量よりも大きな重みが使用される、画像処理装置。
4. 請求項１〜３のいずれかに記載の画像処理装置であって、
   前記画像評価処理部は、
   前記顔領域を複数の小領域に区分してそれぞれのエッジ量を算出し、
   前記複数の小領域の間のエッジ量の差が所定の閾値以上の場合には前記複数の小領域のエッジ量の中の最大値を前記第１のエッジ量として採用し、前記複数の小領域の間のエッジ量の差が前記所定の閾値未満の場合には前記複数の小領域のエッジ量の平均値を前記第１のエッジ量として採用する、画像処理装置。
5. 請求項１〜４のいずれかに記載の画像処理装置であって、
   前記画像評価処理部は、さらに、各写真画像の輝度値の平均と、各写真画像の輝度値の分散との少なくとも一方を算出し、
   前記画像選択部は、前記輝度値の平均と前記輝度値の分散とのうちの少なくとも一方と、前記エッジ量とに基づいて、前記選択を実行する、画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置であって、
   前記複数の写真画像の中で顔が検出された写真画像がＮ枚（Ｎは所定の自然数）以下の場合には、前記画像選択部は、前記第１のエッジ量の値に拘わらず、顔が検出された写真画像をすべて選択する、画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置であって、
   各写真画像の前記顔領域の大きさの差が所定の閾値以上の場合には、前記画像選択部は、前記第１のエッジ量の値に拘わらず、前記顔領域が最も大きな写真画像を選択する、画像処理装置。
8. 請求項１〜７のいずれかに記載の画像処理装置であって、
   前記顔領域決定部は、１つの写真画像に複数の顔が含まれている場合には、前記複数の顔に対する複数の顔領域を決定し、
   前記画像評価処理部は、前記複数の顔領域におけるエッジ量の平均値又は合計値を前記第１のエッジ量として算出する、画像処理装置。
9. 複数の写真画像の中から少なくとも１つの写真画像を選択する画像処理方法であって、
   （ａ）各写真画像の中に顔が存在するか否かを検出するとともに、各写真画像中で検出された顔の顔領域をそれぞれ決定する工程と、
   （ｂ）各写真画像中の前記顔領域に関する第１のエッジ量を算出する工程と、
   （ｃ）各写真画像の前記第１のエッジ量に基づいて、前記複数の写真画像の中から写真画像を選択する工程と、
   を備える画像処理方法。
10. 複数の写真画像の中から少なくとも１つの写真画像を選択するコンピュータプログラムであって、
    （ａ）各写真画像の中に顔が存在するか否かを検出するとともに、各写真画像中で検出された顔の顔領域をそれぞれ決定する工程と、
    （ｂ）各写真画像中の前記顔領域に関する第１のエッジ量を算出する工程と、
    （ｃ）各写真画像の前記第１のエッジ量に基づいて、前記複数の写真画像の中から写真画像を選択する工程と、
    をコンピュータに実行させるコンピュータプログラム。

Images