JP2021043914A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】人物の顔を撮影した複数の画像の中から情報処理に用いられる適切な画像を選択する。【解決手段】記憶部は、人物の顔を撮影した複数の画像を記憶する。パターン生成部は、複数の画像それぞれの顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求める。選択部は、複数の画像それぞれの画素値パターンに基づいて、それらの画像の中から処理対象画像を選択する。【選択図】図９

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

生体認証技術は、認証対象者の生体情報を利用して、本人認証を行う技術である。生体認証技術には、顔認証技術、指紋認証技術、静脈認証技術、声紋認証技術等が含まれる。

顔認証技術では、本人認証を行う際に、認証対象者の顔画像から得られる生体情報が用いられる。この場合、登録対象者の生体情報を登録する登録処理と、認証対象者を認証する認証処理とでは、顔画像を撮影する撮影環境が変化することが多い。

例えば、登録処理では、登録対象者が静止して正面を向いた状態で顔画像が撮影されるのに対して、認証処理は、認証対象者が歩いている状態で行われることがある。このような認証処理では、様々な顔の向き及び表情の顔画像が撮影される可能性があるため、同一人物の登録生体情報と認証時に取得された生体情報とが一致せず、本人認証が成功しない場合が増加する。

顔認証技術に関連して、新規人物のデータベース登録作業を自動化する顔画像データベース新規登録装置、及び顔画像による歩行者認証用の辞書データを登録するための登録装置が知られている（例えば、特許文献１及び特許文献２を参照）。

特開２００２−１３３４２３号公報 特開２００８−２４３０９３号公報

従来の顔認証技術では、歩いている認証対象者を撮影した複数の顔画像の中から認証処理に適した顔画像を選択することは困難である。

なお、かかる問題は、認証処理に適した顔画像を選択する場合に限らず、登録処理に適した顔画像を選択する場合においても生ずるものである。また、かかる問題は、顔画像を用いた本人認証に限らず、顔画像を用いた様々な情報処理において生ずるものである。

１つの側面において、本発明は、人物の顔を撮影した複数の画像の中から情報処理に用いられる適切な画像を選択することを目的とする。

１つの案では、画像処理装置は、記憶部、パターン生成部、及び選択部を含む。記憶部は、人物の顔を撮影した複数の画像を記憶する。パターン生成部は、複数の画像それぞれの顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求める。選択部は、複数の画像それぞれの画素値パターンに基づいて、それらの画像の中から処理対象画像を選択する。

１つの側面によれば、人物の顔を撮影した複数の画像の中から情報処理に用いられる適切な画像を選択することができる。

画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理装置の具体例を示す機能的構成図である。 画像及び特徴点を示す図である。 顔の一部分を含む部分領域を示す図である。 垂直方向における明暗パターンを示す図である。 目が写っている部分領域を示す図である。 水平方向における明暗パターンを示す図である。 画像処理の具体例を示すフローチャートである。 画像取得処理のフローチャートである。 ２種類の画素値パターンを用いた画像処理の具体例を示すフローチャートである。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
例えば、特許文献１の技術によれば、人物顔画像検出・追跡・認識システムにより、顔画像から検出された複数の顔特徴点を用いて、フレーム選択に用いるための顔の向きが推定される。

また、特許文献２の技術によれば、登録時に、通路を歩行する登録者の姿勢変動データ及び歩行データが辞書データとして記録される。姿勢変動データは、通路内の複数の地点において種々の姿勢（顔の向き）で撮影された登録者の顔画像から得られる顔の特徴量等のデータであり、歩行データは、登録者が通路を歩行した際における姿勢変動等のデータである。そして、認証時に、歩行者の顔画像から抽出された目、鼻孔等の顔の特徴点を用いて姿勢が判定され、歩行者の顔の特徴量と、辞書データに記録されている姿勢が近い顔の特徴量とが照合される。

このような顔認証技術を用いれば、歩いている認証対象者を動画で撮影することで複数の顔画像を取得し、それらの顔画像の中から認証処理に適した顔画像を選択することで、本人認証の安定性を高めることが可能になる。

しかしながら、目、鼻、及び口のような顔の部位を示す顔特徴点の位置関係を用いて顔の向きを推定し、登録時に近い顔の向きの顔画像を選択する方法では、必ずしも安定した本人認証が実現されるとは限らない。例えば、顔特徴点を誤検出した結果、登録時とは異なる顔の向きの顔画像が選択される場合や、登録時と同じ顔の向きの顔画像であっても、まばたき及び口の開きのような表情が異なる顔画像が選択される場合があり得る。

図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、パターン生成部１１２、及び選択部１１３を含む。記憶部１１１は、人物の顔を撮影した複数の画像を記憶する。パターン生成部１１２及び選択部１１３は、記憶部１１１が記憶する画像を用いて、画像処理を行う。

図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、パターン生成部１１２は、複数の画像それぞれの顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求める（ステップ２０１）。次に、選択部１１３は、複数の画像それぞれの画素値パターンに基づいて、それらの画像の中から処理対象画像を選択する（ステップ２０２）。

図１の画像処理装置１０１によれば、人物の顔を撮影した複数の画像の中から情報処理に用いられる適切な画像を選択することができる。

図３は、図１の画像処理装置１０１の具体例を示している。図３の画像処理装置３０１は、記憶部３１１、画像取得部３１２、特徴点抽出部３１３、正面度計算部３１４、パターン生成部３１５、選択部３１６、特徴抽出部３１７、登録部３１８、及び認証部３１９を含む。記憶部３１１、パターン生成部３１５、及び選択部３１６は、図１の記憶部１１１、パターン生成部１１２、及び選択部１１３にそれぞれ対応する。

撮像装置３０２は、例えば、ＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、被写体の映像又は画像を撮影する。撮像装置３０２によって撮影された映像には、時系列の複数の画像が含まれている。各時刻の画像は、フレームと呼ばれることもある。

画像処理装置３０１は、例えば、生体認証装置であり、登録対象者又は認証対象者の画像に基づく生体情報処理を行う。生体情報処理が、登録対象者の生体情報を登録する登録処理である場合、被写体は登録対象者であり、生体情報処理が、認証対象者を認証する認証処理である場合、被写体は認証対象者である。

撮像装置３０２は、被写体である人物の顔を撮影し、撮影した映像に含まれる画像又は撮影した画像を、画像処理装置３０１へ出力する。人物の顔が判別可能であれば、人物の姿勢又は動きに制限はない。人物が撮像装置３０２に対して静止しており、顔が撮像装置３０２の方向（正面）を向いている場合もあれば、人物が撮像装置３０２に向かって近づくように動いている場合もあり、周囲を見回すように顔の向きが変化している場合もある。

以下では、人物が撮像装置３０２に対して移動しており、人物の顔が様々な方向を向いており、表情の変化としてまばたき等が発生している場合の画像処理について説明する。

画像取得部３１２は、撮像装置３０２が出力するＮ枚（Ｎは２以上の整数）の画像３３１を取得して、記憶部３１１に格納する。人物の動き方、人物と撮像装置３０２との間の位置関係等によって、撮影可能な画像の枚数が変化するが、所定数であるＭ枚（Ｍは１以上Ｎ未満の整数）の処理対象画像を選択する場合、Ｎは３Ｍ以上の整数であることが望ましい。

特徴点抽出部３１３は、各画像３３１から、顔の部位の位置を示す特徴点を抽出し、各特徴点の位置を示す特徴点情報３３２を記憶部３１１に格納する。顔の部位としては目、鼻、口等が用いられ、特徴点としては、瞳、目頭、目尻、鼻の頂点、鼻孔、口の上下左右の端等が用いられる。

図４は、人物の顔を撮影した画像３３１及び特徴点の例を示している。図４（ａ）は、画像３３１の例を示しており、図４（ｂ）は、図４（ａ）の画像３３１から抽出された特徴点の例を示している。特徴点４０１は右目の瞳を示し、特徴点４０２は左目の瞳を示し、特徴点４０３は鼻の頂点を示し、特徴点４０４は口の右端を示し、特徴点４０５は口の左端を示している。例えば、特徴点抽出部３１３は、物体認識又は機械学習の方法により、これらの特徴点を抽出することができる。

しかしながら、撮影時に顔が上下左右のいずれかの方向を大きく向いていたり、人物の手、メガネのフレーム、マスク等によって顔の一部分が隠れたりすることで、本来の顔の特徴点が画像に写らないことがある。この場合、メガネのフレーム、眉毛、顔の窪みで影になっている個所等が、特徴点として誤検出される可能性がある。特徴点が誤検出された場合、個人を識別する特徴情報を正しく抽出することが困難になるため、誤検出は本人認証が失敗する要因となり得る。したがって、このような画像を登録処理又は認証処理に用いることは好ましくない。

正面度計算部３１４は、各画像３３１に写っている顔が、撮像装置３０２に向かって正面を向いている度合いを示す正面度３３３を計算し、記憶部３１１に格納する。正面度３３３は、顔品質値とも呼ばれ、顔が正面に近い方向を向いているほど大きくなり、正面から離れた方向を向いているほど小さくなる。

パターン生成部３１５は、各画像３３１の顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターン３３４を求め、記憶部３１１に格納する。所定方向としては、顔の上下の方向、顔の左右の方向等が用いられる。

例えば、パターン生成部３１５は、所定方向における各画素の位置において、所定方向に対して垂直な方向に並んでいる複数の画素の画素値から、画素値の統計値を計算する。画素値の統計値としては、総和、平均値等が用いられる。次に、パターン生成部３１５は、所定方向における各画素の位置と統計値との関係を示すパターンを、画素値パターン３３４として求める。そして、パターン生成部３１５は、画素値パターン３３４を用いて、画素値パターン３３４の特徴を示す特性値３３５を計算し、記憶部３１１に格納する。

所定方向における各画素の画素値ではなく、所定方向に対して垂直な方向に並んでいる複数の画素の画素値の統計値を用いることで、顔の部位が写っている領域全体の画素値を反映した画素値パターン３３４を求めることができる。そして、画素値パターン３３４の特徴を示す特性値３３５を計算することで、計算された特性値３３５に基づいて、画像３３１が登録処理及び認証処理に適しているか否かを判定することが可能になる。

選択部３１６は、Ｎ枚の画像３３１それぞれの正面度３３３及び特性値３３５に基づいて、Ｍ枚の処理対象画像を選択する。登録処理における処理対象画像は、登録対象の画像であり、認証処理における処理対象画像は、認証対象の画像である。

特徴抽出部３１７は、選択された処理対象画像に写っている顔の特徴情報を抽出する。例えば、顔の特徴情報としては、顔の各部位の位置を示す位置情報を用いることができる。特徴抽出部３１７は、特徴点情報３３２に基づいて顔の特徴情報を抽出してもよい。登録処理において、登録部３１８は、抽出された特徴情報を、登録対象者の登録生体情報３３６として記憶部３１１に格納する。認証処理において、認証部３１９は、抽出された特徴情報を登録生体情報３３６と照合することで、認証対象者に対する認証を行う。

正面度３３３に基づいて処理対象画像を選択することで、顔が正面に近い方向を向いている画像３３１を、処理対象画像として選択することが可能になる。顔が正面を向いている画像３３１を処理対象画像として用いることで、登録処理及び認証処理に適した顔の特徴情報を抽出することができる。

また、画素値パターン３３４の特徴を示す特性値３３５に基づいて処理対象画像を選択することで、正しい顔の特徴点を含む画像３３１を、処理対象画像として選択することが可能になる。正しい顔の特徴点を含む画像３３１を処理対象画像として用いることで、登録処理及び認証処理に適した顔の特徴情報を抽出することができる。

したがって、画像処理装置３０１によれば、人物が移動しており、顔が様々な方向を向いており、表情の変化が発生している場合であっても、特徴点の誤検出、表情の変化等の認証精度を低下させる要因を排除して、適切な処理対象画像を選択することができる。これにより、安定した本人認証が実現される。

次に、図４（ｂ）を参照しながら、正面度３３３の計算例について説明する。まず、正面度計算部３１４は、特徴点４０１と特徴点４０２とが同じ高さになり、特徴点４０４と特徴点４０５とが同じ高さになるように、画像３３１をアフィン変換して、正規化画像を生成する。

次に、正面度計算部３１４は、正規化画像において、顔の左右の方向の正面度ＱＳと、顔の上下の方向の正面度ＱＨとを計算し、ＱＳ及びＱＨを用いて、正面度３３３に対応する正面度Ｑを計算する。例えば、正面度Ｑとしては、ＱＳとＱＨの平均値（算術平均、幾何平均、又は調和平均）が用いられる。

正規化画像にはｘ軸及びｙ軸が座標軸として設定され、ｘ軸は、正規化画像の水平方向を表し、ｙ軸は、正規化画像の垂直方向を表す。水平方向は顔の左右の方向であり、垂直方向は顔の上下の方向である。このとき、正面度計算部３１４は、例えば、次式によりＱＳを計算する。

Ｗは、正規化画像の幅を表し、Ｈは、正規化画像の高さを表す。式（１）のＩ（ｘ，ｙ）は、正規化画像の座標（ｘ，ｙ）における輝度値を表し、Ｉ（Ｗ−ｘ＋１，ｙ）は、正規化画像を左右に２等分する２等分線に関して、座標（ｘ，ｙ）と対称な位置における輝度値を表す。

この場合、式（１）のＤｉｆｆは、正規化画像の２等分線に関して対称な位置に存在する２つの画素の輝度値の差分に関する情報を、正規化画像全体について加算した総和を表す。式（２）のＱＳは、正規化画像の左右対称性を表し、Ｄｉｆｆが小さいほど大きくなり、正規化画像が完全に左右対称である場合に最大となる。ＱＳの最大値は１であり、最小値は０である。正面度計算部３１４は、各画素の輝度値の代わりに、各画素のＲＧＢ、色差信号等を用いて、Ｄｉｆｆを計算してもよい。

一方、ＱＨは、例えば、正規化画像に写っている目、鼻、及び口の位置関係から計算される。特徴点抽出部３１３は、事前に、不特定の複数の人物の正面顔を撮影した画像から、特徴点Ｐ１〜特徴点Ｐ５を抽出する。特徴点Ｐ１は右目の瞳を示し、特徴点Ｐ２は左目の瞳を示し、特徴点Ｐ３は鼻の頂点を示し、特徴点Ｐ４は口の右端を示し、特徴点Ｐ５は口の左端を示す。そして、正面度計算部３１４は、特徴点Ｐｋ（ｋ＝１〜５）のｙ座標の平均Ｍｙｋ及び標準偏差σｙｋを計算する。

また、正面度計算部３１４は、正規化画像における特徴点４０１〜特徴点４０５それぞれのｙ座標としてｙ１〜ｙ５を求め、例えば、次式によりＱＨを計算する。

式（３）のＱＨは、上下の方向において顔が正面を向いている度合いを表し、すべてのｙｋがＭｙｋと一致している場合に最大となり、ｙｋとＭｙｋの差が大きいほど小さくなる。ただし、式（３）の右辺が０よりも小さい場合は、ＱＨ＝０に設定される。したがって、ＱＳの最大値は１であり、最小値は０である。

ＱＳとＱＨの平均値であるＱの最大値は１であり、最小値は０である。Ｑが１に近いほど、顔が正面に近い方向を向いていると言える。顔が左又は右を向いている場合はＱＳが小さくなるため、Ｑも小さくなる。また、顔が上又は下を向いている場合はＱＨが小さくなるため、Ｑも小さくなる。

しかし、特徴点の誤検出が発生した場合、正しい正面度３３３を求めることが困難になるため、正面度３３３のみを用いて処理対象画像を選択すると、適切でない処理対象画像が選択される可能性がある。そこで、パターン生成部３１５は、画素値パターン３３４を求め、処理対象画像を選択するための指標として特性値３３５を計算する。

まず、パターン生成部３１５は、正規化画像において顔の一部分を含む部分領域を決定する。例えば、部分領域としては、顔の部位が写っている領域が用いられ、特徴点情報３３２が示す特徴点を用いて、部分領域が決定される。部分領域にはｍ軸及びｎ軸が座標軸として設定され、ｍ軸は、部分領域の水平方向を表し、ｎ軸は、部分領域の垂直方向を表す。水平方向は、垂直方向に対して垂直な方向である。

図５は、顔の一部分を含む部分領域の例を示している。図５の部分領域５０１は、図４に示した特徴点４０１〜特徴点４０５を含む領域である。

次に、パターン生成部３１５は、目、鼻、及び口が写っている部分領域において、垂直方向を所定方向として用い、輝度値を画素値として用いて、画素値パターン３３４を求める。この場合、垂直方向における各画素の位置ｎにおいて、水平方向に並んでいるすべての画素の輝度値の総和Ｌ（ｎ）が計算され、各画素の位置ｎとＬ（ｎ）との関係を示す明暗パターンが、垂直方向における画素値パターン３３４として求められる。

図６は、垂直方向における明暗パターンの例を示している。横軸はｎ軸を表し、縦軸はＬ（ｎ）を表す。図６（ａ）は、すべての特徴点が正しく検出された場合に部分領域から得られる明暗パターンの例を示している。

人物の顔は、目、鼻孔、及び上下の唇の間の位置で周囲よりも暗くなり、鼻の頂点及び上下の唇の位置で明るくなる。このため、すべての特徴点が正しく検出された場合、図６（ａ）に示すように、Ｌ（ｎ）は３個の極小値を持つ。極小値６０１は左右の目の位置を示し、極小値６０２は鼻孔の位置を示し、極小値６０３は上下の唇の間の位置を示している。

一方、図６（ｂ）は、誤検出された特徴点が存在する場合に部分領域から得られる明暗パターンの例を示している。誤検出された特徴点が存在する場合、左右の目の高さ等に水平方向のずれが生じるため、図６（ｂ）に示すように、４個以上の極小値を持つ明暗パターンが得られ、各部位の位置と極小値の位置とが一致しない。

そこで、パターン生成部３１５は、画素値パターン３３４の周波数特性における３次高調波成分を、特性値３３５として計算する。例えば、画素値パターン３３４の周波数特性としては、Ｌ（ｎ）を離散フーリエ変換により変換したパワースペクトルを用いることができ、特性値３３５としてはパワースペクトルにおける３次高調波成分Ｓ３を用いることができる。

図６（ａ）の明暗パターンは、３個の極小値を持つ曲線であるため、Ｓ３が大きくなるが、図６（ｂ）の明暗パターンは、多数の極小値を持つ曲線であるため、Ｓ３が小さくなる。したがって、Ｌ（ｎ）のパワースペクトルにおけるＳ３を特性値３３５として用いることで、特徴点が正しく検出されたか否かを判別することができる。

パターン生成部３１５は、目が写っている部分領域において、水平方向を所定方向として用い、輝度値を画素値として用いて、画素値パターン３３４を求めることもできる。

図７は、目が写っている部分領域の例を示している。図７の部分領域７０１は、図４に示した特徴点４０１及び特徴点４０２を含んでおり、特徴点４０３〜特徴点４０５を含んでいない。

この場合、水平方向における各画素の位置ｍにおいて、垂直方向に並んでいるすべての画素の輝度値の総和Ｈ（ｍ）が計算され、各画素の位置ｍとＨ（ｍ）との関係を示す明暗パターンが、水平方向における画素値パターン３３４として求められる。

図８は、水平方向における明暗パターンの例を示している。横軸はｍ軸を表し、縦軸はＨ（ｍ）を表す。図８（ａ）は、左右の目を開いた状態の部分領域から得られる明暗パターンの例を示している。

目を開いた状態では、瞳の位置の輝度値が周囲の輝度値よりも小さくなるため、図８（ａ）に示すように、Ｈ（ｍ）は２個の極小値を持つ。極小値８０１は右の瞳の位置を示し、極小値８０２は左の瞳の位置を示している。

一方、図８（ｂ）は、左右の目がまばたきしている状態の部分領域から得られる明暗パターンの例を示している。まばたきしている状態では、瞳にまぶたが重なって、瞳の位置の輝度値が周囲の皮膚の色に近い輝度値になるため、図８（ｂ）に示すように、極小値の位置が曖昧になる。

そこで、パターン生成部３１５は、画素値パターン３３４の周波数特性における２次高調波成分を、特性値３３５として計算する。例えば、画素値パターン３３４の周波数特性としては、Ｈ（ｍ）を離散フーリエ変換により変換したパワースペクトルを用いることができ、特性値３３５としてはパワースペクトルにおける２次高調波成分Ｓ２を用いることができる。

図８（ａ）の明暗パターンは、２個の極小値を持つ曲線であるため、Ｓ２が大きくなるが、図８（ｂ）の明暗パターンは、極小値が不明瞭な曲線であるため、Ｓ２が小さくなる。したがって、Ｈ（ｍ）のパワースペクトルにおけるＳ２を特性値３３５として用いることで、まばたきの有無を判別することができる。

さらに、パターン生成部３１５は、垂直方向における明暗パターンと水平方向における明暗パターンの両方を求めて、それぞれの明暗パターンの特性値を計算してもよい。この場合、Ｌ（ｎ）のパワースペクトルにおけるＳ３と、Ｈ（ｍ）のパワースペクトルにおけるＳ２とを、特性値３３５として用いることができる。

パターン生成部３１５は、画素値パターン３３４の周波数特性以外の情報を用いて、特性値３３５を計算することも可能である。例えば、パターン生成部３１５は、事前に、不特定の複数の人物の正面顔を撮影した画像から、Ｌ（ｎ）の平均Ｌｍｅａｎ（ｎ）を計算しておき、画像３３１から求めたＬ（ｎ）とＬｍｅａｎ（ｎ）の誤差の総和Ｅｓｕｍを、次式により計算する。

式（４）のＨｐは、垂直方向における明暗パターンを求める際に用いられる部分領域の高さを表す。Ｅｓｕｍは、特徴点が正しく検出された場合に小さくなり、誤検出された特徴点が存在する場合に大きくなる。したがって、Ｅｓｕｍを特性値３３５として用いることで、特徴点が正しく検出されたか否かを判別することができる。

なお、パターン生成部３１５は、各画素の輝度値の代わりに、各画素のＲＧＢ、色差信号等を用いて、特性値３３５を計算してもよい。

選択部３１６は、Ｎ枚の画像３３１それぞれの特性値３３５から、特性値３３５の統計値を計算し、Ｎ個の特性値３３５を正面度３３３が大きい順に参照する。特性値３３５の統計値としては、平均値、中央値、最頻値等が用いられる。

そして、選択部３１６は、参照された特性値３３５と統計値との差分が閾値よりも大きい場合、次の画像３３１の特性値３３５を参照し、差分が閾値よりも小さい場合、参照された特性値３３５を有する画像３３１を処理対象画像として選択する操作を繰り返す。これにより、Ｍ枚の画像３３１が処理対象画像として選択される。

Ｎ個の特性値３３５を正面度３３３が大きい順に参照することで、顔が正面に近い方向を向いている画像３３１から優先的に処理対象画像を選択することができ、処理対象画像の選択処理が効率化される。

図９は、図３の画像処理装置３０１が行う画像処理の具体例を示すフローチャートである。まず、画像取得部３１２は、撮像装置３０２が出力するＮ枚の画像３３１を取得する（ステップ９０１）。そして、特徴点抽出部３１３は、各画像３３１から、顔の部位の位置を示す特徴点を抽出し、各特徴点の位置を示す特徴点情報３３２を生成する（ステップ９０２）。

次に、正面度計算部３１４は、特徴点情報３３２が示す特徴点を用いて、各画像３３１の正面度３３３を計算する（ステップ９０３）。例えば、正面度計算部３１４は、ｊ番目（ｊ＝１〜Ｎ）の画像３３１の正面度３３３として、顔の左右の方向の正面度ＱＳと上下の方向の正面度ＱＨの平均値を表すＱ（ｊ）を計算する。

次に、パターン生成部３１５は、特徴点情報３３２が示す特徴点を用いて、各画像３３１の画素値パターン３３４を求め（ステップ９０４）、画素値パターン３３４を用いて特性値３３５を計算する（ステップ９０５）。

以下では、ｊ番目の画像３３１の特性値３３５をＣ（ｊ）と記載する。例えば、Ｃ（ｊ）としては、Ｌ（ｎ）のパワースペクトルにおける３次高調波成分を表すＳ３（ｊ）、Ｈ（ｍ）のパワースペクトルにおける２次高調波成分を表すＳ２（ｊ）、又はＬ（ｎ）とＬｍｅａｎ（ｎ）の誤差の総和を表すＥｓｕｍ（ｊ）が用いられる。

次に、選択部３１６は、Ｃ（１）〜Ｃ（Ｎ）の平均値ＭＣ及び標準偏差σＣを計算し、画像３３１及びＣ（ｊ）をＱ（ｊ）が大きい順にソートする（ステップ９０６）。

次に、選択部３１６は、各画像３３１を示す制御変数ｉに１を設定し（ステップ９０７）、ソート後の順序におけるｉ番目の画像３３１のＣ（ｉ）を参照する（ステップ９０８）。そして、選択部３１６は、Ｃ（ｉ）が所定の条件を満たすか否かをチェックする（ステップ９０９）。例えば、所定の条件は、次式のＤ（ｉ）が閾値よりも小さいことを示す。

Ｄ（ｉ）＝｜Ｃ（ｉ）−ＭＣ｜／σＣ （５）

式（５）のＤ（ｉ）は、Ｃ（ｉ）とＭＣの差分を表している。そこで、選択部３１６は、Ｄ（ｉ）と閾値とを比較する。

Ｄ（ｉ）が閾値以上である場合（ステップ９０９，ＮＯ）、選択部３１６は、ｉを１だけインクリメントして（ステップ９１３）、ｉ番目の画像３３１を選択することなく、ステップ９０８以降の処理を繰り返す。

一方、Ｄ（ｉ）が閾値よりも小さい場合（ステップ９０９，ＹＥＳ）、選択部３１６は、ｉ番目の画像３３１を処理対象画像として選択し（ステップ９１０）、Ｍ枚の画像３３１が処理対象画像として選択されたか否かをチェックする（ステップ９１１）。

Ｍ枚の画像３３１が選択されていない場合（ステップ９１１，ＮＯ）、選択部３１６は、ステップ９１３以降の処理を繰り返す。

そして、Ｍ枚の画像３３１が選択された場合（ステップ９１１，ＹＥＳ）、特徴抽出部３１７は、各処理対象画像から顔の特徴情報を抽出し、登録部３１８又は認証部３１９は、生体情報処理を行う（ステップ９１２）。生体情報処理が登録処理である場合、登録部３１８は、抽出された特徴情報を、登録対象者の登録生体情報３３６として記憶部３１１に登録する。生体情報処理が認証処理である場合、認証部３１９は、抽出された特徴情報を登録生体情報３３６と照合することで、認証対象者に対する認証を行う。

例えば、Ｃ（ｉ）としてＳ３（ｉ）を用いた場合、特徴点の誤検出が発生するとＳ３（ｉ）が小さくなるため、Ｄ（ｉ）が大きくなる。したがって、そのような画像３３１が処理対象画像から除外され、特徴点の誤検出に起因する認証精度の低下を防止することができる。

一方、Ｃ（ｉ）としてＳ２（ｉ）を用いた場合、まばたきしている状態ではＳ２（ｉ）が小さくなるため、Ｄ（ｉ）が大きくなる。したがって、そのような画像３３１が処理対象画像から除外され、まばたきに起因する認証精度の低下を防止することができる。

また、Ｃ（ｉ）としてＥｓｕｍ（ｉ）を用いた場合、特徴点の誤検出が発生するとＥｓｕｍ（ｉ）が大きくなるため、Ｄ（ｉ）が大きくなる。したがって、そのような画像３３１が処理対象画像から除外され、特徴点の誤検出に起因する認証精度の低下を防止することができる。

さらに、同一人物のＮ枚の画像３３１の特性値３３５の平均値ＭＣ及び標準偏差σＣに基づいてＤ（ｉ）を求めることで、顔の部位の形状、部位の位置関係等の個人差に依存することなく、適切な画像３３１を選択することが可能になる。

ところで、撮像装置３０２が人物の顔の映像を撮影して画像処理装置３０１へ出力する場合、映像に含まれる複数のフレームは同一シーケンスで撮影されるため、時系列に隣り合う２枚のフレームの間では、画像の変化が小さいことが多い。しかし、複数の処理対象画像を選択する場合、選択された処理対象画像にばらつきがある方が、より多くの姿勢変動に対応することができる。

この場合、ステップ９０１において、画像取得部３１２は、撮像装置３０２が出力する各画像の撮影時刻を撮影時刻順に参照する。そして、画像取得部３１２は、参照された撮影時刻と直前に取得された画像の撮影時刻との差分が所定時間よりも短い場合、次の画像の撮影時刻を参照し、差分が所定時間よりも長い場合、参照された撮影時刻を有する画像を取得する操作を繰り返す。これにより、所定時間以上の時間間隔で、Ｎ枚の画像３３１が取得される。

図１０は、ステップ９０１における画像取得処理の例を示すフローチャートである。まず、画像取得部３１２は、撮像装置３０２から画像を受信し（ステップ１００１）、受信した画像から顔を検出する顔検出処理を行って（ステップ１００２）、顔が検出されたか否かを判定する（ステップ１００３）。顔が検出されない場合（ステップ１００３，ＮＯ）、画像取得部３１２は、受信した画像を破棄して、ステップ１００１以降の処理を繰り返す。

一方、顔が検出された場合（ステップ１００３，ＹＥＳ）、画像取得部３１２は、受信した画像の撮影時刻と直前に取得された画像の撮影時刻との差分を、所定時間Ｔと比較する（ステップ１００４）。差分がＴよりも短い場合（ステップ１００４，ＮＯ）、画像取得部３１２は、ステップ１００１以降の処理を繰り返す。

一方、差分がＴ以上である場合（ステップ１００４，ＹＥＳ）、画像取得部３１２は、受信した画像を取得し、画像３３１として記憶部３１１に格納する（ステップ１００５）。このとき、受信した画像の撮影時刻も、画像３３１とともに記憶部３１１に格納される。

次に、画像取得部３１２は、Ｎ枚の画像３３１が取得されたか否かをチェックする（ステップ１１０６）。Ｎ枚の画像３３１が取得されていない場合（ステップ１１０６，ＮＯ）、画像取得部３１２は、ステップ１００１以降の処理を繰り返す。そして、Ｎ枚の画像３３１が取得された場合（ステップ１１０６，ＹＥＳ）、画像取得部３１２は、処理を終了する。

図１０の画像取得処理によれば、撮像装置３０２が出力する映像から、所定時間以上の時間間隔で、画像の変化が大きなＮ枚の画像３３１を取得することができる。

画像処理装置３０１は、複数種類の画素値パターン３３４を併用して処理対象画像を選択することも可能である。例えば、複数種類の画素値パターン３３４としては、垂直方向及び水平方向における２種類の画素値パターン３３４を用いることができる。

図１１は、２種類の画素値パターン３３４を用いた画像処理の具体例を示すフローチャートである。図１１のステップ１１０１〜ステップ１１０３及びステップ１１１３〜ステップ１１１６の処理は、図９のステップ９０１〜ステップ９０３及びステップ９１０〜ステップ９１３の処理と同様である。

各画像３３１の正面度３３３が計算された後、パターン生成部３１５は、特徴点情報３３２が示す特徴点を用いて、各画像３３１の垂直方向における画素値パターンＰ１を求める（ステップ１１０４）。そして、パターン生成部３１５は、画素値パターンＰ１を用いて、Ｌ（ｎ）のパワースペクトルにおける３次高調波成分を表すＳ３（ｊ）を計算する（ステップ１１０５）。

次に、パターン生成部３１５は、特徴点情報３３２が示す特徴点を用いて、各画像３３１の水平方向における画素値パターンＰ２を求める（ステップ１１０６）。そして、パターン生成部３１５は、画素値パターンＰ２を用いて、Ｈ（ｍ）のパワースペクトルにおける２次高調波成分を表すＳ２（ｊ）を計算する（ステップ１１０７）。

次に、選択部３１６は、Ｓ３（１）〜Ｓ３（Ｎ）の平均値及び標準偏差と、Ｓ２（１）〜Ｓ２（Ｎ）の平均値及び標準偏差とを計算し、画像３３１、Ｓ３（ｊ）、及びＳ２（ｊ）をＱ（ｊ）が大きい順にソートする（ステップ１１０８）。

次に、選択部３１６は、各画像３３１を示す制御変数ｉに１を設定し（ステップ１１０９）、ソート後の順序におけるｉ番目の画像３３１のＳ３（ｉ）及びＳ２（ｉ）を参照する（ステップ１１１０）。そして、選択部３１６は、Ｓ３（ｉ）が所定の条件を満たすか否かをチェックする（ステップ１１１１）。ステップ１１１１の条件は、図９のステップ９０９の条件と同様である。

Ｓ３（ｉ）が所定の条件を満たさない場合（ステップ１１１１，ＮＯ）、選択部３１６は、ステップ１１１６以降の処理を繰り返す。一方、Ｓ３（ｉ）が所定の条件を満たす場合（ステップ１１１１，ＹＥＳ）、Ｓ２（ｉ）が所定の条件を満たすか否かをチェックする（ステップ１１１２）。ステップ１１１２の条件は、図９のステップ９０９の条件と同様である。

Ｓ２（ｉ）が所定の条件を満たさない場合（ステップ１１１２，ＮＯ）、選択部３１６は、ステップ１１１６以降の処理を繰り返す。一方、Ｓ２（ｉ）が所定の条件を満たす場合（ステップ１１１２，ＹＥＳ）、選択部３１６は、ｉ番目の画像３３１を処理対象画像として選択し（ステップ１１１３）、ステップ１１１４以降の処理を行う。

図１１の画像処理によれば、特徴点の誤検出が発生した画像３３１と、まばたきしている状態の画像３３１とを、処理対象画像から除外することができる。したがって、１種類の画素値パターン３３４を用いた場合よりも認証精度が向上する。

図１の画像処理装置１０１及び図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の画像処理装置３０１において、Ｎ枚の画像３３１が事前に記憶部３１１に格納されている場合は、画像取得部３１２を省略することができる。

正面度３３３及び特性値３３５の計算に特徴点を用いない場合は、特徴点抽出部３１３を省略することができる。処理対象画像を選択する際に正面度３３３を用いない場合は、正面度計算部３１４を省略することができる。

生体情報処理が外部の装置によって行われる場合は、特徴抽出部３１７、登録部３１８、及び認証部３１９を省略することができる。画像処理装置３０１は、処理対象画像を用いて生体情報処理を行う代わりに、処理対象画像を用いて別の情報処理を行ってもよい。

図２及び図９〜図１１のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図９及び図１１の画像処理において、Ｎ枚の画像３３１が事前に記憶部３１１に格納されている場合は、ステップ９０１及びステップ１１０１の処理を省略することができる。

正面度３３３及び特性値３３５の計算に特徴点を用いない場合は、ステップ９０２及びステップ１１０２の処理を省略することができる。処理対象画像を選択する際に正面度３３３を用いない場合は、ステップ９０３、ステップ９０６、ステップ１１０３、及びステップ１１０８の処理を省略することができる。

生体情報処理が外部の装置によって行われる場合は、ステップ９１２及びステップ１１１５の処理を省略することができる。画像処理装置３０１は、ステップ９１２及びステップ１１１５において、生体情報処理の代わりに別の情報処理を行ってもよい。画像処理装置３０１は、ステップ９０９、ステップ１１１１、及びステップ１１１２において、Ｄ（ｉ）が閾値よりも小さいことを示す条件以外の別の条件を用いてもよい。

図１０の画像取得処理において、撮像装置３０２から出力される画像に顔が写っていることが確定している場合は、ステップ１００２及びステップ１００３の処理を省略することができる。

図４の画像及び特徴点、図５及び図７の部分領域、図６及び図８の明暗パターンは一例に過ぎず、画像、特徴点、部分領域、及び明暗パターンは、被写体である人物に応じて変化する。式（１）〜式（５）は一例に過ぎず、画像処理装置３０１は、別の計算式を用いて画像処理を行ってもよい。

図１２は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１２の情報処理装置は、ＣＰＵ（Central Processing Unit）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を含む。これらの構成要素はハードウェアであり、バス１２０８により互いに接続されている。図３の撮像装置３０２は、バス１２０８に接続されていてもよい。

メモリ１２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１２０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図１のパターン生成部１１２及び選択部１１３として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図３の画像取得部３１２、特徴点抽出部３１３、正面度計算部３１４、パターン生成部３１５、選択部３１６、特徴抽出部３１７、登録部３１８、及び認証部３１９としても動作する。

入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、認証の成功又は失敗を示す認証結果であってもよい。

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１２０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受信し、それらをメモリ１２０２にロードして使用することができる。

なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。可搬型記録媒体１２０９又は通信ネットワークを使用しない場合は、媒体駆動装置１２０６又はネットワーク接続装置１２０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
人物の顔を撮影した複数の画像を記憶する記憶部と、
前記複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求めるパターン生成部と、
前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する選択部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記パターン生成部は、前記所定方向における各画素の位置において、前記所定方向に対して垂直な方向に並んでいる複数の画素の画素値から画素値の統計値を計算し、前記所定方向における各画素の位置と統計値との関係を示すパターンを、前記画素値パターンとして求め、前記画素値パターンを用いて特性値を計算し、前記選択部は、前記複数の画像それぞれの特性値に基づいて、前記処理対象画像を選択することを特徴とする付記１記載の画像処理装置。
（付記３）
前記パターン生成部は、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算することを特徴とする付記２記載の画像処理装置。
（付記４）
前記パターン生成部は、前記顔の部位として目が写っている領域において、前記顔の左右の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における２次高調波成分を、前記特性値として計算することを特徴とする付記２記載の画像処理装置。
（付記５）
前記パターン生成部は、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記顔の上下の方向における画素値パターンを求め、前記顔の上下の方向における画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算するとともに、前記顔の部位として目が写っている領域において、前記顔の左右の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記顔の左右の方向における画素値パターンを求め、前記顔の左右の方向における画素値パターンの周波数特性における２次高調波成分を、前記特性値として計算し、前記選択部は、前記複数の画像それぞれの３次高調波成分と前記複数の画像それぞれの２次高調波成分とに基づいて、前記処理対象画像を選択することを特徴とする付記２記載の画像処理装置。
（付記６）
前記複数の画像それぞれに写っている前記顔が正面を向いている度合いを示す正面度を計算する正面度計算部をさらに備え、
前記選択部は、前記複数の画像それぞれの特性値と前記複数の画像それぞれの正面度とに基づいて、前記処理対象画像を選択することを特徴とする付記２乃至５のいずれか１項に記載の画像処理装置。
（付記７）
前記選択部は、前記複数の画像それぞれの特性値から特性値の統計値を計算し、前記複数の画像の特性値を前記正面度が大きい順に参照し、参照された特性値と前記特性値の統計値との差分が閾値よりも大きい場合、次の画像の特性値を参照し、前記差分が前記閾値よりも小さい場合、参照された特性値を有する画像を前記処理対象画像として選択する操作を繰り返すことで、所定数の画像を前記処理対象画像として選択することを特徴とする付記６記載の画像処理装置。
（付記８）
前記顔を撮影した画像の撮影時刻を撮影時刻順に参照し、参照された撮影時刻と直前に取得された画像の撮影時刻との差分が所定時間よりも短い場合、次の画像の撮影時刻を参照し、前記参照された撮影時刻と直前に取得された画像の撮影時刻との差分が前記所定時間よりも長い場合、参照された撮影時刻を有する画像を取得する操作を繰り返すことで、前記複数の画像を取得する画像取得部をさらに備えることを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
（付記９）
前記処理対象画像は、登録対象又は認証対象の画像であることを特徴とする付記１乃至８のいずれか１項に記載の画像処理装置。
（付記１０）
人物の顔を撮影した複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求め、
前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記１１）
前記コンピュータは、前記所定方向における各画素の位置において、前記所定方向に対して垂直な方向に並んでいる複数の画素の画素値から画素値の統計値を計算し、前記所定方向における各画素の位置と統計値との関係を示すパターンを、前記画素値パターンとして求め、前記画素値パターンを用いて特性値を計算し、前記複数の画像それぞれの特性値に基づいて、前記処理対象画像を選択することを特徴とする付記１０記載の画像処理プログラム。
（付記１２）
前記コンピュータは、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算することを特徴とする付記１１記載の画像処理プログラム。
（付記１３）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
人物の顔を撮影した複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求め、
前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する、
ことを特徴とする画像処理方法。
（付記１４）
前記コンピュータは、前記所定方向における各画素の位置において、前記所定方向に対して垂直な方向に並んでいる複数の画素の画素値から画素値の統計値を計算し、前記所定方向における各画素の位置と統計値との関係を示すパターンを、前記画素値パターンとして求め、前記画素値パターンを用いて特性値を計算し、前記複数の画像それぞれの特性値に基づいて、前記処理対象画像を選択することを特徴とする付記１３記載の画像処理方法。
（付記１５）
前記コンピュータは、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算することを特徴とする付記１４記載の画像処理方法。

１０１、３０１ 画像処理装置
１１１、３１１ 記憶部
１１２、３１５ パターン生成部
１１３、３１６ 選択部
３０２ 撮像装置
３１２ 画像取得部
３１３ 特徴点抽出部
３１４ 正面度計算部
３１７ 特徴抽出部
３１８ 登録部
３１９ 認証部
３３１ 画像
３３２ 特徴点情報
３３３ 正面度
３３４ 画素値パターン
３３５ 特性値
３３６ 登録生体情報
４０１〜４０５ 特徴点
５０１、７０１ 部分領域
６０１〜６０３、８０１、８０２ 極小値
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７ ネットワーク接続装置
１２０８ バス
１２０９ 可搬型記録媒体

Claims (10)

1. 人物の顔を撮影した複数の画像を記憶する記憶部と、
   前記複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求めるパターン生成部と、
   前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する選択部と、
   を備えることを特徴とする画像処理装置。
2. 前記パターン生成部は、前記所定方向における各画素の位置において、前記所定方向に対して垂直な方向に並んでいる複数の画素の画素値から画素値の統計値を計算し、前記所定方向における各画素の位置と統計値との関係を示すパターンを、前記画素値パターンとして求め、前記画素値パターンを用いて特性値を計算し、前記選択部は、前記複数の画像それぞれの特性値に基づいて、前記処理対象画像を選択することを特徴とする請求項１記載の画像処理装置。
3. 前記パターン生成部は、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算することを特徴とする請求項２記載の画像処理装置。
4. 前記パターン生成部は、前記顔の部位として目が写っている領域において、前記顔の左右の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記画素値パターンを求め、前記画素値パターンの周波数特性における２次高調波成分を、前記特性値として計算することを特徴とする請求項２記載の画像処理装置。
5. 前記パターン生成部は、前記顔の部位として目、鼻、及び口が写っている領域において、前記顔の上下の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記顔の上下の方向における画素値パターンを求め、前記顔の上下の方向における画素値パターンの周波数特性における３次高調波成分を、前記特性値として計算するとともに、前記顔の部位として目が写っている領域において、前記顔の左右の方向を前記所定方向として用い、輝度値を前記画素値として用いて、前記顔の左右の方向における画素値パターンを求め、前記顔の左右の方向における画素値パターンの周波数特性における２次高調波成分を、前記特性値として計算し、前記選択部は、前記複数の画像それぞれの３次高調波成分と前記複数の画像それぞれの２次高調波成分とに基づいて、前記処理対象画像を選択することを特徴とする請求項２記載の画像処理装置。
6. 前記複数の画像それぞれに写っている前記顔が正面を向いている度合いを示す正面度を計算する正面度計算部をさらに備え、
   前記選択部は、前記複数の画像それぞれの特性値と前記複数の画像それぞれの正面度とに基づいて、前記処理対象画像を選択することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記選択部は、前記複数の画像それぞれの特性値から特性値の統計値を計算し、前記複数の画像の特性値を前記正面度が大きい順に参照し、参照された特性値と前記特性値の統計値との差分が閾値よりも大きい場合、次の画像の特性値を参照し、前記差分が前記閾値よりも小さい場合、参照された特性値を有する画像を前記処理対象画像として選択する操作を繰り返すことで、所定数の画像を前記処理対象画像として選択することを特徴とする請求項６記載の画像処理装置。
8. 前記顔を撮影した画像の撮影時刻を撮影時刻順に参照し、参照された撮影時刻と直前に取得された画像の撮影時刻との差分が所定時間よりも短い場合、次の画像の撮影時刻を参照し、前記参照された撮影時刻と直前に取得された画像の撮影時刻との差分が前記所定時間よりも長い場合、参照された撮影時刻を有する画像を取得する操作を繰り返すことで、前記複数の画像を取得する画像取得部をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 人物の顔を撮影した複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求め、
   前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する、
   処理をコンピュータに実行させるための画像処理プログラム。
10. コンピュータによって実行される画像処理方法であって、
    前記コンピュータが、
    人物の顔を撮影した複数の画像それぞれの前記顔の部位が写っている領域において、所定方向における位置と画素値との関係を示す画素値パターンを求め、
    前記複数の画像それぞれの画素値パターンに基づいて、前記複数の画像の中から処理対象画像を選択する、
    ことを特徴とする画像処理方法。

Images