JP2004199673A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】 顔領域の候補の情報を画像に、その画像を後で処理するために保存する。
【解決手段】 画像内で顔領域の１つの候補を識別し、その顔領域の候補が顔を表す確率を計算し、その確率を添付情報として画像に保存する。また、画像内で顔領域の１つの候補を識別し、その顔領域の候補が顔を表す確率を計算し、顔領域の候補が顔を表すかどうかをその確率としきい値とを比較することによって判断し、その結果を添付情報として画像に保存する。
【選択図】 図１

Description

本発明は画像処理に関し、詳細には、顔領域の候補を含む画像を処理するための画像処理方法及び装置に関する。

顔や他の識別された関心のある対象など、画像における関心領域を検出するためのいくつかの技術が知られている。顔検出は、特に関心の高い分野であり、これは顔認識が画像処理のためだけでなく、識別及びセキュリティの目的のためにも、かつヒューマン・コンピュータ・インターフェースの目的のためにも重要性を有するからである。ヒューマン・コンピュータ・インターフェースは顔の場所を識別するだけでなく、顔が存在している場合、特定の顔も識別することができ、顔の表情及びジェスチャーを理解することができる。

自動顔検出における多数の研究（例えば、非特許文献１、非特許文献２参照。）が最近報告されている。
中国特許出願第００１２７０６７．２号 「Face Detection and Rotations Estimation using Color Information」, the 5th IEEE International Workshop on Robot and Human Communication, 1996, pp 341-346 「Face Detection from Color Images Using a Fuzzy Pattern Matching Method」, IEEE Transaction on Pattern Analysis and Machine Interlligence vol. 21, no. 6, 1999年6月

顔を検出する全ての従来の方法は、画像を処理するために使用された異なるアルゴリズムに応じて、それ自体の利点並びに欠点を有する。いくつかの方法は正確であるが、複雑であり、時間のかかるものである。

更に、画像がポートレートであるかどうかを検出することも大変重要である。いずれかの顔を含む画像は、ポートレートと呼ばれる。近年、現在のＩＴデバイスの急速な広がりに関連して、ポートレートを正確に判断するための要求が増しつつある。例えば、画像をポートレートとして判断することができる場合、プリンタはその画像を印刷するとき、ポートレートに合わせて最適化されたそのパラメータを調整することができる。次いで、画像の印刷品質を大幅に改善することができる。このため、画像内でポートレートを容易に自動的に検出することができるデバイス又はプロセスについての強い要望が出ている。

重要なことには、顔を検出する従来の方法のいずれもが検出結果を画像に保存せず、このため従来の方法は、顔領域について特定のプロセスが必要とされる場合に画像を更に処理するために好都合ではない。

従って当技術分野では、画像内で顔領域を識別するか、或いは画像がポートレートであるかどうかを判断し、画像を更に処理するために、識別プロセスの結果又は判断プロセスの結果を保存することができる、方法及び装置を開発することが必要とされている。

本発明の第１の目的は、顔領域の候補の情報を画像に、その画像を後で処理するために保存する、画像を処理する方法及び装置を提供することである。

本発明の第２の目的は、顔領域の候補の情報が保存されている画像を処理する方法及び装置を提供することである。

本発明の第３の目的は、ポートレートの情報を画像に、その画像を後で処理するために保存する、画像を処理する方法及び装置を提供することである。

本発明の第４の目的は、ポートレートの情報が保存されている画像を処理する方法及び装置を提供することである。

本発明は、画像を処理する画像処理方法であって、前記画像内で顔領域の１つの候補を識別するステップと、前記顔領域の候補が顔を表す確率を計算するステップと、前記確率を添付情報として前記画像に保存するステップとを有することを特徴とする。

また、本発明は、画像を処理する画像処理方法であって、前記画像内で顔領域の１つの候補を識別するステップと、前記顔領域の候補が顔を表す確率を計算するステップと、前記顔領域の候補が顔を表すかどうかを、前記確率をしきい値と比較することによって判断するステップと、前記判断するステップの結果を添付情報として前記画像に保存するステップとを有することを特徴とする。

また、本発明は、画像を処理する画像処理方法であって、少なくとも１つの確率を得るステップであって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表すステップと、前記画像についてのポートレート確率を前記少なくとも１つの確率に基づいて計算するステップと、前記ポートレート確率を添付情報として前記画像に保存するステップとを有することを特徴とする。

また、本発明は、画像を処理する画像処理方法であって、少なくとも１つの確率を得るステップであって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表すステップと、前記画像についてのポートレート確率を前記少なくとも１つの確率に基づいて計算するステップと、前記画像がポートレートであるかどうかを、前記ポートレート確率をしきい値と比較することによって判断するステップと、前記判断するステップの結果を添付情報として前記画像に保存するステップとを有することを特徴とする。

本発明によれば、顔領域の候補を識別した結果又はポートレート確率を計算した結果が画像に保存されるようになり、その画像上で行われる更なる処理が容易となる。

また、従来の画像処理装置をトレーニングして、顔を検出する能力を有するようにすることができる。本発明による顔を検出する方法は正確かつ高速である。

加えて、本発明の方法を、顔を検出する従来の方法で使用された異なるアルゴリズムと容易に組み合わせて、異なる状況において適合するようにすることができる。

本発明によれば、画像がポートレートであるかどうかを判断することができ、この判断の結果が画像に保存される。この画像がポートレートとして判断されるとき、プリンタは、ポートレートに合わせて最適化されたそのパラメータを調節して、画像の印刷品質が改善されるようにすることができる。更に、ポートレートに合わせて最適化されたいくつかの画像処理方法を表示デバイスにおいて画像上で実行して、画像の表示品質を改善することができる。

本発明の実施形態を詳細に説明する。以下の説明では、画像内で顔領域の１つの候補を識別する方法について、２０００年９月１５日に出願され、２００２年４月１０日に公開された、本出願と同じ出願人の中国特許出願第００１２７０６７．２号を参照することができる。この出願は参照により本明細書に組み込まれている。しかし、中国特許出願第００１２７０６７．２号で開示された、顔領域の１つの候補を識別する方法は、本発明の制限を構成しない。画像内で顔領域の候補を識別するいかなる従来の方法も、本発明において利用することができる。

図１は、本発明の一実施形態における画像処理装置をトレーニングする方法の流れ図である。ステップ１０１でこのプロセスが開始する。ステップ１０２で、複数の画像領域が入力される。これらの画像領域は、単一の画像又は複数の画像から得ることができる。これらの画像領域のいくつかは、本物の顔を表す。予め、どの画像領域が本物の顔を表すかが知られている。これらの画像領域は「トレーニング・サンプル」と呼ばれる。図１では、トレーニング・サンプルの数はＮであり、Ｎは１より大きい整数である。

ステップ１０３で、ステップ１０２で入力された各画像領域について、所定のアルゴリズムがその上に適用されて、Ｍ次元ベクトルが生成されるようになり、Ｍは１以上の整数である。Ｍが１の値を取る場合、所定のアルゴリズムは、各入力画像領域についてスカラ値を生成する。

上記のように、複数のＭ次元ベクトルが生成される。生成されるＭ次元ベクトルの数はＮと同じである。予め、どのトレーニング・サンプル（即ち、画像領域）が本物の顔を表すかが知られているので、どのＭ次元ベクトルが本物の顔に対応するかもわかるようになる。

本発明は、アルゴリズムが各入力画像領域のＭ次元ベクトルを生成する限り、所定のアルゴリズム内の詳細なプロセスに関係しない。従って、所定のアルゴリズムを、画像のためのデータを処理するいかなる従来の方法にすることもできる。所定のアルゴリズムによって生成されたベクトルは、その上に所定のアルゴリズムが適用される画像領域のいくつかの特性を表す。これらのアルゴリズムの２つの実施例を、以下に図９を参照して挙げる（実施例１及び実施例２を参照）。

ステップ１０３の後、Ｎ個のＭ次元ベクトルが生成され、これらがＭ次元空間において分散される。

以下のステップ１０４から１０８は、Ｍ次元空間を複数の部分空間に分割する方法を構成し、部分空間の数は、

として示され、その中で同じ数のＭ次元ベクトルが分散される。各部分空間において分散されるＭ次元ベクトルの数は、

として示され、Ｋ１、Ｋ２、…、ＫＭは１より大きい整数である。
Ｍ次元空間を、

個の部分空間に分割するいくつかの方法があることに留意されたい。ステップ１０４から１０８は単に一実施例を示し、本発明の制限を構成しない。
ステップ１０４で、値「１」が変数ｉに割り当てられる。

ステップ１０５で、各部分空間において分散された全てのＭ次元ベクトルが、ｉ番目の軸と共に、整列されるべきＭ次元ベクトルのｉ番目の成分の値により整列される。

ステップ１０６で、各部分空間におけるｉ番目の軸がＫｉ個の間隔に分割されてＭ次元空間がそれに応じて、

個の部分空間に分割され、各部分空間において分散されたＭ次元ベクトルの数が、

となるようにする。
ステップ１０７で、変数ｉが１だけ増す。

ステップ１０８で、変数ｉがＭより大きいかどうかが判断される。ステップ１０８の判断結果が否定である場合、このプロセスがステップ１０５に進み、そうでない場合はステップ１０９に進む。

ステップ１０９で、各部分空間についての確率が計算される。１つの部分空間内で、本物の顔に対応するＭ次元ベクトルの数が最初にカウントされる。次いで、その部分空間において分散されたＭ次元ベクトルの総数、即ち、

が、上記の本物の顔に対応するＭ次元ベクトルの数によって除算される。この除算の結果は、この部分空間の確率として取られる。部分空間の確率は、この部分空間に分散されたベクトルが本物の顔に対応する確率を意味する。
オプショナルのステップ１１０で、全ての部分空間についての位置及び確率が、例えば、画像処理装置内のメモリ又はストレージに保存される。

ステップ１１１で、トレーニング・プロセスは終了する。

図１の流れ図の理解を容易にするために、２つの実施例を以下に挙げる。

図９を参照し、これは１０００個のトレーニング・サンプル、即ち、画像領域Ａ１、Ａ２、Ａ３、…、Ａ１０００から構成される、トレーニング・シーケンスを示す。従って、図１のＮは１０００の値を取る。

図９で、予めどの画像領域が本物の顔を表すか、及び、どの画像領域が表さないかが知られている。例えば、画像領域Ａ１、Ａ５は本物の顔を表し、画像領域Ａ２、Ａ３、Ａ４、Ａ６は顔を表さない。

実施例１に適用される所定のアルゴリズムはスカラ値、即ち、Ｍ＝１であるＭ次元ベクトルを生成する。一例として、この例で使用される所定のアルゴリズムは皮膚色に属するエリアと全体の画像領域の比率を生成する。

例えば画像領域Ａ１を例として挙げる。画像領域Ａ１におけるピクセルの総数は１００００で、皮膚色に属するピクセルの数は８０００である。従って、皮膚色に属するエリアと全体の画像領域の比率は、８０００／１００００＝０．８である。

上の所定のアルゴリズムを画像領域Ａ１、Ａ２、…、Ａ１０００にそれぞれ適用すると、トレーニング・スカラ値と呼ばれる１０００個のスカラ値が得られ、これが以下のように示される。

０．８、０．２、０．３、０．５、０．７、０．１、…。

次に、実軸に沿って、上のトレーニング・スカラ値を昇順で整列させ、以下のシーケンスを得る。

…、０．１、…、０．２、…、０．３、…、０．５、…、０．７、…、０．８、…
次いで、実軸をＭ個の間隔に分割し、各間隔が同じ数のトレーニング・スカラ値を含むようにする。各間隔内のトレーニング・スカラ値の数は、Ｎ／Ｍに等しい。

Ｍ＝１０と仮定すると、実軸が１０個の間隔（即ち、１０個の部分空間で、その各々は１次元である）に分割され、例えば以下の通りである。

（−∞，０．１１］、
（０．１１，０．２］、
（０．２，０．３２］、
（０．３２，０．３９］、
（０．３９，０．４５］、
（０．４５，０．５６］、
（０．５６，０．６６］、
（０．６６，０．７３］、
（０．７３，０．８５］、
（０．８５，＋∞）。

これらの間隔は左側で開き、右側で閉じるか、或いは左側で閉じ、右側で開く。各間隔、即ち、１次元部分空間において、Ｎ／Ｍ＝１０００／１０＝１００個のトレーニング・スカラ値がある。

次に、各間隔についての確率を計算する。上のように分割された１０個の間隔について、１０個の間隔内の本物の顔に対応するトレーニング・スカラ値の数は、以下の通りである。

５、１１、１６、２８、３２、４４、５２、６１、７７、４３。

各間隔におけるトレーニング・スカラ値の総数は、Ｎ／Ｍ＝１０００／１０＝１００である。

次いで、１０個の各間隔についての確率はそれぞれ以下の通りである。

０．０５、０．１１、０．１６、０．２８、０．３２、０．４４、０．５２、０．６１、０．７７、０．４３。

最後のステップで、位置及び確率が１０個の間隔について保存される。

図９は、１０００個のトレーニング・サンプル、即ち、画像領域Ａ１、Ａ２、Ａ３、…、Ａ１０００を含む、トレーニング・シーケンスを示す。この例では、画像領域Ａ１、Ａ２、Ａ３、…、Ａ９００のみが使用される。従って、図１のＮは９００の値を取る。

上述のように、予め、どの画像領域が本物の顔を表すか、及び、どの画像領域が表さないかが知られている。例えば、画像領域Ａ１、Ａ５は本物の顔を表し、画像領域Ａ２、Ａ３、Ａ４、Ａ６は顔を表さない。

実施例２に適用される所定のアルゴリズムは２次元ベクトル、即ち、Ｍ＝２であるＭ次元ベクトルを生成する。一例として、この例で使用される所定のアルゴリズムは、グレー・レベル分布及び輪状の領域における基準分布の傾きの間の平均及び加重角度を生成する。このアルゴリズムの詳細な説明については、中国特許第０１１３２８０７．Ｘ号を参照されたい。

このアルゴリズムを画像領域Ａ１、Ａ２、…、Ａ９００にそれぞれ適用すると、トレーニング・ベクトルと呼ばれる以下の２次元ベクトルが得られる。

（０．２３，０．１４）、（−０．６，−０．７１）、（０．４４，０．５１）、（０．５２，０．７４）、（−０．１６，−０．２２）、（０．５８，０．４６）、…
次に、最初の軸、即ち実軸で、９００個の２次元ベクトルを、これらのベクトルの最初の成分の値の昇順で整列させ、以下のシーケンスを得る。

…、（−０．６，−０．７１）、…、（−０．１６，−０．２２）、…、（０．２３，０．１４）、…、（０．４４，０．５１）、…、（０．５２，０．７４）、…、（０．５８，０．４６）、…
次いで、実軸をＰ個の間隔に分割し、それに応じて２次元空間をＰ個の部分空間に分割し、Ｐ個の各部分空間がＮ／Ｐ個の２次元ベクトルを含むようにする。

Ｐ＝１０と仮定すると、１０個の間隔は以下のようになる。

（−∞，−０．６］、
（−０．６，−０．３３］、
（−０．３３，−０．１２］、
（−０．１２，０．０９］、
（０．０９，０．１５］、
（０．１５，０．２６］、
（０．２６，０．４４］、
（０．４４，０．５７］、
（０．５７，０．７３］、
（０．７３，＋∞）。

これらの全ての間隔は左側で開き、右側で閉じるか、或いは左側で閉じ、右側で開く。

各部分空間内で、Ｎ／Ｐ＝９０個のトレーニング・ベクトルがある。

次に、各部分空間内で、トレーニング・ベクトルを２番目の軸に沿って、トレーニング・ベクトルの２番目の成分の値の昇順で整列させる。

例えば、間隔（−０．１２，０．０９］に対応する部分空間では、以下のトレーニング・ベクトルが分散される。

…、（−０．１，０．２）、…、（−０．０５，０．０１）、…、（−０．０３，０．３）、…、（０．０１，−０．１）、…、（０．０３，−０．２２）、…、（−０．０６，−０．５）、…
これらのベクトルを２番目の成分の値の昇順で整列させると、結果として以下のシーケンスが生じる。

…、（−０．０６，−０．５）、…、（０．０３，−０．２２）、…、（０．０１，−０．１）、…、（−０．０５，０．０１）、…、（−０．１，０．２）、…、（−０．０３，０．３）、…
各部分空間内で、２番目の軸をＱ個の間隔に分割し、それに応じて各部分空間をＱ個の部分空間に分割して最終的に得られた各部分空間が同じ数の２次元ベクトルを含むようにし、その数はＮ／（Ｐ＊Ｑ）である。

Ｑ＝９と仮定すると、実軸を分割することによって得られた各部分空間について、２番目の軸が９個の間隔に分割される。

例えば、間隔（−０．１２，０．０９］に対応する部分空間を例として挙げる。結果として得られた９個の間隔は以下の通りである。

（−∞，−０．５］、
（−０．５，−０．３５］、
（−０．３５，−０．１８］、
（−０．１８，０．０４］、
（０．０４，０．１７］、
（０．１７，０．３１］、
（０．３１，０．５４］、
（０．５４，０．７７］、
（０．７７，＋∞）。

これらの全ての間隔は左側で開き、右側で閉じるか、或いは左側で閉じ、右側で開く。

各部分空間内で、Ｎ／（Ｐ＊Ｑ）＝１０個のトレーニング・ベクトルがある。

上記のように、２次元空間は最終的に以下の（Ｐ＊Ｑ）＝９０個の部分空間に分割される。

（（−∞，−０．６）、（−∞，−０．５３））、…、（（−∞，−０．６］、（０．７１，＋∞））、
（（−０．６，−０．３３）、（−∞，−０．５８））、…、（（−０．６，−０．３３］、（０．５６，＋∞））、
…
（（−０．１２，０．０９）、（−∞，−０．５））、…、（（−０．１２，０．０９］、（０．０４，０．１７））、…、（（−０．１２，０．０９）、（０．７７，＋∞））
…
（（０．７３，＋∞）、（−∞，−０．６５））、…、（（０．７３，＋∞）、（０．６１，＋∞））
各部分空間内で、Ｎ／（Ｐ＊Ｑ）＝１０個のトレーニング・ベクトルが分散される。

次のステップで、各部分空間についての確率を計算する。

本物の顔に対応するトレーニング・ベクトルの数がそれぞれ以下の通りであると仮定する。

１、…、２、０、…、３、…、３、…、８、…、２、…、０、…、１
各部分空間において分散されたトレーニング・ベクトルの総数は、Ｎ／（Ｐ＊Ｑ）＝９００／（１０＊９）＝１０であり、９０個の部分空間についての確率は以下の通りである。

０．１、…、０．２、０、…、０．３、…、０．３、…、０．８、…、０．２、…、０、…、０．１。

最後のステップで、位置及び確率が９０個の間隔について保存される。

図２は、本発明による画像を処理する方法であって、図１に示した方法でトレーニングされた画像処理装置が使用される方法の流れ図である。ステップ２０１でこのプロセスは開始する。ステップ２０２で画像が入力される。処理されるべき画像内で顔を検出するために、ステップ２０３で、この画像内で顔領域の１つの候補が識別される。ステップ２０４で、上記の顔領域の候補についてのデータが、図１に示した方法でトレーニングされた画像処理装置に入力される。

ステップ２０５で、画像処理装置内で、この画像処理装置のトレーニング・プロセスにおいて使用された所定のアルゴリズムが、この顔領域の候補のデータに適用され、Ｍ次元ベクトルが、この顔領域の候補に対して生成される。

ステップ２０６で、その中に上記のＭ次元ベクトルが位置する１つの部分空間が、

個の部分空間の中で識別される。これらの

個の部分空間は、画像処理装置のトレーニング・プロセス中に形成され、それらの情報（例えば、位置及び確率）が画像処理装置に保存されている。
ステップ２０７で、識別された部分空間についての確率の値が、顔領域の候補（ステップ２０３で識別されたもの）に割り当てられる。

このようにして、顔領域の各候補の確率を、図１に示した方法でトレーニングされた画像処理装置内で容易に得ることができる。また、

個の部分空間についての確率が画像処理装置に保存されているので、顔の検出において計算量を大幅に削減することができる。
ステップ２０４から２０７は単に本発明の一実施形態を構成し、本発明の制限にならないことを理解されたい。いかなる従来の方法も、ステップ２０３で識別されたような顔領域の候補が顔を表す確率をこれらの従来の方法によって計算することができる場合、採用することができる。

ステップ２０８で、顔領域の候補が顔を表すかどうかが、顔領域の候補についての確率をしきい値と比較することによって判断される。

ステップ２０９で、この判断の結果が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。ステップ２０９で、顔領域の候補の識別情報もまた追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ２１０で、顔領域の候補についての確率が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。ステップ２１０で、顔領域の候補の識別情報もまた追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ２０９及び２１０で、添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

判断結果又は確率が保存されている画像を幅広く使用することができる。図４及び５は、このような種類の画像のいくつかの応用例を例示する。

ステップ２１１で、上記のプロセスは終了する。

ところで図１０を参照すると、これはテストを行うための２つの画像領域Ｂ１、Ｂ２を示す。図１０のように、画像領域Ｂ１は顔を示すが、画像領域Ｂ２は示さない。以下の説明は、本発明の検出方法のすぐれた結果を実証する。

例えば、実施例１で使用されたアルゴリズムを例として挙げる。

画像領域Ｂ１が顔領域の１つの候補として識別される場合、スカラ値０．７５がアルゴリズムによって生成され、これは間隔（０．７３，０．８５］内に収まる。この間隔についての確率は０．７７であるので、画像領域Ｂ１についての確率も０．７７の値を取る。

画像領域Ｂ２が顔領域の１つの候補として識別される場合、スカラ値０．３１がアルゴリズムによって生成され、これは間隔（０．２，０．３２）内に収まる。この間隔の確率は０．１６であるので、画像領域Ｂ２の確率も０．１６の値を取る。

明らかに、実際に顔を表す顔領域の１つの候補についての確率が増大され（０．７５から０．７７へ）、実際に顔を表さない顔領域の１つの候補についての確率が減少される（０．３１から０．１６へ）。即ち、顔を検出する精度が、本発明において増大される。

また、テストを行うための２つの画像領域Ｂ１、Ｂ２を示す図１０を参照する。

例えば、実施例２で使用されたアルゴリズムを例として挙げる。

画像領域Ｂ１が顔領域の１つの候補として識別される場合、２次元ベクトル（０．０５，０．１１）がアルゴリズムによって生成され、これは部分空間（（−０．１２，０．０９］，（０．０４，０．１７］）内に収まる。この部分空間の確率は０．８であるので、画像領域Ｂ１の確率も０．８の値を取る。

画像領域Ｂ２が顔領域の１つの候補として識別される場合、２次元ベクトル（−０．７１，−０．６６）がアルゴリズムによって生成され、これは部分空間（（−∞，−０．６），（−∞，−０．５３））内に収まる。この部分空間の確率は０．１であるので、画像領域Ｂ２の確率も０．１の値を取る。

異なるアルゴリズムがこの例に使用され、顔を検出する精度が、実施例３と比較して更に増大される。

図３は、本発明による画像を処理するもう１つの方法であって、図１に示した方法でトレーニングされた複数の画像処理装置が使用される方法の流れ図である。

ステップ３０１で、このプロセスは開始する。次いでステップ３０２で、画像についてのデータが入力される。ステップ３０３で、顔領域の１つの候補が入力画像内で識別される。

ステップ３０４〜ステップ３０６で、顔領域の候補についての、中間確率と呼ばれる複数の確率が、図１に示した方法でトレーニングされた複数の画像処理装置を使用して得られる。複数の画像処理装置の数は、例えばＫである。Ｋは１以上の整数である。個々の画像処理装置を使用して確率を得る詳細なプロセスは、図２の方法に似ている。

異なるアルゴリズムを、異なる画像処理装置において使用することができる。しかし、言うまでもなく、各画像処理装置について、画像処理装置のトレーニング・プロセスにおいて使用されたアルゴリズム、及び、確率を得る詳細なプロセスにおいて使用されたアルゴリズムは同じであるべきである。

ステップ３０４〜３０６の後、Ｋ個の中間確率ｐ１、ｐ２、…、ｐＫが得られる。

ステップ３０７で、顔領域の候補についての確率が、上記の中間確率ｐ１、ｐ２、…、ｐＫに基づいて以下の式により計算される。

ここで、αは、１より小さいが１に非常に近い係数である。
ステップ３０４から３０７は単に本発明の一実施形態を構成し、本発明の制限にならないことを理解されたい。いかなる従来の方法も、ステップ３０３で識別されたような顔領域の候補が顔を表す確率をこれらの従来の方法によって計算することができる場合、採用することができる。

ステップ３０８で、顔領域の候補が顔を表すかどうかが、顔領域の候補についての確率をしきい値と比較することによって判断される。

ステップ３０９で、この判断の結果が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。ステップ３０９で、顔領域の候補の識別情報もまた追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ３１０で、顔領域の候補についての確率が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。ステップ３１０で、顔領域の候補の識別情報もまた追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ３０９及び３１０で、添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

判断結果又は確率が保存されている画像を幅広く使用することができる。図４及び５は、このような種類の画像のいくつかの応用例を例示する。

ステップ３１１で、上記のプロセスは終了する。

また、テストを行うための２つの画像領域Ｂ１、Ｂ２を示す図１０を参照する。

実施例３及び実施例４で上述したように、画像領域Ｂ１についての確率（即ち、中間確率）は０．７７及び０．８である。

αを０．９とする。

画像領域Ｂ１についての確率は、０．９＊（１−（１−０．７７）＊（１−０．８））＝０．８６として計算される。

実施例３及び実施例４で上述したように、画像領域Ｂ２についての確率（即ち、中間確率）は０．１６及び０．１である。

αを０．９とする。

画像領域Ｂ２についての確率は、０．９＊（１−（１−０．１６）＊（１−０．１））＝０．２２として計算される。

図３及びその説明から、Ｋ及びαが１の値を取る場合、図３の方法が図２の方法と同じになることは明らかである。

図４は、顔領域の少なくとも１つの候補についての確率が保存されている画像を処理する、もう１つの方法の流れ図である。ステップ４０１で、このプロセスは開始する。ステップ４０２で、顔領域の少なくとも１つの候補についての確率が保存されている画像が受信される。

上述のように、この確率情報を添付情報として画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ４０３で、顔領域の１つの候補についての確率が画像から、例えば、画像のヘッダ・ファイル又はフッタ・ファイルから検索される。

ステップ４０４で、検索された確率がしきい値と比較される。ステップ４０５で、ステップ４０４の比較結果に基づいて現在の顔領域の候補が顔を表すかどうかが決定される。上記のしきい値を、しきい値より上の確率を有する顔領域についてのいかなる候補も顔を表すという方法で、選択することができる。

ステップ４０５の判断結果が肯定である場合、即ち、顔領域の候補が顔を表す場合、プロセスがステップ４０６へ進み、そうでない場合はステップ４０７へ進む。

ステップ４０６で、顔に合わせて最適化されたユニークな処理方法が顔領域の候補において実行される。ユニークな処理方法をプリンタ、例えば、図１７のプリンタ１７１３のためのプリンタ・ドライバ又はアプリケーション・プログラムによって実行し、顔が、改善された印刷品質で印刷されるようにすることができる。ユニークな処理方法をまた、ディスプレイ、例えば、図１７のディスプレイ１７１４のためのアプリケーション・プログラムによって実行し、顔が高い品質で表示されるようにすることもできる。

ステップ４０６で、ユニークな処理方法を、画像上で実行されるいずれかのプロセスにすることができる。例えばこれを、画像内で赤目を補正するプロセス、又は画像内で皮膚色の色調を下げるプロセスにすることができる。ステップ４０４で使用されるしきい値の値を、異なる応用例に従ってより高い値として、或いはより低い値として選択することができる。

赤目補正の状況では、例えば、画像のうち目ではない部分（例えば、赤いロゴ）が赤目として補正される場合、ユーザには受け入れられなくなる。従って、ステップ４０４のしきい値をより高い値に設定し、顔領域のより少ない候補が顔を表すものとして判断されるようにし、従って、画像のより少ない部分が赤目として補正されるようにすることができる。

画像内で皮膚色の色調を下げる状況では、例えば、画像のうち人の皮膚色を含まない部分（テーブルなど）の色調が下げられる場合、ユーザには受け入れられなくなる（時として気付かれなくなる）。従って、ステップ４０４のしきい値をより低い値に設定し、顔領域のより多い候補が顔を表すものとして判断されるようにし、従って、画像のより多い部分の色調が下げられるようにすることができる。

要約すれば、ステップ４０４で使用されるしきい値を、画像の処理結果に対するユーザの満足感に従って選択することができる。

ステップ４０７で、通常の処理方法が顔領域の候補において実行される。

ステップ４０８で、画像のうち顔領域の候補を含まない他の部分が処理される。顔領域の他の候補があり、それらの確率が画像内に含まれている場合、このプロセスがステップ４０３に進む。

ステップ４０９で、このプロセスは終了する。

図５は、顔領域の少なくとも１つの候補についての確率が保存されている画像内で、人物を識別する方法の流れ図である。ステップ５０１で、このプロセスは開始する。ステップ５０２で、顔領域の少なくとも１つの候補についての確率が保存されている画像が受信される。上述のように、確率情報を添付情報として画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。ステップ５０３で、顔領域の１つの候補についての確率が画像から、例えば、画像のヘッダ・ファイル又はフッタ・ファイルから検索される。

ステップ５０４で、検索された確率がしきい値と比較される。ステップ５０５で、ステップ５０４の比較結果に基づいて、現在の顔領域の候補が顔を表すかどうかが決定される。上記のしきい値を、しきい値より上の確率を有する顔領域についてのいかなる候補も顔を表すという方法で、選択することができる。

ステップ５０４で使用されるしきい値を、図４のステップ４０４と同じ原理で選択することができる。

ステップ５０５の判断結果が肯定である場合、即ち、顔領域の候補が顔を表す場合、プロセスがステップ５０６へ進み、そうでない場合はステップ５０７へ進む。

ステップ５０６で、人物が顔領域の候補にのみ基づいて識別されるが、ステップ５０７では、人物が標準的に画像全体に基づいて識別される。人物が、画像全体ではなく自分の顔にのみ基づいて識別される場合、この人物の識別プロセスは大幅に加速され、精度が増すようになることは、容易に理解されよう。

ステップ５０８で、このプロセスは終了する。

図６は、本発明による画像を処理するための装置の概略ブロック図である。６０１は画像入力ユニットを示し、６０２は候補セレクタ、６０３はベクトル発生器、６０４は確率セレクタ、６０５は確率メモリ、６０６は確率ライタ、６０７は画像出力ユニットを示す。この図に示す装置の重要なコンポーネントは、ベクトル発生器６０３、確率セレクタ６０４及び確率メモリ６０５である。

図６のように、破線によって囲まれたコンポーネントは、確率計算器を構成する。図では、確率計算器はベクトル発生器６０３、確率セレクタ６０４及び確率メモリ６０５から構成されるが、いかなる従来のコンポーネントも確率計算器を形成するために選ぶことができることを理解されたい。即ち、ベクトル発生器６０３、確率セレクタ６０４及び確率メモリ６０５は、確率計算器の制限を構成しない。重要なことは、確率計算器が顔領域の１つの候補が顔を表す確率を計算することである。

図６の装置は、図１の方法でトレーニングされており、全ての部分空間についての位置及び確率が確率メモリ６０５に保存される。確率メモリ６０５は、ＲＯＭ、ＥＰＲＯＭ、ＲＡＭ、ハード・ディスクなど、いかなる形態を取ることもできる。部分空間の位置及び確率についての異なる記憶媒体及び異なる記憶スキームは、本発明の制限を構成しない。

画像入力ユニット６０１は画像を受信し、そのデータを装置に、処理のために入力する。候補セレクタ６０２は入力画像の一部を選択し、この部分を顔領域の１つの候補として識別する。ベクトル発生器６０３は、画像処理装置のトレーニング・プロセスで使用された所定のアルゴリズムを顔領域の候補についてのデータ上で実行し、顔領域の候補についてのＭ次元ベクトルを生成する。

ベクトル発生器６０３によって使用されたアルゴリズム、及び画像処理装置のトレーニング・プロセスで使用されたアルゴリズムは同じなので、Ｍ次元ベクトルは確実に、その位置及び確率が確率メモリ６０５に保存されている部分空間に属する。

確率セレクタ６０４は確率を確率メモリ６０５からベクトル発生器６０３によって生成されたＭ次元ベクトルに基づいて検索する。

確率ライタ６０６は、確率セレクタ６０４によって検索された確率を添付情報として、処理中の画像に、例えば、そのヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込む。また、確率ライタ６０６は、顔領域の候補の識別情報をも追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込むことができる。

添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

画像出力ユニット６０７は画像を、更に処理するために出力する。

図７は、本発明による画像を処理するためのもう１つの装置の概略ブロック図である。７０１は画像入力ユニットを示し、７０２は候補セレクタ、７０３はベクトル発生器、７０４は確率セレクタ、７０５は確率メモリを示す。これらのコンポーネントは、図６の対応するコンポーネントと同じように機能する。

図７のように、破線によって囲まれたコンポーネントは、確率計算器を構成する。図では、確率計算器はベクトル発生器７０３、確率セレクタ７０４及び確率メモリ７０５から構成されるが、いかなる従来のコンポーネントも確率計算器を形成するために選ぶことができることを理解されたい。即ち、ベクトル発生器７０３、確率セレクタ７０４及び確率メモリ７０５は、確率計算器の制限を構成しない。重要なことは、確率計算器が顔領域の１つの候補が顔を表す確率を計算することである。

７０６は判断ユニットを示し、７０７は判断結果ライタ、７０８は画像出力ユニットを示す。判断ユニット７０６は、顔領域の候補が顔を表すかどうかを、確率セレクタ７０４によって検索された確率をしきい値と比較することによって判断する。判断結果ライタ７０７は、判断ユニット７０６から出力された判断結果を添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込む。また、判断結果ライタ７０７は、顔領域の候補の識別情報をも追加の添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込むことができる。

判断ユニット７０６で使用されるしきい値を、図４のステップ４０４と同じ原理で選択することができる。

添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

画像出力ユニット７０８は画像を、更に処理するために出力する。

図８は、顔領域の少なくとも１つの候補についての確率が保存されている画像を処理するための装置の概略ブロック図である。８０１は画像入力ユニットを示し、８０２は確率抽出器、８０３は判断及び制御ユニット、８０４は画像処理ユニット、８０５は顔用のアルゴリズム、８０６は標準画像用のアルゴリズム、８０７は画像出力ユニットを示す。

画像入力ユニット８０１は画像を受信し、そのデータを装置に、処理のために入力する。画像内に、顔領域の少なくとも１つの候補についての確率が、例えば図２のステップ２１０又は図３のステップ３１０で、図６の確率ライタ６０６によって保存されている。

確率抽出器８０２は画像から、例えば、画像のヘッダ・ファイル又はフッタ・ファイルから、顔領域の１つの候補についての確率を検索する。顔領域の候補の識別情報が画像に保存されている場合、確率抽出器８０２はまた画像から、顔領域の候補の識別情報をも検索し、これが画像処理ユニット８０４によって使用される。

判断及び制御ユニット８０３は、検索された確率をしきい値と比較し、比較結果に基づいて、現在の顔領域の候補が顔領域を表すかどうかを決定し、それに応じて画像処理ユニット８０４を制御する。

判断及び制御ユニット８０３で使用されるしきい値を、図４のステップ４０４と同じ原理で選択することができる。

画像処理ユニット８０４は画像入力ユニット８０１によって入力された画像を、顔用のアルゴリズム８０５及び標準画像用のアルゴリズム８０６など、異なるアルゴリズムを使用して判断及び制御ユニット８０３の制御下で処理する。判断及び制御ユニット８０３によって顔の候補が顔を表すと決定された場合、画像処理ユニット８０４は、顔用のアルゴリズム８０５により、そうでない場合は標準画像用のアルゴリズム８０６により、画像から検索された識別情報によって識別される、顔の候補を処理する。画像処理ユニット８０４は例えば、印刷又は表示されるデータを処理するためのプリンタ又はディスプレイ、又は、対象又は人物を識別するためのデバイス内のコンポーネントである。

画像出力ユニット８０７は画像を、更に処理するために出力する。

以下の説明は図１１から図１６を参照し、これは画像のポートレート確率に関する。

画像が少なくとも１つの顔を含むとき、本発明ではこれをポートレートと呼ぶ。画像がポートレートである場合、特殊な処理をこの画像上で実行することができる。画像がポートレートであるかどうかを決定するとき、画像がポートレートである確率を計算することが必要である。

本発明では、画像がポートレートである確率を画像の「ポートレート確率」と呼ぶ。

画像のポートレート確率が高いほど、画像がポートレートである可能性が高い。即ち、画像のポートレート確率が十分高い場合、画像がポートレートとして決定される。

図１１は、本発明による画像を処理するもう１つの方法であって、ポートレート確率が画像について計算される方法の流れ図である。ステップ１１０１で、このプロセスは開始する。ステップ１１０２で、画像が入力される。

ステップ１１０３で、顔領域の複数の候補が識別される。顔領域の複数の各候補について、顔領域の候補が顔を表す確率が得られる。従って、顔領域についての複数の確率が得られる。

ここで、これらの顔領域の候補についての確率を得る方法を、従来技術で使用されるいずれかの関連方法、又は、図２又は３で説明したいずれかの方法にすることができる。別法として、ステップ１１０２で入力された画像が、本発明の方法によって処理されている画像であり、顔領域についての確率が画像に保存されている場合、ステップ１１０３で、顔領域の候補についての確率を画像から直接検索することができる。

ステップ１１０４で、ポートレート確率がその画像について、ステップ１１０３で得られた複数の確率に基づいて計算される。

ステップ１１０４で多数の方法を使用することができ、これらの方法は本発明の方法のいかなる制限も構成しない。

画像内の顔領域の候補についての確率が、ｐ１、ｐ２、ｐ３…ｐＮであると仮定する。画像のポートレート確率を計算する３つの例示された方法を、以下に挙げる。

ポートレート確率を計算する最初の例示された方法を、以下で説明する。

以下の説明では、ポートレート確率を顔領域の候補についてのＮ個の確率に基づいて計算する３つの実施例を挙げる。ここで、Ｎは１以上の整数である。

従って、顔領域の最初の候補が顔ではない確率は、１−ｐ１であり、最初及び２番目の顔領域の候補のいずれもが顔でない確率は、（１−ｐ１）＊（１−ｐ２）であり、この画像が顔を含んでいない確率は、

である。
従って、画像が顔領域の候補を含む確率、即ち、画像のポートレート確率を、以下の式（１）により計算することができる。

ここで、ｐｉは顔領域のｉ番目の候補についての確率を示し、Ｎは画像内の顔領域の候補の数を示し、Ｐは画像のポートレート確率を示す。
図１６に示す例示した画像２００では、顔領域の３つの候補がある（破線で例示する）。３つの候補についての確率をＦ１、Ｆ２及びＦ３として示す。例えば、Ｆ１は０．８に等しく、Ｆ２は０．５に等しく、Ｆ３は０．１に等しい。

式（１）により計算される場合、図１６の画像２００のポートレート確率は以下の通りである。

Ｐ＝１−（１−０．８）＊（１−０．５）＊（１−０．１）＝０．９１
ポートレート確率を計算する２番目の例示された方法を、以下で説明する。

最初に、顔領域の候補についての最初のＫ個の最大確率を選択し、これをｐｓ１、ｐｓ２、ｐｓ３、…ｐｓＫとして示し、但しＫは１とＮの間の整数である。

画像のポートレート確率は主として、最初のＫ個の最大確率を有する顔領域の候補に依存する。従って、画像が顔を含まない確率は、以下の通りである。

従って、画像が顔領域の候補を含む確率、即ち、画像のポートレート確率を、以下の式（２）により計算することができる。

ここで、ｐｓｉは顔領域の候補についてのｉ番目の最大確率を示し、Ｋは画像内の顔領域の選択された候補の数を示し、Ｐは画像のポートレート確率を示す。
図１６に示す画像では、顔領域の候補についての最初の２つの最大確率は、０．８、０．５である（ここで、Ｋを２とする）。

従って、式（２）により計算された場合、画像２００のポートレート確率は以下の通りである。

Ｐ＝１−（１−０．８）＊（１−０．５）＝０．９
ポートレート確率を計算する３番目の例示された方法を、以下で説明する。

顔領域の候補についての確率の最大値が、画像のポートレート確率として選択される。即ち、画像のポートレート確率が以下の式（３）により計算される。

Ｐ＝Ｍａｘ｛ｐ１、ｐ２、ｐ３、…ｐＮ｝ （３）
ここで、ｐｉは顔領域のｉ番目の候補についての確率を示し、Ｎは画像内の顔領域の候補の数を示し、Ｐは画像のポートレート確率を示す。

図１６の画像では、顔領域の候補についての最大確率は、０．８である。

従って、式（３）により計算された場合、画像２００のポートレート確率はＰ＝０．８である。

ステップ１１０５で、画像が顔を含むかどうかが、ポートレート確率をしきい値と比較することによって判断される。

ここで使用されるしきい値を、０．４から０．８の範囲内にすることができ、好ましくは０．６である。

ステップ１１０６で、判断の結果が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。

ステップ１１０７で、ポートレート確率が添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存される。

ステップ１１０６及び１１０７で、添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

判断結果又は確率が保存されている画像を幅広く使用することができる。図１２は、このような種類の画像の応用例を例示する。

ステップ１１０８で、上記のプロセスは終了する。

図１２は、ポートレート確率が保存されている画像を処理する、もう１つの方法の流れ図である。ステップ１２０１で、このプロセスは開始する。ステップ１２０２で、ポートレート確率が保存されている画像が受信される。

上述のように、この確率情報を添付情報として画像のヘッダ・ファイル又はフッタ・ファイルに、所定のフォーマットで保存することができる。

ステップ１２０３で、ポートレート確率が画像から、例えば、画像のヘッダ・ファイル又はフッタ・ファイルから検索される。

ステップ１２０４で、検索された確率がしきい値と比較される。ステップ１２０５で、ステップ１２０４の比較結果に基づいて現在の画像がポートレートであるかどうか、即ち顔を含むかどうかが決定される。上記のしきい値を、そのしきい値より上のポートレート確率を有するいかなる画像もポートレートであるという方法で、選択することができる。

ステップ１２０５の判断結果が肯定である場合、即ち、画像がポートレートである場合、プロセスがステップ１２０６に進み、そうでない場合はステップ１２０７に進む。

ステップ１２０６で、ポートレートに合わせて最適化されたユニークな処理方法が、画像において実行される。ユニークな処理方法をプリンタ、例えば、図１７のプリンタ１７１３のためのプリンタ・ドライバ又はアプリケーション・プログラムによって実行し、顔が、改善された印刷品質で印刷されるようにすることができる。ユニークな処理方法をまた、ディスプレイ、例えば、図１７のディスプレイ１７１４のためのアプリケーション・プログラムによって実行し、顔が高い品質で表示されるようにすることができる。

ステップ１２０６で、ユニークな処理方法を、画像上で実行されるいずれかのプロセスにすることができる。例えばこれを、画像内で赤目を補正するプロセス、又は画像内で皮膚色の色調を下げるプロセスにすることができる。ステップ１２０４で使用されるしきい値の値を、異なる応用例に従ってより高い値として、或いはより低い値として選択することができる。

赤目補正の状況では、例えば、画像のうち目ではない部分（例えば、赤いロゴ）が赤目として補正される場合、ユーザには受け入れられなくなる。従って、ステップ１２０４のしきい値をより高い値に設定し、顔領域のより少ない候補が顔を表すものとして判断されるようにし、従って、画像のより少ない部分が赤目として補正されるようにすることができる。

画像内で人の皮膚の色調を下げる状況では、例えば、画像のうち人の皮膚色を含まない部分（テーブルなど）の色調が下げられる場合、ユーザには受け入れられなくなる（時として気付かれなくなる）。従って、ステップ１２０４のしきい値をより低い値に設定し、顔領域のより多い候補が顔を表すものとして判断されるようにし、従って、画像のより多い部分の色調が下げられるようにすることができる。

要約すれば、ステップ１２０４で使用されるしきい値を、画像の処理結果に対するユーザの満足感に従って選択することができる。

ステップ１２０７で、通常の処理方法が顔領域の候補において実行される。

ステップ１２０８で、このプロセスは終了する。

図１３は、本発明による画像を処理するためのもう１つの装置の概略ブロック図である。

１３０１は画像入力ユニットを示し、１３０２は顔領域の候補についての確率の計算器、１３０３はポートレート確率計算器、１３０６は確率ライタ、１３０７は画像出力ユニットを示す。この図に示す装置の重要なコンポーネントは、ポートレート確率計算器１３０３である。

画像入力ユニット１３０１は画像を受信し、そのデータを、処理するための装置に入力する。顔領域の候補についての確率の計算器１３０２は、顔領域の複数の候補を識別し、顔領域の識別された各候補について、顔領域のこの候補が顔を表す確率を計算する。

顔領域の候補についての確率を、図６の確率計算器により、図２又は３の方法、又は顔領域の候補についての確率を計算するいずれかの従来の方法を使用することによって計算することができる。別法として、画像が図２又は３の方法によって処理されており、顔領域の候補についての確率が画像に保存されている場合、顔領域の候補についての確率を画像から検索することができる。顔領域の候補についての確率を計算又は得るための異なる方法は、本発明のいかなる制限も構成しない。

ポートレート確率計算器１３０３はポートレート確率を、顔領域の候補についての確率の計算器１３０２によって計算又は得られた確率に基づいて、計算する。ポートレート確率計算器１３０３において実行される計算は、図１１のステップ１１０４の計算と同じものにすることができる。

確率ライタ１３０６は、ポートレート確率計算器１３０３によって計算された確率を添付情報として、処理中の画像に、例えば、そのヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込む。

添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

画像出力ユニット１３０７は画像を、更に処理するために出力する。

図１４は、本発明による画像を処理するためのもう１つの装置の概略ブロック図である。

１４０１は画像入力ユニットを示し、１４０２は顔領域の候補についての確率の計算器、１４０３はポートレート確率計算器を示す。これらのコンポーネントは図１３の対応するコンポーネントと同じように機能する。

１４０４は判断ユニットを示し、１４０６は判断結果ライタ、１４０７は画像出力ユニットを示す。判断ユニット１４０４は、画像がポートレートであるかどうかを、ポートレート確率計算器１４０３によって計算されたポートレート確率をしきい値と比較することによって、判断する。判断結果ライタ１４０６は、判断ユニット１４０４から出力された判断結果を添付情報として画像に、例えば、画像のヘッダ・ファイル又はフッタ・ファイルに所定のフォーマットで書き込む。

判断ユニット１４０４で使用されるしきい値を、図１２のステップ１２０４と同じ原理で選択することができる。

添付情報及び追加の添付情報を保存するための所定のフォーマットは重要ではなく、本発明の制限を構成しない。データを保存するためのいかなる従来のフォーマット又はデータ構造も使用することができる。

画像出力ユニット１４０７は画像を、更に処理するために出力する。

図１５は、ポートレート確率が保存されている画像を処理するためのもう１つの装置の概略ブロック図である。１５０１は画像入力ユニットを示し、１５０２は確率抽出器、１５０３は判断及び制御ユニット、１５０４は画像処理ユニット、１５０５はポートレート用のアルゴリズム、１５０６は標準画像用のアルゴリズム、１５０７は画像出力ユニットを示す。

画像入力ユニット１５０１は画像を受信し、そのデータを、処理するための装置に入力する。画像内に、画像についてのポートレート確率が、例えば図１１のステップ１１０７で、図１３の確率ライタ１３０６によって保存されている。

確率抽出器１５０２は画像から、例えば、画像のヘッダ・ファイル又はフッタ・ファイルから、顔領域の１つの候補についての確率を検索する。

判断及び制御ユニット１５０３は、検索された確率をしきい値と比較し、比較結果に基づいて、現在の画像がポートレートであるかどうかを決定し、それに応じて画像処理ユニット１５０４を制御する。

判断及び制御ユニット１５０３で使用されるしきい値を、図１２のステップ１２０４と同じ原理で選択することができる。

画像処理ユニット１５０４は画像入力ユニット１５０１によって入力された画像を、ポートレート用のアルゴリズム１５０５及び標準画像用のアルゴリズム１５０６など異なるアルゴリズムを使用して、判断及び制御ユニット１５０３の制御下で処理する。判断及び制御ユニット１５０３により、イメージがポートレートであると決定された場合、画像処理ユニット１５０４は、ポートレート用のアルゴリズム１５０５により、そうでない場合は標準画像用のアルゴリズム１５０６により、画像を処理する。画像処理ユニット１５０４は例えば、印刷又は表示されるデータを処理するためのプリンタ又はディスプレイ内のコンポーネントである。

画像出力ユニット１５０７は画像を、更に処理するために出力する。

図１７は、図１から図５、図１１及び図１２に示す各方法を実施できる、画像処理システムを概略的に示す図である。図１７の画像処理システムは、ＣＰＵ（中央処理装置）１７０１、ＲＡＭ（ランダム・アクセス・メモリ）１７０２、ＲＯＭ（読み取り専用メモリ）１７０３、システムバス１７０４、ＨＤ（ハード・ディスク）コントローラ１７０５、キーボードコントローラ１７０６、シリアルポートコントローラ１７０７、パラレルポートコントローラ１７０８、ディスプレイコントローラ１７０９、ハードディスク１７１０、キーボード１７１１、カメラ１７１２、プリンタ１７１３及びディスプレイ１７１４を備える。これらのコンポーネントの中で、システムバス１７０４に接続されるものは、ＣＰＵ１７０１、ＲＡＭ１７０２、ＲＯＭ１７０３、ＨＤコントローラ１７０５、キーボードコントローラ１７０６、シリアルポートコントローラ１７０７、パラレルポートコントローラ１７０８及びディスプレイコントローラ１７０９である。ハードディスク１７１０はＨＤコントローラ１７０５に接続され、キーボード１７１１はキーボードコントローラ１７０６に、カメラ１７１２はシリアルポートコントローラ１７０７に、プリンタ１７１３はパラレルポートコントローラ１７０８に、ディスプレイ１７１４はディスプレイコントローラ１７０９に接続される。

図１７の各コンポーネントの機能は当技術分野で周知であり、図１７のアーキテクチャは従来のものである。このようなアーキテクチャはパーソナルコンピュータに適用されるのみでなく、パームＰＣ、ＰＤＡ（携帯情報端末）、デジタルカメラなど、ハンドヘルドデバイスにも適用される。異なる応用例では、図１７のコンポーネントのいくつかを省略することができる。例えば、システム全体がデジタルカメラである場合、パラレルポートコントローラ１７０８及びプリンタ１７１３を省略することができ、このシステムをシングルチップマイクロコンピュータとして実施することができる。アプリケーションソフトウェアがＥＰＲＯＭ又は他の不揮発性メモリに格納される場合、ＨＤコントローラ１７０５及びハードディスク１７１０を省略することができる。

図１７のシステム全体がコンピュータ可読命令によって制御され、これらは通常ソフトウェアとしてハードディスク１７１０に（或いは上述のように、ＥＰＲＯＭ又は他の不揮発性メモリに）格納される。このソフトウェアをネットワーク（この図には図示せず）からダウンロードすることもできる。ハードディスク１７１０に保存されているか、或いはネットワークからダウンロードされたソフトウェアを、ＲＡＭ１７０２にロードすることができ、ソフトウェアによって定義された機能を実施するために、ＣＰＵ１７０１によって実行することができる。

１つ又は複数のソフトウェアを、図１から図５、図１１及び図１２の流れ図のうち１つ又は複数に基づいて開発することには、当業者にとって発明的な作業が含まれない。このように開発されたソフトウェアは、図１に示す画像処理装置をトレーニングする方法、図２に示す画像を処理する方法、図３に示す画像を処理する方法、図４に示す画像を処理する方法、図５に示す画像内で人物を識別する方法、図１１に示す画像を処理する方法、図１２に示す画像を処理する方法を実行する。

ある意味で、図１７の画像処理システムは、図１から図５、図１１及び図１２の流れ図に基づいて開発されたソフトウェアによってサポートされる場合、図６から図８、及び図１３から図１５の画像を処理するための装置と同じ機能を達成する。

図１８は、画像を処理するための装置の一実施例を示す。

図１８の装置は、スキャナ１８０１、メモリ１８０２及びプリンタ１８０３を備える。

スキャナ１８０１は最初に画像をスキャンし、そのデータを、処理するためのメモリ１８０２に入力する。例えば、スキャナ１８０１は、図１６の画像２００をスキャンする。画像２００のポートレート確率は、例えば０．９１である。

スキャナ１８０１はメモリ１８０２に接続される。スキャンされた画像データ及び画像２００のポートレート確率が、メモリ１８０２に格納される。

メモリ１８０２はプリンタ１８０３に接続される。プリンタ１８０３は最初に画像２００のポートレート確率を受信し、これをしきい値と比較する。比較結果に基づいて、プリンタ１８０３は、画像２００が顔を含むかどうかを決定する。この例では、画像２００のポートレート確率は０．９１であり、プリンタ１８０３は画像２００をポートレートとして判断する。

判断の結果に基づいて、アプリケーションソフトウェアプログラム１８０３Ａは描画コマンドグループをプリンタ１８０３のプリンタドライバ１８０３Ｂに発行する。プリンタドライバ１８０３Ｂは、印刷リクエスト、及び、アプリケーションソフトウェアプログラム１８０３Ａから入力された描画コマンドを処理し、プリンタ１８０３により印刷することができる印刷データを生成し、この印刷データをプリンタ１８０３に送信する。

画像２００がポートレートとして判断されるので、プリンタ１８０３は人の皮膚を再生する。プリンタが人の皮膚を再生するとき、元の画像よりも強い赤を有する画像は、人の感覚にとって好ましくなる傾向にある。

この実施形態では、アプリケーションソフトウェアプログラム１８０３Ａの制御下で、プリンタが、人の皮膚をより強く表す赤色を作成する。従って、プリンタ１８０３は画像２００を高い品質で再生することができる。

また、本発明は、本発明の方法を実施するコンピュータプログラムのコードがその上に記録される記録媒体も提供する。

コンピュータプログラムを供給するための記録媒体として、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリカード、ＲＯＭなどを使用することができる。

上述の実施形態の機能を、読み出されたプログラムコードをコンピュータによって実行することによるだけでなく、コンピュータ上で実行するＯＳ（オペレーティングシステム）によってプログラムコードの命令に基づいて実行された実際の処理動作の一部又は全部によっても、実施することができる。

上述からわかるように、本発明の方法は、画像のポートレート確率を決定し、決定されたポートレート確率を更なる処理のために出力する高速な手法を提供する。この方法は、異なるスケール、向き状態の下のポートレートの正確な決定を可能にする。従って、本発明によれば、この方法又は装置により、画像がポートレートであるかどうかを高速、かつ効果的に決定することができ、決定された画像を更に処理することができる。

本発明は、記録媒体から読み出されたプログラムコードが、コンピュータに挿入される機能拡張カードに、或いは、コンピュータに接続される機能拡張ユニットに設けられたメモリに書き込まれた後、機能拡張カード又はユニットに含まれたＣＰＵなどが、プログラムコードの指示に従ってプロセスの一部又は全体を実行し、上記の実施形態の機能を実現する場合を含む。

本発明が前述の記録媒体に適用される場合、記録媒体は、図１から図５、図１１及び図１２の流れ図を実施するためのコンピュータプログラムを格納する。

以上説明した実施形態は、画像のポートレート確率を決定して処理するために特殊化されるが、本発明は、ポートレート確率を決定することに限定されず、他の決定方法、例えば、回路基板上にきずの部分がある確率を検出する方法に適用可能である。

本発明の一実施形態における画像処理装置をトレーニングする方法の流れ図である。 本発明による画像を処理する方法であって、図１の方法でトレーニングされた画像処理装置が使用される方法の流れ図である。 本発明による画像を処理するもう１つの方法であって、図１の方法でトレーニングされた複数の画像処理装置が使用される方法の流れ図である。 顔領域の少なくとも１つの候補についての確率が保存されている画像を処理する、もう１つの方法の流れ図である。 顔領域の少なくとも１つの候補についての確率が保存されている画像内で、人物を識別する方法の流れ図である。 本発明による画像を処理するための装置の概略ブロック図である。 本発明による画像を処理するためのもう１つの装置の概略ブロック図である。 顔領域の少なくとも１つの候補についての確率が保存されている画像を処理するための装置の概略ブロック図である。 １０００個のトレーニング・サンプル、即ち、画像領域Ａ１、Ａ２、Ａ３、…、Ａ１０００を含む、トレーニング・シーケンスを示す図である。 テストを行うための２つの画像領域Ｂ１、Ｂ２を示す図である。 本発明による画像を処理するもう１つの方法であって、ポートレート確率が画像について計算される方法の流れ図である。 ポートレート確率が保存されている画像を処理する、もう１つの方法の流れ図である。 本発明による画像を処理するためのもう１つの装置の概略ブロック図である。 本発明による画像を処理するためのもう１つの装置の概略ブロック図である。 ポートレート確率が保存されている画像を処理するためのもう１つの装置の概略ブロック図である。 それについてのポートレート確率が計算される、もう１つの画像を示す図である。 図１から図５、図１１及び図１２の各方法を実施することができる、画像処理システムを概略的に示す図である。 画像を処理するための装置の一実施例を示す図である。

符号の説明

６０１、７０１、８０１、１３０１、１４０１、１５０１ 画像入力ユニット
６０２、７０２ 候補セレクタ
６０３、７０３ ベクトル発生器
６０４、７０４ 確率セレクタ
６０５、７０５ 確率メモリ
６０６、１３０６ 確率ライタ
６０７、７０８、８０７、１３０７、１４０７、１５０７ 画像出力ユニット
７０６、１４０４ 判断ユニット
７０７、１４０６ 判断結果ライタ
８０２、１５０２ 確率抽出器
８０３、１５０３ 判断及び制御ユニット
８０４、１５０４ 画像処理ユニット
８０５ 顔用のアルゴリズム
８０６、１５０６ 標準画像用のアルゴリズム
１３０２、１４０２ 顔領域の候補についての確率の計算器
１３０３、１４０３ ポートレート確率計算器
１５０５ ポートレート用のアルゴリズム

Claims (24)

1. 画像を処理する画像処理方法であって、
   前記画像内で顔領域の１つの候補を識別するステップと、
   前記顔領域の候補が顔を表す確率を計算するステップと、
   前記確率を添付情報として前記画像に保存するステップとを有することを特徴とする画像処理方法。
2. 前記顔領域の候補の識別情報を追加の添付情報として前記画像に保存するステップを更に有することを特徴とする請求項１に記載の画像処理方法。
3. 前記添付情報及び前記追加の添付情報は、所定のフォーマットで、前記画像のヘッダ・ファイル又はフッタ・ファイルに保存されることを特徴とする請求項２に記載の画像処理方法。
4. 画像を処理する画像処理方法であって、
   前記画像内で顔領域の１つの候補を識別するステップと、
   前記顔領域の候補が顔を表す確率を計算するステップと、
   前記顔領域の候補が顔を表すかどうかを、前記確率をしきい値と比較することによって判断するステップと、
   前記判断するステップの結果を添付情報として前記画像に保存するステップとを有することを特徴とする画像処理方法。
5. 前記顔領域の候補の識別情報を追加の添付情報として前記画像に保存するステップを更に有することを特徴とする請求項４に記載の画像処理方法。
6. 前記添付情報及び前記追加の添付情報は、所定のフォーマットで、前記画像のヘッダ・ファイル又はフッタ・ファイルに保存されることを特徴とする請求項５に記載の画像処理方法。
7. 前記確率を計算するステップは、Ｋ個のトレーニング方法でトレーニングされたＫ個の画像処理装置を使用して実行され、Ｋは１より大きい整数であり、前記Ｋ個の各画像処理装置は、対応する所定のアルゴリズムを採用してＭ次元ベクトルを生成し、
   確率を計算する前記ステップは、
   Ｋ個の中間確率ｐ１、ｐ２、…、ｐＫを前記顔領域の候補について得るステップであって、これを前記Ｋ個の各画像処理装置内で、
   前記顔領域の候補についてのデータを入力するステップと、
   対応する所定のアルゴリズムを前記顔領域の候補についての前記入力データに適用することにより、前記顔領域の候補についてのＭ次元ベクトルを生成するステップと、
   個の部分空間の間で、前記顔領域の候補についての前記Ｍ次元ベクトルが位置する部分空間を識別するステップと、
   前記識別された部分空間についての前記確率の値を、前記顔領域の候補についての前記確率に割り当てるステップとを実行することによって行うステップと、
   前記顔領域の候補についての確率を、以下の式により計算するステップとを備え、
   ここで、αは１より小さいが１に非常に近い係数であることを特徴とする請求項１に記載の画像処理方法。
8. 前記Ｋ個の各トレーニング方法は、
   Ｎ個の画像領域についてのデータを前記画像処理装置に入力するステップであって、Ｎは１より大きい整数であり、Ｎ個の画像領域のうちいくつかは顔を表すステップと、
   前記対応する所定のアルゴリズムを前記Ｎ個の各画像領域についての前記入力データにそれぞれ適用することにより、前記Ｎ個の画像領域についてＮ個のＭ次元ベクトルを生成するステップであって、前記Ｎ個のＭ次元ベクトルのうちいくつかは顔に対応し、前記Ｎ個のＭ次元ベクトルがＭ次元空間において分散されるステップと、
   前記Ｍ次元空間を、
   個の部分空間に分割して、各部分空間に分散された前記Ｍ次元ベクトルの数が同じであり、
   に等しくなるようにするステップであって、Ｋ１、Ｋ２、…、ＫＭは１より大きい整数であるステップと、
   各部分空間において分散された前記Ｍ次元ベクトルの総数を、同じ部分空間において分散され、かつ顔に対応する前記Ｍ次元ベクトルの数で割ることによって、各部分空間についての確率を計算するステップと、
   前記画像処理装置における前記
   個の部分空間についての場所及び確率を保存するステップとを有することを特徴とする請求項７に記載の画像処理方法。
9. Ｋは１に等しく、αは１に等しいことを特徴とする請求項８に記載の画像処理方法。
10. 画像を処理するための画像処理装置であって、
    前記画像内で顔領域の１つの候補を識別するための候補セレクタと、
    前記顔領域の候補が顔を表す確率を計算するための確率計算器と、
    前記確率を添付情報として前記画像に書き込むための確率ライタとを備えることを特徴とする画像処理装置。
11. 画像を処理するための画像処理装置であって、
    前記画像内で顔領域の１つの候補を識別するための候補セレクタと、
    前記顔領域の候補が顔を表す確率を計算するための確率計算器と、
    前記顔領域の候補が顔を表すかどうかを、前記確率をしきい値と比較することによって判断するための判断ユニットと、
    前記判断ユニットの出力を添付情報として前記画像に書き込むための判断結果ライタとを備えることを特徴とする画像処理装置。
12. 画像を処理する画像処理方法であって、
    少なくとも１つの確率を得るステップであって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表すステップと、
    前記画像についてのポートレート確率を前記少なくとも１つの確率に基づいて計算するステップと、
    前記ポートレート確率を添付情報として前記画像に保存するステップとを有することを特徴とする画像処理方法。
13. 前記添付情報は所定のフォーマットで、前記画像のヘッダ・ファイル又はフッタ・ファイルに保存されることを特徴とする請求項１２に記載の画像処理方法。
14. 画像を処理する画像処理方法であって、
    少なくとも１つの確率を得るステップであって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表すステップと、
    前記画像についてのポートレート確率を前記少なくとも１つの確率に基づいて計算するステップと、
    前記画像がポートレートであるかどうかを、前記ポートレート確率をしきい値と比較することによって判断するステップと、
    前記判断するステップの結果を添付情報として前記画像に保存するステップとを有することを特徴とする画像処理方法。
15. 前記添付情報は所定のフォーマットで、前記画像のヘッダ・ファイル又はフッタ・ファイルに保存されることを特徴とする請求項１４に記載の画像処理方法。
16. ポートレート確率を計算する前記ステップが、以下の式において実行され、
    ｐｉは顔領域のｉ番目の候補についての前記確率を示し、Ｎは前記画像内の顔領域の候補の数を示し、Ｐは前記画像の前記ポートレート確率を示すことを特徴とする請求項１２に記載の画像処理方法。
17. ポートレート確率を計算する前記ステップが、以下の式において実行され、
    ｐｓｉは顔領域の候補についてのｉ番目の最大確率を示し、Ｋは前記画像内の顔領域の候補のうち、前記最大確率を有するように選択されるものの数を示し、Ｐは前記画像の前記ポートレート確率を示すことを特徴とする請求項１２に記載の画像処理方法。
18. ポートレート確率を計算する前記ステップが、以下の式において実行され、
    Ｐ＝Ｍａｘ｛ｐ１、ｐ２、ｐ３、…、ｐＮ｝
    ｐｉは顔領域のｉ番目の候補についての前記確率を示し、Ｎは前記画像内の顔領域の候補の数を示し、Ｐは前記画像の前記ポートレート確率を示すことを特徴とする請求項１２に記載の画像処理方法。
19. 画像を処理するための画像処理装置であって、
    少なくとも１つの確率を得るための、顔領域の候補についての確率の計算器であって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表す計算器と、
    前記画像がポートレートである前記画像のポートレート確率を計算するためのポートレート確率計算器と、
    前記確率を添付情報として前記画像に書き込むための確率ライタとを備えることを特徴とする画像処理装置。
20. 画像を処理するための画像処理装置であって、
    少なくとも１つの確率を得るための、顔領域の候補についての確率の計算器であって、前記少なくとも１つの各確率は、前記画像内の顔領域の１つの候補が顔を表す確率を表す計算器と、
    前記顔領域の候補が顔を表す確率を計算するためのポートレート確率計算器と、
    前記画像がポートレートであるかどうかを、前記確率をしきい値と比較することによって判断するための判断ユニットと、
    前記判断ユニットの出力を添付情報として前記画像に書き込むための判断結果ライタとを備えることを特徴とする画像処理装置。
21. コンピュータに、請求項１に記載された画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
22. コンピュータに、請求項４に記載された画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
23. コンピュータに、請求項１２に記載された画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
24. コンピュータに、請求項１４に記載された画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。