JP2002342756A - デジタル画像において目と口の位置を検出する方法 - Google Patents

Abstract

(57)【要約】 【課題】 デジタル顔画像に目と口の位置を定めるデジ
タル画像処理法であって、堅牢性があって、しかも計算
を効果的に行える方法を提供する。 【解決手段】 本発明の方法は、デジタル顔画像に虹彩
色彩画素を検出するステップ２０１〜２０６と、前記虹
彩色彩画素をクラスタに類別し、前記虹彩色彩画素クラ
スタを用いて目の位置を検出するステップ２０８と、デ
ジタル顔画像に顔の特徴に関する特徴表出画素を認識
し、前記特徴表出画素を用いてシグナチャ曲線を作成す
るステップ２１２と、前記シグナチャ曲線と前記目位置
とを用いて口の位置を定めるステップ２１４とを含む。
好ましい実施の形態では、差の自乗の総和の法を用いて
目の位置を定める。好ましい実施の形態の別の一つで
は、目と口の位置を統計的手法を用いて確証する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタル画像処理法
に関し、特に人間の目と口の位置を検出する方法に関す
る。

【０００２】

【従来の技術】デジタル画像処理法では、目-口の位置
関係を見出すこと、すなわち、目と口の位置を検出した
り、その関係を決めることが有用なことが多い。この情
報を用いて、例えば、画像の中の人間の顔のポーズを知
ることができる。人間の顔はその特徴によって識別され
ることが多いので、目−口の位置関係は、後で画像検索
に用いられる顔認識のような用途の前処理としても用い
ることができる。

【０００３】２０００年６月６日付けキム(Kim)の米国
特許第６，０７２，８９２号には目の位置を検出する装
置と方法が開示されている。顔の画像中に目の位置を検
出する開示の方法では、画像の濃度ヒストグラムに閾値
処理法を施すことによって、皮膚と、白眼と、瞳孔とを
示す三つのピークをヒストグラム中に見出している。

【０００４】この方法は、その特定の適用ではある程度
の成功は収めたようではあるが、この方法の問題の一つ
は、画像全体を画素毎に走査して、各画素に探索窓を合
わせる必要があることである。従って、この方法では極
めて大量の計算能力が費やされる。さらに、画像が一致
したという誤検出が大量に発生することもある。目の領
域以外の部位に同じようなヒストグラムパターンが生じ
るからである。

【０００５】ソニー社（Sony Corporation）のトモユキ
オオツキ（Tomoyuki Ohtsuki）によってJournal of I
maging Science and Technology,Vol.42,No.6,pp554-56
1,1998に開示された「色と幾何学モデルを用いて顔の特
徴を抽出する方法（Using color and geometric models
for extracting facial features)」では、口の候補を
見出すのに領域分割法を提唱している。しかし、領域分
割は、一般に、輝度と色度に極めて鋭敏であり、従って
極めて不安定である。

【０００６】

【発明が解決しようとする課題】従って、デジタル顔画
像に埋め込まれた情報を利用して人間の目−口の位置関
係を決定するのに、堅牢性があって、しかも計算を効果
的に行える方法の必要性が依然として存在する。

【０００７】

【課題を解決するための手段】本発明の目的の一つは、
デジタル顔画像に目と口の位置関係を定めるデジタル画
像処理法を提供することである。

【０００８】本発明の目的の別の一つは、顔面の画像に
目と口の位置を自動的に得るデジタル画像処理法を提供
することである。

【０００９】本発明の目的のさらに別の一つは、探索し
なければならない画像領域を低減するデジタル画像処理
法を提供することである。

【００１０】本発明の別の一つの目的は、目と口の位置
を定めるのに必要な計算量を低減するデジタル画像処理
法を提供することである。

【００１１】本発明のさらに別の一つの目的は、偽ポジ
ティブの発生を低減するデジタル画像処理法を提供する
ことである。

【００１２】これらの目的は、実施例を用いて記載され
るにすぎない。従って、開示の本発明を用いて本質的に
達成される他の望ましい目的や利点が得られる可能性も
あり、このことは当業者には明白であると思われる。従
って、本発明は前記の特許請求の範囲で規定されるもの
である。

【００１３】本発明の態様の一つに従えば、デジタル顔
画像に目と口の位置を定めるデジタル画像処理法が提供
される。本発明の方法は、デジタル顔画像に虹彩の色彩
を有する画素を検出するステップと、前記虹彩色彩画素
をクラスタに類別するステップと、前記虹彩色彩画素ク
ラスタを用いて目の位置を検出するステップと、デジタ
ル顔画像に顔の特徴に関する特徴表出画素を認識するス
テップと、前記特徴表出画素を用いてシグナチャ(識別
特性；signature)曲線を作成するステップと、前記シグ
ナチャ曲線と前記目位置とを用いて口の位置を定めるス
テップとを含む。好ましい実施の形態では、差の自乗の
総和の方法を用いて目の位置を定める。好ましい実施の
形態の別の一つでは、目と口の位置を統計的手法を用い
て確証する。

【００１４】本発明では、顔画像の前部に目と口の位置
を自動的に得るのに効果的な方法が提供される。本発明
の方法では、探索しなければならない画像領域が低減さ
れるので、目と口の位置を定めるのに必要な計算量が低
減され、従って偽ポジティブの発生が低減される。

【００１５】

【発明の実施の形態】図１は、本発明に基づいた方法に
用いるのに好適な画像処理システム５０を示す。画像処
理システム５０には、デジタル色彩静止画像を提供する
ように適応されたデジタル画像源１００が含まれる。デ
ジタル画像源１００の例としては、画像を撮影しデジタ
ル形式に記憶するように変換するスキャナなどの装置、
デジタルカメラのようなデジタル画像撮像装置、メモリ
カードやＣＤと一緒に用いられるコンパクトディスクド
ライブのようなデジタル画像記憶装置が挙げられる。

【００１６】対象とするデジタル画像は顔の画像、好ま
しくは前面の画像である。もっともこの画像は前面とは
ある角度を持った画像でも差し支えない。

【００１７】デジタル画像源１００からのデジタル画像
は、画像処理装置１０２に送られる。画像処理装置１０
２は、例えば、プログラマブルパーソナルコンピュー
タ、またはサンスパーク（Sun Sparc）ワークステーシ
ョンのようなデジタル画像処理ワークステーションであ
る。画像プロセッサ１０２は本発明の方法に基づいてデ
ジタル画像を処理する。

【００１８】図１に示されるように、画像処理装置１０
２は、ＣＲＴディスプレイまたは画像ディスプレイ１０
４、キーボードのようなインターフェイス装置または他
のデータ/コマンド入力装置１０６、マウスのようなデ
ータ/コマンド制御装置１０８に接続したり、ネットワ
ークに接続したりすることができる。画像処理装置１０
２はまた、コンピュータ読み出し可能な記憶媒体１０７
に接続したり、ネットワークに接続したりすることがで
きる。

【００１９】画像処理装置１０２は、処理されたデジタ
ル画像を出力装置１０９に伝送する。出力装置１０９
は、プリンタ、長期画像記憶装置、他の画像処理装置へ
の接続装置、または、例えば、インターネットに接続さ
れた画像テレコミュニケーション装置を備えることがで
きる。プリンタとしては、本発明に基づく場合、銀ハロ
ゲン化物プリンタ、サーマルプリンタ、インクジェット
プリンタ、電子写真プリンタなどを用いることができ
る。

【００２０】以下の説明では、本発明の好ましい実施の
形態の一つは、方法であるとして記載される。別の実施
の形態の一つでは、以下に記載されるが、本発明には、
前記の方法に基づいてデジタル画像に人間の目と口とを
検出するコンピュータプログラムが含まれる。本発明を
説明するに当たって、本発明はそのような性格を有する
ものであるから、本発明のこのコンピュータプログラム
は、当業者に既知のどのようなコンピュータシステム、
例えば、図１に示されるタイプのパーソナルコンピュー
タシステムで用いることができることは明らかである。
同様に、他の多くのタイプのコンピュータも本発明のコ
ンピュータプログラムを実行するのに用いることができ
る。

【００２１】理解されることであるが、本発明のコンピ
ュータプログラムには、当業者に既知の画像操作のアル
ゴリズムやプロセスを用いることができる。本発明のコ
ンピュータプログラムはそのような性格を有するもので
あるから、本発明のコンピュータプログラムの実施の形
態には、本明細書に特に図示したり説明したりはしない
けれども実装に有用な従来のアルゴリズムやプロセスを
も用いるのは差し支えない。

【００２２】このようなアルゴリズムやシステム、およ
び当該画像を生成したり処理したりあるいは本発明のコ
ンピュータプログラムと一緒に作動するハードウェアお
よび/またはソフトウェアの他の諸々の点は、本明細書
に特に図示したりまたは説明したりはしないが、技術に
既知のそのようなアルゴリズム、システム、ハードウェ
ア、コンポーネント、エレメントから選択して用いるこ
とは差し支えない。

【００２３】本発明の方法を実行するコンピュータプロ
グラムは、コンピュータ読み出し可能な記憶媒体１０７
に記憶することができる。記憶媒体１０７としては、例
えば、磁気ディスク（例えば、ハードディスクドライブ
またはフロッピー（登録商標）ディスク）または磁気テ
ープのような磁気記憶媒体；光ディスク、光テープまた
は機械読み出し可能なバーコードのような光記憶媒体；
ランダムアクセスメモリ(ＲＡＭ)またはリードオンリー
メモリ（ＲＯＭ)のようなソリッドステート電子記憶装
置；またはコンピュータプログラムを記憶するのに用い
られる他の物理的装置または媒体が挙げられる。本発明
の方法を実行するコンピュータプログラムは、インター
ネットあるいは他の通信媒体で画像処理装置１０２に接
続されているコンピュータ読み出し可能な記憶媒体１０
７に記憶することができる。当業者ならば容易に認識す
ることであるが、このようなコンピュータプログラムと
等価なものは、ハードウェアで構成することもできる。

【００２４】さて、図２に目を転ずると、ここには本発
明の方法が詳細に記載されている。図２は、目-口の位
置関係を決定する本発明における方法の第一の実施の形
態を示すフローダイアグラムである。図２に示される第
一の実施の形態では、目-口の位置関係の決定は、幾つ
かのステップで行われる。第一ステップ（ステップ２０
０）は、デジタル画像中に皮膚色彩の領域（すなわち、
顔領域）を検出するプロセスを含む。第二ステップ（ス
テップ２０６）は、前記顔領域から虹彩色彩の画素を認
識するプロセスを含む。第三ステップ（ステップ２０
８）は、第二ステップ２０６で検出された虹彩色彩画素
から目の位置を予測するプロセスを含む。第四ステップ
（ステップ２１２）は、顔領域に特徴表出画素を認識/
抽出し、前記特徴表出画素を用いてシグナチャ曲線を形
成するプロセスを含む。第五ステップ（ステップ２１
４）は、第三ステップ２０８と第四ステップ２１２にて
収集された情報に基づいて口の位置を予測するプロセス
を含む。

【００２５】モデル化ステップ（ステップ２１６）は、
虹彩色彩ベイジアンモデル(Bayesian Model)トレーニン
グを形成するプロセスを含む。このステップで、虹彩色
彩画素を検出するルックアップテーブルが第二ステップ
２０６に提供される。モデル化ステップ（ステップ２１
６）につては、以下に図４(a)と4(b)に関して特に詳細
に記載する。さらに、モデル化ステップ２１６は一度、
好ましくはオフラインで行われるものである。

【００２６】皮膚色彩検出を行うステップ２００には、
図２に示されるように三段階、具体的にはステップ２０
１,２０２,２０３が含まれる。図２に示されるように、
ステップ２０１は色彩ヒストグラム均一化ステップであ
る。色彩ヒストグラム均一化ステップ２０１では、処理
すべき画像を受け取り、皮膚色彩検出が可能となる形態
の画像が確実に得られるようにする。ステップ２０１を
採用するのは、人間の皮膚が照明条件、フラッシュ設定
値、またはその他の状況のために画像中では多くの色彩
を示す可能性があるからである。そのような性格を有す
る画像では、皮膚を自動的に検出することは、一般に困
難である。色彩ヒストグラム均一化ステップ２０１で
は、各画像の統計的解析が行われる。この統計的解析に
よって、照明条件、フラッシュ設定値、またはその他の
状況のために外観が変更した皮膚領域が画像に含まれて
いることが示された場合は、そのような画像を修正する
ことによって、本来の色彩の皮膚領域を検出することが
できる。デジタル顔画像の色彩ヒストグラム均一化は、
デジタル顔画像の平均濃度解析に基づいて行うのが好ま
しい。

【００２７】色彩ヒストグラム均一化ステップ２０１の
後に、皮膚色彩検出ステップ２０２で画像を探索して皮
膚色彩領域を求める。デジタル画像中の皮膚は多くの方
法で検出することができるが、デジタル画像中の皮膚を
検出する好ましい方法は、共願の同時係属米国特許出願
第０９／６９２,９３０号に記載の方法である。この特
許出願を参考文献として本明細書に引用する。この好ま
しい方法では、皮膚色彩画素をその他の画素から分離す
るには、大量の、バランスのとれた画像母集団から集め
られた可能な皮膚色彩の範囲を含む作業色彩空間を規定
することによって行われる。ある画素が前記作業色彩空
間内に存在する色彩を有していれば、当該画素が皮膚色
彩画素として認識される。

【００２８】皮膚色彩検出ステップ２０２では、画像中
に皮膚色彩画素が含まれている領域が認識される。この
領域は多くの方法で規定することができる。実施の形態
の一つでは、前記皮膚色彩領域は、画像中に皮膚色彩を
有している画素を認識する画素位置セットを形成するこ
とによって規定される。実施の形態の別の一つでは、皮
膚色彩画素だけを含む修正画像が形成される。更に別の
一つの実施の形態では、皮膚色彩検出ステップ２０２に
おいて、画像中に皮膚色彩領域を囲む境界が規定され
る。当業者ならば認識することであるが、皮膚色彩領域
を画像中に複数個所認識することもできる。

【００２９】顔領域抽出ステップ２０３では、皮膚色彩
検出ステップ２０２で検出された皮膚色彩領域を調べ
て、顔を示す可能性のある皮膚色彩領域の位置が定めら
れる。顔領域抽出ステップ２０３では、顔の大きさと画
像内の顔の位置とを定めるパラメータが規定される。

【００３０】図３は、画像中に顔領域を規定するのに用
いられる幾何学的パラメータ間の関係を特に具体的に示
す。図３に示されるように、幾何学的パラメータとして
は、顔の頂部３００と，顔の底部３０２と，顔の左側３
０４と，顔の右側３０６と，顔の左右方向中心線３０８
と，顔の上下方向中心線３１０とがある。これらのパラ
メータは後の画像処理の際に用いることができる。

【００３１】顔領域抽出ステップ２０３が行われた後
は、第二ステップ２０６、すなわち、虹彩色彩画素検出
ステップで、顔領域の画素が調べられ、虹彩色彩画素が
検出される。本発明に基づく方法では、第二ステップ２
０６で画素の赤の色彩濃度を測定することによって画素
が虹彩であるかどうかを判定する。赤の色彩濃度レベル
を測定する理由は、人間の虹彩は人間の皮膚に較べて赤
の色彩濃度レベルが低いことが観察されているからであ
る。人間の皮膚は赤の色彩濃度レベルが比較的高いので
ある。しかし、本発明に基づく方法では、ある画素を虹
彩に分類するのか、あるいは非虹彩部分に分類するのか
を判定するのに赤レベル閾値処理法を用いない。

【００３２】むしろ、本発明の方法では、ある画素を虹
彩画素に分類するのか、あるいは非虹彩部分画素に分類
するのかは、統計的解析で行う。この統計的解析では、
虹彩統計モデルが適用される。前記虹彩統計モデルで
は、ある画素が虹彩画素である確率は画素の所与の赤濃
度レベルに基づいて規定される。前記虹彩統計モデルを
構成するには、二つの条件付確率濃度分布関数が必要で
ある。図４（ａ）は、前記二つの条件付確率濃度分布関
数を示す。虹彩濃度分布関数Ｐ（Ｉ｜虹彩）４１２は、
所与の虹彩画素が特定の赤濃度を有している尤度を示す
ものである。例えば、所与の虹彩画素が赤濃度レベル３
０を有している尤度が０．５であるとすると、同じ画素
が赤濃度レベル２５５を有する尤度は０．０００１であ
る。非虹彩濃度分布関数Ｐ（Ｉ｜非虹彩）４１４は、所
与の非虹彩画素が特定の赤濃度を有している尤度を示す
ものである。例えば、所与の非虹彩画素が赤濃度レベル
３０を有している尤度が０．０００１であるとすると、
同じ画素が赤濃度レベル２５５を有する尤度は０．１で
ある。尤度の最大値は１である。

【００３３】確率解析は多くの形を用いて行うことがで
きる。例えば、確率を多岐にわたる方法で画素に組合
せ、これらの確率間の関係に基づいて当該画素が虹彩画
素であるかないかが分類される。しかし、好ましい実施
の形態では、ベイズ(Bayes)モデルとして知られる数学
構造式を用いて諸確率を組合せることによって、所与の
赤濃度を有する画素が虹彩に属する後確率を得る。

【００３４】この好ましい実施の形態では、ベイズ(Bay
es)モデルは、次のように適用される。

【００３５】

【数１】 ここに、Ｐ（虹彩｜Ｉ）は所与の画素濃度が虹彩に属す
る条件付確率であり、Ｐ（Ｉ｜虹彩）は所与の虹彩画素
が特定の濃度Ｉを有する条件付確率（すなわち、虹彩濃
度分布関数４１２）であり、Ｐ（虹彩）は虹彩が顔の領
域に生じる確率であり、Ｐ（Ｉ｜非虹彩）は所与の非虹
彩画素が特定の濃度Ｉを有する条件付確率（すなわち、
非虹彩濃度分布関数４１４）であり、Ｐ（非虹彩）は非
虹彩画素が顔の卵形領域に生じる確率である。ベイズ(B
ayes)モデルに基づいた統計的解析を用いて、画素が虹
彩画素として分類されるのは、所与の赤濃度を有する画
素が虹彩に属する条件付確率Ｐ（虹彩｜Ｉ）が既定値、
例えば、０．０５より大きい場合である。

【００３６】上に記載の実施の形態では、顔の頂部３０
０と，顔の底部３０２と，顔の左側３０４と，顔の右側
３０６とで規定された顔領域にある画素のみが調べられ
る。調べるべき画素を、顔領域にあるこれらの画素に限
定すると、調べるべき画素の数が低減され、虹彩でない
画素が虹彩として分類される尤度が減少する。理解され
ることであるが、上記の形状以外の形状も人間の顔をモ
デル化するのに用いることができるし、その場合そのよ
うな形状に適切なパラメータが後で行われる画像処理に
用いられる。

【００３７】さらに、理解されることであるが、虹彩画
素は、最初に顔の輪郭または他の形状域を検出しなくて
も、画像中の皮膚色彩領域から検出することができる。
このような場合、皮膚色彩領域の各画素を調べることに
よって虹彩色彩画素が検出され、皮膚色彩領域を規定す
るパラメータが後で目の検出プロセスに用いられる。

【００３８】図４（ｂ）に示されるのは、モデル化ステ
ップ２１６、すなわち、図２の虹彩色彩ベイジアンモデ
ルトレーニングに用いられる諸プロセスであり、画素を
分類するのに用いられる統計モデルを開発するための諸
プロセスである。モデル化ステップ２１６を行うのは、
虹彩を検出する方法を虹彩画素を検出するのに用いる以
前である。図４（ｂ）に示されるように、顔前部の画像
のサンプルを大量に収集し、調査する。各画像の顔領域
にある虹彩画素と非虹彩画素全部をマニュアルで認識す
る（ステップ４０２と４０４）。次に、所与の虹彩画素
が特定の赤濃度Ｉを有する条件付確率、Ｐ（Ｉ｜虹彩）
を計算し、虹彩画素が卵形の顔領域に生起する確率、Ｐ
（虹彩）を計算する（ステップ４０６）。次に、所与の
非虹彩画素が特定の赤濃度Ｉを有する条件付確率、Ｐ
（Ｉ｜非虹彩）を計算し、最後に非虹彩画素が卵形の顔
領域に生起する確率、すなわち、Ｐ（非虹彩）を計算す
る（ステップ４０８）。以上のように計算された虹彩と
非虹彩との統計モデルを、ベイズの式に用いて、所与の
赤濃度を有する画素が虹彩に属する条件付確率、Ｐ（虹
彩｜Ｉ）を得る。適用の際、前記のベイズモデルを用い
てルックアップテーブルを作成することができるので、
このテーブルを第二ステップ２０６で用いて、虹彩色彩
画素検出を行う。第二ステップ２０６は、虹彩色彩画素
検出ステップであり、画像中に虹彩色彩画素の位置を認
識する。第二ステップ２０６から得られた結果は、虹彩
色彩画素画像であり、ここでは非虹彩色彩画素はゼロと
設定する。

【００３９】第二ステップ２０６から得た虹彩色彩画素
画像は、第三ステップ２０８で用いる。第三ステップ２
０８については、図５と６とを参照して、より具体的に
以下に説明する。

【００４０】図５に示されるのは、第三ステップ２０
８，すなわち、虹彩色彩画素を用いて目の位置を検出す
るプロセスを示すフローダイアグラムである。図５に示
されるように、目の位置の検出プロセスは、虹彩色彩画
素のクラスタリングのステップ５００でスタートする。
虹彩色彩画素を検出すると、この虹彩色彩画素をクラス
タに割り当てる。クラスタは、虹彩色彩画素で埋まった
セットであって、このクラスタ内のどんな画素も同クラ
スタの他の画素に対して既定の距離内にあるという性質
を備える。既定の距離の一例を挙げると、デジタル画像
高さの１／３０である。図５の虹彩色彩画素のクラスタ
リングステップ５００では、クラスタのこの定義に基づ
いて虹彩色彩画素をクラスタに類別する。しかし、理解
されることであるが、画素を他の基準に基づいてクラス
タリングすることも差し支えない。

【００４１】ある種の状況下では、画素のクラスタが有
効でないこともある。この場合に備えて、クラスタの有
効性を確証するオプションのステップが、虹彩色彩画素
クラスタ有効性確証ステップ５０１として図５に示され
る。クラスタが無効である恐れのあるのは、例えば、ク
ラスタが過剰の数の虹彩色彩画素を含んである場合であ
り、あるいはクラスタ中の諸画素の幾何学的関係から当
該クラスタが虹彩を示すものではないと見える理由があ
る場合である。例えば、比が既定値、例えば、２より大
きければ、当該クラスタは無効である。すなわち、各虹
彩画素クラスタの高さ／幅の比が定められていれば、高
さ／幅の比がその既定値より大きければ当該虹彩画素ク
ラスタは無効である。大きさの測定も考慮することがで
きる。すなわち、各虹彩画素のクラスタの大きさは、各
虹彩画素クラスタ内部の虹彩画素の数を勘定して決定で
きるが、虹彩画素クラスタの大きさがある既定値より大
きければ当該虹彩画素クラスタは無効である。無効虹彩
画素クラスタについては、本発明の方法ではそれ以上の
考慮は払わない。従って、議論を容易にするため、後に
続く説明部分では、有効虹彩画素クラスタを虹彩画素ク
ラスタと以下では称する。

【００４２】虹彩色彩画素のクラスタリングステップ５
００の後、各クラスタのセンターをクラスタセンタリン
グステップ５０２で計算する。クラスタのセンターはク
ラスタの重心として決定される。クラスタセンターの位
置は、画像座標系の原点に関して計算する。デジタル画
像の画像座標系の原点は普通、画像境界の上部左側に定
義する。

【００４３】顔分割ステップ５０４では、顔の上下方向
中心線３１０を用いて皮膚色彩領域を左半分領域と右半
分領域とに分離する。図６に示されるように、虹彩色彩
画素クラスタ６０２と虹彩画素クラスタのクラスタセン
ター６００とは、顔の上下方向中心線３１０で分離され
た左半分領域６０４と右半分領域６０６のいずれかの領
域に配置される。

【００４４】図５を再び参照すると、虹彩画素クラスタ
を用いて画像中に目の位置を定めるため、左目位置探索
ステップ５０６を左半分領域６０４で行うが、差の自乗
の総和として知られる方法を用いるのが好ましい。右目
位置探索ステップ５０８は右半分領域６０６で行うが、
同じく差の自乗の総和の方法に基づくのが好ましい。

【００４５】左目と右目の位置探索ステップ５０６と５
０８と差の自乗の総和の方法とについては、図７と８と
を参照して、より具体的に以下に説明する。

【００４６】一般に、差の自乗の総和の方法は、目のテ
ンプレート中の画素の濃度値とこのテンプレートと同じ
大きさの画像パッチ中の対応する画素の濃度値との差の
自乗の総和を計算することを含む。この方法では、画素
パッチ中の各画素は、対応する画素をテンプレートに有
する。対応する画素各々の濃度レベルの間の差を計算
し、次に各々の差を自乗する。次いで、各画素セットの
濃度値の差の自乗を各々加算して総和を計算する。この
差の自乗の総和は、測定された画素セット各々とテンプ
レートとの間の対応度を示す相対的尺度となる。目のテ
ンプレート自体は、多数の目の画像サンプルを平均化す
ることによって作成される。

【００４７】例えば、図８に示すように、窓８００の中
心を、画像の各々左、右半分領域（６０４，６０６）に
ある各クラスタセンター６００に合わせる。窓８００の
大きさは、中心双方が合っているクラスタの全体を実質
的にカバーする大きさである。目のテンプレート８０６
は平均の目のテンプレートであって、窓８００内を動
く。

【００４８】本発明に適用するとき、差の自乗の総和の
値を、各左右の半分領域に置いた各窓の各画素に対して
計算する。これらの総和の値を比較し、差の自乗の総和
が相対的に最も小さい値を有している画素が当半分領域
の目の位置にあるものと認識される。このプロセスは、
以下に記載の手順で画像の左右半分領域のクラスタに個
別に行われる。

【００４９】注記するのは、本発明は、差の自乗の総和
の方法を用いて平均の目テンプレートと対象とする各画
素との間に最良の相対的マッチングを認識するものとし
て記載されたが、他の方法を用いて相対的対応度を定め
ることもできることである。特に、平均自乗誤差法は、
上記の差の自乗の総和の方法の代わりに用いることがで
きる。

【００５０】図７と８を参照すると、左目と右目の位置
探索ステップ５０６と５０８は、左右それぞれ半分領域
の各クラスタセンター８１０の所に窓８００のセンター
を合わせるところからスタートする（ステップ７０
０）。次いで差の自乗の総和を計算する操作（ステップ
７０２）を、各窓８００中で各画素に中心を合わせた画
素パッチを用いて、個々に行う（ステップ７０４）。各
窓８００中で差の自乗の総和が最も低い値を有している
画素の位置を記録する（ステップ７０６）。このプロセ
スを、左右半分領域のクラスタすべてに対して完了した
とき（ステップ７０８）、当該半分領域に対して差の自
乗の総和が最も低い値を有している画素の位置を記録す
る（ステップ７０９）。この位置こそが、当該半分領域
の目の位置である。

【００５１】すなわち、デジタル顔画像を右半分領域６
０６と左半分領域６０４とに分割し、各虹彩画素クラス
タを右半分領域６０６と左半分領域６０４とのいずれか
に関連させる。目テンプレート８０６を規定し、窓８０
０の中心を各虹彩画素クラスタの中心に合わせる。画像
パッチを、目テンプレートの大きさに実質的に（好まし
くは正確に）等しい大きさを有するものとして規定す
る。次に、右半分領域に右目の位置を定めるため、目テ
ンプレートと画像パッチとの間の画素濃度レベル差を決
定する。その際に画像パッチの中心を各窓中の各画素に
合わせ、窓の中心を右半分領域の各クラスタの中心に合
わせる。同様に、左半分領域に左目の位置を定めるた
め、目テンプレートと画像パッチとの間の画素濃度レベ
ル差を決定する。その際に画像パッチの中心を各窓中の
各画素に合わせ、窓の中心を左半分領域の各クラスタの
中心に合わせる。

【００５２】理解されることであるが、図５のステップ
５０６と５０８の差の自乗の総和の方法は、顔領域抽出
を用なくとも行うことができる。このような実施の形態
では、皮膚色彩の領域を左半分領域と右半分領域とに分
割することができる。次いで、虹彩色彩画素クラスタを
左半分領域と右半分領域とに分割することができる。こ
の後には差の自乗の総和の方法を適用することができ
る。

【００５３】第四ステップ２１２と第五ステップ２１４
とは、口の位置を見出すのに用いるが、より具体的には
図９〜９（ｆ）に説明する。特徴表出画素を抽出し、シ
グナチャ曲線を形成するステップ（第四ステップ２１
２）に対する入力画像は原色彩顔画像である。

【００５４】図９を参照する。最初に形態素初期操作
（ステップ９０１）を画像に適用し、眼鏡などの反射か
ら生じるような輝点を取り除く。この初期操作によっ
て、目や鼻や口のようなダークな顔の特徴が保たれる。
次に特徴表出画素を抽出するには、ステップ９０２にお
いてハイパスフィルタの一つのタイプであるハイブース
タフィルタで処理する。ハイブースタフィルタ処理は、
図１０に示されるようなハイブースタフィルタカーネル
９５０で画像を畳み込みすることによって行われる。ハ
イブースタフィルタカーネル９５０は、ユーザが選択す
るパラメータＨを含む。ハイパスフィルタの作用は、平
坦な濃度領域を取り除き、高活性部分（すなわち、ダー
ク域とブライト域との間の濃度コントラスト部分）を有
する個所を保持することである。高活性部位の例は、図
１１に特徴表出画素９５４として示される。

【００５５】特徴表出画素９５４は、ハイブースタフィ
ルタ処理された画像を閾値処理して２値画像とした結果
である。従って、ステップ９０４はハイブースタフイル
タ処理画像を２値画像に閾値処理し、特徴表出画素で２
値画像を生成するプロセスを含む。ハイブースタフィル
タ処理された原画像を閾値処理した後に得られる２値画
像の例は、図１１に９６０として示されている。非特徴
表出画素はゼロと設定する。ハイブースタフィルタカー
ネル９５０のパラメータＨの例示値は９と選択してい
る。

【００５６】ステップ９０４の後に続くのは、図１１に
示されるように、特徴表出画素９５４を垂直軸に投射し
てシグナチャ曲線９５６を得るステップ９０６である。
前記の投射は、水平方向の特徴表出画素９５４の数を勘
定し、この数を垂直軸の対応する位置に割り当てて行
う。明白なことであるが、目と口の領域には他の領域に
比較して多くの特徴表出画素が存在する。従って、特徴
表出画素９５４を投射した結果得られるものは、口と目
の領域の部位を有意に示すピークを有するシグナチャ曲
線９５６である。

【００５７】従って、垂直軸に口の位置を探索するとい
うことは、シグナチャ曲線９５６上にピークを探索する
ということになる。この探索はステップ９０８で行われ
る。しかし、ステップ９０８の探索を行う前に、図１２
に示されるように２値画像９６０を上半分領域９６２と
下半分領域９６４に分割する。分割線は顔領域抽出ステ
ップ２０３で得られた顔の左右方向中心線３０８であ
る。次いでステップ９０８の探索を２値画像９６０の下
半分領域９６４で行う。口は下半分領域９６４にあるか
らである。

【００５８】下半分領域９６４のシグナチャ曲線９５６
部分は、探索操作を行う前に平滑化処理を行って細かい
変動部分を取り除く必要があるかも知れない。図１３に
示すのは、平滑化されたシグナチャ曲線９６６であり、
複数のピーク点９６８がある。

【００５９】シグナチャ曲線９５６を平滑化し、平滑化
処理シグナチャ曲線９６６を作成する操作は、例えば、
移動平均フィルタまたはメディアンフィルタを用いて行
うことができる。位置ｉの個所のピークは次の条件が満
たされれば真である。

【００６０】

【数２】Ｓ（ｉ−１）＜Ｓ（ｉ）＜Ｓ（ｉ＋１） ここにＳ（ｘ）は位置ｘの個所の平滑化処理シグナチャ
曲線９６６の値である。普通、２値画像９６０の下半分
領域９６４に見出されるピーク位置は複数個所ある。最
も高いピーク値の位置を記録する。最も高いピーク値を
記録する理由は、口領域には、鼻のような他の顔の特徴
部よりも多い特徴表出画素９５４がある可能性が高いか
らである。記録したピーク位置は、後で垂直軸における
口の位置として用いる。

【００６１】図９を再び参照する。水平方向の口の位置
はステップ９１０で決定される。口の中央位置は第三ス
テップ２０８で検出された二つの目の間に見出される。
この位置は、目−口の位置関係を確証するステップ９１
２でも用いられる。ステップ９１２では、口の認識され
た水平位置と垂直位置とを始点として用い、認識された
口位置の近傍の特徴表出画素９５４を口の特徴表出画素
クラスタに類別する。すなわち、認識された口位置を大
略囲む特徴表出画素を口の特徴表出画素クラスタに類別
する。図１４を参照する。口の特徴表出画素クラスタの
左境界と右境界との間の距離Ｍを決定する。第三ステッ
プ２０８で認識された二つの目の間の距離Ｅを決定す
る。更に、目レベル（すなわち、二つの目の間に引かれ
た仮想ライン）から口レベル（すなわち、口の特徴表出
画素クラスタの左境界と右境界との間に引かれた仮想ラ
イン）に至る距離Ｄも決定する。

【００６２】検出された目−口の位置関係の信頼性レベ
ルは、例えば、Ｍ／ＥまたはＥ／Ｄの比を用いて推定で
きる。すなわち、Ｍ／ＥまたはＥ／Ｄの比が既定の範囲
内にあるかどうかを決定するのである。例えば、Ｍ／Ｅ
の比が０．８９〜０．９９の範囲ならば、またはＥ／Ｄ
の比が０．９〜１．１の範囲ならば信頼性レベルは高い
と推定する。これらの範囲は、レズリー・Ｇ・ファーカ
ス(Leslie G. Farkas)著の「頭と顔の人体計測（Anthro
pometry of the Head and Face)」に見出される統計か
ら導出されるので、同著を参考文献として本明細書に引
用する。

【００６３】本発明の主題はデジタル画像の理解技術に
関する。デジタル画像理解技術とは、デジタル画像をデ
ジタル処理して認識することによって有用な意味づけを
行い、人間が理解できる対象物、属性または条件とし、
得られた結果を後のデジタル画像処理に利用する技術で
あると理解される。

【００６４】以上、このようにして本発明は、デジタル
画像に通常現れる人間の目と口とを検出する効率的な方
法を提供する。

【図面の簡単な説明】

【図１】 本発明における方法に好適な画像処理システ
ムの概略図である。

【図２】 本発明における目と口との位置関係を決定す
る方法を示すフローダイアグラムである。

【図３】 人間の顔領域のパラメータを示すスケッチ図
である。

【図４】 虹彩と非虹彩部の画素濃度分布を示すプロッ
トおよびベイジアン虹彩モデル化のプロセスを示すフロ
ーダイアグラムである。

【図５】 目の位置を予測するステップを示すフローダ
イアグラムである。

【図６】 虹彩色彩画素クラスタを示す図である。

【図７】 目テンプレートマッチングに用いられる差の
自乗の総和の計算を示すフローダイアグラムである。

【図８】 画像中に目パッチを探索している目テンプレ
ートの図である。

【図９】 口の位置を探索するフローダイアグラムであ
る。

【図１０】 カーネルを示す図である。

【図１１】 顔の特徴表出画素とこれらを垂直軸に投射
した図である。

【図１２】 顔の上半分領域と下半分領域を示すスケッ
チ図である。

【図１３】 シグナチャ曲線とピーク点を示すプロット
である。

【図１４】 パラメータＭ，Ｅ，Ｄを示す図である。

【符号の説明】

５０ 画像処理システム、１００ デジタル画像源、１
０２ 画像処理装置、１０４ 画像ディスプレイ、１０
６ インターフェイス装置；データおよびコマンド入力
装置；キーボード、１０７ コンピュータ読み出し可能
記憶媒体、１０８ データおよびコマンド制御装置；マ
ウス、１０９ 出力装置、２００ 第一ステップ；皮膚
色彩領域検出ステップ、２０１ 色彩ヒストグラム均一
化ステップ、２０２ 皮膚色彩検出ステップ、２０３
顔領域抽出ステップ、２０６ 第二ステップ；虹彩色彩
画素検出ステップ、２０８ 第三ステップ；目位置検出
ステップ、２１２ 第四ステップ；特徴表出画素抽出と
シグナチャ曲線作成ステップ、２１４ 第五ステップ；
口位置決定ステップ、２１６ モデル化ステップ；虹彩
色彩ベイズモデルトレーニングステップ、３００ 顔の
頂部、３０２ 顔の底部、３０４ 顔の左側、３０６
顔の右側、３０８ 顔の左右方向中心線，３１０ 顔の
上下方向中心線、４０２，４０４，４０６，４０８，４
１０ 計算ステップ、４１２ 虹彩濃度分布関数、４１
４ 非虹彩濃度分布関数、５００ 虹彩色彩画素クラス
タリングステップ、５０１ 虹彩色彩画素クラスタ確証
ステップ、５０２ クラスタセンタリングステップ、５
０４ 顔分割ステップ、５０６左目位置探索ステップ、
５０８ 右目位置探索ステップ、６００ クラスタセン
ター、６０２ 虹彩色彩画素クラスタ、６０４ 左半分
領域、６０６ 右半分領域、７００ 窓のセンタリング
ステップ、７０２ 差の自乗の総和の計算ステップ、７
０４，７０８ チェックステップ、７０６，７０９ 位
置記録ステップ、７０６ 位置記録ステップ、８００
窓、８０６ 目テンプレート、９０１形態素初期操作ス
テップ、 ９０２ ハイブースタフィルタ処理ステッ
プ、９０４ 閾値処理ステップ、９０６ 投射ステッ
プ、９０８ 探索ステップ、９１０口−水平方向位置ス
テップ、９１２ 目−口の位置関係の確証ステップ、９
５０ ハイブースタフィルタカーネル、９５４ 特徴表
出画素、９５６ シグナチャ曲線、９６０ ２値画像、
９６２ 上半分領域、９６４ 下半分領域、９６６平滑
化シグナチャ曲線、９６８ 平滑化シグナチャ曲線のピ
ーク点。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年５月２８日（２００２．５．２
８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正内容】

【００６０】

【数２】Ｓ（ｉ−１）＜Ｓ（ｉ） 及び Ｓ（ｉ）＞Ｓ
（ｉ＋１） ここにＳ（ｘ）は位置ｘの個所の平滑化処理シグナチャ
曲線９６６の値である。普通、２値画像９６０の下半分
領域９６４に見出されるピーク位置は複数個所ある。最
も高いピーク値の位置を記録する。最も高いピーク値を
記録する理由は、口領域には、鼻のような他の顔の特徴
部よりも多い特徴表出画素９５４がある可能性が高いか
らである。記録したピーク位置は、後で垂直軸における
口の位置として用いる。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5L096 AA02 AA06 EA06 EA43 FA06 FA15 FA32 FA35 FA36 FA60 FA62 FA69 GA17 GA30 GA40 GA53 GA55 JA09 MA07

Claims (3)

【特許請求の範囲】
1. 【請求項１】 デジタル顔画像において目と口の位置を
   定めるデジタル画像処理法であって、 ａ）前記デジタル顔画像に複数の虹彩色彩画素を検出す
   るステップと、 ｂ）前記複数の虹彩色彩画素をクラスタに類別するステ
   ップと、 ｃ）前記虹彩色彩画素クラスタを用いて目の位置を検出
   するステップと、 ｄ）前記デジタル顔画像に顔の特徴に関する特徴表出画
   素を特定するステップと、 ｅ）前記特徴表出画素を用いてシグナチャ曲線を作成す
   るステップと、 ｆ）前記シグナチャ曲線と前記目の位置とを用いて口の
   位置を定めるステップと、を含むことを特徴とするデジ
   タル画像処理法。
2. 【請求項２】 請求項１記載の方法において、前記デジ
   タル顔画像に前記複数の虹彩色彩画素を検出する前記ス
   テップは、 ａ）前記デジタル顔画像の平均濃度解析に基づいて前記
   デジタル顔画像の色彩ヒストグラム均一化を行うステッ
   プと、 ｂ）複数の皮膚色彩領域を認識するステップと、 ｃ）前記複数の皮膚色彩領域から顔領域を認識するステ
   ップと、 ｄ）前記顔領域の画素を調べて複数の虹彩色彩画素を検
   出するステップと、を含むことを特徴とする方法。
3. 【請求項３】 デジタル顔画像において目と口の位置を
   定めるデジタル画像処理法であって、 ａ）前記デジタル顔画像に複数の虹彩色彩画素を検出す
   るステップと、 ｂ）前記複数の虹彩色彩画素をクラスタに類別するステ
   ップと、 ｃ）前記虹彩色彩画素クラスタを用いて目の位置を検出
   するステップと、 ｄ）前記デジタル顔画像に顔の特徴に関する特徴表出画
   素を特定するステップと、 ｅ）前記特徴表出画素を用いてシグナチャ曲線を作成す
   るステップと、 ｆ）前記シグナチャ曲線のピークを見出すステップと、 ｇ）前記シグナチャ曲線と前記目の位置とを用いて口の
   位置を定めるステップと、 ｈ）前記目と口の位置を確証するステップと、を含むこ
   とを特徴とするデジタル画像処理法。