JP2008226189A - 特徴点検出装置及びプログラム - Google Patents

Abstract

【課題】ノイズ成分を含む顔画像から特徴点を抽出する。また、不明確な顔画像から特徴点を抽出する。更に、顔画像の内から選択された一部の領域から特徴点を探索する。
【解決手段】ＣＰＵ２４は、特徴点を抽出する対象となるカメラ１０から取得された顔画像に含まれる画素列の内、所定の大きさＬｎ未満である画素列をノイズ成分として、除去する。更に、設定メモリ２８に記憶されたパラメータが示すエッジラインを探索する領域内にて、特徴点の候補となるエッジラインを探索する。
【選択図】図２

Description

本発明は、例えば車両等の移動体を運転している運転者等の顔の特徴点を検出する特徴点検出装置、プログラムに関する。

運転者の顔画像から特徴点を検出する機能を備える特徴点検出装置が特許文献１に開示されている。
特許文献１に開示されている特徴点検出装置は、画像入力部から入力される顔画像を白又は黒に二値化して、二値化した顔画像から顔面の候補となる領域を抽出する。顔面の候補となる領域に接しない所定領域はマスク処理を施してラベリングを行い、顔面の候補となる領域が顔面の画像であるときは、顔面の画像の内から特徴点として顔幅、眼の位置、眼の開閉状態等が抽出される。
特許３０６３５０４号明細書

特許文献１の特徴点検出装置は、二値化した顔画像から顔面の候補となる領域を抽出するときに、領域の区画となるエッジを取得して顔面の候補となる領域を抽出する。しかし、特許文献１の特徴点検出装置は、領域の区切りと呼べないような小さいエッジ或いは顔画像に含まれるノイズ成分に起因するエッジなどをも処理対象とする。
このため、顔面の特徴点を抽出するときに、正しくない特徴点を検出するおそれがある。

また、実際に取得できる顔画像は撮影環境の影響等により完全なものではないことが多い。例えば、画像のコントラストが低い場合、領域の境界が曖昧になり、エッジラインが正確に検出されず、破線状のエッジライン等を検出してしまうことがある。このような場合にも、特徴点を正確に検出することは困難である。

本発明は、上記問題点に鑑みてなされたものであり、ノイズ成分を含む顔画像から特徴点を抽出できる特徴点検出装置を提供することを第１の目的とする。

また、本発明は、不明確な顔画像から特徴点を抽出できる特徴点検出装置を提供することを第２の目的とする。

更に、本発明は、顔画像の内から選択された一部の領域から特徴点を探索できる特徴点検出装置を提供することを第３の目的とする。

上記目的を達成するために、本発明の第１の観点に係る特徴点検出装置は、
対象者の顔を撮影して得られた顔画像に含まれる、階調の異なる領域の境界線であるエッジラインを抽出するエッジライン抽出手段と、
該エッジライン抽出手段が抽出したエッジラインのうちから、所定の大きさ未満であるエッジラインをノイズ成分として除去するノイズ処理手段と、
該ノイズ処理手段によってノイズ成分が除去されたエッジラインの内で所定の条件を満たすものを、前記対象者の特徴点を示すエッジラインであると判別する特徴点判別手段と、
を備えることを特徴とする。

例えば、前記エッジライン抽出手段は、
前記顔画像に基づき、該顔画像の階調が変化する程度を表す階調変化画像を生成する画像処理手段と、
前記画像処理手段により生成された階調変化画像中のエッジラインを細線化する細線化手段と、を備え、
前記ノイズ処理手段は、前記細線化手段により細線化されたエッジラインの内から、所定の大きさ未満と判別されたものをノイズ成分として除去する、ことを特徴とする。

例えば、前記エッジライン抽出手段は、
前記顔画像に基づき、該顔画像の二値化画像を生成する画像処理手段と、
前記画像処理手段により生成された二値化画像の明暗の境界をエッジラインとして検出する境界検出手段と、を備え、
前記ノイズ処理手段は、前記境界検出手段により検出されたエッジラインの内から、所定の大きさ未満と判別されたものをノイズ成分として除去する、ことを特徴とする。

例えば、エッジラインを探索する領域を示すパラメータを記憶する記憶手段を備え、
前記エッジライン抽出手段は、前記記憶手段が記憶するパラメータが示す領域内でエッジラインを探索する、ことを特徴とする。

上記目的を達成するために、本発明の第２の観点に係るプログラムは、
コンピュータに、
対象者の顔の撮像画像を取得するステップ、
前記取得された顔画像から、画像領域の境界を示すエッジラインを抽出するエッジライン抽出ステップ、
抽出したエッジラインのうちから、所定の大きさ未満のエッジラインをノイズ成分として除去するノイズ除去ステップ、
前記ノイズ成分が除去されたエッジラインのうちから所定の条件を満たすものを、対象者の特徴点を示すエッジラインとして処理するステップ、
を実行させる。

本発明によれば、特徴点を探索する顔画像にノイズ成分が含まれる場合でも、所定の大きさ未満であるエッジラインをノイズ成分として除去することにより、ノイズ成分がある程度除去され、特徴点を正確に求めることができる。

（実施形態１）
以下、図１乃至１７を参照して、本発明の実施形態１に係る特徴点検出装置５０について説明する。

先ず、図１乃至３を参照して、実施形態１の特徴点検出装置５０の構成について説明する。
本実施形態の特徴点検出装置５０は、図１に示す全体構成のように、ドライバーの顔を撮影して顔画像を生成するカメラ１０、ドライバーの顔を照明する照明光源１２、ドライバーの顔画像から特徴点を抽出するコンピュータ１４、コンピュータ１４に接続された表示装置１６、を備える。なお、表示装置１６は必須の構成ではなく、必ずしも設ける必要はない。

カメラ１０は例えばＣＣＤ（Charge Coupled Devices）カメラ等から構成され、ドライバーの顔の階調画像を取得する。カメラ１０によって生成される顔画像は、ドライバーの顔だけでなく、その背景なども含まれている。

表示装置１６は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ１０で撮影された顔画像から抽出された階調の変化する程度を表す階調変化画像などを表示する。

コンピュータ１４は、カメラ１０により取得された顔画像を処理して、上瞼と下瞼との組み合わせ（以下、「上下瞼」という）の候補となるエッジラインを抽出する装置である。また、眼や鼻孔、口等の顔特徴点を抽出する装置である。
コンピュータ１４は、図２に示す回路構成のように、Ａ／Ｄ変換器２１、画像メモリ２２、ＲＯＭ（Read Only Memory）２３、ＣＰＵ（Central Processing Unit）２４、ＲＡＭ（Random Access Memory）２５、表示制御装置２６、光源制御装置２７、設定メモリ２８、操作装置２９、を備える。

Ａ／Ｄ（アナログ／ディジタル）変換器２１は、カメラ１０で撮影されたアナログ画像信号をディジタル信号に変換する。

画像メモリ２２は、カメラ１０により生成され、Ａ／Ｄ変換器２１でディジタル化された画像データを格納する。

ＲＯＭ２３は、ＣＰＵの動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。

ＣＰＵ２４は、コンピュータ１４全体を制御する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ１０により取得された顔動画像を処理して顔動画像中の眼または瞼を検出する。

ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。

表示制御装置２６は、ＣＰＵ２４の制御のもと、映像データ等を表示装置１６が出力可能なデータ形式に変換し、表示装置１６に出力する。

光源制御装置２７は、照明光源１２の点灯・消灯を制御する。

設定メモリ２８は、ＣＰＵ２４が顔動画像を処理して眼または瞼を検出する処理の設定に関する情報（以下、設定情報）を格納する。

操作装置２９は、ユーザから操作情報を受け付け、操作に応じた操作信号をＣＰＵ２４に送出する。

次に、図３を参照して、ＲＯＭ２３に格納される固定データの例を説明する。
ＲＯＭ２３は、図３（ａ）、（ｂ）に示すような、縦エッジ検出用と横エッジ検出用ソーベルフィルタのオペレータを格納する。縦エッジ検出用ソーベルフィルタと横エッジ検出用のソーベルフィルタとは、それぞれ、図３（ｃ）、（ｄ）に示すような縦方向の濃淡差、横方向の濃淡差を強調するためのオペレータである。

設定メモリ２８には、図３（ｅ）に示すような、画像メモリ２２に格納される顔画像において鼻孔や口の画像が存在すると想定される領域を示す設定情報が格納されている。
例えば、図３（ｅ）では、鼻孔や口の画像が存在すると想定される領域が「ｙ１≦ｙ≦ｙ２」の範囲に設定されている。また、鼻孔や口の画像が存在すると想定される領域より上部の領域である顔上部領域Ａを特定するデータが格納されている。以下、鼻孔や口の画像が存在すると想定される領域、及び、顔上部領域Ａ、を設定領域と呼ぶ。
また、ユーザは操作装置２９を介して設定領域を入力して、設定メモリ２８に設定情報を格納させることも可能である。

設定メモリ２８には、顔画像から抽出されたエッジラインが上下瞼の候補か否かを判別するための、エッジラインの大きさ（長さ）の基準値である特徴点閾値Ｌｆも格納されている。
実施形態１では、特徴点閾値Ｌｆは４〜９に設定されており、特徴点閾値Ｌｆに基づいて、横方向の大きさが４〜９画素分以上であるエッジラインが上下瞼の候補となるエッジラインとして判別される。なお、特徴点閾値Ｌｆは任意の値に設定されていてもよい。

また、設定メモリ２８には、顔画像から抽出したエッジラインがノイズ成分か否かを判別するための所定のノイズ閾値Ｌｎが格納されている。
実施形態１では、エッジラインの横方向の大きさが１であるか否かに基づいてノイズ成分を判別するものとして、ノイズ閾値Ｌｎ＝１に設定されているものとする。

以下、図４乃至１７を参照して、上記構成を有する実施形態１に係る特徴点検出装置５０が、カメラ１０により取得されたドライバーの顔画像から顔の特徴点として上下瞼を抽出する動作を説明する。

先ず、実施形態１の特徴点検出装置５０が上下瞼を抽出する動作の概要について説明する。
実施形態１では、車両を運転するドライバーの顔動画像の内から、顔の特徴点として上下瞼の候補となるエッジラインを抽出する。

ここで、エッジラインを抽出するために、図３（ａ）、（ｂ）に示したソーベルフィルタにより顔画像の階調の変化の割合が抽出されるように顔画像を処理する。
なお、以下では、図３（ａ）の縦エッジ検出用ソーベルフィルタにより縦エッジを強調する処理の施された顔画像を「縦ソーベル画像」といい、図３（ｂ）の横エッジ検出用ソーベルフィルタにより横エッジを強調する処理が施された顔画像を「横ソーベル画像」という。また、縦ソーベル画像と横ソーベル画像とを併せて、「ソーベル画像」（階調変化画像）と総称する。
また、ソーベル画像の各画素は、それぞれ変化の方向にプラス若しくはマイナスの符号を持つ。

次に、ソーベル画像に細線化処理を行うことによって、エッジラインを抽出する。
細線化処理は、例えば、横ソーベル画像において、横ソーベル画像の各列を縦方向に走査していき、極大、極小となる画素を検出する方法を採用できる。また、縦ソーベル画像において、縦ソーベル画像の各列を横方向に走査していき、極大、極小となる画素を検出する方法を採用できる。
ソーベル値が極大、極小となる画素がエッジラインを構成するため、このような画素を検出すること（細線化処理）により、エッジラインが抽出される（エッジライン抽出処理）。

ソーベル画像の内から抽出された上下瞼の候補となるエッジラインの内、大きさが所定の大きさ（ノイズ閾値Ｌｎ＝１）以下のエッジラインはノイズ成分であると判別されて、除去される（ノイズ除去処理）。

具体的には、縦横各ソーベル画像の内からエッジラインとして抽出された画素に対して、ラベリング処理を行う。エッジラインを構成する各画素において、上下左右斜めの８方向に同じ符号を持つエッジラインの画素があれば、同じラベルをつけておく。これにより、連続しているエッジラインの画素をグループ化することができる。
グループ化されたエッジライン毎にその画素数を検出し、画素数が所定の閾値（Ｌｎ＝１）以下であるエッジラインの画素は除去される（ノイズ除去処理）。

ソーベル画像からノイズ成分が除去されると、特徴点閾値Ｌｆ（＝４〜９）に基づいて、上下瞼の候補となるエッジラインを抽出する。
ノイズ成分が除去されたソーベル画像内の各エッジラインは、その大きさが所定の大きさ（特徴点閾値Ｌｆ＝４〜９画素）であるか否か判別される。大きさが４〜９画素であるエッジラインは、上下瞼の候補となるエッジラインであると判別される。

上下瞼の候補となるエッジラインを抽出すると、上下瞼の候補になる各エッジラインの内で所定の条件を満たすエッジラインが、上下瞼を構成する組の候補として抽出される。
上下瞼の候補になる各エッジラインの、上瞼と下瞼との重心間の距離を示す瞼開度と、瞼開度が得られた時の時刻と、を対応付けた瞼開度時系列情報が生成され、瞼開度時系列情報が所定の条件に合致したエッジラインが正しい上下瞼として定められる。
これにより、ソーベル画像からノイズ成分を除去した上で、上下瞼候補ひいては上下瞼を判別することができる。

以下、実施形態１の特徴点検出装置５０が上下瞼を抽出する動作について、詳細に説明する。
電源が投入されると、コンピュータ１４内のＣＰＵ２４は、図４に示す処理を繰り返して実行する。即ち、ＣＰＵ２４は、前処理（ステップＡ０）、顔位置判別処理（ステップＢ０）、顔中心線検出処理（ステップＣ０）、鼻孔検出処理（ステップＤ０）、エッジライン抽出処理（ステップＥ０）、ノイズ除去処理（ステップＥ３）、上下瞼候補決定処理（ステップＥ５）、上下瞼判別処理（ステップＦ０）、から構成される処理を繰り返して実行する。

図４に示す前処理（ステップＡ０）と顔位置判別処理（ステップＢ０）とは、ドライバーの左右方向及び上下方向の顔の位置（座標）を求めるための処理である。

顔中心線検出処理（ステップＣ０）は、ドライバーの顔の左右の中心線（仮想線）を検出するための処理である。
鼻孔検出処理（ステップＤ０）は、ドライバーの鼻孔（鼻孔に相当する画像）を検出するための処理である。

エッジライン抽出処理（ステップＥ０）は、ドライバーの鼻孔（の位置）に基づいて、上下瞼を探索する探索範囲を示す顔上部領域Ａを抽出（設定）する処理である。
また、顔上部領域Ａ内のソーベル画像から上瞼に対応するエッジラインの候補及び下瞼に対応するエッジラインの候補となるエッジライン（群）の抽出を行うための処理である。
このように、本実施形態においては、先ず鼻孔を検出し、検出された鼻孔に基づいて顔上部領域Ａを設定し、設定した顔上部領域Ａにおいてエッジラインの抽出を行っている。

ノイズ除去処理（ステップＥ３）は、抽出されたエッジラインの内、ノイズ成分を除去するステップである。
上下瞼候補決定処理（ステップＥ５）は、ノイズ成分が除去された後に残ったエッジラインから、上下瞼の候補となるエッジラインを決定する処理である。

上下瞼判別処理（ステップＦ０）は、顔上部領域Ａから抽出された上瞼の候補及び下瞼の候補となるエッジライン（群）の重心が移動する態様から瞼開度を算出し、瞼開度が所定の条件を満たす上下瞼候補のエッジラインを本物の瞼であると判定するための処理である。

以下、本実施形態に係る特徴点検出処理について説明する。

先ず、前処理（ステップＡ０）について説明する。
前処理（ステップＡ０）は、図５に示すように、キャプチャ処理（ステップＡ１）と、座標変換処理（ステップＡ２）と、ソーベルフィルタ処理（画像処理）（ステップＡ３）と、から構成される。

キャプチャ処理（ステップＡ１）は、カメラ１０の撮影したドライバーの１フレーム分の顔画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納する処理である。

座標変換処理（ステップＡ２）は、処理可能な程度に画素を間引く処理である。

ソーベルフィルタ処理（ステップＡ３）は、ＲＯＭ２３に格納されている縦エッジ検出用ソーベルフィルタ（図３（ａ））を用いて座標変換後の顔画像を処理して、顔画像内の縦エッジを強調する処理を施す。
また、ソーベルフィルタ処理（ステップＡ３）は、横エッジ検出用ソーベルフィルタ（図３（ｂ））を用いて座標変換後の顔画像を処理して、顔画像内の横エッジを強調する処理も行う。

なお、ソーベルフィルタの処理動作について、より具体的に説明する。
前提として、顔画像を構成する各画素は、第０階調〜第２５５階調の２５６階調の内いずれかの階調を有するものとする。第０階調は黒、第２５５階調は白である。顔画像は、白黒画像でもカラー画像でもよい。

ＣＰＵ２４は、カメラ１０により取得された顔画像にて１つの画素を抽出する。抽出した画素を、図３（ａ）又は（ｂ）の３×３行列の中心に対応させて、抽出した画素の階調とその画素に隣接する全ての画素が有する各階調とに、図３（ａ）又は（ｂ）に示されるオペレータにて対応する値をそれぞれ乗算する。
乗算して得られた値を全て合計して、その合計値を抽出した画素の階調に設定する。以下、図３（ａ）又は（ｂ）のオペレータによる操作後に各画素の階調として設定された値を「ソーベル値」という。
この操作を順次繰り返して顔画像全体に施すことにより、該顔画像の階調の変化の割合（階調の縦方向又は横方向の微分）を示すソーベル画像が抽出される。
なお、ＣＰＵ２４は、ステップＡ３において抽出された図３（ｅ）のソーベル画像をＲＡＭ２５に記憶させる。

次に、顔位置判別処理（ステップＢ０）について説明する。
図４の顔位置判別処理（ステップＢ０）は、前処理済みのソーベル画像を用いて顔の左右両端位置と上下位置を検出する処理であり、図６に示すように、顔両端検出処理（ステップＢ１）と顔上下位置検出処理（ステップＢ２）とから構成される。

顔両端検出処理（ステップＢ１）は、顔画像を図３（ａ）の縦エッジ検出用のオペレータで操作した縦ソーベル画像について、顔の両端を構成するラインを特定する処理であり、既知の任意の手法を採用することができる。

例えば、図７に示すように、顔両端検出用のヒストグラム作成処理を行う（ステップＢ１１）。
具体的に述べると、各画素のソーベル値を何段階かに分割し、ｘ値毎に最も多く各画素のソーベル値を取る段階を決定する。ｘ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。
続いて、このヒストグラムのピーク値の高いものを所定数抽出して、これをソートして（ステップＢ１２）、ヒストグラム値に基づき、端点を抽出する（ステップＢ１３）。例えば、ヒストグラム値の上位１又は２つが他と比較して極端に値が大きい場合、その点を端点とする。

次に、端点が２つ（両端）抽出されたか否かを判別する（ステップＢ１４）。２つ抽出されていれば（ステップＢ１４；Ｙｅｓ）、抽出した２点を顔の両端（ｘ座標）として決定する処理を行う（ステップＢ１６）。ここでは、顔の両端（ｘ座標）として座標ａ，ｂが得られたものとする。
一方、端点が２つ抽出できていなければ（ステップＢ１４；Ｎｏ）、２点の距離が、人の顔幅としてもっともらしい間隔を有する組み合わせを抽出することにより、端点を決定し（ステップＢ１５）、最終的に、顔面の両端（ｘ座標）を決定する処理を行う（ステップＢ１６）。
顔両端検出処理（ステップＢ１）が完了すると、処理を顔上下位置検出処理（ステップＢ２）に移す。

顔上下位置検出処理（ステップＢ２）は、顔両端検出処理（ステップＢ１）と同様の処理を横エッジについて行って、顔のほぼ眉の位置（上端）と口の位置（下端）を検出する処理である。
顔上下位置検出処理（ステップＢ２）は、図８に示すように、ヒストグラム作成処理（ステップＢ２１）、目下候補検出処理（ステップＢ２２）、顔上下位置算出処理（ステップＢ２３）、から構成される。

ヒストグラム作成処理（ステップＢ２１）は、顔画像を図３（ｂ）の横エッジ検出用のオペレータで操作した横ソーベル画像の各画素のソーベル値を横方向に投影してヒストグラムを作成する処理である。
具体的に述べると、各画素のソーベル値を何段階かに分割し、ｙ値毎に最も多く各画素のソーベル値を取る段階を決定する。ｙ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。

目下候補検出処理（ステップＢ２２）は、ヒストグラム値に基づいて、目・眉、口などに対応するヒストグラム値の候補を選択する処理である。
顔上下位置算出処理（ステップＢ２３）は、選択した候補から、顔の上端位置（ｙ座標）（例えば、目・眉の位置）を検出する処理である。なお、顔上端位置（ｙ座標）は、例えば、検出した眉から３画素分上の位置とし、下端位置は検出した口から３画素分下の位置（口と顎の間）などに設定される。

ＣＰＵ２４は、ステップＢ１及びＢ２で求めた、顔両端（左右側端）位置（ｘ座標）及び顔の上下位置（ｙ座標）をＲＡＭ２５に記憶する。
ここで、顔両端位置（ｘ座標）を図３（ｅ）のドライバーの顔画像に表した場合、図９に示すように、顔の両端位置の座標ａ、ｂに対応する。また、顔上下位置（ｙ座標）は、顔の上下位置の座標ｃ、ｅに対応する。

次に、顔中心線検出処理（ステップＣ０）の処理内容について説明する。
顔中心線検出処理（ステップＣ０）は、ドライバーの顔の中心線Ｂを求めて、ドライバーの顔が正面を向いているか否かを判別する処理であり、例えば、図１０に示す構成を有する。

中心線Ｂの測定手法自体は任意であるが、実施形態１では、ＣＰＵ２４が、次式から顔のｘ軸方向の中心（重心）位置の座標を求めるものとする。
顔の中心のｘ座標＝Σ（ｘｉ・Ｇｉ）／ΣＧｉ
ｘｉ：ｉ番目の画素のｘ座標の値
Ｇｉ：ｉ番目の画素の階調値
ｉ：１〜ｎ ｎは画素の総数

ＣＰＵ２４は、顔中心線Ｂを求めると（ステップＣ１）、ドライバーが正面を向いているか否かを判別するために、顔両端検出処理（ステップＢ１）で算出した顔両端位置（ｘ座標）ａ、ｂをＲＡＭ２５から読み出す。

ＣＰＵ２４は、ドライバーの顔が右方向を向いているか否かをｘ軸の顔中心線Ｂが左右両端位置の中心（ａ＋ｂ）／２より小さいか否かにより判別する（ステップＣ２）。

Ｂ＜（ａ＋ｂ）／２である場合（ステップＣ２；Ｙｅｓ）、ＣＰＵ２４は、図１１に示すように顔は右方向を向いていると判別して、処理をステップＣ１に移す。
一方、Ｂ＜（ａ＋ｂ）／２でない場合（ステップＣ２；Ｎｏ）、ＣＰＵ２４は、ドライバーの顔が左方向を向いているか、正面を向いているかを、ｘ軸の顔中心線Ｂが左右両端位置の中心（ａ＋ｂ）／２より大きいか否かにより判別する（ステップＣ３）。

Ｂ＞（ａ＋ｂ）／２である場合（ステップＣ３；Ｙｅｓ）、ＣＰＵ２４は、図１２に示すようにドライバーの顔が左方向を向いていると判別して、処理をステップＣ１に移す。
Ｂ＞（ａ＋ｂ）／２でない場合（ステップＣ３；Ｎｏ）、ＣＰＵ２４は、ドライバーの顔が正面を向いていると判別して、処理を鼻孔検出処理（ステップＤ０）に移す。
このように顔が正面を向いているときに、鼻孔検出処理を行う。

次に、鼻孔検出処理（ステップＤ０）の処理内容について説明する。鼻孔検出処理（ステップＤ０）では、ソーベル処理前の顔画像中で階調値が所定の閾値より小さい画素が３〜５画素で連続している画素領域を鼻孔の候補であると判別する。
鼻孔探索領域の抽出処理において、鼻孔の存在が予定されている領域を定義する領域指定データ（図３（ｅ）に示すｙ１，ｙ２）をＲＯＭ２３から読み出し、領域指定データ内に該当する顔画像（鼻孔領域）を切り出す。

更に、切り出した鼻孔領域の内で座標ａと座標ｂとの間に含まれる領域を抽出する（ステップＤ１）。即ち、ステップＤ１で抽出された領域内に存在する画素は、ａ≦ｘ≦ｂ、ｙ１≦ｙ≦ｙ２、の範囲の座標値を有する。
なお、以下では座標（ｘ，ｙ）に位置する画素を「画素（ｘ，ｙ）」で示す。また、ステップＤ１で抽出された領域（ａ≦ｘ≦ｂ、ｙ１≦ｙ≦ｙ２）を「鼻孔探索領域」という。
顔画像中の鼻孔探索領域内において、所定の閾値より階調値が小さい画素が縦横ともに３〜５連続している領域を鼻孔候補とし、例えば、鼻孔候補が水平に２つ並んでいるものを鼻孔として、その２つの鼻孔候補の中心を鼻孔位置とする。

鼻孔検出処理で鼻孔を検出した後に、上下瞼を検出するために、エッジラインの抽出、ノイズの除去を行う。
先ず、処理をエッジライン抽出処理（ステップＥ０）に移す。

次に、エッジライン抽出処理（ステップＥ０）について説明する。
エッジライン抽出処理は、ソーベル画像を得る画像処理、画像処理により得られたソーベル画像を細線化する細線化処理、から構成される。
本実施形態においては、前処理（ステップＡ０）のソーベルフィルタ処理（ステップＡ３）によりソーベル画像が予め得られているため、前処理で得られたソーベル画像を用いている。
なお、前処理においてソーベルフィルタ処理が不要な場合（例えば、顔位置、顔向き、等を検出する必要がない場合）には、細線化処理の前に画像処理としてのソーベルフィルタ処理を行い、ソーベル画像を得るようにしてもよい。

エッジライン抽出処理（ステップＥ０）は、先ず、ドライバーの上下瞼を抽出するために探索する領域である顔上部領域Ａを定める処理を実行する（ステップＥ１）。

顔上部領域Ａを抽出する方法は任意である。
実施形態１では鼻孔の位置に基づいて、顔上部領域Ａを抽出するように設定されている。
例えば、鼻孔から上方に所定距離だけ離れた位置に顔上部領域Ａを抽出する。

顔上部領域Ａを定めると、エッジライン抽出処理（ステップＥ０）は、横エッジ抽出処理（細線化処理）（ステップＥ２）を行う。

横エッジを検出する手法自体は任意であるが、実施形態１では、ソーベル画像において座標値ｘを順次更新しながら、顔上部領域Ａの画素をｙ方向に走査し、ソーベル値が極大あるいは極小となる画素を検出する。
このような画像を検出することにより、当該画素をエッジラインとして抽出することができる。エッジラインを抽出した後、以下のノイズ除去処理を行う。

ノイズ除去処理（ステップＥ３）は、図１４に示すように、ラベリング処理（ステップＥ３１）、ノイズ判定処理（ステップＥ３２）により構成される。
ラベリング処理（ステップＥ３１）は、上記のようにしてエッジラインとして検出された画素において、各画素の周囲に同じ種類のエッジラインの画素が存在するか否かを判別し、存在する場合には、対象となる画素とその周囲に存在する画素とを同一のエッジラインを構成する画素としてラベリングする。

ノイズ判定処理（ステップＥ３２）は、設定メモリ２８に記憶されているノイズ閾値Ｌｎに基づいてノイズ成分を検出して、除去する処理を行う。

具体的には、ラベリングにより分類された各エッジライン毎に、エッジラインの連続数を検出し、連続数が所定値以下のものをノイズとして除去することで行うことができる。
以上により、横エッジについてエッジライン抽出処理及びノイズ除去処理が完了する。
本実施形態においては、横エッジのノイズ除去処理が完了後、縦エッジについてエッジライン抽出処理及びノイズ除去処理を実行している。具体的には、横エッジの場合と同様であるが、細線化処理としての縦エッジ抽出処理を以下のように行う。

縦エッジ抽出処理は、ソーベル画像において座標値ｙを順次更新しながら、顔上部領域Ａの画素をｘ方向に走査し、ソーベル値が極大あるいは極小となる画素を、エッジラインを構成する画素として記憶する。それ以降は、基本的に横エッジの場合と同様に行われる。
縦エッジ抽出処理のノイズ除去処理が完了すれば、処理を上下瞼候補決定処理（ステップＥ５）に移す。

上下瞼候補の決定処理（ステップＥ５）は、図１５に示すように、横エッジ抽出処理（ステップＥ２）及び縦エッジ抽出処理完了後、顔上部領域Ａ（ａ≦ｘ≦ｂ、ｄ≦ｙ≦ｃ）内の画像に、横方向の連続数が４〜９であるエッジラインが得られているか否かを判別する（ステップＥ５１）。
得られている場合には（ステップＥ５１；Ｙｅｓ）、上下瞼の候補となるエッジラインが検出されたと決定して（ステップＥ５２）、処理を上下瞼判別処理（ステップＦ０）に移す。

次に、上下瞼判別処理（ステップＦ０）の処理内容について説明する。
上下瞼判別処理（ステップＦ０）は、例えば、図１６に示す構成を有する。

ＣＰＵ２４は、エッジライン抽出処理（ステップＥ０）により、ノイズ成分が除去された上瞼の候補のエッジライン及び下瞼の候補のエッジラインをＲＡＭ２５から読み出す（ステップＦ１）。
ここで、エッジライン抽出処理（ステップＥ０）完了後の顔上部領域Ａはソーベルフィルタ処理（ステップＡ３）が施されていることにより、図１７（ａ）に示すように、ｙ軸方向に輝度が暗い画素から明るい画素に移るエッジラインがマイナスエッジとして点線で表され、ｙ軸方向に光度が明るい画素から暗い画素に移るエッジラインがプラスエッジとして実線で表されている。

ステップＦ１にてＲＡＭ２５から読み出した上記のマイナスエッジラインとプラスエッジラインとから、次の三つの数式を満たすマイナスエッジとプラスエッジの組み合わせを抽出する。

先ず、ＣＰＵ２４は数式（１）を満たすマイナスエッジとプラスエッジの組み合わせがあるか否かを判別して、数式（１）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＦ２）。
｜Ｌｐ−Ｌｍ｜＜Ｌｔｈ・・・（１）
ただし、Ｌｐはプラスエッジの長さを表す値であり、Ｌｍはマイナスエッジの長さを表す値であり、Ｌｔｈは閾値である。数式（１）を満たすマイナスエッジとプラスエッジとの長さは閾値Ｌｔｈの範囲で近似している。

また、ＣＰＵ２４は数式（２）を満たすマイナスエッジとプラスエッジの組み合わせがあるか否かを判別して、数式（２）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＦ３）。
｜Ｃｘｐ−Ｃｘｍ｜＜Ｃｘｔｈ・・・（２）
ただし、Ｃｘｐはプラスエッジの重心のｘ座標、Ｃｘｍはマイナスエッジの重心のｘ座標、Ｃｘｔｈは閾値、である。数式（２）を満たすマイナスエッジとプラスエッジとの重心のｘ座標は閾値Ｃｘｔｈの範囲で近似している。

更に、ＣＰＵ２４は数式（３）を満たすマイナスエッジとプラスエッジの組み合わせがあるか否かを判別して、数式（３）を満たすマイナスエッジとプラスエッジの組み合わせを抽出する（ステップＦ４）。
Ｄｇ＜Ｄｔｈ・・・（３）
ただし、Ｄｇはマイナスエッジの重心とプラスエッジの重心との間の距離であり、Ｄｔｈは閾値である。数式（３）を満たすマイナスエッジとプラスエッジとの重心間距離は閾値Ｄｔｈ以内である。

つまり、数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせは、ある程度、長さが等しく、位置が近く、重心のｘ座標が一致しているマイナスエッジとプラスエッジの組み合わせである。
図１７（ａ）の内から、数式（１）〜（３）を満たすマイナスエッジとプラスエッジの組み合わせをドライバーの瞼の候補として抽出する。このとき、プラスエッジＰＥ１とマイナスエッジＭＥ１との組み合わせが候補１、プラスエッジＰＥ２とマイナスエッジＭＥ２との組み合わせが候補２、プラスエッジＰＥ３とマイナスエッジＭＥ３との組み合わせが候補３、プラスエッジＰＥ４とマイナスエッジＭＥ４との組み合わせが候補４、となる。

更に、上下瞼候補を抽出する際には、次のような条件を付加してもよい。
つまり、プラスエッジの重心のｙ座標とマイナスエッジの重心のｙ座標との中点のｙ座標を求め、このｙ座標のｘ軸方向両側（あるいは一方）に縦エッジが存在する場合に、当該プラスエッジとマイナスエッジとの組合せを上下瞼候補として抽出するようにしてもよい。

そして、特徴点検出装置５０は、候補１〜４について、マイナスエッジの重心とプラスエッジの重心との間の距離Ｄｇの時間軸に対する変化を計測する。図１８（ａ）〜（ｄ）に示すグラフは、候補１〜４の、時間軸に対するマイナスエッジとプラスエッジとの重心間距離Ｄｇの変化を示すグラフである。

候補１は、図１８（ａ）に示すように、距離Ｄｇは時間軸に対してほとんど変化がない。また、候補２も、図１８（ｂ）に示すように、距離Ｄｇは時間軸に対してほとんど変化がない。
候補３〜４は、図１８（ｃ）〜（ｄ）に示すように距離Ｄｇの時間軸に対するグラフにおいて極小値ＭＶ１〜ＭＶ６を持つ。

ＣＰＵ２４は、ｙ軸方向又はその反対方向に重心が移動するマイナスエッジとプラスエッジの組み合わせがあるか否かを判別する（ステップＦ５）。
ＣＰＵ２４は、ｙ軸方向又はその反対方向に重心が移動するマイナスエッジとプラスエッジの組み合わせがない場合（ステップＦ５；Ｎｏ）、ＣＰＵ２４は、設定メモリ２８に格納されている設定情報を変更することにより、設定領域を変更または拡大して（ステップＦ６）、処理をステップＦ１に戻す。

上記の瞼の候補の内、図１７（ｂ）に示すように、プラスエッジの重心がｙ軸方向と反対方向に移動しているときにマイナスエッジの重心がｙ軸方向に移動し、プラスエッジの重心がｙ軸方向に移動しているときに（ステップＦ５；Ｙｅｓ）、マイナスエッジの重心がｙ軸方向と反対方向に移動する候補を瞼と判定する（ステップＦ７）。
これにより、ソーベル画像からドライバーの正しい上下瞼が求められ、図４の全ての処理が終了する。

上記説明したように、実施形態１では、顔画像にソーベルフィルタ処理を施した顔画像から抽出した顔の特徴点を示すエッジラインで、正しい上下瞼の組み合わせを検出することができる。

なお、鼻孔検出処理（ステップＤ０）又はエッジライン抽出処理（ステップＥ０）にて、顔の特徴点を示すエッジライン（鼻孔の候補、又は、上下瞼の候補）を抽出する方法は、任意の手法を用いるようにしてもよい。

顔上部領域Ａは、操作装置２９を介してユーザから変更可能としてもよい。
これにより、顔の特徴点を示す画像を検出するときに、検出処理時間を短縮することが可能となる。

（実施形態２）
実施形態１では、ソーベルフィルタにより階調の変化の割合を抽出する処理を顔画像に施して、ソーベル画像から顔の特徴点を示すエッジラインを抽出した。しかし、顔の特徴点を示すエッジラインの抽出はソーベルフィルタ処理以外の処理を施した顔画像から抽出するようにしてもよい。
実施形態２では、顔画像に二値化処理（画像処理）を施した後の顔画像（二値化画像）から顔の特徴点を示すエッジラインを抽出する例を示す。

以下、図１８を参照して、本発明に係る実施形態２について説明する。
実施形態２の特徴点検出装置５０の構成、及び、コンピュータ１４の回路構成は、実施形態１と同一である。

次に、実施形態２の顔の特徴点を抽出する処理について説明する。
実施形態２の顔の特徴点を抽出する動作は、以下の点において実施形態１と異なる。

実施形態２の前処理（ステップＡ０）では、図５のソーベルフィルタ処理（ステップＡ３）を行う代わりに、二値化処理を実行する。

実施形態２のエッジライン抽出処理（ステップＥ０）では、ソーベル画像から上下瞼のエッジラインを抽出する代わりに、図１９の境界抽出処理を行うことにより二値化処理の施された顔画像（以下、「二値化画像」という）から鼻孔又は眼の画像を抽出する。

以下、実施形態２の前処理（ステップＡ０）について説明する。
実施形態２の前処理（ステップＡ０）では、座標変換処理（ステップＡ２）を施した後の顔画像を、所定の閾値に基づいて二値化する。二値化する際の閾値には、例えば、顔画像を形成する全画素の階調の平均値を使用できる。
これにより、図１９（ａ）に示すように、二値化処理の施されたドライバーの顔画像（二値化画像）が生成される。
前処理（ステップＡ０）が完了すると、処理を顔位置判別処理（ステップＢ０）、顔中心線検出処理（ステップＣ０）に移す。

実施形態２の顔位置判別処理（ステップＢ０）、顔中心線検出処理（ステップＣ０）は、実施形態１と同様である。
顔位置判別処理（ステップＢ０）により、図１８（ａ）に示すように、ドライバーの左右方向及び上下方向の顔の位置（座標）ａ，ｂ，ｃ，ｄが定まる。また、顔中心線検出処理（ステップＣ０）により、図１８（ａ）に示すように、ドライバーの顔の左右の中心線（仮想線）Ｂが検出される。

実施形態２の鼻孔検出処理（ステップＤ０）の処理内容についても、実施形態１と同様である。

更に、鼻孔決定処理（ステップＤ４）によりドライバーの左右の鼻孔の画像が検出されると、上下瞼の候補となるエッジラインを抽出するために、処理をエッジライン抽出処理（ステップＥ０）に移す。

なお、実施形態１及び実施形態２に共通するが、顔位置判別処理、顔中心線検出処理、鼻孔検出処理、は実行しなくてもよい。前処理を行った後、以下のエッジライン抽出処理（ステップＥ０）を実行するようにしてもよい。

以下、実施形態２のエッジライン抽出処理（ステップＥ０）について説明する。
実施形態２のエッジライン抽出処理（ステップＥ０）は、図１３に示す実施形態１のエッジライン抽出処理（ステップＥ０）と基本的な流れは同一である。
ただし、実施形態２のエッジライン抽出処理（ステップＥ０）では、二値化画像の明暗の境界をエッジラインとして抽出することにより眼の候補の画像を抽出して、眼の候補の画像から上下瞼の候補のエッジラインを抽出する。

実施形態２のエッジライン抽出処理においては、実施形態１においてソーベル値が極大、極小となる画素を検出しているのに対し、二値化画像の明暗の境界に位置する画素をエッジラインを構成する画素として検出する点で異なる。

つまり、二値化画像において座標値ｘを順次更新しながら、顔上部領域Ａの画素をｙ方向に走査し、明暗（白黒）が明（白）から暗（黒）に変化したときの、明（白）あるいは暗（黒）の画素を、明から暗へのエッジラインを構成する画素として検出する。
同様に、暗（黒）から明（白）に変化したときの暗（黒）あるいは明（白）の画素を、暗から明へのエッジラインを構成する画素として検出する。
これにより、エッジラインが抽出される。
次に、ノイズ除去処理を実行する。

ノイズ除去処理（ステップＥ３）は、基本的には実施形態１と同様である。
ただし、図１４のノイズ除去処理（ステップＥ３）において、ラベリング処理（ステップＥ３１）は、エッジラインとして抽出された画素において、各画素の周囲に同じ種類（ここでは、明→暗、あるいは、暗→明）のエッジラインの画素が存在するか否かを判別し、存在する場合には、対象となる画素とその周囲に存在する画素とを同一のエッジラインを構成する画素としてラベリングする点が異なる。
エッジライン抽出処理、ノイズ除去処理が完了すると、処理を上下瞼候補決定処理（ステップＥ５）に移す。上下瞼候補決定処理（ステップＥ５）は、実施形態１と同様である。
上下瞼候補決定処理を完了すると、処理を上下瞼判別処理に移す。

実施形態２の上下瞼判別処理（ステップＦ０）は、実施形態１と同様である。
上下瞼判別処理（ステップＦ０）により、上下瞼の候補のエッジラインの内から、図１７（ｂ）に示すように、プラスエッジの重心がｙ軸方向と反対方向に移動しているときにマイナスエッジの重心がｙ軸方向に移動し、プラスエッジの重心がｙ軸方向に移動しているときに、マイナスエッジの重心がｙ軸方向と反対方向に移動する候補が、上下瞼として判定される。

ノイズ成分か否かを判別するためのノイズ閾値Ｌｎは１に限らず、任意の値を設定できるようにすればよい。
また、顔の特徴点を示すエッジラインと黒の画素との間に位置する白の連続数も任意の値を設定できるようにしてもよい。

顔上部領域Ａは、操作装置２９を介してユーザから変更可能としてもよい。
これにより、顔の特徴点を示す画像を検出するときに、検出処理時間を短縮することが可能となる。

なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。
本実施形態では、コンピュータ１４は、カメラ１０が撮影した対象者の顔の動画像について眼瞼検出処理を行ったが、カメラ１０以外の外部装置から取得した対象者の顔の動画像を画像メモリ２２に格納しておき、その動画像について眼瞼検出処理を行ってもよい。

コンピュータ１４としては、携帯電話、ＰＤＡ（Personal Data Assistance），パーソナルコンピュータ（ノート型、ラップトップ型等）、ウエアラブルコンピュータ、車両・船舶などの移動体に設定されたコンピュータなどを広く利用可能である。

その他、本発明の概念は、専用のコンピュータシステムに限らず、通信機能を備える任意の電子装置に適用可能である。即ち、コンピュータを上述のコンピュータ１４として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、上記コンピュータ１４として、これを使用、譲渡、貸与などしてもよい。

本発明の実施形態１に係る特徴点検出装置の構成を示すブロック図である。 図１に示すコンピュータの構成を示すブロック図である。 ＲＯＭまたはＲＡＭに格納されている各種データを説明するための図である。 本発明の実施形態１に係る処理の概要を説明するための図である。 本発明の実施形態の前処理を説明するためのフローチャートである。 本発明の実施形態の顔位置判別処理を説明するためのフローチャートである。 本発明の実施形態の顔両端検出処理を説明するためのフローチャートである。 本発明の実施形態の顔上下位置検出処理を説明するためのフローチャートである。 ソーベルフィルタ処理を施したときのドライバーの顔画像を示す図である。 本発明の実施形態の顔中心線検出処理を説明するためのフローチャートである。 ドライバーが右方向を向いているときの顔画像を示す図である。 ドライバーが左方向を向いているときの顔画像を示す図である。 本発明の実施形態１のエッジライン抽出処理を説明するためのフローチャートである。 本発明の実施形態１のノイズ除去処理を説明するためのフローチャートである。 本発明の実施形態１の上下瞼候補決定処理を説明するためのフローチャートである。 本発明の実施形態１の上下瞼判別処理を説明するためのフローチャートである。 （ａ）は、顔上部領域における、上下瞼の候補となるエッジラインの組み合わせを示す図である。（ｂ）は、（ａ）の上下瞼の候補となるエッジラインの内から正しい瞼を判別するときの、正しい瞼に該当する上下瞼の候補のエッジラインが示すべき動作を説明するための図である。 図１７（ａ）における上下瞼の候補となるエッジラインの重心間距離の経時変化を示す図である。 （ａ）は、二値化処理を施したときのドライバーの顔画像を示す図である。（ｂ）は、（ａ）から鼻孔領域を抽出した画像を示す図である。（ｃ）は、（ａ）から顔上部領域を抽出した画像を示す図である。（ｄ）は、（ｃ）から上下瞼の候補となるエッジラインを抽出した画像を示す図である。

符号の説明

１０ カメラ
１２ 照明光源
１４ コンピュータ
１６ 表示装置
２１ Ａ／Ｄ変換器
２２ 画像メモリ
２３ ＲＯＭ
２４ ＣＰＵ（エッジライン抽出手段、ノイズ処理手段、特徴点判別手段、画像処理手段、細線化手段、境界検出手段）
２５ ＲＡＭ
２６ 表示制御装置
２８ 設定メモリ（記憶手段）
２９ 操作装置
５０ 特徴点検出装置

Claims (5)

1. 対象者の顔を撮影して得られた顔画像に含まれる、階調の異なる領域の境界線であるエッジラインを抽出するエッジライン抽出手段と、
   該エッジライン抽出手段が抽出したエッジラインのうちから、所定の大きさ未満であるエッジラインをノイズ成分として除去するノイズ処理手段と、
   該ノイズ処理手段によってノイズ成分が除去されたエッジラインの内で所定の条件を満たすものを、前記対象者の特徴点を示すエッジラインであると判別する特徴点判別手段と、
   を備えることを特徴とする特徴点検出装置。
2. 前記エッジライン抽出手段は、
   前記顔画像に基づき、該顔画像の階調が変化する程度を表す階調変化画像を生成する画像処理手段と、
   前記画像処理手段により生成された階調変化画像を細線化してエッジラインを抽出する細線化手段と、を備え、
   前記ノイズ処理手段は、前記細線化手段により抽出されたエッジラインの内から、所定の大きさ未満と判別されたものをノイズ成分として除去する、ことを特徴とする請求項１に記載の特徴点検出装置。
3. 前記エッジライン抽出手段は、
   前記顔画像に基づき、該顔画像の二値化画像を生成する画像処理手段と、
   前記画像処理手段により生成された二値化画像の明暗の境界をエッジラインとして検出する境界検出手段と、を備え、
   前記ノイズ処理手段は、前記境界検出手段により検出されたエッジラインの内から、所定の大きさ未満と判別されたものをノイズ成分として除去する、ことを特徴とする請求項１に記載の特徴点検出装置。
4. エッジラインを探索する領域を示すパラメータを記憶する記憶手段を備え、
   前記エッジライン抽出手段は、前記記憶手段が記憶するパラメータが示す領域内でエッジラインを探索する、ことを特徴とする請求項１に記載の特徴点検出装置。
5. コンピュータに、
   対象者の顔の撮像画像を取得するステップ、
   前記取得された顔画像から、画像領域の境界を示すエッジラインを抽出するエッジライン抽出ステップ、
   抽出したエッジラインのうちから、所定の大きさ未満のエッジラインをノイズ成分として除去するノイズ除去ステップ、
   前記ノイズ成分が除去されたエッジラインのうちから所定の条件を満たすものを、対象者の特徴点を示すエッジラインとして処理するステップ、
   を実行させるプログラム。

Images