JP2002251617A

JP2002251617A - 鼻位置検出装置

Info

Publication number: JP2002251617A
Application number: JP2001047133A
Authority: JP
Inventors: Michinori Ando; 道則安藤
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2001-02-22
Filing date: 2001-02-22
Publication date: 2002-09-06

Abstract

(57)【要約】【課題】眼鏡を着用したドライバが脇見をした場合で
あっても正確にドライバの鼻の位置を検出する。【解決手段】選択された鼻筋の下部近傍において、第
１の探索領域を設定し、第１の探索領域内で第１の横方
向エッジを検出する（ステップＳＴ１０６）。鼻筋と第
１の横方向エッジとに基づいて、鼻の位置が正確に検出
されたかの判定を行う（ステップＳＴ１０８）。ここで
は、第１の横方向エッジが検出された場合は、鼻の位置
は正確に検出されたと判定して、ステップＳＴ１１０に
移行する。なお、第１の横方向エッジが検出されなかっ
た場合は、鼻の位置は正確に検出されなかったと判定し
て処理を終了する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、鼻位置検出装置に
係り、特に、ドライバーの顔画像から鼻の位置を認識す
る鼻位置検出装置に関する。

【０００２】

【従来の技術】特開２０００−１９３４２０号公報に
は、鼻の角度や向きに影響されずに安定して眼の位置を
検出する眼の位置検出装置が記載されている。眼の位置
検出装置は、鼻筋探索領域の左側エッジと右側エッジを
抽出し、抽出した左側及び右側エッジに基づいた複数の
領域を鼻筋の候補として抽出し、抽出された鼻筋の候補
から鼻筋の候補の縦方向の長さに基づいて鼻筋を選択す
る。そして、選択された鼻筋の中点を検出し、鼻筋の中
点に基づいて眼の存在領域（眼領域）を設定して眼の位
置を検出する。

【０００３】このように、眼の位置検出装置は、鼻筋候
補の中から縦方向の長さに基づいて鼻筋を選択して鼻の
位置を正確に検出し、鼻の位置に基づいて眼の位置を検
出していた。

【０００４】

【発明が解決しようとする課題】しかし、上記眼の位置
検出装置は、ドライバが眼鏡を着用していた場合、眼鏡
の縦方向フレームを鼻筋と誤認して、眼の位置を正確に
検出することができない問題があった。例えば図３１に
示すように、ドライバが右方向に脇見をした場合、顔画
像のほぼ中央の縦エッジは、眼鏡の縦フレームだけにな
る。したがって、上記眼の位置検出装置は、眼鏡の縦フ
レームを鼻と誤認してしまい、この結果、正確に眼の位
置を検出することができないことがあった。また、ドラ
イバが左方向に脇見をした場合も、同様に眼鏡の縦フレ
ームを鼻と誤認することがあった。

【０００５】本発明は、上述した課題を解決するために
提案されたものであり、眼鏡を着用した人が右や左を向
いた場合であっても正確に鼻の位置を検出することがで
きる鼻位置検出装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
顔を斜め前方から撮影した画像、または斜め前方から光
を受けた顔を撮影した画像に基づいて鼻の位置を検出す
る鼻位置検出装置であって、前記画像から顔の領域を抽
出する顔領域抽出手段と、前記顔領域抽出手段により抽
出された顔の領域から各々異なるしきい値を用いて左側
エッジと右側エッジとを抽出し、抽出した左側エッジ及
び右側エッジに基づいた領域を鼻筋の候補として抽出す
る鼻筋候補抽出手段と、前記鼻筋候補抽出手段により抽
出された鼻筋の候補から鼻筋を選択する鼻筋選択手段
と、前記鼻筋選択手段により選択された鼻筋の下方側の
領域において第１の横方向エッジを検出する第１の横方
向エッジ検出手段と、前記第１の横方向エッジ検出手段
により前記第１の横方向エッジを検出できなかったとき
に、前記鼻筋選択手段により選択された鼻筋の位置は誤
認であると判定する判定手段と、を備えて構成されてい
る。

【０００７】顔を斜め前方から撮影した画像、または斜
め前方から光を受けた顔を撮影した画像に基づいて眼の
位置を検出する。顔を斜め前方から撮影する場合には、
顔はいずれの方向から光を受けてもよく、斜め前方から
光を受けた顔を撮影する場合は、顔の真正面や斜め前方
等いずれの方向から撮影してもよい。これによって、鼻
筋の左側エッジと右側エッジとが異なるように撮影され
る。

【０００８】顔領域抽出手段は、入力された画像から顔
の領域を抽出する。この顔の領域は、入力された顔画像
を適当な輝度しきい値により２値画像に変換し、変換さ
れた２値画像を用いて抽出することができる。

【０００９】鼻筋候補抽出手段は、抽出された顔の領域
から各々異なるしきい値を用いて左側エッジと右側エッ
ジとを抽出し、抽出した左側エッジ及び右側エッジに基
づいた領域を鼻筋の候補として抽出する。

【００１０】この場合、抽出された顔の領域内で、所定
の領域を鼻筋探索領域として設定して鼻筋の候補を抽出
するのが効果的である。この所定の領域は、顔の撮影方
向または顔が光を受ける方向に応じて設定することがで
き、顔に向かって斜め右前方から顔を撮影した画像、ま
たは顔に向かって斜め右前方から光を受けた顔を撮影し
た画像に基づいて眼の位置を検出する場合には、顔の領
域の向かって左側半分の領域を鼻筋探索領域として設定
することができる。また、鼻筋の候補は、左側エッジ及
び右側エッジの対を検出し、エッジの対が存在する領域
を鼻筋の候補として抽出することができる。

【００１１】左側エッジと右側エッジとを抽出する際の
しきい値を異ならせたのは、顔を斜め前方から撮影して
いるか、または斜め前方から光を受けた顔を撮影してい
ることから鼻筋の左右のエッジ強度が異なるためであ
る。顔に向かって斜め右前方から顔を撮影した場合、ま
たは顔に向かって斜め右前方から光を受けた顔を撮影し
た場合には、（左側エッジに対するしきい値）＜（右側
エッジに対するしきい値）になる。

【００１２】鼻筋選択手段は、抽出された鼻筋の候補か
ら、例えば、候補領域の縦の長さに関する条件を用い
て、最も確からしい候補を鼻筋として選択する。条件を
満足しない場合は、鼻筋検出不可とする。候補領域の縦
の長さに関する条件を用いて抽出する場合には、適当な
しきい値より長い候補を選択し、選択した候補の中から
長さの最も長いものを鼻筋として選択する。

【００１３】第１の横方向エッジ検出手段は、鼻筋選択
手段により選択された鼻筋の下方近傍の領域において、
鼻下横エッジを第１の横方向エッジとして検出する。顔
面は鼻下横エッジの部分に比べて明るいので、ここで
は、上側が白で下側が黒になっているエッジを検出すれ
ばよい。

【００１４】通常の顔画像では、縦方向に鼻筋があり、
鼻筋の下側には鼻下横エッジがある。しかし、鼻筋を誤
認すると、その下側に存在するはずの第１の横方向エッ
ジを検出することができない。そこで、判定手段は、第
１の横方向エッジを検出できなかったときに、鼻筋選択
手段により選択された鼻筋の位置は誤認であると判定す
る。

【００１５】請求項２記載の発明は、請求項１記載の発
明において、前記第１の横方向エッジの下方近傍の領域
であり、かつ顔の正面に対する撮影方向又は顔に当たる
光の方向に応じた方向近傍の領域において、第２の横方
向エッジを検出する第２の横方向エッジ検出手段を更に
備え、前記判定手段は、前記第２の横方向エッジ検出手
段により第２の横方向エッジが検出されたときに、前記
鼻筋選択手段により選択された鼻筋の位置は誤認である
と判定することを特徴とする。

【００１６】請求項１記載の発明では、まれに、眼鏡の
横フレームを第１の横方向エッジとして誤って検出して
しまい、鼻位置を誤認することがある。そこで、このよ
うな誤認を回避するために、第１の横方向エッジの下方
近傍の領域であり、かつ顔の正面に対する撮影方向又は
顔に当たる光の方向に応じた方向近傍の領域において、
第２の横方向エッジを検出する。

【００１７】ここで、顔の正面に対する撮影方向又は顔
に当たる光の方向に応じた方向とは、顔の正面に向かっ
て右側から撮影した場合又は顔の正面に向かって右側か
ら光を当てた場合は、顔の正面に対して右側の方向をい
う。一方、顔の正面に向かって左側から撮影した場合又
は顔の正面に向かって左側から光を当てた場合は、顔の
正面に対して左側の方向をいう。

【００１８】実際の鼻下横エッジを第１の横方向エッジ
として検出した場合は、第２の横方向エッジを検出しよ
うとしても検出することができないはずである。しか
し、第１の横方向エッジを誤認して検出した場合は、第
２の横方向エッジを検出してしまう。そこで、判定手段
は、第２の横方向エッジが検出されたときに、鼻筋選択
手段により選択された鼻筋の位置は誤認であると判定す
る。

【００１９】請求項３記載の発明は、請求項１または２
記載の発明において、前記鼻筋候補抽出手段により抽出
された鼻筋候補と前記第１の横方向エッジ検出手段によ
り検出された第１の横方向エッジとの関係に基づいて、
眼鏡フレームの有無を検出する眼鏡フレーム検出手段を
更に備え、前記判定手段は、前記眼鏡フレーム検出手段
により眼鏡フレームが検出されたときに、前記鼻筋選択
手段により選択された鼻筋の位置は誤認であると判定す
ることを特徴とする。

【００２０】眼鏡レンズの縁に設けられた眼鏡フレーム
は、眼鏡レンズの形状が円形であっても多角形であって
も、細いドーナツ状に形成されている。そこで、眼鏡フ
レーム検出手段は、鼻筋候補と第１の横方向エッジの関
係が眼鏡の縦フレームと横フレームの関係に対応してい
るかを判定し、対応している場合は、検出された鼻筋候
補と第１の横方向エッジは眼鏡フレームであると判定す
る。なお、鼻筋候補と第１の横方向エッジの関係が眼鏡
の縦フレームと横フレームの関係に対応していない場合
は、検出された鼻筋の位置は正しいと判定する。

【００２１】また、顔にマスクが着用されている場合
は、鼻下横エッジはマスクに隠れてしまうので、第１の
横方向エッジを検出することができない。このとき、顔
とマスクの境界を示す境界エッジを検出するのが好まし
い。

【００２２】ここで、第１の横方向エッジ検出手段は、
上述したように、上側が白で下側が黒になっているエッ
ジを検出している。一方、顔はマスクに対して暗くなっ
ているので、境界エッジを検出するときは、上側が黒で
下側が白になっているエッジを検出する必要がある。

【００２３】そこで、前記第１の横方向エッジ検出手段
は、第１の横方向エッジを検出することができないとき
は、エッジの勾配を切り換えて、上側が黒で下側が白に
なっている境界エッジを検出するのが好ましい。エッジ
の勾配を切り換えるのは、例えば第１の横方向エッジを
検出できなかった回数が所定の閾値を超えた場合や、顔
面下半分領域の輝度分布に対する顔面上半分領域の輝度
分布の比が所定値より高い場合が好ましい。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。

【００２５】［第１の実施の形態］第１の実施の形態に
係る眼位置検出装置は、図１に示すように、ドライバー
の顔をドライバーの正面に向かって斜め右側から撮影又
はドライバーの正面に向かって斜め右側から光が当たる
状態で撮影するカメラ１０、画像処理用のコンピュータ
１１、及びコンピュータ１１に接続されて抽出された２
値化画像等を表示するＣＲＴで構成された表示装置３２
によって構成されている。

【００２６】画像処理用のコンピュータ１１は、カメラ
１０から入力された画像信号をディジタル変換するアナ
ログ−ディジタル（Ａ／Ｄ）変換器１２、ＣＰＵ１４、
第１の眼位置検出処理ルーチンのプログラムが記憶され
たＲＯＭ１６、ＲＡＭ１８、画像データを記憶する画像
メモリ２０、輝度平均値を記憶する平均値レジスタ２
２、各種の度数分布を表すヒストグラムを記憶するヒス
トグラムメモリ２４、顔領域の座標を記憶する顔領域座
標レジスタ２６、鼻筋探査領域の座標を記憶する鼻筋探
査領域座標レジスタ２８、表示装置３２に接続された出
力ポート３０、輝度平均値の差、輝度平均値の総和の値
及び０等を記憶する画像メモリ３４、及びこれらを接続
するコントロールバスやデータバス等のバス３６で構成
されている。そして、カメラ１０から入力された画像信
号は、Ａ／Ｄ変換器１２によってディジタルの画像デー
タに変換されて画像メモリ２０に記憶されている。

【００２７】（メインルーチン）図２は、ＲＯＭ１６に
記憶された第１の眼位置検出処理ルーチンを示すフロー
チャートである。ＣＰＵ１４は、第１の眼位置検出ルー
チンに基づいて、ステップＳＴ１００，１０２，・・
・，１１２，１１４の順に処理する。

【００２８】（ステップＳＴ１００）ステップＳＴ１０
０において、画像メモリ２０に記憶されている顔画像か
ら矩形状の顔領域の対角線の両端座標で表される顔領域
座標（ｘ1 ，ｙ1 ），（ｘ2，ｙ2 ）を算出し、算出し
た顔領域座標を顔領域レジスタ２６に記憶すると共に、
顔領域座標から鼻筋探索領域座標（ｘ1 ，ｙ1 ），（ｘ
0 ，ｙ2 ）を算出し、鼻筋探索領域座標レジスタ２８に
記憶する。ただし、ｘ1 ＜ｘ0 ＜ｘ2 、ｙ1 ＜ｙ2 、ｘ
0 ＝（ｘ1 ＋ｘ2 ）／２である。

【００２９】図３は、ステップＳＴ１００の詳細な処理
手順を示すフローチャートである。すなわち、ステップ
ＳＴ１００では、具体的にはステップＳＴ１２０からス
テップＳＴ１３４までの処理を実行する。

【００３０】ステップＳＴ１２０において、顔画像（グ
レー画像）の各画素の輝度値を予め定められた適当なし
きい値と比較することにより、顔画像をラベル１、０が
付された２値画像に変換する。

【００３１】次のステップＳＴ１２２では、図４に示す
ように、２値画像のラベルをＸＹ平面上のＸ軸、及びＹ
軸へ投影したヒストグラムを求め、ステップＳＴ１２４
において求めたヒストグラムをヒストグラムメモリ２４
に記憶する。このヒストグラムは、あるＸ座標を通りか
つＹ軸に平行な直線上に位置する画素のラベルを積算し
た値を度数とすることにより得られる。なお、Ｙ軸につ
いても同様であり、あるＹ座標を通りかつＸ軸に平行な
直線上に位置する画素のラベルを積算した値を度数とす
ることにより得られる。

【００３２】ステップＳＴ１２６では、図４に示すよう
に、Ｘ軸上でのヒストグラムの度数のピーク値を算出す
る。Ｙ軸についても同様に度数のピーク値を算出する。
ステップＳＴ１２８では、図４に示すように、Ｘ軸上で
度数がピークの座標から、しきい値と度数とを比較しな
がら左右へ進んでいく過程で、しきい値を横切った座標
より度数が大きいＸ座標ｘ1 ，ｘ2 を顔領域座標として
抽出する。Ｙ軸に関しても同様な方法で顔領域座標ｙ1
，ｙ2 を抽出する。これによって、顔領域座標（ｘ1
，ｙ1 ），（ｘ2 ，ｙ2 ）が算出される。算出された
顔領域座標は、ステップＳＴ１３０において顔領域座標
レジスタ２６に記憶される。

【００３３】ステップＳＴ１３２において、顔領域座標
から顔の向かって左半分の領域に属する座標を鼻筋探索
領域座標（ｘ1 ，ｙ1 ），（ｘ0 ，ｙ2 ）として選択
し、ステップＳＴ１３４において選択された鼻筋探索領
域座標が鼻筋探索領域座標レジスタ２８に記憶する。

【００３４】以上のように、ステップＳＴ１２０からス
テップＳＴ１３４までの処理を終了するとサブルーチン
を抜けて、図２に示すステップＳＴ１０２に移行する。

【００３５】（ステップＳＴ１０２）ステップＳＴ１０
２では、画像メモリ２０に記憶されている顔画像上の算
出された鼻筋探索領域座標で示される領域内に対して、
各々異なるしきい値を用いて鼻筋探索領域の左側エッジ
と右側エッジとを抽出し、抽出した左側エッジ及び右側
エッジに基づいた複数の領域を鼻筋の候補として抽出す
る。

【００３６】具体的には、ステップＳＴ１０２における
鼻筋候補抽出処理は、図５に示す左側エッジ抽出処理ル
ーチン、図６に示す右側エッジ抽出処理ルーチン、図７
に示す左右エッジの対抽出処理ルーチンをそれぞれ実行
する。

【００３７】（左側エッジ抽出処理）図５は、左側エッ
ジ抽出処理ルーチンを示すフローチャートである。

【００３８】左側エッジ抽出処理ルーチンでは、図８
（Ａ）に示すように、鼻筋探索領域座標レジスタ２８に
記憶されている鼻筋探索領域座標に基づき、画像メモリ
２０に記憶されている顔画像上の鼻筋探索領域上で顔の
横方向に隣接して連続するように左側から右側に向かっ
て設定された１画素の矩形領域１、矩形領域２の２個の
矩形領域を２組備えた矩形のウインドウ４０を用いる。
このウインドウ４０は、矩形領域１及び矩形領域２から
なる１組の矩形領域を顔の横方向に１画素分左方向にず
らして構成されており、鼻筋探索領域上で１画素ずつ右
方向にずらしてスキャンすることを上から下方向に１画
素ずつずらしてスキャンすることにより左側エッジが抽
出される。

【００３９】図５のステップＳＴ１４０では、各矩形領
域１、２内の全画素の輝度値を積算することにより輝度
積算値を各々算出する。ステップＳＴ１４２では、矩形
領域１内の輝度積算値の和を矩形領域１内の全画素数で
除算すると共に、矩形領域２内の輝度積算値の和を矩形
領域２内の全画素数で除算することにより、矩形領域
１、２内の輝度平均値Ｐ１，Ｐ２を算出し、輝度平均値
レジスタ２２にウインドウ４０の位置に応じて保存す
る。

【００４０】次のステップＳＴ１４４では、隣接する矩
形領域１、２内の輝度平均値の差（Ｐ１−Ｐ２）の各々
と、しきい値Ｋ１とを比較し、Ｐ１−Ｐ２＞Ｋ１の条件
を満足するか否かを判断する。

【００４１】ステップＳＴ１４４で上記の条件を満足す
ると判断されたとき、すなわち隣接する矩形領域内の輝
度平均値の差が大きいことから鼻筋候補の左側エッジで
あると判断される場合には、ステップＳＴ１４６におい
て、顔画像が記憶されている画像メモリとは別の画像メ
モリ３４へ、輝度平均値の差（Ｐ１−Ｐ２）の値を書き
込む。書き込むべき座標は、図８の矩形領域１の中で最
も上に位置する画素の座標とする。同時にステップＳＴ
１４８においてヒストグラムメモリ２４に記憶されてい
る輝度平均値の差の度数分布を表すヒストグラムの差
（Ｐ１−Ｐ２）に対する度数を１増加する。

【００４２】ステップＳＴ１４４において上記の条件を
満足しないと判断されたとき、すなわち隣接する矩形領
域１、２間の輝度平均値の差が小さい場合には、左側エ
ッジが存在しないと推定してステップＳＴ１５０におい
て、顔画像が記憶されている画像メモリとは別の画像メ
モリ３４へ０を書き込む。書き込むべき座標は、図８
（Ａ）の矩形領域１の中で最も上に位置する画素の座標
とする。同時に、ステップＳＴ１５２においてヒストグ
ラムメモリ２４の差が０の度数を１増加する。

【００４３】なお、輝度平均値の差（Ｐ１−Ｐ２）の値
及び０は、図８（Ａ）のウインドウの中心座標に書き込
むべきであるが、この例では便宜上、左上の画素として
いる。

【００４４】次のステップＳＴ１５４では、鼻筋探索領
域の画像全面についてステップＳＴ１４０〜ステップＳ
Ｔ１５２の処理が終了したか否かを判断し、処理が終了
していない場合にはウインドウを１画素ずらしてステッ
プＳＴ１４０に戻り、上記の処理を繰り返す。

【００４５】上記の処理を、矩形のウインドウ４０を１
画素ずつずらしながら、入力画像である鼻筋探索領域の
画像全体に対して行うことにより、輝度平均値の差が書
き込まれた画像及びヒストグラムが得られる。

【００４６】ステップＳＴ１５４で鼻筋探索領域の画像
全面について処理が終了していると判断された場合は、
ステップＳＴ１５６においてヒストグラムメモリに記憶
されているヒストグラムに基づいて輝度平均値の差（Ｐ
１−Ｐ２）に対するしきい値Ｋ２を算出する。すなわ
ち、ヒストグラムの上位の度数から度数を積算し、積算
した値が全度数に対して所定割り合いに到達した際の差
（Ｐ１−Ｐ２）の値をしきい値Ｋ２として設定する。こ
の全度数に対する所定割り合いは、予めシミュレーショ
ン等によって設定される。

【００４７】ステップＳＴ１５８では、各画素の輝度平
均値の差（Ｐ１−Ｐ２）としきい値Ｋ２とを比較して
（Ｐ１−Ｐ２）＞Ｋ２の条件を満足するか否かを判断す
る。

【００４８】上記条件を満足する画素に対してはステッ
プＳＴ１６０において出力するときの値を１とし、上記
条件を満足しない画素に対してはステップＳＴ１６２に
おいて出力するときの値を０とするようにラベリングを
行い２値化を行う。上記の２値化処理はステップＳＴ１
６４で鼻筋探索領域の画像全面について処理が終了した
と判断されるまで継続される。そして、鼻筋探索領域の
画像全面について処理を行うことにより鼻筋の左側のエ
ッジに相当する白／黒エッジが抽出される。左側のエッ
ジ抽出処理による２値画像の例を図９（Ａ）に示す。

【００４９】（右側エッジ抽出処理）図６は、右側エッ
ジ抽出処理ルーチンを示すフローチャートである。

【００５０】右側エッジ抽出処理ルーチンでは、図８
（Ｂ）に示すように、鼻筋探索領域座標レジスタ２８に
記憶されている鼻筋探索領域座標に基づき、画像メモリ
２０に記憶されている顔画像上の鼻筋探索領域上で顔の
横方向に隣接して連続するように左側から右側に向かっ
て設定された１画素の矩形領域３、及び４画素の矩形領
域４からなる２個の矩形領域を４組備えた矩形のウイン
ドウ５０を用いる。このウインドウ５０は、矩形領域３
及び矩形領域４からなる１組の矩形領域を顔の横方向に
順に１画素ずつ左方向にずらして構成されており、鼻筋
探索領域上で１画素ずつ右方向にずらしてスキャンする
ことを下方向に１画素ずつずらしてスキャンすることに
より右側エッジが抽出される。

【００５１】右側エッジ抽出処理に使用する矩形のウイ
ンドウ５０が、左側エッジ抽出処理に使用する矩形のウ
インドウ４０と形状が異なるのは、ドライバーの顔をド
ライバーに向かって右斜め前方から撮影しているためで
あり、左側エッジが右側エッジに比較して弱いことから
左側エッジについては微小面積で輝度平均の差を演算し
てエッジを抽出し易くしている。

【００５２】図６に示す右側エッジ抽出処理は、図５で
説明した左側エッジ抽出処理と同様であるので対応する
部分には同一符号を付して説明する。図６に示す右側エ
ッジ抽出処理では、ステップＳＴ１４２において矩形領
域３内の輝度積算値の和を矩形領域３内の全画素数で除
算すると共に、矩形領域４内の輝度積算値の和を矩形領
域４内の全画素数で除算することにより、矩形領域３、
４内の輝度平均値Ｐ３，Ｐ４を算出し、ステップＳＴ１
５６においてヒストグラムメモリに記憶されているヒス
トグラムに基づいて輝度平均値の差（Ｐ４−Ｐ３）に対
するしきい値Ｋ３を算出する。すなわち、ヒストグラム
の上位の度数から度数を積算し、積算した値が全度数に
対して所定割り合いに到達した際の差（Ｐ４−Ｐ３）の
値をしきい値Ｋ３として設定する。この全度数に対する
所定割り合いは、予めシミュレーション等によって設定
される。

【００５３】顔を斜め右方向から撮影していることから
鼻の左右のエッジ強度が異なるため、このしきい値Ｋ３
は左側エッジのしきい値Ｋ２とは異なった大きさに設定
されている。すなわち、顔を斜め右方向から撮影してい
ることから（左側エッジに対するしきい値Ｋ２）＜（右
側エッジに対するしきい値Ｋ３）のように定められてい
る。

【００５４】そして、鼻筋領域の画像全面について左側
エッジの場合と同様の処理を行うことにより鼻筋の右側
のエッジに相当する黒／白エッジが抽出される。右側の
エッジ抽出処理による２値画像の例を図９（Ｂ）に示
す。

【００５５】（左右エッジの対抽出処理）図７は、左側
エッジの抽出結果及び左側エッジの抽出結果に対して行
う左右エッジの対抽出処理ルーチンを示すフローチャー
トである。この左右エッジの対抽出処理では、左右のエ
ッジが近接して存在する点を抽出する。

【００５６】ステップＳＴ１７０では右側エッジ点を選
択し、ステップＳＴ１７２で図１０に示すように、右側
のエッジ点を起点として、左方向へ適当な距離だけ水平
方向に探索していき、ステップＳＴ１７４で左側のエッ
ジ点が存在するか否かを判断する。左側のエッジ点が存
在すれば、ステップＳＴ１７６で起点とした右側エッジ
点及び右側エッジ点に対応する左側エッジ点をエッジ対
として採用する。エッジ対として採用した場合には、右
側エッジの座標をＲＡＭ等のメモリに記憶する。

【００５７】一方、左側エッジ点が存在しなければ、ス
テップＳＴ１７８において選択した右側のエッジ点を消
去する。そして、ステップＳＴ１８０において右側のエ
ッジ点の全部についてステップＳＴ１７０〜ステップＳ
Ｔ１７８の処理を行った否かを判断し、行っていない場
合にはステップＳＴ１７０に戻って上記の処理を繰り返
す。

【００５８】以上の結果、左右のエッジ対が存在する場
合に右側のエッジの座標を記憶し、この右側のエッジの
座標で表される領域を鼻筋候補領域として図９（Ｃ）の
例に示すように抽出して、図２に示すステップＳＴ１０
４に移行する。なお、この鼻筋候補領域は通常複数個抽
出される。図１１は、顔領域と抽出された鼻筋候補領域
との関係を示すものであり、図１１では鼻筋候補領域
１、２の２つの候補が抽出されている。

【００５９】（ステップＳＴ１０４）ステップＳＴ１０
４では、抽出された鼻筋の候補の縦方向の長さに基づい
て鼻筋を選択する。

【００６０】図１２は、複数の鼻筋候補領域から鼻筋を
検出する処理手順を示すフローチャートである。すなわ
ち、ステップＳＴ１０４では、具体的にはステップＳＴ
２００からステップＳＴ２１０までの処理が実行され
る。

【００６１】ステップＳＴ２００では、ステップＳＴ１
０２で抽出された複数の鼻筋候補領域の各々に対して、
図１３に示すように、各鼻筋候補領域の右上、左下の位
置座標を求める。なお、鼻筋候補領域の位置座標の算出
の詳細については後述する。

【００６２】ステップＳＴ２０２では、抽出された鼻筋
候補領域を線分と仮定し、鼻筋候補領域の右上、左下の
位置座標から鼻筋候補領域の縦の長さを算出する。

【００６３】ステップＳＴ２０４では、鼻筋候補領域の
縦方向の長さと予め定められたしきい値Ｌとを比較し、
縦方向の長さがしきい値Ｌを越えている場合にステップ
ＳＴ２０６で鼻筋候補として選択する。一方、鼻筋候補
領域の縦方向の長さがしきい値Ｌ以下の場合には鼻筋候
補として選択することなく次のステップＳＴ２０８に進
む。

【００６４】ステップＳＴ２０８では、全鼻筋候補領域
についてステップＳＴ２００〜ステップＳＴ２０６の処
理を終了したか否かを判断し、終了していない場合には
ステップＳＴ２００に戻って上記の処理を繰り返し、終
了した場合にはステップＳＴ２１０において選択された
鼻筋候補のうち縦方向の長さが最も長い鼻筋候補を鼻筋
として選択する。例えば図１１の例では、鼻筋候補領域
１が選択される。なお、鼻筋候補が選択されなかった場
合は、鼻筋を検出することができないので、処理を終了
する。

【００６５】ここで、上記ステップＳＴ２００の鼻筋候
補領域の位置座標算出処理ルーチンの詳細について図１
４を参照して説明する。

【００６６】この鼻筋候補領域の位置座標算出処理で
は、図９（Ｃ）に例示する２値画像（鼻筋候補領域画
像）を右から左へスキャンすることを上から下ヘ順に実
行しながら、ラベルが“１”の座標、すなわち２値画像
の輝度値が１の座標を探索する。なお、２値画像を右か
ら左ヘスキャンする理由は、ラベルが“１”であり、か
つ最も右上の画素を最初に発見するためである。

【００６７】ラベルが“１”である最も右上の点を発見
した後、ステップＳＴ２４０でその座標の画素を注目画
素としてその画素の周辺座標の画素のラベルを評価す
る。

【００６８】第１番目として、図１５に示すように注目
画素（ｉ，ｊ）が含まれるスキャンラインの次のスキャ
ンライン上の最も右側に位置するＤ座標のラベルを評価
する（ステップＳＴ２４２）。Ｄ座標のラベルが“１”
ならば、Ｄ座標へ移動して、Ｄ座標のラベルを“０”に
する（ステップＳＴ２４２、２４４）。

【００６９】第２番目として、図１５に示すように注目
画素の左隣に位置するＣ座標のラベルを評価する（ステ
ップＳＴ２４６）。Ｃ座標のラベルが“１”ならば、Ｃ
座標へ移動して、Ｃ座標のラベルを“０”にする（ステ
ップＳＴ２４６、２４８）。

【００７０】第３番目として、図１５に示すようにＣ座
標の下側に位置するＢ座標のラベルを評価する（ステッ
プＳＴ２５０）。Ｂ座標のラベルが“１”ならば、Ｂ座
標へ移動して、Ｂ座標のラベルを“０”にする（ステッ
プＳＴ２５０、２５２）。

【００７１】第４番目として、図１５に示すように注目
画素の下側に位置するＡ座標のラベルを評価する（ステ
ップＳＴ２５４）。Ａ座標のラベルが“１”ならば、Ａ
座標へ移動して、Ａ座標のラベルを“０”にする（ステ
ップＳＴ２５４、２５６）。

【００７２】第５番目として、図１５に示すようにＣ座
標の左隣に位置するＥ座標のラベルを評価する（ステッ
プＳＴ２５８）。Ｅ座標のラベルが“１”ならば、Ｅ座
標のラベルを“０”にする（ステップＳＴ２５８、２６
０）。

【００７３】第６番目として、図１５に示すようにＥ座
標の左隣に位置するＦ座標のラベルを評価する（ステッ
プＳＴ２６２）。Ｆ座標のラベルが“１”ならば、Ｆ座
標のラベルを“０”にする（ステップＳＴ２６２、２６
４）。

【００７４】ステップＳＴ２６６で座標の移動があった
か否かを判断し、座標の移動があれば、ステップＳＴ２
４２へ戻って移動した座標で上記ステップＳＴ２４２〜
ステップＳＴ２６４の処理を繰り返す。一方、ステップ
ＳＴ２６６で移動がないと判断されたならば、Ａ，Ｂ，
Ｃ，Ｄの全座標のラベルが“０”なので、ラベルの探索
はその座標点で終了し、右上、左下の座標をレジスタに
書き込む。

【００７５】鼻筋候補領域画像全面について右上に位置
する注目画素を出発点として左下まで行うことにより、
鼻筋候補領域の位置座標が算出される。

【００７６】（ステップＳＴ１０６）ステップＳＴ１０
６において、選択された鼻筋の下部近傍において、図１
６に示すように第１の探索領域を設定する。そして、第
１の探索領域内で鼻下横エッジを第１の横方向エッジと
して検出して、ステップＳＴ１０８に移行する。

【００７７】（ステップＳＴ１０８）ステップＳＴ１０
８において、鼻筋と第１の横方向エッジとに基づいて、
鼻の位置が正確に検出されたかの判定を行う。ここで
は、第１の横方向エッジが検出された場合は、鼻の位置
は正確に検出されたと判定して、ステップＳＴ１１０に
移行する。なお、第１の横方向エッジが検出されなかっ
た場合は、鼻の位置は正確に検出されなかったと判定し
て処理を終了する。

【００７８】なお、鼻下横エッジでなくて口のエッジを
第１の横方向エッジとして検出した場合でも、鼻の位置
を正確に検出したと判定する。この理由は、鼻下横エッ
ジと口のエッジはＸ座標に関してはほぼ同じでありＹ座
標のみ異なることから、鼻筋と口のエッジを一組と考え
ても、鼻筋の位置は正確に検出することができるからで
ある。

【００７９】（ステップＳＴ１１０）ステップＳＴ１１
０において、鼻筋の中点を算出する。具体的には図１７
に示すように、選択された鼻筋を示す領域の右上、左下
の位置座標を結んだ直線の中点座標を演算して、ステッ
プＳＴ１１２に移行する。

【００８０】（ステップＳＴ１１２）ステップＳＴ１１
２において、ステップＳＴ１１０で演算された中点座標
を鼻筋の中心点であると仮定して、この中点座標から眼
が存在すると予想される眼の存在領域（眼領域）を設定
する。眼領域は、顔の統計的情報に基づいて決定された
鼻と眼との位置関係に基づいて設定される。

【００８１】この鼻と眼との位置関係は、図１８に示す
ように、中心座標（鼻筋中点）が右下角に位置するＬ１
×Ｌ３の矩形とこの矩形から右方向に距離Ｌ２だけ離れ
たＬ１×Ｌ３の矩形とで表され、各矩形の中に眼が存在
すると仮定される。そして、顔領域のサイズを算出し、
この顔領域のサイズに応じてＬ１、Ｌ２、Ｌ３の長さを
変化させて眼領域を設定する。例えば、顔領域の縦の長
さに比例させてＬ１の長さを変化させる。また、顔領域
の横の長さに比例させてＬ２、Ｌ３の長さを変化させ
る。なお、顔領域の縦及び横の長さの各々に比例させて
Ｌ１、Ｌ２、Ｌ３の長さを各々変化させてもよい。

【００８２】（ステップＳＴ１１４）ステップＳＴ１１
４において、設定された眼領域から眼の位置を検出す
る。具体的には、図１９に示す処理を実行する。ここ
で、図１９は、ステップＳＴ１１４の詳細な処理手順を
示すフローチャートである。

【００８３】ステップＳＴ２２０では、設定された眼領
域に対応する画像データを画像メモリ２０から読み込
み、ステップＳＴ２２２で設定された眼領域の輝度値の
度数分布を表すヒストグラムを算出する。ステップＳＴ
２２４では、算出されたヒストグラム上で度数のピーク
を検出する。

【００８４】ステップＳＴ２２６では、図２０に示すよ
うに、ヒストグラム上で度数のピークから左へ進んでい
き、最初に現れた度数の谷を検出し、この谷の輝度値を
しきい値として設定する。ステップＳＴ２２８では、前
記眼領域の各画素の輝度値としきい値とを比較し、輝度
がしきい値を越える画素に対してはステップＳＴ２３０
において出力するときの値を１とし、輝度がしきい値以
下の画素に対してはステップＳＴ２３２において出力す
るときの値を０とし、２値化を行う。上記の２値化処理
はステップＳＴ２３４で眼領域全面について処理が終了
したと判断されるまで継続される。そして、眼領域全面
について処理を行うことにより眼領域の画像が２値画像
に変換される。このときの眼領域の原画と眼領域の２値
画像の例を図２１（Ａ），（Ｂ）に示す。

【００８５】次に、ステップＳＴ２３６において眼領域
の２値画像に最小値フィルタ処理を実行すると、図２１
（Ｃ）に示すように黒領域が検出され、検出された黒領
域の中で、眼領域のほぼ中央に位置する黒領域を、眼の
領域として選択する。

【００８６】以上のように、本実施の形態に係る眼位置
検出装置は、鼻筋だけでなく鼻筋に対応する鼻下横エッ
ジを検出することにより鼻の位置を正確に検出し、鼻の
位置を用いて眼の位置を正確に検出することができる。
これにより、眼鏡を着用したドライバが脇見をした場合
であっても、眼鏡の縦フレームを鼻筋と誤認することが
なくなり、眼の位置の検出精度をより向上させることが
できる。

【００８７】［第２の実施の形態］つぎに、本発明の第
２の実施の形態について説明する。なお、第１の実施の
形態と同一の部位や同一の処理については同一の符号を
付し、詳細な説明は省略する。

【００８８】第２の実施の形態に係る眼位置検出装置
は、第１の実施の形態と同様に、図１に示すように構成
されている。ここで、カメラ１０は、ドライバーの顔を
ドライバーの正面に向かって斜め右側から撮影し、又は
ドライバーの正面に向かって斜め右側から光が当たる状
態で撮影している。また、ＲＯＭ１６には、第２の眼位
置検出処理ルーチンのプログラムが記憶されている。

【００８９】図２２は、第２の眼位置検出処理ルーチン
を示すフローチャートである。ＣＰＵ１４は、第２の眼
位置検出ルーチンに基づいて、第１の眼位置検出処理ル
ーチンと同様のステップＳＴ１００，ＳＴ１０２，ＳＴ
１０４，ＳＴ１０６を処理した後、ステップＳＴ１０７
に移行する。

【００９０】ステップＳＴ１０７において、第１の横方
向エッジの右下近傍の方向に第２の探索領域を設定し、
第２の探索領域内で第２の横方向エッジを検出して、ス
テップＳＴ１０９に移行する。

【００９１】ステップＳＴ１０９において、第２の探索
領域内で第２の横方向エッジが検出された場合は、ステ
ップＳＴ１０６で検出された第１の横方向エッジは誤認
である、すなわち鼻下横エッジではないと判定する。一
方、第２の探索領域内で第２の横方向エッジが検出され
なかった場合は、第１の横方向エッジは本来の鼻下横エ
ッジであり、鼻の位置を正確に検出することができたと
判定して、ステップＳＴ１１０に移行する。そして、ス
テップＳＴ１１０，ＳＴ１１２，ＳＴ１１４について
は、第１の眼位置検出処理ルーチンと同様に処理して、
眼の位置を検出するする。

【００９２】例えば図２３に示すように、ドライバーが
左に脇見をした場合、眼鏡の縦フレームを鼻筋として誤
認し、さらに眼鏡の横フレームを第１の横エッジと誤認
することがある。しかし、ステップＳＴ１０７におい
て、第２の探索領域で実際の鼻下横エッジを第２の横方
向エッジとして検出する。この結果、ステップＳＴ１０
９において、ステップＳＴ１０４で選択した鼻筋及びス
テップＳＴ１０６で検出した第１の横方向エッジは誤認
であると判定することができる。

【００９３】一方、例えば図２４に示すように、ドライ
バーが正面を見ている場合、ステップＳＴ１０７におい
て、第２の横方向エッジを検出することができない。こ
の結果、ステップＳＴ１０９において、第１の横方向エ
ッジは実際の鼻下横エッジであるので、鼻の位置を正確
に検出したと判定することができる。

【００９４】なお、例えば図３１に示すように、ドライ
バーが右に脇見をした場合、眼鏡の縦フレームを鼻筋と
誤認したとしても第１の横方向エッジを検出することが
できないので、第１の実施の形態と同様に、鼻位置の誤
認を判定することができる。

【００９５】以上のように、第２の実施の形態に係る眼
位置検出装置は、第１の実施の形態でドライバーの鼻位
置の誤認が生じるような場合であっても、第２の横方向
エッジを検出することによって鼻の位置の誤認がないか
を確認し、この結果、眼の位置の検出精度をより向上さ
せることができる。

【００９６】なお、第１の探索領域に対する第２の探索
領域の方向は、ドライバーに対するカメラ１０の位置、
ドライバーに当たる光の方向によって異なる。例えば本
実施の形態では、カメラ１０はドライバーの顔をドライ
バーの正面に向かって斜め右側から撮影し又はドライバ
ーの正面に向かって斜め右側から光が当たる状態で撮影
しているので、第２の探索領域は、第１の探索領域に対
して右下近傍の方向に設定している。これに対して、カ
メラ１０がドライバーの顔をドライバーの正面に向かっ
て斜め左側から撮影し又はドライバーの正面に向かって
斜め左側から光が当たる状態で撮影する場合では、第２
の探索領域は、第１の探索領域に対して左下近傍の方向
に設定するのが好ましい。

【００９７】［第３の実施の形態］つぎに、本発明の第
３の実施の形態について説明する。なお、第１の実施の
形態と同一の部位や同一の処理については同一の符号を
付し、詳細な説明は省略する。

【００９８】第３の実施の形態に係る眼位置検出装置
は、第１の実施の形態と同様に、図１に示すように構成
されている。ここで、ドライバーに対するカメラ１０の
位置や、ドライバーに当たる光の方向も第１の実施の形
態と同様である。また、ＲＯＭ１６には、第３の眼位置
検出処理ルーチンのプログラムが記憶されている。

【００９９】図２５は、第３の眼位置検出処理ルーチン
を示すフローチャートである。ＣＰＵ１４は、第３の眼
位置検出ルーチンに基づいて、第１の眼位置検出処理ル
ーチンと同様のステップＳＴ１００，ＳＴ１０２，ＳＴ
１０４，ＳＴ１０６を処理した後、ステップＳＴ３００
に移行する。

【０１００】ステップＳＴ３００において、第１の横方
向エッジの近傍の位置に、図２６に示すように、横方向
に細長い長方形状の眼鏡フレーム候補領域を設定して、
ステップＳＴ３０２に移行する。

【０１０１】ステップＳＴ３０２において、ステップＳ
Ｔ１０２で抽出した鼻筋候補（ステップＳＴ１０４で選
択した鼻筋を除くのが好ましい。）、ステップＳＴ１０
６で検出した第１の横方向エッジ、及び眼鏡フレーム候
補領域の関係に基づいて、鼻筋の位置が正しいかを判定
する。

【０１０２】ここでは、鼻筋候補、眼鏡フレーム候補領
域、第１の横方向エッジがそれぞれ連結するかを判定
し、連結しないときはステップＳＴ１０４で選択された
鼻筋の位置は正しいと判定して、図２５に示すステップ
ＳＴ１１０に移行する。

【０１０３】一方、図２６に示すように、鼻筋候補、眼
鏡フレーム候補領域、第１の横方向エッジがそれぞれ連
結するときは、連結された横方向の長さが所定の閾値よ
り長いかを判定し、所定値より長いときは眼鏡フレーム
候補領域によって連結された鼻筋候補及び第１の横方向
エッジは眼鏡フレームであるので、鼻の位置を正しく検
出できなかったと判定する。

【０１０４】また、連結された横方向の長さが所定の閾
値より長くないときは、第１の横方向エッジは実際の鼻
下横エッジであるので、鼻の位置が正確に検出されたと
判定して、図２５に示すステップＳＴ１１０に移行す
る。

【０１０５】そして、第１の眼位置検出処理ルーチンと
同様にステップＳＴ１１０，ＳＴ１１２，ＳＴ１１４を
処理して、ドライバの眼の位置を検出する。

【０１０６】以上のように、第３の実施の形態に係る眼
位置検出装置は、眼鏡フレーム候補領域を設定すること
によって鼻筋候補と第１の横方向エッジとが眼鏡フレー
ムであるかを判定することができるので、鼻位置の誤認
を防止して、眼の位置を正確に検出することができる。

【０１０７】なお、本実施の形態では、眼鏡フレーム候
補領域を設定することによって、鼻筋候補と第１の横方
向エッジが眼鏡フレームであるかを判定していたが、本
発明はこれに限定されるものではない。すなわち、鼻筋
候補と第１の横方向エッジとの関係に基づいて、眼鏡フ
レームであるかを判定することができればよい。

【０１０８】［第４の実施の形態］つぎに、本発明の第
４の実施の形態について説明する。なお、第１の実施の
形態と同一の部位や同一の処理については同一の符号を
付し、詳細な説明は省略する。

【０１０９】第４の実施の形態に係る眼位置検出装置
は、第１の実施の形態と同様に図１に示すように構成さ
れ、ドライバーがマスクを着用した場合でも鼻位置及び
眼位置を検出する。ここで、ＲＯＭ１６には、第４の眼
位置検出処理ルーチンのプログラムが記憶されている。

【０１１０】図２７は、第４の眼位置検出処理ルーチン
を示すフローチャートである。ＣＰＵ１４は、第４の眼
位置検出ルーチンに基づいて、第１の眼位置検出処理ル
ーチンと同様のステップＳＴ１００，ＳＴ１０２，ＳＴ
１０４を処理した後、ステップＳＴ１０５に移行する。

【０１１１】ステップＳＴ１０５において、上述したス
テップＳＴ１０６と同様に第１の横方向エッジを検出す
る。しかし、例えば図２８に示すように、ドライバーが
マスクを着用している場合、鼻下横エッジである第１の
横方向エッジを検出することができないので、顔とマス
クの境界を示す境界エッジを検出する。

【０１１２】ここで、顔面は鼻下横エッジの部分に比べ
て明るいので、第１の横方向エッジの上側は下側に比べ
て明るくなっている。一方、顔はマスクに比べて暗いの
で、境界エッジの上側は下側に比べて暗くなっている。
したがって、第１の横方向エッジを検出する場合は、上
側が白で下側が黒になっているエッジを検出している
が、境界エッジを検出する場合は、上側が黒で下側が黒
になっているエッジを検出する必要がある。すなわち、
第１の横方向エッジと境界エッジは、抽出すべきエッジ
の上側と下側で白黒が逆（エッジの勾配が逆）になって
いる。そこで、ステップＳＴ１０５では、具体的には第
１又は第２のエッジ勾配切換ルーチンを実行する。

【０１１３】（第１のエッジ勾配切換ルーチン）図２９
は、第１のエッジ勾配切換ルーチンを示すフローチャー
トである。

【０１１４】ステップＳＴ３１１において、ステップＳ
Ｔ１０６と同様に第１の横方向エッジを検出してステッ
プＳＴ３１２に移行する。なお、第１の横方向エッジを
検出できなかった場合もステップＳＴ３１２に移行す
る。

【０１１５】ステップＳＴ３１２において、第１の横方
向エッジを検出したかを判定し、検出したときはサブル
ーチンを抜けて、図２７に示すステップＳＴ１０８に移
行する。一方、第１の横方向エッジを検出しなかったと
きはステップＳＴ３１３に移行する。

【０１１６】ステップＳＴ３１３において、ステップＳ
Ｔ３１１で第１の横方向エッジを検出することができな
かった回数、つまり第１の横方向エッジを検出するため
にリトライした回数を計測して、ステップＳＴ３１４に
移行する。

【０１１７】ステップＳＴ３１４において、第１の横方
向エッジを検出することができなかった回数が所定の閾
値を超えたかを判定し、所定の閾値を超えていないとき
はステップＳＴ３１１に戻って、第１の横方向エッジの
検出をリトライする。一方、第１の横方向エッジを検出
することができなかった回数が所定の閾値を超えたとき
はステップＳＴ３１５に移行する。

【０１１８】ステップＳＴ３１５において、上側が黒で
あり下側が白であるエッジを検出するようにエッジの勾
配を切り換えて、ステップＳＴ３１６に移行する。そし
て、ステップＳＴ３１６において、境界エッジを検出し
てサブルーチンを抜ける。

【０１１９】なお、境界エッジを検出することができな
かった場合は、再びエッジ勾配を切り換えてステップＳ
Ｔ３１１に戻り、再び第１の横方向エッジを検出するの
が好ましい。第１の横方向エッジを検出できないのは、
ドライバーがマスクを着用している場合だけでなく、他
の原因（例えば鼻下横エッジが画像内に入っていないこ
と等）の可能性もある。このように、ドライバーの顔の
位置が変われば第１の横方向エッジを検出できることも
あるので、境界エッジを検出することができなかった場
合は、再びエッジ勾配を切り換えるのが好ましい。

【０１２０】（第２のエッジ勾配切換ルーチン）図３０
は、第２のエッジ勾配切換ルーチンを示すフローチャー
トである。第２のエッジ勾配切換ルーチンは、ドライバ
の顔の輝度分布に基づいてマスクの有無を判定してい
る。

【０１２１】ステップＳＴ３２１において、ステップＳ
Ｔ１０６と同様に第１の横方向エッジを検出してステッ
プＳＴ３２２に移行する。なお、第１の横方向エッジを
検出できなかった場合もステップＳＴ３２２に移行す
る。

【０１２２】ステップＳＴ３２２において、第１の横方
向エッジを検出したかを判定し、検出したときはサブル
ーチンを抜けて、図２７に示すステップＳＴ１０８に移
行する。一方、第１の横方向エッジを検出しなかったと
きはステップＳＴ３２３に移行する。

【０１２３】ステップＳＴ３２３において、ドライバの
顔領域の輝度分布を計算し、さらに、顔領域の上半分の
輝度平均値Ｙ_uに対する顔領域の下半分の輝度平均値Ｙ_d
の比である輝度平均値比Ｙ_d／Ｙ_uを算出して、ステップ
ＳＴ３２４に移行する。なお、顔領域の上半分と下半分
の分割については、予め設定された所定の位置で分割し
てもよいし、鼻筋の切れている下側の位置で分割しても
よい。

【０１２４】ステップＳＴ３２４において、輝度平均値
比Ｙ_d／Ｙ_uが所定の閾値を超えたかを判定し、所定の閾
値を超えたと判定したときは、ステップＳＴ３２５に移
行し、所定の閾値を超えていないと判定したときはステ
ップＳＴ３２１に戻る。

【０１２５】ステップＳＴ３２５において、顔領域の下
半分の輝度分布が高く、ドライバがマスクを着用してい
ると考えられるので、上側が黒であり下側が白であるエ
ッジを検出するようにエッジの勾配を切り換えて、ステ
ップＳＴ３２６に移行する。そして、ステップＳＴ３２
６において、境界エッジを検出してサブルーチンを抜け
る。

【０１２６】なお、境界エッジを検出することができな
かった場合は、第１のエッジ勾配切換ルーチンと同様
に、再度エッジ勾配を切り換えてステップＳＴ１３１に
戻り、第１の横方向エッジを検出してもよい。

【０１２７】そして、上述した第１又は第２のエッジ勾
配切換ルーチンを抜けると、図２７に示すステップＳＴ
１０８に移行し、第１の眼位置検出処理ルーチンと同様
にステップＳＴ１０８，ＳＴ１１０，ＳＴ１１２，ＳＴ
１１４を処理して、ドライバの眼の位置を検出する。

【０１２８】以上のように、第４の実施の形態に係る眼
位置検出装置は、第１の横方向エッジを検出できなかっ
た場合は、エッジの勾配を切り換えて境界エッジを検出
することにより鼻の位置を正確に検出し、鼻の位置から
眼の位置を検出することができる。特に、第２のエッジ
勾配切換ルーチンを用いた場合は、顔分布の輝度分布に
基づいてマスク着用の有無を直接判定しているので、よ
り確実に境界エッジを検出し、眼の位置の検出精度を向
上させることができる。

【０１２９】なお、本実施の形態では、第１の横方向エ
ッジ検出のリトライ回数や顔領域の輝度分布に基づいて
マスク着用の有無を判定していたが、他の手法を用いて
マスクの着用の有無を判定してもよいのは勿論である。

【０１３０】

【発明の効果】請求項１記載の発明は、鼻筋の下方近傍
の領域において第１の横方向エッジを検出できなかった
ときに、鼻筋選択手段により選択された鼻筋の位置は誤
認であると判定することにより、眼鏡の縦フレームを鼻
筋と誤認することがなくなり、眼鏡を着用した場合であ
っても鼻の位置を正確に検出することができる。

【０１３１】請求項２記載の発明は、第１の横方向エッ
ジの下方近傍の領域であり、かつ顔の正面に対する撮影
方向又は顔に当たる光の方向に応じた方向の領域におい
て第２の横方向エッジを検出し、第２の横方向エッジが
検出されたときに鼻筋選択手段により選択された鼻筋の
位置は誤認であると判定することにより、請求項３記載
の発明は、鼻筋候補と第１の横方向エッジとの関係に基
づいて眼鏡フレームの有無を検出することにより、眼鏡
フレームを鼻筋と誤認することを回避することができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る眼位置検出装置の構
成を示すブロック図である。

【図２】眼位置検出装置に備えられたＲＯＭに記憶され
た第１の眼位置検出処理ルーチンを示すフローチャート
である。

【図３】第１の眼位置検出処理ルーチンのステップＳＴ
１００におけるサブルーチンを示すフローチャートであ
る。

【図４】２値画像をＸ軸に投影したヒストグラムを示す
線図である。

【図５】左側エッジ抽出処理ルーチンを示すフローチャ
ートである。

【図６】右側エッジ抽出処理ルーチンを示すフローチャ
ートである。

【図７】左右エッジの対抽出処理ルーチンを示すフロー
チャートである。

【図８】（Ａ）は左側エッジ抽出処理用のウインドウの
平面図、（Ｂ）右側エッジ抽出処理用のウインドウの平
面図である

【図９】（Ａ）は左側エッジ抽出処理による２値画像の
平面図、（Ｂ）右側エッジ抽出処理による２値画像の平
面図、（Ｃ）はエッジ対抽出結果である鼻筋候補領域画
像を示す平面図である

【図１０】左右エッジの対抽出処理を説明するための流
れ図である。

【図１１】鼻筋候補領域と顔領域の位置関係を示す線図
である。

【図１２】第１の眼位置検出処理ルーチンのステップＳ
Ｔ１０４におけるサブルーチンを示すフローチャートで
ある。

【図１３】各鼻筋候補領域の右上、左下の位置座標を示
す線図である。

【図１４】図１２に示すサブルーチンのステップＳＴ２
００におけるサブルーチンを示すフローチャートであ
る。

【図１５】注目画素と周辺画素との関係を示す図であ
る。

【図１６】鼻筋の下部近傍において設定された第１の探
索領域を示す図である。

【図１７】鼻筋領域と中点との位置関係を示す線図であ
る。

【図１８】鼻筋中点と眼領域との関係を示す線図であ
る。

【図１９】第１の眼位置検出処理ルーチンのステップＳ
Ｔ１１４におけるサブルーチンを示すフローチャートで
ある。

【図２０】眼領域ヒストグラムを示す線図である。

【図２１】（Ａ）は眼領域原画像を示す図、（Ｂ）は眼
領域２値画像を示す図、（Ｃ）は最小値フィルタ実行後
の画像を示す図である。

【図２２】第２の眼位置検出処理ルーチンを示すフロー
チャートである。

【図２３】ドライバーが左に脇見をした状態を説明する
図である。

【図２４】ドライバーが正面を見ている状態を説明する
図である。

【図２５】第３の眼位置検出処理ルーチンを示すフロー
チャートである。

【図２６】鼻筋と第１の横方向エッジが検出されたとき
に眼鏡フレーム候補領域を設定した状態を説明する図で
ある。

【図２７】第４の眼位置検出処理ルーチンを示すフロー
チャートである。

【図２８】ドライバーがマスクを着用している場合に顔
とマスクの境界を示す境界エッジを検出することを説明
する図である。

【図２９】第４の眼位置検出処理ルーチンのステップＳ
Ｔ１０５における第１のエッジ勾配切換ルーチンを示す
フローチャートである。

【図３０】第４の眼位置検出処理ルーチンのステップＳ
Ｔ１０５における第２のエッジ勾配切換ルーチンを示す
フローチャートである。

【図３１】ドライバが右方向に脇見をした状態を示す図
である。

【符号の説明】

１０カメラ１１コンピュータ１４ＣＰＵ１６ＲＯＭ３２表示装置

Claims

【特許請求の範囲】

【請求項１】顔を斜め前方から撮影した画像、または
斜め前方から光を受けた顔を撮影した画像に基づいて鼻
の位置を検出する鼻位置検出装置であって、前記画像から顔の領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔の領域から各々
異なるしきい値を用いて左側エッジと右側エッジとを抽
出し、抽出した左側エッジ及び右側エッジに基づいた領
域を鼻筋の候補として抽出する鼻筋候補抽出手段と、前記鼻筋候補抽出手段により抽出された鼻筋の候補から
鼻筋を選択する鼻筋選択手段と、前記鼻筋選択手段により選択された鼻筋の下方近傍の領
域において第１の横方向エッジを検出する第１の横方向
エッジ検出手段と、前記第１の横方向エッジ検出手段により前記第１の横方
向エッジを検出できなかったときに、前記鼻筋選択手段
により選択された鼻筋の位置は誤認であると判定する判
定手段と、とを備えた鼻位置検出装置。
【請求項２】前記第１の横方向エッジの下方近傍の領
域であり、かつ顔の正面に対する撮影方向又は顔に当た
る光の方向に応じた方向近傍の領域において、第２の横
方向エッジを検出する第２の横方向エッジ検出手段を更
に備え、前記判定手段は、前記第２の横方向エッジ検出手段によ
り第２の横方向エッジが検出されたときに、前記鼻筋選
択手段により選択された鼻筋の位置は誤認であると判定
することを特徴とする請求項１記載の鼻位置検出装置。
【請求項３】前記鼻筋候補抽出手段により抽出された
鼻筋候補と前記第１の横方向エッジ検出手段により検出
された第１の横方向エッジとの関係に基づいて、眼鏡フ
レームの有無を検出する眼鏡フレーム検出手段を更に備
え、前記判定手段は、前記眼鏡フレーム検出手段により眼鏡
フレームが検出されたときに、前記鼻筋選択手段により
選択された鼻筋の位置は誤認であると判定することを特
徴とする請求項１または２記載の鼻位置検出装置。