JP2009181424A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】近赤外照明下での顔画像からの瞳孔検出において、照明系を複数用意することなく、誤検出の少ない安定した検出結果を得る。
【解決手段】ハフ変換を用いた画像処理で、画像上から目頭及び目尻の特徴を有する画素を抽出する顔特徴点検出手段１と、抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する目領域設定手段２と、前記処理対象領域内の画素の縦方向濃度勾配の大きさを用いて目輪郭度を算出する目輪郭度算出手段４と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する投票対象領域設定手段５と、投票対象領域の画素値の最大値を算出する投票対象領域特徴算出手段６と、目輪郭度と画素値の最大値とを投票値計算関数に入力する投票値計算手段７と、投票値計算関数の出力値を投票値に設定する投票計算手段８と、を備える。
【選択図】図１

Description

本発明は、カメラ画像中の人物の瞳孔位置をハフ変換に基づいて画像から検出する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年の自動車開発のキーワードとして、「安全・安心」がある。日本社会の高齢化に伴い、ドライバーの高齢者人口が今後増大していくのは避けられないが、判断力・注意力・体力の衰えた高齢者ドライバーに対して安全で安心できる運転をサポートすることは、自動車業界にとって強く望まれていることである。

自動車にとっての安全・安心とは、交通事故の発生を回避するか、発生した場合にその損害を最小限に食い止めることと考えることができる。自動車の高性能化や道路交通法の改正等により、交通事故死者数は平成９年の9,640人から平成１８年の6,352人と着実に減少を続けているものの負傷者数はほぼ横ばいであり、自動車の安全性に関してはさらなる向上が求められている。

自動車と人・モノとの衝突を回避するための技術として、例えばミリ波レーダーを用いた前方車両衝突回避システムや遠赤外線画像をカーナビゲーション画面に表示することによる夜間道路画像明瞭化システム、前方カメラを用いて白線を認識することによる車線逸脱警報システムなどが実用化されている。

これらの技術は自動車の周辺状況を認識するためのものであり、安全な運転をサポートするためには、周辺状況だけではなくドライバーの状態もモニタリングしなければならない。なぜならば、自動車の周辺状況を認識するシステムが異常をドライバーに知らせたとしても、そのドライバーが脇見や居眠りをして異常状況に対する行動を怠れば、結局事故が発生するからである。

ドライバーの状態、特に脇見や居眠りを検出する方法として、ドライバーの顔を撮影するために自動車内に設置したカメラ(ドライバーモニタリングカメラ)を用いる方法が考えられる。脇見は自動車正面方向を注視していない状態であり、居眠りは目を閉じている、もしくは覚醒度の低下により瞬きの回数が平常時と比較して減少している状態と考えられるため、ドライバーモニタリングカメラによって取得される画像からドライバーの瞳孔位置を検出した上で算出される視線方向が正面を向いているか否か、検出された瞳孔が瞼によって遮蔽される回数の時間変化に異常が見られるか否か等を判定することにより、カメラ画像から脇見や居眠りを検出することができる。ドライバーモニタリングカメラを用いる際には、夜でも瞳孔検出が可能となるようにドライバーに照明をあてる必要があるが、運転に支障がないように照明光はドライバーが知覚しないものでなければならない。

この条件を満たす照明光として近赤外光がある。人間にとって知覚可能な可視光を照明光として顔に照射した場合と近赤外照明を照射した場合とでは、画像中の目領域の見え方に相違があることが知られている。

図４に示したように目領域を瞳孔領域、白目領域、肌領域の３領域に分割し、それぞれの画素値をＰ１、Ｐ２、Ｐ３とすると、可視光照明ではＰ１＜Ｐ３＜Ｐ２の関係が成り立つのに対し、近赤外照明ではＰ１＜Ｐ２＜Ｐ３となる。従って、画素値濃度勾配(以後、濃度勾配と略する)の逆方向を矢印で表すと、図４のようになる。

近赤外光又は可視光を照明に用いた顔画像からの目検出処理に関する技術としては、以下のようなものが知られている。

特許文献１(特開平７−２１８９８９号公報)では、カメラ光軸と同軸上、およびカメラ光軸からずれた位置の計２箇所に照明を配置し、それぞれの照明下で顔画像を取得する。カメラ光軸と同軸上の照明下で撮影した顔画像では瞳孔が白く写る(明瞳孔)のに対し、光軸からずれた位置にある照明下で撮影した顔画像では瞳孔が黒く写る(暗瞳孔)ことを利用し、両者の差画像から瞳孔位置を特定する。

特許文献２(特開平８−３００９７８号公報)では、顔画像を適当に２値化し、ある程度の大きさを持つ黒画素の塊の重心を瞳孔中心と見なしている。

特許文献３(特開平１１−２４４２６１号公報)では、顔画像の濃淡情報に円形状をフィッティングすることで瞳孔位置を検出している。

特許文献４(特開２００２−０００５６７号公報)では、瞳孔領域を白黒２値化して白黒反転位置を瞳孔輪郭とし、輪郭線上の任意の設定数個の輪郭点から求められる円の中心座標を複数回検出して得られた円中心座標群の分布を中央部と外縁部とに分離し、中央部を構成する中心座標群の重心位置を瞳孔中心位置とする。

特許文献５(特開２００５−３０９８６２号公報)では、ハフ変換を用いて瞳孔検出を行うが、その際に濃度勾配のｘ／ｙと正負で画像中のエッジを４種類に分類する。各画素からの投票は、自身がどのエッジに分類されるかによって決まる投票領域(具体的には濃度勾配方向にある程度の広がりを持たせたもの)に従って行う。
特開平７−２１８９８９号公報 特開平８−３００９７８号公報 特開平１１−２４４２６１号公報 特開２００２−０００５６７号公報 特開２００５−３０９８６２号公報

上記特許文献に係る発明の問題は、近赤外光を照射した顔画像からの瞳孔検出が簡易かつ高精度に行うことが出来ない点である。

例えば、特許文献１では、顔画像取得に照明の異なる２枚の画像が必要となる。このため、照明の台数が増えてコストが高くなる上に、カメラの光軸と照明の設置位置の調整が難しく、更には取得した２枚の画像の差画像における差分が、瞳孔の見え方の相違によるものか、画像を取得した際の顔の動きに起因するものかが分離できないという問題点がある。

特許文献２及び特許文献４に係る発明では、目領域に影が重畳すると、２値化により瞳孔以外の領域も黒画素領域とされてしまうので、正確な瞳孔位置を求めることはできないという問題点がある。

特許文献３に係る発明では、視線方向とカメラ光軸とのずれが大きくなるにつれて瞳孔形状の扁平度が大きくなる状況に対応することができないという問題点がある。

特許文献５に係る発明では、投票画素の濃度勾配情報のみにしか注目していないため、図４（ｂ）のような瞳孔輪郭画素と目輪郭(上下瞼の睫毛の際)画素の濃度勾配に区別がなく、従って、瞳孔中心以外に目尻や目頭付近で疑似の投票値ピークが発生しやすくなるという問題点がある。

本発明は、上記に鑑みてなされたものであり、ハフ変換を用いた瞳孔検出において、疑似的な投票値ピークの発生を抑制し、追加的な照明系を導入することなく高精度な瞳孔検出を実現する画像処理装置、画像処理方法及び画像処理プログラムを得ることを目的とする。

上述の問題を解決するため、本発明に係る画像処理装置は、ハフ変換を用いた画像処理装置であって、目頭及び目尻の特徴を記載した辞書と、前記画像処理装置に入力された画像を前記辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手段と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手段と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手段と、該目輪郭度を、第一の投票値計算関数に入力する手段と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手段と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手段と、該統計量を、第二の投票値計算関数に入力する手段と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段と、を、備えることを特徴とする。

上述の問題を解決するため、本発明に係る画像処理方法は、ハフ変換を用いた画像処理方法であって、画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手順と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手順と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手順と、該目輪郭度を、第一の投票値計算関数に入力する手順と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手順と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手順と、該統計量を、第二の投票値計算関数に入力する手順と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順と、を、備えることを特徴とする。

上述の問題を解決するため、本発明に係る画像処理プログラムは、ハフ変換を用いた画像処理プログラムであって、画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する処理と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する処理と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する処理と、該目輪郭度を、第一の投票値計算関数に入力する処理と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する処理と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する処理と、該統計量を、第二の投票値計算関数に入力する処理と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理と、を、コンピュータに実行させることを特徴とする。

本発明によれば、処理対象領域及び投票対象領域を設定してハフ変換における投票空間の範囲を制限することで疑似的な投票値ピークの発生を抑制して処理時間コストを短縮すると共に、投票対象画素が持つ目輪郭度や投票対象領域内の最大画素値等の従来のハフ変換では考慮されることがなかった目領域のテクスチャ情報を投票値算出時に考慮することで、近赤外照明下の顔画像からの瞳孔検出時に発生しやすい誤検出が低減し、追加的な照明系を導入することなく高精度な瞳孔検出を実現する画像処理装置、画像処理方法及び画像処理プログラムを得ることができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。図１は、本発明の実施の形態の構成を示すブロック図である。

図１に示すように、本実施の形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、近赤外照明下においてドライバーモニタリングカメラ（図示せず）を用いて取得されたドライバーの顔画像が入力され、辞書１ａを参照して、この入力された顔画像から目頭や目尻といった特徴点を検出する顔特徴点検出手段１と、前記顔特徴点検出手段１の処理結果である目特徴点の座標から処理対象領域である目領域を画像上で設定する目領域設定手段２と、前記目領域において顔画像の画素値を正規化する画像正規化手段３と、前記目領域を構成する画素が持つ目輪郭度を算出する目輪郭度算出手段４と、前記目領域内の画素の中から投票を実行する画素を選択し、該画素の投票空間における投票領域を設定する投票対象領域設定手段５と、前記投票対象領域に対応した画像上の領域における最大画素値を探索する投票対象領域特徴算出手段６と、前記投票実行画素が持つ前記目輪郭度と前記投票対象領域に対応した画像上の領域における最大画素値に基づいて投票で用いる投票値を算出する投票値計算手段７と、前記投票対象領域に対して前記投票値を用いた投票を実行する投票実行手段８と、前記投票結果に基づいて瞳孔中心位置を探索し、その探索結果を出力する瞳孔中心位置探索手段９から構成されている。

次に、図１に基づいて、本実施の形態の各部の作用について説明する。まず、顔特徴点検出手段１は、目頭及び目尻等の目領域周辺の特徴を予め学習した辞書１ａとの照合等を行うことにより、入力顔画像から目頭及び目尻等の目領域周辺の特徴点の座標を算出する。

目領域設定手段２は、顔特徴点検出手段１で検出した目領域周辺の特徴点の座標を用いて目領域を画像上に設定する。目頭と目尻を特徴点とした場合には、図５に示すように、該２点を直径とした円領域もしくは長軸とした楕円の内部を目領域とする。

画像正規化手段３は、設定した目領域内の画像を正規化することで、コントラスト向上を図る。

目輪郭度算出手段４は、目領域内の画素の縦方向濃度勾配を探索し、閾値以上の縦方向濃度勾配大きさを持ち目領域境界に近い画素を目輪郭と見なし、その縦方向濃度勾配大きさを目輪郭度とする。

投票対象領域設定手段５は、目領域内の各注目画素のうち、その濃度勾配の絶対値が閾値以上となるものを投票実行画素と設定し、濃度勾配と逆方向に投票を行う領域を投票対象領域として設定する。

投票対象領域特徴算出手段６は、目領域内の各投票実行画素が持つ投票対象領域を画像上にあてはめて得られる領域内の画素値の最大値を、投票実行画素毎に算出する。

投票値計算手段７は、目領域内の各投票実行画素に対して、該画素が持つ目輪郭度が小さくかつ投票対象領域最大画素値が小さいほど大きくなるように設計された投票値計算関数に基づいて、該画素が持つ投票値を算出する。

投票実行手段８は、目領域内の各投票実行画素において、投票対象領域に対応した投票空間内の領域に該画素が持つ投票値を投票する。

瞳孔中心位置探索手段９は、投票空間内で投票値が最大となる位置を探索し、その位置を画像上の瞳孔中心位置として出力する。

なお、本実施の形態では、辞書１ａの作成方法はニューラルネットワークやＳＶＭ等の統計的な学習によって得られたものを用いてもよい。またグラフマッチング等の幾何的な手法に基づく検出方法を用いてもよい。

次に、図面を参照して、本実施の形態の動作に係る発明の動作についての詳細に説明する。

図２は本発明の実施の形態の全体の処理の流れを表しており、図３は図２におけるステップＳ４の処理の流れを詳細に示したものである。

図２のステップＳ１は図１における顔特徴点検出手段１、ステップＳ２は図１における目領域設定手段２、ステップＳ３は図１における画像正規化手段３、図３のステップＳ１０１〜Ｓ１０４は図１における目輪郭度算出手段４、図３のステップＳ１０５は図１における投票対象領域設定手段５、図３のステップＳ１０６は図１における投票対象領域特徴算出手段６、図３のステップＳ１０７は図１における投票値計算手段７、図３のステップＳ１０８〜Ｓ１１０は図１における投票実行手段８、図２のステップＳ５は図１における瞳孔中心位置探索手段９の、それぞれの動作を表している。

ステップＳ１では、ニューラルネットワーク等で学習された顔特徴点に関する辞書と入力顔画像との比較から、顔特徴点として目頭と目尻が検出される。

ステップＳ２では、図５に示したようにステップＳ１で検出された目頭と目尻を直径とする円領域が目領域として設定される。

ステップＳ３では、ステップＳ２で設定された目領域内に存在する画素の画素値に対して正規化処理が行われる。この正規化処理として例えば、画素値のダイナミックレンジが０〜２５５となるように変換する処理が考えられる。

ステップＳ４では目領域内のＮ個の画素のうちの注目画素ｉ(=１,２,…,Ｎ)の投票積算値が計算され、配列v[i]に保存される。ステップＳ４の処理の流れは、図３を用いて以下のように詳細に説明する。

ステップＳ１０１では、注目画素を表すカウンタｉが１に初期化される。

ステップＳ１０２では、注目画素ｉにおける濃度勾配（gx[i],gy[i]）が算出される。

ステップＳ１０３では、以下の式（１）による濃度勾配の大きさと、予め設定された閾値ｇ_threと、の比較が行われる。

ステップＳ１０３において、閾値ｇ_threよりも濃度勾配大きさの方が大きい場合（ＹＥＳ）、ステップＳ１０５に進み、閾値ｇ_threよりも濃度勾配大きさの方が小さい場合（ＮＯ）、ステップＳ１０４でカウンタを１つだけ進めてステップＳ１０２に処理を戻す。

ここで、ステップＳ１０１〜Ｓ１０４の処理で算出されたｙ方向濃度勾配の大きさを、目輪郭度と見なす。

図５に示した座標系において、目輪郭１１は横長であるためｘ軸との平行度が高い。従って、目輪郭１１を構成する画素上のｙ方向濃度勾配の大きさは大きくなることが期待される。

図６にｙ方向濃度勾配大きさの大きい画素を太線で、小さい画素を破線で示す。

ステップＳ１０５では、注目画素ｉの位置から濃度勾配方向と逆方向に、図７で示したような扇形の投票対象領域Ｒｉ１５を設定する。

ステップＳ１０６では投票対象領域Ｒｉ１５内に存在する画素が持つ画素値の最大値を探索し、その値をP[i]とする。

ステップＳ１０７では、投票対象領域Ｒｉ１５内の座標に対する投票値vo[i]が以下の式（２）で定義される投票値計算関数によって算出される。

式(２)の右辺の第１項の|gy[i]|が目輪郭度を表す。この第１項はgy[i]の大きさが小さいほど大きくなるので、目輪郭１１を構成する画素からの投票を低減させる効果がある。同じく右辺の第２項は、P[i]が大きい値をとるに従って小さくなる。

この第２項の効果を図７を使って説明する。瞳孔輪郭１２上にある画素Ａの位置から設定された投票対象領域には、瞳孔を構成する画素が多数を占めるため領域内最大画素値は小さい値となる。一方目輪郭１１を構成する画素Ｂの位置から設定された投票対象領域には、白目領域が含まれるため領域内最大画素値は大きい値となる。従って、式(２)の右辺第２項は、瞳孔輪郭１２を構成する画素からの投票値を増大させ、目輪郭１１を構成する画素からの投票値を低減させる効果がある。

ステップＳ１０８では、注目画素ｉに対して設定した投票対象領域Ｒｉ１５に対応した投票空間内の座標ｊに対して、v[j]←v[j]+vo[i]として式(２)で算出した投票値vo[i]を加算することで、投票積算値v[j]を算出する。

ステップＳ１０９では注目画素のカウンタと目領域内の総画素数Ｎが比較され、ｉ＝Ｎの場合（ＹＥＳ）、ステップＳ４の処理を終了し、ｉ≠Ｎの場合（ＮＯ）、ステップＳ１１０でカウンタｉを１進めてステップＳ１０２に処理を戻す。

以上の投票の結果、図８で示した投票空間における投票値分布のように、目頭・目尻１３周辺で観測される投票値のピークは小さくなり、瞳孔中心付近での投票値のピークは大きくなる。図２のステップＳ５では、投票積算値v[i]が最大となる画素を探索し、その位置を瞳孔中心位置として出力する。

本実施の形態では、目輪郭度は目輪郭１１の方向を表現する特徴、例えばガボールフィルタの応答値やフーリエ変換後の周波数空間のパターン存在方向等を用いて算出してもよく、その他、画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布を用いて算出してもよい。

本実施の形態では、P[i]を最大画素値ではなく画素値の平均値、分散値、判別分析による２値化閾値等を用いて算出してもよく、その他、画素値の最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて算出してもよい。

本発明によれば、近赤外照明下での顔画像からの瞳孔検出において、照明系を複数用意することもなく、誤検出の少ない安定した検出結果を得ることが出来るため、自動車の安全性向上を目的としてドライバーの状態をモニタリングするシステムに適している。

本発明の実施の形態の構成を示すブロック図である。 本発明の実施の形態の全体の処理の流れを示すフローチャートである。 本発明の実施の形態における目領域内のＮ個の画素のうちの注目画素ｉ(=１,２,…,Ｎ)の投票積算値を計算する処理を示すフローチャートである。 可視光照明下と近赤外照明下での顔画像の見え方の違いを説明する図である。 設定された目領域を示す図である。 目輪郭度の強弱を示す図である。 投票対象領域Ｒｉを示す図である。 投票空間における投票値の分布を示す図である。

符号の説明

１ 顔特徴点検出手段
２ 目領域設定手段
３ 画像正規化手段
４ 目輪郭度算出手段
５ 投票対象領域設定手段
６ 投票対象領域特徴算出手段
７ 投票値計算手段
８ 投票実行手段
９ 瞳孔中心位置探索手段
１１ 目輪郭
１２ 瞳孔輪郭
１３ 目頭・目尻
１４ 目領域
１５ 投票対象領域Ｒｉ

Claims (18)

1. ハフ変換を用いた画像処理装置であって、
   目頭及び目尻の特徴を記載した辞書と、
   前記画像処理装置に入力された画像を前記辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手段と、
   該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手段と、
   前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手段と、
   該目輪郭度を、第一の投票値計算関数に入力する手段と、
   前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手段と、
   前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手段と、
   該統計量を、第二の投票値計算関数に入力する手段と、
   前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段と、
   を、備えることを特徴とする画像処理装置。
2. 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記目輪郭度を算出する手段は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記投票対象領域内の画素の統計量を算出する手段は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. ニューラルネットワーク、ＳＶＭ（Support Vector Machine）又はグラフマッチング等によって前記辞書を作成する手段を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. ハフ変換を用いた画像処理方法であって、
   画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手順と、
   該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手順と、
   前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手順と、
   該目輪郭度を、第一の投票値計算関数に入力する手順と、
   前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手順と、
   前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手順と、
   該統計量を、第二の投票値計算関数に入力する手順と、
   前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順と、
   を、備えることを特徴とする画像処理方法。
8. 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項７に記載の画像処理方法。
9. 前記目輪郭度を算出する手順は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項７又は８に記載の画像処理方法。
10. 前記投票対象領域内の画素の統計量を算出する手順は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理方法。
11. ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理方法。
12. ニューラルネットワーク、ＳＶＭ（Support Vector Machine）又はグラフマッチング等によって前記辞書を作成する手順を含むことを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理方法。
13. ハフ変換を用いた画像処理プログラムであって、
    画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する処理と、
    該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する処理と、
    前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する処理と、
    該目輪郭度を、第一の投票値計算関数に入力する処理と、
    前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する処理と、
    前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する処理と、
    該統計量を、第二の投票値計算関数に入力する処理と、
    前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理と、
    を、コンピュータに実行させることを特徴とする画像処理プログラム。
14. 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項１３に記載の画像処理プログラム。
15. 前記目輪郭度を算出する処理は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項１３又は１４に記載の画像処理プログラム。
16. 前記投票対象領域内の画素の統計量を算出する処理は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理プログラム。
17. ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理プログラム。
18. ニューラルネットワーク、ＳＶＭ（Support Vector Machine）又はグラフマッチング等によって前記辞書を作成する処理を含むことを特徴とする請求項１３乃至１７のいずれか１項に記載の画像処理プログラム。

Images