JP2009181424A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2009181424A JP2009181424A JP2008020959A JP2008020959A JP2009181424A JP 2009181424 A JP2009181424 A JP 2009181424A JP 2008020959 A JP2008020959 A JP 2008020959A JP 2008020959 A JP2008020959 A JP 2008020959A JP 2009181424 A JP2009181424 A JP 2009181424A
- Authority
- JP
- Japan
- Prior art keywords
- value
- voting
- calculation function
- density gradient
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】近赤外照明下での顔画像からの瞳孔検出において、照明系を複数用意することなく、誤検出の少ない安定した検出結果を得る。
【解決手段】ハフ変換を用いた画像処理で、画像上から目頭及び目尻の特徴を有する画素を抽出する顔特徴点検出手段1と、抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する目領域設定手段2と、前記処理対象領域内の画素の縦方向濃度勾配の大きさを用いて目輪郭度を算出する目輪郭度算出手段4と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する投票対象領域設定手段5と、投票対象領域の画素値の最大値を算出する投票対象領域特徴算出手段6と、目輪郭度と画素値の最大値とを投票値計算関数に入力する投票値計算手段7と、投票値計算関数の出力値を投票値に設定する投票計算手段8と、を備える。
【選択図】図1
【解決手段】ハフ変換を用いた画像処理で、画像上から目頭及び目尻の特徴を有する画素を抽出する顔特徴点検出手段1と、抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する目領域設定手段2と、前記処理対象領域内の画素の縦方向濃度勾配の大きさを用いて目輪郭度を算出する目輪郭度算出手段4と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する投票対象領域設定手段5と、投票対象領域の画素値の最大値を算出する投票対象領域特徴算出手段6と、目輪郭度と画素値の最大値とを投票値計算関数に入力する投票値計算手段7と、投票値計算関数の出力値を投票値に設定する投票計算手段8と、を備える。
【選択図】図1
Description
本発明は、カメラ画像中の人物の瞳孔位置をハフ変換に基づいて画像から検出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
近年の自動車開発のキーワードとして、「安全・安心」がある。日本社会の高齢化に伴い、ドライバーの高齢者人口が今後増大していくのは避けられないが、判断力・注意力・体力の衰えた高齢者ドライバーに対して安全で安心できる運転をサポートすることは、自動車業界にとって強く望まれていることである。
自動車にとっての安全・安心とは、交通事故の発生を回避するか、発生した場合にその損害を最小限に食い止めることと考えることができる。自動車の高性能化や道路交通法の改正等により、交通事故死者数は平成9年の9,640人から平成18年の6,352人と着実に減少を続けているものの負傷者数はほぼ横ばいであり、自動車の安全性に関してはさらなる向上が求められている。
自動車と人・モノとの衝突を回避するための技術として、例えばミリ波レーダーを用いた前方車両衝突回避システムや遠赤外線画像をカーナビゲーション画面に表示することによる夜間道路画像明瞭化システム、前方カメラを用いて白線を認識することによる車線逸脱警報システムなどが実用化されている。
これらの技術は自動車の周辺状況を認識するためのものであり、安全な運転をサポートするためには、周辺状況だけではなくドライバーの状態もモニタリングしなければならない。なぜならば、自動車の周辺状況を認識するシステムが異常をドライバーに知らせたとしても、そのドライバーが脇見や居眠りをして異常状況に対する行動を怠れば、結局事故が発生するからである。
ドライバーの状態、特に脇見や居眠りを検出する方法として、ドライバーの顔を撮影するために自動車内に設置したカメラ(ドライバーモニタリングカメラ)を用いる方法が考えられる。脇見は自動車正面方向を注視していない状態であり、居眠りは目を閉じている、もしくは覚醒度の低下により瞬きの回数が平常時と比較して減少している状態と考えられるため、ドライバーモニタリングカメラによって取得される画像からドライバーの瞳孔位置を検出した上で算出される視線方向が正面を向いているか否か、検出された瞳孔が瞼によって遮蔽される回数の時間変化に異常が見られるか否か等を判定することにより、カメラ画像から脇見や居眠りを検出することができる。ドライバーモニタリングカメラを用いる際には、夜でも瞳孔検出が可能となるようにドライバーに照明をあてる必要があるが、運転に支障がないように照明光はドライバーが知覚しないものでなければならない。
この条件を満たす照明光として近赤外光がある。人間にとって知覚可能な可視光を照明光として顔に照射した場合と近赤外照明を照射した場合とでは、画像中の目領域の見え方に相違があることが知られている。
図4に示したように目領域を瞳孔領域、白目領域、肌領域の3領域に分割し、それぞれの画素値をP1、P2、P3とすると、可視光照明ではP1<P3<P2の関係が成り立つのに対し、近赤外照明ではP1<P2<P3となる。従って、画素値濃度勾配(以後、濃度勾配と略する)の逆方向を矢印で表すと、図4のようになる。
近赤外光又は可視光を照明に用いた顔画像からの目検出処理に関する技術としては、以下のようなものが知られている。
特許文献1(特開平7−218989号公報)では、カメラ光軸と同軸上、およびカメラ光軸からずれた位置の計2箇所に照明を配置し、それぞれの照明下で顔画像を取得する。カメラ光軸と同軸上の照明下で撮影した顔画像では瞳孔が白く写る(明瞳孔)のに対し、光軸からずれた位置にある照明下で撮影した顔画像では瞳孔が黒く写る(暗瞳孔)ことを利用し、両者の差画像から瞳孔位置を特定する。
特許文献2(特開平8−300978号公報)では、顔画像を適当に2値化し、ある程度の大きさを持つ黒画素の塊の重心を瞳孔中心と見なしている。
特許文献3(特開平11−244261号公報)では、顔画像の濃淡情報に円形状をフィッティングすることで瞳孔位置を検出している。
特許文献4(特開2002−000567号公報)では、瞳孔領域を白黒2値化して白黒反転位置を瞳孔輪郭とし、輪郭線上の任意の設定数個の輪郭点から求められる円の中心座標を複数回検出して得られた円中心座標群の分布を中央部と外縁部とに分離し、中央部を構成する中心座標群の重心位置を瞳孔中心位置とする。
特許文献5(特開2005−309862号公報)では、ハフ変換を用いて瞳孔検出を行うが、その際に濃度勾配のx/yと正負で画像中のエッジを4種類に分類する。各画素からの投票は、自身がどのエッジに分類されるかによって決まる投票領域(具体的には濃度勾配方向にある程度の広がりを持たせたもの)に従って行う。
特開平7−218989号公報
特開平8−300978号公報
特開平11−244261号公報
特開2002−000567号公報
特開2005−309862号公報
上記特許文献に係る発明の問題は、近赤外光を照射した顔画像からの瞳孔検出が簡易かつ高精度に行うことが出来ない点である。
例えば、特許文献1では、顔画像取得に照明の異なる2枚の画像が必要となる。このため、照明の台数が増えてコストが高くなる上に、カメラの光軸と照明の設置位置の調整が難しく、更には取得した2枚の画像の差画像における差分が、瞳孔の見え方の相違によるものか、画像を取得した際の顔の動きに起因するものかが分離できないという問題点がある。
特許文献2及び特許文献4に係る発明では、目領域に影が重畳すると、2値化により瞳孔以外の領域も黒画素領域とされてしまうので、正確な瞳孔位置を求めることはできないという問題点がある。
特許文献3に係る発明では、視線方向とカメラ光軸とのずれが大きくなるにつれて瞳孔形状の扁平度が大きくなる状況に対応することができないという問題点がある。
特許文献5に係る発明では、投票画素の濃度勾配情報のみにしか注目していないため、図4(b)のような瞳孔輪郭画素と目輪郭(上下瞼の睫毛の際)画素の濃度勾配に区別がなく、従って、瞳孔中心以外に目尻や目頭付近で疑似の投票値ピークが発生しやすくなるという問題点がある。
本発明は、上記に鑑みてなされたものであり、ハフ変換を用いた瞳孔検出において、疑似的な投票値ピークの発生を抑制し、追加的な照明系を導入することなく高精度な瞳孔検出を実現する画像処理装置、画像処理方法及び画像処理プログラムを得ることを目的とする。
上述の問題を解決するため、本発明に係る画像処理装置は、ハフ変換を用いた画像処理装置であって、目頭及び目尻の特徴を記載した辞書と、前記画像処理装置に入力された画像を前記辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手段と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手段と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手段と、該目輪郭度を、第一の投票値計算関数に入力する手段と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手段と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手段と、該統計量を、第二の投票値計算関数に入力する手段と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段と、を、備えることを特徴とする。
上述の問題を解決するため、本発明に係る画像処理方法は、ハフ変換を用いた画像処理方法であって、画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手順と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手順と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手順と、該目輪郭度を、第一の投票値計算関数に入力する手順と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手順と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手順と、該統計量を、第二の投票値計算関数に入力する手順と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順と、を、備えることを特徴とする。
上述の問題を解決するため、本発明に係る画像処理プログラムは、ハフ変換を用いた画像処理プログラムであって、画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する処理と、該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する処理と、前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する処理と、該目輪郭度を、第一の投票値計算関数に入力する処理と、前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する処理と、前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する処理と、該統計量を、第二の投票値計算関数に入力する処理と、前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理と、を、コンピュータに実行させることを特徴とする。
本発明によれば、処理対象領域及び投票対象領域を設定してハフ変換における投票空間の範囲を制限することで疑似的な投票値ピークの発生を抑制して処理時間コストを短縮すると共に、投票対象画素が持つ目輪郭度や投票対象領域内の最大画素値等の従来のハフ変換では考慮されることがなかった目領域のテクスチャ情報を投票値算出時に考慮することで、近赤外照明下の顔画像からの瞳孔検出時に発生しやすい誤検出が低減し、追加的な照明系を導入することなく高精度な瞳孔検出を実現する画像処理装置、画像処理方法及び画像処理プログラムを得ることができる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。図1は、本発明の実施の形態の構成を示すブロック図である。
図1に示すように、本実施の形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、近赤外照明下においてドライバーモニタリングカメラ(図示せず)を用いて取得されたドライバーの顔画像が入力され、辞書1aを参照して、この入力された顔画像から目頭や目尻といった特徴点を検出する顔特徴点検出手段1と、前記顔特徴点検出手段1の処理結果である目特徴点の座標から処理対象領域である目領域を画像上で設定する目領域設定手段2と、前記目領域において顔画像の画素値を正規化する画像正規化手段3と、前記目領域を構成する画素が持つ目輪郭度を算出する目輪郭度算出手段4と、前記目領域内の画素の中から投票を実行する画素を選択し、該画素の投票空間における投票領域を設定する投票対象領域設定手段5と、前記投票対象領域に対応した画像上の領域における最大画素値を探索する投票対象領域特徴算出手段6と、前記投票実行画素が持つ前記目輪郭度と前記投票対象領域に対応した画像上の領域における最大画素値に基づいて投票で用いる投票値を算出する投票値計算手段7と、前記投票対象領域に対して前記投票値を用いた投票を実行する投票実行手段8と、前記投票結果に基づいて瞳孔中心位置を探索し、その探索結果を出力する瞳孔中心位置探索手段9から構成されている。
次に、図1に基づいて、本実施の形態の各部の作用について説明する。まず、顔特徴点検出手段1は、目頭及び目尻等の目領域周辺の特徴を予め学習した辞書1aとの照合等を行うことにより、入力顔画像から目頭及び目尻等の目領域周辺の特徴点の座標を算出する。
目領域設定手段2は、顔特徴点検出手段1で検出した目領域周辺の特徴点の座標を用いて目領域を画像上に設定する。目頭と目尻を特徴点とした場合には、図5に示すように、該2点を直径とした円領域もしくは長軸とした楕円の内部を目領域とする。
画像正規化手段3は、設定した目領域内の画像を正規化することで、コントラスト向上を図る。
目輪郭度算出手段4は、目領域内の画素の縦方向濃度勾配を探索し、閾値以上の縦方向濃度勾配大きさを持ち目領域境界に近い画素を目輪郭と見なし、その縦方向濃度勾配大きさを目輪郭度とする。
投票対象領域設定手段5は、目領域内の各注目画素のうち、その濃度勾配の絶対値が閾値以上となるものを投票実行画素と設定し、濃度勾配と逆方向に投票を行う領域を投票対象領域として設定する。
投票対象領域特徴算出手段6は、目領域内の各投票実行画素が持つ投票対象領域を画像上にあてはめて得られる領域内の画素値の最大値を、投票実行画素毎に算出する。
投票値計算手段7は、目領域内の各投票実行画素に対して、該画素が持つ目輪郭度が小さくかつ投票対象領域最大画素値が小さいほど大きくなるように設計された投票値計算関数に基づいて、該画素が持つ投票値を算出する。
投票実行手段8は、目領域内の各投票実行画素において、投票対象領域に対応した投票空間内の領域に該画素が持つ投票値を投票する。
瞳孔中心位置探索手段9は、投票空間内で投票値が最大となる位置を探索し、その位置を画像上の瞳孔中心位置として出力する。
なお、本実施の形態では、辞書1aの作成方法はニューラルネットワークやSVM等の統計的な学習によって得られたものを用いてもよい。またグラフマッチング等の幾何的な手法に基づく検出方法を用いてもよい。
次に、図面を参照して、本実施の形態の動作に係る発明の動作についての詳細に説明する。
図2は本発明の実施の形態の全体の処理の流れを表しており、図3は図2におけるステップS4の処理の流れを詳細に示したものである。
図2のステップS1は図1における顔特徴点検出手段1、ステップS2は図1における目領域設定手段2、ステップS3は図1における画像正規化手段3、図3のステップS101〜S104は図1における目輪郭度算出手段4、図3のステップS105は図1における投票対象領域設定手段5、図3のステップS106は図1における投票対象領域特徴算出手段6、図3のステップS107は図1における投票値計算手段7、図3のステップS108〜S110は図1における投票実行手段8、図2のステップS5は図1における瞳孔中心位置探索手段9の、それぞれの動作を表している。
ステップS1では、ニューラルネットワーク等で学習された顔特徴点に関する辞書と入力顔画像との比較から、顔特徴点として目頭と目尻が検出される。
ステップS2では、図5に示したようにステップS1で検出された目頭と目尻を直径とする円領域が目領域として設定される。
ステップS3では、ステップS2で設定された目領域内に存在する画素の画素値に対して正規化処理が行われる。この正規化処理として例えば、画素値のダイナミックレンジが0〜255となるように変換する処理が考えられる。
ステップS4では目領域内のN個の画素のうちの注目画素i(=1,2,…,N)の投票積算値が計算され、配列v[i]に保存される。ステップS4の処理の流れは、図3を用いて以下のように詳細に説明する。
ステップS101では、注目画素を表すカウンタiが1に初期化される。
ステップS102では、注目画素iにおける濃度勾配(gx[i],gy[i])が算出される。
ステップS103では、以下の式(1)による濃度勾配の大きさと、予め設定された閾値g_threと、の比較が行われる。
ここで、ステップS101〜S104の処理で算出されたy方向濃度勾配の大きさを、目輪郭度と見なす。
図5に示した座標系において、目輪郭11は横長であるためx軸との平行度が高い。従って、目輪郭11を構成する画素上のy方向濃度勾配の大きさは大きくなることが期待される。
図6にy方向濃度勾配大きさの大きい画素を太線で、小さい画素を破線で示す。
ステップS105では、注目画素iの位置から濃度勾配方向と逆方向に、図7で示したような扇形の投票対象領域Ri15を設定する。
ステップS106では投票対象領域Ri15内に存在する画素が持つ画素値の最大値を探索し、その値をP[i]とする。
ステップS107では、投票対象領域Ri15内の座標に対する投票値vo[i]が以下の式(2)で定義される投票値計算関数によって算出される。
この第2項の効果を図7を使って説明する。瞳孔輪郭12上にある画素Aの位置から設定された投票対象領域には、瞳孔を構成する画素が多数を占めるため領域内最大画素値は小さい値となる。一方目輪郭11を構成する画素Bの位置から設定された投票対象領域には、白目領域が含まれるため領域内最大画素値は大きい値となる。従って、式(2)の右辺第2項は、瞳孔輪郭12を構成する画素からの投票値を増大させ、目輪郭11を構成する画素からの投票値を低減させる効果がある。
ステップS108では、注目画素iに対して設定した投票対象領域Ri15に対応した投票空間内の座標jに対して、v[j]←v[j]+vo[i]として式(2)で算出した投票値vo[i]を加算することで、投票積算値v[j]を算出する。
ステップS109では注目画素のカウンタと目領域内の総画素数Nが比較され、i=Nの場合(YES)、ステップS4の処理を終了し、i≠Nの場合(NO)、ステップS110でカウンタiを1進めてステップS102に処理を戻す。
以上の投票の結果、図8で示した投票空間における投票値分布のように、目頭・目尻13周辺で観測される投票値のピークは小さくなり、瞳孔中心付近での投票値のピークは大きくなる。図2のステップS5では、投票積算値v[i]が最大となる画素を探索し、その位置を瞳孔中心位置として出力する。
本実施の形態では、目輪郭度は目輪郭11の方向を表現する特徴、例えばガボールフィルタの応答値やフーリエ変換後の周波数空間のパターン存在方向等を用いて算出してもよく、その他、画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布を用いて算出してもよい。
本実施の形態では、P[i]を最大画素値ではなく画素値の平均値、分散値、判別分析による2値化閾値等を用いて算出してもよく、その他、画素値の最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて算出してもよい。
本発明によれば、近赤外照明下での顔画像からの瞳孔検出において、照明系を複数用意することもなく、誤検出の少ない安定した検出結果を得ることが出来るため、自動車の安全性向上を目的としてドライバーの状態をモニタリングするシステムに適している。
1 顔特徴点検出手段
2 目領域設定手段
3 画像正規化手段
4 目輪郭度算出手段
5 投票対象領域設定手段
6 投票対象領域特徴算出手段
7 投票値計算手段
8 投票実行手段
9 瞳孔中心位置探索手段
11 目輪郭
12 瞳孔輪郭
13 目頭・目尻
14 目領域
15 投票対象領域Ri
2 目領域設定手段
3 画像正規化手段
4 目輪郭度算出手段
5 投票対象領域設定手段
6 投票対象領域特徴算出手段
7 投票値計算手段
8 投票実行手段
9 瞳孔中心位置探索手段
11 目輪郭
12 瞳孔輪郭
13 目頭・目尻
14 目領域
15 投票対象領域Ri
Claims (18)
- ハフ変換を用いた画像処理装置であって、
目頭及び目尻の特徴を記載した辞書と、
前記画像処理装置に入力された画像を前記辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手段と、
該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手段と、
前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手段と、
該目輪郭度を、第一の投票値計算関数に入力する手段と、
前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手段と、
前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手段と、
該統計量を、第二の投票値計算関数に入力する手段と、
前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段と、
を、備えることを特徴とする画像処理装置。 - 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手段は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項1に記載の画像処理装置。
- 前記目輪郭度を算出する手段は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記投票対象領域内の画素の統計量を算出する手段は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- ニューラルネットワーク、SVM(Support Vector Machine)又はグラフマッチング等によって前記辞書を作成する手段を含むことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- ハフ変換を用いた画像処理方法であって、
画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する手順と、
該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する手順と、
前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する手順と、
該目輪郭度を、第一の投票値計算関数に入力する手順と、
前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する手順と、
前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する手順と、
該統計量を、第二の投票値計算関数に入力する手順と、
前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順と、
を、備えることを特徴とする画像処理方法。 - 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する手順は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項7に記載の画像処理方法。
- 前記目輪郭度を算出する手順は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項7又は8に記載の画像処理方法。
- 前記投票対象領域内の画素の統計量を算出する手順は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項7乃至9のいずれか1項に記載の画像処理方法。
- ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項7乃至10のいずれか1項に記載の画像処理方法。
- ニューラルネットワーク、SVM(Support Vector Machine)又はグラフマッチング等によって前記辞書を作成する手順を含むことを特徴とする請求項7乃至11のいずれか1項に記載の画像処理方法。
- ハフ変換を用いた画像処理プログラムであって、
画像を目頭及び目尻の特徴を記載した辞書と比較することにより、前記画像上から目頭及び目尻の特徴を有する画素を抽出する処理と、
該抽出した目頭及び目尻の画素間を直径とする円領域を処理対象領域として設定する処理と、
前記処理対象領域内の画素について縦方向濃度勾配の大きさを算出し、その縦方向濃度勾配の大きさを用いて目輪郭度を算出する処理と、
該目輪郭度を、第一の投票値計算関数に入力する処理と、
前記処理対象領域内の画素から濃度勾配と逆方向に扇状の投票対象領域を設定する処理と、
前記投票対象領域内の画素値の最大値を用いて、前記投票対象領域内の画素の統計量を算出する処理と、
該統計量を、第二の投票値計算関数に入力する処理と、
前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理と、
を、コンピュータに実行させることを特徴とする画像処理プログラム。 - 前記第一の投票値計算関数の出力値及び前記第二の投票値計算関数の出力値を用いて投票値を設定する処理は、前記第一の投票値計算関数の出力値と前記第二の投票値計算関数の出力値との積を投票値に設定することを特徴とする請求項13に記載の画像処理プログラム。
- 前記目輪郭度を算出する処理は、前記処理対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記目輪郭度を算出することを特徴とする請求項13又は14に記載の画像処理プログラム。
- 前記投票対象領域内の画素の統計量を算出する処理は、前記投票対象領域内における画素の画素値の平均値、分散値、最大値、最小値、モーメント値、濃度勾配の大きさ、濃度勾配方向とその分布、ガボールフィルタ応答値又はフーリエ変換周波数応答値を用いて前記統計量を算出することを特徴とする請求項13乃至15のいずれか1項に記載の画像処理プログラム。
- ハフ変換を用いて、顔画像から瞳孔位置を検出することを特徴とする請求項13乃至16のいずれか1項に記載の画像処理プログラム。
- ニューラルネットワーク、SVM(Support Vector Machine)又はグラフマッチング等によって前記辞書を作成する処理を含むことを特徴とする請求項13乃至17のいずれか1項に記載の画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008020959A JP2009181424A (ja) | 2008-01-31 | 2008-01-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008020959A JP2009181424A (ja) | 2008-01-31 | 2008-01-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009181424A true JP2009181424A (ja) | 2009-08-13 |
Family
ID=41035343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008020959A Withdrawn JP2009181424A (ja) | 2008-01-31 | 2008-01-31 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009181424A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042580A1 (ja) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | 視線推定装置 |
WO2012124142A1 (ja) | 2011-03-11 | 2012-09-20 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
WO2012124146A1 (ja) | 2011-03-11 | 2012-09-20 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
US8503737B2 (en) | 2010-09-27 | 2013-08-06 | Panasonic Corporation | Visual line estimating apparatus |
CN103934446A (zh) * | 2014-05-12 | 2014-07-23 | 重庆市机电设计研究院 | 基于机器视觉的合金铸锭粘连检测方法 |
KR20170029166A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
CN107194869A (zh) * | 2017-05-23 | 2017-09-22 | 腾讯科技(上海)有限公司 | 一种图像处理方法及终端、计算机存储介质、计算机设备 |
CN108919517A (zh) * | 2018-09-25 | 2018-11-30 | 吉林大学 | 一种汽车驾驶用防疲劳眼镜及疲劳状态识别方法 |
JP2019101974A (ja) * | 2017-12-07 | 2019-06-24 | 矢崎総業株式会社 | 画像処理装置 |
CN110942043A (zh) * | 2019-12-02 | 2020-03-31 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
CN115886717A (zh) * | 2022-08-18 | 2023-04-04 | 上海佰翊医疗科技有限公司 | 一种眼裂宽度的测量方法、装置和存储介质 |
CN117031684A (zh) * | 2023-08-21 | 2023-11-10 | 西安工业大学 | 一种数字全息成像自动聚焦方法及装置 |
-
2008
- 2008-01-31 JP JP2008020959A patent/JP2009181424A/ja not_active Withdrawn
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042580A1 (ja) * | 2010-09-27 | 2012-04-05 | パナソニック株式会社 | 視線推定装置 |
JP2012065997A (ja) * | 2010-09-27 | 2012-04-05 | Panasonic Corp | 視線推定装置 |
US8503737B2 (en) | 2010-09-27 | 2013-08-06 | Panasonic Corporation | Visual line estimating apparatus |
WO2012124142A1 (ja) | 2011-03-11 | 2012-09-20 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
WO2012124146A1 (ja) | 2011-03-11 | 2012-09-20 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
US8750623B2 (en) | 2011-03-11 | 2014-06-10 | Omron Corporation | Image processing device and image processing method for identifying a pupil region |
US8805087B2 (en) | 2011-03-11 | 2014-08-12 | Omron Corporation | Image processing device and image processing method |
CN103934446A (zh) * | 2014-05-12 | 2014-07-23 | 重庆市机电设计研究院 | 基于机器视觉的合金铸锭粘连检测方法 |
KR20170029166A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
KR102463169B1 (ko) * | 2015-09-07 | 2022-11-04 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
CN107194869A (zh) * | 2017-05-23 | 2017-09-22 | 腾讯科技(上海)有限公司 | 一种图像处理方法及终端、计算机存储介质、计算机设备 |
JP2019101974A (ja) * | 2017-12-07 | 2019-06-24 | 矢崎総業株式会社 | 画像処理装置 |
JP7078386B2 (ja) | 2017-12-07 | 2022-05-31 | 矢崎総業株式会社 | 画像処理装置 |
CN108919517A (zh) * | 2018-09-25 | 2018-11-30 | 吉林大学 | 一种汽车驾驶用防疲劳眼镜及疲劳状态识别方法 |
CN110942043A (zh) * | 2019-12-02 | 2020-03-31 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
CN110942043B (zh) * | 2019-12-02 | 2023-11-14 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
CN115886717A (zh) * | 2022-08-18 | 2023-04-04 | 上海佰翊医疗科技有限公司 | 一种眼裂宽度的测量方法、装置和存储介质 |
CN115886717B (zh) * | 2022-08-18 | 2023-09-29 | 上海佰翊医疗科技有限公司 | 一种眼裂宽度的测量方法、装置和存储介质 |
CN117031684A (zh) * | 2023-08-21 | 2023-11-10 | 西安工业大学 | 一种数字全息成像自动聚焦方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009181424A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Knapik et al. | Driver’s fatigue recognition based on yawn detection in thermal images | |
Jo et al. | Vision-based method for detecting driver drowsiness and distraction in driver monitoring system | |
Bila et al. | Vehicles of the future: A survey of research on safety issues | |
US9405982B2 (en) | Driver gaze detection system | |
Flores et al. | Real-time warning system for driver drowsiness detection using visual information | |
US8090157B2 (en) | Approaches and apparatus for eye detection in a digital image | |
US7689008B2 (en) | System and method for detecting an eye | |
Junaedi et al. | Driver drowsiness detection based on face feature and PERCLOS | |
JP4263737B2 (ja) | 歩行者検知装置 | |
Flores et al. | Driver drowsiness detection system under infrared illumination for an intelligent vehicle | |
DE102014100352B4 (de) | Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen | |
US9646215B2 (en) | Eye part detection apparatus | |
CN105354985A (zh) | 疲劳驾驶监控装置及方法 | |
CN104680124A (zh) | 检测行人的影像处理装置及其方法 | |
CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
CN105373783A (zh) | 基于混合多尺度可变形部件模型的未系安全带检测方法 | |
US10699106B2 (en) | Direction discrimination device and direction discrimination method | |
Kulkarni et al. | A review paper on monitoring driver distraction in real time using computer vision system | |
Hasan et al. | State-of-the-art analysis of modern drowsiness detection algorithms based on computer vision | |
KR102401607B1 (ko) | 운전자의 운행 집중도 레벨 분석방법 | |
CN105117696B (zh) | 一种基于小线分析的未系安全带自动检测方法 | |
KR101205565B1 (ko) | 영상을 이용한 전후방 차량 검출 방법 | |
EP2579229B1 (en) | Apparatus and method for monitoring surroundings of a vehicle | |
Huang et al. | Design of fatigue driving behavior detection based on circle hough transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100816 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100816 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110405 |