JP2000322561A - 顔画像処理装置 - Google Patents
顔画像処理装置Info
- Publication number
- JP2000322561A JP2000322561A JP11133049A JP13304999A JP2000322561A JP 2000322561 A JP2000322561 A JP 2000322561A JP 11133049 A JP11133049 A JP 11133049A JP 13304999 A JP13304999 A JP 13304999A JP 2000322561 A JP2000322561 A JP 2000322561A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- face image
- face
- inclination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
(57)【要約】
【課題】 従来の顔画像処理装置においては、目画像を
２値化する際、目画像が変化した場合、瞼の線、特に目
尻部に顕著な影響を与えた。 【解決手段】 カメラ１によって撮影され画像入力手段
２に入力された顔画像を、目領域判定手段８によって目
領域を特定し、その目領域中の目画像を目画像２値化手
段９によって２値化して、その２値化画像を座標回転手
段１０によって適正な相関係数が得られるように座標回
転して、座標回転された目画像を用いて相関演算手段１
１によって演算し、その結果得られる相関係数に基づ
き、開閉判定手段１２が目の開閉を判定するものであ
る。
２値化する際、目画像が変化した場合、瞼の線、特に目
尻部に顕著な影響を与えた。 【解決手段】 カメラ１によって撮影され画像入力手段
２に入力された顔画像を、目領域判定手段８によって目
領域を特定し、その目領域中の目画像を目画像２値化手
段９によって２値化して、その２値化画像を座標回転手
段１０によって適正な相関係数が得られるように座標回
転して、座標回転された目画像を用いて相関演算手段１
１によって演算し、その結果得られる相関係数に基づ
き、開閉判定手段１２が目の開閉を判定するものであ
る。
Description
【０００１】
【発明の属する技術分野】この発明は、顔の目画像を抽
出し、目画像の状態より被撮影者の目の開閉状態を検出
する装置に用いる顔画像処理装置に関する。
出し、目画像の状態より被撮影者の目の開閉状態を検出
する装置に用いる顔画像処理装置に関する。
【０００２】
【従来の技術】従来より、車両運転者の脇見、居眠り運
転等の運転状態を検出するため、運転者の顔を車両室内
に設けられたカメラで撮影し、得られた顔画像を処理し
て顔の特徴点である目を抽出して、目の開閉を検出する
顔画像処理装置が開発されている。このような従来装置
としては、濃度階調画像を２値画像に変換した後、抽出
された顔の輪郭の内側での黒色領域より目を抽出し、抽
出した目画像の目尻部分の上側形状の傾きを、１次相関
をとることにより検出し、その傾きの変化により、目の
開閉を判定する特開平９−４４６８４号公報が開示され
ている。図１９は、特開平９−４４６８４号公報におけ
る運転者の状態検出を示す概略構成図である。図におい
て、１は運転者を撮影するカメラ、２はカメラ１の濃度
階調画像が入力され、Ａ／Ｄ変換してディジタル階調画
像とする画像入力手段、３は画像入力手段２の変換した
ディジタル階調画像を２値化する２値化手段、４は２値
化画像の目存在領域を抽出する目抽出手段、５は目存在
領域から形状関数を算出し、さらに円弧形状に着目した
評価関数を算出する評価関数算出手段、６は評価関数の
値から目の開閉判定を行う開閉判定手段である。図２０
は、図１９の動作を説明する図で、画像より抽出した目
存在領域の２値画像を用いる目の開閉の判定について説
明する。
転等の運転状態を検出するため、運転者の顔を車両室内
に設けられたカメラで撮影し、得られた顔画像を処理し
て顔の特徴点である目を抽出して、目の開閉を検出する
顔画像処理装置が開発されている。このような従来装置
としては、濃度階調画像を２値画像に変換した後、抽出
された顔の輪郭の内側での黒色領域より目を抽出し、抽
出した目画像の目尻部分の上側形状の傾きを、１次相関
をとることにより検出し、その傾きの変化により、目の
開閉を判定する特開平９−４４６８４号公報が開示され
ている。図１９は、特開平９−４４６８４号公報におけ
る運転者の状態検出を示す概略構成図である。図におい
て、１は運転者を撮影するカメラ、２はカメラ１の濃度
階調画像が入力され、Ａ／Ｄ変換してディジタル階調画
像とする画像入力手段、３は画像入力手段２の変換した
ディジタル階調画像を２値化する２値化手段、４は２値
化画像の目存在領域を抽出する目抽出手段、５は目存在
領域から形状関数を算出し、さらに円弧形状に着目した
評価関数を算出する評価関数算出手段、６は評価関数の
値から目の開閉判定を行う開閉判定手段である。図２０
は、図１９の動作を説明する図で、画像より抽出した目
存在領域の２値画像を用いる目の開閉の判定について説
明する。
【０００３】このように構成された従来の運転者の状態
検出においては、まず画像入力手段２において、運転者
の顔を撮影したカメラ１からの濃度階調画像が映像信号
として入力されて、Ａ／Ｄ変換され、変換されたディジ
タル階調画像が２値化手段３により、所定の閾値で２値
化、即ち黒色画素と白色画素に変換される。次に、目抽
出手段４によって目存在領域の抽出が行われる。この目
抽出手段４は、例えば２値画像の黒色画素の座標平均か
ら重心を求め、この重心から一番近い黒色画素の塊が存
在するＸ方向左右の所定範囲の長方形領域を目存在領域
として抽出する。その後、評価関数算出手段５は、目存
在領域の２値化された目画像全体の形状、つまり特徴を
示す形状関数を算出し、この形状関数から円弧形状に着
目した評価関数を算出し、この値をメモリに記録する。
そこで開閉判定手段６により、時間的に変化する評価関
数の値Ｋから閾値を決定し、目の開閉判定を行う。
検出においては、まず画像入力手段２において、運転者
の顔を撮影したカメラ１からの濃度階調画像が映像信号
として入力されて、Ａ／Ｄ変換され、変換されたディジ
タル階調画像が２値化手段３により、所定の閾値で２値
化、即ち黒色画素と白色画素に変換される。次に、目抽
出手段４によって目存在領域の抽出が行われる。この目
抽出手段４は、例えば２値画像の黒色画素の座標平均か
ら重心を求め、この重心から一番近い黒色画素の塊が存
在するＸ方向左右の所定範囲の長方形領域を目存在領域
として抽出する。その後、評価関数算出手段５は、目存
在領域の２値化された目画像全体の形状、つまり特徴を
示す形状関数を算出し、この形状関数から円弧形状に着
目した評価関数を算出し、この値をメモリに記録する。
そこで開閉判定手段６により、時間的に変化する評価関
数の値Ｋから閾値を決定し、目の開閉判定を行う。
【０００４】次に、形状関数の例を図２０を用いて説明
する。図２０は、時間の推移（開眼時ＴＡ、閉眼時Ｔ
Ｃ、それらの間の時点ＴＢ）と、時間の推移に応じた目
存在領域の２値画像を示したものである。この２値化さ
れた目画像の目尻側所定範囲の上側画素を、最小自乗法
を用いて直線近似を行うと、図に示したように、開眼時
は傾きが大きく、目を閉じるに従って傾きが小さくな
る。即ち、所定範囲（ｎ画素）の目尻の上側画素の座標
を（ｘi，ｙi）として、 Ｋ＝（ｎΣｘｙ−ΣｘΣｙ）／（ｎΣｘ2−（Σｘ）2） で計算される。また、顔の傾きにつれて目尻の傾きも変
化するが、両目尻の傾きの平均を取ることにより、傾き
の影響を補償する。即ち、左目の目尻の傾きをＫＬ、右
目の目尻の傾きをＫＲとして、 Ｋ＝（ＫＬ＋ＫＲ）／２ なる式で目の開閉が評価され、次に、開閉評価手段６
は、開閉判定閾値ＫＢを設定することにより、Ｋの値に
基づいて開閉を判定する。最後に、居眠り判定は、瞬目
検出手段により検出した目の開閉状態に基づき、居眠り
を判定する。
する。図２０は、時間の推移（開眼時ＴＡ、閉眼時Ｔ
Ｃ、それらの間の時点ＴＢ）と、時間の推移に応じた目
存在領域の２値画像を示したものである。この２値化さ
れた目画像の目尻側所定範囲の上側画素を、最小自乗法
を用いて直線近似を行うと、図に示したように、開眼時
は傾きが大きく、目を閉じるに従って傾きが小さくな
る。即ち、所定範囲（ｎ画素）の目尻の上側画素の座標
を（ｘi，ｙi）として、 Ｋ＝（ｎΣｘｙ−ΣｘΣｙ）／（ｎΣｘ2−（Σｘ）2） で計算される。また、顔の傾きにつれて目尻の傾きも変
化するが、両目尻の傾きの平均を取ることにより、傾き
の影響を補償する。即ち、左目の目尻の傾きをＫＬ、右
目の目尻の傾きをＫＲとして、 Ｋ＝（ＫＬ＋ＫＲ）／２ なる式で目の開閉が評価され、次に、開閉評価手段６
は、開閉判定閾値ＫＢを設定することにより、Ｋの値に
基づいて開閉を判定する。最後に、居眠り判定は、瞬目
検出手段により検出した目の開閉状態に基づき、居眠り
を判定する。
【０００５】
【発明が解決しようとする課題】しかしながら、このよ
うな従来装置においては、２値化手段３において、目画
像を２値化する際、被撮像者の光環境が急変した場合
や、Ａ／Ｄ変換する際のバラツキなどで２値化される目
画像が変化する。特にその影響は瞼の線、特に目尻部に
顕著な影響を与える。従って、上記に説明したように最
小自乗法によって目尻部の傾きを計算すると、これらの
要因によって値が変化し、誤検出が生じやすいという問
題点があった。また、被撮像者の光環境が左右で異なる
と、左右の目の２値化状態もアンバランスとなるため、
正確な開閉評価が得られないといった問題点があった。
うな従来装置においては、２値化手段３において、目画
像を２値化する際、被撮像者の光環境が急変した場合
や、Ａ／Ｄ変換する際のバラツキなどで２値化される目
画像が変化する。特にその影響は瞼の線、特に目尻部に
顕著な影響を与える。従って、上記に説明したように最
小自乗法によって目尻部の傾きを計算すると、これらの
要因によって値が変化し、誤検出が生じやすいという問
題点があった。また、被撮像者の光環境が左右で異なる
と、左右の目の２値化状態もアンバランスとなるため、
正確な開閉評価が得られないといった問題点があった。
【０００６】この発明は、上記のような課題を解決する
ためになされたものであり、目画像２値化手段により被
撮影者の目画像の２値化状態が変化する場合でも、安定
して目の開閉状態を判定できる顔画像処理装置を得るこ
とを目的としている。
ためになされたものであり、目画像２値化手段により被
撮影者の目画像の２値化状態が変化する場合でも、安定
して目の開閉状態を判定できる顔画像処理装置を得るこ
とを目的としている。
【０００７】
【課題を解決するための手段】この発明に係わる顔画像
処理装置においては、カメラによって撮影された顔画像
が入力される画像入力手段と、この画像入力手段によっ
て入力された顔画像から２値化された目画像を抽出する
目画像抽出手段と、この目画像抽出手段によって抽出さ
れた目画像を所定角度座標回転する座標回転手段と、こ
の座標回転手段によって回転された目画像を用いて一次
相関を演算する相関演算手段と、この相関演算手段の演
算によって得られる相関係数に基づき目の開閉を判定す
る開閉判定手段を備えたものである。また、目画像抽出
手段は、画像入力手段によって入力された顔画像から目
領域を特定する目領域判定手段と、目領域中の目画像を
２値化する２値化手段とを有するものである。
処理装置においては、カメラによって撮影された顔画像
が入力される画像入力手段と、この画像入力手段によっ
て入力された顔画像から２値化された目画像を抽出する
目画像抽出手段と、この目画像抽出手段によって抽出さ
れた目画像を所定角度座標回転する座標回転手段と、こ
の座標回転手段によって回転された目画像を用いて一次
相関を演算する相関演算手段と、この相関演算手段の演
算によって得られる相関係数に基づき目の開閉を判定す
る開閉判定手段を備えたものである。また、目画像抽出
手段は、画像入力手段によって入力された顔画像から目
領域を特定する目領域判定手段と、目領域中の目画像を
２値化する２値化手段とを有するものである。
【０００８】また、目画像抽出手段によって２値化され
た目画像の縦幅を拡張する縦幅拡張手段を備えたもので
ある。さらに、縦幅拡張手段による目画像の縦幅の拡張
を、相関係数が所定範囲に入るように制御する縦幅拡張
制御手段を備えたものである。
た目画像の縦幅を拡張する縦幅拡張手段を備えたもので
ある。さらに、縦幅拡張手段による目画像の縦幅の拡張
を、相関係数が所定範囲に入るように制御する縦幅拡張
制御手段を備えたものである。
【０００９】また、目画像抽出手段によって２値化され
た目画像の傾きを補正する傾き補正手段を備え、座標回
転手段は傾き補正手段によって補正された目画像を回転
するものである。また、傾き補正手段は、相関係数が所
定範囲に入るように補正するものである。
た目画像の傾きを補正する傾き補正手段を備え、座標回
転手段は傾き補正手段によって補正された目画像を回転
するものである。また、傾き補正手段は、相関係数が所
定範囲に入るように補正するものである。
【００１０】さらにまた、画像入力手段によって入力さ
れた顔画像から顔画像の傾きを推定する傾き推定手段を
備え、傾き補正手段は、傾き推定手段によって推定され
た顔画像の傾きを用いて、目画像の補正を行うものであ
る。また、画像入力手段によって入力された顔画像から
顔画像の傾きを推定する傾き推定手段を備え、傾き推定
手段によって推定された顔画像の傾きを用いて、傾き補
正手段による目画像の傾きの補正を制限するものであ
る。
れた顔画像から顔画像の傾きを推定する傾き推定手段を
備え、傾き補正手段は、傾き推定手段によって推定され
た顔画像の傾きを用いて、目画像の補正を行うものであ
る。また、画像入力手段によって入力された顔画像から
顔画像の傾きを推定する傾き推定手段を備え、傾き推定
手段によって推定された顔画像の傾きを用いて、傾き補
正手段による目画像の傾きの補正を制限するものであ
る。
【００１１】加えて、傾き推定手段は、顔画像から抽出
された鼻孔画像を用いて傾きを推定するものである。ま
た、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する
鼻孔領域判定手段と、この鼻孔領域判定手段によって特
定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段
によって行われるものである。
された鼻孔画像を用いて傾きを推定するものである。ま
た、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する
鼻孔領域判定手段と、この鼻孔領域判定手段によって特
定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段
によって行われるものである。
【００１２】
【発明の実施の形態】実施の形態１．図１は、この発明
の実施の形態１による顔画像処理装置を示す概略構成図
である。図において、１は被撮影者を撮影するカメラ、
２はカメラの撮影した画像が入力される画像入力手段
で、撮影画像をＡ／Ｄ変換することにより、ディジタル
階調画像とする。８は画像中の目領域の特定を行う目領
域判定手段、９は目領域中の目画像を２値化する目画像
２値化手段で、目領域判定手段８と共に、目画像抽出手
段を構成する。１０は２値化された目画像の座標を回転
する座標回転手段、１１は座標が回転された目画像か
ら、１次相関の相関係数を演算する相関演算手段、１２
は相関係数の時間的変化から目の開閉を判定する開閉判
定手段である。
の実施の形態１による顔画像処理装置を示す概略構成図
である。図において、１は被撮影者を撮影するカメラ、
２はカメラの撮影した画像が入力される画像入力手段
で、撮影画像をＡ／Ｄ変換することにより、ディジタル
階調画像とする。８は画像中の目領域の特定を行う目領
域判定手段、９は目領域中の目画像を２値化する目画像
２値化手段で、目領域判定手段８と共に、目画像抽出手
段を構成する。１０は２値化された目画像の座標を回転
する座標回転手段、１１は座標が回転された目画像か
ら、１次相関の相関係数を演算する相関演算手段、１２
は相関係数の時間的変化から目の開閉を判定する開閉判
定手段である。
【００１３】図２は、この発明の実施の形態１による顔
画像処理装置の相関係数の特徴を説明する図であり、図
２（ａ）はデータがＸ軸と平行な場合、図２（ｂ）は図
２（ａ）のデータを座標回転した場合を示している。図
３は、この発明の実施の形態１による顔画像処理装置の
目の開閉を相関係数で評価することを説明する概念図で
あり、図３（ａ）は開眼時と閉眼時の２値化された目画
像、図３（ｂ）は座標回転した目画像を示す。図４は、
この発明の実施の形態１による顔画像処理装置の目の開
閉を検出する方法を示すタイムチャート図である。
画像処理装置の相関係数の特徴を説明する図であり、図
２（ａ）はデータがＸ軸と平行な場合、図２（ｂ）は図
２（ａ）のデータを座標回転した場合を示している。図
３は、この発明の実施の形態１による顔画像処理装置の
目の開閉を相関係数で評価することを説明する概念図で
あり、図３（ａ）は開眼時と閉眼時の２値化された目画
像、図３（ｂ）は座標回転した目画像を示す。図４は、
この発明の実施の形態１による顔画像処理装置の目の開
閉を検出する方法を示すタイムチャート図である。
【００１４】次に、動作について説明する。カメラ１で
撮影された顔画像は従来例で説明したものと同様に、画
像入力手段２に入力されてＡ／Ｄ変換されることによ
り、ディジタル階調画像に変換され、さらに目領域判定
手段８により、画像中の目領域の特定が成される。次
に、特定された目領域中の目画像が目画像２値化手段９
により処理されて、２値化された目画像が得られる。さ
らに、２値化された目画像は、座標回転手段１０によ
り、その座標が回転され、相関演算手段１１に入力され
る。相関演算手段１１により演算された１次相関の相関
係数は、開閉判定手段１２に入力され、相関係数の時間
的変化によって目の開閉が判定される。
撮影された顔画像は従来例で説明したものと同様に、画
像入力手段２に入力されてＡ／Ｄ変換されることによ
り、ディジタル階調画像に変換され、さらに目領域判定
手段８により、画像中の目領域の特定が成される。次
に、特定された目領域中の目画像が目画像２値化手段９
により処理されて、２値化された目画像が得られる。さ
らに、２値化された目画像は、座標回転手段１０によ
り、その座標が回転され、相関演算手段１１に入力され
る。相関演算手段１１により演算された１次相関の相関
係数は、開閉判定手段１２に入力され、相関係数の時間
的変化によって目の開閉が判定される。
【００１５】次に、相関演算手段１１による１次相関演
算によって得られる相関係数の性質について説明する。
相関係数自身は、統計学の参考書等で広く知られている
ものであり、２変量間の相関の強さを表すものである。
即ち、相関が強ければ１、−１に近い値となり、逆に相
関が無ければ０になる。言い換えるならば、１次相関演
算で相関係数を求めることは、直線性を評価することに
等しい。しかしながら、直線性を相関係数を用いて評価
する場合、図２（ａ）に示すような問題が生じる。即
ち、図に示したように直線がＸ軸と平行である場合、た
とえそのデータが直線状であったとしても相関係数は０
に近くなり、その直線性が評価できなくなる。この問題
は、図２（ｂ）に示すようにデータの座標を回転させＸ
−Ｙ座標からＵ−Ｖ座標に変換し、Ｕ−Ｖ座標で相関演
算することにより解決できる。即ち、図２（ａ）では相
関係数がほとんど０であったものが、図２（ｂ）ではほ
とんど１になる。なお、図２中に、ｘ−ｙ座標系からｕ
−ｖ座標系への変換式と、ｕ−ｖ座標系における相関係
数の演算式を示している。図中Ｒの自乗が相関係数であ
る。
算によって得られる相関係数の性質について説明する。
相関係数自身は、統計学の参考書等で広く知られている
ものであり、２変量間の相関の強さを表すものである。
即ち、相関が強ければ１、−１に近い値となり、逆に相
関が無ければ０になる。言い換えるならば、１次相関演
算で相関係数を求めることは、直線性を評価することに
等しい。しかしながら、直線性を相関係数を用いて評価
する場合、図２（ａ）に示すような問題が生じる。即
ち、図に示したように直線がＸ軸と平行である場合、た
とえそのデータが直線状であったとしても相関係数は０
に近くなり、その直線性が評価できなくなる。この問題
は、図２（ｂ）に示すようにデータの座標を回転させＸ
−Ｙ座標からＵ−Ｖ座標に変換し、Ｕ−Ｖ座標で相関演
算することにより解決できる。即ち、図２（ａ）では相
関係数がほとんど０であったものが、図２（ｂ）ではほ
とんど１になる。なお、図２中に、ｘ−ｙ座標系からｕ
−ｖ座標系への変換式と、ｕ−ｖ座標系における相関係
数の演算式を示している。図中Ｒの自乗が相関係数であ
る。
【００１６】次に、相関係数の性質を用いた、目の開閉
評価について説明する。図３（ａ）に、開眼時と閉眼時
の２値化された目画像を示す。図に示したように、目画
像は通常Ｘ軸に平行であるとともに、画像の直線性は、
閉眼時の方が高い。しかしながら、先に説明したよう
に、Ｘ軸と平行な直線は、たとえその直線性が高くとも
相関係数を計算すると０に近い値となるため、開眼時と
閉眼時とで差はない。そこで、目画像を座標回転手段１
０を用いて所定角度回転させ、回転させた画像の相関係
数を相関演算手段１１を用いて計算させると、図３
（ｂ）に示すよう、開眼時は相関係数が低く、また閉眼
時は相関係数が高くなる。この所定角度は４５度が最も
適切である。図４に、まばたきの検出例を示す。図４
は、目の開度に応じた相関係数の値の変化と共に、適当
な開閉判定閾値を示している。この図に示したように、
開閉判定手段１２により開閉判定閾値を越えた場合、閉
眼判定をすることにより瞬きの検出、及び閾値を超えた
時間を計測することにより、閉眼持続時間の検出が可能
となる。なお、この開閉判定閾値の設定は、相関係数の
平均的な値や、相関係数をフィルタリングした値、注目
時点から所定時間前の値等から個人の特性に合わせて決
定されるものである。さらに、上述では相関係数で説明
したが、相関係数の自乗を用いても何ら差し支えはな
い。
評価について説明する。図３（ａ）に、開眼時と閉眼時
の２値化された目画像を示す。図に示したように、目画
像は通常Ｘ軸に平行であるとともに、画像の直線性は、
閉眼時の方が高い。しかしながら、先に説明したよう
に、Ｘ軸と平行な直線は、たとえその直線性が高くとも
相関係数を計算すると０に近い値となるため、開眼時と
閉眼時とで差はない。そこで、目画像を座標回転手段１
０を用いて所定角度回転させ、回転させた画像の相関係
数を相関演算手段１１を用いて計算させると、図３
（ｂ）に示すよう、開眼時は相関係数が低く、また閉眼
時は相関係数が高くなる。この所定角度は４５度が最も
適切である。図４に、まばたきの検出例を示す。図４
は、目の開度に応じた相関係数の値の変化と共に、適当
な開閉判定閾値を示している。この図に示したように、
開閉判定手段１２により開閉判定閾値を越えた場合、閉
眼判定をすることにより瞬きの検出、及び閾値を超えた
時間を計測することにより、閉眼持続時間の検出が可能
となる。なお、この開閉判定閾値の設定は、相関係数の
平均的な値や、相関係数をフィルタリングした値、注目
時点から所定時間前の値等から個人の特性に合わせて決
定されるものである。さらに、上述では相関係数で説明
したが、相関係数の自乗を用いても何ら差し支えはな
い。
【００１７】実施の形態２．図５は、この発明の実施の
形態２による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同
一のものである。１３は目画像２値化手段９によって２
値化された目画像の縦幅を拡張する縦幅拡張手段であ
る。図６は、この発明の実施の形態２による顔画像処理
装置の細い目と大きい目との比較図である。図７は、こ
の発明の実施の形態２による顔画像処理装置の細い目の
人の開閉眼を検出する方法を説明する概略図である。
形態２による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同
一のものである。１３は目画像２値化手段９によって２
値化された目画像の縦幅を拡張する縦幅拡張手段であ
る。図６は、この発明の実施の形態２による顔画像処理
装置の細い目と大きい目との比較図である。図７は、こ
の発明の実施の形態２による顔画像処理装置の細い目の
人の開閉眼を検出する方法を説明する概略図である。
【００１８】次に動作について説明する。図６は、細い
目の被撮像者の例と、大きな目の被撮像者の例を示した
ものであるが、図に示したように、細い目の場合の相関
係数は、目形状が直線に近いので、大きな目の被撮像者
の例と比較すると、より１に近い値となり、開眼時と閉
眼時の変化が小さくなり、まばたきの検出が困難にな
る。しかし、図７に示すように、目画像の座標を座標回
転手段１０に入力する前に、縦幅拡張手段１３に入力し
て、目画像の個々の画素のＹ座標の値を所定倍すること
により、目の縦幅を拡張する。その拡張後、座標回転手
段１０に入力して座標を回転させ、相関演算手段１１に
入力して相関係数を演算させると、図７に示したよう
に、開眼時の相関係数の減少率は閉眼時の相関係数の減
少率よりも大きいため、開眼時と閉眼時の相関係数の変
化量が大きくなる。これにより、細い目の被撮像者のま
ばたき検出性能が向上する。ここで、所定倍の値は、画
像の分解能や、撮像された目の大きさ等で最適な値が選
択されるものである。
目の被撮像者の例と、大きな目の被撮像者の例を示した
ものであるが、図に示したように、細い目の場合の相関
係数は、目形状が直線に近いので、大きな目の被撮像者
の例と比較すると、より１に近い値となり、開眼時と閉
眼時の変化が小さくなり、まばたきの検出が困難にな
る。しかし、図７に示すように、目画像の座標を座標回
転手段１０に入力する前に、縦幅拡張手段１３に入力し
て、目画像の個々の画素のＹ座標の値を所定倍すること
により、目の縦幅を拡張する。その拡張後、座標回転手
段１０に入力して座標を回転させ、相関演算手段１１に
入力して相関係数を演算させると、図７に示したよう
に、開眼時の相関係数の減少率は閉眼時の相関係数の減
少率よりも大きいため、開眼時と閉眼時の相関係数の変
化量が大きくなる。これにより、細い目の被撮像者のま
ばたき検出性能が向上する。ここで、所定倍の値は、画
像の分解能や、撮像された目の大きさ等で最適な値が選
択されるものである。
【００１９】実施の形態３．図８は、この発明の実施の
形態３による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと同
一のものである。１４は相関演算手段１１から得られる
相関係数の平均的な値が所定範囲の値となるよう、縦幅
拡張手段１３における拡張のための所定倍の値を制御す
る縦幅拡張制御手段である。図９は、この発明の実施の
形態３による顔画像処理装置の目の細い／大きいに関わ
らず、同様にまばたきを検出する方法を説明する図であ
る。
形態３による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと同
一のものである。１４は相関演算手段１１から得られる
相関係数の平均的な値が所定範囲の値となるよう、縦幅
拡張手段１３における拡張のための所定倍の値を制御す
る縦幅拡張制御手段である。図９は、この発明の実施の
形態３による顔画像処理装置の目の細い／大きいに関わ
らず、同様にまばたきを検出する方法を説明する図であ
る。
【００２０】実施の形態１では、目が細い被撮像者で
は、まばたきの検出が困難であり、実施の形態２では、
その問題が解決できることを説明した。しかしながら、
目の大きい被撮像者では、実施の形態１では良好な検出
性が得られるが、実施の形態２では、逆に縦幅を拡張す
ることに伴う相関係数の低下率が大きく、検出が困難と
なる。また、実施の形態１及び実施の形態２とも、まば
たきに伴う相関係数の時間的変化の振幅が目の大きさに
依存して変化し、ひいてはまばたき検出性の個人差とし
て現れる。実施の形態３では、図９に示したように、相
関演算手段１１から得られる相関係数の平均的な値また
は、開眼と判定されている時の相関係数の平均的な値が
所定の範囲となるよう縦幅拡張制御手段１４を用いて、
縦幅拡張手段１３における所定倍の値をフィードバック
制御するものである。このような制御を行うことによ
り、相関値の変化が、目の細い人、目の大きい人にかか
わらず、同様の変化となり、ひいては開閉判定手段１２
による開閉判定閾値の決定が簡素となると共に、まばた
き検出性の個人差を低減することが可能となる。
は、まばたきの検出が困難であり、実施の形態２では、
その問題が解決できることを説明した。しかしながら、
目の大きい被撮像者では、実施の形態１では良好な検出
性が得られるが、実施の形態２では、逆に縦幅を拡張す
ることに伴う相関係数の低下率が大きく、検出が困難と
なる。また、実施の形態１及び実施の形態２とも、まば
たきに伴う相関係数の時間的変化の振幅が目の大きさに
依存して変化し、ひいてはまばたき検出性の個人差とし
て現れる。実施の形態３では、図９に示したように、相
関演算手段１１から得られる相関係数の平均的な値また
は、開眼と判定されている時の相関係数の平均的な値が
所定の範囲となるよう縦幅拡張制御手段１４を用いて、
縦幅拡張手段１３における所定倍の値をフィードバック
制御するものである。このような制御を行うことによ
り、相関値の変化が、目の細い人、目の大きい人にかか
わらず、同様の変化となり、ひいては開閉判定手段１２
による開閉判定閾値の決定が簡素となると共に、まばた
き検出性の個人差を低減することが可能となる。
【００２１】実施の形態４．図１０は、この発明の実施
の形態４による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１２は図１におけるもの
と同一のものである。１５は目画像２値化手段９と座標
回転手段１０の間に追加された傾き補正手段であり、相
関演算手段１１から１次相関計算時の傾きが入力されて
いる。図１１は、この発明の実施の形態４による顔画像
処理装置の顔が傾いたときの問題点を説明する図であ
り、図１１（ａ）は顔が傾いたときの目画像、図１１
（ｂ）は図１１（ａ）を座標回転させたときの目画像で
ある。図１１（ａ）は、顔が傾いた時の目画像２値化手
段９からの目画像を示している。通常座標回転手段１０
による回転角度は実施の形態１で説明した通り、４５度
であるので、座標回転手段１０より４５度回転させた目
画像は、図１１（ｂ）のようになり、Ｘ軸またはＹ軸に
平行な直線に近づくことが容易に分かる。従って、実施
の形態１にて説明した相関係数の性質により、同じ目形
状であっても、傾き角度によって値が変化し、ひいては
閉眼時の相関係数も増大することがなくなるため、まば
たきの検出が不可能となる。図１２は、この発明の実施
の形態４による顔画像処理装置の動作を示す概念図であ
り、図１２（ａ）は１近辺の傾きをもつ目画像、図１２
（ｂ）は傾きが１からはずれた目画像、図１２（ｃ）は
傾き補正手段を用いて補正された目画像を示す。
の形態４による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１２は図１におけるもの
と同一のものである。１５は目画像２値化手段９と座標
回転手段１０の間に追加された傾き補正手段であり、相
関演算手段１１から１次相関計算時の傾きが入力されて
いる。図１１は、この発明の実施の形態４による顔画像
処理装置の顔が傾いたときの問題点を説明する図であ
り、図１１（ａ）は顔が傾いたときの目画像、図１１
（ｂ）は図１１（ａ）を座標回転させたときの目画像で
ある。図１１（ａ）は、顔が傾いた時の目画像２値化手
段９からの目画像を示している。通常座標回転手段１０
による回転角度は実施の形態１で説明した通り、４５度
であるので、座標回転手段１０より４５度回転させた目
画像は、図１１（ｂ）のようになり、Ｘ軸またはＹ軸に
平行な直線に近づくことが容易に分かる。従って、実施
の形態１にて説明した相関係数の性質により、同じ目形
状であっても、傾き角度によって値が変化し、ひいては
閉眼時の相関係数も増大することがなくなるため、まば
たきの検出が不可能となる。図１２は、この発明の実施
の形態４による顔画像処理装置の動作を示す概念図であ
り、図１２（ａ）は１近辺の傾きをもつ目画像、図１２
（ｂ）は傾きが１からはずれた目画像、図１２（ｃ）は
傾き補正手段を用いて補正された目画像を示す。
【００２２】次に動作について説明する。相関演算手段
１１から相関値と共に傾きを取り出すと、その傾きを評
価することにより、座標回転手段１０による回転角度が
適切であるかどうかの判定が可能である。即ち、図１２
（ａ）に示すよう傾きが１近辺であると、目画像は理想
的な回転角度が与えられており、まばたきによる良好な
相関係数の変化が期待できる。しかし、図１２（ｂ）に
示すよう傾きが１からはずれるに従って、座標回転手段
１０による回転角度が不適切になる。このような性質を
用い、傾き補正手段１５は、相関演算手段１１から得ら
れる傾きが入力され、その傾きが相関係数によるまばた
き判定が良好にできる範囲をはずれないよう、座標回転
手段１０に対し回転角度をフィードバック制御する。こ
れらの手段により、たとえ顔が傾いた場合でも、図１２
（ｃ）に示すように、座標回転手段１０により回転され
た目画像の傾きは、所定の範囲にとどまるため、相関演
算手段１１は、顔の傾きに依らず目の開閉度合いに対応
した相関係数を出力することが可能となり、ひいては、
目開閉判定手段１２による良好なまばたきの検出ができ
る。
１１から相関値と共に傾きを取り出すと、その傾きを評
価することにより、座標回転手段１０による回転角度が
適切であるかどうかの判定が可能である。即ち、図１２
（ａ）に示すよう傾きが１近辺であると、目画像は理想
的な回転角度が与えられており、まばたきによる良好な
相関係数の変化が期待できる。しかし、図１２（ｂ）に
示すよう傾きが１からはずれるに従って、座標回転手段
１０による回転角度が不適切になる。このような性質を
用い、傾き補正手段１５は、相関演算手段１１から得ら
れる傾きが入力され、その傾きが相関係数によるまばた
き判定が良好にできる範囲をはずれないよう、座標回転
手段１０に対し回転角度をフィードバック制御する。こ
れらの手段により、たとえ顔が傾いた場合でも、図１２
（ｃ）に示すように、座標回転手段１０により回転され
た目画像の傾きは、所定の範囲にとどまるため、相関演
算手段１１は、顔の傾きに依らず目の開閉度合いに対応
した相関係数を出力することが可能となり、ひいては、
目開閉判定手段１２による良好なまばたきの検出ができ
る。
【００２３】実施の形態５．図１３は、この発明の実施
の形態５による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１２、１５は図１０にお
けるものと同一のものである。１７は鼻孔領域判定手
段、１８は鼻孔抽出手段である。１９は傾き推定手段で
ある。図１４は、この発明の実施の形態５による顔画像
処理装置の動作を示す概念図である。
の形態５による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１２、１５は図１０にお
けるものと同一のものである。１７は鼻孔領域判定手
段、１８は鼻孔抽出手段である。１９は傾き推定手段で
ある。図１４は、この発明の実施の形態５による顔画像
処理装置の動作を示す概念図である。
【００２４】次に動作について説明する。実施の形態５
では、実施の形態４に加え、２つの鼻孔を抽出する手段
を備えている。即ち、画像入力手段２からの顔画像か
ら、鼻孔領域判定手段１７により画像中の鼻孔領域の特
定が成される。次に、特定された鼻孔領域中の２つの鼻
孔像が鼻孔抽出手段１８により得られる。次に、２つの
鼻孔像は傾き推定手段１９に入力される。傾き推定手段
１９では、図１４に示すように、２つの鼻孔の重心の座
標をそれぞれ求め、さらに２つの座標より顔の傾きを図
に示すような式で計算する。次に、傾き推定手段１９に
より推定した顔の傾きをθとすると、座標回転手段１０
に対する回転角度指示は、４５度−θという式で計算さ
れる。これらの手段により、たとえ顔が傾いた場合で
も、図１４に示すように、座標回転手段１０により回転
された目画像の傾きは、顔の傾きによる影響が除去され
ているので、相関演算手段１１は、顔の傾きに依らず目
の開閉度合いに対応した相関係数を出力することが可能
となり、ひいては、開閉判定手段１２による良好なまば
たきの検出ができる。
では、実施の形態４に加え、２つの鼻孔を抽出する手段
を備えている。即ち、画像入力手段２からの顔画像か
ら、鼻孔領域判定手段１７により画像中の鼻孔領域の特
定が成される。次に、特定された鼻孔領域中の２つの鼻
孔像が鼻孔抽出手段１８により得られる。次に、２つの
鼻孔像は傾き推定手段１９に入力される。傾き推定手段
１９では、図１４に示すように、２つの鼻孔の重心の座
標をそれぞれ求め、さらに２つの座標より顔の傾きを図
に示すような式で計算する。次に、傾き推定手段１９に
より推定した顔の傾きをθとすると、座標回転手段１０
に対する回転角度指示は、４５度−θという式で計算さ
れる。これらの手段により、たとえ顔が傾いた場合で
も、図１４に示すように、座標回転手段１０により回転
された目画像の傾きは、顔の傾きによる影響が除去され
ているので、相関演算手段１１は、顔の傾きに依らず目
の開閉度合いに対応した相関係数を出力することが可能
となり、ひいては、開閉判定手段１２による良好なまば
たきの検出ができる。
【００２５】実施の形態６．図１５はこの発明の実施の
形態６による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５、１７〜１９は図
１３におけるものと同一のものである。図１６は、この
発明の実施の形態６による顔画像処理装置の目画像の一
部が欠けた場合の問題点の説明と、動作を説明する図で
あり、図１６（ａ）は不適切な補正角を示す図、図１６
（ｂ）は補正角を制限した図である。
形態６による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５、１７〜１９は図
１３におけるものと同一のものである。図１６は、この
発明の実施の形態６による顔画像処理装置の目画像の一
部が欠けた場合の問題点の説明と、動作を説明する図で
あり、図１６（ａ）は不適切な補正角を示す図、図１６
（ｂ）は補正角を制限した図である。
【００２６】次に動作について説明する。実施の形態６
の基本構成は、実施の形態４と同等であり、これに実施
の形態５にて説明した鼻孔による顔の傾き推定手段１９
が追加された形となっている。しかし、傾き推定手段１
９により推定された顔の傾きは、実施の形態５の場合と
は異なり、この値を用いて、傾き補正手段１５における
補正角を与えるものではなく、実施の形態４と同様に相
関演算手段１１から得られる相関係数が所定の範囲に入
るようにフィードバック制御した際に得られる補正角に
対するクリップ値として作用する。すなわち、実施の形
態４の方式では、相関値を演算するのに最適な補正角が
得られるように傾き補正手段１５は動作するが、図１６
（ａ）に示すよう、一部が欠けた目画像に起因行して、
目画像２値化手段９による目画像が不適切な場合、傾き
補正手段１５による傾き補正も誤ったものとなってしま
う。従って、傾き補正手段１５による補正角を鼻孔検出
による傾き推定手段１９で推定したこの傾きを用いて制
限することにより、図１６（ｂ）に示すよう、誤った傾
き補正を抑止する。例えば、図１６（ａ）に示したよう
に、補正角を制御してしまうと、相関係数が大きくなる
ところ、図１６（ｂ）に示したように補正角を制限する
とその影響を抑えることができる。これにより誤った開
閉評価値の生成が抑止され、開閉検出手段１２によるま
ばたき検出精度が向上できる。
の基本構成は、実施の形態４と同等であり、これに実施
の形態５にて説明した鼻孔による顔の傾き推定手段１９
が追加された形となっている。しかし、傾き推定手段１
９により推定された顔の傾きは、実施の形態５の場合と
は異なり、この値を用いて、傾き補正手段１５における
補正角を与えるものではなく、実施の形態４と同様に相
関演算手段１１から得られる相関係数が所定の範囲に入
るようにフィードバック制御した際に得られる補正角に
対するクリップ値として作用する。すなわち、実施の形
態４の方式では、相関値を演算するのに最適な補正角が
得られるように傾き補正手段１５は動作するが、図１６
（ａ）に示すよう、一部が欠けた目画像に起因行して、
目画像２値化手段９による目画像が不適切な場合、傾き
補正手段１５による傾き補正も誤ったものとなってしま
う。従って、傾き補正手段１５による補正角を鼻孔検出
による傾き推定手段１９で推定したこの傾きを用いて制
限することにより、図１６（ｂ）に示すよう、誤った傾
き補正を抑止する。例えば、図１６（ａ）に示したよう
に、補正角を制御してしまうと、相関係数が大きくなる
ところ、図１６（ｂ）に示したように補正角を制限する
とその影響を抑えることができる。これにより誤った開
閉評価値の生成が抑止され、開閉検出手段１２によるま
ばたき検出精度が向上できる。
【００２７】実施の形態７．図１７は、この発明の実施
の形態７による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１３は図５におけるもの
と、１５は図１０におけるものと同一のものである。図
１８は、この発明の実施の形態７による顔画像処理装置
の動作を説明する図であり、図１８（ａ）は傾いた顔の
目画像２値化手段の出力を示す縦軸拡張手段によって縦
軸を拡張した図、図１８（ｂ）はさらに傾き補正手段を
用いたときの図である。実施の形態７では、目画像２値
化手段９と縦幅拡張手段１３の間に実施の形態４、５、
６等で説明したのと同等な傾き補正手段１５が追加され
たものである。
の形態７による顔画像処理装置を示す概略構成図であ
る。図において、１、２、８〜１３は図５におけるもの
と、１５は図１０におけるものと同一のものである。図
１８は、この発明の実施の形態７による顔画像処理装置
の動作を説明する図であり、図１８（ａ）は傾いた顔の
目画像２値化手段の出力を示す縦軸拡張手段によって縦
軸を拡張した図、図１８（ｂ）はさらに傾き補正手段を
用いたときの図である。実施の形態７では、目画像２値
化手段９と縦幅拡張手段１３の間に実施の形態４、５、
６等で説明したのと同等な傾き補正手段１５が追加され
たものである。
【００２８】次に動作について説明する。図１８（ａ）
は、傾いた顔のときの目画像２値化手段９の出力を示
す。この目画像をＹ軸方向に拡張すると、実際には目を
斜め方向に拡張することになる。すなわち、目画像の縦
方向を同時に拡張することになるので、縦方向のみの拡
張と比較して相関係数は小さくなる。この影響により、
実施の形態２、３で述べたような拡張の効果は現れず、
ひいては開閉検出ができなくなる。従って、実施の形態
４、５、６で説明したように顔の傾きを推定した後、傾
き補正手段１５により目画像を水平位置に修正した後、
縦幅拡張手段１３を用い、実施の形態２、３にて説明し
たことと同等の処理を行うことにより、顔の傾き、目の
大小に関わらず良好なまばたき検出性能が得られる。
は、傾いた顔のときの目画像２値化手段９の出力を示
す。この目画像をＹ軸方向に拡張すると、実際には目を
斜め方向に拡張することになる。すなわち、目画像の縦
方向を同時に拡張することになるので、縦方向のみの拡
張と比較して相関係数は小さくなる。この影響により、
実施の形態２、３で述べたような拡張の効果は現れず、
ひいては開閉検出ができなくなる。従って、実施の形態
４、５、６で説明したように顔の傾きを推定した後、傾
き補正手段１５により目画像を水平位置に修正した後、
縦幅拡張手段１３を用い、実施の形態２、３にて説明し
たことと同等の処理を行うことにより、顔の傾き、目の
大小に関わらず良好なまばたき検出性能が得られる。
【００２９】
【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。カメラ
によって撮影された顔画像が入力される画像入力手段
と、この画像入力手段によって入力された顔画像から２
値化された目画像を抽出する目画像抽出手段と、この目
画像抽出手段によって抽出された目画像を所定角度座標
回転する座標回転手段と、この座標回転手段によって回
転された目画像を用いて一次相関を演算する相関演算手
段と、この相関演算手段の演算によって得られる相関係
数に基づき目の開閉を判定する開閉判定手段を備えたの
で、目画像の２値化状態が変化しても、安定して目の開
閉を判定することができる。また、目画像抽出手段は、
画像入力手段によって入力された顔画像から目領域を特
定する目領域判定手段と、目領域中の目画像を２値化す
る２値化手段とを有するので、特定した目領域から目画
像を２値化することができる。
れているので、以下に示すような効果を奏する。カメラ
によって撮影された顔画像が入力される画像入力手段
と、この画像入力手段によって入力された顔画像から２
値化された目画像を抽出する目画像抽出手段と、この目
画像抽出手段によって抽出された目画像を所定角度座標
回転する座標回転手段と、この座標回転手段によって回
転された目画像を用いて一次相関を演算する相関演算手
段と、この相関演算手段の演算によって得られる相関係
数に基づき目の開閉を判定する開閉判定手段を備えたの
で、目画像の２値化状態が変化しても、安定して目の開
閉を判定することができる。また、目画像抽出手段は、
画像入力手段によって入力された顔画像から目領域を特
定する目領域判定手段と、目領域中の目画像を２値化す
る２値化手段とを有するので、特定した目領域から目画
像を２値化することができる。
【００３０】また、目画像抽出手段によって２値化され
た目画像の縦幅を拡張する縦幅拡張手段を備えたので、
目が細い被撮影者でも、良好に目の開閉を判定すること
ができる。さらに、縦幅拡張手段による目画像の縦幅の
拡張を、相関係数が所定範囲に入るように制御する縦幅
拡張制御手段を備えたので、目の大小の個人差を吸収す
ることが可能となる。
た目画像の縦幅を拡張する縦幅拡張手段を備えたので、
目が細い被撮影者でも、良好に目の開閉を判定すること
ができる。さらに、縦幅拡張手段による目画像の縦幅の
拡張を、相関係数が所定範囲に入るように制御する縦幅
拡張制御手段を備えたので、目の大小の個人差を吸収す
ることが可能となる。
【００３１】また、目画像抽出手段によって２値化され
た目画像の傾きを補正する傾き補正手段を備え、座標回
転手段は傾き補正手段によって補正された目画像を回転
するので、傾きのない目画像を回転することができる。
また、傾き補正手段は、相関係数が所定範囲に入るよう
に補正するので、被撮影者の顔の傾きが変化した場合で
も、良好に目の開閉を判定することができる。
た目画像の傾きを補正する傾き補正手段を備え、座標回
転手段は傾き補正手段によって補正された目画像を回転
するので、傾きのない目画像を回転することができる。
また、傾き補正手段は、相関係数が所定範囲に入るよう
に補正するので、被撮影者の顔の傾きが変化した場合で
も、良好に目の開閉を判定することができる。
【００３２】さらにまた、画像入力手段によって入力さ
れた顔画像から顔画像の傾きを推定する傾き推定手段を
備え、傾き補正手段は、傾き推定手段によって推定され
た顔画像の傾きを用いて、目画像の補正を行うので、的
確に補正を行うことができる。また、画像入力手段によ
って入力された顔画像から顔画像の傾きを推定する傾き
推定手段を備え、傾き推定手段によって推定された顔画
像の傾きを用いて、傾き補正手段による目画像の傾きの
補正を制限するので、誤った補正を抑止することができ
る。
れた顔画像から顔画像の傾きを推定する傾き推定手段を
備え、傾き補正手段は、傾き推定手段によって推定され
た顔画像の傾きを用いて、目画像の補正を行うので、的
確に補正を行うことができる。また、画像入力手段によ
って入力された顔画像から顔画像の傾きを推定する傾き
推定手段を備え、傾き推定手段によって推定された顔画
像の傾きを用いて、傾き補正手段による目画像の傾きの
補正を制限するので、誤った補正を抑止することができ
る。
【００３３】加えて、傾き推定手段は、顔画像から抽出
された鼻孔画像を用いて傾きを推定するので、的確に顔
の傾きを推定することができる。また、鼻孔画像の抽出
は、顔画像から鼻孔領域を特定する鼻孔領域判定手段
と、この鼻孔領域判定手段によって特定された鼻孔領域
から鼻孔画像を抽出する鼻孔抽出手段によって、鼻孔画
像を抽出することができる。
された鼻孔画像を用いて傾きを推定するので、的確に顔
の傾きを推定することができる。また、鼻孔画像の抽出
は、顔画像から鼻孔領域を特定する鼻孔領域判定手段
と、この鼻孔領域判定手段によって特定された鼻孔領域
から鼻孔画像を抽出する鼻孔抽出手段によって、鼻孔画
像を抽出することができる。
【図１】 この発明の実施の形態１による顔画像処理装
置を示す概略構成図である。
置を示す概略構成図である。
【図２】 この発明の実施の形態１による顔画像処理装
置の相関係数の特徴を説明する図である。
置の相関係数の特徴を説明する図である。
【図３】 この発明の実施の形態１による顔画像処理装
置の目の開閉を相関係数で評価することを説明する概念
図である。
置の目の開閉を相関係数で評価することを説明する概念
図である。
【図４】 この発明の実施の形態１による顔画像処理装
置の目の開閉を検出する方法を示すタイムチャート図で
ある。
置の目の開閉を検出する方法を示すタイムチャート図で
ある。
【図５】 この発明の実施の形態２による顔画像処理装
置を示す概略構成図である。
置を示す概略構成図である。
【図６】 この発明の実施の形態２による顔画像処理装
置の細い目と大きい目との比較図である。
置の細い目と大きい目との比較図である。
【図７】 この発明の実施の形態２による顔画像処理装
置の細い目の人の開閉眼を検出する方法を説明する概略
図である。
置の細い目の人の開閉眼を検出する方法を説明する概略
図である。
【図８】 この発明の実施の形態３による顔画像処理装
置を示す概略構成図である。
置を示す概略構成図である。
【図９】 この発明の実施の形態３による顔画像処理装
置の目の細い／大きいに関わらず、同様にまばたきを検
出する方法を説明する図である。
置の目の細い／大きいに関わらず、同様にまばたきを検
出する方法を説明する図である。
【図１０】 この発明の実施の形態４による顔画像処理
装置を示す概略構成図である。
装置を示す概略構成図である。
【図１１】 この発明の実施の形態４による顔画像処理
装置の顔が傾いたときの問題点を説明する図である。
装置の顔が傾いたときの問題点を説明する図である。
【図１２】 この発明の実施の形態４による顔画像処理
装置の動作を示す概念図である。
装置の動作を示す概念図である。
【図１３】 この発明の実施の形態５による顔画像処理
装置を示す概略構成図である。
装置を示す概略構成図である。
【図１４】 この発明の実施の形態５による顔画像処理
装置の動作を示す概念図である。
装置の動作を示す概念図である。
【図１５】 この発明の実施の形態６による顔画像処理
装置を示す概略構成図である。
装置を示す概略構成図である。
【図１６】 この発明の実施の形態６による顔画像処理
装置の目画像の一部が欠けた場合の問題点の説明と、動
作を説明する図である。
装置の目画像の一部が欠けた場合の問題点の説明と、動
作を説明する図である。
【図１７】 この発明の実施の形態７による顔画像処理
装置を示す概略構成図である。
装置を示す概略構成図である。
【図１８】 この発明の実施の形態７による顔画像処理
装置の動作を説明する図である。
装置の動作を説明する図である。
【図１９】 従来の運転者の状態検出を示す概略構成図
である。
である。
【図２０】 従来の運転者の状態検出における動作を説
明する図である。
明する図である。
１ カメラ、 ２ 画像入力手段、 ８ 目領域判定手
段、９ 目画像２値化手段、 １０ 座標回転手段、
１１ 相関演算手段、１２ 開閉判定手段、 １３ 縦
幅拡張手段、 １４ 縦幅拡張制御手段、１５ 傾き補
正手段、 １７ 鼻孔領域判定手段、 １８ 鼻孔抽出
手段、１９ 傾き推定手段。
段、９ 目画像２値化手段、 １０ 座標回転手段、
１１ 相関演算手段、１２ 開閉判定手段、 １３ 縦
幅拡張手段、 １４ 縦幅拡張制御手段、１５ 傾き補
正手段、 １７ 鼻孔領域判定手段、 １８ 鼻孔抽出
手段、１９ 傾き推定手段。
Claims (10)
- 【請求項１】 カメラによって撮影された顔画像が入力
される画像入力手段、この画像入力手段によって入力さ
れた顔画像から２値化された目画像を抽出する目画像抽
出手段、この目画像抽出手段によって抽出された目画像
を所定角度座標回転する座標回転手段、この座標回転手
段によって回転された目画像を用いて一次相関を演算す
る相関演算手段、この相関演算手段の演算によって得ら
れる相関係数に基づき目の開閉を判定する開閉判定手段
を備えたことを特徴とする顔画像処理装置。 - 【請求項２】 目画像抽出手段は、画像入力手段によっ
て入力された顔画像から目領域を特定する目領域判定手
段と、上記目領域中の目画像を２値化する２値化手段と
を有することを特徴とする請求項１記載の顔画像処理装
置。 - 【請求項３】 目画像抽出手段によって２値化された目
画像の縦幅を拡張する縦幅拡張手段を備えたことを特徴
とする請求項１または請求項２記載の顔画像処理装置。 - 【請求項４】 縦幅拡張手段による目画像の縦幅の拡張
を、相関係数が所定範囲に入るように制御する縦幅拡張
制御手段を備えたことを特徴とする請求項３記載の顔画
像処理装置。 - 【請求項５】 目画像抽出手段によって２値化された目
画像の傾きを補正する傾き補正手段を備え、座標回転手
段は上記傾き補正手段によって補正された目画像を回転
することを特徴とする請求項１〜請求項４のいずれか一
項記載の顔画像処理装置。 - 【請求項６】 傾き補正手段は、相関係数が所定範囲に
入るように補正することを特徴とする請求項５記載の顔
画像処理装置。 - 【請求項７】 画像入力手段によって入力された顔画像
から顔画像の傾きを推定する傾き推定手段を備え、傾き
補正手段は、上記傾き推定手段によって推定された顔画
像の傾きを用いて、目画像の補正を行うことを特徴とす
る請求項５記載の顔画像処理装置。 - 【請求項８】 画像入力手段によって入力された顔画像
から顔画像の傾きを推定する傾き推定手段を備え、上記
傾き推定手段によって推定された顔画像の傾きを用い
て、傾き補正手段による目画像の傾きの補正を制限する
ことを特徴とする請求項６記載の顔画像処理装置。 - 【請求項９】 傾き推定手段は、顔画像から抽出された
鼻孔画像を用いて傾きを推定することを特徴とする請求
項７または請求項８記載の顔画像処理装置。 - 【請求項１０】 鼻孔画像の抽出は、顔画像から鼻孔領
域を特定する鼻孔領域判定手段と、この鼻孔領域判定手
段によって特定された鼻孔領域から鼻孔画像を抽出する
鼻孔抽出手段によって行われることを特徴とする請求項
９記載の顔画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13304999A JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
| US09/437,110 US6571002B1 (en) | 1999-05-13 | 1999-11-09 | Eye open/close detection through correlation |
| KR1020000001973A KR100355125B1 (ko) | 1999-05-13 | 2000-01-17 | 안화상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13304999A JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322561A true JP2000322561A (ja) | 2000-11-24 |
| JP3600755B2 JP3600755B2 (ja) | 2004-12-15 |
Family
ID=15095631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13304999A Expired - Fee Related JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6571002B1 (ja) |
| JP (1) | JP3600755B2 (ja) |
| KR (1) | KR100355125B1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011152218A (ja) * | 2010-01-26 | 2011-08-11 | Toyota Motor Corp | 開眼度判定装置及び開眼度判定方法 |
| JP2015100117A (ja) * | 2007-05-30 | 2015-05-28 | インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー | 携帯型ビデオ通信システム |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001034754A (ja) * | 1999-07-19 | 2001-02-09 | Sony Corp | 虹彩認証装置 |
| US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
| US7331671B2 (en) * | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
| US7995239B2 (en) * | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
| JP4177779B2 (ja) * | 2004-03-31 | 2008-11-05 | 富士フイルム株式会社 | 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム |
| US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| JP4507679B2 (ja) | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| US20050276454A1 (en) * | 2004-06-14 | 2005-12-15 | Rodney Beatson | System and methods for transforming biometric image data to a consistent angle of inclination |
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| JP4542011B2 (ja) * | 2005-09-27 | 2010-09-08 | 富士通株式会社 | カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム |
| US7650034B2 (en) * | 2005-12-14 | 2010-01-19 | Delphi Technologies, Inc. | Method of locating a human eye in a video image |
| US8014571B2 (en) * | 2006-05-15 | 2011-09-06 | Identix Incorporated | Multimodal ocular biometric system |
| US7620216B2 (en) * | 2006-06-14 | 2009-11-17 | Delphi Technologies, Inc. | Method of tracking a human eye in a video image |
| US8121356B2 (en) | 2006-09-15 | 2012-02-21 | Identix Incorporated | Long distance multimodal biometric system and method |
| US8433103B2 (en) * | 2006-09-15 | 2013-04-30 | Identix Incorporated | Long distance multimodal biometric system and method |
| WO2008091401A2 (en) * | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| JP4825093B2 (ja) * | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
| US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
| JP4861109B2 (ja) * | 2006-09-27 | 2012-01-25 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
| US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
| JP4898532B2 (ja) * | 2007-04-13 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
| US20090060286A1 (en) * | 2007-09-04 | 2009-03-05 | General Electric Company | Identification system and method utilizing iris imaging |
| JP2009237619A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像における顔領域および器官領域の検出 |
| KR100947990B1 (ko) * | 2008-05-15 | 2010-03-18 | 성균관대학교산학협력단 | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 |
| JP5627511B2 (ja) * | 2011-03-03 | 2014-11-19 | アイシン精機株式会社 | 状態推定装置、状態推定方法及びプログラム |
| TWI536279B (zh) * | 2015-04-22 | 2016-06-01 | 緯創資通股份有限公司 | 人眼偵測方法及系統 |
| CN110268455B (zh) * | 2017-02-15 | 2022-12-09 | 三菱电机株式会社 | 驾驶状态判定装置及驾驶状态判定方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61199175A (ja) * | 1985-02-28 | 1986-09-03 | Mitsubishi Electric Corp | イメ−ジの任意角度回転方式 |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| JP3426060B2 (ja) | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
| JPH0939603A (ja) * | 1995-07-31 | 1997-02-10 | Toyota Motor Corp | 居眠り判定装置 |
| US5867587A (en) * | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
| JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
| JP3477047B2 (ja) * | 1997-10-02 | 2003-12-10 | 三菱電機株式会社 | 網膜反射像を利用したまばたき検出顔画像処理装置 |
| US6292575B1 (en) * | 1998-07-20 | 2001-09-18 | Lau Technologies | Real-time facial recognition and verification system |
-
1999
- 1999-05-13 JP JP13304999A patent/JP3600755B2/ja not_active Expired - Fee Related
- 1999-11-09 US US09/437,110 patent/US6571002B1/en not_active Expired - Fee Related
-
2000
- 2000-01-17 KR KR1020000001973A patent/KR100355125B1/ko not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015100117A (ja) * | 2007-05-30 | 2015-05-28 | インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー | 携帯型ビデオ通信システム |
| JP2011152218A (ja) * | 2010-01-26 | 2011-08-11 | Toyota Motor Corp | 開眼度判定装置及び開眼度判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100355125B1 (ko) | 2002-10-11 |
| US6571002B1 (en) | 2003-05-27 |
| JP3600755B2 (ja) | 2004-12-15 |
| KR20000076473A (ko) | 2000-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3600755B2 (ja) | 顔画像処理装置 | |
| JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| US8154591B2 (en) | Eyelid opening level determination device and computer readable medium storing computer program thereof | |
| JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
| JP3926507B2 (ja) | 目位置及び顔位置検出装置 | |
| JP6444283B2 (ja) | 姿勢判定装置 | |
| JP2003150942A (ja) | 目位置追跡方法 | |
| WO2013008304A1 (ja) | 瞼検出装置 | |
| JP2007257333A (ja) | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 | |
| JP6885474B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JPH09171560A (ja) | 顔の傾き検出装置 | |
| JP4322537B2 (ja) | マスク着用判定装置 | |
| JP4107087B2 (ja) | 開閉眼判定装置 | |
| KR101775874B1 (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
| JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
| JP2011259342A (ja) | 画像処理装置および画像処理方法 | |
| JP4825737B2 (ja) | 開眼度判定装置 | |
| JP5035139B2 (ja) | 眼画像処理装置 | |
| TWI579173B (zh) | 基於耳朵影像角度變化的駕駛疲勞監控與偵測方法 | |
| JP7107178B2 (ja) | 映像検出装置、映像検出方法および映像検出プログラム | |
| JP5655491B2 (ja) | 開眼状態検出装置 | |
| JP2021152578A5 (ja) | 撮像装置，追尾方法およびプログラム | |
| JP3800208B2 (ja) | 画像処理方法 | |
| JP2002312787A (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |