JP2017176641A - Face image processing apparatus and face image processing system - Google Patents
Face image processing apparatus and face image processing system Download PDFInfo
- Publication number
- JP2017176641A JP2017176641A JP2016071159A JP2016071159A JP2017176641A JP 2017176641 A JP2017176641 A JP 2017176641A JP 2016071159 A JP2016071159 A JP 2016071159A JP 2016071159 A JP2016071159 A JP 2016071159A JP 2017176641 A JP2017176641 A JP 2017176641A
- Authority
- JP
- Japan
- Prior art keywords
- opening
- blink
- eye
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、顔画像処理装置および顔画像処理システムに関し、特に人の眼を撮像した顔画像に基づいて顔画像を処理する顔画像処理装置および顔画像処理システムに関する。 The present invention relates to a face image processing apparatus and a face image processing system, and more particularly to a face image processing apparatus and a face image processing system that process a face image based on a face image obtained by imaging a human eye.
従来から、顔の撮像画像に基づいて眼の開閉状態を検出し、生体の状態を判別する装置等が知られている。例えば、特許文献１は、眼の開閉判断の基準値を精度良く設定できる居眠り運転警報装置を開示する。この居眠り運転警報装置は、顔画像の縦方向の画素列の濃度を検出すると共に、その画素列における濃度の高まりとその変化状態によりポイントを抽出する。そして、居眠り運転警報装置は、隣接する画素列方向に近接したポイントを連結して顔の横方向への連続データを抽出し、連続データの中から眼を選択し、その眼を含む縦方向への濃度の高まりとその変化状態よりポイントを抽出し、上記抽出ポイントでの濃度変化状態から眼の開度を検出する。そして、居眠り運転警報装置は、所定の基準値を用いて眼の開閉状態を判定し、必要な場合警報を発する。 2. Description of the Related Art Conventionally, devices that detect the open / closed state of an eye based on a captured image of a face and determine the state of a living body are known. For example, Patent Document 1 discloses a drowsiness driving alarm device that can accurately set a reference value for eye open / close determination. This doze driving alarm device detects the density of a pixel row in the vertical direction of a face image, and extracts points based on the increase in density in the pixel row and its change state. The drowsiness driving alarm device extracts points of continuous data in the horizontal direction of the face by connecting points close to each other in the adjacent pixel column direction, selects an eye from the continuous data, and moves the vertical direction including the eye. A point is extracted from the increase in the concentration of the eye and its change state, and the eye opening is detected from the state of change in the concentration at the extraction point. Then, the drowsy driving alarm device determines the open / closed state of the eyes using a predetermined reference value, and issues an alarm if necessary.
また、特許文献２は、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる開閉眼モニタ装置を開示する。この開閉眼モニタ装置は、ＣＣＤカメラの画像データから検出した開度を出力し、開度の時系列データから複数の極小値を抽出すると共に開度の大きさ順に並べ替えた後に、隣り合う極小値の開度差が最大の部分で複数の極小値を開眼候補群と閉眼候補群とに分離し、開眼候補群の最小開度と開眼候補群の標準偏差との差、または閉眼候補群の最大開度と開眼候補群の標準偏差との和を閉眼閾値として設定する。 Patent Document 2 discloses an open / closed eye monitor device capable of accurately and stably setting a threshold for determining closed eyes regardless of individual differences or environmental influences. This opening / closing eye monitor device outputs the opening detected from the image data of the CCD camera, extracts a plurality of local minimum values from the time series data of the opening and rearranges them in order of the opening degree, Separate the multiple minimum values into the open eye candidate group and the closed eye candidate group at the portion where the opening difference of the value is the largest, and the difference between the minimum opening of the open eye candidate group and the standard deviation of the open eye candidate group, or the closed eye candidate group The sum of the maximum opening and the standard deviation of the eye opening candidate group is set as the eye closing threshold.
また、特許文献３は、被撮影者と撮像カメラとの距離が変化したり、顔の向きが変化したりしても、長時間安定して正しく目の開閉を判定する顔画像処理装置を開示する。この顔画像処理装置は、撮像された顔画像から目画像を抽出し、目の開閉度を評価し、開から閉に判定する開閉閾値を設定する。また、この顔画像処理装置は、ふせ目閾値等により、まばたきか又はふせ目であるかを判定し、目の開又は閉の判定を行う。 Further, Patent Document 3 discloses a face image processing apparatus that determines whether the eyes are opened and closed stably for a long time even if the distance between the subject and the imaging camera changes or the orientation of the face changes. To do. The face image processing device extracts an eye image from the captured face image, evaluates the degree of opening and closing the eyes, and sets an opening / closing threshold value for determining from open to closed. Further, the face image processing apparatus determines whether the eye is blinking or the eyebrows based on the eyelid threshold or the like, and determines whether the eyes are open or closed.
また、特許文献４は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を信頼性高く判定するための瞬目計測装置を開示する。この瞬目計測装置は、撮像された眼の画像に基づいて、瞼の位置変化に基づいて算出する閉眼速度や閉眼期間に基づいて瞬目動作に関する瞬目特徴量を算出し、この瞬目特徴量に基づいて瞬目動作の種類を判別する。この瞬目計測装置によれば、この瞬目特徴量に基づいて、例えば計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、自然瞬目動作と随意瞬目動作などの瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となる。 Moreover, patent document 4 discloses the blink measurement apparatus for determining the measurement subject's biological state with high reliability based on the blink operation of the measurement subject. The blink measuring device calculates a blink feature amount related to blink operation based on a closed eye speed and a closed eye period calculated based on a change in position of the eyelid based on a captured eye image, and this blink feature The type of blink operation is determined based on the amount. According to this blink measurement apparatus, it is possible to determine, for example, a biological state such as a fatigue state or an arousal state of the measurement subject based on the blink feature amount. In addition, by determining the type of blink operation such as natural blink operation and voluntary blink operation, it is possible to evaluate an appropriate blink feature amount according to the type of blink operation.
人の眼の開閉状態には個人差があり、また一個人においても状況によって差が生じる場合がある。たとえば、眼が開いている状態の時の黒目の大きさは、個人差や状況差が有るし、眼を閉じている状態であっても、瞼が少し開き、黒目が見える場合もある。したがって、眼の開閉を判定するための閾値を固定とすると、眼の開閉状態の判定を誤る可能性がある。眼の開閉状態の判定のための閾値を個人ごとに設定する場合であっても、眠たい時や眩しくて眼を細めている場合にデータを取得すると、正確に眼の開閉状態の判定をすることはできない。また、これを回避するために、データを多く取得しようとすると、時間もかかり、メモリ容量も増加する。
そこで、本発明は、周期性瞬目時のデータを用いることで、個人差や状況差による影響を低減した眼の開閉状態を判定する顔画像処理装置およびシステムを提供する。
There are individual differences in the open / closed state of a person's eyes, and even an individual may have a difference depending on the situation. For example, the size of the black eye when the eyes are open varies between individuals and the situation, and even when the eyes are closed, the eyelids may open slightly and the black eyes may be visible. Therefore, if the threshold value for determining whether the eye is open or closed is fixed, the eye open / closed state may be erroneously determined. Even when setting a threshold for determining the open / closed state of the eye for each individual, if the data is acquired when sleepy or dazzling and narrowing the eyes, the open / closed state of the eye is accurately determined. I can't. Further, in order to avoid this, if a large amount of data is to be acquired, it takes time and the memory capacity increases.
Therefore, the present invention provides a face image processing apparatus and system for determining an open / closed state of an eye with reduced influence due to individual differences or situation differences by using data at periodic blinks.
上記課題を解決するために、撮像した顔画像を用いて眼の開閉状態を検出する顔画像処理装置において、顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部と、開度検出部が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部と、瞬目特徴量算出部が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部と、を備え、瞬目特徴量算出部が算出する瞬目の特徴量は、開度検出部が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間と、開度検出部が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方と、を含む顔画像処理装置が提供される。
これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理装置を提供することができる。
In order to solve the above-described problem, in a face image processing device that detects an open / closed state of an eye using a captured face image, an opening degree detection unit that detects an opening value representing the degree of eye opening based on the face image And, based on the opening value detected by the opening detection unit, based on the blink feature amount calculation unit that calculates the blink feature amount, and the blink feature amount calculated by the blink feature amount calculation unit, A periodic blink determination unit that determines whether or not the blink is a periodic blink, and the opening degree detection unit is closing the eye for the blink feature amount calculated by the blink feature amount calculation unit A face image that includes an open / close time that indicates when the eye is detected to be open and a blink interval detected by the opening detector and / or a blink of both eyes. A processing device is provided.
According to this, it is possible to provide a face image processing apparatus in which the influence due to individual differences or the like is reduced by using data at the time of periodic blinking.
さらに、瞬目特徴量算出部が算出する瞬目の特徴量は、開度検出部が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間を含み、その閉時間が所定時間継続することを特徴としてもよい。
これによれば、閾値を超えたか否かだけでなく、閾値を継続的に超えている時間を特徴量とすることで、ノイズの影響を低減し、より正確に周期性瞬目を検出することができる。
Further, the blink feature amount calculated by the blink feature amount calculation unit includes a closing time that indicates a period from when the opening degree detection unit detects that the eye starts to close until when the eye finishes closing. Time may continue for a predetermined time.
According to this, not only whether or not the threshold value is exceeded, but also the time when the threshold value is continuously exceeded is used as a feature amount, thereby reducing the influence of noise and detecting periodic blinks more accurately. Can do.
さらに、開度検出部が検出した開度値を入力値として、眼の開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、フィルタ値を出力するローパスフィルタ部をさらに備え、瞬目特徴量算出部は、開度検出部が検出した開度値とローパスフィルタ部が出力したフィルタ値との差に基づいて開閉時間を算出することを特徴としてもよい。
これによれば、簡便な構成により眼の閉眼判定を正確に行うことが可能となる。
Furthermore, the opening degree value detected by the opening degree detection unit is used as an input value, and a filter process for attenuating and delaying a frequency component corresponding to the opening and closing speed of the eye is further provided, and a low-pass filter unit that outputs a filter value is further provided. The blink feature amount calculation unit may calculate the opening / closing time based on a difference between the opening value detected by the opening detection unit and the filter value output by the low-pass filter unit.
According to this, it becomes possible to accurately perform eye-closed determination with a simple configuration.
さらに、眼の開閉状態を判定するための閉眼判定閾値を更新する閉眼判定閾値更新部をさらに備え、閉眼判定閾値更新部は、周期性瞬目判定部が瞬目が周期性瞬目であると判定した時から所定時間前の間に開度検出部が検出した開度値の最大値と最小値に基づいて、閉眼判定閾値を更新することを特徴としてもよい。
これによれば、周期性瞬目時の眼の開度値を用いて閉眼判定閾値を算出し更新するので、普段の眼の開き度合いに基づいて閾値を設定することができ、より正確に眼の開閉状態を判定できる。
Furthermore, it further includes a closed eye determination threshold value updating unit that updates the closed eye determination threshold value for determining the open / closed state of the eye, and the closed eye determination threshold value update unit is such that the blinking periodic blinking unit is a blinking cycle. The closed eye determination threshold value may be updated based on the maximum value and the minimum value of the opening value detected by the opening degree detection unit between a predetermined time and a predetermined time.
According to this, since the eye closure threshold value is calculated and updated using the eye opening value at the time of periodic blinks, the threshold value can be set based on the usual degree of eye opening, and more accurately Can be determined.
上記課題を解決するために、上記の画像処理装置と、画像処理装置から発光の指示を受ける照明部と、発光の指示と同期を取り、照明部が照射する顔の画像を撮像する撮像部と、を備える顔画像処理システムが提供される。
これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理システムを提供することができる。また、周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間のデータを用いればよいので、少ないデータ量で迅速に処理ができる顔画像処理システムを提供することができる。
In order to solve the above problems, the image processing apparatus, an illumination unit that receives a light emission instruction from the image processing apparatus, an imaging unit that captures a face image irradiated by the illumination unit in synchronization with the light emission instruction, and , A face image processing system is provided.
According to this, it is possible to provide a face image processing system in which the influence due to individual differences or the like is reduced by using data at the time of periodic blinking. In addition, by using data at the time of periodic blinks, it is only necessary to use data for a slightly longer time than when the periodic blinks occur twice, so a face image processing system capable of processing quickly with a small amount of data is provided. can do.
本発明によれば、周期性瞬目時のデータを用いることで、個人差や状況差による影響を低減した眼の開閉状態を判定する顔画像処理装置およびシステムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the face image processing apparatus and system which determine the open / closed state of the eye which reduced the influence by an individual difference or a situation difference by using the data at the time of a periodic blink can be provided.
以下では、図面を参照しながら、本発明に係る実施例について説明する。
＜第一実施例＞
図１〜図４を参照し、本実施例における顔画像処理装置１００および顔画像処理装置１００を含む顔画像処理システム１を説明する。顔画像処理システム１は、後述する顔画像処理装置１００と、顔画像処理装置１００から発光の指示を受ける照明部Ｌ０と、その発光の指示と同期を取り、照明部Ｌ０が照射する顔の画像を撮像する撮像部Ｃ０とを備える。顔画像処理システム１は、車両を運転する運転者ＤＲの顔を撮像して運転者ＤＲの運転状態を検出するために、運転者ＤＲの前方正面から顔に向けて光を照射し、撮像するように設けられている。顔画像処理システム１は、ほぼ立方体の同じ面に照明部Ｌ０と撮像部Ｃ０を備えて、その面を運転者ＤＲに向けるようにして、ハンドルＷＬの奥のたとえばハンドル軸部や、インパネ部分やバックミラーなどに配置され、運転者ＤＲが運転中の顔に光を照射し、撮像する。
Embodiments according to the present invention will be described below with reference to the drawings.
<First Example>
A face image processing apparatus 100 and a face image processing system 1 including the face image processing apparatus 100 according to this embodiment will be described with reference to FIGS. The face image processing system 1 includes a face image processing device 100, which will be described later, an illumination unit L0 that receives a light emission instruction from the face image processing device 100, and an image of a face that is synchronized with the light emission instruction and is illuminated by the illumination unit L0. And an image pickup unit C0 for picking up images. The face image processing system 1 irradiates light from the front in front of the driver DR toward the face and images the face of the driver DR driving the vehicle to detect the driving state of the driver DR. It is provided as follows. The face image processing system 1 includes an illuminating unit L0 and an imaging unit C0 on substantially the same surface of a cube, and faces the driver DR so that the surface is directed to the driver DR, for example, a handle shaft portion, an instrument panel portion It is arranged on the rearview mirror or the like, and the driver DR irradiates the face while driving with light and takes an image.
照明部Ｌ０は、顔を撮像する撮像部Ｃ０の周りを囲むように円環状に配置された複数の発光器Ｌ２と、発光器Ｌ２が発光する光を偏光する照明部偏光子Ｌ１とを有する。本実施例の発光器Ｌ２は、昼間だけでなく夜間の暗い時であっても暗視できる赤外線を発光する発光ダイオードが用いられる。照明部偏光子Ｌ１は、所定の方向に偏光面を有する偏光子である。偏光子は、自然光の中から所定の方向に偏光面を有し、透過光を偏光させる、典型的には偏光板である。照明部Ｌ０は、照明部偏光子Ｌ１を通して発光器Ｌ２が発光する赤外線を外部へ照射する。 The illumination unit L0 includes a plurality of light emitters L2 arranged in an annular shape so as to surround the imaging unit C0 that captures a face, and an illumination unit polarizer L1 that polarizes light emitted from the light emitter L2. The light-emitting device L2 of the present embodiment uses a light-emitting diode that emits infrared light that can be night-viewed not only in the daytime but also in the dark at night. The illumination unit polarizer L1 is a polarizer having a polarization plane in a predetermined direction. The polarizer is typically a polarizing plate having a polarization plane in a predetermined direction from natural light and polarizing transmitted light. The illumination part L0 irradiates the infrared rays emitted from the light emitter L2 to the outside through the illumination part polarizer L1.
撮像部Ｃ０は、レンズを備え赤外線を撮像できるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラの撮像器Ｃ２と、照明部偏光子Ｌ１の偏光方向と直交する方向に偏光する撮像部偏光子Ｃ１と、可視光を遮断する可視光フィルタＣ３とを有する。したがって、撮像器Ｃ２は、受光して撮像する際撮像部偏光子Ｃ１と可視光フィルタＣ３を通して外部から受光する。すなわち、撮像器Ｃ２は、発光器Ｌ２が偏光して照射した赤外線の反射光を偏光して受光すると共に、自然光の反射光を偏光して赤外線を受光する。 The imaging unit C0 includes an imaging device C2 of a CCD (Charge-Coupled Device) camera that is equipped with a lens and can capture infrared rays, an imaging unit polarizer C1 that is polarized in a direction orthogonal to the polarization direction of the illumination unit polarizer L1, and visible light. And a visible light filter C3. Therefore, the image pickup device C2 receives light from the outside through the image pickup unit polarizer C1 and the visible light filter C3 when receiving and picking up an image. In other words, the imaging device C2 receives the infrared reflected light irradiated by the light emitting device L2 while polarizing it, and receives the infrared light by polarizing the reflected natural light.
図４に示すように、後述する顔画像処理装置１００の制御部７０は、照明部Ｌ０の発光器Ｌ２に赤外線を発光させ、運転者ＤＲの顔に照射している間に、撮像部Ｃ０に運転者ＤＲの顔を撮像させて第１画像を取得し記憶する。そして、制御部７０は、引き続いて、照明部Ｌ０の発光器Ｌ２の発光を止めた後に、撮像部Ｃ０に運転者ＤＲの顔を自然光のみで撮像させて第２画像を取得し記憶する。第１画像と第２画像を記憶した後、顔画像処理装置１００は、その２つの画像を基に差分画像を生成する。 As illustrated in FIG. 4, the control unit 70 of the face image processing apparatus 100 described later causes the light emitting device L2 of the illumination unit L0 to emit infrared light and irradiates the driver DR with the imaging unit C0. The driver DR is captured and the first image is acquired and stored. Then, after the control unit 70 stops the light emission of the light emitter L2 of the illumination unit L0, the control unit 70 causes the imaging unit C0 to capture the face of the driver DR with only natural light, and acquires and stores the second image. After storing the first image and the second image, the face image processing apparatus 100 generates a difference image based on the two images.
差分の画像を得るのは、第１画像および第２画像に共通する光すなわち赤外線を照射している際にも存する自然光による反射光によって得られた画像部分を相殺でき精細な画像が得られる点で好ましい。たとえば、所定値以上の大きさで暗い画素が丸くかたまっているものや瞼と瞳の形状をテンプレートとして使用し、この差分画像の中からそのテンプレートとを比較して、合致した部分を眼であると検出する。 The difference image is obtained because the image portion obtained by the reflected light by the natural light existing even when irradiating the light common to the first image and the second image, that is, infrared rays, can be offset and a fine image can be obtained. Is preferable. For example, a dark pixel with a size greater than or equal to a predetermined value or a shape of a eyelid and a pupil is used as a template, and the template is compared with this template from the difference image. Is detected.
なお、本実施例の顔画像処理システム１は、照明部偏光子Ｌ１、撮像部偏光子Ｃ１や可視光フィルタＣ３を有するが、これらは、生成する差分画像から精細な眼（瞼と瞳）の画像を得るために用いているので選択的な構成要件である。たとえば、より精細な画像を撮像できる撮像器があれば、これらは不要であり、必須の構成要件は撮像器Ｃ２と顔画像処理装置１００であると言える。 Note that the face image processing system 1 of the present embodiment includes an illumination unit polarizer L1, an imaging unit polarizer C1, and a visible light filter C3, which are fine eyes (eyelids and pupils) from the generated difference image. Since it is used to obtain an image, it is a selective constituent element. For example, if there is an image pickup device that can pick up a finer image, these are unnecessary, and it can be said that the essential constituent elements are the image pickup device C2 and the face image processing apparatus 100.
顔画像処理装置１００は、撮像部Ｃ０が撮像した顔画像を用いて眼の開閉状態を検出する装置である。顔画像処理装置１００は、開度検出部１０と、瞬目特徴量算出部２０と、周期性瞬目判定部３０と、ローパスフィルタ部４０と、閉眼判定閾値更新部５０と、閉眼判定部６０と、制御部７０と、記憶部８０と、外部出力部９０とを備える。なお、記憶部８０は、開度検出部１０やローパスフィルタ部４０の出力値を記憶するたとえば半導体メモリであり、その他の構成要素は、その制御ロジックを含むマイコンである。 The face image processing apparatus 100 is an apparatus that detects an open / closed state of an eye using a face image captured by the imaging unit C0. The face image processing apparatus 100 includes an opening degree detection unit 10, a blink feature amount calculation unit 20, a periodic blink determination unit 30, a low-pass filter unit 40, an eye closure determination threshold update unit 50, and an eye closure determination unit 60. A control unit 70, a storage unit 80, and an external output unit 90. The storage unit 80 is, for example, a semiconductor memory that stores the output values of the opening degree detection unit 10 and the low-pass filter unit 40, and the other components are microcomputers that include the control logic.
開度検出部１０は、撮像部Ｃ０が撮像した顔画像に基づいて、眼の開き度合いを表す開度値を検出する。図８を参照して、開度検出部１０が検出する開度値について説明する。撮像部Ｃ０が撮像して生成した差分画像は階調を有するが（（Ａ）の眼の画像）、眼の開き度合いは瞼の位置または瞳の縦方向の長さとして表されるので、それがより明確になるように（Ａ）の眼の画像を２値化処理または微分処理を行うことによりエッジを抽出する（（Ｂ）の眼の画像）。なお、この段階で上述したテンプレートを使用した眼の検出を行ってもよい。このようにして検出した上瞼と下瞼の間の瞳の縦方向の長さである画素数を検出することができるが（（Ｃ）の眼の画像）、この画素数を開度値と言う。なお、この例では、開度値は６である。すなわち、開度値は、撮像された画像から計測される、黒目部分の縦方向の画素の数であり、検出時の眼の開き度合いに応じて変化する値であり、眼を見開いている時は大きな値であり、眼を瞑っている時は小さな値である。 The opening degree detection unit 10 detects an opening value representing the degree of eye opening based on the face image captured by the imaging unit C0. With reference to FIG. 8, the opening degree value which the opening degree detection part 10 detects is demonstrated. The difference image generated by imaging by the imaging unit C0 has a gradation (eye image of (A)), but the degree of eye opening is expressed as the position of the eyelid or the vertical length of the pupil. The edge is extracted by binarizing or differentiating the eye image of (A) so that becomes clearer (eye image of (B)). Note that eye detection using the template described above may be performed at this stage. The number of pixels that is the length of the pupil between the upper eyelid and the lower eyelid in the vertical direction can be detected (eye image of (C)). say. In this example, the opening value is 6. That is, the opening value is the number of pixels in the vertical direction of the black eye portion measured from the captured image, and is a value that changes according to the degree of eye opening at the time of detection. Is a large value and small when you are meditating your eyes.
図９に示すように、開度値は、眼のまばたきにより変化する。本図における点は、撮像された一連の画像（動画）のコマごとの開度値を示す。通常、ＣＣＤカメラの撮像器Ｃ２は、１秒当たり１５コマとか３０コマの画像（動画）を撮像することができるが、開度検出部１０は、その１コマごとの開度値を検出する。人の眼のまばたきは、眼を開いている開度値の大きな状態から眼を閉じた開度値の小さな状態になり、直後に眼を開いている開度の大きな状態になり、本図に示すように、概ねＶ字状の開度値の軌跡を取る。 As shown in FIG. 9, the opening value changes depending on eye blinking. The dots in this figure indicate the opening values for each frame of a series of captured images (moving images). Usually, the image pickup device C2 of the CCD camera can pick up images (moving images) of 15 frames or 30 frames per second, but the opening detection unit 10 detects the opening value for each frame. The blinking of a person's eyes changes from a state with a large opening value with the eyes open to a state with a small opening value with the eyes closed, and immediately after that, with a large opening degree with the eyes open. As shown, the locus of the V-shaped opening value is taken.
瞬目特徴量算出部２０は、開度検出部１０が検出した開度値に基づいて、瞬目の特徴量を算出する。瞬目特徴量算出部２０が算出する瞬目の特徴量とは、開度検出部１０が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間、開度検出部１０が検出した瞬目の間隔、開度検出部１０が検出した両眼の瞬目、開度検出部１０が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間などである。 The blink feature amount calculation unit 20 calculates the blink feature amount based on the opening value detected by the opening detection unit 10. The blink feature amount calculated by the blink feature amount calculation unit 20 is an opening / closing time that indicates when the opening degree detection unit 10 detects that the eye is closing until it is detected that the eye is opening. The interval between blinks detected by the degree detection unit 10, the blinks of both eyes detected by the opening detection unit 10, and from the time when the opening detection unit 10 detects that the eyes start to close until the time when the eyes are closed. For example, the closing time.
開度検出部１０が眼が閉じ始めたと検出する時とは、図９に示すように、瞼を開いていて開度値がＰ１からＰ７までのようにある程度一定の値で推移している状態から、明らかに開度値が小さくなったＰ８のような状態を言う。また、開度検出部１０が眼が開き始めたと検出する時とは、瞼を閉じつつあり開度値がＰ８からＰ１１までのように小さくなり続けている状態から明らかに開度値が大きくなったＰ１２のような状態を言う。また、眼が開き終わったと検出する時とは、瞼を開きつつあり開度値がＰ１２からＰ１６までのように大きくなり続けている状態から開度値がＰ１７からＰ２１までのようにある程度一定の値で推移している状態を言う。したがって、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き終わったと検出した時までを示す開閉時間とは、Ｐ１６の時間からＰ８の時間を引いた時間である。 When the opening degree detection unit 10 detects that the eye starts to close, as shown in FIG. 9, the eyelid is opened and the opening degree value changes at a certain constant value from P1 to P7. Therefore, the state like P8 where the opening degree value is clearly reduced is said. When the opening detection unit 10 detects that the eye has begun to open, the opening value is clearly increased from the state where the eyelid is closed and the opening value continues to decrease from P8 to P11. State like P12. Further, when it is detected that the eyes have been opened, when the eyelid is opened and the opening degree value continues to increase from P12 to P16, the opening degree value is constant to some extent from P17 to P21. The state that is changing by value. Therefore, the opening / closing time indicating the time from when the opening degree detection unit 10 detects that the eye starts to close until when the eye is completely opened is a time obtained by subtracting the time P8 from the time P16.
また、開度検出部１０が眼が閉じ終わったと検出する時とは、瞼を閉じつつあり開度値がＰ８からＰ１１までのように小さくなり続けている状態から明らかに開度値が大きくなったＰ１２の一つ前のＰ１１のような状態を言う。したがって、開度検出部１０が眼が閉じ始めたと検出した時から眼が閉じ終わったと検出した時までを示す閉時間とは、Ｐ１１の時間からＰ８の時間を引いた時間である。なお、眼が閉じつつあるとは、眼が閉じ始めた時から眼が閉じ終わった時までをいい、眼が開きつつあるとは、眼が開き始めた時から眼が開き終わった時までを言う。 When the opening detection unit 10 detects that the eye has been closed, the opening value is clearly increased from a state in which the eyelid is closed and the opening value continues to decrease from P8 to P11. The state like P11 just before P12. Therefore, the closing time indicating the time from when the opening degree detection unit 10 detects that the eye starts to close to when the eye is detected to be closed is the time obtained by subtracting the time P8 from the time P11. Note that the eyes are closing from the time the eyes start to close to the time when the eyes are closed, and the eyes are opening from the time when the eyes start to open until the eyes are opened. say.
また、開度検出部１０が検出する瞬目の間隔とは、連続して複数のまばたきが起こる場合、それぞれのまばたきの間隔を言う。この間隔は、眼が閉じ始めたＰ８から次のまばたきのＰ８までの時間の間隔でもよいし、眼が開き始めたＰ１２から次のまばたきのＰ１２までの時間の間隔でもよい。また、開度検出部１０が検出する両眼の瞬目とは、左右の眼が同時にまばたきを行うことをいう。たとえば、左右の眼が閉じ始めたＰ８の時間がほぼ同時あることを言う。 In addition, the interval between blinks detected by the opening detection unit 10 refers to the interval between each blink when a plurality of blinks occur continuously. This interval may be a time interval from P8 when the eye starts to close to P8 of the next blink, or may be an interval of time from P12 when the eye starts to open to P12 of the next blink. Further, the blinking of both eyes detected by the opening degree detection unit 10 means that the left and right eyes blink simultaneously. For example, it is said that the time P8 when the left and right eyes begin to close is almost simultaneous.
周期性瞬目判定部３０は、瞬目特徴量算出部２０が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する。瞬目が周期性瞬目であるか否かは、図１０に示すような判定基準に基づく。周期性瞬目とは、人が角膜の湿潤のために無意識に行うまばたきのことであり、ウィンクなどの随意的な瞬きでもなく、眩しさや異物に対しての反射的な瞬きでもない。したがって、周期性瞬目時の眼の開き度合いと閉じ度合いは、その個人の普段の状態におけるものと見なすことができる。周期性瞬目の特徴とは、そのような人が無意識に行うまばたきの特徴を言う。瞬目における周期性瞬目の特徴は、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き終わったと検出した時までを示す開閉時間が概ね３００ｍｓ以下であるということである。人が意識的に遅いまたは速いまばたきを行う場合は、開閉時間が概ね１００ｍｓから３００ｍｓの範囲には収まらない場合が多い。 The periodic blink determination unit 30 determines whether the blink is a periodic blink based on the blink feature amount calculated by the blink feature amount calculation unit 20. Whether or not the blink is a periodic blink is based on a criterion as shown in FIG. A periodic blink is a blink that a person unconsciously performs to wet the cornea, and is not an optional blink such as a wink, nor is it a dazzling or reflective blink against a foreign object. Therefore, the degree of eye opening and closing at the time of periodic blinking can be regarded as in the normal state of the individual. The feature of periodic blink is a feature of blinking that such a person performs unconsciously. The feature of the periodic blink in the blink is that the opening / closing time indicating from when the opening degree detection unit 10 detects that the eye starts to close until when the eye has been opened is approximately 300 ms or less. When a person consciously performs a slow or fast blink, the opening / closing time is often not within the range of 100 ms to 300 ms.
周期性瞬目の別の特徴は、左右の両眼のまばたきが同時に発生するということである。人が無意識に片目だけまばたきをすることはほとんどなく、無意識のまばたきは両眼で発生する。さらに、周期性瞬目の別の特徴は、まばたきの周期が３〜４秒（１５〜２０回／分）と一定しているということである。図１１に示すように、疲れ目の際にたびたびするまばたき（群発瞬目）は、３〜４秒より短い間隔で不定期に発生するので、３〜４秒の一定の周期で発生するまばたきは、周期性瞬目と認められることが多い。 Another feature of the periodic blink is that blinking of both the left and right eyes occurs simultaneously. A person hardly unconsciously blinks with one eye, and unconscious blinks occur with both eyes. Furthermore, another feature of the periodic blink is that the blinking period is constant at 3 to 4 seconds (15 to 20 times / minute). As shown in FIG. 11, blinks that frequently occur at the time of tired eyes (group blinks) occur irregularly at intervals shorter than 3 to 4 seconds, so that blinks that occur at a constant period of 3 to 4 seconds are It is often recognized as a periodic blink.
図１２は、実際に周期性瞬目の開度値を計測したデータを示す。周期性瞬目の開度値の変化は、上述したように概ねＶ字状の軌跡を取り、左右の両眼において同時に同様な軌跡を取り、そのまばたきの時間（開閉時間）は、概ね１００ｍｓ〜３００ｍｓで一定していることが分かる。このような周期性瞬目の特徴を複数組み合わせることで、さらに周期性瞬目の検出を正確に行うことができる。 FIG. 12 shows data obtained by actually measuring the opening value of the periodic blink. As described above, the change in the opening value of the periodic blink takes a substantially V-shaped locus, and simultaneously takes the same locus in both the left and right eyes, and the blinking time (opening and closing time) is approximately 100 ms to It can be seen that it is constant at 300 ms. By combining a plurality of such periodic blink features, the periodic blink can be detected more accurately.
たとえば、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き始めたと検出した時までを示す開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。 For example, the opening degree detection unit 10 detects that the opening / closing time indicating from when the opening degree detection unit 10 detects that the eye starts to close until when the eye opening point is detected is approximately 100 ms to 300 ms. The periodic blink determination unit 30 determines that the blink is a periodic blink when the interval (cycle) between the blinks is 3-4 seconds (15-20 times / minute). It may be determined that
また、開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が両眼が同時に瞬目したことが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。また、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることと、開度検出部１０が両眼が同時に瞬目したことが両方成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。また、開閉時間が概ね１００ｍｓ〜３００ｍｓで一定していることと、開度検出部１０が検出した瞬目の間隔（周期）が３〜４秒（１５〜２０回／分）と一定していることと、開度検出部１０が両眼が同時に瞬目したことがすべて成立した場合に、周期性瞬目判定部３０は、瞬目が周期性瞬目であると判定してもよい。 In addition, when the opening / closing time is substantially constant between 100 ms and 300 ms, and the opening degree detection unit 10 is established that both eyes blink at the same time, the periodic blink determination unit 30 You may determine that it is a periodic blink. Moreover, the interval (cycle) of the blink detected by the opening detection unit 10 is constant at 3 to 4 seconds (15 to 20 times / minute), and the opening detection unit 10 detects that both eyes are blinking simultaneously. In the case where both are established, the periodic blink determination unit 30 may determine that the blink is a periodic blink. In addition, the opening / closing time is generally constant at 100 ms to 300 ms, and the interval (cycle) of the blink detected by the opening detection unit 10 is constant at 3 to 4 seconds (15 to 20 times / minute). And when the opening degree detection part 10 is established that both eyes blinked simultaneously, the periodic blink determination part 30 may determine that the blink is a periodic blink.
また、従来技術では、正確に眼の開閉状態の判定をするためにデータを多く・長く取得する必要があるが、周期性瞬目に着目する本発明では、図１３に示すように、データを多く・長く取得する必要はない。たとえば、本図（Ａ）に示すような場合、瞬目Ａの次に瞬目Ｂが間隔３〜４秒をおいて発生したが、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒の前に発生しているため、この一連の瞬目Ａ〜Ｃの瞬目Ｂは、周期性瞬目ではないと判定できる。また、本図（Ｂ）に示すような場合、瞬目Ａの次に瞬目Ｂが間隔３〜４秒の前に発生しているため、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒をおいて発生したが、この一連の瞬目Ａ〜Ｃにおける瞬目Ｂは、瞬目Ｃの時点では、周期性瞬目とは判定できない。 Further, in the prior art, it is necessary to acquire a large amount of data for a long time in order to accurately determine the open / closed state of the eye, but in the present invention focusing on periodic blinks, as shown in FIG. There is no need to acquire more and longer. For example, in the case shown in FIG. 3A, blink B occurs after blink A after an interval of 3 to 4 seconds, but blink B follows blink B after an interval of 3 to 4 seconds. Therefore, it can be determined that the blink B of the series of blinks A to C is not a periodic blink. Further, in the case as shown in FIG. 5B, since blink B occurs after blink A before 3 to 4 seconds, blink C follows blink 3 after interval 3 to 3 seconds. Although it occurred after 4 seconds, the blink B in the series of blinks A to C cannot be determined as a periodic blink at the time of the blink C.
一方、本図（Ｃ）に示すような場合は、瞬目Ａの次に瞬目Ｂが間隔３〜４秒をおいて発生し、瞬目Ｂの次に瞬目Ｃが間隔３〜４秒をおいて発生しているため、この一連の瞬目Ａ〜Ｃにおける少なくとも瞬目Ｂは、周期性瞬目と判定できる。このように、一定の周期で発生する特徴のある周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間、すなわち６〜８秒より少し長い時間である長くとも１０秒程度のデータを取得して用いればよいので、少ないデータ量で迅速に処理ができる。 On the other hand, in the case shown in FIG. 3C, blink B occurs after blink A with an interval of 3 to 4 seconds, and blink B follows blink B with an interval of 3 to 4 seconds. Therefore, at least the blink B in the series of blinks A to C can be determined as a periodic blink. In this way, by using the data at the time of periodic blinks with a characteristic that occurs at a constant cycle, the time is a little longer than when the periodic blinks occur twice, that is, a time slightly longer than 6 to 8 seconds. Since it is sufficient to acquire and use data of about 10 seconds at the longest, it is possible to perform processing quickly with a small amount of data.
顔画像処理装置１００および顔画像処理システム１は、撮像部Ｃ０が撮像した顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部１０と、開度検出部１０が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部２０と、瞬目特徴量算出部２０が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部３０と、を備える。そして、その特徴量は、開度検出部１０が眼が閉じ始めたと検出した時から眼が開き始めたと検出した時までを示す開閉時間と、開度検出部１０が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方とを含む。これによれば、周期性瞬目時のデータを用いることで個人差等による影響を低減した顔画像処理装置１００および顔画像処理システム１を提供することができる。また、周期性瞬目時のデータを用いることで、周期性瞬目が２回発生するより少し長い時間のデータを用いればよいので、少ないデータ量で迅速に処理ができる顔画像処理装置１００および顔画像処理システム１を提供することができる。 The face image processing apparatus 100 and the face image processing system 1 include an opening degree detection unit 10 that detects an opening value that represents the degree of eye opening based on the face image captured by the imaging unit C0, and the opening degree detection unit 10. Based on the detected opening value, the blink feature amount calculation unit 20 that calculates the feature amount of the blink, and the blink is periodic based on the feature amount of the blink calculated by the blink feature amount calculation unit 20. A periodic blink determination unit 30 that determines whether or not it is a blink. The feature amount includes an opening / closing time indicating from when the opening degree detection unit 10 detects that the eye starts to close to when the eye opening is detected and an interval between blinks detected by the opening degree detection unit 10 or Includes one or both of the blinks of both eyes. According to this, it is possible to provide the face image processing apparatus 100 and the face image processing system 1 in which the influence due to individual differences or the like is reduced by using data at the time of periodic blinking. Further, by using data at the time of periodic blinks, it is only necessary to use data for a slightly longer time than when the periodic blinks occur twice, so that the face image processing apparatus 100 capable of processing quickly with a small amount of data and The face image processing system 1 can be provided.
なお、瞬目の特徴量である開閉時間、間隔、および瞬目が両眼で発生したことなどを検出するためには、開度検出部１０がどのように眼が閉じ始めた／閉じ終わったと検出するのか、およびどのように眼が開き始めた／開き終わったと検出するのかが重要となる。図９で説明したように、Ｐ１からＰ７までを瞼を開いていて開度値がある程度一定の値で推移している状態と判断し、Ｐ７からＰ８になった時に開度値が小さくなったと判断するためには、Ｐ７からＰ８の開度値の変化が、それ以前のＰ１からＰ７にはない大きな開度値の変化があったと判断していることになる。これは、Ｐ７からＰ８の開度値の変化が所定の閾値を超えたことにより、瞼を開いている状態から閉じつつある状態に移行したと判断している。 In addition, in order to detect the opening / closing time, interval, and the occurrence of blinking with both eyes, which are feature quantities of blinks, how the opening degree detection unit 10 starts / closes the eyes It is important how to detect and how to detect that the eye has begun to open / open. As described in FIG. 9, it is determined that P1 to P7 are opened and the opening degree value is changing to a certain value, and the opening degree value becomes smaller when P7 changes to P8. In order to make a determination, it is determined that the change in the opening value from P7 to P8 is a large change in the opening value that is not present in P1 to P7 before that. It is determined that the shift from the open state to the closed state is made due to the change in the opening value from P7 to P8 exceeding a predetermined threshold value.
図１２に示すように、継続的に離散的に変化する開度値においては、閾値の値をどうするかで、どこから眼が閉じ始めたのか、どこで眼が閉じ終わったのか、どこから眼が開き始めたのか、どこで眼が開き終わったのかなどの判定が異なってくる。したがって、計測上のノイズを排除しより正確なかかる判定を行うためには、開度値の変化が一時点において所定の閾値を超えたことで判定するよりも、継続的な開度値の変化が生じることから判定することが好ましい。例えば、眼の開度値が閾値よりも小さい状態が継続している時間も、眼が閉じ始めているか否かを判定する場合の要件に追加することで、ノイズの影響を低減し、より正確に周期性瞬目を検出することができる。 As shown in FIG. 12, in the opening value continuously changing discretely, where the eye starts to close, where the eye starts to close, where the eye starts to close, and where the eye begins to open. Whether the eye has been opened or where the eye has been opened is different. Therefore, in order to eliminate the measurement noise and perform such a more accurate determination, the change in the opening value is more continuous than the determination that the change in the opening value exceeds a predetermined threshold at a temporary point. It is preferable to determine from the above. For example, the time during which the eye opening value is smaller than the threshold continues to be added to the requirement for determining whether the eye is starting to close, thereby reducing the influence of noise and more accurately. Periodic blinks can be detected.
顔画像処理装置１００は、さらにローパスフィルタ部４０を備える。ローパスフィルタ部４０は、図１４に示すように、遮断周波数より低い周波数成分を通過し、遮断周波数より高い周波数成分を逓減させ通過させない特性を備えるフィルタである。ローパスフィルタ部４０の遮断周波数が眼の開閉速度に相当する周波数近傍であるか、ローパスフィルタ部４０の遷移域が眼の開閉速度に相当する周波数を含むようにフィルタ特性を定める（たとえば、遮断周波数が３Ｈｚ程度であり、その時定数は、１／（２π＊３Ｈｚ）程度）ことが好ましい。なお、ローパスフィルタ部４０の時定数は、周期性瞬目における眼の開閉速度に対応した値を実験的に決定するかシミュレーションによって決定する。また、眼の開閉速度は、瞼を開いている状態の時の開度値（上瞼と下瞼の間の瞳の縦方向の長さである画素数）と瞼を閉じている状態の時の開度値との差を２倍した値を、眼が閉じ始めた時から眼が開き終わった時までの開閉時間（概ね１００ｍｓ〜３００ｍｓ）で割った値である。 The face image processing apparatus 100 further includes a low-pass filter unit 40. As shown in FIG. 14, the low-pass filter unit 40 is a filter having a characteristic of passing a frequency component lower than the cut-off frequency and decreasing a frequency component higher than the cut-off frequency and not passing it. The filter characteristics are determined so that the cutoff frequency of the low-pass filter unit 40 is close to the frequency corresponding to the eye opening / closing speed, or the transition region of the low-pass filter unit 40 includes the frequency corresponding to the eye opening / closing speed (for example, the cutoff frequency). Is about 3 Hz, and its time constant is preferably about 1 / (2π * 3 Hz). The time constant of the low-pass filter unit 40 is determined experimentally by determining whether a value corresponding to the eye opening / closing speed in a periodic blink is experimentally determined. The eye opening and closing speed is the opening value when the eyelid is open (the number of pixels in the vertical direction of the pupil between the upper eyelid and the lower eyelid) and when the eyelid is closed. Is a value obtained by dividing the value obtained by doubling the difference between the opening degree and the opening / closing time (approximately 100 ms to 300 ms) from when the eye starts to close to when the eye finishes opening.
また、ローパスフィルタ部４０の遅延に関わる特性の一つである立ち上がり時間は、眼が閉じ始めた時から眼が開き終わった時までの開閉時間の半分程度の時間（たとえば、０．１秒程度）であることが好ましい。ローパスフィルタ部４０がこのような特性値を備えることで、開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、以下に説明するようなフィルタ値を用いて、開閉時間等を算出することができる。 The rise time, which is one of the characteristics related to the delay of the low-pass filter unit 40, is about half the open / close time from when the eye starts to close until the eye finishes opening (for example, about 0.1 second). ) Is preferable. Since the low-pass filter unit 40 has such a characteristic value, a filter process for attenuating and delaying a frequency component corresponding to the opening / closing speed is performed, and the opening / closing time or the like is set using a filter value as described below. Can be calculated.
図１５は、図１２に示した左眼の実測値である開度値（実線）と、その実測値の開度値をローパスフィルタ部４０に入力値として与えた際ローパスフィルタ部４０が出力したフィルタ値（点線）を示す。フィルタ値は、ローパスフィルタ部４０が高周波成分を遮断するので、実測した開度値よりも上下変動が少なくなだらかな曲線なる。また、フィルタ値は、ローパスフィルタ部４０が瞼の開閉速度に相当する周波数成分を減衰させてかつ立ち上りを遅延させるので、開度値自体に比べて、まばたきのＶ字形状における谷が浅くなると共にやや右へシフトして現れる。そうすると、フィルタ値は、眼が閉じている最中（開度値が小さくなっている最中）は同時刻の実測値の開度値よりも大きくなり、眼が開いている最中（開度値が大きくなっている最中）は同時刻の実測値の開度値より小さくなる。 FIG. 15 shows an output value (solid line) that is an actual measurement value of the left eye shown in FIG. 12 and an output value of the actual measurement value that is output by the low-pass filter unit 40 when given to the low-pass filter unit 40 as an input value. Shows the filter value (dotted line). Since the low-pass filter unit 40 blocks high-frequency components, the filter value is a gentle curve with less vertical fluctuation than the actually measured opening value. Further, since the low-pass filter unit 40 attenuates the frequency component corresponding to the opening / closing speed of the kite and delays the rising of the filter value, the valley in the blinking V shape becomes shallower than the opening degree value itself. Appear slightly shifted to the right. Then, the filter value becomes larger than the actually measured opening value at the same time when the eye is closed (while the opening value is small), and when the eye is open (opening degree). While the value is increasing), it becomes smaller than the actual opening value at the same time.
たとえば、仮に図１５に示す矢印線（Ｄ１〜Ｄ６）の長さ（ほぼＹ軸の１目盛）に相当する開度値の差を、眼を閉じ始めた時、眼を閉じ終わった時、眼を開き始めた時、眼を開き終わった時などを検出するための閾値とする。Ｄ１以前には、実測値の開度値とフィルタ値との差においてその閾値以上の差がある時はない。眼が閉じている状態からＤ１において初めてその閾値以上の差が生ずるので、Ｄ１が眼を閉じ始めた時と判定することができる。Ｄ１以降実測値の開度値とフィルタ値との差は大きくなり、Ｄ２においてその差は小さくなるが閾値以上の差がある。その後Ｄ３まで実測値の開度値とフィルタ値との差は、閾値以上であることを継続している。そして、Ｄ３の時点で実測値の開度値とフィルタ値との差が閾値より小さくなった。したがって、Ｄ３以前では閾値以上であった差がＤ３以降は閾値以下になったことを以って、Ｄ３が眼を閉じ終わった時と判定することができる。 For example, if the opening degree difference corresponding to the length of the arrow lines (D1 to D6) shown in FIG. 15 (approximately one graduation on the Y axis) starts to close the eye, The threshold value is used to detect when the eye begins to open or when the eye has been opened. Before D1, there is no time when the difference between the measured opening value and the filter value is greater than the threshold value. Since a difference equal to or greater than the threshold value occurs for the first time in D1 from the state in which the eyes are closed, it can be determined that D1 has started to close the eyes. After D1, the difference between the actually measured opening value and the filter value is large, and the difference is small at D2, but there is a difference equal to or greater than the threshold value. Thereafter, the difference between the actually measured opening value and the filter value continues to be equal to or greater than the threshold value until D3. At the time point D3, the difference between the actually measured opening value and the filter value became smaller than the threshold value. Therefore, it can be determined that D3 has closed his eyes because the difference that was greater than or equal to the threshold before D3 is equal to or less than the threshold after D3.
また、本図の場合、上述した閉時間で判定した場合であっても、閉時間はＤ２を含むＤ１〜Ｄ３の間で所定時間継続したということができるので、眼が閉じ始めてから眼が閉じ終わったと検出した時までの閉時間が所定時間継続した場合にのみ、開度値の変化が所定の閾値を超えた時を眼が閉じ始められた時と判定してもよい。 Further, in the case of this figure, even if it is determined by the above-described closing time, it can be said that the closing time has continued for a predetermined time between D1 and D3 including D2, so that the eye is closed after the eye starts to close. Only when the closing time until the time when it is detected to have been completed has continued for a predetermined time, it may be determined that the eye has begun to close when the change in the opening value exceeds a predetermined threshold.
眼が閉じ終わった後、眼が開いている最中にはフィルタ値は、逆に実測値の開度値より小さくなる。実測値の開度値とフィルタ値との差が閾値以上になるのはＤ４の時点なので、Ｄ４が眼が開き始めた時と認定することができる。また、眼が開き始めた時から、まばたきの一連のＶ字形状における実測値の開度値とフィルタ値との差が最後に閾値以上であったＤ６を、眼が開き終わった時と認定することができる。 After the eyes are closed, the filter value is smaller than the actually measured opening value while the eyes are open. Since the difference between the opening value of the actually measured value and the filter value is equal to or greater than the threshold value is the time point D4, it can be recognized that D4 has begun to open the eyes. Further, from the time when the eyes start to open, D6 in which the difference between the measured opening value and the filter value in the series of V-shaped blinks is equal to or more than the threshold value at the end is recognized as the time when the eyes have been opened. be able to.
図１６は、実測値の開度値とフィルタ値を模式化したものである。本図に示す例では、眼を閉じつつあることを判定する閾値と、眼を開きつつあることを判定する閾値は異なる大きさであってもよい。たとえば、フィルタ値は、瞼の開閉速度に相当する周波数成分を減衰させてかつ立ち上りを遅延させるので、実測値との差が徐々に大きくなっていく場合が多い。そうすると、眼を閉じつつある最中には、フィルタ値から実測値の開度値を引いた差が、閾値Ａより大きくとなった時を眼を閉じつつある時と判定し、眼を開きつつある最中には、実測値の開度値からフィルタ値を引いた差が、閾値Ｂより大きくなった時を眼が開きつつある時と判定することができる。そうすると、両者の差が閾値Ａより大きくとなった時から閾値Ｂより大きくなった時を計測することにより、開閉時間を計測することが可能となる。 FIG. 16 schematically shows the actually measured opening value and the filter value. In the example shown in this figure, the threshold value for determining that the eyes are being closed may be different from the threshold value for determining that the eyes are being opened. For example, since the filter value attenuates the frequency component corresponding to the opening / closing speed of the kite and delays the rise, the difference from the actually measured value gradually increases in many cases. Then, while the eyes are being closed, when the difference obtained by subtracting the opening value of the measured value from the filter value becomes larger than the threshold value A, it is determined that the eyes are being closed and the eyes are opened. During a certain period, when the difference obtained by subtracting the filter value from the opening value of the actually measured value becomes larger than the threshold value B, it can be determined that the eye is opening. Then, it becomes possible to measure the opening / closing time by measuring the time when the difference between the two becomes larger than the threshold A and when the difference becomes larger than the threshold B.
たとえば、図１７（Ａ）に示すように、フィルタ値から実測値の開度値を引いた差が閾値Ａより大きくとなった時であっても、眼を暫く閉じている場合には、閾値Ａより大きくとなった時から閾値Ｂより大きくなった時までの時間である開閉時間が長くなり、それが周期性瞬目とされる所定時間以上（たとえば３００ｍｓ以上）であった場合は、この瞬目は周期性瞬目と判定されない。 For example, as shown in FIG. 17A, even when the difference obtained by subtracting the opening value of the actual measurement value from the filter value becomes larger than the threshold value A, if the eyes are closed for a while, the threshold value is set. When the opening / closing time, which is the time from when it becomes larger than A to when it becomes larger than the threshold value B, becomes longer and it is longer than a predetermined time (for example, 300 ms or more) that is regarded as a periodic blink, A blink is not determined to be a periodic blink.
また、図１７（Ｂ）に示すように、ゆっくりと眼を閉じたような場合は、フィルタ値から実測値の開度値を引いた差が閾値Ａより大きくなることがないので、眼を閉じつつある状態にあると判定しないために、瞬目と判定されることがない。 Further, as shown in FIG. 17B, when the eyes are slowly closed, the difference obtained by subtracting the opening value of the actual measurement value from the filter value does not become larger than the threshold value A, so the eyes are closed. Since it is not determined to be in the state of being turned on, it is not determined to be a blink.
このように、顔画像処理装置１００は、開度検出部１０が検出した実測値としての開度値を入力値として、眼の開閉速度に相当する周波数の成分を減衰させると共に遅延させるフィルタ処理を行い、フィルタ値を出力するローパスフィルタ部４０を備えることが好ましい。そして、その瞬目特徴量算出部２０は、開度検出部１０が検出した開度値とローパスフィルタ部４０が出力したフィルタ値との差に基づいて開閉時間を算出する。これによれば、顔画像処理装置１００は、ローパスフィルタという簡便な構成を付加することにより眼の閉眼判定を正確に行うことが可能となる。 As described above, the face image processing apparatus 100 performs the filter process for attenuating and delaying the frequency component corresponding to the opening / closing speed of the eye using the opening value as the actual measurement value detected by the opening detection unit 10 as an input value. It is preferable to provide a low-pass filter unit 40 that outputs the filter value. Then, the blink feature value calculation unit 20 calculates the opening / closing time based on the difference between the opening value detected by the opening detection unit 10 and the filter value output by the low-pass filter unit 40. According to this, the face image processing apparatus 100 can accurately determine whether the eye is closed by adding a simple configuration called a low-pass filter.
顔画像処理装置１００は、さらに閉眼判定閾値更新部５０を備える。閉眼判定閾値更新部５０は、眼の開閉状態を判定するための閉眼判定閾値を更新する。閉眼判定閾値は、上述したように、眼が閉じ始めたことを判定する閾値、眼が閉じ終わったことを判定する閾値、眼が閉じつつあることを判定する閾値などである。かかる閾値を、生じた瞬目が周期性瞬目であると判定した時の直近の瞬目の開度値に基づいて変更してゆくことは、より正確な眼の開閉状態を判定することができることになる。 The face image processing apparatus 100 further includes a closed eye determination threshold update unit 50. The closed eye determination threshold update unit 50 updates the closed eye determination threshold for determining the open / closed state of the eye. As described above, the closed eye determination threshold includes a threshold for determining that the eye has begun to close, a threshold for determining that the eye has been closed, a threshold for determining that the eye is being closed, and the like. Changing the threshold based on the opening value of the most recent blink when it is determined that the generated blink is a periodic blink can determine a more accurate eye opening / closing state. It will be possible.
図１８は、開度検出部１０が、周期性瞬目と判定された瞬目において、たとえば眼が開き始めたと判定された時（図１５におけるＤ４）から過去の所定時間内（たとえば１秒以内）に検出された開度値の最大値と最小値を検出することを示す。かかる直近の開度値の最大値、すなわち上瞼と下瞼の間の瞳の縦方向の長さである画素数の最大値を、瞼を開いている状態の時の開度値と設定し直す。また、かかる直近の開度値の最小値、すなわち上瞼と下瞼の間の瞳の縦方向の長さである画素数の最小値を、瞼を閉じている状態の時の開度値と設定し直す。これらの最大値と最小値の開度値から、それらの値の間のいずれかの値を、眼が閉じ始めたことを判定する閾値、眼が閉じ終わったことを判定する閾値、または眼が閉じつつあることを判定する閾値とすることにより、より正確な眼の開閉状態を判定することができる。 FIG. 18 shows that within a predetermined time (for example, within one second) from when the opening degree detection unit 10 determines that the eye has begun to open, for example, in the blink determined to be a periodic blink (D4 in FIG. 15). ) Indicates that the maximum value and the minimum value of the opening value detected are detected. The maximum value of the most recent opening value, that is, the maximum value of the number of pixels, which is the length in the vertical direction of the pupil between the upper eyelid and the lower eyelid, is set as the opening value when the eyelid is open. cure. Further, the minimum value of the most recent opening value, that is, the minimum value of the number of pixels, which is the length of the pupil between the upper eyelid and the lower eyelid, is the opening value when the eyelid is closed. Set again. From these maximum and minimum opening values, any value between these values is used as a threshold for determining that the eye has begun to close, a threshold for determining that the eye has been closed, or By using a threshold value for determining that the eye is being closed, a more accurate eye open / closed state can be determined.
すなわち、個人毎の眼の大きさのばらつきは言うまでもなく、一個人においても、その時の身体の状態や顔と撮像部Ｃ０までの距離によって、開度値（画素数）は変化するので、逐次最新の周期性瞬目の開度値に基づいた閉眼判定を行うことにより、より正確な眼の開閉状態を判定することができる。なお、図１８に示した最大値と最小値は１点の値であるが、たとえば、上位または下位の何個かのデータの平均値や、その平均値に標準偏差を用いて幅を持った値の最大値と最小値にしてもよい。 That is, not only the variation in eye size among individuals, but also the opening value (number of pixels) varies depending on the physical condition at that time and the distance between the face and the imaging unit C0. By performing the closed eye determination based on the opening value of the periodic blink, a more accurate open / closed state of the eye can be determined. Note that the maximum value and the minimum value shown in FIG. 18 are one-point values. For example, the average value of some upper or lower data, or the average value has a range using a standard deviation. The maximum value and the minimum value may be used.
このように、顔画像処理装置１００は、眼の開閉状態を判定するための閉眼判定閾値を更新する閉眼判定閾値更新部５０を備えることが好ましい。そして、閉眼判定閾値更新部５０は、周期性瞬目判定部３０が瞬目が周期性瞬目であると判定した時から所定時間前の間に開度検出部１０が検出した開度値の最大値と最小値に基づいて、閉眼判定閾値を更新する。これによれば、顔画像処理装置１００は、周期性瞬目時の眼の開度値を用いて閉眼判定閾値を算出し更新するので、普段の眼の開き度合いに基づいて閾値を設定することができ、より正確に眼の開閉状態を判定できる。 Thus, it is preferable that the face image processing apparatus 100 includes the closed eye determination threshold update unit 50 that updates the closed eye determination threshold for determining the open / closed state of the eyes. Then, the closed eye determination threshold update unit 50 calculates the opening value detected by the opening detection unit 10 during a predetermined time from when the periodic blink determination unit 30 determines that the blink is a periodic blink. The closed eye determination threshold is updated based on the maximum value and the minimum value. According to this, the face image processing apparatus 100 calculates and updates the closed eye determination threshold value using the eye opening value at the time of the periodic blink, and therefore sets the threshold value based on the usual degree of eye opening. The eye open / closed state can be determined more accurately.
記憶部８０は、開度検出部１０が出力した開度値やローパスフィルタ部４０が出力したフィルタ値をその都度記憶し、過去のそれらのデータを必要とする瞬目特徴量算出部２０、閉眼判定閾値更新部５０に提供する。また、記憶部８０は、後述する閉眼の判定を行う閉眼判定部６０にもデータを提供する。制御部７０は、照明部Ｌ０の発光と撮像部Ｃ０の撮像を制御すると共に、顔画像処理装置１００が出力する結果を使用する外部機構（たとえば、居眠り警報装置）に出力する外部出力部９０を通して、外部機構に閉眼判定部６０が行った判定の結果を出力することを制御する。 The storage unit 80 stores the opening value output from the opening detection unit 10 and the filter value output from the low-pass filter unit 40 each time, and the blink feature amount calculation unit 20 that requires the past data, the closed eye This is provided to the determination threshold update unit 50. The storage unit 80 also provides data to the closed eye determination unit 60 that performs closed eye determination described later. The control unit 70 controls the light emission of the illumination unit L0 and the imaging of the imaging unit C0, and also passes through the external output unit 90 that outputs the result output by the face image processing device 100 to an external mechanism (for example, a doze alarm device). Control is made to output the result of the determination made by the closed eye determination unit 60 to the external mechanism.
図５〜図７を参照して、ローパスフィルタ部４０と閉眼判定閾値更新部５０も備える顔画像処理装置１００における動作を説明する。なお、フローチャートにおけるＳはステップを意味する。顔画像処理装置１００は、たとえば、顔画像処理装置１００が取り付けられる車両のイグニションスイッチがオンされた時に開始される。顔画像処理装置１００は、Ｓ１００において、主に開度検出部１０、瞬目特徴量算出部２０、周期性瞬目判定部３０、ローパスフィルタ部４０が機能する、周期性瞬目の判定処理を行う。顔画像処理装置１００は、Ｓ１０において、周期性瞬目の判定処理が終了するまで待ち続ける。なお、後述するように、Ｓ１００の周期性瞬目の判定処理は、瞬目が周期性瞬目であると判定した場合にのみ、終了する。 With reference to FIGS. 5-7, the operation | movement in the face image processing apparatus 100 also provided with the low-pass filter part 40 and the eye-closing determination threshold value update part 50 is demonstrated. In the flowchart, S means a step. The face image processing apparatus 100 is started, for example, when an ignition switch of a vehicle to which the face image processing apparatus 100 is attached is turned on. In S100, the face image processing apparatus 100 performs a periodic blink determination process in which the opening degree detection unit 10, the blink feature amount calculation unit 20, the periodic blink determination unit 30, and the low-pass filter unit 40 mainly function. Do. In S10, the face image processing apparatus 100 continues to wait until the periodic blink determination process ends. As will be described later, the periodic blink determination process of S100 ends only when it is determined that the blink is a periodic blink.
顔画像処理装置１００は、周期性瞬目の判定処理が終了した場合には、Ｓ３００において、主に閉眼判定閾値更新部５０が機能する、閉眼判定の閾値の更新処理を行う。顔画像処理装置１００の制御部７０は、閉眼判定の閾値の更新処理を行った後、Ｓ１２において、撮像部Ｃ０に撮像させ、差分画像を生成する。顔画像処理装置１００の開度検出部１０は、Ｓ１４において、生成した画像を基に、両眼の開度値を取得する。 When the periodic blink process is completed, the face image processing apparatus 100 performs the closed eye determination threshold update process in which the closed eye determination threshold update unit 50 mainly functions in S300. The control unit 70 of the face image processing apparatus 100 performs the eye closing determination threshold update process, and in S12, causes the imaging unit C0 to capture images and generates a difference image. In S <b> 14, the opening degree detection unit 10 of the face image processing apparatus 100 acquires the opening values of both eyes based on the generated image.
閉眼判定部６０は、Ｓ１６において、開度検出部１０が検出した開度値と、閉眼判定閾値更新部５０が更新した最新の閉眼判定の閾値とを比較する。開度値が閉眼判定閾値より小さい場合すなわち眼が閉じている判定された場合、閉眼判定部６０は、Ｓ１８において、閉眼状態が所定時間以上継続しているか否かを検査する。閉眼状態が所定時間以上継続していない場合は再度撮像から繰り返されるが、閉眼状態が所定時間以上継続した場合は、外部出力部９０は、Ｓ２０において、外部機構である居眠り警報装置にその旨を出力する。 In S <b> 16, the closed eye determination unit 60 compares the opening value detected by the opening detection unit 10 with the latest closed eye determination threshold updated by the closed eye determination threshold update unit 50. When the opening degree value is smaller than the closed eye determination threshold value, that is, when it is determined that the eye is closed, the closed eye determination unit 60 checks whether or not the closed eye state continues for a predetermined time or more in S18. If the closed eye state does not continue for a predetermined time or longer, the imaging is repeated again. If the closed eye state continues for the predetermined time or longer, the external output unit 90 informs the dozing alarm device, which is an external mechanism, in S20. Output.
Ｓ１６において開度値が閉眼判定閾値以上である場合すなわち眼が開いている判定された場合、外部出力部９０は、Ｓ２２において、外部機構に居眠り警報を停止する旨を出力する。閉眼判定部６０は、Ｓ２４において、Ｓ１８で使用する所定時間である閉眼の継続時間をリセットする。Ｓ２４の終了時にＳ１００に戻るようなフローでも良い。この場合には、閉眼判定の閾値の更新が頻繁に実行されることになる。これ以外にも、閾値の更新の頻度は所望の頻度となるようなフローとしても構わない。 If the opening value is greater than or equal to the eye closure determination threshold value in S16, that is, if it is determined that the eyes are open, the external output unit 90 outputs to the external mechanism that the doze alarm is stopped in S22. In S24, the closed eye determination unit 60 resets the duration of the closed eye, which is the predetermined time used in S18. The flow may return to S100 at the end of S24. In this case, the threshold value for the closed eye determination is frequently updated. Other than this, the threshold may be updated at a desired frequency.
周期性瞬目の判定処理の詳細は、図６に示される。顔画像処理装置１００は、Ｓ１１０において、上述したように撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ１２０において、上述したように差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ１３０において、上述したように開度検出部１０が検出した開度値をローパスフィルタ処理し、記憶部８０に記憶する。 Details of the periodic blink determination process are shown in FIG. In S110, the face image processing apparatus 100 causes the imaging unit C0 to capture the first image and the second image as described above, and generates a difference image based on the two images. In S120, the opening degree detection unit 10 acquires the opening values of both eyes from the difference image as described above, and stores them in the storage unit 80. In S130, the low-pass filter unit 40 performs low-pass filter processing on the opening value detected by the opening detection unit 10 as described above, and stores it in the storage unit 80.
顔画像処理装置１００は、Ｓ１４０において、上述したように眼が閉じつつある状態にあるか否かを検査する。なお、本実施例では、本ステップで閉じつつある状態にあるか否かを検査する対象は、右眼か左眼かのいずれかである。たとえば、右眼が検査対象である場合、右眼が閉じつつある状態にない場合は、上記Ｓ１１０〜Ｓ１３０を繰り返す。 In S140, the face image processing apparatus 100 checks whether or not the eyes are closing as described above. In the present embodiment, the object to be inspected as to whether or not it is in the closed state in this step is either the right eye or the left eye. For example, when the right eye is an object to be inspected and the right eye is not in a closed state, S110 to S130 are repeated.
右眼が閉じつつある状態にあった場合は、顔画像処理装置１００は、Ｓ１５０において、上述したように撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ１６０において、上述したように差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ１７０において、上述したように開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。 When the right eye is in a closed state, the face image processing apparatus 100 causes the imaging unit C0 to capture the first image and the second image as described above in S150, and performs a difference based on the two images. Generate an image. In S160, the opening degree detection unit 10 acquires the opening values of both eyes from the difference image as described above, and stores them in the storage unit 80. In S170, the low-pass filter unit 40 filters the opening value detected by the opening detection unit 10 as described above, and stores it in the storage unit 80.
顔画像処理装置１００は、Ｓ１８０において、上述したように眼が開きつつある状態にあるか否かを検査する。なお、本ステップで開きつつある状態にあるか否かを検査する対象は、Ｓ１４０の検査対象と同じ眼の右眼である。右眼が開きつつある状態にない場合は、上記Ｓ１５０〜Ｓ１７０を繰り返す。 In step S180, the face image processing apparatus 100 checks whether or not the eye is in a state of opening. It should be noted that the object to be inspected as to whether or not it is being opened in this step is the right eye of the same eye as the inspection object in S140. If the right eye is not opening, S150 to S170 are repeated.
右眼が開きつつある状態にある場合、瞬目特徴量算出部２０は、Ｓ１９０において、開度検出部１０が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間が、第１所定時間内（概ね１００ｍｓ〜３００ｍｓ）か否かを検査する。当該開閉時間が第１所定時間内になかった場合、Ｓ１１０に戻り、顔画像の撮像から行う。当該開閉時間が第１所定時間内にあった場合、瞬目特徴量算出部２０は、Ｓ２００において、現在対象の顔画像は瞬目であると判定する。 When the right eye is in a state of opening, the blink feature amount calculation unit 20 determines in S190 from the time when the opening degree detection unit 10 detects that the eye is closing to the time when the eye is detected to be opening. It is inspected whether the open / close time shown is within a first predetermined time (approximately 100 ms to 300 ms). If the opening / closing time is not within the first predetermined time, the process returns to S110 and the face image is captured. If the opening / closing time is within the first predetermined time, the blink feature amount calculation unit 20 determines in S200 that the current target face image is a blink.
周期性瞬目判定部３０は、Ｓ２１０において、瞬目と判定された顔画像は１回目であるか否かを検査する。１回目であった場合は、Ｓ１１０に戻り、顔画像の撮像から行う。１回目ではなかった場合、周期性瞬目判定部３０は、Ｓ２２０において、１回目の瞬目と今回の瞬目との発生間隔が、第２所定時間内（概ね３〜４秒）であるか否かを検査する。当該発生間隔が第２所定時間内になかった場合、Ｓ１１０に戻り、顔画像の撮像から行う。当該発生間隔が第２所定時間内にあった場合、周期性瞬目判定部３０は、Ｓ２３０において、一連の瞬目は周期性瞬目であると判定する。 In step S210, the periodic blink determination unit 30 checks whether or not the face image determined to be a blink is the first time. If it is the first time, the process returns to S110 and the face image is captured. If it is not the first time, the periodic blink determination unit 30 determines whether the generation interval between the first blink and the current blink is within the second predetermined time (approximately 3 to 4 seconds) in S220. Check for no. If the generation interval is not within the second predetermined time, the process returns to S110, and the face image is captured. If the occurrence interval is within the second predetermined time, the periodic blink determination unit 30 determines in S230 that the series of blinks is a periodic blink.
なお、本図に示すフローチャートは、周期性瞬目の判定基準に、瞬目の開閉時間と間隔を用いた例であり、これに限定されないことは言うまでもなく、周期性瞬目の判定基準に、瞬目の開閉時間と両眼の瞬目を用いてもよい。 In addition, the flowchart shown in this figure is an example using the blink opening and closing time and interval as the determination criterion for periodic blinks, and it goes without saying that the determination criterion for periodic blinks is not limited thereto. Blink opening / closing time and binocular blink may be used.
閉眼判定の閾値の更新処理の詳細は、図７に示される。閉眼判定閾値更新部５０は、Ｓ３１０において、上述したように直近の１秒間における左眼と右眼の開度値の最大値と最小値を取得する。閉眼判定閾値更新部５０は、Ｓ３２０において、左眼の開眼状態値（周期性瞬目時に計測した開度値の内の最大値を用い、所定の計算式にて算出した値）を、（測定した左眼の開度値の最大値）×０．２５＋（前回の左眼の開眼状態値）×０．７５として設定する。なお、初回は、「前回の開眼状態値」は、たとえば人の平均的な値などのデフォルト値を用いることができる（他のステップ同様）。 Details of the threshold closing determination threshold update process are shown in FIG. In S310, the closed eye determination threshold update unit 50 acquires the maximum value and the minimum value of the opening values of the left eye and the right eye in the latest one second as described above. In S320, the closed-eye determination threshold value update unit 50 calculates an open state value of the left eye (a value calculated by a predetermined calculation formula using a maximum value among opening values measured at the time of periodic blinking) (measurement). The maximum value of the left eye opening value) × 0.25 + (previous left eye open state value) × 0.75. For the first time, for the “previous eye opening state value”, for example, a default value such as an average value of a person can be used (similar to other steps).
また、閉眼判定閾値更新部５０は、Ｓ３３０において、左眼の閉眼状態値（周期性瞬目時に計測した開度値の内の最小値を用い、所定の計算式にて算出した値）を、（測定した左眼の開度値の最小値）×０．２５＋（前回の左眼の閉眼状態値）×０．７５として設定する。 In S330, the closed eye determination threshold value updating unit 50 calculates the closed eye state value of the left eye (a value calculated by a predetermined calculation formula using the minimum value of the opening values measured at the time of periodic blinking). (Minimum value of measured opening value of left eye) × 0.25 + (previous left eye closed state value) × 0.75
閉眼判定閾値更新部５０は、Ｓ３４０において、右眼の開眼状態値（周期性瞬目時に計測した開度値の内の最大値を用い、所定の計算式にて算出した値）を、（測定した右眼の開度値の最大値）×０．２５＋（前回の右眼の開眼状態値）×０．７５として設定する。また、閉眼判定閾値更新部５０は、Ｓ３５０において、右眼の閉眼状態値（周期性瞬目時に計測した開度値の内の最小値を用い、所定の計算式にて算出した値）を、（測定した右眼の開度値の最小値）×０．２５＋（前回の右眼の閉眼状態値）×０．７５として設定する。 In S340, the closed eye determination threshold update unit 50 calculates the right eye open state value (a value calculated by a predetermined calculation formula using the maximum value of the opening values measured at the time of the periodic blink). The maximum opening value of the right eye) × 0.25 + (previous open eye state value of the right eye) × 0.75. Further, in S350, the closed eye determination threshold update unit 50 calculates the closed eye state value of the right eye (a value calculated by a predetermined calculation formula using the minimum value of the opening values measured at the time of periodic blinking). (Minimum value of measured opening value of right eye) × 0.25 + (previous right eye closed state value) × 0.75
このように、閉眼判定閾値更新部５０は、直近に検出した開度値の最大値と最小値の１／４を既存の最大値と最小値に反映させていくことで、閾値の安定性を確保すると共に、直近の眼の開き度合いに基づいて閾値を設定することができるので、より正確に眼の開閉状態を判定できる。 Thus, the closed eye determination threshold value updating unit 50 reflects the quarter of the maximum and minimum values of the most recently detected opening values in the existing maximum and minimum values, thereby improving the stability of the threshold. Since the threshold value can be set based on the most recent degree of eye opening, the open / closed state of the eye can be determined more accurately.
＜第１実施例の変形例＞
図１９を参照し、周期性瞬目の判定処理の変形例を説明する。顔画像処理装置１００は、Ｓ４１０において、撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ４２０において、差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ４３０において、上述したように開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。
<Modification of the first embodiment>
With reference to FIG. 19, the modification of the determination process of a periodic blink is demonstrated. In step S410, the face image processing apparatus 100 causes the imaging unit C0 to capture the first image and the second image, and generates a difference image based on the two images. In S <b> 420, the opening degree detection unit 10 acquires the opening values of both eyes from the difference image and stores them in the storage unit 80. In S430, the low-pass filter unit 40 filters the opening value detected by the opening detection unit 10 as described above, and stores it in the storage unit 80.
顔画像処理装置１００は、Ｓ４４０において、両眼が閉じつつある状態にあるか否かを検査する。すなわち、本変形例では、周期性瞬目の特徴量として、両眼の瞬目も用いる。両眼が閉じつつある状態にない場合は、上記Ｓ４１０〜Ｓ４３０を繰り返す。両眼が閉じつつある状態にあった場合は、顔画像処理装置１００は、Ｓ４５０において、撮像部Ｃ０に第１画像と第２画像を撮像させ、その２つの画像を基に差分画像を生成する。開度検出部１０は、Ｓ４６０において、差分画像から両眼の開度値を取得して、記憶部８０に記憶する。ローパスフィルタ部４０は、Ｓ４７０において、開度検出部１０が検出した開度値をフィルタ処理し、記憶部８０に記憶する。 In step S440, the face image processing apparatus 100 checks whether both eyes are closing. That is, in this modification, the blink of both eyes is also used as the feature amount of the periodic blink. When both eyes are not closing, S410 to S430 are repeated. If both eyes are closed, the face image processing apparatus 100 causes the imaging unit C0 to capture the first image and the second image in S450, and generates a difference image based on the two images. . In S <b> 460, the opening detection unit 10 acquires the opening values of both eyes from the difference image and stores them in the storage unit 80. In S470, the low-pass filter unit 40 filters the opening value detected by the opening detection unit 10 and stores it in the storage unit 80.
顔画像処理装置１００は、Ｓ４８０において、両眼が開きつつある状態にあるか否かを検査する。両眼が開きつつある状態にない場合は、上記Ｓ４５０〜Ｓ４７０を繰り返す。両眼が開きつつある状態にある場合、瞬目特徴量算出部２０は、Ｓ４９０において、開度検出部１０が両眼が閉じつつあると検出した時から両眼が開きつつあると検出した時までを示す開閉時間が、第１所定時間内（概ね１００ｍｓ〜３００ｍｓ）か否かを検査する。当該開閉時間が第１所定時間内になかった場合、Ｓ４１０に戻り、顔画像の撮像から行う。当該開閉時間が第１所定時間内にあった場合、瞬目特徴量算出部２０は、Ｓ５００において、現在対象の顔画像は瞬目であると判定する。 In step S480, the face image processing apparatus 100 checks whether or not both eyes are in a state of opening. If the two eyes are not opening, S450 to S470 are repeated. When both eyes are in a state of opening, the blink feature amount calculation unit 20 detects in S490 that both eyes are opening from when the opening degree detection unit 10 detects that both eyes are closing. It is inspected whether or not the opening / closing time indicating is within a first predetermined time (approximately 100 ms to 300 ms). If the opening / closing time is not within the first predetermined time, the process returns to S410 and the face image is captured. If the opening / closing time is within the first predetermined time, the blink feature amount calculation unit 20 determines in S500 that the current target face image is a blink.
周期性瞬目判定部３０は、Ｓ５１０において、瞬目と判定された顔画像は１回目であるか否かを検査する。１回目であった場合は、Ｓ４１０に戻り、顔画像の撮像から行う。１回目ではなかった場合、周期性瞬目判定部３０は、Ｓ５２０において、１回目の瞬目と今回の瞬目との発生間隔が、第２所定時間内（概ね３〜４秒）であるか否かを検査する。当該発生間隔が第２所定時間内になかった場合、Ｓ４１０に戻り、顔画像の撮像から行う。当該発生間隔が第２所定時間内にあった場合、周期性瞬目判定部３０は、Ｓ５３０において、一連の瞬目は周期性瞬目であると判定する。 In step S510, the periodic blink determination unit 30 checks whether or not the face image determined to be a blink is the first time. If it is the first time, the process returns to S410 and the face image is taken. If it is not the first time, the periodic blink determination unit 30 determines in S520 whether the generation interval between the first blink and the current blink is within the second predetermined time (approximately 3 to 4 seconds). Check for no. If the generation interval is not within the second predetermined time, the process returns to S410 and the face image is captured. If the occurrence interval is within the second predetermined time, the periodic blink determination unit 30 determines in S530 that the series of blinks is a periodic blink.
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。 In addition, this invention is not limited to the illustrated Example, The implementation by the structure of the range which does not deviate from the content described in each item of a claim is possible. That is, although the present invention has been particularly illustrated and described with respect to particular embodiments, it should be understood that the present invention has been described in terms of quantity, quantity, and amount without departing from the scope and spirit of the present invention. In other detailed configurations, various modifications can be made by those skilled in the art.
１ 顔画像処理システム
１００ 顔画像処理装置
１０ 開度検出部
２０ 瞬目特徴量算出部
３０ 周期性瞬目判定部
４０ ローパスフィルタ部
５０ 閉眼判定閾値更新部
６０ 閉眼判定部
７０ 制御部
８０ 記憶部
９０ 外部出力部
Ｌ０ 第１照明部
Ｌ１ 第１偏光子
Ｌ２ 第１発光器
Ｃ０ 撮像部
Ｃ１ 第２偏光子
Ｃ２ 撮像器
Ｃ３ 可視光フィルタ
ＤＲ 運転者
ＷＬ ハンドル
DESCRIPTION OF SYMBOLS 1 Face image processing system 100 Face image processing apparatus 10 Opening degree detection part 20 Blink feature-value calculation part 30 Periodic blink determination part 40 Low-pass filter part 50 Closed eye determination threshold update part 60 Closed eye determination part 70 Control part 80 Storage part 90 External output unit L0 First illumination unit L1 First polarizer L2 First light emitter C0 Imaging unit C1 Second polarizer C2 Imager C3 Visible light filter DR Driver WL Handle
Claims (5)
前記顔画像に基づいて、眼の開き度合いを表す開度値を検出する開度検出部と、
前記開度検出部が検出した開度値に基づいて、瞬目の特徴量を算出する瞬目特徴量算出部と、
前記瞬目特徴量算出部が算出した瞬目の特徴量に基づいて、瞬目が周期性瞬目か否かを判定する周期性瞬目判定部と、
を備え、
前記瞬目特徴量算出部が算出する瞬目の特徴量は、
前記開度検出部が眼が閉じつつあると検出した時から眼が開きつつあると検出した時までを示す開閉時間と、
前記開度検出部が検出した瞬目の間隔または両眼の瞬目のいずれか一方または両方と、
を含む、
顔画像処理装置。 In a face image processing apparatus that detects an open / closed state of an eye using a captured face image,
Based on the face image, an opening detection unit that detects an opening value representing the degree of opening of the eyes,
Based on the opening value detected by the opening detection unit, a blink feature amount calculation unit that calculates a blink feature amount;
A periodic blink determination unit that determines whether the blink is a periodic blink based on the blink feature amount calculated by the blink feature amount calculation unit;
With
The blink feature amount calculated by the blink feature amount calculation unit is:
Opening and closing time indicating from when the opening degree detection unit detects that the eyes are closing to when it is detected that the eyes are opening,
Either one or both of the blink interval or the blink of both eyes detected by the opening detection unit,
including,
Face image processing device.
前記瞬目特徴量算出部は、前記開度検出部が検出した開度値と前記ローパスフィルタ部が出力したフィルタ値との差に基づいて前記開閉時間を算出することを特徴とする請求項１または２に記載の顔画像処理装置。 An opening value detected by the opening detection unit is used as an input value, a filter process for attenuating and delaying a frequency component corresponding to the opening / closing speed of the eye, and a low pass filter unit for outputting a filter value is further provided.
The blink time feature amount calculation unit calculates the opening / closing time based on a difference between an opening value detected by the opening degree detection unit and a filter value output by the low-pass filter unit. Or the face image processing apparatus of 2.
前記閉眼判定閾値更新部は、前記周期性瞬目判定部が瞬目が周期性瞬目であると判定した時から所定時間前の間に前記開度検出部が検出した開度値の最大値と最小値に基づいて、前記閉眼判定閾値を更新することを特徴とする請求項１乃至３のいずれかに記載の顔画像処理装置。 An eye closure threshold updating unit for updating an eye closure threshold for determining an eye open / closed state;
The closed eye determination threshold value update unit is a maximum value of the opening value detected by the opening detection unit a predetermined time before the periodic blink determination unit determines that the blink is a periodic blink. The face image processing apparatus according to claim 1, wherein the eye-closing determination threshold is updated based on the minimum value.
前記画像処理装置から発光の指示を受ける照明部と、
前記発光の指示と同期を取り、前記照明部が照射する顔の画像を撮像する撮像部と、
を備える顔画像処理システム。 An image processing apparatus according to any one of claims 1 to 4,
An illumination unit that receives a light emission instruction from the image processing device;
An imaging unit that captures an image of a face that is illuminated by the illumination unit in synchronization with the light emission instruction;
A face image processing system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016071159A JP6638523B2 (en) | 2016-03-31 | 2016-03-31 | Face image processing device and face image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016071159A JP6638523B2 (en) | 2016-03-31 | 2016-03-31 | Face image processing device and face image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017176641A true JP2017176641A (en) | 2017-10-05 |
| JP6638523B2 JP6638523B2 (en) | 2020-01-29 |
Family
ID=60008010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016071159A Expired - Fee Related JP6638523B2 (en) | 2016-03-31 | 2016-03-31 | Face image processing device and face image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6638523B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021037216A (en) * | 2019-09-05 | 2021-03-11 | トヨタ自動車株式会社 | Eye closing determination device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02183811A (en) * | 1989-01-11 | 1990-07-18 | Aisin Seiki Co Ltd | Energization controller for electrical equipment |
| WO2013035704A1 (en) * | 2011-09-05 | 2013-03-14 | 富山県 | Dozing-off detection method and device |
| JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
-
2016
- 2016-03-31 JP JP2016071159A patent/JP6638523B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02183811A (en) * | 1989-01-11 | 1990-07-18 | Aisin Seiki Co Ltd | Energization controller for electrical equipment |
| WO2013035704A1 (en) * | 2011-09-05 | 2013-03-14 | 富山県 | Dozing-off detection method and device |
| JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
Non-Patent Citations (3)
| Title |
|---|
| SFORZA, CHIARELLA ET AL.: "Spontaneous blinking in healthy persons: an optoelectronic study of eyelid motion", OPHTHAL. PHYSIOL. OPT., vol. 28, JPN6019015582, 2008, pages 345 - 353, ISSN: 0004025582 * |
| 松野省吾: "瞬目種別識別のための形状特徴量に関する一検討", 情報科学技術フォーラム講演論文集, vol. 13(3), JPN6019015579, 2014, pages 29 - 32, ISSN: 0004025580 * |
| 陶山真昌: "随意性瞬目と自発性瞬目の判別法の開発", 情報科学技術フォーラム講演論文集, vol. 13(2), JPN6019015581, 2014, pages 377 - 378, ISSN: 0004025581 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021037216A (en) * | 2019-09-05 | 2021-03-11 | トヨタ自動車株式会社 | Eye closing determination device |
| JP7328089B2 (en) | 2019-09-05 | 2023-08-16 | トヨタ自動車株式会社 | Eye closure determination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6638523B2 (en) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6577454B2 (en) | On-axis gaze tracking system and method | |
| KR102000865B1 (en) | A method for operating an eye tracking device and an eye tracking device | |
| JP5761074B2 (en) | Imaging control apparatus and program | |
| US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
| JP5974915B2 (en) | Arousal level detection device and arousal level detection method | |
| JP5694161B2 (en) | Pupil detection device and pupil detection method | |
| JP4899059B2 (en) | Sleepiness detection device | |
| WO2015027598A1 (en) | Reminding method and reminding device | |
| JP4793269B2 (en) | Sleepiness detection device | |
| US9877649B2 (en) | Photorefraction method and product | |
| JP2010198313A (en) | Device for specifying degree of eye opening | |
| JP6601351B2 (en) | Eye gaze measurement device | |
| JP2007004448A (en) | Line-of-sight detecting apparatus | |
| JP6201956B2 (en) | Gaze detection device and gaze detection method | |
| CN110135370B (en) | Method and device for detecting living human face, electronic equipment and computer readable medium | |
| JP2016209231A (en) | Sleep detection device | |
| JP2017006675A (en) | Method and device for supplying reference level for eye openness | |
| JP2007159610A (en) | Registration device, authentication device, registration authentication device, registration method, authentication method, registration program, and authentication program | |
| JP2017176641A (en) | Face image processing apparatus and face image processing system | |
| JP2009125518A (en) | Driver's blink detection method, driver's awakening degree determination method, and device | |
| JP2017112486A (en) | Image processing apparatus | |
| JP2006318374A (en) | Glasses determination device, authentication device, and glasses determination method | |
| JP2019028640A (en) | Visual line detection device | |
| JP2012055428A (en) | Visual line detector | |
| JP2017138645A (en) | Sight-line detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180829 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190311 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190319 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6638523 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |