JP2001225666A - Detector for detecting state of eye - Google Patents
Detector for detecting state of eyeInfo
- Publication number
- JP2001225666A JP2001225666A JP2000041420A JP2000041420A JP2001225666A JP 2001225666 A JP2001225666 A JP 2001225666A JP 2000041420 A JP2000041420 A JP 2000041420A JP 2000041420 A JP2000041420 A JP 2000041420A JP 2001225666 A JP2001225666 A JP 2001225666A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- opening
- value
- reference value
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の居眠り状態を
検出し警報することなどに供する眼の状態検出装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an eye state detecting apparatus for detecting a dozing state of a driver of a vehicle, a boat operator, an operator of a plant or the like, and issuing an alarm.
【０００２】[0002]
【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開平１０−４０３６１号に記載された図１
３、図１４に示すようなものがある。即ち、図１３の眼
の開度検出制御により、自動車の運転者等の顔をカメラ
により撮像して得た顔画像データから眼の位置を検出す
る。この眼の位置の濃度情報によりステップＳ１３０１
で眼の開眼開度値と閉眼開度値とを検出し、ステップＳ
１３０２では開閉眼判定基準値が決定されたか否かの判
断が行われる。開閉眼判定基準値が決定されていないと
判断されたときステップＳ１３０３で開閉眼判定基準値
が学習される。この開閉眼判定基準値は、前記検出した
眼の開眼開度値と閉眼開度値との中央値を用いている。
この開閉眼判定基準値を用いてステップＳ１３０４にお
いて開閉眼判定を行っている。2. Description of the Related Art A conventional image processing apparatus of this type includes, for example, a device shown in FIG. 1 described in JP-A-10-40361.
3. There is one as shown in FIG. That is, the position of the eye is detected from the face image data obtained by imaging the face of the driver of the automobile or the like with the camera by the eye opening detection control of FIG. Step S1301 is executed based on the density information of the eye position.
To detect the eye opening value and the eye opening value in step S
In 1302, it is determined whether the open / closed eye determination reference value has been determined. If it is determined that the eye open / closed eye determination reference value has not been determined, the eye open / closed eye determination reference value is learned in step S1303. As the open / closed eye determination reference value, a median value between the detected eye openness value and the detected eye openness value is used.
The open / closed eye determination is performed in step S1304 using the open / closed eye determination reference value.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記従
来の装置では、例えば図１４（ａ）のように運転者が途
中の時間ｔ２で交代したときは、それ以後の開閉眼開度
値の検出値が同図のように変わってしまうことがあり、
時間ｔ１で初期学習した開閉眼判定基準値が合わなくな
る恐れがある。このような状態になると、時間ｔ３以後
のように開眼開度値が開閉眼判定基準値を常に下回り、
常時閉眼検出状態となって警報が出し続けられるなど、
無駄な作動を招き、運転者は大きな煩わしさを感ずると
いう問題がある。However, in the above-mentioned conventional apparatus, when the driver is changed at an intermediate time t2 as shown in FIG. 14 (a), for example, the detection value of the open / closed eye opening value thereafter is changed. May change as shown in the figure,
There is a possibility that the open / closed eye determination reference value initially learned at time t1 does not match. In such a state, the eye opening degree value always falls below the open / closed eye determination reference value after time t3,
For example, the eyes are always closed and the alarm continues to be issued.
There is a problem that useless operation is caused and the driver feels great trouble.
【０００４】また、運転者の交替などを考慮して、図１
４（ｂ）のように、時間ｔ１において開閉眼判定基準値
を初期学習してから所定時間ｔａ毎に再学習することが
考えられる。しかし、単に所定時間ｔａ毎に再学習する
と次のような問題が残る。即ち、時間ｔ２の再学習時に
開眼開度値が小さくなっていると学習される開閉眼判定
基準値も小さくなり、時間ｔ３〜ｔ４のように開眼開度
値が低くなっているにもかかわらず常時閉眼未検出状態
となり、時間ｔ４以降は常時閉眼検出状態となって警報
が出し続けられるなど、正確な検出に限界を招く恐れが
ある。In consideration of driver replacement, FIG.
As shown in FIG. 4 (b), it is conceivable to re-learn every predetermined time ta after the initial learning of the open / closed eye determination reference value at time t1. However, simply re-learning every predetermined time ta leaves the following problem. That is, if the eye opening degree value is small during the re-learning at the time t2, the learned open / closed eye determination reference value is also small, and the eye opening degree value is low as in the time period t3 to t4. There is a possibility that accurate detection is limited, for example, the eye closed state is not always detected, and after time t4, the eye closed state is continuously detected and an alarm is continuously output.
【０００５】この発明は、開閉眼判定基準値の正確な再
学習により、より正確な開閉眼判定を行わせることを可
能とする眼の状態検出装置の提供を課題とする。SUMMARY OF THE INVENTION It is an object of the present invention to provide an eye state detecting device capable of performing more accurate open / closed eye determination by accurate re-learning of the open / closed eye determination reference value.
【０００６】[0006]
【課題を解決するための手段】請求項１の発明は、操作
対象物を操作する操作者の顔を撮像して顔画像データを
出力する画像出力手段と、該画像出力手段から出力され
た顔画像データを処理して眼の位置を検出する眼の位置
検出手段と、前記検出された眼の位置の濃度情報による
眼の開度値を基に学習した開閉眼判定基準値を用いて眼
の開度を検出する眼の開度検出手段と、前記操作対象物
が運転開始時か否かを検出する運転開始検出手段と、前
記検出された眼の開度値から前記運転開始時以前の眼の
開度値に対し現在の眼の開度値が変化しているか否かを
判断する開度値変化判断手段と、前記運転開始時である
ことが検出され且つ前記眼の開度値が変化していると判
断されたとき前記開閉眼判定基準値を再学習する基準値
補正手段とを備えたことを特徴とする。According to a first aspect of the present invention, there is provided an image output means for capturing a face of an operator operating an operation target and outputting face image data, and a face output from the image output means. Eye position detecting means for processing the image data to detect the position of the eye, and using the open / closed eye determination reference value learned based on the eye opening value based on the density information of the detected eye position, Eye opening detecting means for detecting an opening degree, driving start detecting means for detecting whether or not the operation target is at the time of starting operation, and eyes before the driving start from the detected eye opening value. Opening value change determination means for determining whether or not the current opening value of the eye has changed with respect to the opening value of the eye, and that it is detected that the operation is started and the eye opening value changes. Reference value correction means for re-learning the open / closed eye determination reference value when it is determined that It is characterized in.
【０００７】請求項２の発明は、操作対象物を操作する
操作者の顔を撮像して顔画像データを出力する画像出力
手段と、該画像出力手段から出力された顔画像データを
処理して眼の位置を検出する眼の位置検出手段と、前記
検出された眼の位置の濃度情報による眼の開度値を基に
学習した開閉眼判定基準値を用いて眼の開度を検出する
眼の開度検出手段と、前記操作対象物の操作装置が操作
開始時であることを検出する操作検出手段と、前記検出
された眼の開度値から前記操作装置の操作開始時以前の
眼の開度値に対し現在の眼の開度値が変化しているか否
かを判断する開度値変化判断手段と、前記操作装置が操
作開始時であると検出され且つ前記眼の開度値が変化し
ていると判断されたとき前記開閉眼判定基準値を再学習
する基準値補正手段とを備えたことを特徴とする。According to a second aspect of the present invention, there is provided an image output means for imaging a face of an operator operating an operation target and outputting face image data, and processing the face image data output from the image output means. An eye position detecting means for detecting an eye position, and an eye for detecting an eye opening using an open / closed eye determination reference value learned based on an eye opening value based on density information of the detected eye position. Opening degree detecting means, operation detecting means for detecting that the operating device of the operation target is at the start of operation, and detecting the eye opening before the operation of the operating device from the detected eye opening value. Opening value change determining means for determining whether or not the current opening value of the eye has changed with respect to the opening value, and the operating device is detected to be at the start of operation and the opening value of the eye is A reference value correction means for re-learning the open / closed eye determination reference value when it is determined that the Characterized by comprising and.
【０００８】請求項３の発明は、操作対象物を操作する
操作者の顔を撮像して顔画像データを出力する画像出力
手段と、該画像出力手段から出力された顔画像データを
処理して眼の位置を検出する眼の位置検出手段と、前記
検出された眼の位置の濃度情報による眼の開度値を基に
学習した開閉眼判定基準値を用いて眼の開度を検出する
眼の開度検出手段と、前記検出した眼の開度に基づき警
報を発する警報手段と、前記検出された眼の開度値から
前記警報以前の眼の開度値に対し現在の眼の開度値が変
化しているか否かを判断する開度値変化判断手段と、前
記警報がなされ且つ前記眼の開度値が変化していると判
断されたとき前記開閉眼判定基準値を再学習する基準値
補正手段とを備えたことを特徴とする。According to a third aspect of the present invention, there is provided an image output means for imaging a face of an operator operating an operation target and outputting face image data, and processing the face image data output from the image output means. An eye position detecting means for detecting an eye position, and an eye for detecting an eye opening using an open / closed eye determination reference value learned based on an eye opening value based on density information of the detected eye position. Opening degree detection means, alarm means for issuing an alarm based on the detected eye opening degree, and current eye opening degree with respect to the eye opening value before the warning from the detected eye opening value. An opening value change determining means for determining whether the value has changed; and re-learning the open / closed eye determination reference value when the warning is issued and the opening value of the eye is determined to be changing. And a reference value correcting means.
【０００９】請求項４の発明は、請求項１〜３の何れか
に記載の眼の状態検出装置であって、前記操作対象物の
運転継続信号を検出する継続信号検出手段を設け、前記
基準値補正手段は、前記運転継続信号が検出されている
ときは前記再学習を行わないことを特徴とする。According to a fourth aspect of the present invention, there is provided the eye condition detecting apparatus according to any one of the first to third aspects, further comprising a continuation signal detecting means for detecting a driving continuation signal of the operation target, and The value correction means does not perform the re-learning when the operation continuation signal is detected.
【００１０】請求項５の発明は、請求項４記載の眼の状
態検出装置であって、前記検出した眼の開度に基づき眩
しさを判定する眩しさ判定手段を設け、前記基準値補正
手段は、前記眩しさ判定がなされているときは前記再学
習を行わないことを特徴とする。According to a fifth aspect of the present invention, there is provided the eye condition detecting apparatus according to the fourth aspect, further comprising: a dazzling determination unit that determines dazzling based on the detected degree of opening of the eye; Is characterized in that the re-learning is not performed when the glare determination is performed.
【００１１】[0011]
【発明の効果】請求項１の発明によれば、操作対象物が
運転開始時か否かを検出する運転開始検出手段の信号を
用いることによって、操作対象物が運転開始時であれば
操作者は覚醒していると判断できる。この状態において
開度値変化判断手段によって運転開始時以前の眼の開度
値に対し現在の眼の開度値が変化していると判断された
とき、基準値補正手段によって開閉眼判定基準値を再学
習し、この再学習した開閉眼判定基準値を用いて眼の開
度検出手段において眼の開度を検出することができる。
従って、操作者が交替した場合であっても、開閉眼判定
基準値を正確に再学習することによって正確な眼の開度
検出を行うことができる。According to the first aspect of the present invention, by using the signal of the operation start detecting means for detecting whether or not the operation target is at the start of operation, the operator can be operated if the operation target is at the start of operation. Can be determined to be awake. In this state, when it is determined by the opening value change determining means that the current eye opening value has changed with respect to the eye opening value before the start of operation, the reference value correcting means determines whether the open / closed eye determination reference value has been changed. Can be re-learned, and the degree of eye opening can be detected by the degree of eye opening detection means using the re-learned open / closed eye determination reference value.
Therefore, even when the operator is replaced, accurate eye opening detection can be performed by correctly re-learning the open / closed eye determination reference value.
【００１２】請求項２の発明では、操作者が操作対象物
の操作装置を操作開始時であれば操作者は覚醒している
と判断できる。この状態において操作装置の操作開始以
前の眼の開度値に対し現在の眼の開度値が変化している
場合に、開閉眼判定基準値を再学習することができる。
従って、開閉眼判定基準値を正確に再学習することによ
り、眼の開度検出を正確に行うことができる。According to the second aspect of the present invention, it is possible to determine that the operator is awake if the operator starts operating the operating device for the operation target. In this state, when the current eye opening value changes from the eye opening value before the operation of the operating device is started, the open / closed eye determination reference value can be re-learned.
Therefore, by accurately re-learning the open / closed eye determination reference value, the eye opening can be accurately detected.
【００１３】請求項３の発明では、検出した眼の開度に
基づき警報を発することによって操作者を覚醒させた場
合には、操作者は覚醒していると判断することができ
る。この状態において警報以前の眼の開度値に対し現在
の眼の開度値が変化している場合に、開閉眼判定基準値
を再学習することができる。従って、かかる開閉眼判定
基準値の正確な再学習によって、眼の開度検出を正確に
行うことができる。According to the third aspect of the present invention, when the operator is awakened by issuing an alarm based on the detected opening degree of the eye, it is possible to determine that the operator is awake. In this state, when the current eye opening value changes from the eye opening value before the warning, the open / closed eye determination reference value can be re-learned. Therefore, the eye opening can be accurately detected by such accurate re-learning of the open / closed eye determination reference value.
【００１４】請求項４の発明では、請求項１〜３の何れ
かの発明の効果に加え、操作対象物の運転継続信号が検
出されているときは、操作者の交替がなく、同一の操作
者であると判断できるため、開閉眼判定基準値の再学習
を行わないようにして眼の開度値の変化に対応した正し
い開度検出を行うことができる。According to the fourth aspect of the invention, in addition to the effects of any one of the first to third aspects, when the operation continuation signal of the operation target is detected, the operator is not replaced and the same operation is performed. Therefore, it is possible to perform correct opening detection corresponding to a change in the eye opening value without re-learning the open / closed eye determination reference value.
【００１５】請求項５の発明では、請求項４の発明の効
果に加え、光環境の変化により眩しいと判断されている
場合に、開閉眼判定基準値を再学習すると、眼の開度値
が小さくなり、開閉眼判定基準値も小さくなる。従っ
て、眩しくない状態では常時開眼と判定されてしまい正
確な判定に限界を招くため、眩しいと判断された場合は
開閉眼判定基準値の再学習を行わないようにし、眼の開
度検出を正確に行うことができる。According to a fifth aspect of the present invention, in addition to the effect of the fourth aspect of the present invention, when it is determined that the eyes are dazzling due to a change in the light environment, the reference value for determining whether the eyes are open / closed is re-learned. As a result, the open / closed eye determination reference value also becomes smaller. Therefore, in a non-dazzling state, the eye is always determined to be open and a limitation is imposed on the accurate determination. Can be done.
【００１６】[0016]
【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータ等の居眠り運転警報と
して用いることができるが、本実施形態では、操作対象
物として自動車に適用した場合で説明する。 （第１実施形態）図１は、本発明を適用した眼の状態検
出装置の構成ブロック図にかかり、該装置は、画像出力
手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の開度検
出手段ＣＬ３と、運転開始検出手段ＣＬ４と、操作検出
手段ＣＬ５と、警報手段ＣＬ６と、開度値変化判断手段
ＣＬ７と、基準値補正手段ＣＬ８とを備えている。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present device can be used as a drowsy driving alarm for operators of railway vehicles, ships, plants and the like in addition to automobiles. explain. (First Embodiment) FIG. 1 is a block diagram showing a configuration of an eye state detecting apparatus to which the present invention is applied. The apparatus includes an image output unit CL1, an eye position detecting unit CL2, and an eye opening detection unit. It comprises means CL3, operation start detecting means CL4, operation detecting means CL5, alarm means CL6, opening value change judging means CL7, and reference value correcting means CL8.
【００１７】前記画像出力手段ＣＬ１は、操作対象物を
操作する操作者の顔を撮像して画像データを出力する。
前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ
１から出力された顔画像データを処理して眼の位置を検
出する。前記眼の開度検出手段ＣＬ３は、前記検出され
た眼の位置の濃度情報による眼の開度値を基に学習した
開閉眼判定基準値を用いて眼の開度を検出する。前記運
転開始検出手段ＣＬ４は、操作対象物が運転開始時か否
かを検出する。前記操作検出手段ＣＬ５は、前記操作対
象物の操作装置が操作開始時であることを検出する。前
記警報手段ＣＬ６は、前記検出した眼の開度に基づき警
報を発する。The image output means CL1 captures the face of the operator operating the operation target and outputs image data.
The eye position detecting means CL2 is provided with the image output means CL.
The position of the eye is detected by processing the face image data output from the step S1. The eye opening detecting means CL3 detects the eye opening using an open / closed eye determination reference value learned based on the eye opening value based on the detected eye position density information. The operation start detection means CL4 detects whether or not the operation target is at the start of operation. The operation detection means CL5 detects that the operation device of the operation target is at the start of operation. The alarm means CL6 issues an alarm based on the detected eye opening.
【００１８】前記開度値変化判断手段ＣＬ７は、前記検
出された眼の開度から前記運転開始時以前の眼の開度値
に対し現在の眼の開度値が変化しているか否か、前記操
作装置の操作開始以前の眼の開度値に対し現在の眼の開
度値が変化しているか否か、前記警報以前の眼の開度値
に対し現在の眼の開度値が変化しているか否かをそれぞ
れ判断する。The opening value change determining means CL7 determines whether the current opening value of the eye has changed from the detected opening of the eye with respect to the opening value of the eye before the start of the operation. Whether or not the current eye opening value has changed with respect to the eye opening value before the operation of the operating device has started, the current eye opening value has changed with respect to the eye opening value before the warning It is determined whether or not each is performed.
【００１９】前記基準値補正手段ＣＬ８は、前記操作対
象物が運転開始時であることが検出され且つ前記眼の開
度値が変化していると判断されたとき、前記操作装置が
操作開始時であると検出され且つ前記眼の開度値が変化
していると判断されたとき、前記警報がなされ且つ前記
眼の開度値が変化していると判断されたとき、それぞれ
前記開閉眼判定基準値を再学習する。The reference value correcting means CL8 detects that the operation object is at the start of operation and determines that the opening degree value of the eye has changed. And when it is determined that the eye opening value is changing, when the alarm is issued and when it is determined that the eye opening value is changing, the open / closed eye determination is performed. Re-learn the reference value.
【００２０】図２は、本発明の第１実施形態にかかる構
成ブロック図である。同図のように、ＴＶカメラ１が操
作対象物としての自動車のインストルメントに設置さ
れ、操作者である運転者の顔部分を正面から撮影する。
ＴＶカメラ１の入力画像は、本実施形態では、例えば横
方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からな
る。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ
変換器２を介して、デジタル量の入力画像データとして
画像メモリ３に格納される。画像メモリ３の出力は、画
像データ演算回路４に入力される。FIG. 2 is a configuration block diagram according to the first embodiment of the present invention. As shown in the figure, a TV camera 1 is installed in an instrument of a car as an operation target, and photographs a face portion of a driver as an operator from the front.
In the present embodiment, the input image of the TV camera 1 includes, for example, 512 pixels in the horizontal direction (X) and 480 pixels in the vertical direction (Y). The input image captured by the TV camera 1 is A-D
Via the converter 2, it is stored in the image memory 3 as digital amount of input image data. The output of the image memory 3 is input to the image data operation circuit 4.
【００２１】画像データ演算回路４は、前記入力された
画像データに基づいて顔の縦方向の画素列の濃度を検出
し、画素列における濃度の高まりとその変化状態により
ポイントを抽出し（抽出点）、隣接する画素列の近接し
たポイントを連続して顔の横方向への連続データを抽出
し、顔画像データとして出力する。The image data arithmetic circuit 4 detects the density of the pixel row in the vertical direction of the face based on the input image data, and extracts points based on the increase in the density of the pixel row and its change state (extraction point). ), Continuous data in the horizontal direction of the face is continuously extracted from adjacent points of adjacent pixel columns, and output as face image data.
【００２２】従って、ＴＶカメラ１、Ａ−Ｄ変換器２、
画像メモリ３、画像データ演算回路４は、本実施形態に
おいて前記画像出力手段ＣＬ１を構成している。Therefore, the TV camera 1, the A / D converter 2,
The image memory 3 and the image data operation circuit 4 constitute the image output means CL1 in the present embodiment.
【００２３】前記画像データ演算回路４の出力は、眼の
位置検出回路５に入力される。この眼の位置検出回路５
は、前記眼の位置検出手段ＣＬ２を構成し、抽出された
顔画像データから顔の複数の特徴量を抽出し、該特徴量
から眼のテンプレートなどによって眼を特定すると共に
その座標を求める。また、該眼の位置から眼の位置を含
む所定領域を左右の眼に対してそれぞれ１個づつ決定す
ると共に、該所定領域に前記眼の移動に応じて該眼を追
跡させ、この眼を追跡する各所定領域内において縦方向
への濃度の高まりとその変化状態からポイントを抽出
し、隣接する画素列の近接したポイントを連続して顔の
横方向への連続データを抽出し、左右の眼の詳細位置を
検出する。The output of the image data calculation circuit 4 is input to an eye position detection circuit 5. This eye position detection circuit 5
Constitutes the eye position detecting means CL2, extracts a plurality of feature amounts of the face from the extracted face image data, specifies the eyes from the feature amounts using an eye template or the like, and obtains their coordinates. Further, a predetermined region including the position of the eye is determined for each of the left and right eyes from the position of the eye, and the predetermined region is caused to track the eye in accordance with the movement of the eye. In each of the predetermined regions, the points are extracted from the increase in the density in the vertical direction and the change state thereof, continuous data in the horizontal direction of the face are successively extracted from adjacent points in adjacent pixel columns, and the left and right eyes are extracted. Detect the detailed location of
【００２４】前記眼の位置検出回路５の出力は、眼の開
度検出回路６に入力される。この眼の開度検出回路６
は、眼の開度検出手段ＣＬ３を構成し、前記眼の詳細位
置を含む追跡領域を設定し、該追跡領域内の濃度情報か
ら眼の開度値として開眼開度値と閉眼開度値とを検出
し、該開眼開度値と閉眼開度値とに基づいて開閉眼判定
基準値を学習し、該開閉眼判定基準値を用いて眼の開度
を検出する。The output of the eye position detection circuit 5 is input to an eye opening detection circuit 6. This eye opening detection circuit 6
Constitutes the eye opening detecting means CL3, sets a tracking area including the detailed position of the eye, and sets the eye opening value and the eye closing value as eye opening values from the density information in the tracking area. Is detected, an open / closed eye determination reference value is learned based on the open / closed eye value, and an eye opening is detected using the open / closed eye determination reference value.
【００２５】そして、眼の開度検出回路６によって検出
された眼の開度のデータを用いて運転者の居眠り運転な
ど判断し、居眠り運転などが行われているときには警報
手段ＣＬ６としての警報装置７によって警報を行う。The driver uses the data of the degree of eye opening detected by the degree of eye opening detection circuit 6 to judge the driver's drowsy driving, and when the driver is dozing, etc., an alarm device as alarm means CL6 7 gives an alarm.
【００２６】一方、前記眼の開度検出回路６で学習した
開閉眼判定基準値は、前記基準値補正手段ＣＬ８を構成
する基準値補正回路８によって再学習され、再学習され
た開閉眼判定基準値は前記眼の開度検出回路６に入力さ
れて再学習前の開閉眼判定基準値と書き換えられる。な
お、基準値補正回路８を省いて眼の開度検出回路６に基
準値補正回路としての機能を持たせることもできる。On the other hand, the open / closed eye determination reference value learned by the eye opening detection circuit 6 is re-learned by the reference value correction circuit 8 constituting the reference value correction means CL8, and the re-learned open / closed eye determination reference value. The value is input to the eye opening detection circuit 6 and is rewritten as the open / closed eye determination reference value before re-learning. Note that the reference value correction circuit 8 may be omitted, and the eye opening detection circuit 6 may have a function as a reference value correction circuit.
【００２７】前記基準値補正回路８は、操作対象物の運
転開始、例えば自動車の走行開始時（発進時）であるこ
とが検出され且つ前記眼の開度検出回路６で検出された
眼の開度値が変化しているとき、又は操作対象物の操作
装置、例えば自動車のアクセル、ブレーキなどの操作開
始時であることが検出され且つ前記眼の開度検出回路６
で検出された眼の開度値が変化しているとき、更には警
報手段の警報、例えば警報装置７の警報がなされ且つ前
記眼の開度検出回路６で検出された眼の開度値が変化し
ているとき前記開閉眼判定基準値を再学習する。The reference value correction circuit 8 detects the start of operation of the operation target, for example, the start of driving (starting) of the car, and detects the eye opening detected by the eye opening detection circuit 6. It is detected that the degree value is changing, or it is at the start of operation of an operation device for an operation target, for example, an accelerator or a brake of a car, and the eye opening degree detection circuit 6 is used.
When the eye opening value detected in the step is changed, further, an alarm of the alarm means, for example, an alarm of the alarm device 7 is issued, and the eye opening value detected by the eye opening detection circuit 6 is changed. When it is changing, the open / closed eye determination reference value is re-learned.
【００２８】前記眼の開度値が変化しているか否かは開
度値変化判断手段ＣＬ４としての開度値変化判断回路９
が行い、前記基準値補正回路８へ入力する。開度値変化
判断回路９は、前記自動車の走行開始時（発進時）以前
の眼の開度値に対し現在の眼の開度値が変化しているか
否か、前記アクセル、ブレーキなどの操作開始以前の眼
の開度値に対し現在の眼の開度値が変化しているか否
か、前記警報装置７の警報以前の眼の開度値に対し現在
の眼の開度値が変化しているか否かをそれぞれ判断す
る。Whether the opening value of the eye is changing or not is determined by an opening value change judging circuit 9 as an opening value change judging means CL4.
Is input to the reference value correction circuit 8. The opening value change determination circuit 9 determines whether or not the current opening value of the eye has changed with respect to the opening value of the eye before the start (at the start) of the vehicle, and operates the accelerator, the brake, and the like. Whether or not the current eye opening value has changed with respect to the eye opening value before the start, the current eye opening value has changed with respect to the eye opening value before the warning of the alarm device 7 Is determined.
【００２９】このため、前記開度値変化判断回路９に
は、前記眼の開度検出回路６から検出した眼の開度値が
入力され、且つ前記運転開始検出手段ＣＬ４として車速
を検出する車速センサ１０、前記操作検出手段ＣＬ５と
してアクセル操作、ブレーキ操作を検出するアクセルセ
ンサ１１、ブレーキセンサ１２、警報手段ＣＬ６として
の警報装置７の検出信号、図示はしないがその他ＳＷ類
を操作する操作信号がそれぞれ入力されるようになって
いる。For this reason, the eye opening value detected from the eye opening detecting circuit 6 is inputted to the opening value change judging circuit 9 and the vehicle speed for detecting the vehicle speed as the driving start detecting means CL4. A sensor 10, an accelerator sensor 11 for detecting an accelerator operation and a brake operation as the operation detecting means CL5, a brake sensor 12, a detection signal of the alarm device 7 as the alarm means CL6, and an operation signal for operating other switches (not shown). Each is entered.
【００３０】ところで、長時間の走行において運転者は
疲労等により眠気を誘発し眼の開度値が次第に低下する
傾向がある。このとき、等間隔のタイミングで開閉眼判
定基準値を算出すると、開眼開度値の低下に伴い開閉眼
判定基準値も低下してくる。これにより、完全に眼を閉
じた状態にならなければ閉眼と判断できなくなるので、
正確な検出に限界を招く。また、長時間の連続走行にお
いて途中で運転者が交替することは容易に考えられる。
初期の開閉眼判定基準値は初期の運転者にしか対応しな
い。このため、車両が停車し、走行を開始した直後に眼
の開度値を学習することが必要となる。By the way, the driver tends to induce drowsiness due to fatigue or the like during long-time running, and the degree of eye opening tends to gradually decrease. At this time, if the open / closed eye determination reference value is calculated at equal intervals, the open / closed eye determination reference value decreases as the eye opening degree value decreases. This makes it impossible to determine that the eyes are closed unless the eyes are completely closed.
Limits accurate detection. In addition, it is easily conceivable that the driver changes during the continuous running for a long time.
The initial open / closed eye determination reference value corresponds only to the initial driver. Therefore, it is necessary to learn the eye opening value immediately after the vehicle stops and starts running.
【００３１】図３は自動車が運転開始時（発進時）であ
ることを検出して開閉眼判定基準値の再学習を行なうこ
とと、車両の車速と運転者（ドライバ）の眼の開度値の
変化とを示したタイムチャートである。FIG. 3 shows that the vehicle is detected at the start of driving (at the time of start) to re-learn the reference value for determining whether the driver's eyes are open and closed, and the vehicle speed of the vehicle and the eye opening of the driver (driver). 5 is a time chart showing changes in the time chart.
【００３２】運転者の眼の開閉眼を判定するためには、
開眼開度値と閉眼開度値を学習し、これら２つの値から
開閉眼判定基準値を算出する方法がある（特開平１０−
４０３６１号）。運転を開始し車速が０ｋｍ／ｈから上
昇していくことを検出した時点（ｔ＝０）から初期の開
閉眼判定基準値の学習を開始する。開眼開度値と閉眼開
度値が検出できた時点（ｔ＝ｔ１）で開閉眼判定基準値
を算出する。運転者の目の開眼開度値は時間経過と共に
小さくなってくる。パーキングエリア等で休憩すると車
速は０ｋｍ／ｈとなり開眼開度値は初期状態に近づく。
休憩後車両を発進させた時点（ｔ＝ｔ２）から再学習を
始め、新たに開眼開度値と閉眼開度値に変化が現れた時
点（ｔ＝ｔ３）で開閉眼判定基準値を更新する。更に運
転を続け、疲労が増した場合には、運転者の交替が考え
られる。停車状態（車速０ｋｍ／ｈ）で運転者が交替
し、発進した時点（ｔ＝ｔ４）で再度開閉眼判定基準値
の学習を開始する。運転者によって眼の開眼開度値も閉
眼開度値も当然異なると考えられるため、両値が変化し
ていた場合（ｔ＝ｔ５）、開閉眼判定基準値を更新す
る。In order to determine whether the driver's eyes are open or closed,
There is a method of learning an open eye value and an open eye value, and calculating an open / closed eye determination reference value from these two values.
No. 40361). The learning of the initial reference value of the open / closed eyes is started from the time point when the driving is started and the vehicle speed is detected to increase from 0 km / h (t = 0). The open / closed eye determination reference value is calculated at the point in time when the open eye value and the closed eye value can be detected (t = t1). The eye opening degree value of the driver's eyes decreases with time. When taking a break in a parking area or the like, the vehicle speed becomes 0 km / h, and the eye opening degree approaches the initial state.
Re-learning is started from the time when the vehicle is started after the break (t = t2), and the open / closed eye determination reference value is updated at a time when a new change occurs in the open-eye opening value and the closed-eye opening value (t = t3). . If driving is continued and fatigue increases, the driver may be replaced. When the driver switches while the vehicle is stopped (vehicle speed: 0 km / h) and starts (t = t4), learning of the open / closed eye determination reference value is started again. Since it is considered that the driver's eye opening and eye closing values are naturally different depending on the driver, if both values change (t = t5), the open / closed eye determination reference value is updated.
【００３３】次に、自動車が運転開始時（発進時）であ
ることを検出して、開閉眼判定基準値の再学習を行なう
動作を図４のフローチャートを用いて説明する。Next, an operation of detecting that the vehicle is starting to drive (starting) and re-learning the open / closed eye determination reference value will be described with reference to the flowchart of FIG.
【００３４】図４のステップＳ４０１は、前記眼の開度
検出手段ＣＬ３として機能し、眼の詳細位置を含む追跡
領域を設定し、該追跡領域内の濃度情報から眼の開度値
の変化を検出し、ステップＳ４０２へ移行する。なお、
このフローチャートでは画像出力手段ＣＬ１、眼の位置
検出手段ＣＬ２としての機能は省略している。Step S401 in FIG. 4 functions as the eye opening detection means CL3, sets a tracking area including the detailed position of the eye, and detects a change in the eye opening value from the density information in the tracking area. Then, the process proceeds to step S402. In addition,
In this flowchart, functions as the image output unit CL1 and the eye position detection unit CL2 are omitted.
【００３５】ステップＳ４０２は、運転開始検出手段Ｃ
Ｌ４として機能し、車速センサ１０により車速信号を取
り込み、停車中（車速０ｋｍ／ｈ）の場合はステップＳ
４０３に移行し、発進中フラグをクリアし、眼の開度検
出制御ルーチンを終了する。Step S402 is an operation start detecting means C
Functioning as L4, a vehicle speed signal is fetched by the vehicle speed sensor 10, and if the vehicle is stopped (vehicle speed 0 km / h), step S
The flow shifts to 403, where the start flag is cleared, and the eye opening detection control routine ends.
【００３６】ステップＳ４０２において、発進（車速が
０ｋｍ／ｈを越える）していると判定されたときステッ
プＳ４０４に移行し、開閉眼判定基準値が決定していな
い初期段階ではステップＳ４０５に移行する。ステップ
Ｓ４０５は、前記眼の開度検出手段ＣＬ３として機能
し、検出した眼の開度値の変化を用いて開眼開度値と閉
眼開度値を算出し、これらの値から例えばその中央値と
して開閉眼判定基準値を決定する。ステップＳ４０６で
は自動車が運転開始時であるときＯＮとなる発進中フラ
グをセットし、眼の開度検出制御ルーチンを抜ける。In step S402, when it is determined that the vehicle has started (vehicle speed exceeds 0 km / h), the flow shifts to step S404, and shifts to step S405 in an initial stage in which the reference value for determining whether to open or close eyes has not been determined. Step S405 functions as the eye opening detection means CL3, calculates an eye opening value and an eye opening value using the detected change in the eye opening value, and calculates, for example, the median value from these values. An open / closed eye determination reference value is determined. In step S406, a starting flag that is turned ON when the vehicle is in operation is set, and the routine exits from the eye opening detection control routine.
【００３７】次にこのルーチンに入ってきたときには、
開閉眼判定基準値は決定しているためステップＳ４０４
の判定からステップＳ４０７に移行する。ステップＳ４
０７で発進中フラグがセットされていると判定されてい
るときは、運転開始時（発進時）ではなく運転開始後の
走行中であると判断できるため、開閉眼判定基準値の再
学習を行わずにステップＳ４１２の開閉眼判定に移行す
る。Next, when entering this routine,
Since the open / closed eye determination reference value has been determined, step S404 is performed.
Then, the process moves to step S407. Step S4
If it is determined that the start flag is set at 07, it can be determined that the vehicle is running after the start of driving, not at the start of driving (at the time of starting). Instead, the process proceeds to the determination of the open / closed eye in step S412.
【００３８】ステップＳ４０７で発進中フラグがクリア
されていると判定された場合は、ステップＳ４０２で車
速０ｋｍ／ｈと判定された直後に再びこのルーチンに戻
ってステップＳ４０２の判定が行われ、このとき車速は
０ｋｍ／ｈではないと判定されたものであるから、運転
開始時であると判断できる。このとき運転者は覚醒状態
にあると推定できるため開閉眼判定基準値の再学習をす
ることが可能となり、ステップＳ４０８へ移行する。If it is determined in step S407 that the starting flag has been cleared, the routine returns to this routine again immediately after the vehicle speed is determined to be 0 km / h in step S402, and the determination in step S402 is performed. Since it is determined that the vehicle speed is not 0 km / h, it can be determined that the vehicle is at the start of driving. At this time, since the driver can be estimated to be in the awake state, it is possible to re-learn the reference value for determining whether the driver's eyes are open or closed, and the process proceeds to step S408.
【００３９】ステップＳ４０８は、ステップＳ４０９と
共に基準値補正手段ＣＬ８として機能している。ステッ
プＳ４０８では、前記ステップＳ４０５において開閉眼
判定基準値を算出した時点の眼の開度値と、運転を継続
してステップＳ４０８へ移行した場合の眼の開度値との
変化を連続的に計測することによって眼の開度値の変化
を検出し、ステップＳ４０９へ移行する。Step S408 functions as reference value correcting means CL8 together with step S409. In step S408, a change between the eye opening value at the time when the open / closed eye determination reference value is calculated in step S405 and the eye opening value when the operation is continued and the process proceeds to step S408 is continuously measured. Then, the change of the eye opening value is detected, and the process proceeds to step S409.
【００４０】ステップＳ４０９は、眼の開度値に変化が
あるか否かを判定する。ステップＳ４０９において眼の
開度値に変化が見られたと判定されたときは、ステップ
Ｓ４１０へ移行する。In step S409, it is determined whether or not the eye opening value has changed. If it is determined in step S409 that a change has occurred in the eye opening value, the process proceeds to step S410.
【００４１】ステップＳ４１０は、開眼判定基準値の再
学習が行われる。即ち、前記変化した開眼開度値と前記
閉眼開度値とを用いて開閉眼判定基準値を再学習し、更
新する。ステップＳ４１１で発進中フラグをセットす
る。その後、ステップＳ４１２の開閉眼判定を行う。こ
のとき途中で運転者が交替するなどしても開閉眼判定基
準値を正確に学習し正確な開閉眼判定を行うことができ
る。ステップＳ４０９において眼の開度値の変化が見ら
れなかった場合も、ステップＳ４１２の開閉眼判定を行
ってこのルーチンの処理を終了する。In step S410, re-learning of the eye-opening determination reference value is performed. That is, the open / closed eye determination reference value is re-learned and updated using the changed eye opening value and the closed eye opening value. In step S411, a start flag is set. Thereafter, the open / closed eye determination in step S412 is performed. At this time, even if the driver is changed in the middle, the open / closed eye determination reference value can be accurately learned, and accurate open / closed eye determination can be performed. If no change in the eye opening value is found in step S409, the open / closed eye determination in step S412 is performed, and the processing of this routine ends.
【００４２】このように、操作対象物である自動車が運
転開始時か否かを検出する車速センサ１０の信号を用い
ることによって、自動車が運転開始時であれば運転者は
覚醒していると判断できる。この状態において開度値変
化判断回路９によって運転開始時以前の眼の開度値に対
し現在の眼の開度値が変化していると判断されたとき、
基準値補正回路８によって開閉眼判定基準値を再学習
し、この再学習した開閉眼判定基準値を用いて眼の開度
検出回路６において眼の開度を検出することができる。
従って、運転者が交替した場合であっても、開閉眼判定
基準値を正確に再学習することによって正確な眼の開度
検出を行うことができる。As described above, by using the signal of the vehicle speed sensor 10 for detecting whether or not the vehicle to be operated is at the start of driving, if the vehicle is at the start of driving, it is determined that the driver is awake. it can. In this state, when the opening value change determination circuit 9 determines that the current opening value of the eye has changed with respect to the opening value of the eye before the start of operation,
The reference value correction circuit 8 re-learns the open / closed eye determination reference value, and the eye openness detection circuit 6 can detect the eye opening using the re-learned open / closed eye determination reference value.
Therefore, even when the driver is replaced, accurate eye opening detection can be performed by accurately re-learning the open / closed eye determination reference value.
【００４３】次に図５は、操作対象物の操作装置である
自動車のアクセル、ブレーキ等の操作を検出して、開閉
眼判定基準値の再学習を行なうことと、運転者（ドライ
バ）の眼の開度値の変化とを示したタイムチャートであ
る。Next, FIG. 5 shows that the operation of the accelerator, the brake and the like of the automobile, which is the operation device of the operation target, is detected to re-learn the open / closed eye determination reference value, 5 is a time chart showing a change in the opening degree value of FIG.
【００４４】図５において運転を開始した時点（ｔ＝
０）から初期の開閉眼判定基準値の学習を開始する。開
眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で
開閉眼判定基準値を算出する。発進時のアクセルＯＮ操
作（ｔ＝ｔ２）を再学習のトリガとし、眼の開度値に所
定の変化がない場合は開閉眼判定基準値の更新を行わな
い。ブレーキＯＮ操作（ｔ＝ｔ３）による再学習のトリ
ガが入力された場合、アクセルＯＮ操作と同様、眼の開
度値の変化を検出する。ｔ＝ｔ４の場合のように眼の開
度値の変化が所定値を越えた場合には、新たに開眼開度
値、閉眼開度値を学習し開閉眼判定基準値を更新する。In FIG. 5, when the operation is started (t =
Learning of the initial open / closed eye determination reference value is started from 0). The open / closed eye determination reference value is calculated at the point in time when the open eye value and the closed eye value can be detected (t = t1). The accelerator ON operation at start (t = t2) is used as a trigger for re-learning, and when there is no predetermined change in the eye opening value, the open / closed eye determination reference value is not updated. When a re-learning trigger by a brake ON operation (t = t3) is input, a change in the eye opening value is detected as in the case of the accelerator ON operation. When the change in the eye opening value exceeds a predetermined value as in the case of t = t4, the eye opening value and the eye opening value are newly learned and the open / closed eye determination reference value is updated.
【００４５】次に、自動車のアクセル、ブレーキ等の操
作を検出して、開閉眼判定基準値の再学習を行なう動作
を図６のフローチャートを用いて説明する。Next, the operation of detecting the operation of the accelerator, brake and the like of the vehicle and re-learning the open / closed eye determination reference value will be described with reference to the flowchart of FIG.
【００４６】図６のステップＳ６０１は、図４のステッ
プＳ４０１と同様に、前記眼の開度検出手段ＣＬ３とし
て機能し、眼の詳細位置を含む追跡領域を設定し、該追
跡領域内の濃度情報から眼の開度値の変化を検出し、ス
テップＳ６０２へ移行する。なお、図４と同様にこのフ
ローチャートでは画像出力手段ＣＬ１、眼の位置検出手
段ＣＬ２としての機能は省略している。Step S601 in FIG. 6 functions as the eye opening detecting means CL3, similarly to step S401 in FIG. 4, sets a tracking area including a detailed position of the eye, and sets density information in the tracking area. , A change in the eye opening value is detected, and the flow shifts to step S602. Note that, similarly to FIG. 4, the functions of the image output unit CL1 and the eye position detection unit CL2 are omitted in this flowchart.
【００４７】ステップＳ６０２、Ｓ６０３、Ｓ６０４
は、前記操作検出手段ＣＬ５として機能するもので、ス
テップＳ６０２においてアクセル操作、ステップＳ６０
３においてブレーキ操作、ステップＳ６０４においてそ
の他ＳＷ類の操作がされたか否かが検出、判定される。
ステップＳ６０２、Ｓ６０３、Ｓ６０４の何れにおいて
も操作されていないと判定されたときはステップＳ６０
５へ移行して操作フラグをクリアし、眼の開度検出制御
ルーチンを終了する。Steps S602, S603, S604
Functions as the operation detecting means CL5, the accelerator operation in step S602, the step S60
It is detected and determined whether or not a brake operation has been performed in step S3 and other SW operations have been performed in step S604.
If it is determined that no operation has been performed in any of steps S602, S603, and S604, step S60 is performed.
The process proceeds to 5 to clear the operation flag and end the eye opening detection control routine.
【００４８】ステップＳ６０２、Ｓ６０３、Ｓ６０４の
何れかで操作されたと判定されたときはテップＳ６０６
に移行し、開閉眼判定基準値が決定していない初期段階
ではステップＳ６０７に移行する。If it is determined in any of steps S602, S603, and S604 that the operation has been performed, step S606 is performed.
The process proceeds to step S607 in the initial stage where the open / closed eye determination reference value has not been determined.
【００４９】ステップＳ６０７は、前記眼の開度検出手
段ＣＬ３として機能し、検出した眼の開度値の変化を用
いて開眼開度値と閉眼開度値を算出し、これらの値から
例えばその中央値として開閉眼判定基準値を決定する。
ステップＳ６０８では、アクセル、ブレーキなどの何れ
かが操作されたときにＯＮとなる操作フラグをセット
し、眼の開度検出制御ルーチンを抜ける。次にこのルー
チンに入ってきたときには、開閉眼判定基準値は決定し
ているためステップＳ６０６の判定からステップＳ６０
９に移行する。Step S607 functions as the eye opening detecting means CL3, and calculates an eye opening value and an eye closing value using the detected change in the eye opening value. An open / closed eye determination reference value is determined as a median value.
In step S608, an operation flag that is turned ON when one of the accelerator, the brake, and the like is operated is set, and the process exits the eye opening detection control routine. Next, when entering this routine, since the open / closed eye determination reference value has been determined, the process proceeds from the determination in step S606 to step S60.
Move to 9.
【００５０】ステップＳ６０９で操作フラグがセットさ
れていると判定されているときは、アクセル、ブレーキ
等の操作開始時ではなく操作を開始してから時間が経っ
た後であるから、開閉眼判定基準値の再学習を行わずに
ステップＳ６１４の開閉眼判定に移行する。If it is determined in step S609 that the operation flag has been set, it is not at the start of the operation of the accelerator, the brake, and the like, but after a lapse of time from the start of the operation. The process proceeds to the open / closed eye determination in step S614 without re-learning the value.
【００５１】ステップＳ６０９で操作フラグがクリアさ
れていると判定された場合は、ステップＳ６０２、Ｓ６
０３、Ｓ６０４で操作なしと判定された直後に再びこの
ステップＳ６０９に戻って判定が行われたものであるか
ら、ブレーキ、アクセル等の操作開始時であると判断で
きる。このとき運転者は覚醒状態にあると推定できるた
め開閉眼判定基準値の再学習をすることが可能となり、
ステップＳ６１０へ移行する。If it is determined in step S609 that the operation flag has been cleared, steps S602 and S6 are performed.
03, immediately after it is determined that there is no operation in S604, the process returns to step S609 again, and the determination is made. Therefore, it can be determined that the operation of the brake, the accelerator or the like has started. At this time, since the driver can be estimated to be in the awake state, it is possible to re-learn the open / closed eye determination reference value,
It moves to step S610.
【００５２】ステップＳ６１０は、前記ステップＳ６０
７において開閉眼判定基準値を算出した時点の眼の開度
値と、運転を継続してステップＳ６１０へ移行した場合
の眼の開度値との変化を連続的に計測することによって
眼の開度値の変化を検出し、ステップＳ６１１へ移行す
る。Step S610 is the same as step S60.
7, by continuously measuring the change in the eye opening value at the time when the open / closed eye determination reference value is calculated and the eye opening value when the operation is continued and the process proceeds to step S610. The change in the degree value is detected, and the process proceeds to step S611.
【００５３】ステップＳ６１１は、前記開度値変化判断
手段ＣＬ７として機能し、眼の開度値に変化があるか否
かを判定する。ステップＳ６１１において眼の開度値に
変化が見られたと判定されたときは、ステップＳ６１２
へ移行する。Step S611 functions as the opening value change determining means CL7, and determines whether or not the opening value of the eye has changed. If it is determined in step S611 that a change has been observed in the eye opening value, step S612 is performed.
Move to.
【００５４】ステップＳ６１２は、基準値補正手段ＣＬ
８として機能し、開眼判定基準値の再学習が行われる。
即ち、前記変化した開眼開度値と前記閉眼開度値とを用
いて開閉眼判定基準値を再学習し、更新する。ステップ
Ｓ６１３で操作フラグをセットする。その後、ステップ
Ｓ６１４の開閉眼判定を行う。このとき途中で運転者が
交替するなどしても開閉眼判定基準値を正確に学習し正
確な開閉眼判定を行うことができる。ステップＳ６１１
において眼の開度値の変化が見られなかった場合も、ス
テップＳ６１４の開閉眼判定を行ってこのルーチンの処
理を終了する。In step S612, the reference value correction means CL
8 and re-learning of the eye opening determination reference value is performed.
That is, the open / closed eye determination reference value is re-learned and updated using the changed eye opening value and the closed eye opening value. In step S613, an operation flag is set. Thereafter, the open / closed eye determination in step S614 is performed. At this time, even if the driver is changed in the middle, the open / closed eye determination reference value can be accurately learned, and accurate open / closed eye determination can be performed. Step S611
Also, in the case where no change in the eye opening value is observed in step, the open / closed eye determination in step S614 is performed, and the processing of this routine ends.
【００５５】このように運転者がアクセル、ブレーキ等
を操作開始するときであれば運転者は覚醒していると判
断できる。従って、アクセル、ブレーキの操作をトリガ
として操作以前の眼の開度値に対し現在の眼の開度値が
変化している場合に、開閉眼判定基準値を再学習するこ
とができる。従って、開閉眼判定基準値を正確に再学習
することにより、眼の開度検出を正確に行うことができ
る。As described above, when the driver starts operating the accelerator, the brake or the like, it can be determined that the driver is awake. Therefore, when the current eye opening value changes from the eye opening value before the operation with the operation of the accelerator and the brake as a trigger, the open / closed eye determination reference value can be re-learned. Therefore, by accurately re-learning the open / closed eye determination reference value, the eye opening can be accurately detected.
【００５６】次に図７は、警報手段である警報装置によ
り居眠り警報がなされたとき、開閉眼判定基準値の再学
習を行なうことと、運転者（ドライバ）の眼の開度値の
変化とを示したタイムチャートである。Next, FIG. 7 shows that when a drowsiness alarm is given by an alarm device, re-learning of the reference value for determining whether the driver's eyes (opening / closing eyes) is performed and changes in the degree of opening of the eyes of the driver (driver). 6 is a time chart showing the time chart shown in FIG.
【００５７】図７において、運転を開始した時点（ｔ＝
０）から初期の開閉眼判定基準値の学習を開始する。開
眼開度値と閉眼開度値が検出できた時点（ｔ＝ｔ１）で
開閉眼判定基準値を算出する。運転を継続していくにつ
れ運転者は眠気を感じてくるため開眼開度値が小さくな
ってくる。所定時間以上の長い閉眼を検出する等によ
り、運転者の居眠り状態を検出した場合に警報を発する
（ｔ＝ｔ２）。警報により運転者が覚醒したところで、
再度開閉眼判定基準値の学習を開始する。学習終了（ｔ
＝ｔ３）により開閉眼判定基準値を更新する。In FIG. 7, when the operation is started (t =
Learning of the initial open / closed eye determination reference value is started from 0). The open / closed eye determination reference value is calculated at the point in time when the open eye value and the closed eye value can be detected (t = t1). As the driver continues driving, the driver feels drowsiness, and the eye opening value decreases. An alarm is issued when a driver's dozing state is detected, for example, by detecting a long closed eye for a predetermined time or longer (t = t2). When the driver was awakened by the alarm,
The learning of the open / closed eye determination reference value is started again. End of learning (t
= T3), the open / closed eye determination reference value is updated.
【００５８】次に、居眠り警報がなされたとき、開閉眼
判定基準値の再学習を行なう動作を図８のフローチャー
トを用いて説明する。Next, the operation of re-learning the open / closed eye judgment reference value when a drowsiness alarm is issued will be described with reference to the flowchart of FIG.
【００５９】図８のステップＳ８０１、Ｓ８０２、Ｓ８
０３は、図４のステップＳ４０１、Ｓ４０４、Ｓ４０５
に対応する。即ちステップＳ８０１で眼の開度値を検出
し、開閉眼判定基準値が決定していない初期段階ではス
テップＳ８０２からステップＳ８０３に移行する。ステ
ップＳ８０３では、開閉眼判定基準値を決定し、眼の開
度検出制御ルーチンを抜ける。次にこのルーチンに入っ
てきたときには、ステップＳ８０２において開閉眼判定
基準値は決定しているため、ステップＳ８０４に移行す
る。Steps S801, S802, S8 in FIG.
03 corresponds to steps S401, S404, and S405 in FIG.
Corresponding to That is, the eye opening value is detected in step S801, and the process proceeds from step S802 to step S803 in an initial stage in which the open / closed eye determination reference value is not determined. In step S803, the open / closed eye determination reference value is determined, and the process exits the eye opening degree detection control routine. Next, when this routine is entered, the process proceeds to step S804 because the open / closed eye determination reference value has been determined in step S802.
【００６０】ステップＳ８０４、Ｓ８０５，Ｓ８０６
は、前記眼の開度検出手段ＣＬ３として機能する。ステ
ップＳ８０４においては、開閉眼判定基準値によって眼
の開度値が大きいか否かで眼の開閉を判定し、ステップ
Ｓ８０５へ移行する。ステップＳ８０５では、開閉眼の
出現パターン等から運転者の居眠り状態を検出する。ス
テップＳ８０６で、居眠り状態と判断された場合は、ス
テップＳ８０７に移行する。ステップＳ８０７は、前記
警報手段ＣＬ６として機能し、ブザーなどの警報を発す
る。かかる警報により運転者は覚醒状態になると判断で
き、その後、基準値補正手段ＣＬ８として機能するステ
ップＳ８０８において開閉眼判断基準値を再学習して更
新する。Steps S804, S805, S806
Functions as the eye opening detecting means CL3. In step S804, whether the eye is open or closed is determined based on whether the eye opening value is large based on the open / closed eye determination reference value, and the process proceeds to step S805. In step S805, the dozing state of the driver is detected from the appearance pattern of the open / closed eyes and the like. If it is determined in step S806 that the user is dozing, the process proceeds to step S807. Step S807 functions as the alarm means CL6 and issues an alarm such as a buzzer. The driver can determine that the driver is in the awake state by the warning, and then re-learns and updates the open / closed eye determination reference value in step S808 functioning as the reference value correction unit CL8.
【００６１】こうして開閉眼判定基準値の正確な再学習
を行い、眼の開度検出、居眠り検出を正確に行うことが
できる。 （第２実施形態）図９、図１０は、本発明の第２実施形
態を示している。In this manner, accurate re-learning of the open / closed eye determination reference value can be performed, and the detection of the eye opening and the drowsiness can be accurately detected. (Second Embodiment) FIGS. 9 and 10 show a second embodiment of the present invention.
【００６２】図９は、図３と同様に自動車が運転開始時
（発進時）であることを検出して開閉眼判定基準値の再
学習を行なうことと、運転継続信号が検出されていると
きは前記再学習を禁止することと、車両の車速と運転者
（ドライバ）の眼の開度値の変化とを示したタイムチャ
ートである。FIG. 9 shows that, as in FIG. 3, it is detected that the vehicle is at the start of driving (at the time of starting) to re-learn the open / closed eye determination reference value, and that the driving continuation signal is detected. 5 is a time chart showing the prohibition of the re-learning, the change in the vehicle speed of the vehicle, and the change in the opening value of the eyes of the driver (driver).
【００６３】図９において、運転を開始し車速が０ｋｍ
／ｈから上昇していくことを検出した時点（ｔ＝０）か
ら初期の開閉眼判定基準値の学習を開始する。眼の開度
値と閉眼開度値とが検出できた時点（ｔ＝ｔ１）で開閉
眼判定基準値を算出する。この時点（ｔ＝ｔ１）から開
閉眼判定基準値の再学習を禁止する。これは、走行中は
運転者の交替は考えられないため、開閉眼判定基準値を
一定に保持することで時間経過による運転者の閉眼を捕
らえやすくするためである。パーキングエリア等で休憩
すると車速は０ｋｍ／ｈとなり眼の開度値は初期状態に
近づく。休憩後車両を発進させた時点（ｔ＝ｔ２）から
再学習を始め、新たに開眼開度値と閉眼開度値とに変化
が現れた時点（ｔ＝ｔ３）で開閉眼判定基準値を更新す
る。更新後は再学習を禁止する。更に運転を続け、疲労
が増した場合には、運転者の交替が考えられる。停車状
態（車速０ｋｍ／ｈ）で運転者が交替し、発進した時点
（ｔ＝ｔ４）で再学習を許可し、再度学習を開始する。
運転者によって眼の開眼開度値も閉眼開度値も当然異な
ると考えられるため、両値が変化していた場合（ｔ＝ｔ
５）、開閉眼判定基準値を再学習して更新する。以後、
再度発進状態を検出するまで再学習を禁止する。In FIG. 9, when driving is started and the vehicle speed is 0 km
The learning of the initial open / closed eye determination reference value is started from the time point (t = 0) at which the increase from / h is detected. At the time when the eye opening value and the eye closing value can be detected (t = t1), the open / closed eye determination reference value is calculated. From this point (t = t1), re-learning of the open / closed eye determination reference value is prohibited. This is because it is unlikely that the driver will be replaced while the vehicle is running, so that it is easy to catch the driver's eyes closed over time by keeping the open / closed eye determination reference value constant. When taking a break in a parking area or the like, the vehicle speed becomes 0 km / h, and the eye opening value approaches the initial state. Re-learning is started from the time when the vehicle is started after the break (t = t2), and the open / closed eye determination reference value is updated when a change appears in the newly opened eye value and the closed eye value (t = t3). I do. After the update, re-learning is prohibited. If driving is continued and fatigue increases, the driver may be replaced. When the driver switches while the vehicle is stopped (vehicle speed: 0 km / h) and starts (t = t4), re-learning is permitted and learning is started again.
Since it is considered that the eye opening degree value and the eye closing degree value of the eyes are naturally different depending on the driver, when both values are changed (t = t
5) Re-learn and update the open / closed eye determination reference value. Since then
Re-learning is prohibited until the start state is detected again.
【００６４】次に、運転継続信号が検出されているとき
は開閉眼判定基準値の再学習を禁止する動作を図１０の
フローチャートを用いて説明する。Next, the operation of inhibiting the re-learning of the open / closed eye determination reference value when the driving continuation signal is detected will be described with reference to the flowchart of FIG.
【００６５】図１０のステップ１００１は、図４のステ
ップＳ４０１に対応する。従って、ステップＳ１００１
で眼の開度値を検出する。ステップＳ１００２は、操作
対象物としての自動車の運転継続信号を検出する継続信
号検出手段として機能し、車速センサ１０により運転継
続信号である車速信号を取り込み、停車中（車速０ｋｍ
／ｈ）の場合はステップＳ１００３に移行する。ステッ
プＳ１００３では、自動車が走行中であり運転継続信号
が検出されているときＯＮとなる学習マスクフラグをク
リアし、眼の開度検出制御ルーチンを終了する。Step 1001 in FIG. 10 corresponds to step S401 in FIG. Therefore, step S1001
To detect the eye opening value. Step S1002 functions as a continuation signal detecting means for detecting a driving continuation signal of the vehicle as the operation target. The vehicle speed sensor 10 fetches a vehicle speed signal, which is a driving continuation signal, and stops the vehicle (vehicle speed 0 km).
/ H), the flow shifts to step S1003. In step S1003, the learning mask flag that is turned ON when the vehicle is running and the driving continuation signal is detected is cleared, and the eye opening detection control routine ends.
【００６６】ステップＳ１００２において自動車が発進
（車速が０ｋｍ／ｈを越える）していると判定されてい
るときは、ステップＳ１００４に移行し、開閉眼判定基
準値が決定していない初期段階ではステップＳ１００５
に移行する。ステップＳ１００５は、前記眼の開度検出
手段ＣＬ３として機能し、検出した眼の開度値の変化を
用いて開眼開度値と閉眼開度値とを算出し、これらの値
から開閉眼判定基準値を決定し、ステップＳ１００６へ
移行する。 ステップＳ１００６では、運転継続中であ
るとして学習マスクフラグをセットし、眼の開度検出制
御ルーチンを抜ける。次にこのルーチンに入ってきたと
きには、ステップＳ１００４において開閉眼判定基準値
は決定しているため、ステップＳ１００７に移行する。If it is determined in step S1002 that the vehicle has started (vehicle speed exceeds 0 km / h), the flow shifts to step S1004, and in the initial stage where the open / closed eye determination reference value is not determined, step S1005 is performed.
Move to Step S1005 functions as the eye opening detection means CL3, calculates an eye opening value and an eye closing value using the detected change in the eye opening value, and determines the open / closed eye determination criterion from these values. The value is determined, and the process moves to step S1006. In step S1006, the learning mask flag is set as driving is being continued, and the process exits from the eye opening detection control routine. Next, when the routine is entered, the process proceeds to step S1007 because the open / closed eye determination reference value has been determined in step S1004.
【００６７】ステップＳ１００７では、学習マスクフラ
グがセットされていると判定されたときは、自動車が運
転継続中であり、開閉眼判定基準値の再学習が禁止され
るので開閉眼判定基準値の再学習を行わずにステップＳ
１０１２の開閉眼判定に移行する。ステップＳ１００７
で学習マスクフラグがクリアされていると判定されたと
きは、ステップＳ１００２で車速０ｋｍ／ｈと判定され
た直後に再びこのルーチンに戻ってステップＳ１００２
の判定が行われ、このとき車速は０ｋｍ／ｈではないと
判定されたものであるから、運転開始時であると判断で
きる。このとき運転者は覚醒状態にあると推定できるた
め開閉眼判定基準値の再学習をすることが可能となり、
ステップＳ１００８へ移行する。In step S1007, when it is determined that the learning mask flag is set, the vehicle is being driven continuously, and re-learning of the open / closed eye determination reference value is prohibited. Step S without learning
The process proceeds to an open / closed eye determination 1012. Step S1007
If it is determined in step S1002 that the learning mask flag has been cleared, the routine returns to step S1002 immediately after determining that the vehicle speed is 0 km / h in step S1002.
Is determined. At this time, the vehicle speed is determined not to be 0 km / h, so that it can be determined that the driving is started. At this time, since the driver can be estimated to be in the awake state, it is possible to re-learn the open / closed eye determination reference value,
The process moves to step S1008.
【００６８】ステップＳ１００８は、ステップＳ１００
９と共に開度値変化判断手段ＣＬ７として機能し、開閉
眼判定基準値を算出した時点の眼の開度値と、運転を継
続していった場合の眼の開度値の変化を連続的に計測す
ることによって眼の開度値の変化を検出し、ステップＳ
１００９へ移行する。Step S1008 is equivalent to step S100
9 together with the opening value change determining means CL7, and continuously changes the opening value of the eye at the time of calculating the open / closed eye determination reference value and the opening value of the eye when driving is continued. A change in the eye opening value is detected by measuring, and step S
Move to 1009.
【００６９】ステップＳ１００９において、眼の開度値
に変化が見られた場合は、基準値補正手段ＣＬ８として
機能するステップＳ１０１０で眼の開度値と閉眼開度値
を用いて開閉眼判定基準値を再学習し、更新する。ステ
ップＳ１０１１では学習マスクフラグをセットする。そ
の後、ステップＳ１０１２の開閉眼判定を行う。ステッ
プＳ１００９において眼の開度値の変化が見られなかっ
た場合も、再学習を行わずにステップＳ１０１２の開閉
眼判定を行ってこのルーチンの処理を終了する。In step S1009, if there is a change in the eye opening value, in step S1010 functioning as the reference value correcting means CL8, the open / closed eye determination reference value is obtained using the eye opening value and the closed eye opening value. Re-learn and update. In step S1011, a learning mask flag is set. Thereafter, the open / closed eye determination in step S1012 is performed. Even if no change in the eye opening value is found in step S1009, the open / closed eye determination in step S1012 is performed without performing re-learning, and the processing of this routine ends.
【００７０】このように、自動車が走行中であり運転継
続信号が検出されているときは、運転者の交替がなく、
同一の運転者であると判断できるため、開閉眼判定基準
値の再学習を行わないようにして眼の開度値の変化を連
続的に計測し、眼の開度値の変化に対応した正しい開度
検出を行うことができる。 （第３実施形態）図１１、図１２は、本発明の第３実施
形態を示している。As described above, when the vehicle is running and the driving continuation signal is detected, there is no driver change,
Since the same driver can be determined, the change in the eye opening value is continuously measured without performing the re-learning of the open / closed eye determination reference value, and the correct value corresponding to the change in the eye opening value is obtained. The opening degree can be detected. (Third Embodiment) FIGS. 11 and 12 show a third embodiment of the present invention.
【００７１】図１１は運転者に直射日光が当たって眩し
い状況であるとき前記再学習を禁止することと、運転者
（ドライバ）の眼の開度値の変化とを示したタイムチャ
ートである。FIG. 11 is a time chart showing the prohibition of the re-learning when the driver is exposed to direct sunlight and dazzling, and the change in the opening value of the eyes of the driver (driver).
【００７２】図１１のように、運転を開始した時点（ｔ
＝０）から初期の開閉眼判定基準値の学習を開始する。
開眼開度値と閉眼開度値とが検出できた時点（ｔ＝ｔ
１）で開閉眼判定基準値を算出する。運転者が運転中太
陽光を正面から受けて眩しいと感じ、眼を細めるような
状態が連続して発生する場合がある。このとき、開閉眼
判定基準値を下回る開眼開度値を検出することになり、
閉眼と判定され続ける状態が発生する。ここで、図３，
図５，図７のように開閉眼判定基準値の再学習（ｔ＝ｔ
２）が行われた場合、問題が出てくる。眩しい状態が元
に戻り、運転を継続していき開眼開度値が小さくなって
いくことで、常時閉眼を検出する領域（ｔ＝ｔ３以降）
だったはずが、眩しいときに再学習をしたため、開閉眼
判定基準値が低くなり閉眼を検出できなくなってしま
う。このため、眩しい状態を検出した場合には、開閉眼
判定基準値を再学習しないようマスクすることで、この
問題を回避することが出来る。As shown in FIG. 11, when the operation is started (t
= 0), the learning of the initial open / closed eye determination reference value is started.
The point in time when the open eye value and the closed eye value can be detected (t = t
In step 1), an open / closed eye determination reference value is calculated. During driving, the driver may feel dazzling when receiving sunlight from the front, and the state of narrowing his eyes may occur continuously. At this time, an eye opening value lower than the open / closed eye determination reference value will be detected,
A state occurs in which it is determined that the eyes are closed. Here, FIG.
As shown in FIGS. 5 and 7, the re-learning of the open / closed eye determination reference value (t = t
If 2) is done, problems come up. An area in which the dazzling state returns to the original state, the driving is continued, and the eye-opening value decreases, so that the eye is always detected as closed (from t = t3).
However, since re-learning was performed when it was dazzling, the open / closed eye determination reference value was lowered, and it was impossible to detect closed eyes. For this reason, when a dazzling state is detected, this problem can be avoided by masking so that the open / closed eye determination reference value is not re-learned.
【００７３】次に、運転者に直射日光が当たって眩しい
状況であるとき前記再学習を禁止する動作を図１２のフ
ローチャートを用いて説明する。Next, the operation of prohibiting the re-learning when the driver is dazzled by direct sunlight will be described with reference to the flowchart of FIG.
【００７４】図１２のステップＳ１２０１は、図４のス
テップＳ４０１に対応する。従って、ステップＳ１２０
１で眼の開度値を検出し、ステップＳ１２０２へ移行す
る。Step S1201 in FIG. 12 corresponds to step S401 in FIG. Therefore, step S120
In step 1, the eye opening value is detected, and the flow advances to step S1202.
【００７５】ステップＳ１２０２は、ステップＳ１２０
３と共に検出した眼の開度に基づき眩しさを判定する眩
しさ判定手段として機能し、眩しさを検出する。ステッ
プＳ１２０３では、眩しい状態か否かを判定する。Step S1202 is equivalent to step S120
3 functions as a glare determining means for determining glare based on the degree of eye opening detected together with 3 and detects glare. In step S1203, it is determined whether the vehicle is in a dazzling state.
【００７６】ステップＳ１２０３において、眩しさを検
出しなかったと判定したときは、ステップＳ１２０４に
移行し、開閉眼判定基準値が決定していない初期段階で
はステップＳ１２０５に移行する。ステップＳ１２０５
は眼の開度検出手段ＣＬ３として機能し、検出した眼の
開度値の変化を用いて開眼開度値と閉眼開度値を算出
し、これらの値から開閉眼判定基準値を決定し、眼の開
度検出制御ルーチンを抜ける。次のこのルーチンに入っ
てきたときには、ステップＳ１２０４において開閉眼判
定基準値は決定しているため、ステップＳ１２０６に移
行する。If it is determined in step S1203 that no glare has been detected, the flow shifts to step S1204, and shifts to step S1205 in the initial stage where the open / closed eye determination reference value has not been determined. Step S1205
Functions as eye opening detection means CL3, calculates an eye opening value and an eye opening value using changes in the detected eye opening value, determines an open / closed eye determination reference value from these values, The processing exits from the eye opening detection control routine. When the process enters the next routine, the process proceeds to step S1206 because the open / closed eye determination reference value has been determined in step S1204.
【００７７】ステップＳ１２０６は、ステップＳ１２０
７と共に開度値変化判断手段ＣＬ７として機能し、開閉
眼判定基準値を算出した時点の眼の開度値と、運転を継
続していった場合の眼の開度値の変化とを連続的に計測
することによって眼の開度値の変化を検出し、ステップ
Ｓ１２０７へ移行する。ステップＳ１２０７において、
眼の開度値に変化が見られたと判定されたときは、基準
値補正手段ＣＬ８として機能するステップＳ１２０８で
開眼開度値と閉眼開度値とを用いて開閉眼判定基準値を
再学習し、更新する。その後、眼の開度検出手段ＣＬ３
として機能するステップＳ１２０９において開閉眼判定
を行う。Step S1206 corresponds to step S120.
7 together with the opening value change determination means CL7, and continuously changes the opening value of the eye at the time of calculating the open / closed eye determination reference value and the change of the opening value of the eye when driving is continued. , The change in the eye opening value is detected, and the flow shifts to step S1207. In step S1207,
When it is determined that a change has been observed in the eye opening value, in step S1208 functioning as the reference value correcting means CL8, the open / closed eye determination reference value is re-learned using the eye opening and eye closing values. ,Update. Thereafter, the eye opening detecting means CL3
In step S1209, which functions as, an open / closed eye determination is performed.
【００７８】ステップＳ１２０７において眼の開度値の
変化が見られなかったと判定されたときも、再学習を行
わずにステップＳ１２０９の開閉眼判定を行う。ステッ
プＳ１２０３において眩しさを検出した場合は、ステッ
プＳ１２１０に移行し眩しさ判定のために開閉眼判定基
準値を補正し、ステップＳ１２０９で開閉眼判定を行っ
てこのルーチンの処理を終了する。When it is determined in step S1207 that no change in the eye opening value has been observed, the open / closed eye determination in step S1209 is performed without performing re-learning. If glare has been detected in step S1203, the flow advances to step S1210 to correct the open / closed eye determination reference value for glare determination, and the open / closed eye determination is performed in step S1209, thus ending the processing of this routine.
【００７９】このように、光環境の変化により眩しいと
判断されている場合に、開閉眼判定基準値を再学習する
と、開眼開度値が小さくなり、開閉眼判定基準値も小さ
くなる。従って、眩しくない状態では常時開眼と判定さ
れてしまい正確な判定に限界を招くため、眩しいと判断
された場合は開閉眼判定基準値の再学習を行わないよう
にし、眼の開度検出を正確に行うことができる。As described above, when it is determined that the eyes are dazzling due to a change in the light environment, when the reference value for determining whether the eyes are open / closed is re-learned, the eye opening degree value is reduced, and the reference value for determining whether the eyes are open / closed is also reduced. Therefore, in a non-dazzling state, the eye is always determined to be open and a limitation is imposed on the accurate determination. Can be done.
【図１】本発明の構成ブロック図である。FIG. 1 is a configuration block diagram of the present invention.
【図２】本発明の第１実施形態に係るブロック図であ
る。FIG. 2 is a block diagram according to the first embodiment of the present invention.
【図３】第１実施形態に係り、自動車が発進時であるこ
とを検出して再学習を行うタイムチャートである。FIG. 3 is a time chart for detecting that an automobile is starting and performing re-learning according to the first embodiment.
【図４】第１実施形態に係り、自動車が発進時であるこ
とを検出して再学習を行うフローチャートである。FIG. 4 is a flowchart for performing re-learning by detecting that the vehicle is starting when the first embodiment is started.
【図５】第１実施形態に係り、アクセル、ブレーキの操
作を検出して再学習を行うタイムチャートである。FIG. 5 is a time chart for detecting an accelerator operation and a brake operation and performing relearning according to the first embodiment;
【図６】第１実施形態に係り、アクセル、ブレーキを検
出して再学習を行うフローチャートである。FIG. 6 is a flowchart for performing re-learning by detecting an accelerator and a brake according to the first embodiment.
【図７】第１実施形態に係り、警報時に再学習を行うタ
イムチャートである。FIG. 7 is a time chart for performing re-learning at the time of an alarm according to the first embodiment.
【図８】第１実施形態に係り、警報時に再学習を行うフ
ローチャートである。FIG. 8 is a flowchart for performing re-learning at the time of an alarm according to the first embodiment.
【図９】第２実施形態に係り、自動車の走行中は再学習
を禁止するタイムチャートである。FIG. 9 is a time chart according to the second embodiment, in which re-learning is prohibited while the vehicle is running.
【図１０】第２実施形態に係り、自動車の走行中は再学
習を禁止するフローチャートである。FIG. 10 is a flowchart according to the second embodiment, in which re-learning is prohibited while the vehicle is running.
【図１１】第３実施形態に係り、眩しさ判定によって再
学習を禁止するタイムチャートである。FIG. 11 is a time chart according to the third embodiment, in which re-learning is prohibited by determining glare.
【図１２】第３実施形態に係り、眩しさ判定によって再
学習を禁止するフローチャートである。FIG. 12 is a flowchart according to a third embodiment, in which re-learning is prohibited by determining glare.
【図１３】従来例に係るフローチャートである。FIG. 13 is a flowchart according to a conventional example.
【図１４】従来例に係り、（ａ）は運転者を交替した場
合の眼の開度値と開閉眼判定基準値との関係を示すタイ
ムチャート、（ｂ）は所定時間毎に再学習を行うタイム
チャートである。14A is a time chart showing a relationship between an eye opening value and an open / closed eye determination reference value when a driver is replaced, and FIG. 14B is a time chart showing relearning every predetermined time. It is a time chart to be performed.
１ ＴＶカメラ（画像出力手段ＣＬ１） ２ Ａ−Ｄ変換回路（画像出力手段ＣＬ１） ３ 画像メモリ（画像出力手段ＣＬ１） ４ 画像データ演算回路（画像出力手段ＣＬ１） ５ 眼の位置検出回路（眼の位置検出手段ＣＬ２） ６ 眼の開度検出回路（眼の開度検出手段ＣＬ３） ７ 警報装置（警報手段ＣＬ６） ８ 基準値補正回路（基準値補正手段ＣＬ８） ９ 基準値変化判断回路（基準値変化判断手段ＣＬ７） １０ 車速センサ（運転開始検出手段ＣＬ４） １１ アクセルセンサ（操作検出手段ＣＬ５） １２ ブレーキセンサ（操作検出手段ＣＬ５） Reference Signs List 1 TV camera (image output means CL1) 2 A / D conversion circuit (image output means CL1) 3 Image memory (image output means CL1) 4 Image data calculation circuit (image output means CL1) 5 Eye position detection circuit (eye position) 6 Position detection means CL2) 6 Eye opening detection circuit (eye opening detection means CL3) 7 Alarm device (warning means CL6) 8 Reference value correction circuit (reference value correction means CL8) 9 Reference value change determination circuit (reference value) Change judging means CL7) 10 Vehicle speed sensor (driving start detecting means CL4) 11 Accelerator sensor (operation detecting means CL5) 12 Brake sensor (operation detecting means CL5)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ Ｇ０８Ｂ 21/06 Ｇ０８Ｂ 21/06 Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｆ (72)発明者 阿部 毅 東京都大田区大森西５丁目28番６号 ナイ ルス部品株式会社内 (72)発明者 金田 雅之 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 大和田 正次 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 2F065 AA01 AA21 BB05 BB07 CC16 EE00 FF04 FF61 FF63 FF64 JJ03 JJ26 NN20 QQ08 QQ21 QQ23 QQ24 QQ25 SS09 3D037 FA05 FA13 FA23 FA24 FA25 FB09 5B057 AA06 AA16 BA02 BA29 DA07 DA15 DA20 DC17 DC22 DC30 DC33 5H180 AA01 CC04 LL01 LL07 LL20 5L096 BA02 BA04 BA18 CA02 DA03 EA35 FA06 FA81 HA07 JA09 JA11 KA04 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 7/00 300 G06T 7/00 300F G08B 21/06 G08B 21/06 G08G 1/16 G08G 1/16 F (72) Inventor Takeshi Abe 5-28-6 Omori Nishi, Ota-ku, Tokyo Niles Parts Co., Ltd. (72) Inventor Masayuki Kaneda 2 Takaracho, Kanagawa-ku, Yokohama, Kanagawa Prefecture Nissan Motor Co., Ltd. (72) Invention Person Shoji Owada F-term (reference) 2F065 AA01 AA21 BB05 BB07 CC16 EE00 FF04 FF61 FF63 FF64 JJ03 JJ26 NN20 QQ08 QQ21 QQ23 QQ24 QQ25 SS09 FA13FA23 FA 5B057 AA06 AA16 BA02 BA29 DA07 DA15 DA20 DC17 DC22 DC30 DC33 5H180 AA01 CC04 LL01 LL07 LL20 5L096 BA02 BA04 BA18 CA02 DA03 EA35 FA06 FA81 HA07 JA09 JA11 KA04
Claims (5)
して顔画像データを出力する画像出力手段と、 該画像出力手段から出力された顔画像データを処理して
眼の位置を検出する眼の位置検出手段と、 前記検出された眼の位置の濃度情報による眼の開度値を
基に学習した開閉眼判定基準値を用いて眼の開度を検出
する眼の開度検出手段と、 前記操作対象物が運転開始時か否かを検出する運転開始
検出手段と、 前記検出された眼の開度値から前記運転開始時以前の眼
の開度値に対し現在の眼の開度値が変化しているか否か
を判断する開度値変化判断手段と、 前記運転開始時であることが検出され且つ前記眼の開度
値が変化していると判断されたとき前記開閉眼判定基準
値を再学習する基準値補正手段とを備えたことを特徴と
する眼の状態検出装置。1. An image output means for capturing a face of an operator who operates an operation target and outputting face image data, and detecting face positions by processing the face image data output from the image output means. Eye position detecting means, and an eye opening detecting means for detecting an eye opening degree using an open / closed eye determination reference value learned based on the eye opening value based on the detected eye position density information Operation start detection means for detecting whether or not the operation target is at the time of start of operation; and opening the current eye with respect to the eye opening value before the operation start from the detected eye opening value. An opening value change determining means for determining whether or not the opening value has changed; and the opening / closing eye when it is detected that the operation is started and it is determined that the opening value of the eye is changing. Eye state detection, comprising: reference value correction means for re-learning a judgment reference value. Location.
して顔画像データを出力する画像出力手段と、 該画像出力手段から出力された顔画像データを処理して
眼の位置を検出する眼の位置検出手段と、 前記検出された眼の位置の濃度情報による眼の開度値を
基に学習した開閉眼判定基準値を用いて眼の開度を検出
する眼の開度検出手段と、 前記操作対象物の操作装置の操作開始時であることを検
出する操作検出手段と、 前記検出された眼の開度値から前記操作装置の操作開始
時以前の眼の開度値に対し現在の眼の開度値が変化して
いるか否かを判断する開度値変化判断手段と、 前記操作装置が操作開始時であると検出され且つ前記眼
の開度値が変化していると判断されたとき前記開閉眼判
定基準値を再学習する基準値補正手段とを備えたことを
特徴とする眼の状態検出装置。2. An image output means for capturing a face of an operator operating an operation target and outputting face image data, and detecting the position of an eye by processing the face image data output from the image output means. Eye position detecting means, and an eye opening detecting means for detecting an eye opening degree using an open / closed eye determination reference value learned based on the eye opening value based on the detected eye position density information And operation detection means for detecting that the operation of the operation device of the operation target is at the start of operation, from the detected eye opening value to the eye opening value before the operation device operation start from the detected eye opening value Opening value change determining means for determining whether the current opening value of the eye is changing; and detecting that the operation device is at the start of operation and determining that the opening value of the eye is changing. Reference value correction means for re-learning the open / closed eye determination reference value when determined. State detecting device of the eye characterized by.
して顔画像データを出力する画像出力手段と、 該画像出力手段から出力された顔画像データを処理して
眼の位置を検出する眼の位置検出手段と、 前記検出された眼の位置の濃度情報による眼の開度値を
基に学習した開閉眼判定基準値を用いて眼の開度を検出
する眼の開度検出手段と、 前記検出した眼の開度に基づき警報を発する警報手段
と、 前記検出された眼の開度値から前記警報以前の眼の開度
値に対し現在の眼の開度値が変化しているか否かを判断
する開度値変化判断手段と、 前記警報がなされ且つ前記眼の開度値が変化していると
判断されたとき前記開閉眼判定基準値を再学習する基準
値補正手段とを備えたことを特徴とする眼の状態検出装
置。3. An image output means for capturing a face of an operator operating an operation target and outputting face image data, and detecting face positions by processing the face image data output from the image output means. Eye position detecting means, and an eye opening detecting means for detecting an eye opening degree using an open / closed eye determination reference value learned based on the eye opening value based on the detected eye position density information Alarm means for issuing an alarm based on the detected opening degree of the eye, and the current opening degree value of the eye changes from the detected opening degree value of the eye to the opening degree value of the eye before the warning. Opening value change determination means for determining whether or not the opening / closing eye determination reference value is re-learned when it is determined that the warning is made and the opening value of the eye is changing; and An eye condition detection device comprising:
検出装置であって、 前記操作対象物の運転継続信号を検出する継続信号検出
手段を設け、 前記基準値補正手段は、前記運転継続信号が検出されて
いるときは前記再学習を行わないことを特徴とする眼の
状態検出装置。4. The eye state detection device according to claim 1, further comprising: a continuation signal detection unit configured to detect a driving continuation signal of the operation target, wherein the reference value correction unit includes: The eye condition detection device, wherein the re-learning is not performed when the driving continuation signal is detected.
て、 前記検出した眼の開度に基づき眩しさを判定する眩しさ
判定手段を設け、 前記基準値補正手段は、前記眩しさ判定がなされている
ときは前記再学習を行わないことを特徴とする眼の状態
検出装置。5. The eye condition detecting device according to claim 4, further comprising: a glare determining unit configured to determine glare based on the detected degree of opening of the eye, wherein the reference value correcting unit includes the glare determining unit. An eye state detection device, wherein the re-learning is not performed when the determination is made.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000041420A JP3769442B2 (en) | 2000-02-15 | 2000-02-15 | Eye state detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000041420A JP3769442B2 (en) | 2000-02-15 | 2000-02-15 | Eye state detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001225666A true JP2001225666A (en) | 2001-08-21 |
| JP3769442B2 JP3769442B2 (en) | 2006-04-26 |
Family
ID=18564666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000041420A Expired - Fee Related JP3769442B2 (en) | 2000-02-15 | 2000-02-15 | Eye state detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3769442B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003310584A (en) * | 2002-04-26 | 2003-11-05 | Yoshida Dental Mfg Co Ltd | Dental care instrument and dental consulting method |
| JP2004089272A (en) * | 2002-08-29 | 2004-03-25 | Denso Corp | Method and device for biological state estimation, and program |
| JP2006251926A (en) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | Direct light detecting device |
| JP2007245911A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Monitoring device and method, recording medium and program |
| CN100373400C (en) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | Eyes open detection with multi-nerve network combination based on identifying model |
| JP2008077189A (en) * | 2006-09-19 | 2008-04-03 | Toyota Central R&D Labs Inc | Falling asleep while diving prevention device and program |
| JP2008186263A (en) * | 2007-01-30 | 2008-08-14 | Denso Corp | Awakening degree calculation device |
| JP2009230246A (en) * | 2008-03-19 | 2009-10-08 | Aisin Aw Co Ltd | Driving state warning system, driving state warning method, and program |
| KR101283304B1 (en) * | 2011-12-12 | 2013-07-12 | 기아자동차주식회사 | Apparatus and method for detecting dazzle of driver, and anti-dazzling system and method using it |
| US9082012B2 (en) | 2011-12-06 | 2015-07-14 | Denso Corporation | Eye state detection apparatus and method of detecting open and closed states of eye |
| JP2016202419A (en) * | 2015-04-18 | 2016-12-08 | トヨタ自動車株式会社 | Sleepiness detection device |
| WO2018156366A1 (en) * | 2017-02-27 | 2018-08-30 | Tobii Ab | Determining eye openness with an eye tracking device |
| JP2019096117A (en) * | 2017-11-24 | 2019-06-20 | トヨタ自動車株式会社 | Vehicle control device |
| JP2020047086A (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5208711B2 (en) | 2008-12-17 | 2013-06-12 | アイシン精機株式会社 | Eye open / close discrimination device and program |
-
2000
- 2000-02-15 JP JP2000041420A patent/JP3769442B2/en not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003310584A (en) * | 2002-04-26 | 2003-11-05 | Yoshida Dental Mfg Co Ltd | Dental care instrument and dental consulting method |
| JP2004089272A (en) * | 2002-08-29 | 2004-03-25 | Denso Corp | Method and device for biological state estimation, and program |
| JP2006251926A (en) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | Direct light detecting device |
| JP4687150B2 (en) * | 2005-03-08 | 2011-05-25 | 日産自動車株式会社 | Direct light detector |
| JP2007245911A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Monitoring device and method, recording medium and program |
| CN100373400C (en) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | Eyes open detection with multi-nerve network combination based on identifying model |
| JP2008077189A (en) * | 2006-09-19 | 2008-04-03 | Toyota Central R&D Labs Inc | Falling asleep while diving prevention device and program |
| JP2008186263A (en) * | 2007-01-30 | 2008-08-14 | Denso Corp | Awakening degree calculation device |
| JP2009230246A (en) * | 2008-03-19 | 2009-10-08 | Aisin Aw Co Ltd | Driving state warning system, driving state warning method, and program |
| US9082012B2 (en) | 2011-12-06 | 2015-07-14 | Denso Corporation | Eye state detection apparatus and method of detecting open and closed states of eye |
| KR101283304B1 (en) * | 2011-12-12 | 2013-07-12 | 기아자동차주식회사 | Apparatus and method for detecting dazzle of driver, and anti-dazzling system and method using it |
| US9180756B2 (en) | 2011-12-12 | 2015-11-10 | Hyundai Motor Company | Apparatus and method for detecting driver's dazzling and system and method for blocking dazzling using the same |
| JP2016202419A (en) * | 2015-04-18 | 2016-12-08 | トヨタ自動車株式会社 | Sleepiness detection device |
| WO2018156366A1 (en) * | 2017-02-27 | 2018-08-30 | Tobii Ab | Determining eye openness with an eye tracking device |
| US10394019B2 (en) | 2017-02-27 | 2019-08-27 | Tobii Ab | Determining eye openness with an eye tracking device |
| US10642028B2 (en) | 2017-02-27 | 2020-05-05 | Tobii Ab | Lens position adjustment in a wearable device |
| US10852531B2 (en) | 2017-02-27 | 2020-12-01 | Tobii Ab | Determining eye openness with an eye tracking device |
| JP2019096117A (en) * | 2017-11-24 | 2019-06-20 | トヨタ自動車株式会社 | Vehicle control device |
| JP6996253B2 (en) | 2017-11-24 | 2022-01-17 | トヨタ自動車株式会社 | Vehicle control device |
| JP2020047086A (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicle monitoring device |
| WO2020059835A1 (en) * | 2018-09-20 | 2020-03-26 | いすゞ自動車株式会社 | Vehicular monitoring device |
| CN112740301A (en) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | Monitoring device for vehicle |
| US11443534B2 (en) | 2018-09-20 | 2022-09-13 | Isuzu Motors Limited | Vehicular monitoring device |
| JP7247499B2 (en) | 2018-09-20 | 2023-03-29 | いすゞ自動車株式会社 | Vehicle monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3769442B2 (en) | 2006-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001225666A (en) | Detector for detecting state of eye | |
| US8665099B2 (en) | Inattentive state determination device and method of determining inattentive state | |
| US7292152B2 (en) | Method and apparatus for classifying vehicle operator activity state | |
| EP1330377B1 (en) | Method of response synthesis in a driver assistance system | |
| EP1328421B1 (en) | Method and apparatus for vehicle operator performance assessment and improvement | |
| JP4816582B2 (en) | Vehicle navigation device | |
| CN107220581A (en) | Pass through the pedestrian detection and motion prediction of rearmounted video camera | |
| US20020091473A1 (en) | Method and apparatus for improving vehicle operator performance | |
| CN106133806A (en) | Information presentation device and information cuing method | |
| CN104760593A (en) | Apparatus for assisting in lane change and operating method thereof | |
| JP2000221049A (en) | Vehicle situation grasping system, agent device, and vehicle controller | |
| KR20080020956A (en) | Method of operating a night-view system in a vehicle and corresponding night-view system | |
| JP2007082594A (en) | Fatigue detection device | |
| JPH07108849A (en) | Vehicular automatic traveling control device | |
| CN110688877A (en) | Danger early warning method, device, equipment and storage medium | |
| JP6090340B2 (en) | Driver emotion estimation device | |
| Nagel et al. | FhG-Co-Driver: From map-guided automatic driving by machine vision to a cooperative driver support | |
| CN110371018A (en) | Improve vehicle behavior using the information of other vehicle car lights | |
| JP7426174B2 (en) | Vehicle surrounding image display system and vehicle surrounding image display method | |
| JP2000198369A (en) | Eye state detecting device and doze-driving alarm device | |
| JP4325271B2 (en) | Status detection device and status detection system | |
| CN109997149A (en) | Information processing equipment, imaging device, apparatus control system, moving body, information processing method and message handling program | |
| JPH1199879A (en) | In-meter ambient monitor | |
| CN104742911B (en) | Drive assistance device | |
| JP2005087284A (en) | Wakefulness determining device and wakefulness determining method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |