JP2005278898A

JP2005278898A - Sight line detector

Info

Publication number: JP2005278898A
Application number: JP2004097381A
Authority: JP
Inventors: Taku Hasegawa; 卓長谷川
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2005-10-13
Anticipated expiration: 2024-03-30
Also published as: JP4397719B2

Abstract

PROBLEM TO BE SOLVED: To provide a sight line detector appropriately detecting the sight line of a driver. SOLUTION: A sight line calculation part 61 calculates a sight line vector (a sight line direction) of the driver and an object position based on image data input from a sight line sensor 12 and stores the calculated sight line vector in a sight line vector storage part 62. A sight line estimation part 63 obtains the sight line vector stored in the sight line vector storage part 62 and estimates the sight line vector of the present sight line of the driver and the object position. A sensor shielding determination part 64 determines, for example, whether or not the output of the sight line sensor 12 includes image data imaging an object other than the face and the eyeballs of the driver and whether or not the output of the sight line sensor 12 includes the image data so as to determine presence/absence of a shielding object shielding the detecting direction of the sight line sensor 12 and determine whether or not the sight line sensor is an abnormal state, and actuates an alarm device 14 according to the determination result. COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、視線検出装置に関する。 The present invention relates to a line-of-sight detection device.

従来、例えば自車両の運転者を前方から撮影するカメラを車室内のインスツルメントパネル部の下部または側部に配置し、運転者の顎の先端部等の所定位置を撮影するために運転者の顔を下方から見上げるようにして撮影し、撮影により得られた撮影画像に基づき、運転者の居眠りや脇見状態の有無を判定する装置が知られている（例えば、特許文献１参照）。
特開平６−１８９３０６号公報 Conventionally, for example, a camera for photographing the driver of the host vehicle from the front is arranged at the lower part or the side part of the instrument panel part in the passenger compartment, and the driver is required to photograph a predetermined position such as the tip of the driver's chin. There is known a device that takes a picture of a person's face looking up from below and determines the presence or absence of a driver's doze or looking aside based on a photographed image obtained by photography (for example, see Patent Document 1).
JP-A-6-189306

ところで、上記従来技術において、運転者の顔を下方から見上げるようにして前方から撮影する場合には、運転者の運転操作に係る腕の動作等によってカメラの撮影方向が遮られる場合があり、このような状態が長時間に亘って継続されると、運転者の居眠りや脇見状態の有無を適切に検出することができなくなるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、運転者の視線を適切に検出することが可能な視線検出装置を提供することを目的とする。 By the way, in the above prior art, when shooting from the front with the driver's face looking up from below, the shooting direction of the camera may be blocked by the movement of the arm related to the driving operation of the driver, etc. When such a state is continued for a long time, there arises a problem that it becomes impossible to appropriately detect the presence or absence of the driver's sleep or looking aside.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a line-of-sight detection device capable of appropriately detecting a driver's line of sight.

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、自車両の運転者の眼球あるいは顔を撮影する撮影手段（例えば、実施の形態での視線用カメラ２１）と、該撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での視線算出部６１）と、前記視線検出手段により検出された視線を記憶する視線記憶手段（例えば、実施の形態での視線ベクトル記憶部６２）と、前記視線記憶手段に格納されている前記視線に基づき運転者の現在の視線を推定する視線推定手段（例えば、実施の形態での視線推定部６３）とを備えることを特徴としている。 In order to solve the above-described problems and achieve the object, the gaze detection apparatus according to the first aspect of the present invention is an imaging means for imaging the eyeball or face of the driver of the host vehicle (for example, in the embodiment). The line-of-sight camera 21), line-of-sight detection means (for example, line-of-sight calculation unit 61 in the embodiment) for detecting the line of sight of the driver based on the photographed image obtained by the photographing means, and detection by the line-of-sight detection means Line-of-sight storage means (for example, line-of-sight vector storage unit 62 in the embodiment) for storing the line of sight, and line-of-sight estimation means for estimating the current line of sight of the driver based on the line of sight stored in the line-of-sight storage means (For example, the line-of-sight estimation unit 63 in the embodiment).

上記構成の視線検出装置によれば、例えば所定時間以前の過去に亘って検出された視線を視線記憶手段に格納しておくことにより、視線検出手段によって視線を検出することができない場合であっても、視線記憶手段に格納されている過去の視線に基づき、現在の視線を推定することができる。
これにより、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合であっても、運転者の視線に基づき実行される各種の制御動作を、視線の推定値により適切に作動させることができる。 According to the line-of-sight detection device having the above-described configuration, for example, by storing the line of sight detected over the past of a predetermined time in the line-of-sight storage means, the line of sight detection means cannot detect the line of sight. In addition, the current line of sight can be estimated based on the past line of sight stored in the line-of-sight storage means.
Thus, for example, even when the shooting direction of the shooting means is temporarily blocked and a captured image of the driver's eyeball or face cannot be obtained, various control operations executed based on the driver's line of sight are performed. It can be appropriately operated by the estimated value of the line of sight.

さらに、請求項２に記載の本発明の視線検出装置は、前記視線検出手段により視線の検出が可能であるか否かを判定する検出可否判定手段（例えば、実施の形態でのステップＳ１２，ステップＳ２７，センサ遮蔽判定部６４）を備え、前記視線推定手段は、前記検出可否判定手段により視線の検出が不可であると判定された場合に、前記視線記憶手段に格納されている前記視線に基づき運転者の現在の視線を推定することを特徴としている。 Furthermore, the eye gaze detection device according to the present invention described in claim 2 is a detection possibility judging means for judging whether the eye gaze can be detected by the eye gaze detecting means (for example, step S12 in the embodiment, step S12). S27, a sensor shielding determination unit 64), and the line-of-sight estimation means is based on the line of sight stored in the line-of-sight storage means when the detection possibility determination means determines that the detection of the line of sight is impossible. It is characterized by estimating the current line of sight of the driver.

上記構成の視線検出装置によれば、検出可否判定手段は、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合や、例えば撮影手段の異常により撮影画像が得られない場合等において、視線の検出が可能ではないと判定する。そして、視線推定手段は視線記憶手段に格納されている視線に基づき運転者の現在の視線を推定する。これにより、視線を検出することができない場合であっても、運転者の視線に基づき実行される各種の制御動作を、視線の推定値により適切に作動させることができる。 According to the line-of-sight detection device having the above-described configuration, the detection possibility determination unit may be, for example, a case where the shooting direction of the shooting unit is temporarily blocked and a captured image of the driver's eyeball or face cannot be obtained, or an abnormality of the shooting unit, for example. It is determined that the line of sight cannot be detected, for example, when a photographed image cannot be obtained. The line-of-sight estimation means estimates the driver's current line of sight based on the line of sight stored in the line-of-sight storage means. Thereby, even if it is a case where a gaze cannot be detected, the various control operation performed based on a driver | operator's gaze can be act | operated appropriately by the estimated value of a gaze.

さらに、請求項３に記載の本発明の視線検出装置は、前記視線検出手段により視線の検出が可能であるか否かを判定する検出可否判定手段（例えば、実施の形態でのステップＳ１２，ステップＳ２７，センサ遮蔽判定部６４）と、前記検出可否判定手段により視線の検出が不可であると判定された場合に、運転者に警報を出力する警報手段（例えば、実施の形態でのステップＳ２８，ステップＳ３０，警報装置１４）とを備えることを特徴としている。 Furthermore, the eye gaze detection apparatus according to the present invention described in claim 3 is a detection feasibility judging means for judging whether the eye gaze can be detected by the eye gaze detecting means (for example, step S12 in the embodiment, step S27, a sensor shielding determination unit 64) and alarm means for outputting an alarm to the driver when it is determined by the detection possibility determination means that detection of the line of sight is impossible (for example, step S28 in the embodiment, Step S30 and an alarm device 14).

上記構成の視線検出装置によれば、検出可否判定手段は、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合や、例えば撮影手段の異常により撮影画像が得られない場合等において、視線の検出が可能ではないと判定する。そして、警報手段は、視線を検出することができないことを運転者に通知する警報を出力する。これにより、例えば撮影手段の撮影方向が遮られていることや、例えば撮影手段が異常状態であることを運転者に認識させ、例えば遮蔽状態の解消等の適切な動作を実行させることができる。 According to the line-of-sight detection device having the above-described configuration, the detection possibility determination unit may be, for example, a case where the shooting direction of the shooting unit is temporarily blocked and a captured image of the driver's eyeball or face cannot be obtained, or an abnormality in the shooting unit, for example. It is determined that the line of sight cannot be detected, for example, when a photographed image cannot be obtained. The alarm means outputs an alarm notifying the driver that the line of sight cannot be detected. Thereby, for example, the driver can recognize that the photographing direction of the photographing unit is blocked, or the photographing unit is in an abnormal state, for example, and an appropriate operation such as cancellation of the shielding state can be performed.

本発明の視線検出装置によれば、例えば撮影手段の撮影方向が一時的に遮られて運転者の眼球や顔の撮影画像が得られない場合や、例えば撮影手段の異常により撮影画像が得られない場合等であっても、運転者の視線に基づき実行される各種の制御動作を、視線の推定値により適切に作動させることができる。
さらに、請求項３に記載の本発明の視線検出装置によれば、例えば撮影手段の撮影方向が遮られていることや、例えば撮影手段が異常状態であることを運転者に認識させ、撮像手段の遮蔽状態の解消等の適切な動作を実行させることができる。 According to the line-of-sight detection device of the present invention, for example, when the photographing direction of the photographing unit is temporarily blocked and a photographed image of the driver's eyeball or face cannot be obtained, or a photographed image is obtained due to, for example, an abnormality in the photographing unit. Even in a case where there is not, it is possible to appropriately operate various control operations executed based on the driver's line of sight based on the estimated value of the line of sight.
Furthermore, according to the line-of-sight detection device of the present invention as set forth in claim 3, for example, the driver is made aware that the photographing direction of the photographing means is blocked or that the photographing means is in an abnormal state, for example. It is possible to execute an appropriate operation such as cancellation of the shielding state.

以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば車両の走行安全装置に具備され、この走行安全装置１は、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された制御装置１１と、視線センサ１２と、外界センサ１３と、警報装置１４とを備えて構成されている。 Hereinafter, a gaze detection apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.
The line-of-sight detection device 10 according to the present embodiment is provided in, for example, a vehicle travel safety device, and the travel safety device 1 includes a CPU or the like for detecting the line of sight of the driver of the host vehicle, for example, as shown in FIG. The control device 11 is configured by an electronic circuit including the visual line sensor 12, the external sensor 13, and the alarm device 14.

視線センサ１２は、例えば図２および図３に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等の視線用カメラ２１と、視線用画像処理部２２とを備えて構成されている。
視線用カメラ２１は、制御装置１１の制御により、例えば視線用カメラ２１に具備される赤外線照射装置から運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。
視線用画像処理部２２は、視線用カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。 For example, as shown in FIGS. 2 and 3, the line-of-sight sensor 12 is provided on an instrument panel, an upper dashboard, or the like in a vehicle interior, and can be imaged in a visible light region or an infrared region, for example, a CCD camera or a C-MOS camera. And a line-of-sight camera 21 and a line-of-sight image processing unit 22.
The line-of-sight camera 21 is controlled by the control device 11, for example, from the reflection of infrared rays emitted from the infrared irradiation device provided in the line-of-sight camera 21 toward the driver's face or eyeball, or from the driver's face or eyeball. Shoot the reflected visible light.
The line-of-sight image processing unit 22 performs predetermined image processing such as filtering and binarization processing on the image obtained by capturing with the line-of-sight camera 21, and generates image data including pixels of a two-dimensional array. And output to the control device 11.

外界センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ３１および画像処理部３２と、例えばレーザ光やミリ波等のレーダ３３およびレーダ制御部３４とを備えて構成されている。
カメラ３１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部３２は、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。 The external sensor 13 includes, for example, a camera 31 and an image processing unit 32 such as a CCD camera or a C-MOS camera that can be imaged in the visible light region and the infrared region, and a radar 33 and a radar control unit such as a laser beam and a millimeter wave. 34.
For example, as shown in FIG. 2, the camera 31 is arranged at a position near the rear-view mirror on the vehicle interior side of the front window, and images the outside of a predetermined detection range in front of the host vehicle through the front window.
The image processing unit 32 performs predetermined image processing such as filtering or binarization processing on the image obtained by the camera 31 to generate image data composed of pixels of a two-dimensional array, and the control device 11 to output.

レーダ３３は、例えば図２に示すように自車両のボディのノーズ部や車室内のフロントウィンド近傍等に配置され、制御装置１１からレーダ制御部３４へ入力される制御指令に応じたレーダ制御部３４の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体（検知対象物）によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して制御装置１１へ出力する。 For example, as shown in FIG. 2, the radar 33 is arranged near the nose of the body of the host vehicle, the front window in the passenger compartment, or the like, and a radar control unit according to a control command input from the control device 11 to the radar control unit 34. Under the control of 34, a transmission signal such as a laser beam or millimeter wave is transmitted in an appropriate detection direction (for example, forward in the traveling direction of the host vehicle), and the transmission signal is transmitted to an object (detection target) outside the host vehicle. The reflection signal generated by being reflected by the object is received, the reflection signal and the transmission signal are mixed, and a beat signal is generated and output to the control device 11.

警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。 The alarm device 14 includes, for example, a tactile transmission device 41, a visual transmission device 42, and an auditory transmission device 43.
The tactile transmission device 41 is, for example, a seat belt device, a steering control device, or the like. The tactile transmission device 41 generates a predetermined tension on the seat belt, for example, in response to a control signal input from the control device 11 so For example, a perceivable tightening force is applied, or vibration (steering vibration) that can be perceived tactilely by the driver of the host vehicle is generated on the steering wheel, for example.
The visual transmission device 42 is, for example, a display device, and displays predetermined alarm information or blinks a predetermined alarm light on the display device, for example, in accordance with a control signal input from the control device 11.
The auditory transmission device 43 is, for example, a speaker or the like, and outputs a predetermined alarm sound, voice, or the like according to a control signal input from the control device 11.

制御装置１１は、視線センサ１２から画像データが入力される視線検知部５１と、外界センサ１３から画像データおよびビート信号が入力される物体検知部５３と、判定部５５とを備えて構成されている。
そして、視線検知部５１は、例えば視線算出部６１と、視線ベクトル記憶部６２と、視線推定部６３と、センサ遮蔽判定部６４と、タイマー６５とを備えて構成されている。
視線算出部６１は、視線センサ１２から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。そして、算出した視線ベクトルを視線ベクトル記憶部６２に格納する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。 The control device 11 includes a line-of-sight detection unit 51 to which image data is input from the line-of-sight sensor 12, an object detection unit 53 to which image data and a beat signal are input from the external sensor 13, and a determination unit 55. Yes.
The line-of-sight detection unit 51 includes, for example, a line-of-sight calculation unit 61, a line-of-sight vector storage unit 62, a line-of-sight estimation unit 63, a sensor shielding determination unit 64, and a timer 65.
The line-of-sight calculation unit 61 performs recognition processing such as feature amount calculation and shape determination on the image data input from the line-of-sight sensor 12 using, for example, the driver's face and eyeball as a detection target, and the detected detection target Then, the driver's line-of-sight vector (line-of-sight direction) is calculated, and the line-of-sight target position is calculated based on the line-of-sight vector. Then, the calculated line-of-sight vector is stored in the line-of-sight vector storage unit 62.
In the image data recognition processing, in the feature amount calculation processing, for example, extraction and labeling of detection objects based on pixel continuity is performed on the image data after binarization processing, and the extracted detection objects The center of gravity and area of the image, the aspect ratio of the circumscribed rectangle, and the like are calculated. In the shape determination process, for example, a search on image data is performed based on a predetermined pattern (for example, an outline) stored in advance, and a detection target is extracted according to the similarity to the predetermined pattern.

視線ベクトル記憶部６２は、所定時間以内の過去に算出された視線ベクトルを時系列データとして記憶する。
視線推定部６３は、視線ベクトル記憶部６２に格納されている視線ベクトルを取得して、運転者の現在の視線の視線ベクトルおよび対象位置を推定する。
センサ遮蔽判定部６４は、例えば、視線センサ１２の出力に運転者の顔や眼球以外の物体が撮像された画像データが含まれているか否か、さらには、視線センサ１２の出力に画像データが含まれているか否か等を判定することによって、視線センサ１２の検知方向を遮る遮蔽物の有無、さらには、視線センサ１２が異常状態であるか否かを判定する。
そして、センサ遮蔽判定部６４は、視線センサ１２の検知方向を遮る遮蔽物の有無、さらには、視線センサ１２が異常状態であるか否かの判定結果に応じて、警報装置１４を作動させる。 The line-of-sight vector storage unit 62 stores the line-of-sight vector calculated in the past within a predetermined time as time series data.
The line-of-sight estimation unit 63 acquires the line-of-sight vector stored in the line-of-sight vector storage unit 62, and estimates the line-of-sight vector and the target position of the driver's current line of sight.
For example, the sensor shielding determination unit 64 determines whether or not the output of the line-of-sight sensor 12 includes image data obtained by capturing an object other than the driver's face and eyeballs. Further, the output of the line-of-sight sensor 12 includes image data. By determining whether or not it is included, it is determined whether or not there is an obstacle that blocks the detection direction of the line-of-sight sensor 12, and further whether or not the line-of-sight sensor 12 is in an abnormal state.
Then, the sensor shielding determination unit 64 activates the alarm device 14 according to the presence or absence of a shielding object that blocks the detection direction of the line-of-sight sensor 12 and the determination result of whether or not the line-of-sight sensor 12 is in an abnormal state.

物体検知部５３は、例えば相対位置・相対距離算出部７１と、移動状態判定部７２とを備えて構成されている。
相対位置・相対距離算出部７１は、外界センサ１３から入力される画像データに対して、例えば他の車両や歩行者等の移動体や障害物や標識等の物体を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物と自車両との相対位置および相対距離を算出する。例えば、外界センサ１３のカメラ１３がステレオカメラである場合や、カメラ１３が複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により、他の車両や歩行者等の移動体や障害物や標識等の物体の相対位置および相対距離を算出する。さらに、検知対象物の時刻間追跡、すなわちサンプリング周期毎に抽出した検知対象物の同一性判定を行い、相対位置を時系列位置データとしてメモリ等に格納することによって、検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
また、相対位置・相対距離算出部７１は、例えば外界センサ１３から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
移動状態判定部７２は、検知対象物の移動状態に応じて、検知対象物が、例えば他の車両や歩行者等の移動体であるか、あるいは、障害物や標識等の静止物であるかを判定する。 The object detection unit 53 includes, for example, a relative position / relative distance calculation unit 71 and a movement state determination unit 72.
The relative position / relative distance calculation unit 71 uses, for example, a moving object such as another vehicle or a pedestrian or an object such as an obstacle or a sign as a detection target for the image data input from the external sensor 13. Recognition processing such as calculation and shape discrimination is performed, and the relative position and relative distance between the recognized detection object and the host vehicle are calculated. For example, when the camera 13 of the external sensor 13 is a stereo camera, or when the camera 13 is configured to include a plurality of cameras, other vehicles or pedestrians may be obtained by triangulation based on a plurality of image data. The relative positions and relative distances of moving objects such as obstacles and objects such as obstacles and signs are calculated. Furthermore, by tracking the detection target object between times, that is, determining the identity of the detection target object extracted at each sampling cycle, and storing the relative position in a memory or the like as time series position data, the movement state of the detection target object ( For example, a moving speed, a moving direction, etc.) are calculated.
Further, the relative position / relative distance calculation unit 71, for example, based on the frequency f (beat frequency) of the beat signal input from the external sensor 13, the relative distance to the detection target in a predetermined detection area and the detection target. The movement state (for example, movement speed, movement direction, etc.) is calculated.
The movement state determination unit 72 determines whether the detection object is a moving body such as another vehicle or a pedestrian, or a stationary object such as an obstacle or a sign, depending on the movement state of the detection object. Determine.

判定部５５は、例えば見落とし判定部８１と、危険判定部８２とを備えて構成されている。
見落とし判定部８１は、視線検知部５１から出力される運転者の視線の対象位置と、物体検知部５３から出力される物体の相対位置とに基づき、運転者が物体を視認しているか否かを判定する。
危険判定部８２は、見落とし判定部８１にて運転者が視認していない、つまり運転者が見落としていると判定された物体の危険度（例えば、自車両の走行の支障となる可能性等）を算出する。この物体の危険度は、例えば物体の相対位置および相対距離および移動状態に加えて、自車両の移動状態（例えば、移動速度や移動方向等）に基づき算出される。そして、自車両の移動状態は、例えば車両状態量センサ（図示略）を構成する車速センサや舵角センサやヨーレートセンサや傾斜センサや方向指示器の作動状態を検知するセンサ等の各センサから出力される検出信号に基づき算出される。例えば、車速センサは車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度を検出し、舵角センサはステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ヨーレートセンサは車両重心の上下方向軸回りの回転角であるヨー角およびヨー角の変化量（ヨーレート）等を検出し、傾斜センサは車両重心の水平軸周りの回転角であるピッチ角およびピッチ角の変化量等を検出する。
そして、判定部５５は、危険判定部８２にて算出した危険度に応じて警報装置１４を作動させる。 The determination unit 55 includes, for example, an oversight determination unit 81 and a danger determination unit 82.
The oversight determination unit 81 determines whether or not the driver is viewing the object based on the target position of the driver's line of sight output from the line-of-sight detection unit 51 and the relative position of the object output from the object detection unit 53. Determine.
The risk determination unit 82 is an object that is not visually recognized by the oversight determination unit 81, that is, a risk level of an object determined to be overlooked by the driver (for example, a possibility of hindering traveling of the host vehicle). Is calculated. The risk level of this object is calculated based on the moving state (for example, moving speed, moving direction, etc.) of the host vehicle in addition to the relative position and relative distance and moving state of the object, for example. The moving state of the host vehicle is output from each sensor such as a vehicle speed sensor, a rudder angle sensor, a yaw rate sensor, a tilt sensor, or a sensor that detects the operating state of a direction indicator that constitutes a vehicle state quantity sensor (not shown). Calculated based on the detected signal. For example, the vehicle speed sensor detects the vehicle travel distance per unit processing time, that is, the speed of the host vehicle based on the rotational speed of the wheels, etc., and the steering angle sensor is from a rotary encoder provided on a steering shaft (not shown). Thus, the direction and magnitude of the steering angle input by the driver are detected. The yaw rate sensor detects the yaw angle, which is the rotation angle around the vertical axis of the vehicle center of gravity, and the amount of change in yaw angle (yaw rate), etc. The tilt sensor is the pitch angle and pitch angle, which is the rotation angle around the horizontal axis of the vehicle gravity center. The amount of change is detected.
Then, the determination unit 55 activates the alarm device 14 according to the degree of risk calculated by the risk determination unit 82.

本実施の形態による視線検出装置１０は上記構成（例えば、視線センサ１２と制御装置１１の視線検知部５１）を備えており、次に、この視線検出装置１０を具備する走行安全装置１の動作について説明する。 The line-of-sight detection device 10 according to the present embodiment includes the above-described configuration (for example, the line-of-sight sensor 12 and the line-of-sight detection unit 51 of the control device 11). Next, the operation of the traveling safety device 1 including the line-of-sight detection device 10 is described. Will be described.

先ず、以下に、制御装置１１の判定部５５の動作について説明する。
例えば図４に示すステップＳ０１においては、外界センサ１３から出力される画像データおよびビート信号に基づく物体の検知結果、例えば相対位置、相対距離、移動状態の各情報を取得する。
次に、ステップＳ０２においては、視線検知部５１の検知結果、例えば運転者の現在の視線の視線ベクトルおよび対象位置の各情報を取得する。
次に、ステップＳ０３においては、視線の対象位置の情報を取得したか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０４に進み、取得した物体の検知結果に基づき、物体の危険度を算出し、後述するステップＳ０８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。 First, the operation of the determination unit 55 of the control device 11 will be described below.
For example, in step S01 shown in FIG. 4, the detection result of the object based on the image data output from the external sensor 13 and the beat signal, for example, each information on the relative position, the relative distance, and the moving state is acquired.
Next, in step S02, the detection result of the line-of-sight detection unit 51, for example, each information on the line-of-sight vector of the driver's current line of sight and the target position is acquired.
Next, in step S03, it is determined whether information on the target position of the line of sight has been acquired.
If this determination is “NO”, the flow proceeds to step S 04, the risk level of the object is calculated based on the acquired detection result of the object, and the flow proceeds to step S 08 described later.
On the other hand, if this determination is “YES”, the flow proceeds to step S 05.

ステップＳ０５においては、取得した物体の検知結果および視線の対象位置に基づき、例えば物体の相対位置と視線の対象位置とが一致するか否か、あるいは、視線ベクトルが物体の相対位置を含むか否か等を判定することによって、運転者が検知対象を見落としているか否かを判定する。
そして、ステップＳ０６においては、ステップＳ０５において見落としが有ると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、運転者は検知された物体を視認していると判断して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、運転者は検知された物体を見落としていると判断して、ステップＳ０７に進む。 In step S05, based on the acquired detection result of the object and the target position of the line of sight, for example, whether the relative position of the object matches the target position of the line of sight, or whether the line-of-sight vector includes the relative position of the object. It is determined whether or not the driver has overlooked the detection target.
In step S06, it is determined whether or not there is an oversight in step S05.
When the determination result is “NO”, it is determined that the driver is viewing the detected object, and the series of processes is terminated.
On the other hand, if the determination result is “YES”, the driver determines that the detected object has been overlooked, and proceeds to step S07.

ステップＳ０７においては、運転者が見落としていると判定された物体の危険度を算出する。
そして、ステップＳ０８においては、算出した危険度が所定値よりも大きいか否かを判定する。
ステップＳ０８の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ０８の判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進み、警報装置１４を作動させ、一連の処理を終了する。 In step S07, the degree of danger of the object determined to be overlooked by the driver is calculated.
In step S08, it is determined whether the calculated degree of risk is greater than a predetermined value.
If the determination result in step S08 is “NO”, the series of processes is terminated.
On the other hand, when the determination result of step S08 is “YES”, the process proceeds to step S09, the alarm device 14 is activated, and the series of processes is ended.

以下に、制御装置１１の視線検知部５１の動作について説明する。
先ず、図５に示すステップＳ１１においては、視線センサ１２の出力を取得する。
次に、ステップＳ１２においては、取得した出力の信号に所定の画像データ、例えば運転者の顔や眼球が撮像された画像データが含まれているか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
ステップＳ１３においては、タイマー６５が作動中であるか否かを判定する。
ステップＳ１３の判定結果が「ＮＯ」の場合には、後述するステップＳ１５に進む。
一方、ステップＳ１３の判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、タイマー６５の作動を停止して、ステップＳ１５に進む。
ステップＳ１５においては、取得した画像データに基づき、運転者の視線の視線ベクトルを算出する。 Below, operation | movement of the gaze detection part 51 of the control apparatus 11 is demonstrated.
First, in step S11 shown in FIG. 5, the output of the line-of-sight sensor 12 is acquired.
Next, in step S12, it is determined whether or not the acquired output signal includes predetermined image data, for example, image data obtained by imaging the driver's face or eyeball.
If this determination is “NO”, the flow proceeds to step S 20 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S13.
In step S13, it is determined whether or not the timer 65 is operating.
When the determination result of step S13 is “NO”, the process proceeds to step S15 described later.
On the other hand, when the determination result of step S13 is “YES”, the process proceeds to step S14, the operation of the timer 65 is stopped, and the process proceeds to step S15.
In step S15, a gaze vector of the driver's gaze is calculated based on the acquired image data.

そして、ステップＳ１６においては、算出した視線ベクトルを視線ベクトル記憶部６２に格納する。
そして、ステップＳ１７においては、視線ベクトル記憶部６２に格納されている視線ベクトルのうち、所定時間以前の視線ベクトルを消去する。
そして、ステップＳ１８においては、算出した視線ベクトルに基づき視線の対象位置を算出する。
そして、ステップＳ１９においては、算出した対象位置を判定部５５へ出力して、一連の処理を終了する。 In step S 16, the calculated line-of-sight vector is stored in the line-of-sight vector storage unit 62.
In step S 17, the line-of-sight vector before a predetermined time is deleted from the line-of-sight vectors stored in the line-of-sight vector storage unit 62.
In step S18, the target position of the line of sight is calculated based on the calculated line-of-sight vector.
In step S19, the calculated target position is output to the determination unit 55, and the series of processing ends.

また、ステップＳ２０においては、タイマー６５が作動中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２１に進み、タイマー６５の作動を開始し、ステップＳ２２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２２に進む。
ステップＳ２２においては、タイマー６５のタイマー値が所定の第１閾時間以下か否かを判定する。
ステップＳ２２の判定結果が「ＮＯ」の場合には、後述するステップＳ２６に進む。
一方、ステップＳ２２の判定結果が「ＹＥＳ」の場合には、ステップＳ２３に進む。 In step S20, it is determined whether or not the timer 65 is operating.
If this determination is “NO”, the flow proceeds to step S21, the timer 65 starts operating, and the flow proceeds to step S22.
On the other hand, if this determination is “YES”, the flow proceeds to step S22.
In step S22, it is determined whether or not the timer value of the timer 65 is equal to or shorter than a predetermined first threshold time.
If the determination result of step S22 is “NO”, the process proceeds to step S26 described later.
On the other hand, if the determination result of step S22 is “YES”, the process proceeds to step S23.

そして、ステップＳ２３においては、視線ベクトル記憶部６２に、過去の視線ベクトルが格納されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進む。
ステップＳ２４においては、視線ベクトル記憶部６２に格納されている視線ベクトルを取得する。
そして、ステップＳ２５においては、取得した視線ベクトルに基づき、現在の運転者の視線ベクトルを推定すると共に、推定した現在の視線ベクトルに基づき視線の対象位置を算出し、上述したステップＳ１９に進む。 In step S23, it is determined whether or not a past line-of-sight vector is stored in the line-of-sight vector storage unit 62.
If this determination is “NO”, the flow proceeds to step S 31 described later.
On the other hand, if this determination is “YES”, the flow proceeds to step S24.
In step S24, the line-of-sight vector stored in the line-of-sight vector storage unit 62 is acquired.
In step S25, the current driver's line-of-sight vector is estimated based on the acquired line-of-sight vector, the line-of-sight target position is calculated based on the estimated current line-of-sight vector, and the process proceeds to step S19 described above.

また、ステップＳ２６においては、取得した視線センサ１２の出力に基づき、例えば取得した出力に画像データが含まれている場合に、運転者の顔や眼球以外の物体が撮像されているか否かを判定することにより、視線センサ１２の検知方向を遮る遮蔽物の有無を判定する。
そして、ステップＳ２７においては、ステップＳ２６において遮蔽物があると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、視線センサ１２が異常状態であると判断して、後述するステップＳ３０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２８に進む。
ステップＳ２８においては、警報装置１４を作動させ、視線センサ１２の検知方向を遮る遮蔽物が存在することを報知する。
そして、ステップＳ２９においては、タイマー６５のタイマー値が、所定の第１閾時間よりも長い第２閾時間以下であるか否かを判定する。
ステップＳ２９の判定結果が「ＹＥＳ」の場合には、上述したステップＳ２３に進む。
一方、ステップＳ２９の判定結果が「ＮＯ」の場合、つまり視線センサ１２の検知方向を遮る遮蔽物が存在することを報知してから所定第２閾時間を超える時間が経過した場合には、後述するステップＳ３１に進む。 In step S26, based on the acquired output of the line-of-sight sensor 12, for example, when image data is included in the acquired output, it is determined whether an object other than the driver's face or eyeball is being imaged. By doing this, it is determined whether or not there is an obstruction that obstructs the detection direction of the line-of-sight sensor 12.
In step S27, it is determined whether or not it is determined in step S26 that there is an obstruction.
When the determination result is “NO”, it is determined that the visual line sensor 12 is in an abnormal state, and the process proceeds to Step S30 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S28.
In step S 28, the alarm device 14 is activated to notify that there is a shielding object that blocks the detection direction of the line-of-sight sensor 12.
In step S29, it is determined whether or not the timer value of the timer 65 is equal to or shorter than a second threshold time longer than a predetermined first threshold time.
If the determination result of step S29 is “YES”, the process proceeds to step S23 described above.
On the other hand, if the determination result in step S29 is “NO”, that is, if a time exceeding a predetermined second threshold time has elapsed since the notification that there is an obstruction that blocks the detection direction of the eye sensor 12, The process proceeds to step S31.

また、ステップＳ３０においては、警報装置１４を作動させ、視線センサ１２が異常状態であることを報知する。
そして、ステップＳ３１においては、運転者の視線を検知不可であって、視線の対象位置を算出することができないことを示す信号を判定部５５に出力し、一連の処理を終了する。 In step S30, the alarm device 14 is activated to notify that the visual line sensor 12 is in an abnormal state.
In step S31, a signal indicating that the driver's line of sight cannot be detected and the target position of the line of sight cannot be calculated is output to the determination unit 55, and the series of processes ends.

上述したように、本実施の形態による視線検出装置１０によれば、運転者の視線を検出することができない場合であっても、検出が不可となってからの経過時間が所定第１閾時間以内で有れば過去に検出された視線ベクトルに基づいて運転者の視線を精度良く推定することができる。
そして、検出が不可となってからの経過時間が所定第１閾時間を超えた場合には、視線センサ１２の検知方向を遮る遮蔽物の有無を判定し、この判定結果に応じて警報装置１４を作動させることによって、単に、移動可能な遮蔽物が存在する場合には、この遮蔽物を移動させることを運転者に促すことができる。また、遮蔽物が存在しない場合には、視線センサ１２に異常が生じたと判定することによって、適切な故障検知を行うことができる。
また、遮蔽物の存在を検知して警報を出力した場合であっても、検出が不可となってからの経過時間が所定第２閾時間を超えた場合には、視線の検出が不可であると判断することによって、過剰な頻度や期間に亘って警報が出力されてしまうことを防止することができる。 As described above, according to the line-of-sight detection device 10 according to the present embodiment, even if it is not possible to detect the driver's line of sight, the elapsed time since the detection becomes impossible is a predetermined first threshold time. If it is within the range, the driver's line of sight can be accurately estimated based on the line-of-sight vector detected in the past.
And when the elapsed time after detection becomes impossible exceeds predetermined 1st threshold time, the presence or absence of the obstruction which obstructs the detection direction of the line-of-sight sensor 12 is judged, and alarm device 14 according to this judgment result By actuating, the driver can be urged to simply move the shield if there is a movable shield. Further, when there is no shielding object, appropriate failure detection can be performed by determining that an abnormality has occurred in the line-of-sight sensor 12.
Further, even when the presence of the shielding object is detected and an alarm is output, the line of sight cannot be detected if the elapsed time after the detection becomes impossible exceeds the predetermined second threshold time. It can be prevented that an alarm is output over an excessive frequency or period.

本発明の一実施形態に係る走行安全装置の構成図である。It is a lineblock diagram of the travel safety device concerning one embodiment of the present invention. 図１に示す視線センサおよび外界センサを搭載した車両を示す斜視図である。It is a perspective view which shows the vehicle carrying the gaze sensor and external field sensor which are shown in FIG. 図１に示す視線センサを搭載した車両を示す斜視図である。It is a perspective view which shows the vehicle carrying the gaze sensor shown in FIG. 図１に示す走行安全装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the driving safety apparatus shown in FIG. 図１に示す視線センサの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the gaze sensor shown in FIG.

Explanation of symbols

１０視線検出装置
１４警報装置（警報手段）
２１視線用カメラ（撮影手段）
６１視線算出部（視線検出手段）
６２視線ベクトル記憶部（視線記憶手段）
６３視線推定部（視線推定手段）
６４センサ遮蔽判定部（検出可否判定手段）
ステップＳ１２，ステップＳ２７検出可否判定手段
ステップＳ２８，ステップＳ３０警報手段

10 Gaze detection device 14 Alarm device (alarm means)
21 Gaze camera (photographing means)
61 Gaze Calculation Unit (Gaze Detection Unit)
62 Eye Gaze Vector Storage Unit (Gaze Memory Means)
63 Gaze estimation unit (gaze estimation means)
64 Sensor shielding determination part (detection possibility determination means)
Step S12, Step S27 Detectability determination means Step S28, Step S30 Alarm means

Claims

Photographing means for photographing the eyeball or face of the driver of the own vehicle, and gaze detection means for detecting the driver's gaze based on a photographed image obtained by photographing of the photographing means;
Line-of-sight storage means for storing the line of sight detected by the line-of-sight detection means;
A line-of-sight detection device comprising: line-of-sight estimation means for estimating a driver's current line of sight based on the line of sight stored in the line-of-sight storage means.

A detection enable / disable determining unit that determines whether the line of sight can be detected by the line of sight detection unit;
The line-of-sight estimation means estimates the driver's current line-of-sight based on the line of sight stored in the line-of-sight storage means when the detection possibility determination means determines that the detection of the line of sight is impossible. The line-of-sight detection device according to claim 1.

Detection possibility determination means for determining whether or not the line of sight can be detected by the line of sight detection means;
The gaze detection apparatus according to claim 1, further comprising a warning unit that outputs a warning to the driver when the gaze detection is determined to be impossible by the detection possibility determination unit.