JP2017224067A - Looking aside state determination device - Google Patents
Looking aside state determination device Download PDFInfo
- Publication number
- JP2017224067A JP2017224067A JP2016117655A JP2016117655A JP2017224067A JP 2017224067 A JP2017224067 A JP 2017224067A JP 2016117655 A JP2016117655 A JP 2016117655A JP 2016117655 A JP2016117655 A JP 2016117655A JP 2017224067 A JP2017224067 A JP 2017224067A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- visual feature
- visual
- determination
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims description 20
- 230000007717 exclusion Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 10
- 239000005357 flat glass Substances 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、わき見状態判定装置に関するものである。 The present invention relates to a side-view state determination apparatus.
運転者のわき見は、安全運転を行う上で好ましくないものである。特許文献1には、視線が動くときに生じる跳躍運動の1回あたりの移動量から、進行方向を見ていないときのわき見を判定するものが開示されている。 A driver's side-view is not preferable for safe driving. Patent Document 1 discloses a method for determining a side look when the traveling direction is not viewed from the amount of movement per jumping motion that occurs when the line of sight moves.
わき見の中には、車両の進行方向を見ていない一般的なわき見の他、進行方向を見ているるが、注視すべき物を見ていないときのわき見(「進行方向わき見」と定義する)がある。すなわち、運転者の注意力が散漫なとき等は、運転者の視線が車両の前方を向いていても(視線方向が車両前方方向であって)、車両前方に存在する危険物等の視認すべき視認対象物を十分に見ていないために、事実上わき見状態となっていることがある。なお、特許文献2には、運転者の脳波に基づいて、運転者の視線方向が前方を向いている状態でのわき見を判定するものが開示されている。 In the sideways, in addition to the general sideways that do not look at the direction of travel of the vehicle, the sideways direction is seen, but the sideways when the object to be watched is not being looked at (defined as “advancing direction sideways”) ) That is, when the driver's attention is distracted, etc., even if the driver's line of sight is facing the front of the vehicle (the line of sight is the front direction of the vehicle), a dangerous object or the like existing in front of the vehicle is visually recognized. Since the object to be visually recognized is not sufficiently viewed, there is a case where the object is actually a side view. Patent Document 2 discloses a method for determining a sidewalk in a state where the driver's line-of-sight direction is directed forward based on the driver's brain waves.
上述した進行方向わき見つまり視線方向わき見であるか否かを判定するために、特許文献2に記載のように運転者の脳波を用いることは一般的でなく(脳波検出装置がかなり大掛かりでコスト高)、より簡便な手法で判定できるようにすることが望まれる。また、わき見であるか否かを判定するには、注視すべき対象物を特定する必要があるが、この注視すべき対象物をいかに的確に特定するかも問題になる。 It is not common to use a driver's brain wave as described in Patent Document 2 in order to determine whether or not the above-described traveling direction side-viewing, that is, the gaze direction side-seeing (the brain wave detection device is quite large and costly. ), It is desired to be able to make a determination by a simpler method. Further, in order to determine whether or not it is a side-viewing, it is necessary to specify an object to be watched, but how to accurately specify the object to be watched is also a problem.
本発明は以上のような事情を勘案してなされたもので、その目的は、注視すべき対象物を的確に特定しつつ、簡便な手法により視線方向わき見を判定できるようにしたわき見状態判定装置を提供することにある。 The present invention has been made in view of the circumstances as described above, and the purpose thereof is a side-view state determination device that can determine a side-of-sight direction look by a simple method while accurately identifying an object to be watched. Is to provide.
前記目的を達成するため、本発明にあっては、次のような解決手法を採択してある。すなわち、請求項1に記載のように、
わき見の判定対象者の視線方向にある風景を撮像する撮像手段と、
前記撮像手段で取得された撮像画像から、判定対象者が注視すべき視認対象物となる視覚的特徴点を検出する視覚特徴点検出手段と、
前記判定対象者の注視点を検出する注視点検出手段と、
前記視覚特徴点検出手段により検出された視覚特徴点と前記注視点検出手段により検出された注視点とに基づいて、判定対象者が前記視覚特徴点を見ていないわき見であるか否かを判定するわき見判定手段と、
を備えているようにしてある。判定対象者が注視すべき対象物を視覚特徴点検出手段によって的確に特定することができる。そして、特定された視覚特徴点と判定対象者の注視点とに基づくという簡便な手法によって視線方向わき見であるか否かを判定することができる。
In order to achieve the above object, the following solution is adopted in the present invention. That is, as described in claim 1,
Imaging means for imaging a landscape in the direction of the line of sight of the person to be judged by the side,
Visual feature point detection means for detecting a visual feature point that is a visual recognition object to be watched by a determination target person from a captured image acquired by the imaging means;
Gazing point detection means for detecting the gazing point of the determination target person;
Based on the visual feature point detected by the visual feature point detection unit and the gazing point detected by the gazing point detection unit, it is determined whether or not the determination target person is a side view that does not see the visual feature point. A side look determination means;
It is supposed to be equipped with. The target object to be watched by the determination target person can be accurately specified by the visual feature point detection means. And it can be determined whether it is a gaze direction side look by the simple method of being based on the specified visual feature point and the gaze point of a judgment subject.
上記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記わき見判定手段は、前記注視点の前記視覚特徴点への視線移動頻度があらかじめ設定された所定値以下のときに、わき見であると判定する、ようにしてある(請求項2対応)。この場合、わき見することなく視覚特徴点を視認しているときは、視覚特徴点に対する視線移動の頻度が高くなることから、この視線移動の頻度に基づいてわき見であるか否かを精度よく判定することができる。
A preferred mode based on the above solution is as described in claim 2 and the following. That is,
The side-by-side determination unit determines that it is side-by-side when the line-of-sight movement frequency of the gazing point to the visual feature point is a predetermined value or less (corresponding to claim 2). In this case, when visually recognizing a visual feature point without looking aside, the frequency of line-of-sight movement with respect to the visual feature point increases, so it is accurately determined whether or not it is a side-by-side based on the frequency of line-of-sight movement. can do.
前記視覚特徴点検出手段は、前記撮像画像中における少なくとも輝度、色、エッジ方向、動きに基づいて視覚特徴点を検出する、ようにしてある(請求項3対応)。この場合、輝度、色、エッジ方向、動きというような人間が直感的に認識しやすいものを注視すべき(わき見によって見過ごしてはならない)視認対象物として特定して、注視すべき視認対象物をより的確に検出する上で好ましいものとなる。 The visual feature point detection means detects visual feature points based on at least luminance, color, edge direction, and movement in the captured image (corresponding to claim 3). In this case, it is necessary to pay attention to things that are easy for humans to recognize intuitively, such as brightness, color, edge direction, and movement, as visual objects that should not be overlooked. This is preferable for more accurate detection.
前記撮像画像中から、視認しなくともよい領域を除外する領域除外手段を備え、
前記視覚特徴点検出手段は、前記領域除外手段で領域除外された後の撮像画像に基づいて視覚特徴点を検出する、
ようにしてある(請求項4対応)。この場合、判定対象者の視認方向とは無関係な方向にある視覚特徴点等を、不必要に判定対象としてしまう事態を防止して、制御系の負担軽減やわき見であると誤って判定してしまう事態を防止する上でも好ましいものとなる。
From the captured image, comprising an area excluding means for excluding an area that does not need to be visually recognized,
The visual feature point detection means detects a visual feature point based on a captured image after the area is excluded by the area exclusion means;
(Corresponding to claim 4). In this case, it is possible to prevent a situation in which a visual feature point or the like in a direction unrelated to the visual recognition direction of the determination target person is unnecessarily determined as a determination target, and to erroneously determine that it is a control system load reduction or side effect. This is also preferable in preventing such a situation.
前記視覚特徴点検出手段は、危険対象物に限定して視覚特徴点を検出する、ようにしてある(請求項5対応)。この場合、わき見判定の対象とすべき視認対象物を的確に限定して、請求項4に対応した効果をより一層高める上で好ましいものとなる。 The visual feature point detecting means detects a visual feature point limited to a dangerous object (corresponding to claim 5). In this case, it is preferable to accurately limit the visual target object to be a side determination target and further enhance the effect corresponding to the fourth aspect.
前記判定対象者が、移動体を運転あるいは操縦する者とされ、
前記わき見判定手段は、前記判定対象者の視線方向が前記移動体の移動方向とほぼ一致していることを条件としてわき見の判定を行う、
ようにしてある(請求項6対応)。この場合、移動体の進行方向とは大きくずれた方向にある物体等をわき見判定の視認対象物として特定してしまう事態を防止して、進行方向わき見を的確に判定する上で好ましいものとなる。
The determination target person is a person who drives or steers the moving body,
The side-view determination unit performs side-by-side determination on the condition that the line-of-sight direction of the determination target person substantially matches the moving direction of the moving body.
(Corresponding to claim 6). In this case, it is preferable to accurately determine the traveling direction side effect by preventing a situation in which an object or the like in a direction greatly deviating from the traveling direction of the moving body is specified as a visual recognition target for the side performance determination. .
前記わき見判定手段によって前記判定対象者がわき見をしていると判定されたときに警報を行う警報手段を備えている、ようにしてある(請求項7対応)。この場合、わき見状態から視認対象物をきちんと視認する正常状態へと復帰させる上で好ましいものとなる。 An alarm unit is provided to perform an alarm when the determination target person determines that the determination target person is looking aside (corresponding to claim 7). In this case, it is preferable in returning from the side view state to the normal state in which the object to be viewed is properly viewed.
本発明によれば、注視すべき視覚特徴点を的確に特定しつつ、視線方向わき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。 According to the present invention, it is preferable to improve the safe driving by simply determining that the visual feature point to be watched is accurately determined while looking at the line of sight.
以下、本発明の実施形態について説明するが、実施形態では、判定対象者が移動体としての車両(実施形態では自動車)の運転者であり、したがって視線方向わき見の判定は、視線方向が車両の進行方向であるときとなる進行方向わき見について行うようにしてあ
まず、図1は、本発明の制御系統例をブロック図的に示すものであり、移動体としての自動車(自車両)に搭載されている。図中、Uはマイクロコンピュータを利用して構成されたコントローラ(制御ユニット)である。このコントローラUには、各種センサや機器類1〜4からの信号が入力される。すなわち、1は、自車両前方を撮像するカメラであり、このカメラ1により、自車両前方の周囲状況が取得される。なお、カメラ1をカラー方式のステレオカメラとすることにより、視認対象物までの距離や色をも検出することができる。なお、視認対象物までの距離の検出のために、別途レーダを利用することもできる。
Hereinafter, embodiments of the present invention will be described. In the embodiment, the determination target person is a driver of a vehicle (automobile in the embodiment) as a moving body. First, FIG. 1 is a block diagram showing an example of a control system according to the present invention, which is mounted on a vehicle (own vehicle) as a moving body. ing. In the figure, U is a controller (control unit) configured using a microcomputer. Signals from various sensors and devices 1 to 4 are input to the controller U. That is, reference numeral 1 denotes a camera that images the front of the host vehicle, and the camera 1 acquires a surrounding situation in front of the host vehicle. In addition, the distance and color to a visual recognition target object can also be detected by making the camera 1 into a color-type stereo camera. In addition, a radar can also be used separately for detecting the distance to the visually recognized object.
図1中、2は、車室内に搭載されたアイカメラであり、特に運転者の視線方向(注視方向)を検出するものとなっている。3は、各種センサを利用した車両状態検出手段であり、例えば、車速、加速度、ヨーレート、エンジン回転数、舵角、ワイパの作動状況(雨天、降雪等の検出用)、ライト作動状況(昼間、夜間の検出)等が検出される。4は、ナビゲーション装置であり、現在走行している道路の状況や前方の道路状況に関する情報((例えば高速道路、一般道路、直線路、カーブ路、交差点、各種道路標識や交通信号機の存在等)が取得される他、自車両位置情報等が取得される。 In FIG. 1, reference numeral 2 denotes an eye camera mounted in the passenger compartment, and particularly detects the driver's line-of-sight direction (gaze direction). 3 is a vehicle state detection means using various sensors, for example, vehicle speed, acceleration, yaw rate, engine speed, rudder angle, wiper operating status (for detecting rainy weather, snowfall, etc.), light operating status (daytime, Night detection) and the like are detected. Reference numeral 4 denotes a navigation device, which is information on the current road conditions and the road conditions ahead (for example, the presence of highways, general roads, straight roads, curved roads, intersections, various road signs, traffic signals, etc.) In addition to the vehicle position information and the like.
コントローラUは、後述するように、視認すべき対象物となるを示す視覚特徴点の検出と、この検出された視覚特徴点と運転者の視線(注視点)との比較結果に基づいて進行方向わき見をしているか否かを判定するわき見判定と、を行うようになっている。そして、進行方向わき見であると判定したときは、プロジェクションマッピング装置11、ヘッドアップディスプレイ12あるいはスピーカ13を制御して、運転者に注意喚起(警告)を行うようになっている。
As will be described later, the controller U detects a visual feature point indicating an object to be visually recognized, and a traveling direction based on a comparison result between the detected visual feature point and the driver's line of sight (gaze point). Side-by-side determination for determining whether or not side-by-side is being performed is performed. Then, when it is determined that the traveling direction is a side view, the
コントローラUは、視覚特徴点つまり運転者が視認すべき視認対象物を決定(抽出)するために、後述するように、サリエンシーモデル21のモデル系を有している。サリエンシーモデル21は、見た瞬間に視認されるもの(目立つもの)を視認対象物として決定するためのものであり、例えば、大きいもの、明るいもの(輝度が高いもの)、コントラストが強いもの(色)、周囲と異なるエッジ方向や動きをしている物等が対象となる。そして、サリエンシーモデル21には、車両前方に存在する多くの視認対象物のうち、特に危険となる視認対象物(例えば前方車両、対向車両、信号機、歩行者等々)の情報が数多く記憶されている。
The controller U has a model system of the
コントローラUは、データベース22を有しており、このデータベース22には、視認対象物を確実に注視しているときの当該視認対象物に対する視線移動の頻度(単位時間あたりの視線移動回数)を記憶している。すなわち、データベース22には、視認対象物が例えば交差点の信号機としたとき、注視状態であれば(わき見することなく信号機を見ている状態であれば)、この信号機に対して単位時間あたり何回以上視線移動するかという情報を対応づけて記憶している。そして、データベース22には、視認対象物として、信号機の他、歩行者、前方車両、対向車両等々、数多くの視認対象物について、道路状況や天候等々をも対応させつつ、上記視線移動回数が対応づけて記憶されている。
The controller U has a
次に、図2に基づいて、視認対象物となる視覚特徴点の検出手法について説明する。図2中、31はフロントウインドガラスで、ルーフパネル32の前縁部によってフロントウインドガラス31の上縁部(上枠部)が規定され、インストルメントパネル33の前縁部によってフロントウインドガラスの下縁部(下枠部)が規定され、左右のフロントピラー34R、34Lによってフロントウインドガラス31の左右縁部(左右枠部)が規定される。35R、35Lは左右のサイドミラー、36はバックミラー、37はメータパネル、38はステアリングハンドルである(図2では左ハンドル車となっている)。
Next, based on FIG. 2, the detection method of the visual feature point used as a visual recognition target object is demonstrated. In FIG. 2,
図2においては、フロントウインドガラス31を通して運転者により視認される前方の道路状況として、自車両が走行している走行車線が符号41で示され、対向車線が符号42で示され、その中央境界線が符号43で示される。車線41には、前方車両44が存在し、前方車両44の前方に信号機45が存在し、対向車線42の路肩沿いに点灯式の看板46が存在している。
In FIG. 2, as a road condition ahead that is visually recognized by the driver through the
図2において、サリエンシーモデル21においては、見た瞬間に目立つものを視認対象物として決定することから、すぐ前方を走行している前方車両44の他、信号機45と光っている看板46とが視認対象物として決定される。特に、前方車両44のブレーキランプが点灯された場合には、このブレーキランプが点灯された前方車両44は危険対象物とされ、また信黄色表示あるいは赤色表示のときにおける号機45も危険対象物とされる。
In FIG. 2, in the
カメラ1によって撮像された撮像画像には、少なくとも上記前方車両44、信号機45、看板46が視認対象物を示す視覚特徴点として表示されたものとなる。撮像画像中に含まれる全ての視覚特徴点のうち、わき見の対象とならない視覚特徴点も多く存在するのが実情である。例えば、車両の進行方向とは大きく左右にずれた位置にある看板46はわき見判定の対象外であり、また、フロントウインドガラス31の左上方領域も、わき見判定の対象外となる。さらに、フロントウインドガラス31の上縁部付近にある空の景色も判定対象外として問題のない領域となる。このため、わき見判定の対象となる視覚特徴点を抽出する(絞り込む)ために、例えば図3に示すように、撮像画像G中における領域R1とR2とはわき見判定する領域から除外するように処理される。
In the captured image captured by the camera 1, at least the
コントローラUは、進行方向わき見の判定を行う判定実行条件として、アイカメラ2によって検出される運転者の視線方向が、車両の進行方向とほぼ一致しているとき、つまり車両進行方向に対する視線方向のオフセット量が所定量(所定角度)以下のときとしてある。 The controller U, as a determination execution condition for determining a side-by-side traveling direction, is when the driver's line-of-sight direction detected by the eye camera 2 is substantially coincident with the vehicle traveling direction, that is, the line-of-sight direction relative to the vehicle traveling direction. This is when the offset amount is equal to or less than a predetermined amount (predetermined angle).
コントローラUは、運転者の視線方向(つまり注視点)が、図3に示すような撮像画像Gから検出される視覚特徴点となる例えば前方車両44、信号機45のそれぞれに対して、運転者の視線の移動頻度が所定値以下のときに、前方車両44あるいは信号機45を見ていないわき見状態(進行方向わき見状態)であると判定する。
The controller U determines the driver's line-of-sight direction (that is, the gazing point) with respect to each of the
次に、コントローラUの制御内容の詳細について、図4に示すフローチャートを参照しつつ説明する。なお、以下の説明でQはステップを示す。 Next, details of the control contents of the controller U will be described with reference to the flowchart shown in FIG. In the following description, Q indicates a step.
まず、Q1において、車両の車速、加速度、ヨーレート等の巣状態が読み込まれる。この後、Q2において、カメラ1によって撮像された前方状況(前方風景)を示す撮像画像が取得される。この後、Q3において、車両状態に応じて、視覚特徴点を抽出するための撮像画像中から除外する領域を設定するための前処理が行われる。すなわち、除外する領域として、例えば、車速が高いときや加速時には撮像画像中の左右領域が除外領域として設定され、ヨーレートが発生しているときは、カーブ走行なので曲がる方向とは反対側の領域が除外される。なお、このような除外領域の設定は一例であり、この他、車両状態や運転者状態(特に疲労状態)に応じて適宜除外領域を設定することもできる。 First, in Q1, nest states such as the vehicle speed, acceleration, and yaw rate of the vehicle are read. Thereafter, in Q2, a captured image showing the front situation (frontal landscape) captured by the camera 1 is acquired. Thereafter, in Q3, preprocessing for setting an area to be excluded from the captured image for extracting visual feature points is performed according to the vehicle state. In other words, for example, when the vehicle speed is high or acceleration, the left and right regions in the captured image are set as excluded regions, and when the yaw rate is occurring, the region on the side opposite to the direction of the curve is the curve to be excluded. Excluded. In addition, such setting of the exclusion area is an example. In addition, the exclusion area can be appropriately set according to the vehicle state and the driver state (particularly, the fatigue state).
Q4においては、Q3で設定された除外領域が除外された(補正された)後の撮像画像が取得される。この後、Q5において、除外領域を除いた撮像画像(例えば図3に示すように領域R1とR2を除外した撮像画像)から、視覚特徴点(領域)を示すサリエンシーが演算(抽出)される(図3の場合、前方車両44、信号機45が抽出される)。
In Q4, a captured image after the exclusion region set in Q3 is excluded (corrected) is acquired. Thereafter, in Q5, the saliency indicating the visual feature point (region) is calculated (extracted) from the captured image excluding the excluded region (for example, the captured image excluding the regions R1 and R2 as shown in FIG. 3) ( In the case of FIG. 3, the
Q5の後、Q6において、Q5で抽出された視覚特徴点のうち、危険領域が設定される。すなわち、視覚特徴点としては、例えば図3に示すように前方車両44および信号機45が抽出されるが、例えば、前方車両44においては特異な動きをしておらず、また前方車両44に対する車間距離も十分にあるときは、この前方車両44は特に危険対象物とする必要がないことになる。この一方、前方車両44との車間距離が小さすぎる場合や、ブレーキランプが点灯されたときは、この前方車両44の存在領域が危険領域とされる。一方、信号機45について、黄色表示あるいは赤色表示であるときは、信号機45が危険対象物であるとされる(青色表示であるときは危険対象物とされない)。このように、視覚特徴点が複数存在する場合は、その中から特に注意すべき危険対象物が絞り込まれることになる。
After Q5, in Q6, a dangerous area is set among the visual feature points extracted in Q5. That is, as the visual feature point, for example, the
上記Q6の後、Q7において、アイカメラ2によって、運転者の視線行動が検出される。この後、Q8において、Q6において絞り込まれた危険対象物(例えば信号機45)に対して行われた運転者の視線移動の頻度が演算される。 After Q6, the driver's gaze behavior is detected by the eye camera 2 at Q7. Thereafter, in Q8, the frequency of the driver's line-of-sight movement performed on the dangerous object (for example, the traffic light 45) narrowed down in Q6 is calculated.
Q8の後、Q9において、Q8で取得された視線移動の頻度が、データベース22に記憶された基準の視線頻度と比較されてる。この基準の視線移動の頻度は、危険対象物が例えば信号機45であるときは、データベース22に記憶されている信号機に対する視線移動の頻度のうち、例えば車両の現在の状況や信号機の表示状態に対応した視線移動の頻度が選択(抽出)される。Q9での比較は、Q8で取得された視線移動の頻度が、データベース22から抽出された基準の視線移動の頻度以上であるか否かの比較となる。
After Q8, in Q9, the line-of-sight movement frequency acquired in Q8 is compared with the reference line-of-sight frequency stored in the
この後、Q10において、注意状態の判定が行われる。このQ10での判定は、Q9での比較の結果が、Q8で3取得された視線移動の頻度が、データベース22から抽出された基準の視線移動の頻度以上であるときは、信号機45を注視している正常状態であって、注意低下ではないとされる。逆に、Q8で3取得された視線移動の頻度が、データベース22から抽出された基準の視線移動の頻度未満であるときは、信号機45を見落としているあるいは信号機45の表示内容を十分に認識していない注意低下状態(進行方向のわき見状態)であるとされる。
Thereafter, in Q10, the attention state is determined. In this determination at Q10, when the comparison result at Q9 shows that the frequency of the line-of-sight movement acquired at Q8 is equal to or higher than the reference line-of-sight movement frequency extracted from the
Q11においては、Q10での比較結果に基づいて、注意低下状態(進行方向わき見状態)であるか否かが判別される。このQ11の判別でNOのときは、そのままリターンされる.Q11の判別でYESのときは、Q12において、運転者に対する注意喚起方法が演算された後、Q13において、Q12で演算された注意喚起方法でもって注意喚起が実行される。 In Q11, based on the comparison result in Q10, it is determined whether or not the state is a state of reduced attention (a state of looking aside in the traveling direction). If the determination in Q11 is NO, the process returns as it is. When the determination in Q11 is YES, in Q12, after a driver alerting method is calculated, in Q13, alerting is executed by the alerting method calculated in Q12.
Q12、Q13の処理は、進行方向わき見であると判定されている状態で、例えば車両の状況や道路状況等に応じて注意すべき内容を変更するための処理となる。例えば、黄色表示や赤色表示されているときの信号機45に対するわき見のときは、危険なので、スピーカ13により音声による注意喚起(重度の注意喚起)が行われる(例えば「前方の信号機が赤です」というような音声注意)。また、前方車両44までの車間距離が小さいときでこの前方車両44に対するわき見のときは、例えばヘッドアップディスプレイ12はプロジェクションマッピング11による表示によって、例えば「車間距離をもっと確保しましょう」といいうような注意喚起が行われる(軽度の注意喚起)。なお、注意喚起(警報)の内容は、種々選択でき、例えば視認対象物(特に危険対象物)の位置に対応した位置に、プロジェクションマッピング装置11によって点灯表示(あるいは点滅表示)を行って、注視すべき位置を運転者に報知することもできる。
The processes of Q12 and Q13 are processes for changing the content to be noted in accordance with, for example, the situation of the vehicle, the road situation, etc., in a state where it is determined that the traveling direction is a sidewalk. For example, when viewing the
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。判定対象者としては、車両の運転者に限らず、船舶や航空機の操縦者、クレーン等のオペレータ等々、視線方向(移動体の進行方向)のわき見が問題となるような者であれば、適宜のものを判定対象者とすることができ、また移動体の運転者あるいは操縦者に限らず、例えば定位置でもって監視を行う者であってもよい。視線方向が移動体の進行方向とは所定以上大きくずれた一般的なわき見についても合わせて判定することもでき、この場合、運転者に対するわき見の注意喚起(警報)の内容を、一般的なわき見と視認方向(移動体の場合は進行方向)のわき見とで区別して行うこともできる。図4に示すステップ(あるいはステップ群)は、コントローラUの有する機能(あるいは手段)として表現することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。 Although the embodiments have been described above, the present invention is not limited to the embodiments, and appropriate modifications can be made within the scope of the claims. The person to be judged is not limited to the driver of the vehicle, but can be appropriately selected as long as it is a problem such as a ship or aircraft operator, an operator such as a crane, etc. Can be a person to be determined, and is not limited to a driver or a driver of a moving body, but may be a person who performs monitoring at a fixed position, for example. It can also be determined for general sidewalks where the line-of-sight direction deviates by more than a predetermined amount from the moving direction of the moving body. In this case, the content of the sidewalk alert (alarm) to the driver And a side view in the viewing direction (advancing direction in the case of a moving body). The steps (or steps) shown in FIG. 4 can be expressed as functions (or means) of the controller U. Of course, the object of the present invention is not limited to what is explicitly stated, but also implicitly includes providing what is substantially preferred or expressed as an advantage.
本発明は、注視すべき視覚特徴点を的確に特定しつつ、例えば車両の運転者における進行方向わき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。 The present invention is preferable in improving the safe driving by accurately determining the visual feature point to be watched while easily determining, for example, that the driver of the vehicle travels in the traveling direction.
U:コントローラ
1:カメラ(前方風景)
2:アイカメラ
3:センサ(車両状態検出)
4:ナビゲーション装置
11:プロジェクションマッピング(注意喚起用)
12:ヘッドアップディスプレイ(注意喚起用)
13:スピーカ(注意喚起用)
U: Controller 1: Camera (front view)
2: Eye camera 3: Sensor (vehicle state detection)
4: Navigation device 11: Projection mapping (for alerting)
12: Head-up display (for alerting)
13: Speaker (for alerting)
Claims (7)
前記撮像手段で取得された撮像画像から、判定対象者が注視すべき視認対象物となる視覚的特徴点を検出する視覚特徴点検出手段と、
前記判定対象者の注視点を検出する注視点検出手段と、
前記視覚特徴点検出手段により検出された視覚特徴点と前記注視点検出手段により検出された注視点とに基づいて、判定対象者が前記視覚特徴点を見ていないわき見であるか否かを判定するわき見判定手段と、
を備えていることを特徴とするわき見状態判定装置。 Imaging means for imaging a landscape in the direction of the line of sight of the person to be judged by the side,
Visual feature point detection means for detecting a visual feature point that is a visual recognition object to be watched by a determination target person from a captured image acquired by the imaging means;
Gazing point detection means for detecting the gazing point of the determination target person;
Based on the visual feature point detected by the visual feature point detection unit and the gazing point detected by the gazing point detection unit, it is determined whether or not the determination target person is a side view that does not see the visual feature point. A side look determination means;
A side-view state determination device characterized by comprising:
前記わき見判定手段は、前記注視点の前記視覚特徴点への視線移動頻度があらかじめ設定された所定値以下のときに、わき見であると判定する、ことを特徴とするわき見状態判定装置。 In claim 1,
The side-view state determination device, wherein the side-view determination unit determines that it is a side view when a gaze movement frequency of the gazing point to the visual feature point is equal to or less than a predetermined value set in advance.
前記視覚特徴点検出手段は、前記撮像画像中における少なくとも輝度、色、エッジ方向、動きに基づいて視覚特徴点を検出する、ことを特徴とするわき見状態判定装置。 In claim 1 or claim 2,
The visual feature point detection unit detects a visual feature point based on at least luminance, color, edge direction, and motion in the captured image.
前記撮像画像中から、視認しなくともよい領域を除外する領域除外手段を備え、
前記視覚特徴点検出手段は、前記領域除外手段で領域除外された後の撮像画像に基づいて視覚特徴点を検出する、
ことを特徴とするわき見状態判定装置。 In any one of Claims 1 thru | or 3,
From the captured image, comprising an area excluding means for excluding an area that does not need to be visually recognized,
The visual feature point detection means detects a visual feature point based on a captured image after the area is excluded by the area exclusion means;
A side-view state determination device characterized by that.
前記視覚特徴点検出手段は、危険対象物に限定して視覚特徴点を検出する、ことを特徴とするわき見状態判定装置。 In any one of Claims 1 thru | or 4,
The side-view state determination device characterized in that the visual feature point detection means detects visual feature points limited to dangerous objects.
前記判定対象者が、移動体を運転あるいは操縦する者とされ、
前記わき見判定手段は、前記判定対象者の視線方向が前記移動体の移動方向とほぼ一致していることを条件としてわき見の判定を行う、ことを特徴とするわき見状態判定装置。 In any one of Claims 1 thru | or 5,
The determination target person is a person who drives or steers the moving body,
The side-view state determination device characterized in that the side-view determination unit performs a side-view determination on the condition that a line-of-sight direction of the determination target person substantially matches a moving direction of the moving body.
前記わき見判定手段によって前記判定対象者がわき見をしていると判定されたときに警報を行う警報手段を備えている、ことを特徴とするわき見状態判定装置。 In any one of Claims 1 thru | or 6,
A side-view state determination apparatus, comprising: a warning unit that issues a warning when the determination target person determines that the determination target person is watching a side-by-side.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016117655A JP6956473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016117655A JP6956473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017224067A true JP2017224067A (en) | 2017-12-21 |
JP6956473B2 JP6956473B2 (en) | 2021-11-02 |
Family
ID=60686929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016117655A Active JP6956473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6956473B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071528A (en) * | 2018-10-29 | 2020-05-07 | アイシン精機株式会社 | Apparatus for determining object to be visually recognized |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0765294A (en) * | 1993-08-23 | 1995-03-10 | Mitsubishi Electric Corp | Preventive safety device for vehicle |
JP2006027481A (en) * | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | Object warning device and its method |
JP2007073011A (en) * | 2005-09-09 | 2007-03-22 | Fuji Heavy Ind Ltd | Driving state deducing apparatus |
WO2015106690A1 (en) * | 2014-01-15 | 2015-07-23 | 国防科学技术大学 | Method and device for detecting safe driving state of driver |
WO2015152304A1 (en) * | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | Driving assistance device and driving assistance system |
-
2016
- 2016-06-14 JP JP2016117655A patent/JP6956473B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0765294A (en) * | 1993-08-23 | 1995-03-10 | Mitsubishi Electric Corp | Preventive safety device for vehicle |
JP2006027481A (en) * | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | Object warning device and its method |
JP2007073011A (en) * | 2005-09-09 | 2007-03-22 | Fuji Heavy Ind Ltd | Driving state deducing apparatus |
WO2015106690A1 (en) * | 2014-01-15 | 2015-07-23 | 国防科学技术大学 | Method and device for detecting safe driving state of driver |
WO2015152304A1 (en) * | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | Driving assistance device and driving assistance system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071528A (en) * | 2018-10-29 | 2020-05-07 | アイシン精機株式会社 | Apparatus for determining object to be visually recognized |
JP7263734B2 (en) | 2018-10-29 | 2023-04-25 | 株式会社アイシン | Visual recognition target determination device |
Also Published As
Publication number | Publication date |
---|---|
JP6956473B2 (en) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107176165B (en) | Vehicle control device | |
JP6346614B2 (en) | Information display system | |
US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
CN106205175B (en) | Display device for vehicle and vehicle | |
US10269331B2 (en) | Display control device for vehicle | |
US20190315275A1 (en) | Display device and operating method thereof | |
US8970451B2 (en) | Visual guidance system | |
WO2020125178A1 (en) | Vehicle driving prompting method and apparatus | |
US11390293B2 (en) | Display device for displaying a system confidence level of an automatic drive control | |
CN112292286A (en) | Rider assistance system and method | |
CN107650639B (en) | Visual field control device | |
US20200406753A1 (en) | Display control device, display device, and display control method | |
CN112119398B (en) | Method and device for operating a camera-monitor system of a motor vehicle | |
JP2020091663A (en) | Display controller for vehicles | |
JP2017097682A (en) | Sign recognition system | |
JP6448714B2 (en) | Information display system | |
JP6625480B2 (en) | Display system | |
JP2010012904A (en) | Drive assist device | |
US20210197722A1 (en) | Driving assistance device, driving situation information acquisition system, driving assistance method, and program | |
JP6956473B2 (en) | Sideways state judgment device | |
CN114523905A (en) | System and method for displaying detection and track prediction of targets around vehicle | |
KR101636301B1 (en) | System and method for anti-collision of the vehicle | |
JP6354805B2 (en) | Visibility control device | |
JP6380480B2 (en) | Visibility control device | |
US20230141584A1 (en) | Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201106 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6956473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |