JP2017039373A - Vehicle video display system - Google Patents
Vehicle video display system Download PDFInfo
- Publication number
- JP2017039373A JP2017039373A JP2015161989A JP2015161989A JP2017039373A JP 2017039373 A JP2017039373 A JP 2017039373A JP 2015161989 A JP2015161989 A JP 2015161989A JP 2015161989 A JP2015161989 A JP 2015161989A JP 2017039373 A JP2017039373 A JP 2017039373A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- video
- line
- sight
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 238000001028 reflection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000010705 motor oil Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Abstract
Description
本発明は、例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な映像を運転者の視界前方に投影表示する車両用映像表示システムに関する。 The present invention provides a useful video to be displayed in front of the driver's field of view, such as instructions for turning left and right at intersections at the time of vehicle route guidance and store information in the vicinity of the vehicle's respective driving position. The present invention relates to a video display system for a vehicle that performs projection display.
例えば特許文献１に記載のシステムでは、車両の運転者の有効な視覚範囲を当該運転者の運転能力として判定するために、例えばボールや子供等、車両の障害物を模した判定用画像（映像）をヘッドアップディスプレイを通じて運転者の視界前方のフロントガラスに投影表示する。そして、そのときの運転者の視線の動きを検出することにより運転者が判定用画像を知覚できたか否かを判定し、その判定結果に基づいて運転者に見合った運転支援モードを実行するようにしている。 For example, in the system described in Patent Document 1, in order to determine the effective visual range of the driver of the vehicle as the driving ability of the driver, for example, a determination image (video) imitating an obstacle of the vehicle such as a ball or a child. ) Is projected and displayed on the windshield in front of the driver's field of view through the head-up display. Then, it is determined whether or not the driver can perceive the determination image by detecting the movement of the driver's line of sight at that time, and the driving support mode suitable for the driver is executed based on the determination result. I have to.
ところで、上記文献に記載の技術では、運転支援モードを実行する際、運転者の視覚範囲に合った必要な情報だけが提供されるようにすることで、運転者の視界前方に投影表示される映像の情報量を抑えるようにはしているものの、運転者による映像の見えやすさ（知覚しやすさ）の向上を図ろうとすると、なお改善の余地を残すものとなっている。 By the way, in the technique described in the above-mentioned document, when the driving support mode is executed, only necessary information suitable for the visual range of the driver is provided, so that it is projected and displayed in front of the driver's field of view. Although the amount of video information is reduced, there is still room for improvement if the driver tries to improve the visibility (ease of perception) of the video.
本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の視界前方に投影表示される映像に対する運転者による見えやすさ（知覚しやすさ）の向上を図ることのできる車両用映像表示システムを提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to improve the visibility (ease of perception) by the driver of the image projected and displayed in front of the driver's field of view. An object of the present invention is to provide a vehicular video display system capable of performing the above.
以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する車両用映像表示システムは、車両の運転者の視界前方に車両の走行を補助する各種映像を投影表示する車両用映像表示システムであって、運転者の視線を検出する視線検出部と、前記投影表示される各種映像のうち前記視線検出部によって検出される視線と所定時間一致する映像を運転者によって知覚された映像であると判定する知覚判定部と、前記知覚判定部を通じて運転者によって知覚されたと判定される映像についてその表示の目立ち具合を低下させる制御を行う表示制御部とを備える。
Hereinafter, means for solving the above-described problems and the effects thereof will be described.
A video display system for a vehicle that solves the above problem is a video display system for a vehicle that projects and displays various images for assisting the traveling of the vehicle in front of the field of view of the driver of the vehicle. A perceptual determination unit that determines that a video that coincides with a visual line detected by the visual line detection unit for a predetermined time among the various types of projected and displayed video is a video perceived by a driver, and the perceptual determination unit A display control unit that performs control to reduce the degree of display conspicuousness of the video determined to be perceived by the driver.
例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行を補助する情報を運転者の視界前方に映像として投影表示するようにすれば、運転者の視線移動を抑えつつそれら情報を提示することができる点で運転者の利便性が高められる。その一方で、運転者の視界前方への映像表示が頻繁に行われるようになると、運転者にとっては必要とされる映像の選別が難しくなり、背景等の映像以外の情報も含め、逆に、本来必要とされる情報の取得が困難になる状況ともなりかねない。 For example, information that assists in driving the vehicle, such as instructions for turning left and right at intersections at the time of vehicle route guidance and store information around the driving position of each vehicle, is projected and displayed as an image in front of the driver's field of view. Then, the convenience of the driver can be enhanced in that the information can be presented while suppressing the movement of the driver's line of sight. On the other hand, if the video display in front of the driver's field of view is frequently performed, it becomes difficult for the driver to select the required image, including information other than the image such as the background, It may become a situation where it becomes difficult to obtain information that is originally required.
この点、上記構成によるように、運転者の視界前方に投影表示される各種映像のうち、運転者によって既に知覚されたと判定される映像の目立ち具合を低下させる表示制御を行えば、具体的には、「消去する」、「輝度を低下させる」、「明度を低下させる」、「色相を背景に近い色相や目立たない色相に変更する」、「点滅表示していたら点滅を止める」、等々の表示制御を行えば、運転者によって未だ知覚されていない映像の目立ち具合や背景の知覚のしやすさが相対的に高められるようになる。すなわち、結果としては、背景も含めて、運転者の視界前方に投影表示される映像の見えやすさ（知覚しやすさ）が向上されるようになる。 In this regard, as shown in the above configuration, if display control is performed to reduce the conspicuousness of an image determined to have already been perceived by the driver among various images projected and displayed in front of the driver's field of view, specifically, "Erase", "Decrease brightness", "Decrease brightness", "Change hue to a hue that is close to the background or inconspicuous", "Stop blinking when blinking", etc. If display control is performed, the degree of conspicuousness of an image not yet perceived by the driver and the ease of perception of the background can be relatively enhanced. That is, as a result, the visibility (easy perception) of the image projected and displayed in front of the driver's field of view including the background is improved.
以下、車両用映像表示システムの一実施の形態について説明する。
本実施の形態の車両用映像表示システムは、例えば経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な各種映像をヘッドアップディスプレイを通じて運転者の視界前方に投影表示するものである。そして、ドライバモニタを通じて運転者の視線を検出し、その視線と所定時間一致する映像については運転者によって知覚された映像であると判定して当該映像の表示の目立ち具合を低下させる。その結果、背景も含めて、未だ知覚されていない映像の目立ち具合が相対的に高くなり、こうした映像に対する運転者の見えやすさ（知覚しやすさ）が高められる。
Hereinafter, an embodiment of a video display system for a vehicle will be described.
The vehicle video display system according to the present embodiment is useful for displaying various useful videos when the vehicle travels, such as instructions for turning left and right at intersections during route guidance and store information around the vehicle's respective travel position. Is projected and displayed in front of the driver's field of view through a head-up display. Then, the driver's line of sight is detected through the driver monitor, and an image that matches the line of sight for a predetermined time is determined to be an image perceived by the driver, and the degree of display of the image is reduced. As a result, the degree of conspicuousness of the video that is not yet perceived including the background becomes relatively high, and the visibility (easy perception) of the driver to the video is enhanced.
はじめに、その構成について図面を参照して説明する。
図１に示すように、車両１００はドライバモニタ１１０を備えている。このドライバモニタ１１０は、車室内における運転者の眼球Ａや顔Ｂを撮影する部分である。このうち、運転者の眼球Ａについては、眼球Ａを含めてその周辺に赤外光を照射する赤外線光源１１１と、運転者の眼球Ａ及びその周辺から赤外線画像を撮影する赤外線カメラ１１２とを有している。そして、この赤外線カメラ１１２で撮影された眼球Ａの赤外線画像が視線検出部１２０に取り込まれて運転者の視線が検出される。ここでは、こうした運転者の視線の検出に周知の角膜反射法を用いており、視線検出部１２０では、赤外線カメラ１１２により撮影された角膜の反射位置を基準とした瞳孔の位置に基づいて、眼球Ａの視線、すなわち運転者の視線を検出する。なお、視線検出に際し、角膜は通常、微小運動しており、視線検出部１２０では、この角膜の微小運動に伴う振幅、周期、滞留時間を併せて検出している。そして、これら検出された振幅、周期、滞留時間が知覚判定部１４０に送られる。
First, the configuration will be described with reference to the drawings.
As shown in FIG. 1, the vehicle 100 includes a driver monitor 110. The driver monitor 110 is a part that images the driver's eyeball A and face B in the passenger compartment. Among these, the driver's eyeball A includes an infrared light source 111 that irradiates infrared light around the eyeball A including the eyeball A, and an infrared camera 112 that captures an infrared image from the driver's eyeball A and its periphery. doing. Then, an infrared image of the eyeball A photographed by the infrared camera 112 is taken into the line-of-sight detection unit 120 and the driver's line of sight is detected. Here, a well-known corneal reflection method is used for detecting the driver's line of sight, and the line-of-sight detection unit 120 uses an eyeball based on the position of the pupil relative to the position of the cornea reflected by the infrared camera 112. The line of sight of A, that is, the line of sight of the driver is detected. When detecting the line of sight, the cornea normally moves minutely, and the line-of-sight detection unit 120 detects the amplitude, period, and residence time associated with the minute movement of the cornea. Then, the detected amplitude, period, and residence time are sent to the perception determination unit 140.
一方、ドライバモニタ１１０は、運転者の顔Ｂを撮影するためのカメラとして可視光カメラ１１３を有している。この可視光カメラ１１３による運転者の顔の撮影画像は顔検出部１３０に送られ、この顔検出部１３０において目や鼻といった特徴点が算出（検出）される。そして、この算出された特徴点の情報も上記知覚判定部１４０に送られ、ここでヘッドアップディスプレイ１５０により運転者の視界前方に投影表示された映像に対する運転者による知覚の有無が判定される。この判定には、上述した角膜の微小運動に伴って検出される振幅、周期、滞留時間と知覚行動の有無とを対応付けた図２に示す知覚行動判定テーブルＴが用いられる。 On the other hand, the driver monitor 110 includes a visible light camera 113 as a camera for photographing the driver's face B. The photographed image of the driver's face by the visible light camera 113 is sent to the face detection unit 130, and feature points such as eyes and nose are calculated (detected) by the face detection unit 130. Then, the calculated feature point information is also sent to the perception determination unit 140, where the head-up display 150 determines whether the driver perceives the image projected and displayed in front of the driver's field of view. For this determination, the perceptual behavior determination table T shown in FIG. 2 is used in which the amplitude, period, dwell time, and presence / absence of perceptual behavior detected in association with the above-described minute movement of the cornea are associated.
この知覚行動判定テーブルＴでは、角膜運動の滞留時間Ｄ１の長さが所定時間（例えば、５００ｍｓ）以上であるか否かに基づき、角膜運動の滞留時間Ｄ１の長さを「長」と「短」の二段階に分類している。そして、角膜運動の滞留時間Ｄ１の長さが「長」に分類されるときには、すなわち運転者の視線の先にある映像が運転者の視線と所定時間一致したときには、当該映像を運転者が知覚している可能性が高いものとして扱う。その一方で、角膜運動の滞留時間Ｄ１の長さが「短」に分類されるときには、すなわち運転者の視線の先にある映像が運転者の視線と所定時間一致しないときには、当該映像を運転者が十分に知覚していない可能性が高いものとして扱うようにしている。 In this perceptual behavior determination table T, the length of the corneal motion dwell time D1 is set to “long” and “short” based on whether or not the length of the corneal motion dwell time D1 is equal to or longer than a predetermined time (for example, 500 ms). Are classified into two stages. When the length of the dwell time D1 of the corneal movement is classified as “long”, that is, when the image ahead of the driver's line of sight matches the driver's line of sight for a predetermined time, the driver perceives the image. Treat it as likely. On the other hand, when the dwell time D1 of the corneal movement is classified as “short”, that is, when the image ahead of the driver's line of sight does not match the driver's line of sight for a predetermined time, Is considered to be likely not to be perceived sufficiently.
また、この知覚行動判定テーブルＴでは便宜上、角膜運動の振幅Ｄ２の大きさを「大」と「小」の二段階に分類するとともに、角膜運動の周期Ｄ３の長さを「長」と「短」の二段階に分類している。そして本実施の形態では、角膜運動の振幅Ｄ２の大きさが「大」と「小」の何れに分類されたとしても、また、角膜運動の周期Ｄ３の長さが「長」と「短」の何れに分類されたとしても、上述した角膜運動の滞留時間Ｄ１の長さの分類に応じて、運転者による知覚の可能性の有無が判定されるようにしている。 In the perceptual behavior determination table T, for the sake of convenience, the magnitude of the amplitude D2 of the corneal motion is classified into two stages of “large” and “small”, and the length of the cycle D3 of the corneal motion is “long” and “short”. Are classified into two stages. In this embodiment, the length of the corneal motion period D3 is “long” and “short” regardless of whether the amplitude D2 of the corneal motion is classified as “large” or “small”. In any case, whether or not there is a possibility of perception by the driver is determined according to the classification of the length of the dwell time D1 of the corneal motion described above.
ただし、角膜運動の振幅Ｄ２の大きさが「大」であると分類されたときには、角膜運動の振幅Ｄ２の大きさが「小」であると分類されたときよりも、例えば角膜運動の滞留時間Ｄ１の長さを分類する際の上記所定時間を短くする等して、運転者の視線の先にある映像を運転者が知覚したものとして判定しやすくすることが好ましい。これは、角膜運動の振幅Ｄ２が比較的大きいときには、運転者の運転習熟度が比較的低い状況にあり、運転者の視界前方への映像の表示が運転者の煩わしさを助長しやすいと考えられるためである。 However, when the magnitude of the amplitude D2 of the corneal motion is classified as “large”, for example, the residence time of the corneal motion is greater than when the magnitude of the amplitude D2 of the corneal motion is classified as “small”. It is preferable to make it easier to determine that the driver has perceived an image ahead of the driver's line of sight, for example, by shortening the predetermined time for classifying the length of D1. This is because when the amplitude D2 of the corneal motion is relatively large, the driving skill level of the driver is relatively low, and the display of the image in front of the driver's field of view easily promotes the driver's troublesomeness. Because it is.
一方、角膜運動の周期Ｄ３の長さが「長」であると分類されたときには、角膜運動の周期Ｄ３の長さが「短」であると分類されたときよりも、例えば角膜運動の滞留時間Ｄ１の長さを分類する際の上記所定時間を長くする等して、運転者の視線の先にある映像を運転者が知覚したものとして判定しにくくすることが好ましい。これは、角膜運動の周期Ｄ３が比較的長いときには、運転者の視線の先にある映像の情報量が多い状況にあり、その映像の目立ち具合を直ちに低下させてしまうと、その映像に含まれる情報を運転者が的確に知覚することができなくなる可能性が高まると考えられるためである。 On the other hand, when the length of the corneal motion period D3 is classified as “long”, for example, the residence time of the corneal motion is longer than when the length of the corneal motion cycle D3 is classified as “short”. It is preferable to make it difficult to determine that the image ahead of the driver's line of sight is perceived by the driver by, for example, increasing the predetermined time for classifying the length of D1. This is because when the period D3 of the corneal motion is relatively long, there is a large amount of information in the video ahead of the driver's line of sight, and if the degree of conspicuousness of the video is immediately reduced, it is included in the video This is because the possibility that the driver cannot accurately perceive the information will increase.
こうした知覚判定部１４０による運転者の知覚の可能性の有無に関する判定結果は、ヘッドアップディスプレイ１５０が備える表示制御部１５１による表示制御に用いられる。この表示制御部１５１は、例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等の他、例えばエンジンオイルの不足、バッテリー電圧の低下、シートベルトの締め忘れ等、運転者への警告が必要とされる状況にあって、対応する映像を表示部１５２によりフロントガラスに出力するものである。そして、知覚判定部１４０が運転者の視線の先にある映像を運転者が知覚した可能性が高いと判定したときには、知覚判定部１４０から表示制御部１５１に表示変更指令が送信される（図１参照）。ここで、視線検出部１２０は、運転者の視線とヘッドアップディスプレイ１５０により投影表示される映像とが交差する点の三次元座標の算出を併せて行っており、知覚判定部１４０はこのとき、視線検出部１２０が算出した三次元座標を取得して、この取得した座標情報を上記表示変更指令とともに表示制御部１５１に送信する。 The determination result regarding the possibility of the driver's perception by the perception determination unit 140 is used for display control by the display control unit 151 included in the head-up display 150. This display control unit 151 is, for example, instructions for turning left and right at intersections at the time of vehicle route guidance, store information around the driving position of each vehicle, etc., for example, lack of engine oil, battery voltage drop, seat In a situation where a warning to the driver is required, such as forgetting to fasten the belt, a corresponding image is output to the windshield by the display unit 152. When the perception determination unit 140 determines that there is a high possibility that the driver perceived the video ahead of the driver's line of sight, a display change command is transmitted from the perception determination unit 140 to the display control unit 151 (see FIG. 1). Here, the line-of-sight detection unit 120 performs calculation of the three-dimensional coordinates of the point where the driver's line of sight and the image projected and displayed by the head-up display 150 intersect, and the perception determination unit 140 at this time, The three-dimensional coordinates calculated by the line-of-sight detection unit 120 are acquired, and the acquired coordinate information is transmitted to the display control unit 151 together with the display change command.
次に、車両用映像表示システムが実行する知覚行動判定処理についてその具体的な処理手順を説明する。ここで、車両用映像表示システムは、車両のイグニッションスイッチがオンなっている条件で、図３に示す知覚行動判定処理を実行する。 Next, a specific processing procedure of the perceptual behavior determination processing executed by the vehicle video display system will be described. Here, the vehicular video display system executes the perceptual behavior determination process shown in FIG. 3 under the condition that the ignition switch of the vehicle is on.
車両用映像表示システムはまず、車両の運転者の眼球Ａ及びその周辺に対する赤外線光源１１１からの赤外線の照射を開始する（ステップＳ１０）。
そして次に、車両用映像表示システムは、可視光カメラ１１３にて撮影された運転者の顔Ｂの画像に対し、顔検出部１３０を通じてパターン認識処理等を行うことにより、運転者の目の輪郭、及び運転者の目や鼻の位置といった特徴点を検出する（ステップＳ１１）。
First, the vehicle image display system starts irradiating infrared rays from the infrared light source 111 to the eyeball A of the driver of the vehicle and the vicinity thereof (step S10).
Next, the vehicular video display system performs pattern recognition processing or the like on the image of the driver's face B taken by the visible light camera 113 through the face detection unit 130, and thereby the contour of the driver's eyes. And feature points such as the position of the driver's eyes and nose are detected (step S11).
続いて、車両用映像表示システムは、赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像のうち、上記ステップＳ１１において検出した運転者の目の輪郭の周辺にある光点を検出する一方で（ステップＳ１２）、同じく上記ステップＳ１１において検出した運転者の目の輪郭外にある光点を棄却する（ステップＳ１３）。こうして赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像のうち、上述した角膜反射法による視線の検出に用いるデータのみを選別することにより、ノイズ成分の除去とともに赤外線画像のデータ容量が抑えられて、運転者の視線の検出を高いリアルタイム性をもって実現することが可能となる。 Subsequently, the vehicular video display system detects a light spot around the contour of the driver's eye detected in step S <b> 11 from the infrared image of the driver's eyeball A captured by the infrared camera 112. (Step S12) Similarly, the light spot outside the contour of the driver's eyes detected in Step S11 is rejected (Step S13). In this way, by selecting only the data used to detect the line of sight by the above-described corneal reflection method from the infrared image of the driver's eye A photographed by the infrared camera 112, the noise component is removed and the data volume of the infrared image is suppressed. Thus, detection of the driver's line of sight can be realized with high real-time characteristics.
そして次に、車両用映像表示システムは、赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像を処理する視線検出部１２０を通じて上述した角膜の微小運動に伴う振幅、周期、滞留時間を検出する（ステップＳ１４）。 Next, the vehicular video display system detects the amplitude, period, and dwell time associated with the minute movement of the cornea described above through the line-of-sight detection unit 120 that processes the infrared image of the driver's eyeball A photographed by the infrared camera 112. (Step S14).
併せて、車両用映像表示システムは、上記顔検出部１３０を通じて処理された運転者の目や鼻の位置から運転者の顔の動き量を推定する（ステップＳ１５）。
そして、車両用映像表示システムは、運転者の顔の動き量が所定値未満であると判断されるときには（ステップＳ１６＝ＹＥＳ）、上記ステップＳ１４において検出された角膜の微小運動の主な要因が運転者の周辺視による視認、即ち、ほぼ目の動きだけでみることのできる範囲内での視認によるものであると判断する（ステップＳ１７）。この場合、運転者の顔の動きが比較的少ないことから、角膜の微小運動のデータを元に運転者の知覚行動の有無を精度良く判定することが可能となる。そのため、車両用映像表示システムは、このときの角膜の微小運動のデータを知覚判定部１４０に取り込み、先の知覚行動判定テーブルＴ（図２）に基づいて運転者の知覚行動の有無を判定する（ステップＳ１８）。
In addition, the vehicle image display system estimates the amount of movement of the driver's face from the position of the driver's eyes and nose processed through the face detection unit 130 (step S15).
When it is determined that the amount of movement of the driver's face is less than the predetermined value (step S16 = YES), the vehicular video display system has the main factor of the minute movement of the cornea detected in step S14. It is determined that it is due to visual recognition by the driver's peripheral vision, that is, visual recognition within a range that can be seen only by eye movement (step S17). In this case, since the movement of the driver's face is relatively small, it is possible to accurately determine the presence / absence of the driver's perceptual behavior based on the minute movement data of the cornea. Therefore, the vehicular video display system captures the minute movement data of the cornea at this time into the perception determination unit 140 and determines the presence / absence of the driver's perception behavior based on the previous perception behavior determination table T (FIG. 2). (Step S18).
そして、車両用映像表示システムは、運転者の視線の先にある映像を運転者が知覚したと判定したときには（ステップＳ１８＝ＹＥＳ）、その映像の目立ち具合を低下させるべく、視線検出部１２０が算出した前述の座標情報と共々、知覚判定部１４０から表示制御部１５１に表示変更指令を送信した上で（ステップＳ１９）、その処理をステップＳ１１に戻す。一方、車両用映像表示システムは、上記知覚行動判定テーブルＴに基づき運転者の視線の先にある映像を運転者が知覚していないと判定したときには（ステップ１８＝ＮＯ）、その映像の表示態様を変更することなく、その処理をステップＳ１１に戻す。 When the vehicular video display system determines that the driver perceives the video ahead of the driver's line of sight (step S18 = YES), the line-of-sight detection unit 120 reduces the conspicuousness of the video. Along with the calculated coordinate information, a display change command is transmitted from the perception determination unit 140 to the display control unit 151 (step S19), and the process returns to step S11. On the other hand, when the vehicle video display system determines that the driver does not perceive the video ahead of the driver's line of sight based on the perceptual behavior determination table T (step 18 = NO), the display mode of the video is displayed. The process is returned to step S11 without changing.
他方、車両用映像表示システムは、上述した運転者の顔の動き量が所定値以上であると判断されるときには（ステップＳ１６＝ＮＯ）、運転者が脇見運転をしていると判断する（ステップＳ２０）。この場合、運転者が自身の視界前方に投影表示されている映像を知覚している可能性は極めて低いことから、その処理をそのままステップＳ１１に戻す。 On the other hand, when it is determined that the amount of movement of the driver's face described above is greater than or equal to a predetermined value (step S16 = NO), the vehicle image display system determines that the driver is driving aside (step S16). S20). In this case, since the possibility that the driver is perceiving the image projected and displayed in front of his / her field of view is very low, the process returns to step S11 as it is.
次に、本実施の形態の車両用映像表示システムの作用について説明する。
車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な映像を運転者の視界前方に投影表示するようにすれば、運転者の視線移動を抑えつつそれら情報を提示することが可能となる。
Next, the operation of the vehicle video display system of the present embodiment will be described.
Projecting and displaying useful images in front of the driver's field of view, such as instructions for turning left and right at intersections at the time of vehicle route guidance and store information around the vehicle's respective driving position Then, it becomes possible to present such information while suppressing the movement of the driver's line of sight.
例えば図４（ａ）に示す例では、車両が交差点に進入する時点で右折の指示を表す映像Ｇ１が車両前方の背景と重畳して表示されている。また、この右折の指示を表す映像Ｇ１と隣り合うように、車両の車速を示す映像Ｇ２の他、エンジンオイルの不足、バッテリー電圧の低下、シートベルトの締め忘れ等、運転者への警告を示す映像Ｇ３，Ｇ４，Ｇ５が同じく車両前方の背景と重畳して表示されている。また、同図に示す例では、運転者の視線方向が「×」印で表記されており、上方への僅かな視線移動をもって右折の指示を表す映像Ｇ１を視認可能であるとともに、下方への僅かな視線移動をもって車両の車速を示す映像Ｇ２や運転者への警告を示す映像Ｇ３，Ｇ４，Ｇ５を視認可能な状況にある。このように、車両の運転者にとって有益な情報を運転者の視線移動を抑えつつ提示することができれば、運転者の利便性を高めることができるようになる。その一方で、同図に示す例のように、運転者の視界前方に多くの映像が表示されると、それら映像の選択が困難となるだけでなく、運転者の煩わしさを助長することにもなりかねず、運転者の利便性を却って損ねてしまうという側面もある。 For example, in the example shown in FIG. 4A, an image G1 indicating a right turn instruction is displayed superimposed on the background ahead of the vehicle when the vehicle enters the intersection. In addition to the video G1 showing the vehicle speed, adjacent to the video G1 showing the right turn instruction, warnings to the driver such as engine oil shortage, battery voltage drop, forgetting to fasten the seat belt, etc. are shown. Images G3, G4, and G5 are also displayed superimposed on the background ahead of the vehicle. Also, in the example shown in the figure, the driver's line-of-sight direction is indicated by an “x” mark, and the video G1 indicating the right turn instruction can be visually recognized with a slight line-of-sight movement upward, and the downward direction The video G2 showing the vehicle speed of the vehicle and the video G3, G4, G5 showing the warning to the driver can be visually recognized with slight line-of-sight movement. As described above, if information useful for the driver of the vehicle can be presented while suppressing the movement of the driver's line of sight, the convenience of the driver can be improved. On the other hand, when many images are displayed in front of the driver's field of view as in the example shown in the figure, it is not only difficult to select these images, but also the driver's troublesomeness is promoted. There is also an aspect in which the convenience of the driver may be lost.
この点、本実施の形態では、図４（ｂ）に示すように、図４（ａ）に示す状態から運転者の視線が車両１００の右折の指示を表す映像Ｇ１に向けられたとき、その映像Ｇ１を対象として運転者による知覚の可能性の有無が判定される。 In this regard, in this embodiment, as shown in FIG. 4B, when the driver's line of sight is directed to the video G1 indicating the right turn instruction of the vehicle 100 from the state shown in FIG. It is determined whether or not the driver can perceive the video G1.
そして、運転者がその映像Ｇ１を知覚したと判定されたときには、図４（ｃ）に示すように、その映像Ｇ１を消去する。これにより、運転者にとっては、未だ知覚していない他の映像Ｇ２，Ｇ２，Ｇ３、Ｇ５の目立ち具合が相対的に高められることとなり、それら映像Ｇ２，Ｇ２，Ｇ３，Ｇ５に含まれる情報を的確に取得することが可能となる。また、運転者にとっては、その背景の目立ち具合も相対的に高められて背景の把握も容易となる。 When it is determined that the driver perceives the video G1, the video G1 is deleted as shown in FIG. As a result, the conspicuousness of other images G2, G2, G3, and G5 that are not yet perceived by the driver is relatively enhanced, and the information contained in these images G2, G2, G3, and G5 is accurately determined. Can be obtained. In addition, for the driver, the degree of conspicuous background is relatively enhanced, and the background can be easily grasped.
特に、本実施の形態では、運転者が単に視線を向けただけでなく、運転者の眼球Ａの角膜運動に基づき映像を知覚したと判定されることをもって、その視線の先にある映像の目立ち具合を低下させるようにしている。そのため、運転者がいまだ知覚していないと判定される映像については、その表示も的確に維持される。 In particular, in the present embodiment, it is determined that the driver has not only turned the line of sight but also perceived the image based on the corneal movement of the driver's eye A, so that the image ahead of the line of sight is conspicuous. The condition is reduced. For this reason, the display of the video determined to be not yet perceived by the driver is also accurately maintained.
以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
（１）運転者の視線の先にある映像が運転者によって知覚されたと判断されたとき、その映像表示の目立ち具合を低下させるようにしている。そのため、運転者の視界前方に投影表示される映像のうち、運転者によって既に知覚されたと判断される映像のみがその目立ち具合が低下されることとなり、運転者によって未だ知覚されていない映像の目立ち具合や背景の知覚のしやすさが相対的に高められるようになる。すなわち、背景も含めて、運転者の視界前方に投影表示される映像の見えやすさ（知覚しやすさ）を向上させることが可能となる。
As described above, according to the present embodiment, the following effects can be obtained.
(1) When it is determined that an image ahead of the driver's line of sight has been perceived by the driver, the conspicuousness of the image display is reduced. Therefore, among the images projected and displayed in front of the driver's field of view, only the images that are judged to have already been perceived by the driver are reduced in conspicuousness, and the images that are not yet perceived by the driver are conspicuous. The condition and ease of perception of the background can be relatively enhanced. That is, it is possible to improve the visibility (ease of perception) of the image projected and displayed in front of the driver's field of view including the background.
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態では一例として、交差点での右（左）折を指示するための映像Ｇ１について知覚されたとの判定のもとにその目立ち具合を低下させる制御を行ったが、それら表示制御の対象とする映像は、車両のその都度の走行位置周辺にある店舗情報や各種警告灯などであってもよい。
In addition, the said embodiment can also be implemented with the following forms.
In the above embodiment, as an example, control for reducing the degree of conspicuousness is performed based on the determination that the video G1 for instructing a right (left) turn at an intersection is perceived. The target video may be store information or various warning lights in the vicinity of the traveling position of each vehicle.
・上記実施の形態においては、映像の目立ち具合を低下させる方法として、該当する映像を消去する場合について例示したが、その他にも、例えば「映像の輝度を低下させる」、「映像の明度を低下させる」、「映像の色相を背景に近い色相や目立たない色相に変更する」、「映像が点滅表示していたら点滅を止める」等を採用するようにしてもよい。 In the above embodiment, the case where the corresponding video is erased is illustrated as a method for reducing the degree of conspicuousness of the video. However, for example, “decrease the luminance of the video”, “decrease the brightness of the video” "Change the hue of the video to a hue close to the background or an inconspicuous hue", "stop blinking when the video is blinking", or the like may be employed.
・上記実施の形態においては、運転者の視線の先にある映像が知覚されたと判定されたとき、その映像の目立ち具合を一律に低下させるようにしたが、これに限らず、映像の種別に応じて目立ち具合の低下の有無やその低下の度合いを個別に設定するようにしてもよい。 In the above embodiment, when it is determined that the image ahead of the driver's line of sight has been perceived, the degree of conspicuousness of the image is reduced uniformly. Accordingly, the presence or absence of the degree of conspicuousness reduction and the degree of the reduction may be individually set.
・上記実施の形態においては、運転者の視線の検出、及び運転者の顔の向きの検出を、赤外線カメラ１１２及び可視光カメラ１１３を用いて行うようにしたが、それらの検出を赤外線カメラ１１２及び可視光カメラ１１３の何れか一方により撮影された画像信号を元に実行するようにしてもよい。すなわち、例えば運転者の視線の検出にしろ、前述した角膜反射法に限らず、例えば可視光カメラ１１３により撮影される目頭を基準点にした虹彩の動きから視線の検出を行う方法等も適宜採用することができる。 In the above embodiment, the detection of the driver's line of sight and the detection of the driver's face direction are performed using the infrared camera 112 and the visible light camera 113. However, the detection is performed using the infrared camera 112. Alternatively, it may be executed based on an image signal photographed by either one of the visible light camera 113 and the visible light camera 113. That is, for example, the detection of the driver's line of sight is not limited to the corneal reflection method described above, but a method of detecting the line of sight from the movement of the iris with the eye taken by the visible light camera 113 as a reference point is also adopted as appropriate. can do.
１００…車両、１１０…ドライバモニタ、１１１…赤外線光源、１１２…赤外線カメラ、１１３…可視光カメラ、１２０…視線検出部、１３０…顔検出部、１４０…知覚判定部、１５０…ヘッドアップディスプレイ、１５１…表示制御部、１５２…表示部、Ａ…眼球、Ｂ…顔、Ｔ…知覚行動判定テーブル。 DESCRIPTION OF SYMBOLS 100 ... Vehicle, 110 ... Driver monitor, 111 ... Infrared light source, 112 ... Infrared camera, 113 ... Visible light camera, 120 ... Gaze detection part, 130 ... Face detection part, 140 ... Perception determination part, 150 ... Head up display, 151 ... display control unit, 152 ... display unit, A ... eyeball, B ... face, T ... perceptual behavior determination table.
Claims (1)
運転者の視線を検出する視線検出部と、
前記投影表示される各種映像のうち前記視線検出部によって検出される視線と所定時間一致する映像を運転者によって知覚された映像であると判定する知覚判定部と、
前記知覚判定部を通じて運転者によって知覚されたと判定される映像についてその表示の目立ち具合を低下させる制御を行う表示制御部と
を備える
ことを特徴とする車両用映像表示システム。 A vehicle image display system for projecting and displaying various images for assisting driving of the vehicle in front of the field of view of the driver of the vehicle,
A line-of-sight detector that detects the driver's line of sight;
A perception determination unit that determines that a video that coincides with a line of sight detected by the line-of-sight detection unit for a predetermined time among the various images displayed and projected is a video perceived by a driver;
An image display system for vehicles, comprising: a display control unit that performs control to reduce a noticeable degree of display of an image determined to be perceived by a driver through the perception determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015161989A JP2017039373A (en) | 2015-08-19 | 2015-08-19 | Vehicle video display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015161989A JP2017039373A (en) | 2015-08-19 | 2015-08-19 | Vehicle video display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017039373A true JP2017039373A (en) | 2017-02-23 |
Family
ID=58206074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015161989A Pending JP2017039373A (en) | 2015-08-19 | 2015-08-19 | Vehicle video display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017039373A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019095911A (en) * | 2017-11-20 | 2019-06-20 | トヨタ自動車株式会社 | Operation device |
| JP2020024561A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| JP2020024141A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| JP2020024578A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| WO2020105685A1 (en) * | 2018-11-23 | 2020-05-28 | 日本精機株式会社 | Display control device, method, and computer program |
| JPWO2020022239A1 (en) * | 2018-07-24 | 2021-08-05 | 日本精機株式会社 | Display control device, head-up display device |
| JP2022095787A (en) * | 2021-06-25 | 2022-06-28 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | Display method, apparatus, terminal device, computer readable storage medium, and computer program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0461257A (en) * | 1990-06-28 | 1992-02-27 | Nec Corp | Method of forming self-alignment type contact hole and semiconductor device |
| JP2012162109A (en) * | 2011-02-03 | 2012-08-30 | Toyota Motor Corp | Display apparatus for vehicle |
-
2015
- 2015-08-19 JP JP2015161989A patent/JP2017039373A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0461257A (en) * | 1990-06-28 | 1992-02-27 | Nec Corp | Method of forming self-alignment type contact hole and semiconductor device |
| JP2012162109A (en) * | 2011-02-03 | 2012-08-30 | Toyota Motor Corp | Display apparatus for vehicle |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019095911A (en) * | 2017-11-20 | 2019-06-20 | トヨタ自動車株式会社 | Operation device |
| JP7255596B2 (en) | 2018-07-24 | 2023-04-11 | 日本精機株式会社 | Display control device, head-up display device |
| JPWO2020022239A1 (en) * | 2018-07-24 | 2021-08-05 | 日本精機株式会社 | Display control device, head-up display device |
| CN110816408A (en) * | 2018-08-07 | 2020-02-21 | 本田技研工业株式会社 | Display device, display control method, and storage medium |
| JP7121583B2 (en) | 2018-08-07 | 2022-08-18 | 本田技研工業株式会社 | Display device, display control method, and program |
| CN110816407A (en) * | 2018-08-07 | 2020-02-21 | 本田技研工业株式会社 | Display device, display control method, and storage medium |
| CN110816408B (en) * | 2018-08-07 | 2023-09-15 | 本田技研工业株式会社 | Display device, display control method, and storage medium |
| JP2020024578A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| JP2020024141A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| JP2020024561A (en) * | 2018-08-07 | 2020-02-13 | 本田技研工業株式会社 | Display device, display control method, and program |
| JP7165532B2 (en) | 2018-08-07 | 2022-11-04 | 本田技研工業株式会社 | Display device, display control method, and program |
| CN113165510A (en) * | 2018-11-23 | 2021-07-23 | 日本精机株式会社 | Display control apparatus, method and computer program |
| JPWO2020105685A1 (en) * | 2018-11-23 | 2021-11-04 | 日本精機株式会社 | Display controls, methods, and computer programs |
| JP7255608B2 (en) | 2018-11-23 | 2023-04-11 | 日本精機株式会社 | DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM |
| DE112019005849T5 (en) | 2018-11-23 | 2021-09-02 | Nippon Seiki Co., Ltd. | Display control device, display control method and computer program for display control |
| WO2020105685A1 (en) * | 2018-11-23 | 2020-05-28 | 日本精機株式会社 | Display control device, method, and computer program |
| CN113165510B (en) * | 2018-11-23 | 2024-01-30 | 日本精机株式会社 | Display control device, method, and computer program |
| JP2022095787A (en) * | 2021-06-25 | 2022-06-28 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | Display method, apparatus, terminal device, computer readable storage medium, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11479177B2 (en) | Vehicle display device, display control method, and rearview monitoring system | |
| JP2017039373A (en) | Vehicle video display system | |
| JP6454368B2 (en) | Vehicle display system and method for controlling vehicle display system | |
| US10632917B2 (en) | Signal processing device, signal processing method, and monitoring system | |
| WO2017104794A1 (en) | Visual perception assistance system and visual-perception target object detection system | |
| WO2017056401A1 (en) | Control device, control method, and program | |
| US9956962B2 (en) | Method and device for determining a reaction time of a vehicle driver | |
| JP2007087336A (en) | Vehicle peripheral information display device | |
| JP2009244959A (en) | Driving support device and driving support method | |
| CN107010077B (en) | Method for transmitting information to a driver of a motor vehicle and adaptive driver assistance system | |
| JP6075248B2 (en) | Information display device | |
| US20160179195A1 (en) | Method for operating a head-up display, presentation apparatus, vehicle | |
| JP6152833B2 (en) | Vehicle driving sense adjustment device | |
| JP2011150105A (en) | Information display device | |
| JP2015085719A (en) | Gazing object estimation device | |
| JP7058800B2 (en) | Display control device, display control method, and display control program | |
| JP2009248812A (en) | Driving assistance device | |
| US9495871B2 (en) | Display control device, display control method, non-transitory recording medium, and projection device | |
| JP2018045067A (en) | Simulated driving device and simulated driving method | |
| KR20230004634A (en) | Reactivity Calculation Method | |
| JP7342637B2 (en) | Vehicle control device and driver condition determination method | |
| JP4857891B2 (en) | Driving support device and program | |
| JP2007280061A (en) | Drive support apparatus for vehicle | |
| JP2009098501A (en) | Visual information display device and visual information display method | |
| CN111267865B (en) | Vision-based safe driving early warning method and system and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180815 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190122 |