JP2017174043A - Display device - Google Patents

Display device Download PDF

Info

Publication number
JP2017174043A
JP2017174043A JP2016057952A JP2016057952A JP2017174043A JP 2017174043 A JP2017174043 A JP 2017174043A JP 2016057952 A JP2016057952 A JP 2016057952A JP 2016057952 A JP2016057952 A JP 2016057952A JP 2017174043 A JP2017174043 A JP 2017174043A
Authority
JP
Japan
Prior art keywords
situation
display
video
control
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016057952A
Other languages
Japanese (ja)
Inventor
岳治 植坂
Gakuji Uesaka
岳治 植坂
悟 田宮
Satoru Tamiya
悟 田宮
廣人 根岸
Hiroto Negishi
廣人 根岸
志昌 鈴木
Yukimasa Suzuki
志昌 鈴木
太郎 相浦
Taro Aiura
太郎 相浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2016057952A priority Critical patent/JP2017174043A/en
Publication of JP2017174043A publication Critical patent/JP2017174043A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a display device capable of switching video seamlessly according to ambient conditions.SOLUTION: In a display device, a translucent type display 9 can display at least video during automatic driving, a driving prediction unit 5 acquires information from an external sensor 1 or the like detecting the situation of the outside of a vehicle, and in the case of the situation in which a driver needs to visually recognize the situation of the outside thereof, the driving prediction unit 5 and a synthesis processing unit 7 performs control so that visibility of video being displayed on the translucent type display 9 is reduced.SELECTED DRAWING: Figure 1

Description

本発明は、映像を表示する表示装置に関する。   The present invention relates to a display device that displays an image.

自動車等の車両のフロントガラスに映像を投影して運転者に各種情報を提示する表示装置は知られている。   2. Description of the Related Art A display device that projects video on a windshield of a vehicle such as an automobile and presents various information to a driver is known.

例えば特許文献1には、フロントガラスに経路の誘導情報や注意喚起情報等が表示されていることが記載されている。   For example, Patent Literature 1 describes that route guidance information, alert information, and the like are displayed on a windshield.

特開2014−71024号公報JP 2014-71024 A

近年、自動車等の自動運転の研究や開発が行われており、近い将来は実用化されると考えられる。自動運転中であっても、車両の周囲に注意すべき事象が発生していた場合は人間が何らかの介入をする必要が生じる場合もある。しかしながら、フロントガラスに表示されている情報に遮られて車両前方の状況を視認できなかったり、表示されている情報に集中してしたりして、上記した注意すべき事象に気付きにくいという問題がある。   In recent years, research and development of autonomous driving of automobiles and the like have been conducted, and it is thought that they will be put into practical use in the near future. Even during automatic driving, if an event that requires attention has occurred around the vehicle, it may be necessary for humans to intervene. However, there is a problem that the information displayed on the windshield is obstructed so that the situation in front of the vehicle cannot be visually recognized or the information on the displayed information is concentrated and it is difficult to notice the above-mentioned cautionary events. is there.

そこで、本発明は、上述した問題に鑑み、例えば、周囲の状況に応じて、映像をシームレスに切り替えることができる表示装置を提供することを目的とする。   Therefore, in view of the above-described problems, an object of the present invention is to provide a display device capable of seamlessly switching images according to surrounding conditions, for example.

上記課題を解決するために、請求項1に記載された発明は、自動運転時に映像が表示可能かつ透過可能な表示手段と、前記自動運転時の車両外部の状況を取得する状況取得手段と、前記状況が運転者が視認すべき状況であるか判断し、当該状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている前記映像の視認性を低下させるように制御する制御手段と、を有することを特徴とする表示装置である。   In order to solve the above-described problem, the invention described in claim 1 includes a display unit capable of displaying and transmitting a video during automatic driving, a situation acquisition unit for acquiring a situation outside the vehicle during the automatic driving, It is determined whether the situation is a situation to be visually recognized by the driver, and when the situation is a situation to be visually recognized by the driver, control is performed so as to reduce the visibility of the video displayed on the display means. And a control means.

請求項10に記載された発明は、自動運転時に映像が表示可能かつ透過可能な表示手段の表示制御方法であって、前記自動運転時の車両外部の状況を検出する状況検出手段が検出した前記状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている映像の視認性を低下させるように制御する制御工程を含むことを特徴とする表示制御方法である。   The invention described in claim 10 is a display control method of display means capable of displaying and transmitting images during automatic driving, wherein the situation detecting means for detecting a situation outside the vehicle during the automatic driving is detected. When the situation is a situation to be visually recognized by the driver, the display control method includes a control step of controlling to reduce the visibility of the video displayed on the display means.

請求項11に記載された発明は、請求項10に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラムである。   The invention described in claim 11 is a display control program that causes a computer to execute the display control method according to claim 10.

請求項12に記載された発明は、請求項11に記載の表示制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。   The invention described in claim 12 is a computer-readable recording medium in which the display control program according to claim 11 is stored.

本発明の第1の実施例にかかる表示装置を備える車載システムの概略ブロック構成図である。1 is a schematic block configuration diagram of an in-vehicle system including a display device according to a first embodiment of the present invention. 図1に示された表示装置の危険予測処理のフローチャートである。It is a flowchart of the danger prediction process of the display apparatus shown by FIG. 図1に示された表示装置の状況判定処理のフローチャートである。It is a flowchart of the status determination process of the display apparatus shown by FIG. 図1に示された表示装置のパラメータチェック処理のフローチャートである。It is a flowchart of the parameter check process of the display apparatus shown by FIG. 図1に示された表示装置の危険予測時の映像切替処理のフローチャートである。It is a flowchart of the video switching process at the time of danger prediction of the display apparatus shown by FIG. 本発明の第2の実施例にかかる表示装置の状況判定処理のフローチャートである。It is a flowchart of the status determination process of the display apparatus concerning 2nd Example of this invention.

以下、本発明の一実施形態にかかる表示装置を説明する。本発明の一実施形態にかかる表示装置は、自動運転時に映像が表示可能かつ透過可能な表示手段と、自動運転時の車両外部の状況を取得する状況取得手段と、その状況が運転者が視認すべき状況であるか判断し、その状況が運転者が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させるように制御する制御手段と、を備えている。このようにすることにより、自動運転時に車両外部の状況が視認すべき状況である場合は、表示手段に様々な情報等の映像が表示されていたとしても当該映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像表示をシームレスに切り替えることができる。   Hereinafter, a display device according to an embodiment of the present invention will be described. A display device according to an embodiment of the present invention includes a display unit capable of displaying and transmitting a video during automatic driving, a situation acquisition unit for acquiring a situation outside the vehicle during automatic driving, and the situation visually recognized by the driver. Control means for determining whether or not the situation should be determined and when the situation is to be visually recognized by the driver, the control means for controlling so as to reduce the visibility of the video displayed on the display means. . By doing in this way, when the situation outside the vehicle is to be visually recognized during automatic driving, the visibility of the video can be reduced even if a video such as various information is displayed on the display means. it can. Therefore, video display can be seamlessly switched according to the surrounding situation.

また、表示手段は、車両のフロントガラスに設けられたスクリーン部に映像を投影するものであってもよい。このようにすることにより、車両のフロントガラスのスクリーン部に様々な情報が表示されていた場合であっても、映像をシームレスに切り替えることができる。   The display means may project an image on a screen portion provided on the windshield of the vehicle. By doing in this way, even if various information is displayed on the screen part of the windshield of a vehicle, a picture can be changed seamlessly.

また、制御手段は、少なくとも表示手段の透過率の変化、表示されている映像の縮小率の変化のいずれかを状況に応じて選択し、制御してもよい。このようにすることにより、周囲の状況に応じた適切な制御で映像の切り替え等を行うことができる。   The control means may select and control at least one of the change in the transmittance of the display means and the change in the reduction ratio of the displayed video according to the situation. By doing in this way, it is possible to perform video switching and the like with appropriate control according to the surrounding situation.

前記制御手段は、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。このようにすることにより、一度視認すべき状況が発生した場合は、すべての状況が終了するまでは、映像の視認性を良くするような制御を行うようにして運転者に状況の把握と判断に集中させることができる。   The control means may not decrease the current transmittance when updating the transmittance, and may not increase the size of the currently displayed video when updating the reduction rate. In this way, if a situation that should be visually recognized once occurs, control is performed so as to improve the visibility of the video until all the situations are finished, and the driver is informed of the situation and judges it. Can focus on.

また、制御手段は、重要度が高い状況が検出された場合、当該状況が終了するまで他の状況に対応する制御を行わないようにしてもよい。このようにすることにより、優先順位を設けて、より重要度が高い状況に対しては、他の状況の発生による影響を受けずに表示状態を維持することが可能となる。   In addition, when a situation with high importance is detected, the control unit may not perform control corresponding to another situation until the situation ends. In this way, it is possible to set the priority order and maintain the display state without being affected by the occurrence of other situations for the more important situations.

また、運転者の視線を検出する視線検出手段を更に備え、制御手段は、視線に基づいて制御をしてもよい。このようにすることにより、運転者の視線が映像を視認しているのか、外部の状況を視認しているのかに応じて、透過率の増加等の更なる制御をすることが可能となる。   Further, the camera may further include line-of-sight detection means for detecting the driver's line of sight, and the control means may perform control based on the line of sight. By doing in this way, it becomes possible to perform further control, such as increase in transmittance, depending on whether the driver's line of sight is visually recognizing an image or an external situation.

また、運転者による運転操作を検出する運転検出手段を更に備え、制御手段は、運転操作が検出された場合、映像の表示を停止させるようにしてもよい。このようにすることにより、運転者が運転操作をした場合には、映像の表示を停止させて、運転に集中できるようにすることができる。   In addition, driving detection means for detecting a driving operation by the driver may be further provided, and the control means may stop displaying the video when the driving operation is detected. In this way, when the driver performs a driving operation, the display of the video can be stopped so that the driver can concentrate on driving.

また、制御手段は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させるようにしてもよい。このようにすることにより、映像が徐々に切り替わるようになり、映像表示をシームレスに切り替えることができる。   The control means may stop the display of the video when the driving operation is detected after performing the control for reducing the visibility of the video at least once. By doing so, the video is gradually switched, and the video display can be switched seamlessly.

また、制御手段は、表示手段のうち、状況が観察される部分について強調表示をするようにしてもよい。このようにすることにより、運転者が状況を認識し易くすることが可能となる。   Further, the control means may highlight the portion of the display means where the situation is observed. In this way, the driver can easily recognize the situation.

また、本発明の一実施形態にかかる表示制御方法は、車両外部の状況を検出する状況検出手段が検出した状況を運転者が視認すべき状況である場合は、透過可能な表示手段に表示されている映像の視認性を低下させるよう制御する制御工程を含んでいる。このようにすることにより、車両外部の状況が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像をシームレスに切り替えることができる。   In addition, the display control method according to the embodiment of the present invention is displayed on the transmissive display means when the driver should visually recognize the situation detected by the situation detection means for detecting the situation outside the vehicle. And a control process for controlling to reduce the visibility of the video. By doing in this way, when the situation outside a vehicle is a situation which should be visually recognized, the visibility of the picture currently displayed on a display means can be reduced. Therefore, the video can be switched seamlessly according to the surrounding situation.

また、上述した表示制御方法を、表示制御プログラムとしてコンピュータにより実行させてもよい。このようにすることにより、コンピュータを利用して、車両外部の状況が視認すべき状況である場合は、表示手段に表示されている映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像をシームレスに切り替えることができる。   The display control method described above may be executed by a computer as a display control program. By doing in this way, the visibility of the image | video currently displayed on the display means can be reduced when the situation outside a vehicle should be visually recognized using a computer. Therefore, the video can be switched seamlessly according to the surrounding situation.

また、上述した表示制御プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。   Further, the display control program described above may be stored in a computer-readable recording medium. In this way, the program can be distributed as a single unit in addition to being incorporated in the device, and version upgrades can be easily performed.

本発明の第1の実施例にかかる表示装置を図1乃至図5を参照して説明する。図1は、本実施例にかかる表示装置50を備える車載システム100の概略構成図である。   A display device according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic configuration diagram of an in-vehicle system 100 including a display device 50 according to the present embodiment.

図1に示すように、車載システム100は、外界センサ1と、ナビゲーション部2と、車外カメラ3と、車内カメラ4と、運転予測部5と、車両制御部6と、合成処理部7と、AV機器8と、透過型ディスプレイ9と、を備え、自動運転による走行が可能な自動車等の車両に搭載されている。   As shown in FIG. 1, the in-vehicle system 100 includes an external sensor 1, a navigation unit 2, an in-vehicle camera 3, an in-vehicle camera 4, a driving prediction unit 5, a vehicle control unit 6, a synthesis processing unit 7, The vehicle is equipped with an AV device 8 and a transmissive display 9, and is mounted on a vehicle such as an automobile capable of traveling by automatic driving.

外界センサ1は、車両の前方等の車両の外界(外部)の状況を検出するためのセンサであり、例えばLIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging)等で構成される。即ち、自動運転時の車両外部の状況を検出する。   The external sensor 1 is a sensor for detecting the situation of the external environment (external) of the vehicle such as in front of the vehicle, and is configured by, for example, LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging). That is, the situation outside the vehicle during automatic driving is detected.

ナビゲーション部2は、現在位置から目的地までの経路を探索して、経路情報を生成する。そして、車両制御部6は当該経路情報に基づいて車両を走行させる。また、ナビゲーション部2により生成された経路情報は、合成処理部7へ出力されて透過型ディスプレイ9に表示される。   The navigation unit 2 searches for a route from the current position to the destination and generates route information. And the vehicle control part 6 makes a vehicle drive | work based on the said route information. Further, the route information generated by the navigation unit 2 is output to the synthesis processing unit 7 and displayed on the transmissive display 9.

車外カメラ3は、車両の前方撮影カメラ、後方撮影カメラ、側面撮影カメラ等から構成され、車両の前方や後方、側面(左方、右方)を撮影する。即ち、少なくとも前方撮影カメラは自動運転時の車両外部(前方)の状況を検出する。   The vehicle exterior camera 3 includes a front camera, a rear camera, a side camera, and the like of the vehicle, and images the front, rear, and side surfaces (left and right) of the vehicle. That is, at least the front shooting camera detects the situation outside the vehicle (front) during automatic driving.

車内カメラ4は、車内に設置され、車両の後方座席を撮影するカメラである。   The in-vehicle camera 4 is a camera that is installed in the vehicle and shoots a rear seat of the vehicle.

状況取得手段、制御手段としての運転予測部5は、外界センサ1の出力、ナビゲーション部2の案内情報及び現在位置情報、車外カメラ3の撮影した映像、車両制御部6に入力される車両に搭載された各種センサ等からの情報等を取得し、当該出力や映像等に基づいて、車両の周囲の状況を判断し、その状況に応じた運転情報を車両制御部6に出力するとともに、合成処理部7に前記状況に基づいたイベント情報を出力して後述する透過型ディスプレイ9の表示の変更を行わせる。   The driving prediction unit 5 as a situation acquisition unit and a control unit is mounted on the vehicle input to the output of the external sensor 1, guidance information and current position information of the navigation unit 2, images taken by the vehicle camera 3, and the vehicle control unit 6. The information obtained from the various sensors is acquired, the situation around the vehicle is judged on the basis of the output and video, etc., and the driving information corresponding to the situation is output to the vehicle control unit 6, and the synthesis process The event information based on the situation is output to the unit 7 to change the display of the transmissive display 9 described later.

車両制御部6は、運転予測部5からの運転情報や経路情報等に基づいて、アクセルやブレーキ、ハンドル等の操作を自律的に行って車両を自動走行させる。   Based on the driving information, route information, and the like from the driving prediction unit 5, the vehicle control unit 6 autonomously operates the accelerator, the brake, the handle, and the like to automatically drive the vehicle.

制御手段としての合成処理部7は、運転者等の搭乗者からの操作あるいは、運転予測部5からの制御に基づいてナビゲーション部2、車外カメラ3、車内カメラ4、AV機器8等の映像を透過型ディスプレイ9に出力する。また、運転予測部5からのイベント情報に基づいて、現在表示されている映像の表示の態様を変更する。変更の内容としては、例えば、透過率の変更、縮小又は拡大、部分消去、別画面表示、ソース(ナビゲーション部2、車外カメラ3、車内カメラ4、AV機器8)の切り換え、複数ソースを複数画面で表示する等である。なお、本実施例における運転者とは、手動運転に切り替えられた際にハンドルやアクセル、ブレーキ等の運転操作が可能な座席に着席している搭乗者をいう。即ち、本実施例では、透過型ディスプレイ9には、ナビゲーション部2、車外カメラ3、車内カメラ4、AV機器8のいずれかが出力する情報が表示される。なお、透過型ディスプレイ9には、これらの以外の情報、例えば、自動運転に関連する各種情報等が表示されてもよい。   The synthesizing processing unit 7 as a control means displays images of the navigation unit 2, the vehicle outside camera 3, the vehicle interior camera 4, the AV device 8, and the like based on an operation from a passenger such as a driver or a control from the driving prediction unit 5. Output to the transmissive display 9. Further, the display mode of the currently displayed video is changed based on the event information from the driving prediction unit 5. The contents of the change include, for example, change of transmittance, reduction or enlargement, partial erasure, separate screen display, switching of the source (navigation unit 2, vehicle outside camera 3, vehicle camera 4 and AV equipment 8), and screens of a plurality of sources. And so on. Note that the driver in the present embodiment refers to a passenger who is seated in a seat that can be operated by a steering wheel, an accelerator, a brake, or the like when switched to manual driving. In other words, in the present embodiment, the transmissive display 9 displays information output from any one of the navigation unit 2, the vehicle camera 3, the vehicle camera 4, and the AV device 8. The transmissive display 9 may display information other than these, for example, various information related to automatic driving.

AV機器8は、例えばテレビ放送受信機や記録媒体再生機器等のAV(Audio Visual)情報を受信又は再生等する機器である。なお、携帯電話回線網やインターネット等を介して外部サーバ等に格納されたAV情報を受信して再生してもよい。なお、以下の説明では、エンターテインメント情報としてAV情報で説明するが、他のエンターテインメント情報として、例えばゲームやWEBブラウザ、電子書籍、メールやメッセンジャー等の情報であってもよい。   The AV device 8 is a device that receives or reproduces AV (Audio Visual) information such as a television broadcast receiver or a recording medium reproducing device. Note that AV information stored in an external server or the like may be received and reproduced via a mobile phone network or the Internet. In the following description, the AV information is described as entertainment information, but other entertainment information may be information such as a game, a WEB browser, an electronic book, an email, a messenger, and the like.

表示手段としての透過型ディスプレイ9は、車両のフロントガラスで構成された表示部と合成処理部7から出力された映像情報をフロントガラスに投影する投影部とを含み、合成処理部7から出力された映像情報を表示する。表示部は、例えば、散乱状態と入射光の散乱が小さい透明な透過状態を変化させる調光スクリーン等がフロントガラスに重ねられて構成されている。或いは、フロントガラス自体がスクリーンとなる状態と透過状態とに変化するような構成としてもよい。即ち、透過型ディスプレイ9は、映像が表示可能かつ透過状態に変化可能な表示手段であって、前記した調光スクリーン等がフロントガラスに設けられたスクリーン部となる。また、透過型ディスプレイ9は、表示部の透過率を増加させたり(より透明に近づける)、表示を停止させることにより、透過型ディスプレイ9越しの前方の景色等が運転者から視認できるようになる。   The transmissive display 9 as a display unit includes a display unit configured by a windshield of the vehicle and a projection unit that projects video information output from the synthesis processing unit 7 onto the windshield, and is output from the synthesis processing unit 7. Displayed video information. The display unit is configured, for example, by superimposing a dimming screen or the like that changes a scattering state and a transparent transmission state with small scattering of incident light on a windshield. Or it is good also as a structure from which the windshield itself changes to the state used as a screen, and a permeation | transmission state. That is, the transmissive display 9 is a display means that can display an image and can change to a transmissive state, and is a screen portion in which the above-described dimming screen or the like is provided on the windshield. Further, the transmissive display 9 increases the transmittance of the display unit (makes it more transparent) or stops the display so that the driver can visually recognize the scenery in front of the transmissive display 9. .

本実施例における表示装置50は、運転予測部5と、合成処理部7と、透過型ディスプレイ9と、から構成される。   The display device 50 in this embodiment includes an operation prediction unit 5, a composition processing unit 7, and a transmissive display 9.

次に、上述した構成の表示装置50における動作を図2乃至図5を参照して説明する。図2乃至図4に示したフローチャートは運転予測部5で実行され、図5に示したフローチャートは合成処理部7で実行される。したがって、運転予測部5及び合成処理部7は、CPUやメモリ等を備えたコンピュータとして構成し、図2乃至図4に示したフローチャートの動作を当該コンピュータで動作するコンピュータプログラム(表示制御プログラム)として構成してもよい。   Next, the operation of the display device 50 having the above-described configuration will be described with reference to FIGS. The flowcharts shown in FIGS. 2 to 4 are executed by the driving prediction unit 5, and the flowchart shown in FIG. Therefore, the driving prediction unit 5 and the synthesis processing unit 7 are configured as a computer including a CPU, a memory, and the like, and the operations of the flowcharts illustrated in FIGS. 2 to 4 are performed as a computer program (display control program) that operates on the computer. It may be configured.

まず、図2に示したフローチャートを説明する。図2に示したフローチャートは危険予測処理にかかる動作である。まず、ステップS101において、危険検出処理を行ってステップS102に進む。本ステップでは、外界センサ1の出力や車外カメラ3の撮影した映像等に基づいて、前方の車両の急停車や、通行人や動物等の飛び出し、交差点での横断者や二輪車等の検出、或いは事故現場、冠水道路等のその他の異常等の緊急度の高いイベントを検出する。   First, the flowchart shown in FIG. 2 will be described. The flowchart shown in FIG. 2 is an operation related to the risk prediction process. First, in step S101, a danger detection process is performed and the process proceeds to step S102. In this step, based on the output of the external sensor 1 or the image taken by the camera 3 outside the vehicle, a sudden stop of the vehicle ahead, popping out of passersby or animals, detection of crossers or motorcycles at intersections, or accidents Detect highly urgent events such as other abnormalities such as on-site and submerged roads.

次に、ステップS102において、ステップS101の処理の結果、危険を検出したか否かを判断し、危険を検出した場合(YESの場合)はステップS103進み、危険を検出しない場合(NOの場合)はステップS101に戻る。   Next, in step S102, it is determined whether or not a danger is detected as a result of the process in step S101. If a danger is detected (YES), the process proceeds to step S103, and no danger is detected (NO). Returns to step S101.

次に、ステップS103において、ステップS102において危険が検出されたと判断されたので危険回避イベントをイベント情報として合成処理部7に送信してステップS104に進む。   Next, in step S103, since it is determined that a danger is detected in step S102, a danger avoidance event is transmitted as event information to the synthesis processing unit 7, and the process proceeds to step S104.

次に、ステップS104において、危険解消検出処理を行ってステップS105に進む。本ステップでは、ステップS101で検出された緊急度の高いイベントが解消したことを検出する。   Next, in step S104, a danger elimination detection process is performed, and the process proceeds to step S105. In this step, it is detected that the event of high urgency detected in step S101 has been resolved.

次に、ステップS105において、ステップS104の処理の結果、危険が解消したか否かを判断し、危険が解消した場合(YESの場合)はステップS106に進み、危険が解消しない場合(NOの場合)はステップS104に戻る。   Next, in step S105, it is determined whether or not the danger has been eliminated as a result of the process in step S104. If the danger is eliminated (in the case of YES), the process proceeds to step S106, and the danger is not eliminated (in the case of NO). ) Returns to Step S104.

次に、ステップS106において、再度危険検出処理を行ってステップS107に進む。本ステップでは、ステップS101と同様に緊急度の高いイベントを検出するが、ステップS101で検出されたイベントと異なるイベントが検出されたかを確認している。   Next, in step S106, the danger detection process is performed again and the process proceeds to step S107. In this step, an event with a high degree of urgency is detected as in step S101, but it is confirmed whether an event different from the event detected in step S101 has been detected.

次に、ステップS107において、ステップS106の処理の結果、危険を検出したか否かを判断し、危険を検出した場合(YESの場合)はステップS104に戻り、危険を検出しない場合(NOの場合)はステップS108に進む。   Next, in step S107, it is determined whether or not a danger is detected as a result of the process in step S106. If a danger is detected (in the case of YES), the process returns to step S104, and no danger is detected (in the case of NO). ) Proceeds to step S108.

次に、ステップS108において、ステップS107においても危険を検出していないので、危険回避復帰イベントをイベント情報として合成処理部7に送信してステップS101に戻る。   Next, in step S108, since no danger is detected in step S107, the danger avoidance return event is transmitted as event information to the composition processing unit 7 and the process returns to step S101.

次に、図3に示したフローチャートを説明する。図3に示したフローチャートは状況判定処理にかかる動作である。状況判定処理とは、図2に示した緊急度の高いイベントには該当しない状況にかかるイベントを検出する処理である。なお、図2のフローチャートと図3のフローチャートとはそれぞれ並列して実行される。まず、ステップS201において、現在状況の初期値として通常運行を設定してステップS202に進む。通常運行とは、以下に説明する状況が発生していない初期状態を示す。   Next, the flowchart shown in FIG. 3 will be described. The flowchart shown in FIG. 3 is an operation related to the situation determination process. The situation determination process is a process for detecting an event related to a situation that does not correspond to the event of high urgency shown in FIG. 2 and the flowchart of FIG. 3 are executed in parallel. First, in step S201, normal operation is set as an initial value of the current situation, and the process proceeds to step S202. The normal operation indicates an initial state in which the situation described below does not occur.

次に、ステップS202において、状況判定処理を行ってステップS203に進む。本ステップでは、外界センサ1や車外カメラ3、車内カメラ4の撮影した映像等に基づいて、例えば誘導に関する状況、アクション待ちに関する状況、事後対処に関する状況、道路に関する状況、周囲への配慮に関する状況のなどの運転者が視認すべき状況を検出する。   Next, in step S202, a situation determination process is performed, and the process proceeds to step S203. In this step, based on images taken by the external sensor 1, the camera 3 outside the vehicle, the camera 4 inside the vehicle, etc., for example, the situation concerning guidance, the situation concerning waiting for action, the situation concerning subsequent actions, the situation concerning roads, the situation concerning consideration for surroundings, etc. The situation that the driver should visually recognize is detected.

誘導に関する状況としては、目的地付近に到着、 搭乗者に目的地設定を促す、駐車位置の確認、進路を他車に譲る/譲らないのシチュエーション判断等が含まれる。アクション待ちに関する状況としては、料金所、ドライブスルー等における指示などが含まれる。事後対処に関する状況としては、事故が発生したとき(後方車両からの追突)、パンク、ガス欠、各種車両トラブル等が含まれる。道路に関する状況としては狭い道、高速道路、トンネル、夜間等の走行の状況が含まれる。周囲への配慮に関する状況としては、水はね、歩行者との距離、右折のとき右に寄る等が含まれる。   The situation regarding guidance includes arrival near the destination, prompting the passenger to set the destination, confirmation of the parking position, situation judgment of whether to give the route to other vehicles or not. The situation related to waiting for action includes instructions at a toll booth, drive-through, and the like. Situations relating to the follow-up measures include puncture, gas shortage, various vehicle troubles, etc. when an accident occurs (a rear-end collision from the rear vehicle). Road conditions include driving conditions such as narrow roads, highways, tunnels, and nighttime. Situations regarding consideration for the surroundings include water splashing, distance to pedestrians, and turning right when turning right.

次に、ステップS203において、検出したすべての状況を現在状況に格納してステップS204に進む。本ステップでは、ステップS202において検出されたすべての状況をメモリ等に格納する。つまり、ステップS202の状況は上記に例示したように複数の状況が発生する可能性があるので、発生した状況はすべて記憶し、以降の処理において利用する。   Next, in step S203, all the detected situations are stored in the current situation, and the process proceeds to step S204. In this step, all the situations detected in step S202 are stored in a memory or the like. That is, since the situation of step S202 may generate a plurality of situations as exemplified above, all the situations that have occurred are stored and used in the subsequent processing.

次に、ステップS204において、パラメータチェック処理を行いステップS205に進む。パラメータチェック処理については後述する。   Next, in step S204, parameter check processing is performed, and the process proceeds to step S205. The parameter check process will be described later.

次に、ステップS205において、パラメータチェック処理において決定したイベントをイベント情報として合成処理部7に送信してステップS202に戻る。   Next, in step S205, the event determined in the parameter check process is transmitted as event information to the composition processing unit 7, and the process returns to step S202.

次に、図4に示したフローチャートを説明する。図4に示したフローチャートはパラメータチェック処理、即ち図3のステップS204にかかる動作である。まず、ステップS301において、パラメータを初期化する。なお、パラメータとは、透過型値ディスプレイ9の表示態様に関するパラメータであり、例えば、スクリーン部の透過率、映像の縮小率、スクリーン部における表示座標、部分消去座標、部分消去形状等である。本ステップでは、初期化によって透過率=最小(フロントガラス越しに前方景色が透けて見えない)、縮小率=なし(縮小せずにフロントガラスに表示)、表示座標=初期値(運転席の正面位置、フロントガラスの中央等)、部分消去座標=なし、部分消去形状=なし、にそれぞれ設定される。   Next, the flowchart shown in FIG. 4 will be described. The flowchart shown in FIG. 4 is a parameter check process, that is, an operation according to step S204 in FIG. First, in step S301, parameters are initialized. The parameters are parameters relating to the display mode of the transmissive value display 9, and are, for example, the transmittance of the screen portion, the reduction ratio of the video, the display coordinates on the screen portion, the partial erase coordinates, the partial erase shape, and the like. In this step, the transmittance is minimized by initialization (the front scenery cannot be seen through the windshield), the reduction ratio is none (displayed on the windshield without being shrunk), and the display coordinates are the initial values (front of the driver's seat). Position, center of windshield, etc.), partial erase coordinates = none, and partial erase shape = none.

次に、ステップS302において、図3のステップS203でメモリ等に格納された状況(現在状況)が通常運行のみか否かを判断し、通常運行のみの場合(YESの場合)はステップS303に進み、そうでない場合(NOの場合)はステップS305に進む。   Next, in step S302, it is determined whether or not the situation (current situation) stored in the memory or the like in step S203 in FIG. 3 is normal operation only. If normal operation is only (YES), the process proceeds to step S303. If not (NO), the process proceeds to step S305.

次に、ステップS303において、現在状況が通常運行のみであったのでパラメータをクリア(初期化)してステップS304に進む。   Next, in step S303, since the current situation is only normal operation, the parameters are cleared (initialized), and the process proceeds to step S304.

次に、ステップS304において、映像復帰イベントを発行イベントとしてリターンする。つまり、自動運転時の通常の表示態様に戻すイベントを発行する。   In step S304, the video return event is returned as an issue event. That is, an event for returning to the normal display mode during automatic driving is issued.

一方、ステップS305においては、すべての現在状況をチェック完了したか否かを判断し、チェック完了の場合(YESの場合)はリターンし、チェック完了していない場合(NOの場合)はステップS306に進む。なお、チェックとは、以下に説明するステップS306〜S309の処理を示す。   On the other hand, in step S305, it is determined whether or not all current conditions have been checked. If the check is completed (YES), the process returns. If the check is not completed (NO), the process returns to step S306. move on. Note that “check” refers to processing in steps S306 to S309 described below.

次に、ステップS306において、現在状況として格納されているメモリ等から状況を1つ選択し、その状況に対応したパラメータを抽出する。例えば、目的地付近に到着の場合は、縮小率のパラメータとして16倍(現在の表示のサイズから1/16にする)が抽出される、料金所の場合は透過率のパラメータとして2倍が抽出される等である。   Next, in step S306, one situation is selected from the memory or the like stored as the current situation, and parameters corresponding to the situation are extracted. For example, when arriving near the destination, 16 times as the reduction ratio parameter (1/16 from the current display size) is extracted, and when the toll gate, 2 times as the transmittance parameter is extracted. Etc.

次に、ステップS307において、ステップS306で抽出されたパラメータの値がそれまでの当該パラメータの値と異なる値であるか(更新ありか)否かを判断し、更新ありの場合(YESの場合)はステップS308に進み、更新なしの場合(NOの場合)はステップS305に戻る。なお、本ステップにおいては、パラメータがより大きな値に更新される場合(増加させるように変化する場合)にのみ更新ありと判断するようにしてもよい。例えば現在透過率4倍の状態で、透過率2倍の状況に対応するパラメータが抽出された場合は無視してもよい。つまり、映像の視認性を低下させる方向のみに更新してもよい。即ち、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。   Next, in step S307, it is determined whether or not the value of the parameter extracted in step S306 is different from the value of the parameter so far (updated). If updated (if YES) Advances to step S308, and if there is no update (NO), returns to step S305. In this step, it may be determined that there is an update only when the parameter is updated to a larger value (changed so as to increase). For example, when a parameter corresponding to a situation where the transmittance is doubled is extracted in a state where the transmittance is four times, it may be ignored. That is, you may update only in the direction which reduces the visibility of an image | video. That is, when updating the transmittance, the current transmittance may not be decreased, and when the reduction rate is updated, the size of the currently displayed image may not be enlarged.

次に、ステップS308において、ステップS307においてパラメータ更新ありと判断されたので当該パラメータを更新してステップS309に進む。   Next, in step S308, since it is determined that there is a parameter update in step S307, the parameter is updated, and the process proceeds to step S309.

次に、ステップS309において、ステップS308で更新したパラメータに対応したイベントを発行イベントとしてステップS305に戻る。つまり、透過率を更新した場合は映像透過イベントが発行イベントとなり、縮小率を更新した場合は映像縮小イベントが発行イベントとなり、部分消去を更新した場合は映像部分消去イベントが発行イベントとなり、別画面切替を更新した場合は別画面切替イベントが発行イベントとなる。そして、再度ステップS306で他の状況を選択し、その状況に対応したパラメータを抽出してステップS307以降を繰り返す。   Next, in step S309, the process returns to step S305 with the event corresponding to the parameter updated in step S308 as an issue event. In other words, when the transparency is updated, the video transparency event becomes the issue event, when the reduction rate is updated, the video reduction event becomes the issue event, and when the partial erase is updated, the video partial erase event becomes the issue event. When switching is updated, another screen switching event becomes an issue event. In step S306, another situation is selected again, parameters corresponding to the situation are extracted, and step S307 and subsequent steps are repeated.

次に、図5に示したフローチャートを説明する。図5に示したフローチャートは危険予測時の映像切替処理にかかる動作である。本フローチャートは、上述したように、運転予測部5で実行された図2〜図4のフローチャートの処理結果(イベント情報)に基づいて合成処理部7で実行される。   Next, the flowchart shown in FIG. 5 will be described. The flowchart shown in FIG. 5 is an operation related to the video switching process at the time of danger prediction. As described above, this flowchart is executed by the synthesis processing unit 7 based on the processing results (event information) of the flowcharts of FIGS. 2 to 4 executed by the driving prediction unit 5.

まず、ステップS401において、現在映像が透過型ディスプレイ9に表示されているか否かを判断し、表示されている場合(YESの場合)はステップS402に進み、表示されていない場合(NOの場合)は本ステップで待機する。   First, in step S401, it is determined whether or not the current image is displayed on the transmissive display 9, and if it is displayed (YES), the process proceeds to step S402, and if not displayed (NO). Waits at this step.

次に、ステップS402において、運転予測部5からイベント情報を受け取ってステップS403に進む。   Next, in step S402, event information is received from the driving | operation prediction part 5, and it progresses to step S403.

次に、ステップS403において、ステップS402でイベント情報を受け取ったか否かを判断し、受け取った場合(YESの場合)はステップS404に進み、受け取らなかった場合(NOの場合)はステップS401に戻る。   Next, in step S403, it is determined whether event information has been received in step S402. If received (YES), the process proceeds to step S404. If not received (NO), the process returns to step S401.

次に、ステップS404において、受け取ったイベント情報に応じた処理を行う。受け取ったイベント情報が映像透過であった場合はステップS405に進んで映像透過処理、つまり、透過型ディスプレイ9の表示されている映像の透過率を変更してステップS401に戻る。受け取ったイベントが映像縮小であった場合はステップS406に進んで映像縮小処理、つまり、透過型ディスプレイ9の表示されている映像の縮小率を変更してステップS401に戻る。   Next, in step S404, processing according to the received event information is performed. If the received event information is video transmission, the process proceeds to step S405, where video transmission processing, that is, the transmittance of the video displayed on the transmissive display 9 is changed, and the process returns to step S401. If the received event is video reduction, the process proceeds to step S406, where video reduction processing, that is, the reduction ratio of the video displayed on the transmissive display 9 is changed, and the process returns to step S401.

受け取ったイベントが映像部分消去であった場合はステップS407に進んで映像部分消去処理、つまり、透過型ディスプレイ9の表示されている映像の形状等を変更して部分的に映像を消去した状態としステップS401に戻る。受け取ったイベントが別画面切替であった場合はステップS408に進んで別画面切替処理(別画面表示)、つまり、透過型ディスプレイ9の表示されている映像を別のソースに切り替えて(AV機器8から車外カメラ3等)ステップS401に戻る。受け取ったイベントが映像復帰であった場合はステップS409に進んで映像復帰処理、つまり、透過型ディスプレイ9の表示されている映像を元の映像に復帰(元のソースに復帰、透過率等のパラメータを初期化)してステップS401に戻る。   If the received event is video partial erasure, the process proceeds to step S407, where video partial erasure processing, that is, a state where the video is partially erased by changing the shape of the video displayed on the transmissive display 9, etc. The process returns to step S401. If the received event is another screen switching, the process proceeds to step S408, and another screen switching process (different screen display), that is, the video displayed on the transmissive display 9 is switched to another source (AV device 8). To the outside camera 3 etc.) The process returns to step S401. If the received event is video restoration, the process proceeds to step S409, where video restoration processing is performed, that is, the video displayed on the transmissive display 9 is restored to the original video (reset to the original source, parameters such as transmittance). ) And return to step S401.

受け取ったイベントが危険回避であった場合はステップS410に進んで現在透過型ディスプレイ9に表示されている映像を消去してステップS411に進む。   If the received event is danger avoidance, the process proceeds to step S410 to delete the image currently displayed on the transmissive display 9, and the process proceeds to step S411.

次に、ステップS411において、運転予測部5からイベント情報を受け取ってステップS412に進む。   Next, in step S411, event information is received from the driving | operation prediction part 5, and it progresses to step S412.

次に、ステップS412において、ステップS411で図2のステップS108で送信される危険回避復帰イベントを受け取ったか否かを判断し、受け取った場合(YESの場合)はステップS413に進み、受け取らなかった場合(NOの場合)はステップS411に戻る。   Next, in step S412, it is determined whether or not the danger avoidance return event transmitted in step S411 of FIG. 2 is received in step S411. If received (YES), the process proceeds to step S413, and if not received If (NO), the process returns to step S411.

次に、ステップS413において、透過型ディスプレイ9の表示されている映像を元の映像に復帰(消去したソースを再度表示)してステップS401に戻る。   In step S413, the image displayed on the transmissive display 9 is restored to the original image (the erased source is displayed again), and the process returns to step S401.

なお、ステップS410〜S413は、図2に示した危険予測処理の結果行われる処理であり、重要度の高い状況である。したがって、これらのステップを実行中は、ロックして他の状況によるイベントが発生しても無視するようにしてもよい。即ち、重要度が高い状況が検出された場合、当該状況が終了するまで他の状況に対応する制御を行わないようにしてもよい。   Steps S410 to S413 are processes performed as a result of the risk prediction process shown in FIG. 2, and are in a high importance situation. Therefore, during the execution of these steps, it may be locked and ignored even if an event due to another situation occurs. That is, when a situation with high importance is detected, control corresponding to another situation may not be performed until the situation ends.

以上の説明から明らかなように、運転予測部5が実行する図2〜図4のフローチャートで状況が、運転者が視認すべき状況であるか判断し、状況を運転者が視認すべき状況である場合は、合成処理部7が実行する図5のフローチャートで過型表示手段に表示されている映像の視認性を低下させるように制御している。したがって、図2〜図5のフローチャートが、自動運転時の車両外部の状況を運転者が視認すべき状況である場合は、透過型ディスプレイ9(表示手段)に表示されている映像の視認性を低下させるように制御する制御工程として機能する。   As is clear from the above description, it is determined whether or not the situation should be visually recognized by the driver in the flowcharts of FIGS. 2 to 4 executed by the driving prediction unit 5, and the situation should be visually recognized by the driver. In some cases, control is performed so as to reduce the visibility of the video displayed on the over-molding display means in the flowchart of FIG. Accordingly, when the flow charts of FIGS. 2 to 5 show a situation in which the driver should visually recognize the situation outside the vehicle during automatic driving, the visibility of the video displayed on the transmissive display 9 (display means) is improved. It functions as a control process for controlling to decrease.

本実施例によれば、自動運転時にAV情報等の映像が表示可能な透過型ディスプレイ9と、自動運転時の車両外部の状況を検出する外界センサ1等からの情報を取得する運転予測部5と、その状況が運転者が視認すべき状況であるか判断し、その状況が運転者が視認すべき状況である場合は、透過型ディスプレイ9に表示されている映像の視認性を低下させるよう制御する運転予測部5及び合成処理部7と、を備えている。このようにすることにより、車両外部の状況が視認すべき状況である場合は、透過型ディスプレイ9にAV情報等の自動運転と関連しない映像が表示されていたとしても当該映像の視認性を低下させることができる。したがって、周囲の状況に応じて、映像表示をシームレスに切り替えることができる。   According to the present embodiment, a transmission type display 9 that can display images such as AV information during automatic driving, and a driving prediction unit 5 that acquires information from the outside sensor 1 that detects a situation outside the vehicle during automatic driving. And if the situation is a situation that the driver should visually recognize, and if the situation is a situation that the driver should visually recognize, the visibility of the image displayed on the transmissive display 9 is reduced. An operation predicting unit 5 and a synthesis processing unit 7 to be controlled are provided. In this way, when the situation outside the vehicle is a situation to be visually recognized, even if a video not related to automatic driving such as AV information is displayed on the transmissive display 9, the visibility of the video is reduced. Can be made. Therefore, video display can be seamlessly switched according to the surrounding situation.

また、透過型ディスプレイ9は、車両のフロントガラスに映像を投影するもので構成されている。このようにすることにより、車両のフロントガラスにAV情報等が表示されていた場合であっても、映像をシームレスに切り替えることができる。   The transmissive display 9 is configured to project an image on the windshield of the vehicle. In this way, even when AV information or the like is displayed on the windshield of the vehicle, the video can be switched seamlessly.

また、合成処理部7は、映像の透過率の増加、縮小率の増加、部分消去、別画面表示、危険回避のいずれかの制御を状況に応じて選択し、制御している。このようにすることにより、周囲の状況に応じた適切な制御で映像の切り替え等を行うことができる。   In addition, the composition processing unit 7 selects and controls any one of control of increase in video transmittance, increase in reduction rate, partial erasure, separate screen display, and danger avoidance according to the situation. By doing in this way, it is possible to perform video switching and the like with appropriate control according to the surrounding situation.

また、合成処理部7は、危険回避イベント情報が入力された場合、当該イベントにかかる状況が終了するまで他の状況にかかるイベント情報に対応する制御を行わないようにしてもよい。このようにすることにより、優先順位を設けて、より重要度が高い状況に対しては、他の状況の発生による影響を受けずに表示状態を維持することが可能となる。   Further, when the danger avoidance event information is input, the synthesis processing unit 7 may not perform control corresponding to the event information related to another situation until the situation related to the event ends. In this way, it is possible to set the priority order and maintain the display state without being affected by the occurrence of other situations for the more important situations.

また、合成処理部7は、透過率を更新する際には現在の透過率より減少させず、縮小率を更新する際には現在表示されている映像の大きさを拡大しないようにしてもよい。つまり、運転者に外部の状況をより注目させる方向に更新してもよい。このようにすることにより、映像の視認性を良くするような制御を行いようにして、一度視認すべき状況が発生した場合は、すべての状況が終了するまでは、運転者に状況の把握と判断に集中させることができる。   Further, the composition processing unit 7 may not reduce the current transmittance when updating the transmittance, and may not increase the size of the currently displayed video when updating the reduction rate. . That is, you may update in the direction which makes a driver | operator pay more attention to the external condition. In this way, control is performed to improve the visibility of the image. If a situation that should be visually recognized once occurs, the driver will be informed of the situation until all the situations are completed. Focus on judgment.

次に、本発明の第2の実施例にかかる表示装置を図6を参照して説明する。前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。   Next, a display device according to a second embodiment of the present invention will be described with reference to FIG. The same parts as those in the first embodiment described above are denoted by the same reference numerals and the description thereof is omitted.

本実施例では、一度外部の状況が検出された場合に、その状況を運転者が認識しているか、或いは、その状況に対処したか等を考慮して映像表示を変更する。   In the present embodiment, when an external situation is detected once, the video display is changed in consideration of whether the driver recognizes the situation or copes with the situation.

本実施例にかかる状況判定処理のフローチャートを図6に示す。図6において、ステップS201〜S205は、図3と同様である。ステップS201から進んだステップS211において、現在状況が通常運行のみか否かを判断し、通常運行のみの場合(YESの場合)はステップS202に進み、そうでない場合(NOの場合)はステップS212に進む。ステップS202に進んだ場合は、図3と同様にステップS203、S204、S205と進みステップS211に戻る。   FIG. 6 shows a flowchart of the situation determination process according to the present embodiment. In FIG. 6, steps S201 to S205 are the same as those in FIG. In step S211 proceeding from step S201, it is determined whether or not the current situation is normal operation only. If only normal operation is performed (YES), the process proceeds to step S202. If not (NO), the process proceeds to step S212. move on. If the process proceeds to step S202, the process proceeds to steps S203, S204, and S205 as in FIG. 3 and returns to step S211.

一方、ステップS212においては、現在状況が通常運行のみでないので、誘導に関する状況、アクション待ちに関する状況等の何らかの状況が発生している。そこで、運転者がその状況を視認しているか検出するために運転者の視線を検出して、視線の方向が状況の方向と不一致か否かを判断し、不一致の場合(YESの場合)はステップS213に進み、一致した場合(NOの場合)はステップS214に進む。ここで、運転者の視線は、例えば車内カメラ4を後部座席を撮影するカメラに加えて運転席を撮影するカメラも設け、そのカメラで運転者の顔を撮影して視線を検出するようにすればよい。即ち、車内カメラ4が視線検出手段として機能する。また、状況の方向は、外界センサ1の検出結果や車外カメラ3が撮影した映像から運転席から当該状況の方向を推定すればよい。また、本ステップの判断は、完全に一致しない場合に限らず、所定の範囲以上視線と状況の方向がずれている場合を不一致と見做してもよい。   On the other hand, in step S212, since the current situation is not only normal operation, some situation such as a situation relating to guidance and a situation relating to waiting for an action has occurred. Therefore, in order to detect whether the driver is viewing the situation, the driver's line of sight is detected, and it is determined whether the direction of the line of sight does not match the direction of the situation. Proceeding to step S213, if they match (in the case of NO), the process proceeds to step S214. Here, the driver's line of sight is provided, for example, in addition to a camera that shoots the driver's seat in addition to the in-vehicle camera 4 that shoots the rear seat, and the driver's line of sight is detected by shooting the driver's face. That's fine. That is, the in-vehicle camera 4 functions as a line-of-sight detection unit. The direction of the situation may be estimated from the driver's seat based on the detection result of the external sensor 1 or the video taken by the vehicle camera 3. In addition, the determination in this step is not limited to a case where they do not completely match, and a case where the line of sight and the direction of the situation are shifted by a predetermined range or more may be regarded as a mismatch.

次に、ステップS213において、視線不一致を現在状況に格納してステップS204に進む。   Next, in step S213, the line-of-sight mismatch is stored in the current situation, and the process proceeds to step S204.

一方、ステップS214においては、手動運転に切り替えられたか否かを判断し、手動運転に切り替えられた場合(YESの場合)はステップS215に進み、切り替えられていない場合(NOの場合)はステップS202に進む。ここで、手動運転に切り替えられたことは、例えば、車両制御部6が、ハンドルやアクセル、ブレーキ、ウインカ、ワイパー等の車両走行に関する操作が行われたことを検出することで判断すればよい。即ち、車両制御部6が運転検出手段として機能する。   On the other hand, in step S214, it is determined whether or not the operation has been switched to manual operation. If the operation has been switched to manual operation (in the case of YES), the process proceeds to step S215. Proceed to Here, the switching to the manual operation may be determined, for example, by the vehicle control unit 6 detecting that an operation related to vehicle traveling such as a steering wheel, an accelerator, a brake, a blinker, and a wiper is performed. That is, the vehicle control unit 6 functions as driving detection means.

次に、ステップS215において、手動運転を現在状況に格納してステップS204に進む。   Next, in step S215, the manual operation is stored in the current situation, and the process proceeds to step S204.

したがって、視線不一致の場合や手動運転に切り替えられた場合は、それらの状況のみがパラメータチェック処理にて処理される。また、現在状況が通常運行のみでない場合であっても、視線一致の場合や手動運転に切り替えられない場合は、図3と同様にステップS202からの処理を実行する。   Therefore, when the line of sight does not match or when the operation is switched to manual operation, only those situations are processed in the parameter check process. Further, even if the current situation is not only normal operation, if the line of sight coincides or the manual operation cannot be switched, the processing from step S202 is executed as in FIG.

そして、図6のフローチャートで視線不一致が現在状況として格納された場合、図4のフローチャートのステップS306で抽出されるパラメータは、特定の値ではなく現在のパラメータを更に一段階進めるとする。例えば透過率が2倍になっている場合は4倍にする等である。即ち、運転予測部5及び合成処理部7は、視線に基づいて制御をする。このようにすると、視線不一致の場合は透過率が更に増加してより外部の状況を確認させ易くすることができる。   When the line-of-sight mismatch is stored as the current situation in the flowchart of FIG. 6, the parameter extracted in step S306 of the flowchart of FIG. 4 is not a specific value but is further advanced by one step. For example, when the transmittance is doubled, it is increased to four times. That is, the driving prediction unit 5 and the synthesis processing unit 7 perform control based on the line of sight. In this way, in the case of line-of-sight mismatch, the transmittance can be further increased to make it easier to check the external situation.

また、図6のフローチャートで手動運転が現在状況として格納された場合、図4のフローチャートのステップS306で抽出されるパラメータは、映像を消去するとする。即ち、運転予測部5及び合成処理部7は、運転操作が検出された場合、映像の表示を停止させる。また、ステップS211により、一度状況が発生した状態となっているので、一度透過率を低下させた後に映像が消去されるといったように映像が徐々に切り替わるようにすることができる。即ち、運転予測部5及び合成処理部7は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させる。   Further, when the manual operation is stored as the current situation in the flowchart of FIG. 6, the parameter extracted in step S306 of the flowchart of FIG. That is, when the driving operation is detected, the driving prediction unit 5 and the composition processing unit 7 stop displaying the video. Further, since the situation has once occurred in step S211, the image can be gradually switched such that the image is erased after the transmittance is once reduced. That is, the driving prediction unit 5 and the synthesis processing unit 7 stop displaying the video when the driving operation is detected after performing the control to reduce the visibility of the video at least once.

なお、図6のフローチャートでは、視線不一致と手動運転の両方の処理を行っていたが、いずれか一方のみを行うようにしてもよい。   In the flowchart of FIG. 6, both the line-of-sight mismatch and the manual operation are performed, but only one of them may be performed.

本実施例によれば、運転者の視線を検出する車内カメラ4を備え、運転予測部5及び合成処理部7は、その視線に基づいて制御をしている。このようにすることにより、運転者の視線が映像を視認しているのか、外部の状況を視認しているのかに応じて、透過率の増加等の更なる制御をすることが可能となる。   According to the present embodiment, the in-vehicle camera 4 that detects the driver's line of sight is provided, and the driving prediction unit 5 and the synthesis processing unit 7 perform control based on the line of sight. By doing in this way, it becomes possible to perform further control, such as increase in transmittance, depending on whether the driver's line of sight is visually recognizing an image or an external situation.

また、運転者による運転操作を検出する車両制御部6を備え、運転予測部5及び合成処理部7は、運転操作が検出された場合、映像の表示を停止させるようにしている。このようにすることにより、運転者が運転操作をした場合には、映像の表示を停止させて、運転に集中できるようにすることができる。   Moreover, the vehicle control part 6 which detects the driving operation by a driver | operator is provided, and the driving | operation prediction part 5 and the synthetic | combination process part 7 are made to stop the display of an image | video, when a driving operation is detected. In this way, when the driver performs a driving operation, the display of the video can be stopped so that the driver can concentrate on driving.

また、合成処理部7は、少なくとも一度映像の視認性を低下させる制御を行った後に、運転操作が検出された場合、映像の表示を停止させるようにしている。このようにすることにより、映像が徐々に切り替わるようになり、映像表示をシームレスに切り替えることができる。   In addition, the composition processing unit 7 stops the display of the video when the driving operation is detected after performing the control for reducing the visibility of the video at least once. By doing so, the video is gradually switched, and the video display can be switched seamlessly.

なお、上述した2つの実施例において、外部の状況が検出された場合に、その状況の透過型ディスプレイ9における位置(状況が観察される部分)を強調するような表示(強調表示)を行ってもよい。強調表示としては、例えば、当該状況の範囲を枠で囲む、矢印等で指示する等が挙げられる。   In the above-described two embodiments, when an external situation is detected, a display (emphasis display) is performed so as to emphasize the position (the part where the situation is observed) of the situation in the transmissive display 9. Also good. Examples of the highlight display include surrounding the range of the situation with a frame or instructing with an arrow or the like.

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。   Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can implement various modifications in accordance with conventionally known knowledge without departing from the scope of the present invention. Of course, such modifications are included in the scope of the present invention as long as the configuration of the display device of the present invention is provided.

1 外界センサ
3 車外カメラ
4 車内カメラ(視線検出手段)
5 運転予測部(状況取得手段、制御手段)
6 車両制御部(運転検出手段)
7 合成処理部(制御手段)
9 透過型ディスプレイ(表示手段)
50 表示装置
1 External sensor 3 Outside camera 4 Inside camera (line of sight detection means)
5 Driving prediction unit (status acquisition means, control means)
6 Vehicle control unit (driving detection means)
7 Compositing processing unit (control means)
9 Transmission type display (display means)
50 Display device

Claims (12)

自動運転時に映像が表示可能かつ透過可能な表示手段と、
前記自動運転時の車両外部の状況を取得する状況取得手段と、
前記状況が運転者が視認すべき状況であるか判断し、当該状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている前記映像の視認性を低下させるように制御する制御手段と、
を有することを特徴とする表示装置。
Display means capable of displaying and transmitting images during automatic operation;
A situation acquisition means for acquiring a situation outside the vehicle at the time of the automatic driving;
It is determined whether the situation is a situation to be visually recognized by the driver, and when the situation is a situation to be visually recognized by the driver, control is performed so as to reduce the visibility of the video displayed on the display means. Control means to
A display device comprising:
前記表示手段は、前記車両のフロントガラスに設けられたスクリーン部に映像を投影することで表示されることを特徴とする請求項1に記載の表示装置。   The display device according to claim 1, wherein the display unit is displayed by projecting an image on a screen unit provided on a windshield of the vehicle. 前記制御手段は、少なくとも前記表示手段の透過率の変化、表示されている前記映像の縮小率の変化のいずれかを前記状況に応じて選択し、制御することを特徴とする請求項1または2に記載の表示装置。   3. The control unit according to claim 1, wherein the control unit selects and controls at least one of a change in the transmittance of the display unit and a change in the reduction rate of the displayed video according to the situation. The display device described in 1. 前記制御手段は、前記透過率を更新する際には現在の透過率より減少させず、前記縮小率を更新する際には現在表示されている映像の大きさを拡大しないことを特徴とする請求項3に記載の表示装置。   The control means does not decrease the current transmittance when updating the transmittance, and does not increase the size of the currently displayed image when updating the reduction rate. Item 4. The display device according to Item 3. 前記制御手段は、重要度が高い前記状況が検出された場合、当該状況が終了するまで他の前記状況に対応する制御を行わないことを特徴とする請求項1乃至4のうちいずれか一項に記載の表示装置。   5. The control unit according to claim 1, wherein when the situation having a high importance level is detected, the control unit does not perform control corresponding to the other situation until the situation ends. The display device described in 1. 運転者の視線を検出する視線検出手段を更に備え、
前記制御手段は、前記視線に基づいて前記制御をすることを特徴とする請求項1乃至5のうちいずれか一項に記載の表示装置。
It further comprises gaze detection means for detecting the gaze of the driver,
The display device according to claim 1, wherein the control unit performs the control based on the line of sight.
前記運転者による運転操作を検出する運転検出手段を更に備え、
前記制御手段は、前記運転操作が検出された場合、前記映像の表示を停止させることを特徴とする請求項1乃至6のうちいずれか一項に記載の表示装置。
Further comprising driving detection means for detecting a driving operation by the driver;
The display device according to claim 1, wherein the control unit stops displaying the video when the driving operation is detected.
前記制御手段は、少なくとも一度映像の視認性を低下させる制御を行った後に、前記運転操作が検出された場合、前記映像の表示を停止させることを特徴とする請求項7に記載の表示装置。   The display device according to claim 7, wherein the control unit stops the display of the video when the driving operation is detected after performing the control for reducing the visibility of the video at least once. 前記制御手段は、前記表示手段のうち、前記状況が観察される部分について強調表示をすることを特徴とする請求項1乃至8のうちいずれか一項に記載の表示装置。   The display device according to claim 1, wherein the control unit highlights a portion of the display unit where the situation is observed. 自動運転時に映像が表示可能かつ透過可能な表示手段の表示制御方法であって、
前記自動運転時の車両外部の状況を検出する状況検出手段が検出した前記状況が運転者が視認すべき状況である場合は、前記表示手段に表示されている映像の視認性を低下させるように制御する制御工程を含むことを特徴とする表示制御方法。
A display control method for display means capable of displaying and transmitting images during automatic operation,
When the situation detected by the situation detection means for detecting the situation outside the vehicle during the automatic driving is a situation that the driver should visually recognize, the visibility of the image displayed on the display means is reduced. A display control method comprising a control step of controlling.
請求項10に記載の表示制御方法を、コンピュータにより実行させることを特徴とする表示制御プログラム。   A display control program for causing a computer to execute the display control method according to claim 10. 請求項11に記載の表示制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium storing the display control program according to claim 11.
JP2016057952A 2016-03-23 2016-03-23 Display device Pending JP2017174043A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016057952A JP2017174043A (en) 2016-03-23 2016-03-23 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016057952A JP2017174043A (en) 2016-03-23 2016-03-23 Display device

Publications (1)

Publication Number Publication Date
JP2017174043A true JP2017174043A (en) 2017-09-28

Family

ID=59972032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016057952A Pending JP2017174043A (en) 2016-03-23 2016-03-23 Display device

Country Status (1)

Country Link
JP (1) JP2017174043A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326236B2 (en) 2020-08-27 2023-08-15 本田技研工業株式会社 moving body

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
US20140168608A1 (en) * 2012-12-18 2014-06-19 Volvo Car Corporation Vehicle adaptation to automatic driver independent control mode
WO2015071035A1 (en) * 2013-11-12 2015-05-21 Valeo Schalter Und Sensoren Gmbh Method for operating a display when switching a motor vehicle from an automatic into a manual drive mode, driver assistance device and motor vehicle
JP2015217798A (en) * 2014-05-16 2015-12-07 三菱電機株式会社 On-vehicle information display control device
JP5855206B1 (en) * 2014-10-31 2016-02-09 三菱電機株式会社 Transmission display device for vehicle
JP2016028927A (en) * 2014-07-25 2016-03-03 アイシン・エィ・ダブリュ株式会社 Autonomous drive assist system, autonomous drive assist method, and computer program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
US20140168608A1 (en) * 2012-12-18 2014-06-19 Volvo Car Corporation Vehicle adaptation to automatic driver independent control mode
WO2015071035A1 (en) * 2013-11-12 2015-05-21 Valeo Schalter Und Sensoren Gmbh Method for operating a display when switching a motor vehicle from an automatic into a manual drive mode, driver assistance device and motor vehicle
JP2015217798A (en) * 2014-05-16 2015-12-07 三菱電機株式会社 On-vehicle information display control device
JP2016028927A (en) * 2014-07-25 2016-03-03 アイシン・エィ・ダブリュ株式会社 Autonomous drive assist system, autonomous drive assist method, and computer program
JP5855206B1 (en) * 2014-10-31 2016-02-09 三菱電機株式会社 Transmission display device for vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326236B2 (en) 2020-08-27 2023-08-15 本田技研工業株式会社 moving body

Similar Documents

Publication Publication Date Title
JP6272375B2 (en) Display control device for vehicle
KR102024494B1 (en) Parking Assistance Method and Parking Assistance Device
JP6259482B2 (en) Display control device for vehicle
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP6410879B2 (en) Mirror replacement system for vehicles
JP6516642B2 (en) Electronic device, image display method and image display program
JP5426900B2 (en) In-vehicle system
CN109204305B (en) Method for enriching the field of view, device for use in an observer vehicle and object, and motor vehicle
US20140043466A1 (en) Environment image display apparatus for transport machine
JP2017094882A (en) Virtual image generation system, virtual image generation method and computer program
US11367417B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP2019113809A (en) Head-up display device
JP2017037634A (en) Display system
JP2020077219A (en) Vehicle information providing device
JP6825433B2 (en) Virtual image display device and computer program
JP2015161565A (en) Navigation device, navigation method, and program
JP2006330360A (en) Information display for vehicle
CN110816266B (en) Display device and display control method
KR101610169B1 (en) Head-up display and control method thereof
CN110167781B (en) Display device and display method
JP2017174043A (en) Display device
KR101744718B1 (en) Display system and control method therof
WO2017026223A1 (en) Display system
KR102519134B1 (en) Integrated information display method of digital cluster and digital cluster providing avm screen and vehicle driving information
US20230132456A1 (en) Image processing device, mobile object, image processing method, and storage medium

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006