JP2020029221A - Display device - Google Patents

Display device Download PDF

Info

Publication number
JP2020029221A
JP2020029221A JP2018157128A JP2018157128A JP2020029221A JP 2020029221 A JP2020029221 A JP 2020029221A JP 2018157128 A JP2018157128 A JP 2018157128A JP 2018157128 A JP2018157128 A JP 2018157128A JP 2020029221 A JP2020029221 A JP 2020029221A
Authority
JP
Japan
Prior art keywords
display
unit
display unit
level
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018157128A
Other languages
Japanese (ja)
Inventor
成美 的場
Narumi MATOBA
成美 的場
匠 佐藤
Takumi Sato
匠 佐藤
Original Assignee
日本精機株式会社
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社, Nippon Seiki Co Ltd filed Critical 日本精機株式会社
Priority to JP2018157128A priority Critical patent/JP2020029221A/en
Publication of JP2020029221A publication Critical patent/JP2020029221A/en
Pending legal-status Critical Current

Links

Abstract

To provide a display device capable of performing an appropriate display according to an operation condition.SOLUTION: A display device 100 is mounted on a vehicle that can run by automatic driving. The display device 100 includes a plurality of display units whose distances from a driver are mutually different and a control unit 31 that receives an operation to each of the plurality of display units and executes display control for the plurality of display units. The plurality of display units include a specific display unit as a second display unit 12 corresponding to an HUD 22 and a predetermined display unit located closer to the driver than to the specific display unit. The predetermined display unit is at least either a first display unit 11 of a meter 21 or a third display unit 13 of a CID 23. When a level of automatic driving is lower than level 3, the control unit 31 executes restriction processing for restricting at least either an operation executable to the predetermined display unit or a display operation of the predetermined display unit as compared with level 3.SELECTED DRAWING: Figure 3

Description

本発明は、表示装置に関する。   The present invention relates to a display device.
従来の表示装置として、特許文献1には、車両に搭載され、計器やヘッドアップディスプレイの画像表示部などの互いに異なる位置にある複数の表示部を備えるものが開示されている。   As a conventional display device, Patent Literature 1 discloses a display device that is mounted on a vehicle and includes a plurality of display units at different positions such as an instrument and an image display unit of a head-up display.
特開2018−122728号公報JP 2018-122728 A
上記のように複数の表示部を備える表示装置は、車両の運転に関して重要な情報や、それよりも重要度が劣る情報など種々の情報を表示することが可能である。しかしながら、複数の表示部の各々で一様に情報を表示するだけでは、運転の集中を妨げてしまう可能性もある。   As described above, the display device including the plurality of display units can display various information such as important information regarding driving of the vehicle and information of lower importance. However, simply displaying information uniformly on each of the plurality of display units may hinder the concentration of driving.
本発明は、上記実情に鑑みてなされたものであり、運転状況に応じた適切な表示を行うことができる表示装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and has as its object to provide a display device capable of performing an appropriate display according to a driving situation.
上記目的を達成するため、本発明に係る表示装置は、
自動運転による走行が可能な車両に搭載される表示装置であって、
画像を表示し、前記車両の運転者からの距離が互いに異なる複数の表示部と、
前記複数の表示部の各々に対しての操作を受け付けるとともに、前記複数の表示部の表示制御を行う制御部と、を備え、
前記複数の表示部は、特定表示部と、前記特定表示部よりも前記運転者に近い位置にある所定表示部とを含み、
前記制御部は、前記自動運転のレベルが所定レベル未満の場合、前記所定レベル以上の場合よりも、前記所定表示部に対して可能な操作と前記所定表示部の表示動作との少なくともいずれかを制限する制限処理を実行する。
In order to achieve the above object, a display device according to the present invention includes:
A display device mounted on a vehicle capable of traveling by automatic driving,
Displaying an image, a plurality of display units at different distances from the driver of the vehicle,
A control unit that receives an operation on each of the plurality of display units and controls display of the plurality of display units,
The plurality of display units include a specific display unit and a predetermined display unit located closer to the driver than the specific display unit,
When the level of the automatic driving is less than a predetermined level, the control unit performs at least one of an operation that can be performed on the predetermined display unit and a display operation of the predetermined display unit, when the level is equal to or higher than the predetermined level. Execute the restriction process to restrict.
本発明によれば、運転状況に応じた適切な表示を行うことができる。   According to the present invention, it is possible to perform an appropriate display according to the driving situation.
本発明の一実施形態に係る表示装置の車両への搭載態様を説明するための図である。It is a figure for explaining a mode of mounting in a vehicle of a display concerning one embodiment of the present invention. 本発明の一実施形態に係る表示装置が備えるヘッドアップディスプレイの表示態様を説明するための図である。It is a figure for explaining the display mode of the head up display with which the display concerning one embodiment of the present invention is provided. 本発明の一実施形態に係る表示装置を主に示すブロック図である。It is a block diagram mainly showing the display concerning one embodiment of the present invention. 本発明の一実施形態に係る制限制御処理のフローチャートである。5 is a flowchart of a restriction control process according to an embodiment of the present invention. (a)〜(c)は、各種アニメーションを説明するための図である。(A)-(c) is a figure for demonstrating various animations.
本発明の一実施形態に係る表示装置について図面を参照して説明する。   A display device according to an embodiment of the present invention will be described with reference to the drawings.
本実施形態に係る表示装置100は、図1に示すように、車両1のダッシュボード2の内部及び周辺に設けられた第1表示部11、第2表示部12、及び第3表示部13(以下、纏めて「複数の表示部」とも言う。)を備え、車両1に関する情報(以下、「車両情報」とも言う。)だけでなく、車両情報以外の情報も統合的に運転者D(図2参照)に報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。   As shown in FIG. 1, the display device 100 according to the present embodiment includes a first display unit 11, a second display unit 12, and a third display unit 13 provided inside and around the dashboard 2 of the vehicle 1 ( Hereinafter, the driver D is collectively provided with “plurality of display units”, and not only information about the vehicle 1 (hereinafter, also referred to as “vehicle information”) but also information other than the vehicle information in an integrated manner. 2). The vehicle information includes not only information on the vehicle 1 itself but also information on the outside of the vehicle 1 related to the operation of the vehicle 1.
表示装置100は、図3に示すように、メータ21と、HUD(Head-Up Display)22と、CID(Center Information Display)23と、制御装置30と、を備える。   The display device 100 includes a meter 21, a head-up display (HUD) 22, a center information display (CID) 23, and a control device 30, as shown in FIG.
第1表示部11はメータ21により、第2表示部12はHUD22により、第3表示部13はCID23により実現される。   The first display unit 11 is implemented by the meter 21, the second display unit 12 is implemented by the HUD 22, and the third display unit 13 is implemented by the CID 23.
メータ21は、図1に示すように、運転者Dから見てステアリングホイール3の前方に位置し、車速、エンジン回転数、総走行距離、区間走行距離などの車両1に関する計測量を報知する。つまり、メータ21は、スピードメータ、タコメータ、オドメータ、トリップメータなどを示す画像を表示可能となっている。メータ21は、図3に示すように、LCD(Liquid Crystal Display)21aと、LCD21aを背後から照明する光源21b(バックライト)を含んで構成される。例えば、LCD21aはTFT(Thin Film Transistor)型のものであり、光源21bはLED(Light Emitting Diode)から構成されている。メータ21は、制御装置30の制御の下で、前記計測量を示す画像を第1表示部11に表示する。つまり、LCD21aのうち、画像の表示可能領域が第1表示部11となる。   As shown in FIG. 1, the meter 21 is located in front of the steering wheel 3 when viewed from the driver D, and reports a measured amount of the vehicle 1 such as a vehicle speed, an engine speed, a total traveling distance, and a section traveling distance. That is, the meter 21 can display an image indicating a speedometer, a tachometer, an odometer, a trip meter, and the like. As shown in FIG. 3, the meter 21 includes an LCD (Liquid Crystal Display) 21a and a light source 21b (backlight) for illuminating the LCD 21a from behind. For example, the LCD 21a is of a TFT (Thin Film Transistor) type, and the light source 21b is configured by an LED (Light Emitting Diode). The meter 21 displays an image indicating the measurement amount on the first display unit 11 under the control of the control device 30. That is, the displayable area of the image on the LCD 21a is the first display unit 11.
HUD22は、図2に示すように、ダッシュボード2の内部に設けられ、コンバイナ処理されたフロントガラス4に向けて表示光Lを射出する。フロントガラス4で反射した表示光Lは、運転者D側へと向かう。運転者Dは、視点をアイボックスE内におくことで、フロントガラス4の前方に、表示光Lが表す画像を虚像Vとして視認することができる。つまり、HUD装置100は、フロントガラス4の前方位置に虚像Vを表示する。これにより、運転者Dは、虚像Vを風景と重畳させて観察することができる。   As shown in FIG. 2, the HUD 22 is provided inside the dashboard 2 and emits the display light L toward the combiner-treated windshield 4. The display light L reflected by the windshield 4 travels to the driver D side. By placing the viewpoint in the eye box E, the driver D can visually recognize the image represented by the display light L as the virtual image V in front of the windshield 4. That is, the HUD device 100 displays the virtual image V at a position in front of the windshield 4. Thereby, the driver D can observe the virtual image V while superimposing it on the scenery.
ここで、本明細書における第2表示部12は、図2に示すように、アイボックスEと虚像Vの表示位置との間における、運転者Dから見てフロントガラス4よりも前方の部分を示すものとする。なお、第2表示部12を虚像Vの表示位置そのものと考えてもよい。また、HUD22が虚像Vを表示することを「第2表示部12に画像を表示する」とも表現する。アイボックスE及び虚像Vの表示位置は、後述のLCD22aの表示面の大きさや、HUD内の各種の鏡とコンバイナ処理されたフロントガラス4によって構成される光学系に基づいて予め設定される。   Here, as shown in FIG. 2, the second display unit 12 in the present specification displays a portion between the eye box E and the display position of the virtual image V in front of the windshield 4 as viewed from the driver D. Shall be shown. The second display unit 12 may be considered as the display position of the virtual image V itself. Displaying the virtual image V by the HUD 22 is also referred to as “displaying an image on the second display unit 12”. The display positions of the eye box E and the virtual image V are set in advance based on the size of the display surface of the LCD 22a, which will be described later, and the optical system configured by various mirrors in the HUD and the combiner-processed windshield 4.
HUD22は、図3に示すように、LCD22aと、LCD22aを背後から照明する光源22b(バックライト)と、図示しない平面鏡及び凹面鏡からなる反射部とを有して構成される。例えば、LCD22aはTFT型のものであり、光源22bはLEDから構成されている。   As shown in FIG. 3, the HUD 22 includes an LCD 22a, a light source 22b (backlight) that illuminates the LCD 22a from behind, and a reflection unit including a plane mirror and a concave mirror (not shown). For example, the LCD 22a is of a TFT type, and the light source 22b is composed of an LED.
HUD22は、制御装置30の制御の下で、光源22bに照明されたLCD22aが画像を表示することにより表示光Lを生成する。生成した表示光Lは、反射部で反射した後に、フロントガラス4に向けて射出される。これにより、前記のように、第2表示部12に車両情報を示す画像を表示することが可能となる。なお、HUD22が画像により報知する内容は、メータ21による報知内容の一部と重複していてもよい。   The HUD 22 generates the display light L by the LCD 22a illuminated by the light source 22b displaying an image under the control of the control device 30. The generated display light L is emitted toward the windshield 4 after being reflected by the reflector. This makes it possible to display an image indicating vehicle information on the second display unit 12 as described above. Note that the content notified by the HUD 22 by the image may overlap with a part of the notification content by the meter 21.
CID23は、図1に示すように、メータ21よりも車両1の中心寄りに位置するとともに、センターコンソールの上方に位置し、車両情報だけでなく、車両情報以外の情報(例えば娯楽情報)も表示可能なものである。CID23は、図3に示すように、LCD23aと、LCD23aを背後から照明する光源23b(バックライト)とを含んで構成されている。例えば、LCD23aはTFT型のものであり、光源23bはLEDから構成されている。LCD23aのうち、画像の表示可能領域が第3表示部13となる。また、CID23は、第3表示部13の表示画像を透過するタッチパネルからなる操作手段を有する。   The CID 23 is located closer to the center of the vehicle 1 than the meter 21 and above the center console, as shown in FIG. 1, and displays not only vehicle information but also information other than vehicle information (for example, entertainment information). It is possible. As shown in FIG. 3, the CID 23 includes an LCD 23a and a light source 23b (backlight) that illuminates the LCD 23a from behind. For example, the LCD 23a is of a TFT type, and the light source 23b is composed of an LED. The area on the LCD 23a where an image can be displayed is the third display unit 13. Further, the CID 23 has an operation unit including a touch panel that transmits a display image on the third display unit 13.
CID23は、制御装置30の制御の下で所定画像を第3表示部13に表示する。また、CID23は、タッチパネルになされたユーザ操作(運転手Dまたは同乗者による操作)の内容を示す信号を制御装置30に供給する。   The CID 23 displays a predetermined image on the third display unit 13 under the control of the control device 30. Further, the CID 23 supplies a signal indicating the content of a user operation (operation by the driver D or a fellow passenger) performed on the touch panel to the control device 30.
第1〜第3表示部11〜13は、運転者Dからの距離(運転者Dにとっての前後方向における距離)が互いに異なる。具体的には、運転者Dの視点位置から近いほうから順に、CID23に対応する第3表示部13、メータ21に対応する第1表示部11、HUD22に対応する第2表示部12と位置している。つまり、第3表示部13が運転者Dに最も近く、第2表示部12が運転者Dから最も遠くに位置する。
ここで、図1に示すように、運転者Dが車両1を運転する際の外景を注視する代表位置を注視点Fとし、注視点Fを中心とした径方向の距離をずれ量Gとする。つまり、ずれ量Gは、運転者Dが運転中に注視すると推定される注視点Fからのずれを表すことになる。こうした場合、複数の表示部の関係をずれ量Gで考えれば、ずれ量Gが小さいものから順に、第2表示部12、第1表示部11、第3表示部13と位置する。この実施形態では、後述するように、自動運転レベルに応じて、これら複数の表示部のうち少なくとも一部に関する動作を制限する制限処理を実行する。
The first to third display portions 11 to 13 are different from each other in distance from the driver D (distance in the front-rear direction for the driver D). Specifically, the third display unit 13 corresponding to the CID 23, the first display unit 11 corresponding to the meter 21, and the second display unit 12 corresponding to the HUD 22 are located in this order from the closest from the viewpoint position of the driver D. ing. That is, the third display unit 13 is located closest to the driver D, and the second display unit 12 is located farthest from the driver D.
Here, as shown in FIG. 1, a representative position at which the driver D gazes at the outside scenery when driving the vehicle 1 is defined as the point of regard F, and a radial distance around the point of regard F is defined as the shift amount G. . That is, the shift amount G represents a shift from the gazing point F, which is estimated to be watched by the driver D during driving. In such a case, when the relationship between the plurality of display units is considered by the shift amount G, the second display unit 12, the first display unit 11, and the third display unit 13 are located in ascending order of the shift amount G. In this embodiment, as will be described later, a restriction process for restricting the operation of at least a part of the plurality of display units is executed according to the automatic driving level.
制御装置30は、表示装置100の全体動作を制御するマイクロコンピュータからなり、図3に示すように、制御部31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33とを備える。また、制御装置30は、図示しない構成として、駆動回路や、車両1内の各種システムと通信を行うための入出力回路を備える。また、制御装置30は、内蔵のタイマにより適宜計時を行う。   The control device 30 includes a microcomputer that controls the entire operation of the display device 100, and includes a control unit 31, a ROM (Read Only Memory) 32, and a RAM (Random Access Memory) 33, as shown in FIG. . The control device 30 includes a drive circuit and an input / output circuit for communicating with various systems in the vehicle 1 as a configuration (not shown). In addition, the control device 30 appropriately measures time using a built-in timer.
ROM32は、動作プログラムや各種の画像データを予め記憶する。RAM33は、各種の演算結果などを一時的に記憶する。制御部31は、ROM32に記憶された動作プログラムを実行するCPU(Central Processing Unit)31aと、CPUと協働して画像処理を実行するGDC(Graphics Display Controller)31bとを備える。GDC31bは、例えば、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等から構成されている。特に、ROM32には、後述する制限制御処理を実行するための動作プログラムが格納されている。また、制御装置30や制御部31の構成は、以下に説明する機能を充足する限りにおいては任意である。   The ROM 32 stores an operation program and various image data in advance. The RAM 33 temporarily stores various calculation results and the like. The control unit 31 includes a CPU (Central Processing Unit) 31a that executes an operation program stored in a ROM 32, and a GDC (Graphics Display Controller) 31b that executes image processing in cooperation with the CPU. The GDC 31b includes, for example, a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), and the like. In particular, the ROM 32 stores an operation program for executing a restriction control process described later. The configurations of the control device 30 and the control unit 31 are arbitrary as long as the functions described below are satisfied.
制御部31は、メータ21、HUD22、及びCID23のそれぞれを駆動制御する。例えば、CPU31aは、メータ21の光源21b、HUD22の光源22b、及びCID23の光源23bのそれぞれを駆動制御する。また、GDC31bは、CPU31aと協働して、メータ21のLCD21a、HUD22のLCD22a、及びCID23のLCD23aのそれぞれを駆動制御する。   The control unit 31 drives and controls each of the meter 21, the HUD 22, and the CID 23. For example, the CPU 31a controls each of the light source 21b of the meter 21, the light source 22b of the HUD 22, and the light source 23b of the CID 23. The GDC 31b cooperates with the CPU 31a to drive and control each of the LCD 21a of the meter 21, the LCD 22a of the HUD 22, and the LCD 23a of the CID 23.
制御部31のCPU31aは、GDC31bと協働して、ROM32に記憶された各種の画像データに基づき、複数の表示部の各々の表示制御を行う。GDC31bは、CPU31aからの表示制御指令に基づき、複数の表示部の各々の表示動作の制御内容を決定する。GDC31bは、複数の表示部の各々に表示する1画面を構成するために必要な画像パーツデータをROM32から読み込み、RAM33へ転送する。また、GDC31bは、RAM33を使って、画像パーツデータや表示装置100の外部から通信により受け取った各種の画像データを元に、1画面分の絵データを作成する。そして、GDC31bは、RAM33で1画面分の絵データを完成させたところで、画像の更新タイミングに合わせて、複数の表示部の各々に転送する。これにより、複数の表示部の各々に応じた画像が表示される。   The CPU 31a of the control unit 31 controls the display of each of the plurality of display units based on various image data stored in the ROM 32 in cooperation with the GDC 31b. The GDC 31b determines the control content of the display operation of each of the plurality of display units based on the display control command from the CPU 31a. The GDC 31b reads, from the ROM 32, image part data necessary to compose one screen to be displayed on each of the plurality of display units, and transfers the data to the RAM 33. The GDC 31b uses the RAM 33 to create picture data for one screen based on image part data and various image data received from outside the display device 100 by communication. Then, when the picture data for one screen is completed in the RAM 33, the GDC 31b transfers the picture data to each of the plurality of display units in synchronization with the image update timing. Thereby, an image corresponding to each of the plurality of display units is displayed.
制御部31のCPU31aは、車両1に搭載された状況解析部40、ECU(Electronic Control Unit)50、視線検出部60、動作検出部70の各々と通信を行う。当該通信としては、例えば、CAN(Controller Area Network)、Ethernet、MOST、LVDS(Low Voltage Differential Signaling)などの通信方式が適用可能である。   The CPU 31a of the control unit 31 communicates with each of the situation analysis unit 40, the ECU (Electronic Control Unit) 50, the visual line detection unit 60, and the operation detection unit 70 mounted on the vehicle 1. As the communication, for example, a communication system such as CAN (Controller Area Network), Ethernet, MOST, and LVDS (Low Voltage Differential Signaling) can be applied.
状況解析部40は、車両1(以下、自車1とも言う。)自体の状況や、自車1の周辺状況を示すデータを制御部31やECU50へ出力する。状況解析部40は、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールを備える。つまり、状況解析部40は、車両1と車両1の外部との間でV2X(Vehicle To Everything)による通信を可能とする。   The situation analysis unit 40 outputs to the control unit 31 and the ECU 50 data indicating the situation of the vehicle 1 (hereinafter, also referred to as the own vehicle 1) itself and the surrounding conditions of the own vehicle 1. The situation analysis unit 40 performs communication between the vehicle 1 and a wireless network (V2N: Vehicle To Cellular Network), communication between the vehicle 1 and another vehicle (V2V: Vehicle To Vehicle), and communication between the vehicle 1 and a pedestrian (V2P: Vehicle To Pedestrian) and various modules that enable communication between the vehicle 1 and the roadside infrastructure (V2I: Vehicle To Roadside Infrastructure). That is, the situation analysis unit 40 enables communication by V2X (Vehicle To Everything) between the vehicle 1 and the outside of the vehicle 1.
例えば、(i)状況解析部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行う。また、状況解析部40は、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備える。これらの構成により、V2Nによる通信を可能とする。(ii)また、状況解析部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行う。(iii)また、状況解析部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、交通情報を取得する。これによりV2Iによる通信が可能となる。   For example, (i) the situation analysis unit 40 communicates with a communication module that can directly access a WAN (Wide Area Network), an external device (such as a mobile router) that can access the WAN, an access point of a public wireless LAN (Local Area Network), and the like. And a communication module for performing Internet communication. The situation analysis unit 40 includes a GPS controller that calculates the position of the vehicle 1 based on a GPS (Global Positioning System) signal received from an artificial satellite or the like. With these configurations, communication by V2N is enabled. (Ii) The situation analysis unit 40 includes a wireless communication module conforming to a predetermined wireless communication standard, and performs communication using V2V or V2P. (Iii) The situation analysis unit 40 has a communication device that wirelessly communicates with the roadside infrastructure. For example, a roadside installed as an infrastructure from a base station of a driving safety support system (DSSS). Obtain traffic information via a wireless device. Thereby, communication by V2I becomes possible.
また、状況解析部40は、車両1が現在、どのレベルの自動運転が行われているか(自動運転レベル0も含む)を示す運転レベル情報を制御部31に送信する。この実施形態に係る車両1は、ECU50の制御により、例えば、レベル3までの自動運転による運行が可能なものである。自動運転のレベル0は、自動運転制御が行われないレベルを示し、運転者Dが全ての主制御系統(加速・操舵・制動)の操作を行う。レベル1は、いわゆる運転支援であり、加速・操舵・制動のいずれか一つをシステムが支援的に行う。レベル2は、いわゆる部分自動運転であり、加速・操舵・制動のうちの二つをシステムが支援的に行う。レベル3は、いわゆる条件付自動運転であり、限定的な環境下若しくは交通状況のみシステムが加速・操舵・制動の制御を行い、システムが要請したときは運転者Dが対応する。なお、本明細書における自動運転のレベルは、日本政府や米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)による定義に準拠する。また、運転レベル情報は、ECU50からCPU31aに送信されてもよい。   Further, the situation analysis unit 40 transmits to the control unit 31 driving level information indicating which level of the automatic driving of the vehicle 1 is currently being performed (including the automatic driving level 0). The vehicle 1 according to this embodiment can be operated by, for example, automatic driving up to level 3 under the control of the ECU 50. Level 0 of automatic driving indicates a level at which automatic driving control is not performed, and the driver D operates all main control systems (acceleration, steering, and braking). Level 1 is so-called driving assistance, in which the system assists any one of acceleration, steering, and braking. Level 2 is a so-called partially automatic operation, in which the system assists two of acceleration, steering, and braking. Level 3 is so-called conditional automatic driving, in which the system controls acceleration, steering and braking only in a limited environment or in a traffic condition, and the driver D responds when requested by the system. Note that the level of automatic driving in this specification conforms to the definition by the Japanese government and the National Highway Traffic Safety Administration (NHTSA). The operation level information may be transmitted from the ECU 50 to the CPU 31a.
また、状況解析部40は、車両1の外部を撮像するステレオカメラや、ソナー、超音波センサ、ミリ波レーダからなる物体検出手段を備え、車両1周囲の危険を検知し、検知した危険を警告情報としてCPU31aへ送信する。例えば、制御部31は、HUD22に対応した第2表示部12に、警告情報を報知するための画像を警告対象の物体(車両1の前方車両や歩行者など)に重畳させて表示する。なお、CPU31aへ送信される警告情報は、V2NやV2I通信により取得可能な交通情報や、V2V通信により取得可能な接近車両情報や、V2P通信により取得可能な歩行者情報などに基づくものであってもよい。   The situation analysis unit 40 includes a stereo camera that captures an image of the outside of the vehicle 1 and an object detection unit including a sonar, an ultrasonic sensor, and a millimeter-wave radar, detects a danger around the vehicle 1, and warns of the detected danger. The information is transmitted to the CPU 31a as information. For example, the control unit 31 displays an image for notifying warning information on the second display unit 12 corresponding to the HUD 22 so as to be superimposed on a warning target object (a vehicle ahead of the vehicle 1, a pedestrian, or the like). The warning information transmitted to the CPU 31a is based on traffic information that can be obtained by V2N or V2I communication, approaching vehicle information that can be obtained by V2V communication, or pedestrian information that can be obtained by V2P communication. Is also good.
ECU50は、状況解析部40、視線検出部60及び動作検出部70の各々からの情報に基づいて、車両1の各部を制御する。例えば、ECU50は、所定条件の下で車両1の自動運転レベルを切り替える。車両1は、ECU50の制御により、例えば、自動運転のレベル3と、自動運転のレベル0〜2の少なくともいずれかとの間で切り替えが可能となっている。また、ECU50は、車両1の現在の車速を示す車速情報をCPU31aへ送信する。なお、CPU31aは、車速センサから車速情報を取得してもよい。また、ECU50は、エンジン回転数などの計測量や、車両1自体の警告情報(燃料低下やエンジン油圧異常など)や、その他の車両情報をCPU31aへ送信する。ECU50から取得した情報に基づいて、CPU31aは、GDC31bを介して、メータ21に車速、エンジン回転数、各種警告などの車両情報を表示させる。なお、CPU31aは、当該車両情報の少なくとも一部をHUD22に対応する第2表示部12に表示させてもよい。   The ECU 50 controls each unit of the vehicle 1 based on information from each of the situation analysis unit 40, the line-of-sight detection unit 60, and the operation detection unit 70. For example, the ECU 50 switches the automatic driving level of the vehicle 1 under a predetermined condition. Under the control of the ECU 50, the vehicle 1 can switch between, for example, automatic driving level 3 and at least one of automatic driving levels 0 to 2. Further, the ECU 50 transmits vehicle speed information indicating the current vehicle speed of the vehicle 1 to the CPU 31a. Note that the CPU 31a may acquire vehicle speed information from a vehicle speed sensor. In addition, the ECU 50 transmits to the CPU 31a measurement amounts such as the engine speed, warning information of the vehicle 1 itself (such as low fuel and abnormal engine oil pressure), and other vehicle information. Based on the information obtained from the ECU 50, the CPU 31a causes the meter 21 to display vehicle information such as a vehicle speed, an engine speed, and various warnings via the GDC 31b. Note that the CPU 31a may cause the second display unit 12 corresponding to the HUD 22 to display at least a part of the vehicle information.
視線検出部60は、例えば、運転者Dの顔を撮像し、撮像データを生成する撮像手段(例えばステレオカメラ)や、撮像データの画像処理を行う画像処理部からなり、運転者Dの視線方向を検出する。例えば、視線検出部60は、パタンマッチング法などの公知の画像解析法により運転者Dの視線方向を検出し、検出結果を示す検出データをCPU31aに送信する。CPU31aは、予めROM32内に格納された、視線方向と、複数の表示部(第1〜第3表示部11〜13)の各々の位置とが対応付けられたテーブルデータを参照し、現在、運転者Dが複数の表示部のいずれを視認しているか、視認していないかを特定する。つまり、複数の表示部の各々が、運転者Dに視認されている視認状態であるか、視認されていない非視認状態であるかを特定する。なお、視線方向は、例えば、運転者Dの両目のいずれかに基づいて検出されてもよいし、両目の重心として検出されてもよい。CPU31aによって、運転者Dが複数の表示部のいずれを視認しているか、視認していないかを特定することができれば、検出データは任意である。また、視線検出部60は、運転者Dの顔の向きを、公知の画像解析法により検出し、検出データとしてもよい。この場合、CPU31aは、予めROM32内に格納された、顔の向きと、複数の表示部(第1〜第3表示部11〜13)の各々の位置とが対応付けられたテーブルデータを参照し、現在、運転者Dが複数の表示部のいずれを視認しているか、視認していないかを特定すればよい。   The line-of-sight detection unit 60 includes, for example, an imaging unit (for example, a stereo camera) that images the face of the driver D and generates image data, and an image processing unit that performs image processing on the image data. Is detected. For example, the gaze detection unit 60 detects the gaze direction of the driver D by a known image analysis method such as a pattern matching method, and transmits detection data indicating a detection result to the CPU 31a. The CPU 31a refers to table data stored in advance in the ROM 32 in which the line-of-sight direction and the positions of the plurality of display units (first to third display units 11 to 13) are associated with each other. The user D specifies which of the plurality of display units is visually recognized or not. That is, it is determined whether each of the plurality of display units is in the visual recognition state in which the driver D is visually recognized or in the non-visual state in which the driver D is not visually recognized. Note that the line of sight direction may be detected based on, for example, one of the eyes of the driver D, or may be detected as the center of gravity of both eyes. The detection data is arbitrary as long as the CPU 31a can specify which of the plurality of display units the driver D is visually checking or not. In addition, the line-of-sight detection unit 60 may detect the direction of the face of the driver D by a known image analysis method and use the detected data as detection data. In this case, the CPU 31a refers to the table data stored in the ROM 32 in advance, in which the orientation of the face is associated with the position of each of the plurality of display units (first to third display units 11 to 13). It is sufficient to specify which of the plurality of display units the driver D is currently viewing or not.
また、視線検出部60は、運転者Dが頭部に装着したウェアラブルデバイスに搭載された撮像手段や、眼電位センサや、モーションセンサであってもよい。撮像手段による撮像データにより、前述と同様に視線方向や顔の向きを検出可能である。また、眼電位センサは、測定した眼電位に基づいて運転者Dの視線方向を検出する。また、モーションセンサは、例えば、加速度センサ、ジャイロセンサ及び地磁気センサのうち1つ又は複数の組み合わせからなり、運転者Dの顔の向きを検出する。   In addition, the line-of-sight detection unit 60 may be an imaging unit mounted on a wearable device worn by the driver D on the head, an electro-oculogram sensor, or a motion sensor. The direction of the line of sight and the direction of the face can be detected in the same manner as described above, based on the image data obtained by the imaging means. Further, the electro-oculography sensor detects the gaze direction of the driver D based on the measured electro-oculography. The motion sensor includes, for example, one or a combination of an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and detects the direction of the face of the driver D.
なお、CPU31aが、撮像手段や各種センサからの信号に基づき、運転者Dの視線方向や顔の向きを検出する構成としてもよい。CPU31aが、複数の表示部の各々が、運転者Dに視認されている視認状態であるか、視認されていない非視認状態であるかを特定することができれば、運転者Dの視線方向や顔の向きの検出手法及び検出構成は任意である。   Note that the CPU 31a may be configured to detect the gaze direction and the face direction of the driver D based on signals from the imaging unit and various sensors. If the CPU 31a can specify whether each of the plurality of display units is in the visual recognition state in which the driver D is visually recognized or in the non-visual state in which the driver D is not visually recognized, the gaze direction and the face of the driver D are determined. The detection method and the detection configuration of the direction are arbitrary.
動作検出部70は、ステアリングホイール3に設けられたステアリングスイッチや、CID23のタッチパネルなどの操作手段に対してなされた操作を含むユーザ(主に運転者D)の動作を検出し、当該検出結果をECU50や制御部31に出力する。動作検出部70は、複数の表示部の各々に対する操作を検出する。メータ21に対応する第1表示部11に対する操作としては、例えば、オドメータの確認操作、トリップメータの設定操作、メータ21の表示モードの設定操作などである。HUD22に対応する第2表示部12に対する操作としては、例えば、虚像Vとして表示される地図情報や経路案内情報の設定操作や選択操作などである。CID23に対応する第3表示部13に対する操作としては、例えば、後述のエンタメ情報を表示する際の再生操作や選択操作などである。なお、各表示部における表示内容や、各表示部に対する操作の種類は、これらの例に限定されるものではなく、任意である。   The operation detection unit 70 detects an operation of a user (mainly, the driver D) including an operation performed on an operation unit such as a steering switch provided on the steering wheel 3 or a touch panel of the CID 23, and detects the detection result. Output to ECU 50 and control unit 31. The operation detection unit 70 detects an operation on each of the plurality of display units. The operation on the first display unit 11 corresponding to the meter 21 includes, for example, an odometer confirmation operation, a trip meter setting operation, and a display mode setting operation of the meter 21. The operation on the second display unit 12 corresponding to the HUD 22 is, for example, a setting operation or a selection operation of map information or route guidance information displayed as the virtual image V. The operation on the third display unit 13 corresponding to the CID 23 is, for example, a reproduction operation or a selection operation when displaying entertainment information described later. Note that the display contents on each display unit and the type of operation on each display unit are not limited to these examples, and are arbitrary.
また、車両1は、図示しない構成として、娯楽情報を表示装置100に表示するためのエンターテインメント(エンタメ)システムや、音声入出力部を有する。エンタメシステムは、先に述べた状況解析部40の一部を利用してもよいし、更に、テレビ(TV)チューナーや、映像・音楽再生部などを有していてもよい。例えば、エンタメシステムは、TVチューナーを介して受信したTV情報を、エンタメ情報として制御部31に供給する。また、エンタメシステムは、映像・音楽再生部として、内蔵メモリ、CD(Compact Disc)、DVD(Digital Video Disk)などの記録媒体に記録された映像や音楽を再生可能であるとともに、映像や音楽に係る情報(作品タイトルや作者名など)を、エンタメ情報として制御部31に供給する。また、映像・音楽再生部は、音声入出力部のスピーカから再生した音声を出力する。音声入出力部は、マイク、スピーカ等からなる。音声入出力部は、CPU31aからの音声出力指令に応じてスピーカから所定の音声を出力する。また、音声入出力部は、マイクに入力された音声に応じた入力音声データをCPU31aへ送信する。例えば、CPU31aは、受信した入力音声データに応じた指示操作を受け付け、受け付けた指示操作に従って、複数の表示部の各々の表示画像を切り替える等の制御を行う。   Further, the vehicle 1 has an entertainment (entertainment) system for displaying entertainment information on the display device 100 and a voice input / output unit as a configuration (not shown). The entertainment system may use a part of the situation analysis unit 40 described above, and may further include a television (TV) tuner, a video / music playback unit, and the like. For example, the entertainment system supplies the TV information received via the TV tuner to the control unit 31 as entertainment information. In addition, the entertainment system can play video and music recorded on a recording medium such as a built-in memory, a CD (Compact Disc), and a DVD (Digital Video Disk) as a video / music playback unit, and can also play video and music. Such information (work title, author name, etc.) is supplied to the control unit 31 as entertainment information. The video / music reproducing unit outputs the reproduced audio from the speaker of the audio input / output unit. The audio input / output unit includes a microphone, a speaker, and the like. The voice input / output unit outputs a predetermined voice from a speaker in response to a voice output command from the CPU 31a. Further, the audio input / output unit transmits input audio data corresponding to the audio input to the microphone to the CPU 31a. For example, the CPU 31a receives an instruction operation according to the received input audio data, and performs control such as switching between display images on each of the plurality of display units according to the received instruction operation.
(制限制御処理)
続いて、制御部31が実行する制限制御処理について、図4を参照して説明する。制制限制御処理は、例えば、表示装置100の起動中において継続して実行される。表示装置100は、例えば、車両1のイグニッションのオンに伴い起動する。
(Limit control processing)
Subsequently, the restriction control process executed by the control unit 31 will be described with reference to FIG. The restriction control process is continuously executed, for example, while the display device 100 is running. The display device 100 is activated when, for example, the ignition of the vehicle 1 is turned on.
まず、制御部31は、状況解析部40からの運転レベル情報に基づいて、現在の自動運転レベルがレベル3以上であるか否かを判別する(ステップS1)。   First, the control unit 31 determines whether or not the current automatic operation level is at least level 3 based on the operation level information from the situation analysis unit 40 (step S1).
自動運転レベルがレベル3以上の場合、つまり、この実施形態でレベル3である場合(ステップS1;Yes)、制御部31は、後述する制限処理が実行されていた場合は制限処理を解除する(ステップS2)。なお、既に制限処理が解除されていた場合は、当該解除状態を継続する。ステップS2で制御部31は、対象となる表示部に対して可能な操作と当該表示部における表示動作とのいずれも制限しない「第1制御」で、複数の表示部の各々を制御する。ステップS2の実行後は、ステップS1に戻って処理を実行する。   When the automatic operation level is equal to or higher than level 3, that is, when the automatic operation level is level 3 in this embodiment (step S1; Yes), the control unit 31 cancels the restriction processing if the restriction processing described below has been executed (step S1). Step S2). If the restriction processing has already been released, the release state is continued. In step S2, the control unit 31 controls each of the plurality of display units by "first control" in which neither an operation that can be performed on the target display unit nor a display operation on the display unit is limited. After execution of step S2, the process returns to step S1 to execute the processing.
一方、自動運転レベルがレベル3未満、つまりレベル0〜2のいずれかである場合(ステップS1;No)、制御部31は、複数の表示部のうち少なくとも一部に関する動作を制限する制限処理を実行する(ステップS3)。   On the other hand, when the automatic operation level is less than level 3, that is, any one of levels 0 to 2 (step S1; No), the control unit 31 performs a restriction process for restricting an operation related to at least a part of the plurality of display units. Execute (step S3).
ここで、制限処理は、前記の第1制御に加え、第2制御及び第3制御を含む。「第2制御」は、対象となる表示部に対して可能な操作と当該表示部における表示動作との少なくともいずれかを制限する制御である。「第3制御」は、第2制御と同様であるが第2制御よりも制限が強い制御であり、例えば、対象となる表示部に対して可能な操作を全て制限したり、当該表示部における表示動作の全てを制限する制御である。   Here, the restriction process includes a second control and a third control in addition to the first control. “Second control” is control that limits at least one of an operation that can be performed on a target display unit and a display operation on the display unit. “Third control” is similar to the second control, but is more restrictive than the second control. For example, the “third control” restricts all operations that can be performed on the target display unit, This is control for limiting all display operations.
ステップS3の制限処理において、例えば、制御部31は、運転者Dからの距離が最も遠い(注視点Fからのずれ量Gが最も小さい)第2表示部12を第1制御とし、運転者Dからの距離が次に遠い(注視点Fからのずれ量Gが次に小さい)第1表示部11を第2制御とし、運転者Dからの距離が最も近い(注視点Fからのずれ量Gが最も大きい)第3表示部13を第3制御とする。第2制御実行時の第1表示部11(メータ21)では、制限処理実行前よりも、一部アプリケーションの表示を制限したり(例えば、走行中に報知する重要度が比較的低い、メニュー表示やメンテナンス履歴表示などを非表示とする)、表示画像を簡略化したりする。あるいは、制限処理実行前よりも、第1表示部11に対して可能な操作を制限する(例えば、トリップメータの設定操作やメータ21の表示モードの設定操作の入力を不可とする)。第3制御実行時の第3表示部13(CID23)では、例えば、エンタメ情報を非表示としたり、タッチパネルからの操作入力を不可とする。なお、制御部31は、エンタメ情報を非表示としている場合は、「現在、CIDは表示制限中です。」といった内容の報知画像を第3表示部13に表示させてもよい。このように、運転者Dが運転に集中する必要のある、レベル0〜2のいずれかの状況において、運転者Dの運転の妨げになる恐れのある表示や操作を制限することにより、安全な運転環境を提供することができる。   In the restricting process of step S3, for example, the control unit 31 sets the second display unit 12, which is the farthest from the driver D (the amount of deviation G from the gazing point F is the smallest), into the first control, and sets the driver D The first display unit 11 is set to the second control in which the distance from the driver D is the next (the displacement G from the gazing point F is the next smallest), and the distance from the driver D is the closest (the displacement G from the gazing point F). Is the largest). The third display unit 13 is set as the third control. In the first display unit 11 (meter 21) at the time of executing the second control, the display of some applications is restricted or the display of the application is relatively less important than before the execution of the restriction processing. And maintenance history display are not displayed), and the displayed image is simplified. Alternatively, an operation that can be performed on the first display unit 11 is restricted before execution of the restriction process (for example, an input of a trip meter setting operation and a display mode setting operation of the meter 21 is disabled). In the third display unit 13 (CID23) at the time of executing the third control, for example, the entertainment information is not displayed or the operation input from the touch panel is disabled. Note that, when the entertainment information is not displayed, the control unit 31 may cause the third display unit 13 to display a notification image such as “the CID is currently in display restriction”. As described above, in any one of the levels 0 to 2 where the driver D needs to concentrate on driving, the display and the operation that may hinder the driving of the driver D are restricted, so that the safe operation is achieved. A driving environment can be provided.
ステップS3に続いて、制御部31は、視線検出部60からの検出データに基づき、制限中の表示部として、例えば第3表示部13(CID23)を運転者Dが一定期間(例えば予めROM32に定められた、数秒といった期間)視認しているか否かを判別する(ステップS4)。   Subsequent to step S3, based on the detection data from the line-of-sight detection unit 60, the control unit 31 allows the driver D to display the restricted display unit, for example, the third display unit 13 (CID23) for a certain period of time (for example, beforehand in the ROM 32 It is determined whether or not the user is visually recognizing (for a predetermined period such as several seconds) (step S4).
運転者Dが第3表示部13を一定期間視認している場合(ステップS4;Yes)、制御部31は、例えば「運転に集中してください」といった内容の警告画像を第3表示部13に表示させる(ステップS5)。なお、制御部31は、警告画像の表示に併せて、又は代えて、音声入出力部から警告音を発するようにしてもよい。また、ステップS4の判別対象やステップS5の警告画像の表示対象は、第1表示部11(メータ21)であってもよい。制御部31は、制限中の表示部を運転者Dが一定期間視認していない場合(ステップS4;No)やステップS5の処理後、ステップS1に戻って処理を実行する。したがって、制限処理が実行されていた場合において、自動運転レベルが3以上となると(ステップS1;Yes)、当該制限処理が解除される(ステップS2)ことになる。以上が制限制御処理である。   When the driver D is viewing the third display unit 13 for a certain period of time (step S4; Yes), the control unit 31 displays a warning image such as “Please concentrate on driving” on the third display unit 13. It is displayed (step S5). The control unit 31 may emit a warning sound from the voice input / output unit in conjunction with or instead of displaying the warning image. Further, the determination target in step S4 and the display target of the warning image in step S5 may be the first display unit 11 (meter 21). When the driver D has not visually recognized the restricted display unit for a certain period of time (Step S4; No) or after the processing of Step S5, the control unit 31 returns to Step S1 and executes the processing. Therefore, in the case where the restriction processing has been executed, if the automatic operation level becomes 3 or more (Step S1; Yes), the restriction processing is canceled (Step S2). The above is the limitation control process.
(変形例1)
なお、ステップS3の制限処理を第1制限処理と呼んだ場合、ステップS2の制限解除処理の代わりに第1制限処理とは異なる第2制限処理を実行する構成を有する、変形例1に係る制限制御処理を採用してもよい。
(Modification 1)
Note that, when the restriction process of step S3 is called a first restriction process, a restriction according to the first modification is configured to execute a second restriction process different from the first restriction process instead of the restriction release process of step S2. Control processing may be adopted.
第2制御処理では、例えば、制御部31は、運転者Dからの距離が最も近い第3表示部13を第1制御とし、運転者Dからの距離が次に近い第1表示部11を第2制御とし、第2表示部12を第3制御とする。第2制御実行時の第1表示部11(メータ21)は、第1制限処理と同様であっても異なっていてもよい。第3制御実行時の第2表示部12(HUD22)では、例えば、虚像Vを非表示としたり、HUD22に対する操作入力を不可とすればよい。このようにすれば、運転者Dに前方注視義務がないレベル3以上の自動運転時は、より詳細な表示を行える表示部に運転者Dの視線を誘導することができる。また、注視点Fに近い表示部ほど、車両1の操作に関するコンテンツ表示が多いため、当該表示部に対する誤操作を防ぐことができる。   In the second control process, for example, the control unit 31 sets the third display unit 13 closest to the driver D to the first control, and sets the first display unit 11 closest to the driver D to the next first display unit. 2 control, and the second display unit 12 is set to the third control. The first display unit 11 (meter 21) at the time of executing the second control may be the same as or different from the first restriction process. In the second display unit 12 (HUD 22) at the time of executing the third control, for example, the virtual image V may be hidden or the operation input to the HUD 22 may be disabled. In this way, the driver D can be guided to the display unit on which a more detailed display can be performed during automatic driving at level 3 or higher where the driver D is not obligated to look forward. Further, as the display unit is closer to the gazing point F, the content display related to the operation of the vehicle 1 is more, so that an erroneous operation on the display unit can be prevented.
(変形例2)
また、ステップ3の制御処理における表示動作の制限として、特にアニメーションを制限する、変形例2に係る制限制御処理を採用してもよい。
(Modification 2)
Further, as the restriction of the display operation in the control processing of step 3, a restriction control processing according to a modification 2 that particularly restricts animation may be adopted.
変形例2に係る制御処理では、第1制御でアニメーションを制限せず、後述のコンテンツ内アニメーション及び単純エフェクトを組み合わせたアニメーション処理を実行する。一方、第2制御は、対象となる表示部において、コンテンツ内アニメーションの実行を制限(例えば、非表示だけでなくフレームレートを低下させてもよい)する一方、単純エフェクトのみ実行可能とする。また、第3制御は、第2制御よりも制限が強い制御であり、例えば、対象となる表示部において静止画のみを表示する(全てのアニメーションの実行を制限する)。   In the control process according to the second modification, the animation is not limited by the first control, and an animation process that combines an in-content animation and a simple effect described later is executed. On the other hand, the second control restricts the execution of the animation in the content (for example, the frame rate may be reduced as well as the non-display) in the target display unit, while enabling only the simple effect. Further, the third control is a control having a stronger restriction than the second control, and, for example, displays only a still image on a target display unit (restricts execution of all animations).
ここで、図5(a)〜(c)に示す画像Imは、複数の表示部のうち任意の表示部(例えば第1表示部11)に表示される画像を示している。画像Imは、例えば、複数のコンテンツ画像(コンテンツC1〜C3)を含んで構成されている。   Here, an image Im shown in FIGS. 5A to 5C is an image displayed on an arbitrary display unit (for example, the first display unit 11) among the plurality of display units. The image Im is configured to include, for example, a plurality of content images (contents C1 to C3).
コンテンツ内アニメーションとは、画像Imに含まれる任意のコンテンツ内で、継時的に所定の情報を報知する動画である。図5(c)は、コンテンツC2内で、自車1の位置及びナビゲーションシステムのルート設定に基づいてリアルタイムに更新されるマップを、コンテンツ内アニメーションとして表示している例を示している。なお、図示しないが、コンテンツ内アニメーションは、エンタメ情報を表示する動画や、運転者Dの操作に応じたリストメニューのカーソル移動などであってもよい。   The animation in the content is a moving image that continuously reports predetermined information in an arbitrary content included in the image Im. FIG. 5C shows an example in which a map updated in real time based on the position of the own vehicle 1 and the route setting of the navigation system is displayed as an in-content animation in the content C2. Although not shown, the animation in the content may be a moving image for displaying entertainment information, a cursor movement of a list menu according to an operation of the driver D, or the like.
また、単純エフェクトとは、画像Imに含まれる任意のコンテンツ内において装飾的ないしは対象を強調するためのアニメーションであり、例えばフェードインやフェードアウト等である。図5(a)は、コンテンツC2を示す領域がフェードインする様子を示し、図5(b)は、コンテンツC2を示す領域がフェードアウトする様子を示している。なお、単純エフェクトは、アニメーションを用いたエフェクトであれば、フェードインやフェードアウトに限られず、徐々に色が変化するエフェクト、フレームインやフレームアウト、所定コンテンツの拡大又は縮小、所定コンテンツの表示領域の変形などであってもよい。また、図5(a)〜(c)に示す例は、あくまで一例であり、コンテンツC2に限られず、その隣に位置するコンテンツC1やC3において、コンテンツ内アニメーションや単純エフェクトが実行されてもよい。また、画像Imの表示領域の全域に渡って、コンテンツ内アニメーションや単純エフェクトが実行されてもよい。   Further, the simple effect is an animation for emphasizing a decoration or an object in an arbitrary content included in the image Im, such as a fade-in or a fade-out. FIG. 5A illustrates a state where the region indicating the content C2 fades in, and FIG. 5B illustrates a state where the region indicating the content C2 fades out. Note that simple effects are not limited to fade-ins and fade-outs as long as they are effects using animation.Effects that gradually change color, frame-in and frame-out, enlargement or reduction of predetermined content, and display area of predetermined content It may be a deformation or the like. The examples shown in FIGS. 5A to 5C are merely examples, and are not limited to the content C2, and the content-in-content animation and the simple effect may be executed in the content C1 and C3 located next to the content C2. . In addition, an animation in a content or a simple effect may be executed over the entire display area of the image Im.
このような変形例2に係る制限処理では、例えば、制御部31は、運転者Dからの距離が最も遠い(注視点Fからのずれ量Gが最も小さい)第2表示部12をアニメーションの制限を行わない第1制御とし、運転者Dからの距離が次に遠い(注視点Fからのずれ量Gが次に小さい)第1表示部11を単純エフェクトのみ実行する第2制御とし、運転者Dからの距離が最も近い(注視点Fからのずれ量Gが最も大きい)第3表示部13をアニメーションが実行されない第3制御とする。このように、運転者Dが運転に集中する必要のある、レベル0〜2のいずれかの状況において、アニメーションを限定することで、複数の画面に運転者Dの視線が移ってしまうことを抑制し、安全な運転環境を提供することができる。また、このようなアニメーションの制限を採用する場合においても、変形例1と同様に、ステップS2の制限解除処理の代わりに第1制限処理とは異なる第2制限処理を実行するようにしてもよい。この場合の第2制御処理においても、例えば、制御部31は、運転者Dからの距離が最も近い第3表示部13を第1制御とし、運転者Dからの距離が次に近い第1表示部11を第2制御とし、第2表示部12を第3制御とすればよい。
このようにすれば、運転者Dに前方注視義務がないレベル3以上の自動運転時は、より詳細な表示を行える表示部に運転者Dの視線を誘導することができる。また、レベル3以上の自動運転時では、注視点Fに近い表示部での表示は、運転者Dに途中から視認される可能性が高い。したがって、注視点Fに近い第2表示部12で静止画を用いた端的な表示にすることで、瞬間認知性を高めることができる。なお、変形例2においても、アニメーションの制限と併せて、前記のように操作に関する制限を実行してもよい。
In the restriction process according to the second modification, for example, the control unit 31 restricts the animation of the second display unit 12 that is the farthest from the driver D (the amount of deviation G from the gazing point F is the smallest). Is performed, and the first display unit 11 that is the next farthest from the driver D (the deviation G from the gazing point F is the next smallest) is the second control that executes only the simple effect. The third display unit 13 having the shortest distance from D (the displacement G from the gazing point F is the largest) is set to the third control in which no animation is executed. In this way, in any one of the levels 0 to 2 where the driver D needs to concentrate on driving, limiting the animation prevents the driver D's line of sight from shifting to a plurality of screens. And a safe driving environment can be provided. Also in the case of adopting such an animation restriction, similarly to the first modification, a second restriction process different from the first restriction process may be executed instead of the restriction release process of step S2. . Also in the second control process in this case, for example, the control unit 31 sets the third display unit 13 closest to the driver D to the first control, and sets the first display unit 13 to the next closest distance from the driver D. What is necessary is just to make the part 11 into 2nd control, and make the 2nd display part 12 into 3rd control.
In this way, the driver D can be guided to the display unit on which a more detailed display can be performed during automatic driving at level 3 or higher where the driver D is not obligated to look forward. Further, at the time of the automatic driving at the level 3 or higher, the display on the display unit close to the gazing point F is likely to be visually recognized by the driver D from the middle. Therefore, instantaneous recognizability can be improved by making a simple display using a still image on the second display unit 12 close to the gazing point F. In the second modification as well, the restriction on the operation may be executed as described above in addition to the restriction on the animation.
なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。   Note that the present invention is not limited by the above embodiments, modifications, and drawings. Modifications (including deletion of components) can be made as appropriate without changing the gist of the present invention.
表示光Lの投射対象は、フロントガラス4に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。   The projection target of the display light L is not limited to the windshield 4, but may be a combiner including a plate-shaped half mirror, a hologram element, and the like.
以上では、メータ21、HUD22、及びCID23のディスプレイをLCDとした例を示したが、OLED(Organic Light Emitting Diodes)を採用してもよい。また、HUD22は、DMD(Digital Micro mirror Device)やLCOS(Liquid Crystal On Silicon)などの反射型表示デバイスを用いたものであってもよい。   In the above, an example has been described in which the displays of the meter 21, the HUD 22, and the CID 23 are LCDs, but OLEDs (Organic Light Emitting Diodes) may be employed. Further, the HUD 22 may use a reflective display device such as a DMD (Digital Micro mirror Device) or an LCOS (Liquid Crystal On Silicon).
また、以上では、車両1内に3つの表示部(第1〜第3表示部11〜13)を構成した例を示したが、表示部は、複数あればよく、2つであっても4つ以上あってもよい。   In the above description, an example in which three display units (first to third display units 11 to 13) are configured in the vehicle 1 has been described. There may be more than one.
また、車両1は、少なくとも所定レベル(例えばレベル3)の自動運転制御が可能であって、且つ、所定レベルよりも下位のレベル(例えばレベル0〜2の少なくともいずれか)の制御が可能なものであればよい。なお、当該所定レベルは、レベル4であってもよい。   The vehicle 1 is capable of controlling automatic driving at least at a predetermined level (for example, level 3) and capable of controlling a level lower than the predetermined level (for example, at least one of levels 0 to 2). Should be fine. Note that the predetermined level may be level 4.
(1)以上に説明した表示装置100は、自動運転による走行が可能な車両1に搭載される。表示装置100は、画像を表示し、車両1の運転者からの距離が互いに異なる複数の表示部と、複数の表示部の各々に対しての操作を受け付けるとともに、複数の表示部の表示制御を行う制御部31と、を備える。
複数の表示部は、特定表示部(例えばHUD22に対応する第2表示部12)と、特定表示部よりも運転者Dに近い位置にある所定表示部(例えばメータ21に対応する第1表示部11や、CID23に対応する第3表示部13)とを含む。
制御部31は、自動運転のレベルが所定レベル(例えばレベル3)未満の場合、所定レベル以上の場合よりも、所定表示部に対して可能な操作と所定表示部の表示動作との少なくともいずれかを制限する制限処理を実行する。
この構成によれば、運転者Dが運転に集中する必要のある状況において、運転者Dの運転の妨げになる恐れのある表示や操作を制限することができるため、安全な運転環境を提供することができ、運転状況に応じた適切な表示を行うことができる。なお、所定表示部の表示動作の制限は、変形例2で説明したように、アニメーションの制限であってもよい。
(1) The display device 100 described above is mounted on the vehicle 1 that can travel by automatic driving. The display device 100 displays an image, receives a plurality of display units at different distances from the driver of the vehicle 1 and an operation on each of the plurality of display units, and controls display of the plurality of display units. And a control unit 31 for performing the operation.
The plurality of display units include a specific display unit (for example, the second display unit 12 corresponding to the HUD 22) and a predetermined display unit (for example, a first display unit corresponding to the meter 21) located closer to the driver D than the specific display unit. 11 and a third display unit 13) corresponding to the CID 23.
When the level of the automatic driving is lower than a predetermined level (for example, level 3), the control unit 31 performs at least one of an operation that can be performed on the predetermined display unit and a display operation of the predetermined display unit, as compared with the case that the level is equal to or higher than the predetermined level. Is executed.
According to this configuration, in a situation where the driver D needs to concentrate on driving, it is possible to restrict a display or an operation that may hinder the driving of the driver D, and thus provide a safe driving environment. And an appropriate display according to the driving situation can be performed. Note that the limitation on the display operation of the predetermined display unit may be a limitation on animation as described in the second modification.
(2)また、所定表示部は、複数あり、制御部31は、自動運転のレベルが所定レベル未満の場合、制限処理を実行する際に、複数の所定表示部のうち運転者Dにより近い位置にあるものの方に強い制限を加える(例えば、制御処理を実行する際に、メータ21に対応する第1表示部11を第2制御とし、CID23に対応する第3表示部13を第3制御にする)。
この構成によれば、運転の重要度に応じた表示を行うことができる。なお、制限処理において、第2表示部12及び第1表示部11を第1制御とし、第3表示部13を第2制御又は第3制御としてもよい。また、第2表示部12を第1制御とし、第1表示部11及び第3表示部13を第2制御又は第3制御としてもよい。
(2) In addition, when there are a plurality of predetermined display units, and the control unit 31 performs the restriction process when the level of the automatic driving is lower than the predetermined level, the control unit 31 is located at a position closer to the driver D among the plurality of predetermined display units. (For example, when the control process is executed, the first display unit 11 corresponding to the meter 21 is set to the second control, and the third display unit 13 corresponding to the CID 23 is set to the third control. Do).
According to this configuration, it is possible to perform the display according to the importance of driving. In the restriction process, the second display unit 12 and the first display unit 11 may be set to the first control, and the third display unit 13 may be set to the second control or the third control. Further, the second display unit 12 may be set as the first control, and the first display unit 11 and the third display unit 13 may be set as the second control or the third control.
(3)また、制御部31は、制限処理を実行している際に、運転者Dが所定表示部(例えば、第1表示部11又は第3表示部13)を一定期間視認していると特定した場合は、視認対象の所定表示部に警告を示す画像を表示する。
この構成によれば、運転者に安全運転を促すことができる。
(3) In addition, the control unit 31 determines that the driver D is visually recognizing a predetermined display unit (for example, the first display unit 11 or the third display unit 13) for a certain period of time while executing the restriction process. If specified, an image indicating a warning is displayed on a predetermined display unit to be viewed.
According to this configuration, the driver can be encouraged to drive safely.
(4)また、変形例1又は2における制御部31は、自動運転のレベルが所定レベル未満の場合は制限処理としての第1制限処理を実行する一方で、自動運転のレベルが所定レベル以上の場合、所定レベル未満の場合よりも、特定表示部に対して可能な操作と特定表示部の表示動作との少なくともいずれかを制限する第2制限処理を実行する。
この構成によれば、運転者Dに前方注視義務がない又は比較的少ない場合に、より詳細な表示を行える表示部に運転者Dの視線を誘導することができる。
(4) Further, when the level of the automatic operation is less than the predetermined level, the control unit 31 in the first or second modification executes the first restriction process as the restriction process, while the level of the automatic operation is equal to or higher than the predetermined level. In this case, a second restriction process for restricting at least one of an operation that can be performed on the specific display unit and a display operation of the specific display unit is performed as compared with the case where the level is lower than the predetermined level.
According to this configuration, when the driver D does not have the duty to look ahead or is relatively few, it is possible to guide the line of sight of the driver D to the display unit that can perform more detailed display.
(5)また、変形例1又は2における制御部31は、自動運転のレベルが所定レベル以上の場合、第2制限処理を実行する際に、複数の所定表示部のうち運転者Dからより遠い位置にあるものの方に強い制限を加える。
この構成によれば、運転の重要度に応じた表示を行うことができる。なお、第2制限処理において、第3表示部13及び第1表示部11を第1制御とし、第2表示部12を第2制御又は第3制御としてもよい。また、第3表示部13を第1制御とし、第1表示部11及び第2表示部12を第2制御又は第3制御としてもよい。
(5) When the level of the automatic driving is equal to or higher than the predetermined level, the control unit 31 in the first or second modification is farther from the driver D among the plurality of predetermined display units when executing the second restriction process. Places a strong restriction on what is in position.
According to this configuration, it is possible to perform the display according to the importance of driving. In the second restriction process, the third display unit 13 and the first display unit 11 may be set to the first control, and the second display unit 12 may be set to the second control or the third control. Further, the third display unit 13 may be set as the first control, and the first display unit 11 and the second display unit 12 may be set as the second control or the third control.
(6)具体的には、特定表示部(HUD22に対応する第2表示部12)は、運転者Dから見て車両1の前方に虚像Vとして画像を表示する。
(7)また、所定レベルは、レベル3又はレベル4である。
(6) Specifically, the specific display unit (the second display unit 12 corresponding to the HUD 22) displays an image as a virtual image V in front of the vehicle 1 as viewed from the driver D.
(7) The predetermined level is level 3 or level 4.
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。   In the above description, well-known technical items have been omitted as appropriate to facilitate understanding of the present invention.
100…表示装置
11…第1表示部、12…第2表示部、13…第3表示部
21…メータ(21a…LCD、21b…光源)
22…HUD(22a…LCD、22b…光源)
23…CID(23a…LCD、23b…光源)
30…制御装置
31…制御部(31a…CPU、31b…GDC)
32…ROM、33…RAM
40…状況解析部
50…ECU
60…視線検出部
70…動作検出部
1…車両、2…ダッシュボード、3…ステアリングホイール、4…フロントガラス
D…運転者、E…アイボックス、L…表示光、V…虚像
F…注視点、G…ずれ量
Reference Signs List 100 display device 11 first display unit 12 second display unit 13 third display unit 21 meter (21a LCD, 21b light source)
22 HUD (22a LCD, 22b light source)
23 CID (23a LCD, 23b light source)
30 control device 31 control unit (31a CPU, 31b GDC)
32 ROM, 33 RAM
40: situation analysis unit 50: ECU
Reference numeral 60: line-of-sight detection unit 70: operation detection unit 1: vehicle, 2: dashboard, 3: steering wheel, 4: windshield D: driver, E: eye box, L: display light, V: virtual image F: fixation point , G ... shift amount

Claims (7)

  1. 自動運転による走行が可能な車両に搭載される表示装置であって、
    画像を表示し、前記車両の運転者からの距離が互いに異なる複数の表示部と、
    前記複数の表示部の各々に対しての操作を受け付けるとともに、前記複数の表示部の表示制御を行う制御部と、を備え、
    前記複数の表示部は、特定表示部と、前記特定表示部よりも前記運転者に近い位置にある所定表示部とを含み、
    前記制御部は、前記自動運転のレベルが所定レベル未満の場合、前記所定レベル以上の場合よりも、前記所定表示部に対して可能な操作と前記所定表示部の表示動作との少なくともいずれかを制限する制限処理を実行する、
    表示装置。
    A display device mounted on a vehicle capable of traveling by automatic driving,
    Displaying an image, a plurality of display units at different distances from the driver of the vehicle,
    A control unit that receives an operation on each of the plurality of display units and controls display of the plurality of display units,
    The plurality of display units include a specific display unit and a predetermined display unit located closer to the driver than the specific display unit,
    When the level of the automatic driving is less than a predetermined level, the control unit performs at least one of an operation that can be performed on the predetermined display unit and a display operation of the predetermined display unit, when the level is equal to or higher than the predetermined level. Execute the restriction process to restrict,
    Display device.
  2. 前記所定表示部は、複数あり、
    前記制御部は、前記自動運転のレベルが前記所定レベル未満の場合、前記制限処理を実行する際に、複数の前記所定表示部のうち前記運転者により近い位置にあるものの方に強い制限を加える、
    請求項1に記載の表示装置。
    There are a plurality of the predetermined display units,
    The control unit, when the level of the automatic driving is less than the predetermined level, applies a stronger restriction to a plurality of the predetermined display units that are closer to the driver when executing the restriction process. ,
    The display device according to claim 1.
  3. 前記制御部は、前記制限処理を実行している際に、前記運転者が前記所定表示部を一定期間視認していると特定した場合は、視認対象の前記所定表示部に警告を示す画像を表示する、
    請求項1又は2に記載の表示装置。
    The control unit, when executing the restriction process, if the driver has specified that the predetermined display unit is visually recognizable for a certain period of time, an image indicating a warning is displayed on the predetermined display unit to be visually recognized. indicate,
    The display device according to claim 1.
  4. 前記制御部は、前記自動運転のレベルが前記所定レベル未満の場合は前記制限処理としての第1制限処理を実行する一方で、前記自動運転のレベルが前記所定レベル以上の場合、前記所定レベル未満の場合よりも、前記特定表示部に対して可能な操作と前記特定表示部の表示動作との少なくともいずれかを制限する第2制限処理を実行する、
    請求項1乃至3のいずれか1項に記載の表示装置。
    The control unit executes the first restriction process as the restriction process when the level of the automatic driving is lower than the predetermined level, but executes the first restriction process when the level of the automatic driving is higher than the predetermined level. Executing a second restriction process for restricting at least one of an operation that can be performed on the specific display unit and a display operation of the specific display unit,
    The display device according to claim 1.
  5. 前記所定表示部は、複数あり、
    前記制御部は、前記自動運転のレベルが前記所定レベル以上の場合、前記第2制限処理を実行する際に、複数の前記所定表示部のうち前記運転者からより遠い位置にあるものの方に強い制限を加える、
    請求項4に記載の表示装置。
    There are a plurality of the predetermined display units,
    The control unit, when the level of the automatic driving is equal to or higher than the predetermined level, when performing the second restriction process, the control unit is more resistant to a plurality of the predetermined display units that are located farther from the driver. Add restrictions,
    The display device according to claim 4.
  6. 前記特定表示部は、前記運転者から見て前記車両の前方に虚像として画像を表示する、
    請求項1乃至5のいずれか1項に記載の表示装置。
    The specific display unit displays an image as a virtual image in front of the vehicle as viewed from the driver,
    The display device according to claim 1.
  7. 前記所定レベルは、レベル3又はレベル4である、
    請求項1乃至6のいずれか1項に記載の表示装置。
    The predetermined level is level 3 or level 4,
    The display device according to claim 1.
JP2018157128A 2018-08-24 2018-08-24 Display device Pending JP2020029221A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018157128A JP2020029221A (en) 2018-08-24 2018-08-24 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018157128A JP2020029221A (en) 2018-08-24 2018-08-24 Display device

Publications (1)

Publication Number Publication Date
JP2020029221A true JP2020029221A (en) 2020-02-27

Family

ID=69623638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018157128A Pending JP2020029221A (en) 2018-08-24 2018-08-24 Display device

Country Status (1)

Country Link
JP (1) JP2020029221A (en)

Similar Documents

Publication Publication Date Title
JP6123761B2 (en) Vehicle display device
JP6201064B2 (en) Projection display device, safe driving support method, and safe driving support program
WO2015178355A1 (en) Display device
US10250860B2 (en) Electronic apparatus and image display method
US20160334623A1 (en) Display device, display method, and non-transitory computer readable medium storing display program
JP2015090483A (en) Information display device
CN111163968A (en) Display system in a vehicle
US20200051529A1 (en) Display device, display control method, and storage medium
WO2020045328A1 (en) Display device
JP2020029221A (en) Display device
US11009702B2 (en) Display device, display control method, storage medium
JP2017081456A (en) Display device and display method
JP6939264B2 (en) In-vehicle display device
JP2020069824A (en) Display device for vehicle
JP2019131022A (en) Display device
JP2019132968A (en) Display unit
JP2019217910A (en) Display device
JP2020045019A (en) Display device for vehicle
JP2019207672A (en) Display device
US10914948B2 (en) Display device, display control method, and storage medium
JP2019219895A (en) Display device
US10928632B2 (en) Display device, display control method, and storage medium
WO2019189393A1 (en) Image control apparatus, display apparatus, movable body, and image control method
US20200050002A1 (en) Display device and display control method
JP2020116965A (en) Display device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617