JP2019217910A

JP2019217910A - Display device

Info

Publication number: JP2019217910A
Application number: JP2018116874A
Authority: JP
Inventors: 勇希舛屋; Yuki Masuya; 美彩渋谷; Misa Shibuya; 中村　崇; Takashi Nakamura; 崇中村; 忠慈牧野; Tadashige Makino; 裕太菊地; Yuta Kikuchi; 雄治猪坂; Yuji Inosaka
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2018-06-20
Filing date: 2018-06-20
Publication date: 2019-12-26

Abstract

To provide a display device capable of receiving an entertainment moving image even while a vehicle is running.SOLUTION: The display device displays a superimposed image visually recognized by a viewer as a virtual image overlapping the scenery in front of the vehicle. The display device controls display of an entertainment moving image as a superimposed image. The display device estimates whether the entertainment moving image is in a viewed state in which the entertainment moving image is visually recognized by the viewer or in a non-viewed state in which the entertainment moving image is not visually recognized by the viewer. The display device continues to reproduce the entertainment moving image during the period of the viewed state. Also, the display device stops the entertainment moving image at the time point P1 during the non-viewed state (T1 to T2), or continues to play the entertainment moving image during the non-viewed state, but when returning to the viewed state, from the non-viewed state, the entertainment moving image is reproduced from the time point P1 when the display returns to the non-viewed state.SELECTED DRAWING: Figure 5

Description

本発明は、表示装置に関する。 The present invention relates to a display device.

従来の表示装置として、車両の前方風景と重なる虚像として視認者（主に車両の運転者）に視認される娯楽動画を表示するものが、特許文献１に開示されている。 Patent Literature 1 discloses a conventional display device that displays an entertainment moving image visually recognized by a viewer (mainly, a driver of the vehicle) as a virtual image overlapping a scene in front of the vehicle.

特開２０１２−８１９０７号公報JP 2012-81907 A

近年、自動運転機能の技術進歩によって運転者の運転負荷が下がり、車両の走行中においても娯楽動画を提供することが可能となりつつある。しかしながら、車両の走行中には適宜周囲環境を確認する必要が生じるため、当該確認中に娯楽動画を見逃すことがある。 In recent years, the driving load of the driver has been reduced due to the technological progress of the automatic driving function, and it has become possible to provide entertainment moving images even while the vehicle is running. However, since it is necessary to check the surrounding environment as needed while the vehicle is running, the entertainment moving image may be missed during the check.

本発明は、上記実情に鑑みてなされたものであり、車両の走行中にも娯楽動画を享受させることができる表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and has as its object to provide a display device capable of receiving an entertainment video even while a vehicle is running.

上記目的を達成するため、本発明の第１の観点に係る表示装置は、
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続する一方、前記非視認状態である期間中は前記娯楽動画を停止する。 In order to achieve the above object, a display device according to a first aspect of the present invention includes:
A display device that displays a superimposed image visually recognized by a viewer as a virtual image overlapping a scene in front of the vehicle,
A display control unit that performs display control of entertainment video as the superimposed image,
The display control unit estimates whether the entertainment moving image is in a viewing state in which the viewer is viewing or in a non-viewing state in which the entertainment video is not viewed by the viewer,
While the reproduction of the entertainment moving image is continued during the viewing state, the entertainment moving image is stopped during the non-viewing state.

上記目的を達成するため、本発明の第２の観点に係る表示装置は、
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続し、
前記非視認状態である期間中も前記娯楽動画の再生を継続するが、前記非視認状態から前記視認状態に戻った際には、前記非視認状態であった時間だけ戻した時点から前記娯楽動画を再生する。 In order to achieve the above object, a display device according to a second aspect of the present invention includes:
A display device that displays a superimposed image visually recognized by a viewer as a virtual image overlapping a scene in front of the vehicle,
A display control unit that performs display control of entertainment video as the superimposed image,
The display control unit estimates whether the entertainment moving image is in a viewing state in which the viewer is viewing or in a non-viewing state in which the entertainment video is not viewed by the viewer,
During the period of the viewing state, the reproduction of the entertainment video is continued,
Although the reproduction of the entertainment video is continued during the period of the non-visual state, when returning from the non-visual state to the visual state, the entertainment video is returned from the point in time when the non-visual state is returned. To play.

本発明によれば、車両の走行中にも娯楽動画を享受させることができる。 ADVANTAGE OF THE INVENTION According to this invention, an entertainment moving image can be enjoyed also during driving of a vehicle.

本発明の第１実施形態に係るヘッドアップディスプレイ（ＨＵＤ）装置の車両への搭載態様を説明するための図である。It is a figure for explaining a mode of mounting in a vehicle of a head up display (HUD) device concerning a 1st embodiment of the present invention. 車両用表示システムのブロック図である。It is a block diagram of a display system for vehicles. 虚像としての動画の表示位置などを説明するための模式図である。It is a schematic diagram for demonstrating the display position etc. of the moving image as a virtual image. 本発明の第１実施形態に係る動画制御処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of a moving image control process according to the first embodiment of the present invention. （ａ）は、本発明の第１実施形態に係る動画再生時間と実際の経過時間との関係を表すグラフの図であり、（ｂ）は、本発明の第２実施形態に係る動画再生時間と実際の経過時間との関係を表すグラフの図である。FIG. 7A is a graph showing a relationship between a moving image playback time and an actual elapsed time according to the first embodiment of the present invention, and FIG. FIG. 7 is a graph showing the relationship between the time and the actual elapsed time. 本発明の第２実施形態に係る動画制御処理の一例を示すフローチャートである。It is a flow chart which shows an example of the animation control processing concerning a 2nd embodiment of the present invention. 判別領域を説明するための模式図である。FIG. 3 is a schematic diagram for explaining a determination area.

本発明の一実施形態に係る表示装置について図面を参照して説明する。 A display device according to an embodiment of the present invention will be described with reference to the drawings.

［第１実施形態］
本発明の第１実施形態に係る表示装置は、図２に示す車両用表示システム１００に含まれるＨＵＤ（Head-Up Display）装置１０である。ＨＵＤ装置１０は、図１に示すように、車両１のダッシュボード２の内部に設けられ、車両１に関する情報（以下、車両情報とも言う。）だけでなく、車両情報以外の情報も統合的に運転者Ｄに報知する。なお、車両情報は、車両１自体の情報だけでなく、車両１の運行に関連した車両１の外部の情報も含む。 [First Embodiment]
The display device according to the first embodiment of the present invention is a HUD (Head-Up Display) device 10 included in the vehicle display system 100 shown in FIG. As shown in FIG. 1, the HUD device 10 is provided inside the dashboard 2 of the vehicle 1 and integrates not only information on the vehicle 1 (hereinafter, also referred to as vehicle information) but also information other than the vehicle information. Notify the driver D. Note that the vehicle information includes not only information on the vehicle 1 itself but also information on the outside of the vehicle 1 related to the operation of the vehicle 1.

車両用表示システム１００は、車両１内において構成されるシステムであり、ＨＵＤ装置１０と、周辺情報取得部４０と、視線検出部６０と、ＥＣＵ（Electronic Control Unit）７０と、エンターテインメント（エンタメ）システム８０と、を備える。 The vehicle display system 100 is a system configured in the vehicle 1, and includes a HUD device 10, a peripheral information acquisition unit 40, a line-of-sight detection unit 60, an ECU (Electronic Control Unit) 70, and an entertainment (entertainment) system. 80.

ＨＵＤ装置１０は、図１に示すように、ダッシュボード２の内部に設けられ、フロントガラス３に向けて表示光Ｌを射出する。フロントガラス３で反射した表示光Ｌは、運転者Ｄ側へと向かう。運転者Ｄは、視点をアイボックスＥ内におくことで、フロントガラス３の前方に、表示光Ｌが表す画像を虚像Ｖｉとして視認することができる。つまり、ＨＵＤ装置１０は、フロントガラス３の前方位置に虚像Ｖｉを表示する。これにより、運転者Ｄは、虚像Ｖｉを前方風景と重畳させて観察することができる。 As shown in FIG. 1, the HUD device 10 is provided inside the dashboard 2 and emits the display light L toward the windshield 3. The display light L reflected by the windshield 3 travels to the driver D side. By placing the viewpoint in the eye box E, the driver D can visually recognize the image represented by the display light L as a virtual image Vi in front of the windshield 3. That is, the HUD device 10 displays the virtual image Vi at a position in front of the windshield 3. Thereby, the driver D can observe the virtual image Vi in a manner superimposed on the front scenery.

ＨＵＤ装置１０は、図２に示す表示部２０及び制御装置３０と、図示しない反射部とを備える。 The HUD device 10 includes the display unit 20 and the control device 30 illustrated in FIG. 2, and a reflection unit (not illustrated).

表示部２０は、制御装置３０の制御により、虚像Ｖｉとして運転者Ｄに視認される重畳画像を表示する。表示部２０は、例えば、ＴＦＴ（Thin Film Transistor）型のＬＣＤ（Liquid Crystal Display）や、ＬＣＤを背後から照明するバックライト等を有する。バックライトは、例えばＬＥＤ（Light Emitting Diode）から構成されている。表示部２０は、制御装置３０の制御の下で、バックライトに照明されたＬＣＤが画像を表示することにより表示光Ｌを生成する。生成した表示光Ｌは、反射部で反射した後に、フロントガラス３に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部２０からの射出された表示光Ｌを折り返し、凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Ｌを拡大しつつ、フロントガラス３に向けて反射させる。これにより、運転者Ｄに視認される虚像Ｖｉは、表示部２０に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の枚数は設計に応じて任意に変更可能である。 The display unit 20 displays a superimposed image visually recognized by the driver D as a virtual image Vi under the control of the control device 30. The display unit 20 includes, for example, a thin film transistor (TFT) type LCD (Liquid Crystal Display), a backlight that illuminates the LCD from behind, and the like. The backlight is composed of, for example, an LED (Light Emitting Diode). The display unit 20 generates the display light L by the LCD illuminated by the backlight displaying an image under the control of the control device 30. The generated display light L is emitted toward the windshield 3 after being reflected by the reflector. The reflector is composed of, for example, two mirrors, a folding mirror and a concave mirror. The turning mirror turns the display light L emitted from the display unit 20 back to the concave mirror. The concave mirror reflects the display light L from the folding mirror toward the windshield 3 while expanding the display light L. Thereby, the virtual image Vi visually recognized by the driver D is an enlarged image of the image displayed on the display unit 20. Note that the number of mirrors constituting the reflection unit can be arbitrarily changed according to the design.

なお、以下では、虚像Ｖｉとして運転者Ｄに視認される画像を表示部２０が表示することを「重畳画像を表示する」とも言う。また、制御装置３０が表示部２０の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部２０は、重畳画像を表示することができれば、ＬＣＤを用いたものに限られず、ＯＬＥＤ（Organic Light Emitting Diodes）、ＤＭＤ（Digital Micro mirror Device）、ＬＣＯＳ（Liquid Crystal On Silicon）などの表示デバイスを用いたものであってもよい。 Hereinafter, displaying the image visually recognized by the driver D as the virtual image Vi on the display unit 20 is also referred to as “displaying a superimposed image”. Controlling the display of the display unit 20 by the control device 30 is also referred to as “performing display control of a superimposed image”. The display unit 20 is not limited to the one using an LCD as long as it can display a superimposed image, and may be an organic light emitting diode (OLED), a digital micro mirror device (DMD), or a liquid crystal on silicon (LCOS). A display device may be used.

制御装置３０は、ＨＵＤ装置１０の全体動作を制御するマイクロコンピュータからなり、制御部３１と、ＲＯＭ（Read Only Memory）３２と、ＲＡＭ（Random Access Memory）３３とを備える。また、制御装置３０は、図示しない構成として、駆動回路や、車両１内の各種システムと通信を行うための入出力回路を備える。 The control device 30 includes a microcomputer that controls the entire operation of the HUD device 10 and includes a control unit 31, a ROM (Read Only Memory) 32, and a RAM (Random Access Memory) 33. The control device 30 includes a drive circuit and an input / output circuit for communicating with various systems in the vehicle 1 as a configuration (not shown).

ＲＯＭ３２は、動作プログラムや各種の画像データを予め記憶する。ＲＡＭ３３は、各種の演算結果などを一時的に記憶する。制御部３１は、ＲＯＭ３２に記憶された動作プログラムを実行するＣＰＵ（Central Processing Unit）３１ａと、ＣＰＵ３１ａと協働して画像処理を実行するＧＰＵ（Graphics Processing Unit）３１ｂとを備える。特に、ＲＯＭ３２には、後述する動画制御処理を実行するための動作プログラムが格納されている。なお、制御部３１の一部は、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成されていてもよい。また、制御装置３０や制御部３１の構成は、以下に説明する機能を充足する限りにおいては任意である。 The ROM 32 stores an operation program and various image data in advance. The RAM 33 temporarily stores various calculation results and the like. The control unit 31 includes a CPU (Central Processing Unit) 31a that executes an operation program stored in a ROM 32, and a GPU (Graphics Processing Unit) 31b that executes image processing in cooperation with the CPU 31a. In particular, the ROM 32 stores an operation program for executing a moving image control process described later. Note that a part of the control unit 31 may be configured by an ASIC (Application Specific Integrated Circuit). The configurations of the control device 30 and the control unit 31 are arbitrary as long as the functions described below are satisfied.

制御部３１は、表示部２０を駆動制御する。例えば、制御部３１は、ＣＰＵ３１ａで表示部２０のバックライトを駆動制御し、ＣＰＵ３１ａと協働して動作するＧＰＵ３１ｂで表示部２０のＬＣＤを駆動制御する。 The control unit 31 controls the driving of the display unit 20. For example, the control unit 31 drives and controls the backlight of the display unit 20 with the CPU 31a, and drives and controls the LCD of the display unit 20 with the GPU 31b that operates in cooperation with the CPU 31a.

制御部３１のＣＰＵ３１ａは、ＧＰＵ３１ｂと協働して、ＲＯＭ３２に記憶された各種の画像データに基づき、重畳画像の表示制御を行う。ＧＰＵ３１ｂは、ＣＰＵ３１ａからの表示制御指令に基づき、表示部２０の表示動作の制御内容を決定する。ＧＰＵ３１ｂは、表示部２０に表示する１画面を構成するために必要な画像パーツデータをＲＯＭ３２から読み込み、ＲＡＭ３３へ転送する。また、ＧＰＵ３１ｂは、ＲＡＭ３３を使って、画像パーツデータやＨＵＤ装置１０の外部から通信により受け取った各種の画像データを元に、１画面分の絵データを作成する。そして、ＧＰＵ３１ｂは、ＲＡＭ３３で１画面分の絵データを完成させたところで、画像の更新タイミングに合わせて、表示部２０に転送する。これにより、表示部２０に虚像Ｖｉとして運転者Ｄに視認される重畳画像が表示される。また、虚像Ｖｉとして視認される画像を構成する各画像には予めレイヤが割り当てられており、制御部３１は、各画像の個別の表示制御が可能となっている。 The CPU 31a of the control unit 31 controls the display of the superimposed image based on various image data stored in the ROM 32 in cooperation with the GPU 31b. The GPU 31b determines the control content of the display operation of the display unit 20 based on the display control command from the CPU 31a. The GPU 31b reads, from the ROM 32, image part data necessary to compose one screen displayed on the display unit 20, and transfers the image part data to the RAM 33. The GPU 31b uses the RAM 33 to create picture data for one screen based on image part data and various image data received from the outside of the HUD device 10 by communication. Then, when the picture data for one screen is completed in the RAM 33, the GPU 31b transfers the picture data to the display unit 20 in synchronization with the image update timing. Thereby, the superimposed image visually recognized by the driver D is displayed on the display unit 20 as the virtual image Vi. In addition, a layer is assigned in advance to each image constituting the image visually recognized as the virtual image Vi, and the control unit 31 can perform individual display control of each image.

この実施形態では、重畳画像として、娯楽を運転者Ｄに提供するための動画である娯楽動画Ｍ（以下、単に「動画Ｍ」と略することもある。）が表示可能となっている。
図３に、車両１内の運転者Ｄから見た、娯楽動画Ｍの表示位置を模式的に示す。図３で虚像Ｖｉが示している枠は、虚像Ｖｉの表示可能領域を示し、動画Ｍは、当該表示可能領域内に虚像として視認される画像である。これは、虚像Ｖｉとして運転者Ｄに視認される重畳画像を表示する表示部２０において、当該重畳画像の表示可能領域内に動画Ｍが表示されることと同義である。なお、符号４は車両１のステアリングホイールを、符号９はフロントガラス３を透かして運転者Ｄに視認される実景（前方道路）を示す。
制御部３１（表示制御手段の一例）は、重畳画像の表示可能領域内において、動画Ｍの表示制御を行う。具体的には、制御部３１は、図示しない操作部からユーザによって入力された指示に応じて、動画Ｍの再生や停止を制御する。また、制御部３１は、後述の動画制御処理を実行することで、所定の場合に動画Ｍを停止させたり、停止状態であった動画Ｍを再生状態に復帰したりする制御を実行する。 In this embodiment, an entertainment moving image M (hereinafter, may be simply abbreviated as “moving image M”), which is a moving image for providing entertainment to the driver D, can be displayed as a superimposed image.
FIG. 3 schematically shows a display position of the entertainment moving image M as viewed from the driver D in the vehicle 1. The frame indicated by the virtual image Vi in FIG. 3 indicates a displayable area of the virtual image Vi, and the moving image M is an image visually recognized as a virtual image in the displayable area. This is equivalent to displaying the moving image M in the displayable area of the superimposed image on the display unit 20 that displays the superimposed image visually recognized by the driver D as the virtual image Vi. Reference numeral 4 denotes a steering wheel of the vehicle 1, and reference numeral 9 denotes a real scene (a road ahead) visually recognized by the driver D through the windshield 3.
The control unit 31 (an example of a display control unit) controls the display of the moving image M within the displayable area of the superimposed image. Specifically, the control unit 31 controls reproduction and stop of the moving image M according to an instruction input by a user from an operation unit (not shown). In addition, the control unit 31 executes control to stop the moving image M in a predetermined case or to return the stopped moving image M to the reproduction state by executing a moving image control process described later.

制御部３１のＣＰＵ３１ａは、周辺情報取得部４０、視線検出部６０、ＥＣＵ７０、及びエンタメシステム８０の各々と通信を行う。当該通信としては、例えば、ＣＡＮ（Controller Area Network）、Ｅｔｈｅｒｎｅｔ、ＭＯＳＴ（Media Oriented Systems Transport）、ＬＶＤＳ（Low Voltage Differential Signaling）などの通信方式が適用可能である。 The CPU 31a of the control unit 31 communicates with each of the peripheral information acquisition unit 40, the visual line detection unit 60, the ECU 70, and the entertainment system 80. As the communication, for example, communication systems such as CAN (Controller Area Network), Ethernet, MOST (Media Oriented Systems Transport), and LVDS (Low Voltage Differential Signaling) can be applied.

周辺情報取得部４０は、車両１の周辺（外部）の情報を取得するものであり、車両１とワイヤレスネットワークとの通信（Ｖ２Ｎ：Vehicle To cellular Network）、車両１と他車両との通信（Ｖ２Ｖ：Vehicle To Vehicle）、車両１と歩行者との通信（Ｖ２Ｐ：Vehicle To Pedestrian）、車両１と路側のインフラとの通信（Ｖ２Ｉ：Vehicle To roadside Infrastructure）を可能とする各種モジュールから構成される。つまり、周辺情報取得部４０は、車両１と車両１の外部との間でＶ２Ｘ(Vehicle To Everything）による通信を可能とする。 The peripheral information acquisition unit 40 acquires information on the periphery (external) of the vehicle 1, and performs communication between the vehicle 1 and a wireless network (V2N: Vehicle To cellular Network) and communication between the vehicle 1 and another vehicle (V2V). : Vehicle To Vehicle), communication between the vehicle 1 and a pedestrian (V2P: Vehicle To Pedestrian), and various modules that enable communication between the vehicle 1 and a roadside infrastructure (V2I: Vehicle To Roadside Infrastructure). That is, the peripheral information acquisition unit 40 enables communication by V2X (Vehicle To Everything) between the vehicle 1 and the outside of the vehicle 1.

例えば、（ｉ）周辺情報取得部４０は、ＷＡＮ（Wide Area Network）に直接アクセスできる通信モジュール、ＷＡＮにアクセス可能な外部装置（モバイルルータなど）や公衆無線ＬＡＮ（Local Area Network）のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行う。また、周辺情報取得部４０は、人工衛星などから受信したＧＰＳ（Global Positioning System）信号に基づいて車両１の位置を算出するＧＰＳコントローラを備える。これらの構成により、Ｖ２Ｎによる通信を可能とする。（ｉｉ）また、周辺情報取得部４０は、所定の無線通信規格に準拠した無線通信モジュールを備え、Ｖ２ＶやＶ２Ｐによる通信を行う。（ｉｉｉ）また、周辺情報取得部４０は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両１の周辺道路の位置や形状を含む交通情報を取得する。これによりＶ２Ｉによる通信が可能となる。 For example, (i) the peripheral information acquisition unit 40 includes a communication module that can directly access a WAN (Wide Area Network), an external device (such as a mobile router) that can access the WAN, an access point of a public wireless LAN (Local Area Network), and the like. It has a communication module for communication and performs Internet communication. Further, the peripheral information acquisition unit 40 includes a GPS controller that calculates the position of the vehicle 1 based on a GPS (Global Positioning System) signal received from an artificial satellite or the like. These configurations enable V2N communication. (Ii) The peripheral information acquisition unit 40 includes a wireless communication module that conforms to a predetermined wireless communication standard, and performs communication using V2V or V2P. (Iii) The peripheral information acquisition unit 40 has a communication device that wirelessly communicates with a roadside infrastructure, and is installed as an infrastructure from a base station of a driving safety support system (DSSS), for example. The traffic information including the position and shape of the road around the vehicle 1 is acquired via the roadside apparatus. Thereby, communication by V2I becomes possible.

視線検出部６０は、例えば、運転者Ｄの顔を撮像し、撮像データを生成する撮像手段（例えばステレオカメラ）や、撮像データの画像処理を行う画像処理部からなり、運転者Ｄの視線方向Ｇ（図３、図７参照）を検出する。例えば、視線検出部６０は、パタンマッチング法などの公知の画像解析法により運転者Ｄの視線方向Ｇを検出し、検出結果を示す検出データを制御部３１に送信する。 The line-of-sight detection unit 60 includes, for example, an imaging unit (for example, a stereo camera) that images the face of the driver D and generates image data, and an image processing unit that performs image processing on the image data. G (see FIGS. 3 and 7) is detected. For example, the gaze detection unit 60 detects the gaze direction G of the driver D by a known image analysis method such as a pattern matching method, and transmits detection data indicating a detection result to the control unit 31.

例えば、制御部３１（ＣＰＵ３１ａ）は、図３、図７に示すように、検出データが示す視線方向Ｇが予めＲＯＭ３２内に格納された判別領域Ｒ以内にある場合に、運転者Ｄが動画Ｍを視認している「視認状態」であると判別（推定）する。一方、制御部３１は、視線方向Ｇが判別領域Ｒより外にある場合に、運転者Ｄが動画Ｍを視認していない「非視認状態」であると判別（推定）する。判別領域Ｒは、例えば、動画Ｍの表示領域と、想定される運転者Ｄの視点位置ＥＰとに基づいて予め定められる。なお、制御部３１は、上記パタンマッチング法などで特定した視点位置ＥＰと、現在の動画Ｍの表示領域とに基づいて、適宜、判別領域Ｒを算出してもよい。 For example, as shown in FIGS. 3 and 7, when the gaze direction G indicated by the detection data is within the determination area R stored in the ROM 32 in advance, the control unit 31 (CPU 31a) It is determined (estimated) that it is in the “viewing state” in which the player is viewing the image. On the other hand, when the line-of-sight direction G is outside the determination region R, the control unit 31 determines (estimates) that the driver D is in the “non-viewing state” in which the moving image M is not viewed. The determination region R is predetermined based on, for example, the display region of the moving image M and the assumed viewpoint position EP of the driver D. The control unit 31 may appropriately calculate the determination area R based on the viewpoint position EP specified by the pattern matching method or the like and the current display area of the moving image M.

その他、ＣＰＵ３１ａは、予めＲＯＭ３２内に格納された、視線方向Ｇと、視認対象の位置（動画Ｍの表示領域）とが対応付けられたテーブルデータを参照し、現在、運転者Ｄが視認している対象を特定し、当該特定結果に基づいて、視認状態であるか非視認状態であるかを判別してもよい。なお、視線方向Ｇは、例えば、運転者Ｄの両目のいずれかに基づいて検出されてもよいし、両目の重心として検出されてもよい。なお、図３、図７に示す視点位置ＥＰは、当該両目の重心位置を模式的に示したものであり、視線検出方法を限定するものではない。ＣＰＵ３１ａによって、運転者Ｄが視認している対象を特定することができれば、検出データは任意である。また、視線検出部６０は、運転者Ｄの顔の向きを、公知の画像解析法により検出し、検出データとしてもよい。この場合、ＣＰＵ３１ａは、予めＲＯＭ３２内に格納された、顔の向きと視認対象の位置とが対応付けられたテーブルデータを参照し、現在、運転者Ｄが視認している対象を特定すればよい。なお、テーブルデータを用いずに、視線方向Ｇから視認対象の位置を数式により求めてもよい。当該数式を示すデータは、予めＲＯＭ３２内に格納しておけばよい。 In addition, the CPU 31a refers to table data stored in advance in the ROM 32 in which the line-of-sight direction G is associated with the position of the viewing target (the display area of the moving image M), and the driver D is currently viewing the table data. It is also possible to identify the target that is present and determine whether the object is in the visible state or the non-visible state based on the result of the identification. The gaze direction G may be detected based on, for example, one of the eyes of the driver D, or may be detected as the center of gravity of both eyes. Note that the viewpoint positions EP shown in FIGS. 3 and 7 schematically show the positions of the centers of gravity of the eyes, and do not limit the gaze detection method. As long as the CPU 31a can specify the target visually recognized by the driver D, the detection data is arbitrary. In addition, the line-of-sight detection unit 60 may detect the direction of the face of the driver D by a known image analysis method and use the detected data as detection data. In this case, the CPU 31a may refer to the table data in which the face direction and the position of the visual recognition target are stored in advance in the ROM 32 and specify the target that the driver D is currently viewing. . Note that, without using the table data, the position of the visual recognition target may be obtained from the visual line direction G by a mathematical expression. The data indicating the mathematical expression may be stored in the ROM 32 in advance.

また、視線検出部６０は、運転者Ｄが頭部に装着したウェアラブルデバイスに搭載された撮像手段や、眼電位センサや、モーションセンサであってもよい。撮像手段による撮像データにより、前述と同様に視線方向Ｇや顔の向きを検出可能である。また、眼電位センサは、測定した眼電位に基づいて運転者Ｄの視線方向Ｇを検出する。また、モーションセンサは、例えば、加速度センサ、ジャイロセンサ及び地磁気センサのうち１つ又は複数の組み合わせからなり、運転者Ｄの顔の向きを検出する。 In addition, the gaze detection unit 60 may be an imaging unit, an electro-oculogram sensor, or a motion sensor mounted on a wearable device worn by the driver D on the head. The gaze direction G and the face direction can be detected in the same manner as described above, based on the image data obtained by the imaging means. Further, the electro-oculography sensor detects the gaze direction G of the driver D based on the measured electro-oculography. The motion sensor includes, for example, one or a combination of an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and detects the direction of the face of the driver D.

なお、ＣＰＵ３１ａが、撮像手段や各種センサからの信号に基づき、運転者Ｄの視線方向Ｇや顔の向きを検出する構成としてもよい。動画Ｍが視認状態であるか非視認状態であるかをＣＰＵ３１ａが判別することができれば、運転者Ｄの視線方向Ｇや顔の向きの検出手法及び検出構成は任意である。 Note that the CPU 31a may detect the gaze direction G and the face direction of the driver D based on signals from the imaging unit and various sensors. As long as the CPU 31a can determine whether the moving image M is in the visible state or in the non-visible state, the detection method and configuration of the driver's D gaze direction and face direction are arbitrary.

ＥＣＵ７０は、車両１の各部を制御するものであり、例えば、車両１の現在の車速Ｖ（車速Ｖを示す情報）をＣＰＵ３１ａへ送信する。なお、ＣＰＵ３１ａは、車速センサから車速Ｖを取得してもよい。また、ＣＰＵ３１ａは、周辺情報取得部４０を介して取得したＧＰＳ信号が示す車両１の位置を時間微分することで、車速Ｖを取得してもよい。また、ＥＣＵ７０は、エンジン回転数などの計測量や、車両１自体の警告情報（燃料低下や、エンジン油圧異常など）や、その他の車両情報をＣＰＵ３１ａへ送信する。ＥＣＵ７０から取得した情報に基づいて、ＣＰＵ３１ａは、ＧＰＵ３１ｂを介して、表示部２０に車速、エンジン回転数、各種警告などを示す画像を表示させることが可能となっている。つまり、娯楽動画Ｍの他、虚像Ｖｉの表示可能領域内に各種車両情報を示す画像も表示可能となっている。 The ECU 70 controls each part of the vehicle 1 and transmits, for example, a current vehicle speed V (information indicating the vehicle speed V) of the vehicle 1 to the CPU 31a. Note that the CPU 31a may acquire the vehicle speed V from the vehicle speed sensor. Further, the CPU 31a may obtain the vehicle speed V by differentiating the position of the vehicle 1 indicated by the GPS signal obtained through the peripheral information obtaining unit 40 with time. In addition, the ECU 70 transmits to the CPU 31a measurement amounts such as the engine speed, warning information of the vehicle 1 itself (such as low fuel and abnormal engine oil pressure), and other vehicle information. Based on the information acquired from the ECU 70, the CPU 31a can display images indicating the vehicle speed, the engine speed, various warnings, and the like on the display unit 20 via the GPU 31b. That is, in addition to the entertainment moving image M, images indicating various types of vehicle information can be displayed in the displayable area of the virtual image Vi.

また、ＥＣＵ７０は、所定条件の下で車両１の運転モードを切り替えることにより運転支援を行う。また、ＥＣＵ７０は、車両１が自動運転モード及び手動運転モードの何れの運転モードに設定されているかを示す運転モード情報をＣＰＵ３１ａに送信する。つまり、車両１は、ＥＣＵ７０の制御により、自動運転モードと手動運転モードの切り替えが可能なものである。例えば、手動運転モードに設定されているときの自動運転レベルはレベル０又はレベル１である。レベル０においては、運転者Ｄが全ての主制御系統（加速・操舵・制動）の操作を行う。レベル１においては、加速・操舵・制動のいずれか一つをシステムが支援的に行う。また、例えば、自動運転モードに設定されているときの自動運転レベルはレベル２以上である。レベル２においては、加速・操舵・制動のうちの二つをシステムが支援的に行う。レベル３においては、限定的な環境下若しくは交通状況のみ、システムが加速・操舵・制動の制御を行い、システムが要請したときは運転者Ｄが対応する。 Further, the ECU 70 performs driving support by switching the driving mode of the vehicle 1 under predetermined conditions. In addition, the ECU 70 transmits, to the CPU 31a, operation mode information indicating whether the vehicle 1 is set to the automatic operation mode or the manual operation mode. That is, the vehicle 1 can switch between the automatic driving mode and the manual driving mode under the control of the ECU 70. For example, the automatic operation level when set to the manual operation mode is level 0 or level 1. At level 0, the driver D operates all main control systems (acceleration, steering, braking). At level 1, the system assists any one of acceleration, steering, and braking. Further, for example, the automatic operation level when the automatic operation mode is set is level 2 or higher. At level 2, the system supports acceleration, steering and braking. At level 3, the system controls acceleration, steering, and braking only in a limited environment or in a traffic condition, and the driver D responds when requested by the system.

エンタメシステム８０は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＤＶＤ（Digital Video Disk）などの記録媒体に記録された動画Ｍ（動画Ｍに付随する音声も含む）を再生する映像・音楽再生部を備えるとともに、重畳画像として娯楽動画Ｍを表示するための動画情報を制御部３１に供給する。なお、エンタメシステム８０は、先に述べた周辺情報取得部４０の一部（インターネット通信を行う構成）として実現されてもよく、動画Ｍは、ストリーミングにより再生可能な動画であってもよいし、インターネットを介してダウンロードされた動画であってもよい。また、エンタメシステム８０は、車両１に搭載されたものに限られず、制御部３１との間で有線又は無線により通信を行う携帯端末（スマートフォン、タブレットＰＣ（Personal Computer）など）により実現されてもよい。 The entertainment system 80 reproduces a moving image M (including sound accompanying the moving image M) recorded on a recording medium such as a hard disk drive (HDD), a flash memory, and a digital video disk (DVD). And supplies the control unit 31 with moving image information for displaying the entertainment moving image M as a superimposed image. Note that the entertainment system 80 may be realized as a part of the peripheral information acquisition unit 40 (configuration for performing Internet communication) described above, and the moving image M may be a moving image that can be reproduced by streaming. The moving image may be downloaded via the Internet. The entertainment system 80 is not limited to the one mounted on the vehicle 1, and may be realized by a mobile terminal (smartphone, tablet PC (Personal Computer), or the like) that performs wired or wireless communication with the control unit 31. Good.

制御部３１は、エンタメシステム８０からの動画情報に基づき、虚像Ｖｉの表示領域内に娯楽動画Ｍが表示されるように表示部２０を制御する。娯楽動画Ｍは、運転者Ｄや車両１の乗員に娯楽を提供するための動画であれば、その種類は任意である。 The control unit 31 controls the display unit 20 based on the moving image information from the entertainment system 80 so that the entertainment moving image M is displayed in the display area of the virtual image Vi. The type of the entertainment video M is arbitrary as long as it is a video for providing the driver D and the occupants of the vehicle 1 with entertainment.

（動画制御処理）
続いて、制御部３１によって実行される動画制御処理について図４を参照して説明する。動画制御処理は、例えば、ＥＣＵ７０から送信された運転モード情報が自動運転モード（自動運転レベル２又は３）を示している状態において、ユーザによる動画Ｍの再生指示を受け付けたことを契機に実行される。したがって、動作制御処理の開始時には、動画Ｍは再生されている。 (Movie control processing)
Subsequently, a moving image control process executed by the control unit 31 will be described with reference to FIG. The moving image control process is executed, for example, in response to a user's reception of a moving image M playback instruction in a state where the driving mode information transmitted from the ECU 70 indicates the automatic driving mode (automatic driving level 2 or 3). You. Therefore, at the start of the operation control process, the moving image M is being reproduced.

まず、制御部３１は、前述のように動画Ｍが視認状態であるか非視認状態であるかを判別する（ステップＳ１０１）。 First, the control unit 31 determines whether the moving image M is in the visible state or the non-visible state as described above (step S101).

非視認状態であると判別した場合（ステップＳ１０１；Ｎｏ）、制御部３１は、再生されていた動画Ｍを停止し（ステップＳ１０２）、特殊制御フラグをオン状態にセットし（ステップＳ１０３）、再びステップＳ１０１の処理から実行する。これにより、非視認状態である期間中は動画Ｍが停止される。 When it is determined that the moving image M is in the non-viewing state (Step S101; No), the control unit 31 stops the reproduced moving image M (Step S102), sets the special control flag to the on state (Step S103), and again. The processing is executed from the processing in step S101. Thereby, the moving image M is stopped during the non-viewing state.

なお、特殊制御フラグは、ＲＡＭ３３内のフラグ格納領域に記憶され、後述のように、再生時間Ｐを戻す制御を行う条件を判別するためのものである。特殊制御フラグは、動画制御処理の開始時にはデフォルトでオフ状態とされる。 The special control flag is stored in a flag storage area in the RAM 33, and is used to determine a condition for performing control for returning the reproduction time P, as described later. The special control flag is turned off by default at the start of the moving image control process.

ステップＳ１０１で視認状態であると判別した場合（ステップＳ１０１；Ｙｅｓ）、制御部３１は、特殊制御フラグがオン状態であるか否かを判別する（ステップＳ１０４）。ステップＳ１０２の停止制御が実行されていない場合には、特殊制御フラグはオフ状態であるため（ステップＳ１０４；Ｎｏ）、制御部３１は、再生を継続し（ステップＳ１０５）、再びステップＳ１０１の処理から実行する。これにより、視認状態である期間中は動画Ｍの再生が継続される。 If it is determined in step S101 that the state is the visual recognition state (step S101; Yes), the control unit 31 determines whether or not the special control flag is on (step S104). If the stop control in step S102 is not executed, the special control flag is in the off state (step S104; No), so the control unit 31 continues the reproduction (step S105), and starts again from the processing in step S101. Execute. As a result, the reproduction of the moving image M is continued during the period of the visual recognition state.

ステップＳ１０４で特殊制御フラグがオン状態である場合（ステップＳ１０４；Ｙｅｓ）、制御部３１は、前述のように車速Ｖを取得する（ステップＳ１０６）。続いて、制御部３１は、車速Ｖに基づいて遡及時間Ｂを決定するか否かを判別する（ステップＳ１０７）。
ここで、車両１の高速走行時は、低速走行時に比べて、周辺環境（車両１の前方状況など）の重要性が高くなって、運転者Ｄによる動画Ｍへの注視度合が低下すると想定される。つまり、車速Ｖが大きければ大きいほど、動画Ｍの視聴に関する記憶があいまいになると考えられる。この特性を鑑みて、第１実施形態では、動画Ｍを停止状態から再生状態へ復帰させる際に、動画Ｍを停止時点よりも車速Ｖに応じた遡及時間Ｂだけ戻した時点から再生可能となっている。
例えば、（ア）制御部３１は、車速Ｖが大きくなればなるほど遡及時間Ｂが大きくなる、車速Ｖと遡及時間Ｂとの関係を示す数式（例えば、一次関数）を用いて、車速Ｖに応じた遡及時間Ｂを決定する。（イ）また、制御部３１は、車速Ｖが大きくなればなるほど遡及時間Ｂが大きくなるように構成され、車速Ｖの範囲と遡及時間Ｂとが対応付けられたテーブルを参照して、車速Ｖに応じた遡及時間Ｂを決定してもよい。（ウ）また、制御部３１は、車速Ｖが閾速度Ｖｔｈを超えた際に限り、（ア）又は（イ）の手法で車速Ｖに応じた遡及時間Ｂを決定してもよい。なお、数式、テーブル、閾速度Ｖｔｈの各データは、予めＲＯＭ３２に記憶しておけばよい。 If the special control flag is on in step S104 (step S104; Yes), the control unit 31 acquires the vehicle speed V as described above (step S106). Subsequently, the control unit 31 determines whether to determine the retroactive time B based on the vehicle speed V (Step S107).
Here, when the vehicle 1 is traveling at high speed, it is assumed that the importance of the surrounding environment (such as the situation in front of the vehicle 1) becomes more important than when the vehicle 1 is traveling at low speed, and that the degree of gazing at the moving image M by the driver D is reduced. You. In other words, it is considered that the greater the vehicle speed V, the more vague the memory regarding the viewing of the moving image M. In view of this characteristic, in the first embodiment, when returning the moving image M from the stop state to the reproducing state, the moving image M can be reproduced from a point in time at which the moving image M is returned from the stop point by the retroactive time B according to the vehicle speed V. ing.
For example, (a) the control unit 31 responds to the vehicle speed V by using a mathematical expression (for example, a linear function) indicating the relationship between the vehicle speed V and the retroactive time B. The determined retroactive time B is determined. (A) The control unit 31 is configured such that the greater the vehicle speed V, the greater the retroactive time B. The controller 31 refers to a table in which the range of the vehicle speed V and the retroactive time B are associated with each other, and The retrospective time B according to may be determined. (C) Also, the control unit 31 may determine the retroactive time B according to the vehicle speed V by the method (a) or (b) only when the vehicle speed V exceeds the threshold speed Vth. The data of the formula, the table, and the threshold speed Vth may be stored in the ROM 32 in advance.

上記に例示した手法で、遡及時間Ｂが「０」となった場合や、車速Ｖが閾速度Ｖｔｈ以下の場合には、制御部３１は、遡及時間Ｂを決定せず（ステップＳ１０７；Ｎｏ）、特殊制御フラグをオフ状態にクリアして（ステップＳ１０９）、動画Ｍを停止状態から再生状態へ復帰させる（ステップＳ１０５）。この場合は、停止していた時点から動画Ｍが再生される。 In the method exemplified above, when the retroactive time B becomes “0” or when the vehicle speed V is equal to or less than the threshold speed Vth, the control unit 31 does not determine the retroactive time B (No at Step S107). Then, the special control flag is cleared to the off state (step S109), and the moving image M is returned from the stop state to the reproduction state (step S105). In this case, the moving image M is reproduced from the point at which the moving image was stopped.

一方、遡及時間Ｂを決定した場合（ステップＳ１０７；Ｙｅｓ）、制御部３１は、決定した遡及時間Ｂだけ動画Ｍの再生時間を戻し（ステップＳ１０８）、前記ステップＳ１０９の処理後に、動画Ｍを再生する（ステップＳ１０５）。これにより、動画Ｍが停止状態から再生状態に復帰する際には、停止時点よりも遡及時間Ｂだけ戻った時点から再生される。
以上の動画制御処理は、所定の終了契機まで継続して実行される。当該所定の終了契機とは、例えば、動画Ｍの再生時間が終了した場合や、ユーザによる動画Ｍの再生の終了指示を受け付けた場合や、ＨＵＤ装置１０がオフされた場合などである。 On the other hand, when the retroactive time B is determined (Step S107; Yes), the control unit 31 returns the reproduction time of the moving image M by the determined retroactive time B (Step S108), and reproduces the moving image M after the processing of Step S109. (Step S105). Thus, when the moving image M returns from the stop state to the playback state, the moving image M is played back from the point in time at which the moving image M returns by the retroactive time B from the stop point.
The above-described moving image control processing is continuously executed until a predetermined end opportunity. The predetermined end trigger is, for example, when the reproduction time of the moving image M ends, when the user receives an instruction to end the reproduction of the moving image M, or when the HUD device 10 is turned off.

続いて、動画制御処理を実行した場合の動画Ｍの再生時間Ｐの遷移例について図５（ａ）を参照して説明する。図５（ａ）は、動画Ｍの再生時間Ｐを縦軸に、実際の経過時間Ｔを横軸にとった場合のグラフを示す（後述の図５（ｂ）も同様）。
実線Ｌ１に示すように、Ｔ＝０で動画Ｍが再生されると、視認状態である期間中は動画Ｍの再生が継続される。Ｔ＝Ｔ１の時点で非視認状態となると動画ＭはＰ１の時点で停止し、非視認状態である期間中（Ｔ１≦Ｔ＜Ｔ２）は停止状態が継続される。
Ｔ＝Ｔ２の時点で非視認状態から視認状態に復帰すると、ステップＳ１０７で遡及時間Ｂが決定されなかった場合には、Ｐ１の時点から動画Ｍがまた再生される。これにより、運転者Ｄが動画Ｍを見逃している際に動画Ｍの再生時間が進んでしまうことを防止することができ、車両１の走行中にも動画Ｍを享受させることができる。
一方、ステップＳ１０７で遡及時間Ｂが決定された場合は、点線Ｌ１ｂに示すように、Ｐ１の時点よりも遡及時間Ｂだけ戻した「Ｐ１−Ｂ」の時点から動画Ｍがまた再生される。これにより、車速Ｖの増加時に、動画Ｍの視聴において認識困難であったと想定される部分を補って提供することができる。 Next, an example of transition of the reproduction time P of the moving image M when the moving image control process is performed will be described with reference to FIG. FIG. 5A shows a graph in which the vertical axis represents the reproduction time P of the moving image M and the horizontal axis represents the actual elapsed time T (the same applies to FIG. 5B described later).
As shown by the solid line L1, when the moving image M is reproduced at T = 0, the reproduction of the moving image M is continued during the period of the visual recognition state. When the moving image M enters the non-viewing state at the time of T = T1, the moving image M stops at the time of P1, and the stopping state is continued during the period of the non-viewing state (T1 ≦ T <T2).
When the state is returned from the non-viewing state to the viewing state at T = T2, if the retroactive time B is not determined in step S107, the moving image M is reproduced again from P1. Accordingly, it is possible to prevent the playback time of the moving image M from advancing when the driver D misses the moving image M, and to enjoy the moving image M even while the vehicle 1 is traveling.
On the other hand, when the retroactive time B is determined in step S107, as shown by the dotted line L1b, the moving image M is reproduced again from the time point of “P1-B”, which is returned by the retroactive time B from the time point of P1. Thereby, when the vehicle speed V increases, it is possible to supplement and provide a part that is assumed to be difficult to recognize when viewing the moving image M.

［第２実施形態］
続いて、第１実施形態と動画制御処理が異なる本発明の第２実施形態に係る表示装置を説明する。表示装置などの構成については、第１実施形態と同じ符号を用いるとともに、以下では、第１実施形態と異なる点を主に説明する。 [Second embodiment]
Subsequently, a display device according to a second embodiment of the present invention, which differs from the first embodiment in moving image control processing, will be described. About the structure of a display apparatus etc., while using the same code | symbol as 1st Embodiment, below, a different point from 1st Embodiment is mainly demonstrated.

（動画制御処理）
第２実施形態に係る動画制御処理について図６を参照して説明する。当該動画制御処理は、第１実施形態と同様の契機で実行される。動作制御処理の開始時には、動画Ｍは再生されている。 (Movie control processing)
A moving image control process according to the second embodiment will be described with reference to FIG. The moving image control process is executed at the same timing as in the first embodiment. At the start of the operation control process, the moving image M is being reproduced.

まず、制御部３１は、ステップＳ１０１と同様の判別処理を行う（ステップＳ２０１）。非視認状態である場合（ステップＳ２０１；Ｎｏ）、制御部３１は、動画内時刻（動画Ｍの再生時間内における一時点）をＲＡＭ３３に記憶させ（ステップＳ２０２）、特殊制御フラグをオン状態にセットし（ステップＳ２０３）、再びステップＳ２０１の処理から実行する。これにより、非視認状態である期間中も動画Ｍの再生が継続される。 First, the control unit 31 performs a determination process similar to step S101 (step S201). If it is in the non-viewing state (Step S201; No), the control unit 31 stores the time in the moving image (a temporary point in the reproduction time of the moving image M) in the RAM 33 (Step S202), and sets the special control flag to the ON state. Then (step S203), the processing is executed again from the processing of step S201. Thus, the reproduction of the moving image M is continued even during the non-viewing state.

視認状態である場合（ステップＳ２０１；Ｙｅｓ）であって、ステップＳ２０２の処理が実行されていない場合には、特殊制御フラグはオフ状態であるため（ステップＳ２０４；Ｎｏ）、制御部３１は、再生を継続し（ステップＳ２０５）、再びステップＳ２０１の処理から実行する。これにより、視認状態である期間中は動画Ｍの再生が継続される。 If the state is the visual recognition state (step S201; Yes) and the processing of step S202 is not executed, the special control flag is in the off state (step S204; No), and the control unit 31 performs the reproduction. Is continued (step S205), and the processing is executed again from the processing of step S201. As a result, the reproduction of the moving image M is continued during the period of the visual recognition state.

ステップＳ２０４で特殊制御フラグがオン状態である場合（ステップＳ２０４；Ｙｅｓ）、制御部３１は、ステップＳ２０５で再生する際の再生開始時点を、ステップ２０２で記憶した動画内時刻まで戻す（ステップＳ２０４Ａ）。 If the special control flag is on in step S204 (step S204; Yes), the control unit 31 returns the reproduction start time at the time of reproduction in step S205 to the time in the moving image stored in step 202 (step S204A). .

続くステップＳ２０６〜Ｓ２０９は、第１実施形態のステップＳ１０６〜Ｓ１０９と同様である。したがって、遡及時間Ｂを決定しなかった場合には（ステップＳ２０７；Ｎｏ）、ステップ２０２で記憶した動画内時刻から動画Ｍを再生する（ステップＳ２０５）。なお、当該再生後に動画内時刻はクリアされる。これにより、非視認状態から視認状態に戻った際には、非視認状態であった時間だけ戻した時点（記憶された動画内時刻）から動画Ｍが再生される。 Subsequent steps S206 to S209 are the same as steps S106 to S109 of the first embodiment. Therefore, when the retroactive time B is not determined (Step S207; No), the moving image M is reproduced from the time in the moving image stored in Step 202 (Step S205). After the reproduction, the time in the moving image is cleared. Thus, when returning from the non-viewing state to the viewing state, the moving image M is played back from the point in time when it was returned by the time during the non-viewing state (stored time in the moving image).

遡及時間Ｂを決定した場合（ステップＳ２０７；Ｙｅｓ）、制御部３１は、ステップ２０２で記憶した動画内時刻から、さらに遡及時間Ｂだけ動画Ｍの再生時間を戻し（ステップＳ２０８）、ステップＳ２０９の処理後に、動画Ｍを再生する（ステップＳ２０５）。つまり、遡及時間Ｂを決定した場合であって、動画Ｍが非視認状態から視認状態に戻った際には、非視認状態であった時間と遡及時間Ｂとを加算した時間だけ戻した時点から動画Ｍが再生される。以上が第２実施形態に係る動画制御処理である。 When the retroactive time B is determined (Step S207; Yes), the control unit 31 further returns the playback time of the video M by the retroactive time B from the time in the video stored in Step 202 (Step S208), and performs the process of Step S209. Thereafter, the moving image M is reproduced (step S205). That is, in the case where the retroactive time B is determined, when the moving image M returns from the non-visible state to the visible state, the moving image M is returned from the time at which the time in the non-visible state and the retroactive time B are added back. The moving image M is reproduced. The above is the moving image control processing according to the second embodiment.

続いて、第２実施形態に係る動画制御処理を実行した場合の動画Ｍの再生時間Ｐの遷移例について図５（ｂ）を参照して説明する。
実線Ｌ２に示すように、Ｔ＝０で動画Ｍが再生されると、視認状態である期間中は動画Ｍの再生が継続される。Ｔ＝Ｔ１の時点で非視認状態となると、制御部３１は、動画Ｍの再生時間Ｐにおける時点Ｐ１（ステップＳ２０２の動画内時刻に相当）をＲＡＭ３３に記憶させる。第２実施形態では、非視認状態である期間中（Ｔ１≦Ｔ＜Ｔ２）も動画Ｍの再生を継続する。
Ｔ＝Ｔ２の時点で非視認状態から視認状態に復帰すると、ステップＳ２０７で遡及時間Ｂが決定されなかった場合には、非視認状態であった時間だけ戻した時点Ｐ１から動画Ｍが再生される。これにより、運転者Ｄが動画Ｍを見逃した時点に戻って動画Ｍを再生することができ、視認状態に復帰した以後は第１実施形態と同様となるため、車両１の走行中にも動画Ｍを享受させることができる。
一方、ステップＳ２０７で遡及時間Ｂが決定された場合は、点線Ｌ２ｂに示すように、Ｐ１の時点よりも遡及時間Ｂだけ戻した「Ｐ１−Ｂ」の時点から動画Ｍがまた再生される。つまり、再生時間として、時点Ｐ２から、非視認状態であった時間（Ｐ２−Ｐ１）と遡及時間Ｂとを加算した時間（Ｐ２−Ｐ１＋Ｂ）だけ戻した時点（Ｐ２−（Ｐ２−Ｐ１＋Ｂ）＝Ｐ１−Ｂ）から動画Ｍが再生される。これにより、第１実施形態と同様、車速Ｖの増加時に、動画Ｍの視聴において認識困難であったと想定される部分を補って提供することができる。 Next, an example of transition of the reproduction time P of the moving image M when the moving image control process according to the second embodiment is executed will be described with reference to FIG.
As shown by the solid line L2, when the moving image M is reproduced at T = 0, the reproduction of the moving image M is continued during the period of the visual recognition state. When the state becomes the non-viewing state at the time point of T = T1, the control unit 31 causes the RAM 33 to store the time point P1 (corresponding to the time in the moving image in step S202) in the reproduction time P of the moving image M. In the second embodiment, the reproduction of the moving image M is continued during the non-viewing state (T1 ≦ T <T2).
When returning from the non-viewing state to the viewing state at the time of T = T2, if the retroactive time B is not determined in step S207, the moving image M is reproduced from the time point P1 at which the time has been returned by the non-viewing state. . As a result, it is possible to return to the time point at which the driver D misses the moving image M and reproduce the moving image M. After returning to the visual recognition state, the operation is the same as in the first embodiment. M can be enjoyed.
On the other hand, when the retroactive time B is determined in step S207, as shown by the dotted line L2b, the moving image M is reproduced again from the time point of “P1-B”, which is returned by the retroactive time B from the time point of P1. That is, from the time point P2, the time point (P2− (P2−P1 + B) = P1) is returned from the time point P2 by the time period (P2−P1 + B) obtained by adding the time (P2−P1) in the non-visible state and the retroactive time period B. -B), the moving image M is reproduced. As a result, similarly to the first embodiment, when the vehicle speed V increases, it is possible to supplement and provide a part that is assumed to be difficult to recognize when viewing the moving image M.

なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。 Note that the present invention is not limited by the above embodiments, modifications, and drawings. Modifications (including deletion of components) can be made as appropriate without changing the gist of the present invention.

以上では、車両１が自動運転モード時（自動運転レベル２又は３）に動画制御処理を実行する例を示したが、運転者Ｄや乗員の安全が担保できる場合は、手動運転モード時（自動運転レベル０又は１）に動画制御処理を実行してもよい。 In the above, the example in which the vehicle 1 executes the moving image control process in the automatic driving mode (automatic driving level 2 or 3) has been described. The moving image control process may be executed at the operation level 0 or 1).

また、車両１の走行中にも娯楽動画Ｍを享受させるという目的を達成することができる限りにおいては、図４、図６に示す動画制御処理の変更（一部処理の削除を含む）は任意である。例えば、図６のステップＳ２０２においては動画内時刻を記憶したが、これに代えて、制御部３１が非視認状態中の期間をタイマで計時する構成としてもよい。当該構成を採用した場合は、ステップＳ２０４でＹｅｓとなった後に動画Ｍを再生する際に、当該計時した期間だけ戻した時点から娯楽動画Ｍを再生すればよい。いずれにせよ、非視認状態から視認状態に戻った際には、非視認状態であった時間（期間）だけ戻した時点から娯楽動画Ｍを再生することには変わりがない。 Further, as long as the purpose of enjoying the entertainment video M while the vehicle 1 is running can be achieved, the change of the video control process shown in FIGS. 4 and 6 (including the deletion of some processes) is optional. It is. For example, although the time in the moving image is stored in step S202 of FIG. 6, the control unit 31 may alternatively be configured to measure the period during the non-viewing state using a timer. When this configuration is employed, when the moving image M is reproduced after “Yes” in step S204, the entertainment moving image M may be reproduced from the point in time at which the moving image M is returned by the counted time. In any case, when returning from the non-viewing state to the viewing state, the entertainment moving image M is still reproduced from the point in time when the time (period) of the non-viewing state has been returned.

また、視認状態から非視認状態になったことを判別する基準と、非視認状態から視認状態に復帰したことを判別する基準とを異ならせてもよい。例えば、図７に示すように、制御部３１は、判別領域Ｒ以内にあった視線方向Ｇが判別領域Ｒ外へ向いた際に、視認状態から非視認状態になったと判別する一方で、判別領域Ｒｂ（判別領域Ｒよりも狭い領域）外にあった視線方向Ｇが判別領域Ｒｂ内へ向いた際に、非視認状態から視認状態に復帰したと判別するようにしてもよい。こうすれば、運転者Ｄが動画Ｍの表示領域のうち中心領域を視認したと推定される場合に、動画Ｍを再生状態に復帰させる（第１実施形態に相当）、又は、動画Ｍを見逃したと推定される部分の先頭から再生する（第２実施形態に相当）ことができるため、運転者Ｄに動画Ｍをより良好に享受させることができる。
なお、図７は、動画Ｍの表示領域と運転者Ｄの視点位置ＥＰとの関係を、模式的且つ二次元的に示したものである。図７や図３は、運転者Ｄにとっての左右方向に視線が移動することを想起させる態様で示されているが、運転者Ｄの視線が動画Ｍの表示面に対して上下方向や斜め方向にずれた場合においても、制御部３１は、上記と同様な手法で視認状態か非視認状態かの判別を行うことは言うまでもない。 Further, a reference for determining that the state has been changed from the visible state to the non-visible state may be different from a reference for determining that the state has returned to the visible state from the non-visible state. For example, as illustrated in FIG. 7, the control unit 31 determines that the viewing state has been changed from the viewing state to the non-viewing state when the gaze direction G within the determination area R turns to the outside of the determination area R. When the gaze direction G outside the region Rb (a region narrower than the determination region R) turns to the inside of the determination region Rb, it may be determined that the non-viewing state has returned to the viewing state. In this way, when it is estimated that the driver D has visually recognized the center region of the display region of the moving image M, the moving image M is returned to the playback state (corresponding to the first embodiment), or the moving image M is overlooked. Since it is possible to play back from the head of the part estimated to have been lost (corresponding to the second embodiment), the driver D can enjoy the moving image M better.
FIG. 7 schematically and two-dimensionally shows the relationship between the display area of the moving image M and the viewpoint position EP of the driver D. 7 and 3 are shown in a manner reminiscent of the line of sight moving in the left-right direction for the driver D, but the line of sight of the driver D is vertically or diagonally with respect to the display surface of the moving image M. Needless to say, the control unit 31 determines whether the display state is the visual state or the non-visual state in the same manner as described above.

また、視認状態であるか非視認状態であるかの判別手法（推定手法）は、前述のように、視線方向Ｇや顔の向きを利用したものに限られない。
例えば、制御部３１は、車両１に搭載された操舵角センサからの操舵角情報に基づき、操舵角が予めＲＯＭ３２内に定めた閾角度を超えた場合に非視認状態であると判別し、当該閾角度以内である場合に視認状態であると判別してもよい。急カーブや右折・左折などで操舵角が大きくなると、運転者Ｄが正面方向（つまり、動画Ｍの表示領域）を向いていないと想定できるためである。また、制御部３１は、周辺情報取得部４０を介してＶ２Ｉで取得可能な交通情報に基づき、車両１の前方道路が、急カーブ、急勾配、分岐路などであると特定した場合に、非視認状態であると判別してもよい。この場合も同様に、運転者Ｄが正面方向を向いていないと想定できるためである。 Further, the method of determining whether the object is in the visible state or the non-visible state (estimation method) is not limited to the method using the line-of-sight direction G or the face direction as described above.
For example, based on steering angle information from a steering angle sensor mounted on the vehicle 1, the control unit 31 determines that the vehicle is in the non-viewing state when the steering angle exceeds a threshold angle set in the ROM 32 in advance. If the angle is within the threshold angle, the state may be determined to be the visual recognition state. This is because if the steering angle is increased due to a sharp curve, right turn, left turn, or the like, it can be assumed that the driver D is not facing the front direction (that is, the display area of the moving image M). The control unit 31 determines whether the road ahead of the vehicle 1 is a sharp curve, a steep slope, a branch road, or the like based on traffic information that can be acquired by the V2I via the peripheral information acquisition unit 40. You may determine that it is in a visual recognition state. Similarly, in this case, it is possible to assume that the driver D is not facing the front.

表示光Ｌの投射対象は、フロントガラス３に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上の動画制御処理を実行する表示装置としては、ＨＵＤ装置１０に限られない。表示装置は、車両１の運転者Ｄの頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）として構成されてもよい。そして、ＨＭＤが虚像として表示する画像において、動画Ｍの表示制御を、前述と同様な手法で実行してもよい。つまり、表示装置は、車両１に搭載されているものに限られず、車両１で使用されるものであればよい。 The projection target of the display light L is not limited to the windshield 3, but may be a combiner including a plate-shaped half mirror, a hologram element, and the like. The display device that executes the above-described moving image control processing is not limited to the HUD device 10. The display device may be configured as a head mounted display (HMD) mounted on the head of the driver D of the vehicle 1. Then, in the image displayed by the HMD as a virtual image, the display control of the moving image M may be executed by the same method as described above. That is, the display device is not limited to the display device mounted on the vehicle 1 and may be any display device used in the vehicle 1.

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。 In the above description, descriptions of well-known technical matters have been appropriately omitted in order to facilitate understanding of the present invention.

１００…車両用表示システム
１０…ＨＵＤ装置
２０…表示部
３０…制御装置
３１…制御部（３１ａ…ＣＰＵ、３１ｂ…ＧＰＵ）
３２…ＲＯＭ、３３…ＲＡＭ
４０…周辺情報取得部
６０…視線検出部
７０…ＥＣＵ
８０…エンターテインメント（エンタメ）システム
１…車両、２…ダッシュボード、３…フロントガラス
４…ステアリングホイール、９…実景
Ｄ…運転者、Ｅ…アイボックス、ＥＰ…視点位置、Ｌ…表示光
Ｖｉ…虚像
Ｍ…娯楽動画（動画）
Ｇ…視線方向
Ｒ、Ｒｂ…判別領域 REFERENCE SIGNS LIST 100 vehicle display system 10 HUD device 20 display unit 30 control device 31 control unit (31a CPU, 31b GPU)
32 ROM, 33 RAM
40: peripheral information acquisition unit 60: gaze detection unit 70: ECU
80 ... Entertainment (Entertainment) System 1 ... Vehicle, 2 ... Dashboard, 3 ... Wind Glass 4 ... Steering Wheel, 9 ... Real View D ... Driver, E ... Eye Box, EP ... Viewpoint Position, L ... Display Light Vi ... Virtual Image M: Entertainment video (video)
G: line-of-sight direction R, Rb: discrimination area

Claims

A display device that displays a superimposed image visually recognized by a viewer as a virtual image overlapping a scene in front of the vehicle,
A display control unit that performs display control of entertainment video as the superimposed image,
The display control unit estimates whether the entertainment moving image is in a viewing state in which the viewer is viewing or in a non-viewing state in which the entertainment video is not viewed by the viewer,
While the reproduction of the entertainment video is continued during the period of the visual recognition state, the entertainment video is stopped during the period of the non-visual state,
Display device.

A display device that displays a superimposed image visually recognized by a viewer as a virtual image overlapping a scene in front of the vehicle,
A display control unit that performs display control of entertainment video as the superimposed image,
The display control unit estimates whether the entertainment moving image is in a viewing state in which the viewer is viewing or in a non-viewing state in which the entertainment video is not viewed by the viewer,
During the period of the viewing state, the reproduction of the entertainment video is continued,
While the reproduction of the entertainment video is continued during the period of the non-visual state, when the state returns from the non-visual state to the visual state, the entertainment video is returned from a point in time when the non-visual state is returned. Play,
Display device.

The display control means can acquire the speed of the vehicle, and determine a retroactive time according to the acquired speed,
When the retrospective time is determined, when returning from the non-visual state to the visual state, the entertainment video that has been stopped is played back from the point in time when the retroactive time is returned,
The display device according to claim 1.

The display control means can acquire the speed of the vehicle, and determine a retroactive time according to the acquired speed,
In the case where the retroactive time is determined, and when returning from the non-visual state to the visual state, the entertainment is performed from the time when the time in the non-visual state and the retroactive time are added back. Play videos,
The display device according to claim 2.