JP2020117105A

JP2020117105A - Display control device, method and computer program

Info

Publication number: JP2020117105A
Application number: JP2019010695A
Authority: JP
Inventors: 駿山口; Shun Yamaguchi
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2019-01-24
Filing date: 2019-01-24
Publication date: 2020-08-06

Abstract

To suppress deterioration in visibility of an image.SOLUTION: A processor acquires information capable of estimating a position to display a route image 220 that is viewed along a road surface, where own vehicle travels, and guides own vehicle. When determining that a preceding actual object 330 overlaps on the route image 220 from a position of the preceding actual object 330 and a position of the route image 220, the processor displays the route image 220 and a background image 230 overlapping on the preceding actual object 330 and disposed in at least a position adjacent to the route image 220.SELECTED DRAWING: Figure 4

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。 The present disclosure relates to a display control device, a method, and a computer program which are used in a vehicle and allow an image to be superimposed on the foreground of the vehicle for visual recognition.

特許文献１には、ナビゲーション装置で算出された案内経路を示す画像と、自車両の前方に存在する物体と、を重ねて表示させる際、案内経路を示す画像を、物体と重なる部分と重ならない部分とで異なる形態とすることで、案内経路を示す画像を読み取りやすくする表示装置が開示されている。 In Patent Document 1, when an image showing the guide route calculated by the navigation device and an object existing in front of the own vehicle are displayed in an overlapping manner, the image showing the guide route does not overlap the portion overlapping the object. There is disclosed a display device that makes it easier to read an image showing a guide route by using different forms for the part.

国際公開第２０１７／０５６２１０号International Publication No. 2017-0556210

しかしながら、特許文献１の表示装置のように、自車両の前方に存在する物体に直接画像が重ねて表示されることに視認者が違和感を覚え、画像の視認性が低下するおそれがある。 However, like the display device of Patent Document 1, the viewer may feel discomfort when the image is directly superimposed and displayed on the object existing in front of the vehicle, and the visibility of the image may be deteriorated.

また、仮想現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）の技術を採用し、視認者（車両の運転者）が見る実風景（割り込み候補車両など）の状態に追従した画像を表示する場合、上記違和感により仮想現実の感じ方が低下することも想定される。このため、画像の視認性の低下を抑制するための表示についての改善の余地があった。 In addition, when the virtual reality (AR: Augmented Reality) technology is adopted to display an image that follows the state of a real landscape (a driver of a vehicle) seen by a viewer (vehicle driver), the virtual reality is caused by the above-mentioned discomfort. It is also assumed that the way people feel will be reduced. Therefore, there is room for improvement in the display for suppressing the reduction in the visibility of the image.

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。 The following is a summary of the specific embodiments disclosed herein. It should be understood that these aspects are presented only to provide an overview of the reader to these particular embodiments and are not intended to limit the scope of this disclosure. Indeed, the present disclosure may include various aspects not described below.

本開示の概要は、画像の視認性の低下を抑制することに関する。より具体的には、実オブジェクトに画像が直接重なって表示されることによる違和感を軽減することにも関する。 The outline of the present disclosure relates to suppressing a reduction in image visibility. More specifically, the present invention relates to reducing discomfort caused by an image being directly displayed on a real object.

したがって、本明細書に記載される表示制御装置は、自車両の前方における先行実オブジェクト３３０の位置と、自車両が走行する路面に沿って視認され、自車両を誘導する経路画像２２０が表示される位置を推測可能な情報と、を取得し、先行実オブジェクト３３０の位置と経路画像２２０の位置とから、先行実オブジェクト３３０と経路画像２２０とが重なると判定される場合、経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を表示させる。 Therefore, the display control device described in this specification is visually recognized along the position of the preceding real object 330 in front of the host vehicle and the road surface on which the host vehicle travels, and the route image 220 for guiding the host vehicle is displayed. When it is determined that the preceding real object 330 and the route image 220 overlap with each other by acquiring information that can estimate the position of the preceding real object 330 and the position of the route image 220, the route image 220, A background image 230 that is arranged at least at a position overlapping the preceding real object 330 and adjacent to the route image 220 is displayed.

いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。It is a figure which shows the example of application to the vehicle of the display system for vehicles which concerns on some embodiment. いくつかの実施形態に係る、車両用表示システムのブロック図である。FIG. 3 is a block diagram of a vehicular display system according to some embodiments. いくつかの実施形態に係る、経路画像と背景画像とを説明する図である。It is a figure explaining a route image and a background image concerning some embodiments. いくつかの実施形態に係る、経路画像と背景画像とを説明する図であり、自車両の運転者が前方を向いた際に視認する前景と、車両用表示システムが表示する経路画像及び背景画像と、を示す図である。It is a figure explaining a route image and a background image concerning some embodiments, a foreground visually recognized when a driver of a self-vehicle turns to the front, and a route image and a background image which a display system for vehicles displays. And FIG. いくつかの実施形態に係る、背景画像の変形例を説明する図である。It is a figure explaining the modification of a background image concerning some embodiments. いくつかの実施形態に係る、経路画像及び背景画像の表示処理のフロー図である。FIG. 6 is a flow diagram of display processing of a route image and a background image according to some embodiments. いくつかの実施形態に係る、経路画像の表示態様の変化を説明する図である。It is a figure explaining the change of the display mode of a route picture concerning some embodiments. いくつかの実施形態に係る、経路画像の表示態様の変化を説明する図である。It is a figure explaining the change of the display mode of a route picture concerning some embodiments.

以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３、図４、図５、図７Ａ、及び図７Ｂでは、車両用表示システムが表示する画像についての説明を提供する。また、図６では、表示処理のフローを提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。 In the following, FIGS. 1 and 2 provide a description of the configuration of an exemplary vehicle display system. 3, 4, 5, 7A, and 7B provide a description of the images displayed by the vehicular display system. Further, FIG. 6 provides a flow of display processing. The present invention is not limited to the following embodiments (including the contents of the drawings). Of course, changes (including deletion of components) can be added to the following embodiments. In addition, in the following description, in order to facilitate understanding of the present invention, description of known technical matters is omitted as appropriate.

図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−ＵｐＤｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に画像２００を重ねて視認させる。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。 Please refer to FIG. The image display unit 11 in the vehicle display system 10 is a head-up display (HUD) device provided in the dashboard 5 of the vehicle 1. The HUD device emits the display light 11 a toward the front windshield 2 (which is an example of a member to be projected) and displays the image 200 in the virtual display area 100, so that the display light 11 a is transmitted through the front windshield 2. The image 200 is overlaid and visually recognized on the foreground 300 which is the visually recognized real space. In the description of the present embodiment, the horizontal direction when the driver 4 seated in the driver's seat of the host vehicle 1 faces the front of the host vehicle 1 is the X axis (the left direction is the positive direction of the X axis), and the vertical direction is the vertical direction. The Y-axis (the upward direction is the positive Y-axis direction) and the front-back direction is the Z-axis (the forward direction is the positive Z-axis direction).

また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。 Further, the image display unit 11 may be a head mounted display (hereinafter, HMD) device. The driver 4 mounts the HMD device on his/her head and sits on the seat of the own vehicle 1 to visually recognize the displayed image 200 by superimposing it on the foreground 300 through the front windshield 2 of the own vehicle 1. To do. The display area 100 in which the vehicle display system 10 displays the predetermined image 200 is fixed at a specific position based on the coordinate system of the host vehicle 1, and when the driver 4 turns in that direction, the display area 100 is displayed at the specific position. The image 200 displayed in the fixed display area 100 can be visually recognized.

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、実オブジェクト３１０の位置に応じて表示位置を変化させるＡＲ画像２１０（後で詳述する）と、実オブジェクト３１０の位置に応じて表示位置を変化させない不図示の非ＡＲ画像と、を表示することができる。 Based on the control of the display control device 13, the image display unit 11 includes obstacles (pedestrians, bicycles) existing in the foreground 300, which is a real space (real scene) visually recognized through the front windshield 2 of the vehicle 1. , A motorcycle, another vehicle, etc., a road surface, a road sign, the vicinity of a real object 310 such as a feature (building, bridge, etc.) (an example of a specific positional relationship between an image and the real object), and the real object 310. By displaying the image 200 at a position (an example of a specific positional relationship between the image and the real object) or at a position (an example of a specific positional relationship between the image and the real object) set with the real object 310 as a reference, It is also possible to form a visual augmented reality (AR). The image display unit 11 changes the display position according to the position of the real object 310 (described in detail later) and a non-AR image (not shown) that does not change the display position according to the position of the real object 310. And can be displayed.

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。 FIG. 2 is a block diagram of a vehicular display system 10 according to some embodiments. The vehicle display system 10 includes an image display unit 11 and a display control device 13 that controls the image display unit 11. The display controller 13 comprises one or more I/O interfaces 14, one or more processors 16, one or more memories 18, and one or more image processing circuits 20. The various functional blocks depicted in FIG. 2 may be implemented in hardware, software, or a combination of both. FIG. 2 is only one embodiment of an implementation and the illustrated components may be combined into fewer components or there may be additional components. For example, image processing circuitry 20 (eg, a graphics processing unit) may be included in one or more processors 16.

図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。 As shown, the processor 16 and the image processing circuit 20 are operably coupled to the memory 18. More specifically, the processor 16 and the image processing circuit 20 execute a program stored in the memory 18 to operate the vehicular display system 10, for example, to generate or/and transmit image data. be able to. The processor 16 or/and the image processing circuit 20 includes at least one general purpose microprocessor (eg, central processing unit (CPU)), at least one application specific integrated circuit (ASIC), at least one field programmable gate array (FPGA). , Or any combination thereof. The memory 18 includes any type of magnetic media such as a hard disk, any type of optical media such as CDs and DVDs, any type of semiconductor memory such as volatile memory, and non-volatile memory. Volatile memory may include DRAM and SRAM, and non-volatile memory may include ROM and NVROM.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘＷｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。 As shown, the processor 16 is operably coupled to the I/O interface 14. For example, the I/O interface 14 configures the vehicular display system 10 as a personal area network (PAN) such as a Bluetooth (registered trademark) network or a local area network (LAN) such as an 802.11x Wi-Fi (registered trademark) network. It may include a wireless communication interface for connecting to a wide area network (WAN) such as a 4G or LTE cellular network. Also, the I/O interface 14 may include a wired communication interface such as, for example, a USB port, a serial port, a parallel port, an OBDII, and/or any other suitable wired communication port.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。 As shown in the figure, the processor 16 is operably connected to the I/O interface 14 so as to communicate with various other electronic devices connected to the vehicle display system 10 (I/O interface 14). Can be given and received. The I/O interface 14 includes, for example, a vehicle ECU 401 provided in the host vehicle 1, a road information database 403, a host vehicle position detection unit 405, a vehicle exterior sensor 407, a line-of-sight direction detection unit 409, an eye position detection unit 411, and portable information. The terminal 413, the vehicle exterior communication connection device 420, and the like are operably connected. The image display unit 11 is operably connected to the processor 16 and the image processing circuit 20. Therefore, the image displayed by the image display unit 11 may be based on the image data received from the processor 16 and/or the image processing circuit 20. The processor 16 and the image processing circuit 20 control the image displayed by the image display unit 11 based on the information obtained from the I/O interface 14. The I/O interface 14 may include a function of processing (converting, calculating, analyzing) information received from another electronic device or the like connected to the vehicle display system 10.

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。 The host vehicle 1 is in the state of the host vehicle 1 (for example, mileage, vehicle speed, accelerator pedal opening, engine throttle opening, injector fuel injection amount, engine speed, motor speed, steering angle, shift position, drive mode). , A vehicle ECU 401 for detecting various warning states). The vehicle ECU 401 controls each unit of the host vehicle 1, and can transmit vehicle speed information indicating the current vehicle speed of the host vehicle 1 to the processor 16, for example. It should be noted that vehicle ECU 401 may transmit the determination result of the data detected by the sensor and/or the analysis result to processor 16 in addition to or instead of simply transmitting the data detected by the sensor to processor 16. For example, information indicating whether the host vehicle 1 is traveling at a low speed or stopped may be transmitted to the processor 16.

また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。 Further, the vehicle ECU 401 may transmit an instruction signal for instructing the image 200 displayed by the vehicle display system 10 to the I/O interface 14, in which case the coordinates of the image 200, the notification necessity degree of the image 200, or / And the necessity degree related information that is a basis for determining the notification necessity degree may be added to the instruction signal and transmitted.

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。 The host vehicle 1 may include a road information database 403 including a navigation system and the like. The road information database 403 is based on the position of the vehicle 1 acquired from the vehicle position detection unit 405 described later, and is road information (lane, white line, stop line, Crosswalk, width of road, number of lanes, intersection, curve, branch road, traffic regulation, etc.), presence/absence of feature information (buildings, bridges, rivers, etc.), position (including distance to own vehicle 1), direction , Shape, type, detailed information, etc. may be read and transmitted to the processor 16. Further, the road information database 403 may calculate an appropriate route from the starting point to the destination and send it to the processor 16 as navigation information.

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。 The host vehicle 1 may include a host vehicle position detection unit 405 including a GNSS (Global Navigation Satellite System) or the like. The road information database 403, the portable information terminal 413, which will be described later, and/or the external communication connecting device 420 acquires the position information of the own vehicle 1 from the own vehicle position detection unit 405 continuously, intermittently, or at every predetermined event. Thus, the information around the host vehicle 1 can be selected or/and generated and transmitted to the processor 16.

自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。 The host vehicle 1 may include one or more vehicle exterior sensors 407 that detect real objects existing around the host vehicle 1 (front, side, and rear). The real object detected by the vehicle exterior sensor 407 includes, for example, a pedestrian, a bicycle, a motorcycle, another vehicle (such as a preceding vehicle), a road surface, a marking line, a roadside object, and/or a feature (such as a building). Good. As the vehicle exterior sensor, for example, a millimeter wave radar, an ultrasonic radar, a radar sensor such as a laser radar, there is a camera sensor consisting of a camera and an image processing device, may be configured by a combination of both the radar sensor, the camera sensor, It may be configured with only one of them. A conventionally known method is applied to the object detection by the radar sensor and the camera sensor. By detecting the objects by these sensors, the presence or absence of a real object in the three-dimensional space, and if the real object exists, the position of the real object (relative distance from the own vehicle 1, the traveling direction of the own vehicle 1 Position in the left-right direction in the front-back direction, vertical position, etc.), size (size in the horizontal direction (left-right direction), height direction (up-down direction), etc.), movement direction (lateral direction (left-right direction)) , Depth direction (front-back direction), movement speed (lateral direction (left-right direction), depth direction (front-back direction)), and/or type may be detected. One or more vehicle exterior sensors 407 detect a real object in front of the own vehicle 1 for each detection cycle of each sensor, and detect real object related information (presence or absence of real object, which is an example of real object related information). When a real object exists, information such as the position, size, and/or type of each real object) can be transmitted to the processor 16. The real object related information may be transmitted to the processor 16 via another device (for example, the vehicle ECU 401). An infrared camera or a near-infrared camera is desirable when using a camera as a sensor so that a real object can be detected even when the surroundings are dark such as at night. Further, when using a camera as a sensor, a stereo camera capable of acquiring a distance and the like by parallax is desirable.

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。 The host vehicle 1 may include a line-of-sight direction detection unit 409 that detects the gaze direction of the driver 4 (hereinafter, also referred to as “line-of-sight direction”) and includes an infrared camera that captures an image of the face of the driver 4. The processor 16 can specify the line-of-sight direction of the driver 4 by acquiring an image captured by the infrared camera (an example of information that can estimate the line-of-sight direction) and analyzing the captured image. Note that the processor 16 may acquire the line-of-sight direction of the driver 4 specified by the line-of-sight direction detection unit 409 (or another analysis unit) from the image captured by the infrared camera from the I/O interface 14. Further, the method of acquiring the driver's 4 line-of-sight direction of the vehicle 1 or the information capable of estimating the driver's 4 line-of-sight direction is not limited to these, and the EOG (Electro-oculogram) method, corneal reflex Method, scleral reflection method, Purkinje image detection method, search coil method, infrared fundus camera method, and other known gaze direction detection (estimation) techniques may be used.

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。 The host vehicle 1 may include an eye position detection unit 411 including an infrared camera that detects the position of the eyes of the driver 4. The processor 16 can specify the eye position of the driver 4 by acquiring an image (an example of information that can estimate the eye position) captured by the infrared camera and analyzing the captured image. The processor 16 may acquire the information on the position of the eyes of the driver 4 identified from the image captured by the infrared camera from the I/O interface 14. The method for acquiring the position of the eyes of the driver 4 of the vehicle 1 or the information capable of estimating the position of the eyes of the driver 4 is not limited to these, and known eye position detection (estimation) It may be acquired using a technology. The processor 16 adjusts at least the position of the image 200 based on the position of the eyes of the driver 4 so that the image 200 in which the image 200 superimposed on a desired position of the foreground 300 is detected is the viewer (driver 4). May be visually confirmed.

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。 The mobile information terminal 413 is a smartphone, a laptop computer, a smart watch, or another information device that can be carried by the driver 4 (or another occupant of the vehicle 1). The I/O interface 14 can communicate with the mobile information terminal 413, and acquires the data recorded in the mobile information terminal 413 (or the server via the mobile information terminal). The mobile information terminal 413 has, for example, the same function as the road information database 403 and the vehicle position detection unit 405 described above, acquires the road information (an example of real object-related information), and transmits it to the processor 16. Good. The mobile information terminal 413 may also acquire commercial information (an example of real object-related information) related to a commercial facility in the vicinity of the host vehicle 1 and send it to the processor 16. The portable information terminal 413 transmits schedule information of the owner (for example, the driver 4) of the portable information terminal 413, incoming information at the portable information terminal 413, mail reception information, etc. to the processor 16, and the processor 16 and The image processing circuit 20 may generate or/and transmit image data regarding these.

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：ＶｅｈｉｃｌｅＴｏＶｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：ＶｅｈｉｃｌｅＴｏＰｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：ＶｅｈｉｃｌｅＴｏｒｏａｄｓｉｄｅＩｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：ＶｅｈｉｃｌｅＴｏＥｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。 The extra-vehicle communication connection device 420 is a communication device for exchanging information with the host vehicle 1, and for example, another vehicle connected to the host vehicle 1 via vehicle-to-vehicle communication (V2V: Vehicle To Vehicle), pedestrian-to-vehicle communication (V2P: It is a network communication device connected by a pedestrian (a portable information terminal carried by a pedestrian) and a road-to-vehicle communication (V2I: Vehicle To Road Infrastructure) connected by a Vehicle To Pedestrian, and is broadly defined as the own vehicle 1. It includes everything connected by the communication (V2X: Vehicle To Everything). The extra-vehicle communication connection device 420 acquires the position of, for example, a pedestrian, a bicycle, a motorcycle, another vehicle (such as a preceding vehicle), a road surface, a marking line, a roadside object, and/or a feature (such as a building), and the processor 16 May be sent to. In addition, the vehicle exterior communication connection device 420 may have the same function as the own vehicle position detection unit 405 described above, may acquire the position information of the own vehicle 1 and may transmit the position information to the processor 16, and further, the above road information database. It also has the function of 403, and may acquire the road information (an example of real object related information) and send it to the processor 16. The information acquired from the vehicle exterior communication connection device 420 is not limited to the above.

メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、画像位置推定モジュール５０４、重なり判定モジュール５０６、距離判定モジュール５０８、減速判定モジュール５１０、報知必要度判定モジュール５１２、画像位置決定モジュール５１４、画像サイズ決定モジュール５１６、及びグラフィックモジュール５１８を含む。 The software components stored in the memory 18 are the real object related information detection module 502, the image position estimation module 504, the overlap determination module 506, the distance determination module 508, the deceleration determination module 510, the notification necessity degree determination module 512, and the image position determination. A module 514, an image size determination module 516, and a graphics module 518 are included.

実オブジェクト関連情報検出モジュール５０２は、後述する重なり判定モジュール５０６が実オブジェクト３１０（後述の先行実オブジェクト３３０）と経路画像２２０との重なり判定を行う元となる、自車両１の前方に存在する先行実オブジェクト３３０の少なくとも位置を含む情報（実オブジェクト関連情報とも呼ぶ）を取得する。実オブジェクト関連情報検出モジュール５０２は、例えば、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクト３１０の位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、種類、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。 The real object-related information detection module 502 is a preceding vehicle existing in front of the host vehicle 1 on which the overlap determination module 506, which will be described later, determines the overlap between the real object 310 (preceding real object 330, which will be described later) and the route image 220. Information including at least the position of the real object 330 (also referred to as real object related information) is acquired. The real object-related information detection module 502 uses, for example, the vehicle exterior sensor 407 to detect the position of the real object 310 existing in the foreground 300 of the host vehicle 1 (the traveling direction of the host vehicle 1 from the driver 4 in the driver's seat of the host vehicle 1 ( The position in the height direction (vertical direction) and the lateral direction (horizontal direction) when visually recognizing the front), and the position in the depth direction (front direction) may be added to these), and of the real object 310. The size (height direction, horizontal size) may be acquired. In addition, the real object related information detection module 502 uses the type, the direction indicator of the real object (other vehicle), the steering angle, and/or the driving support system from the real object (other vehicle) via the vehicle exterior communication connection device 420. Information indicating the planned progress route and the progress schedule may be acquired.

また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３２０の左側の区画線３２１（図３参照）の位置と、右側の区画線３２２（図３参照）の位置とを取得し、それら区画線３２１，３２２の間の領域（走行レーン３２０）を認識してもよい。 Further, the real object related information detection module 502 detects, from the vehicle exterior sensor 407, the position of the left lane line 321 (see FIG. 3) and the right lane line 322 (see FIG. 3) of the traveling lane 320 of the vehicle 1. And the area between the lane markings 321 and 322 (running lane 320) may be recognized.

画像位置推定モジュール５０４は、後述する経路画像２２０が表示される位置を推定するものである。経路画像２２０は、自車両１の走行レーン３２０の形状に沿って表示されるＡＲ画像２１０であり、実オブジェクト関連情報検出モジュール５０２が認識する走行レーン３２０に応じて、位置、大きさ、形状などを変化してもよい。画像表示部１１が表示する画像の画像データを車両ＥＣＵ４０１が生成する場合、画像位置推定モジュール５０４は、車両ＥＣＵ４０１から取得する画像データから経路画像２２０の位置を検出することが可能である。なお、経路画像２２０は、道路情報データベース４０３が算出する経路（ナビゲーション情報）を元に生成されるとすると、画像位置推定モジュール５０４は、道路情報データベース４０３が算出する経路（ナビゲーション情報）に基づいて、経路画像２２０が表示される位置を推定してもよい。 The image position estimation module 504 estimates the position where the route image 220 described later is displayed. The route image 220 is the AR image 210 displayed along the shape of the traveling lane 320 of the host vehicle 1, and the position, size, shape, etc., according to the traveling lane 320 recognized by the real object related information detection module 502. May be changed. When the vehicle ECU 401 generates the image data of the image displayed by the image display unit 11, the image position estimation module 504 can detect the position of the route image 220 from the image data acquired from the vehicle ECU 401. If the route image 220 is generated based on the route (navigation information) calculated by the road information database 403, the image position estimation module 504 determines the route image 220 based on the route (navigation information) calculated by the road information database 403. The position where the route image 220 is displayed may be estimated.

重なり判定モジュール５０６は、実オブジェクト関連情報検出モジュール５０２が取得した先行実オブジェクト３３０の位置と、画像位置推定モジュール５０４が推定した経路画像２２０が表示される位置と、に基づいて、先行実オブジェクト３３０と経路画像２２０とが重なるか否かを判定する。 The overlap determination module 506, based on the position of the preceding real object 330 acquired by the real object related information detection module 502 and the position where the route image 220 estimated by the image position estimation module 504 is displayed, the preceding real object 330. And the route image 220 overlap with each other.

なお、いくつかの実施形態では、重なり判定モジュール５０６は、実オブジェクト関連情報検出モジュール５０２が取得した先行実オブジェクト３３０の位置と、画像位置推定モジュール５０４が推定した経路画像２２０が表示される位置と、に基づいて、先行実オブジェクト３３０と経路画像２２０とが重なる領域を検出してもよい。 Note that in some embodiments, the overlap determination module 506 determines the position of the preceding real object 330 acquired by the real object related information detection module 502 and the position where the route image 220 estimated by the image position estimation module 504 is displayed. , The area where the preceding real object 330 and the route image 220 overlap may be detected.

距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との間の距離の度合いを判定する。例えば、距離判定モジュール５０８は、実オブジェクト関連情報検出モジュール５０２が実行されることで取得可能な先行実オブジェクト３３０と自車両１との間の距離が、メモリ１８に記憶された１つの距離閾値よりも長いか否かを判定してもよい。なお、メモリ１８は、２つ以上の距離閾値を記憶し、距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との間の距離の度合いを３段階以上で判定してもよい。また、これらの距離閾値は、可変であってもよい。例えば、距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との相対速度に応じて変化させてもよく、この場合、相対速度が速い程、距離閾値が長くなるように設定してもよい。 The distance determination module 508 determines the degree of distance between the preceding real object 330 and the vehicle 1. For example, the distance determination module 508 determines that the distance between the preceding real object 330 and the host vehicle 1 that can be acquired by executing the real object related information detection module 502 is less than one distance threshold stored in the memory 18. It may be determined whether or not it is too long. The memory 18 may store two or more distance thresholds, and the distance determination module 508 may determine the degree of the distance between the preceding real object 330 and the vehicle 1 in three or more steps. Further, these distance thresholds may be variable. For example, the distance determination module 508 may change the distance according to the relative speed between the preceding real object 330 and the vehicle 1. In this case, the higher the relative speed, the longer the distance threshold may be set. ..

減速判定モジュール５１０は、先行実オブジェクト３３０の減速を判定する。例えば、減速判定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２が実行されることで取得可能な先行実オブジェクト３３０と自車両１との間の距離の時間変化に基づき、先行実オブジェクト３３０と自車両１との相対速度を算出し、これに基づいて、先行実オブジェクト３３０の減速を検出してもよい。なお、自車両１の速度に応じても相対速度が変化するため、先行実オブジェクト３３０と自車両１との相対速度と自車両１の速度に基づいて、先行実オブジェクト３３０の減速を判定してもよい。なお、減速判定モジュール５１０は、先行実オブジェクト３３０の減速の度合いを段階的又は連続的に判定してもよい。また、減速判定モジュール５１０は、車外センサ４０７（カメラ）から先行実オブジェクト３３０のブレーキランプの点灯状態を取得し、これに基づいて減速の判定をおこなってもよい。なお、減速判定モジュール５１０は、車外通信接続機器４２０により先行実オブジェクト３３０から直接又は間接的にブレーキ状態などの情報を取得することで減速を判定してもよい。 The deceleration determination module 510 determines the deceleration of the preceding real object 330. For example, the deceleration determination module 510, based on the time change of the distance between the preceding real object 330 and the own vehicle 1 that can be acquired by executing the real object related information detection module 502, the preceding real object 330 and the own vehicle. The relative speed with respect to 1 may be calculated, and the deceleration of the preceding real object 330 may be detected based on this. Since the relative speed changes depending on the speed of the host vehicle 1, the deceleration of the preceding real object 330 is determined based on the relative speed between the preceding real object 330 and the own vehicle 1 and the speed of the own vehicle 1. Good. The deceleration determination module 510 may determine the degree of deceleration of the preceding real object 330 stepwise or continuously. In addition, the deceleration determination module 510 may acquire the lighting state of the brake lamp of the preceding real object 330 from the vehicle exterior sensor 407 (camera) and make the deceleration determination based on this. The deceleration determination module 510 may determine the deceleration by directly or indirectly acquiring information such as the braking state from the preceding real object 330 by the vehicle exterior communication connection device 420.

報知必要度判定モジュール５１２は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５１２は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５１２が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５１２は、運転者４に報知すべきかを判定し、経路画像２２０、後述する背景画像２３０、又はこれら双方を表示しないことも選択し得る。 The notification necessity degree determination module 512 determines whether or not each image 200 displayed by the vehicle display system 10 is the content to be notified to the driver 4. The notification necessity degree determination module 512 may obtain information from various other electronic devices connected to the I/O interface 14 and calculate the notification necessity degree. In addition, the electronic device connected to the I/O interface 14 in FIG. 2 transmits information to the vehicle ECU 401, and the notification necessity degree determination module 512 detects (acquires) the notification necessity degree determined by the vehicle ECU 401 based on the received information. ) May be. The "information need level" is, for example, a risk level derived from the degree of seriousness of the possibility itself, an urgency level derived from the length of the reaction time required to take a reaction action, the own vehicle 1 or the driver 4 ( Alternatively, it can be determined based on the effectiveness derived from the situation of other occupants of the vehicle 1 or a combination thereof (the indicator of the notification necessity degree is not limited to these). That is, the notification necessity degree determination module 512 determines whether or not to notify the driver 4, and may select not to display the route image 220, the background image 230 described below, or both of them.

なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。 The vehicle display system 10 may not have a function of estimating (calculating) the notification necessity degree, and a part or all of the function of estimating the notification necessity degree may be displayed by the vehicle display system 10. It may be provided separately from the control device 13.

画像位置決定モジュール５１４は、画像２００が、実オブジェクト３１０と特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。これに加え、画像位置決定モジュール５１４は、目位置検出部４１１が検出した運転者４の眼の位置に基づいて、画像２００の位置を調整してもよい。例えば、画像位置決定モジュール５１４は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。具体的には、画像位置決定モジュール５１４は、自車両１が走行する走行レーン３２０の位置や形状に合わせて経路画像２２０の位置を調整し、経路画像２２０と重なる位置に存在する先行実オブジェクト３３０の位置に合わせて背景画像２３０の位置を調整する。 The image position determination module 514 coordinates the image 200 based on the position of the real object detected by the real object related information detection module 502 so that the image 200 is visually recognized in a specific positional relationship with the real object 310. (At least the left-right direction (X-axis direction) and the up-down direction (Y-axis direction) when the driver 4 sees the direction of the display area 100 from the driver's seat of the vehicle 1 are determined). In addition to this, the image position determination module 514 may adjust the position of the image 200 based on the position of the eyes of the driver 4 detected by the eye position detection unit 411. For example, the image position determination module 514 determines the horizontal position and the vertical position of the image 200 so that the center of the image 200 is visually recognized so as to overlap with the center of the real object. The “specific positional relationship” can be adjusted depending on the situation of the real object or the host vehicle 1, the type of the real object, the type of the displayed image, or the like. Specifically, the image position determination module 514 adjusts the position of the route image 220 according to the position and shape of the traveling lane 320 on which the vehicle 1 travels, and the preceding real object 330 existing at a position overlapping the route image 220. The position of the background image 230 is adjusted according to the position of.

画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０の位置、又は／及びサイズに合わせて、ＡＲ画像２１０（経路画像２２０、背景画像２３０）のサイズを変更してもよい。例えば、画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０の位置が遠方であれば、ＡＲ画像２１０のサイズを小さくし得る。また、画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０のサイズが大きければ、ＡＲ画像２１０のサイズを大きくし得る。 The image size determination module 516 may change the size of the AR image 210 (the route image 220, the background image 230) according to the position or/and the size of the real object 310 to be associated. For example, the image size determination module 516 can reduce the size of the AR image 210 if the position of the real object 310 to be associated is distant. Further, the image size determination module 516 can increase the size of the AR image 210 if the size of the real object 310 to be associated is large.

また、画像サイズ決定モジュール５１６は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、数、又は／及び、報知必要度判定モジュール５１２で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定し得る。 In addition, the image size determination module 516 detects the type, number, and/or notification necessity determination module 512 of the real object that displays the image 200 detected by the real object related information detection module 502 in association with each other ( The size of the image 200 may be determined based on the (estimated) notification need.

グラフィックモジュール５１８は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１８は、画像位置決定モジュール５１４が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１６が設定した画像サイズで運転者４に視認されるように画像２００を表示する。 The graphics module 518 provides visual effects (eg, brightness, transparency, saturation, contrast, or other visual characteristic), size, display position, distance (distance from the driver 4 to the image 200) of the displayed image 200. ) Includes various known software components for modifying. The graphic module 518 displays the coordinates set by the image position determination module 514 (the left-right direction (X-axis direction) and the up-down direction (Y-axis when the driver 4 views the direction of the display area 100 from the driver's seat of the vehicle 1 ). The image 200 is displayed so as to be visually recognized by the driver 4 with the image size set by the image size determination module 516.

図３、図４を用いて、画像表示部１１が表示する経路画像２２０及び背景画像２３０について説明する。図３は、前景３００に存在する先行実オブジェクト３３０と背景画像２３０との位置関係をわかりやすくするために、自車両１の運転者４が視認するものとは異なり、背景画像２３０の塗色をなくしたものである。画像位置決定モジュール５１４及び画像サイズ決定モジュール５１６は、先行実オブジェクト３３０（経路画像２２０と重なる実オブジェクト３１０）と重なる位置に、先行実オブジェクト３３０より大きいサイズとなるように背景画像２３０を設定する。なお、図３，４における背景画像２３０は、車両の形状を模したイラストであり、実オブジェクト関連情報検出モジュール５０２が検出した先行実オブジェクト３３０の種類に応じて、メモリ１８から読み出されてもよい。 The route image 220 and the background image 230 displayed by the image display unit 11 will be described with reference to FIGS. 3 and 4. In order to make the positional relationship between the preceding real object 330 existing in the foreground 300 and the background image 230 easier to understand, FIG. I lost it. The image position determination module 514 and the image size determination module 516 set the background image 230 at a position overlapping the preceding real object 330 (the real object 310 overlapping the route image 220) so as to have a size larger than the preceding real object 330. The background image 230 in FIGS. 3 and 4 is an illustration simulating the shape of the vehicle, and may be read from the memory 18 according to the type of the preceding real object 330 detected by the real object related information detection module 502. Good.

図４は、図３における背景画像２３０に塗色を加えたものである。図４での塗色は、単色であるが、これに限定されない。グラフィックモジュール５１８は、実オブジェクト関連情報検出モジュール５０２が検出した先行実オブジェクト３３０の色に応じて、背景画像２３０の塗色を変えてもよく、例えば、先行実オブジェクト３３０の同系色に背景画像２３０の塗色を調整してもよい。 FIG. 4 shows the background image 230 in FIG. 3 with a paint color added. The paint color in FIG. 4 is a single color, but is not limited to this. The graphic module 518 may change the paint color of the background image 230 according to the color of the preceding real object 330 detected by the real object related information detection module 502. For example, the background image 230 may be similar in color to the preceding real object 330. The coating color of may be adjusted.

経路画像２２０は、自車両１を案内する経路に沿って配置される１つ又はそれ以上の画像であり、図４では、塗色が加えられた１つの矢印形状である。経路画像２２０は、背景画像２３０の表側に重ねて描画される。経路画像２２０の塗色は、半透過、又は不透過である。言い換えると、経路画像２２０の塗色が半透過である場合、経路画像２２０と背景画像２３０とが重なる領域は、経路画像２２０と背景画像２３０の混色となり、他方、経路画像２２０の塗色が不透過である場合、経路画像２２０と背景画像２３０とが重なる領域は、経路画像２２０の塗色となる。なお、背景画像２３０は、図３，図４に示す車両の形状を模したものに限定されない。 The route image 220 is one or more images that are arranged along the route that guides the vehicle 1. In FIG. 4, the route image 220 has one arrow shape to which a paint color is added. The route image 220 is drawn so as to be superimposed on the front side of the background image 230. The paint color of the route image 220 is semi-transparent or non-transparent. In other words, when the paint color of the route image 220 is semi-transparent, the area where the route image 220 and the background image 230 overlap is a mixed color of the route image 220 and the background image 230, while the paint color of the route image 220 is unclear. In the case of being transparent, the area where the route image 220 and the background image 230 overlap becomes the paint color of the route image 220. The background image 230 is not limited to the one that imitates the shape of the vehicle shown in FIGS.

図５は、背景画像２３０の変形例を示す図である。背景画像２３０は、図５（ａ）に示すように、先行実オブジェクト３３０を覆うような先行実オブジェクト３３０よりも大きなサイズの塗色を有する四角形などの図形であってもよい。 FIG. 5 is a diagram showing a modified example of the background image 230. As shown in FIG. 5A, the background image 230 may be a figure such as a quadrangle having a paint color that covers the preceding real object 330 and has a larger size than the preceding real object 330.

また、背景画像２３０は、背景画像２３０は、図５（ｂ）に示すように、自車両１に設けられたカメラ（車外センサ４０７の一例）の撮像画像から先行実オブジェクト３３０の部分を切り抜いた静止画像であってもよい。 In addition, as shown in FIG. 5B, the background image 230 is obtained by cutting out the portion of the preceding real object 330 from the captured image of the camera (an example of the vehicle exterior sensor 407) provided in the vehicle 1. It may be a still image.

図４、図５（ａ）、及び図５（ｂ）における背景画像２３０の位置やサイズは、運転者４から見て、先行実オブジェクト３３０と重なり、先行実オブジェクト３３０と概ね同じ又は先行実オブジェクト３３０より大きくなるように、プロセッサ１６が画像位置決定モジュール５１４、画像サイズ決定モジュール５１６を実行することで調整される。 The position and size of the background image 230 in FIG. 4, FIG. 5A, and FIG. 5B overlap the preceding real object 330 when viewed from the driver 4, and are substantially the same as the preceding real object 330 or the preceding real object 330. The processor 16 executes the image position determination module 514 and the image size determination module 516 so as to be larger than 330.

また、背景画像２３０は、図５（ｃ）に示すように、先行実オブジェクト３３０と重なる経路画像２２０の一部分の周辺のみに、経路画像２２０の外縁に沿うような塗色を有する太線形状であってもよく、図５（ｄ）に示すように、先行実オブジェクト３３０と重なる経路画像２２０の一部分を含む経路画像２２０の周辺に、経路画像２２０の外縁に沿うような塗色を有する太線形状であってもよい。 Further, as shown in FIG. 5C, the background image 230 has a thick line shape having a paint color along the outer edge of the route image 220 only around the part of the route image 220 overlapping the preceding real object 330. Alternatively, as shown in FIG. 5D, a thick line shape having a paint color along the outer edge of the route image 220 is formed around the route image 220 including a part of the route image 220 overlapping the preceding real object 330. It may be.

図６は、いくつかの実施形態に係る、経路画像と背景画像の表示処理のフロー図である。まず、プロセッサ１６は、実オブジェクト関連情報検出モジュール５０２を実行して、実オブジェクトの位置を取得し（ステップＳ１１）、画像位置推定モジュール５０４を実行して、経路画像２２０が表示される位置を取得する（ステップＳ１２）。 FIG. 6 is a flow diagram of display processing of a route image and a background image according to some embodiments. First, the processor 16 executes the real object related information detection module 502 to acquire the position of the real object (step S11), and executes the image position estimation module 504 to acquire the position where the route image 220 is displayed. Yes (step S12).

ステップＳ１３において、プロセッサ１６は、重なり判定モジュール５０６を実行して、ステップＳ１１で取得した実オブジェクト３１０の位置と、ステップＳ１２で取得した経路画像２２０の位置とに基づいて、実オブジェクト３１０と経路画像２２０とが重なるか判定する。重ならない場合、プロセッサ１６は、経路画像２２０を描画し、Ｓ１６へ移行し、自車両１の走行レーン３２０に重なる所定の位置に経路画像２２０を表示する。実オブジェクト３１０（先行実オブジェクト３３０）と経路画像２２０とが重なる場合、ステップＳ１４へ移行する。 In step S13, the processor 16 executes the overlap determination module 506, and based on the position of the real object 310 acquired in step S11 and the position of the path image 220 acquired in step S12, the processor 16 and the path image. It is determined whether or not 220 overlaps. If they do not overlap, the processor 16 draws the route image 220, moves to S16, and displays the route image 220 at a predetermined position overlapping the traveling lane 320 of the host vehicle 1. When the real object 310 (preceding real object 330) and the route image 220 overlap, the process proceeds to step S14.

ステップＳ１４において、プロセッサ１６は、距離判定モジュール５０８を実行して、先行実オブジェクト３３０と自車両１との間の距離の度合いを判定する。先行実オブジェクト３３０までの距離が距離閾値未満ではない場合、プロセッサ１６は、案内経路に沿って走行レーン３２０に重ねて配置される緑色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示し、実オブジェクト３１０と経路画像２２０とが重なる場合、ステップＳ１４へ移行する。 In step S14, the processor 16 executes the distance determination module 508 to determine the degree of distance between the preceding real object 330 and the host vehicle 1. When the distance to the preceding real object 330 is not less than the distance threshold, the processor 16 overlaps the green route image 220 overlaid on the traveling lane 320 along the guide route with the preceding real object 330, and the route image. If at least the background image 230 arranged at a position adjacent to 220 is generated, image data is generated, the process moves to S16 and is displayed, and if the real object 310 and the route image 220 overlap, the process moves to step S14.

ステップＳ１５において、プロセッサ１６は、減速判定モジュール５１０を実行して、先行実オブジェクト３３０の減速を判定する。先行実オブジェクト３３０が減速していない（又は先行実オブジェクト３３０の減速の度合いが小さい）場合、プロセッサ１６は、案内経路に沿うように走行レーン３２０に重ねて配置される黄色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示する。また、先行実オブジェクト３３０が減速している（又は先行実オブジェクト３３０の減速の度合いが大きい）場合、プロセッサ１６は、案内経路に沿うように走行レーン３２０に重ねて配置される赤色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示する。 In step S15, the processor 16 executes the deceleration determination module 510 to determine the deceleration of the preceding real object 330. If the preceding real object 330 is not decelerating (or the degree of deceleration of the preceding real object 330 is small), the processor 16 causes the yellow route image 220 to be arranged so as to overlap the traveling lane 320 along the guide route, Image data in which the background image 230 that overlaps with the preceding real object 330 and that is at least adjacent to the route image 220 is drawn is generated, and the process proceeds to S16 and is displayed. When the preceding real object 330 is decelerating (or the degree of deceleration of the preceding real object 330 is large), the processor 16 overlaps the traveling lane 320 along the guide route, and the red route image 220 is arranged. And the background image 230, which overlaps the preceding real object 330 and is arranged at least at a position adjacent to the route image 220, are generated, and the process moves to S16 and is displayed.

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。 The operations of the above-described processing process can be performed by executing one or more functional modules of an information processing device such as a general-purpose processor or an application-specific chip. All of these modules, a combination of these modules, and/or a combination with a known hardware capable of substituting their functions are included in the scope of protection of the present invention.

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。 The functional blocks of the vehicular display system 10 are optionally implemented by hardware, software, or a combination of hardware and software to implement the principles of the various described embodiments. The functional blocks described in FIG. 2 may optionally be combined or one functional block may be separated into two or more sub-blocks to implement the principles of the described embodiments. As will be appreciated by those skilled in the art. Thus, the description herein optionally supports any possible combination or division of the functional blocks described herein.

以上に説明したように、本実施形態の表示制御装置は、自車両の運転者から見られる前景重ねて画像を表示する画像表示部１１を制御する表示制御装置１３において、１つ又はそれ以上のＩ／Ｏインタフェース１４と、１つ又はそれ以上のプロセッサ１６と、メモリ１８と、メモリ１８に格納され、１つ又はそれ以上のプロセッサ１６によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、自車両の前方における先行実オブジェクト３３０の位置と、自車両が走行する路面に沿って視認され、自車両を誘導する経路画像２２０が表示される位置を推測可能な情報と、を取得し、先行実オブジェクト３３０の位置と経路画像２２０の位置とから、先行実オブジェクト３３０と経路画像２２０とが重なると判定される場合、経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を表示させる。これによれば、経路画像２２０の外側に隣接する位置に画像表示部１１が表示する画像（背景画像２３０）が表示される。すなわち、経路画像２２０の外側に隣接する位置に、前景３００に存在する実オブジェクト３１０（先行実オブジェクト３３０）が直接視認されなくなる。すなわち、経路画像２２０と隣接する領域では、先行実オブジェクト３３０が直接視認しづらくなるため、実オブジェクトと画像が重なって視認されることにより運転者４が覚える違和感を軽減することができる。 As described above, the display control device according to the present embodiment includes one or more display control devices 13 that control the image display unit 11 that displays an image with the foreground overlapped by the driver of the vehicle. An I/O interface 14, one or more processors 16, a memory 18, and one or more processors stored in the memory 18 and configured to be executed by the one or more processors 16. A computer program is provided, and one or more processors 16 include, from one or more I/O interfaces 14, a position of the preceding real object 330 in front of the own vehicle and a road surface on which the own vehicle travels. Information that can be estimated along with the position where the route image 220 that guides the own vehicle is displayed, and the position of the preceding real object 330 and the position of the route image 220. When it is determined that the route image 220 overlaps, the route image 220 and the background image 230 that overlaps the preceding real object 330 and is arranged at least at a position adjacent to the route image 220 are displayed. According to this, the image (background image 230) displayed by the image display unit 11 is displayed at a position adjacent to the outside of the route image 220. That is, the real object 310 (preceding real object 330) existing in the foreground 300 is not directly visible at a position adjacent to the outside of the route image 220. That is, in the area adjacent to the route image 220, it becomes difficult to directly visually recognize the preceding real object 330, so that the driver 4 can feel less discomfort when the real object and the image are visually overlapped and visually recognized.

また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０の種類を推定可能な情報を取得し、先行実オブジェクト３３０の種類に応じて、背景画像２３０の形状を変化させてもよい。これにより、背景画像２３０の形状により、先行実オブジェクト３３０の種類を識別しやすくすることができる。 Also, in some embodiments, the one or more processors 16 obtain information from the one or more I/O interfaces 14 that allows the type of the predecessor real object 330 to be deduced, and The shape of the background image 230 may be changed according to the type of 330. As a result, the shape of the background image 230 can facilitate the identification of the type of the preceding real object 330.

なお、いくつかの実施形態では、背景画像２３０は、車両の形状を模した画像であってもよい。 Note that in some embodiments, the background image 230 may be an image that imitates the shape of the vehicle.

また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０の減速を推定可能な情報を取得し、先行実オブジェクト３３０の減速に応じて、経路画像２２０の一部又は全部の表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の減速により自車両１と衝突する可能性が高くなった状態を、経路画像２２０の表示態様の変化で報知することができる。 Also, in some embodiments, the one or more processors 16 obtain information from the one or more I/O interfaces 14 that can estimate deceleration of the predecessor real object 330, Depending on the deceleration of 330, the display mode of part or all of the route image 220 may be changed. According to this, the state in which the possibility of collision with the host vehicle 1 due to the deceleration of the preceding real object 330 is increased can be notified by the change of the display mode of the route image 220.

また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０までの距離を推定可能な情報を取得し、先行実オブジェクト３３０までの距離が所定の閾値未満になることを少なくとも含む条件が満たされる場合に、経路画像２２０の一部又は全部の表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の接近により自車両１と衝突する可能性が高くなった状態を、経路画像２２０の表示態様の変化で報知することができる。 Also, in some embodiments, the one or more processors 16 obtain information from the one or more I/O interfaces 14 that can estimate the distance to the predecessor real object 330, and The display mode of part or all of the route image 220 may be changed when a condition that at least includes that the distance to the object 330 is less than a predetermined threshold is satisfied. According to this, the state in which the possibility of collision with the host vehicle 1 due to the approach of the preceding real object 330 is increased can be notified by a change in the display mode of the route image 220.

また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０までの距離を推定可能な情報を取得し、先行実オブジェクト３３０までの距離が所定の閾値未満になることを少なくとも含む条件が満たされる場合に、図７Ａ，図７Ｂに示すように、経路画像２２０のうち先行実オブジェクト３３０又は背景画像２３０と重なる領域よりも下側に視認される領域２２０ａの表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の接近により自車両１と衝突する可能性が高くなった際、経路画像２２０の表示態様の変化で報知しつつ、運転者の視覚的注意を先行実オブジェクトと自車両との間に向けさせることができ、先行実オブジェクト３３０の接近状態を迅速に認識させることもできる。 Also, in some embodiments, the one or more processors 16 obtain information from the one or more I/O interfaces 14 that can estimate the distance to the predecessor real object 330, and When the condition including at least that the distance to the object 330 is less than a predetermined threshold is satisfied, as shown in FIGS. 7A and 7B, from the area of the route image 220 that overlaps with the preceding real object 330 or the background image 230. Also, the display mode of the region 220a visually recognized on the lower side may be changed. According to this, when the possibility of collision with the host vehicle 1 due to the approach of the preceding real object 330 becomes high, the visual attention of the driver is changed to the preceding real object while notifying by the change of the display mode of the route image 220. It can be directed toward the own vehicle, and the approaching state of the preceding real object 330 can be promptly recognized.

また、先行実オブジェクト３３０と自車両１との衝突する可能性が高くなった場合、経路画像２２０の表示態様の変化による注意換気に加え、自車両１又は車両用表示システム１０に設けられた図示しないスピーカーによる音声出力を行ってもよい。 In addition, when the possibility that the preceding real object 330 collides with the host vehicle 1 becomes high, in addition to the attention ventilation due to the change of the display mode of the route image 220, an illustration provided in the host vehicle 1 or the vehicle display system 10 is shown. Sound may be output from a speaker.

また、表示領域１００は、図１に示すように、運転者４から見て、上下左右からなる平面（ＸＹ平面）に概ね沿うような配置に限定されない。例えば、表示領域１００は、運転者４から見た左右方向（Ｘ軸方向）を軸として回転させ、走行レーン３２０（ＺＸ平面）に概ね沿うように配置されてもよい。なお、表示領域１００は、平面ではなく、曲面になり得る。また、画像表示部１１に立体表示器を採用し、３次元領域である表示領域１００に画像２００を表示するものであってもよい。 Further, as shown in FIG. 1, the display area 100 is not limited to an arrangement that is substantially along a plane (XY plane) consisting of up, down, left, and right as seen from the driver 4. For example, the display region 100 may be rotated about the left-right direction (X-axis direction) viewed from the driver 4 and arranged substantially along the traveling lane 320 (ZX plane). The display area 100 may be a curved surface instead of a flat surface. Further, a stereoscopic display may be adopted for the image display unit 11 and the image 200 may be displayed in the display area 100 which is a three-dimensional area.

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、１００…表示領域、２００…画像、２１０…ＡＲ画像、２２０…経路画像、２２０ａ…領域、２３０…背景画像、３００…前景、３１０…実オブジェクト、３２０…走行レーン、３２１…区画線、３２２…区画線、３３０…先行実オブジェクト、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…画像位置推定モジュール、５０６…判定モジュール、５０８…距離判定モジュール、５１０…減速判定モジュール、５１２…報知必要度判定モジュール、５１４…画像位置決定モジュール、５１６…画像サイズ決定モジュール、５１８…グラフィックモジュール DESCRIPTION OF SYMBOLS 1... Own vehicle, 2... Front windshield, 4... Driver, 5... Dashboard, 10... Vehicle display system, 11... Image display part, 11a... Display light, 13... Display control device, 14... I/O Interface, 16... Processor, 18... Memory, 20... Image processing circuit, 100... Display area, 200... Image, 210... AR image, 220... Path image, 220a... Area, 230... Background image, 300... Foreground, 310... Real object, 320... Running lane, 321... Compartment line, 322... Compartment line, 330... Preceding real object, 401... Vehicle ECU, 403... Road information database, 405... Own vehicle position detection unit, 407... Exterior sensor, 409... Line-of-sight direction detection unit, 411... Eye position detection unit, 413... Portable information terminal, 420... External communication connection device, 502... Real object related information detection module, 504... Image position estimation module, 506... Judgment module, 508... Distance judgment Modules, 510... Deceleration determination module, 512... Notification necessity degree determination module, 514... Image position determination module, 516... Image size determination module, 518... Graphic module

Claims

In a display control device (13) for controlling an image display unit (11) that displays an image in a foreground seen by a driver of the vehicle,
One or more I/O interfaces (14),
One or more processors (16),
A memory (18),
One or more computer programs stored in the memory (18) and configured to be executed by the one or more processors (16);
Said one or more processors (16)
From the one or more I/O interfaces (14),
The position of the preceding real object (330) in front of the own vehicle,
Information that is visually recognizable along the road surface on which the host vehicle is traveling and that can estimate the position where the route image (210) for guiding the host vehicle is displayed,
When it is determined from the position of the preceding real object (330) and the position of the route image (210) that the preceding real object (330) and the route image (210) overlap each other,
The path image (210),
Executing a command to display a background image (220) that overlaps with the preceding real object (330) and is located at least in a position adjacent to the route image (210),
Display controller.

Said one or more processors (16)
From the one or more I/O interfaces (14),
Acquiring information capable of estimating the type of the preceding real object (330),
Changing the shape of the background image (220) according to the type of the preceding real object (330), further executing an instruction,
The display control device according to claim 1.

The background image (220) is an image simulating the shape of a vehicle,
The display control device according to claim 1.

Said one or more processors (16)
From the one or more I/O interfaces (14),
Acquiring information capable of estimating deceleration of the preceding real object (330),
Changing the display mode of the route image (210) according to the deceleration of the preceding real object (330), further executing an instruction,
The display control device according to claim 1.

Said one or more processors (16)
From the one or more I/O interfaces (14),
Obtaining information capable of estimating the distance to the preceding real object (330),
Changing a display mode of the route image (210) when a condition at least including that the distance to the preceding real object (330) becomes less than a predetermined threshold is satisfied, and further executing an instruction.
The display control device according to claim 1.

Said one or more processors (16)
From the one or more I/O interfaces (14),
Obtaining information capable of estimating the distance to the preceding real object (330),
When the condition including at least the distance to the preceding real object (330) is less than a predetermined threshold is satisfied, the preceding real object (330) or the background image (220) of the route image (210). ), changing the display mode of the area visually recognized below the area overlapping with, further executing the command,
The display control device according to claim 1.

In a display control device (13) for controlling an image display unit (11) that displays an image in a foreground seen by a driver of the vehicle,
The position of the preceding real object (330) in front of the own vehicle,
Acquiring information capable of estimating the position where the route image (210) for guiding the host vehicle is displayed, which is visually recognized along the road surface on which the host vehicle travels,
When it is determined from the position of the preceding real object (330) and the position of the route image (210) that the preceding real object (330) and the route image (210) overlap each other,
The path image (210),
Displaying a background image (220) overlapping at least the preceding real object (330) and at a position adjacent to the path image (210);
Including the method.

Obtaining information capable of estimating the type of the preceding real object (330);
Changing the shape of the background image (220) according to the type of the preceding real object (330).
The method according to claim 7.

The background image (220) is an image simulating the shape of a vehicle,
The method according to claim 7.

Acquiring information capable of estimating deceleration of the preceding real object (330);
Changing the display mode of the route image (210) according to the deceleration of the preceding real object (330).
The method according to claim 7.

Acquiring information capable of estimating a distance to the preceding real object (330);
Changing a display mode of the route image (210) when at least a condition that the distance to the preceding real object (330) is less than a predetermined threshold is satisfied,
The method according to claim 7.

Acquiring information capable of estimating a distance to the preceding real object (330);
When the condition including at least the distance to the preceding real object (330) is less than a predetermined threshold is satisfied, the preceding real object (330) or the background image (220) of the route image (210). ), changing the display mode of the area visually recognized below the area overlapping with ).
The method according to claim 7.

A computer program comprising instructions for performing the method of claims 7-12.