JP2020121607A

JP2020121607A - Display control device, method and computer program

Info

Publication number: JP2020121607A
Application number: JP2019013682A
Authority: JP
Inventors: 中村　崇; Takashi Nakamura; 崇中村
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2020-08-13

Abstract

To suppress deterioration in visibility of an image.SOLUTION: When determining that an image 200 is displayed in a travel lane non-overlapping region 101 that does not overlap on a travel lane when being viewed from a driver in a display area 100 where an image display unit displays an image, from a position of the travel lane, positions of eyes of a driver of own vehicle and a position of the image 200, a processor changes a display mode of the image 200 so as to reduce an area of the image 200 that is arranged in the travel lane non-overlapping region 101.SELECTED DRAWING: Figure 6A

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。 The present disclosure relates to a display control device, a method, and a computer program which are used in a vehicle and allow an image to be viewed on a foreground of the vehicle in a superimposed manner.

特許文献１には、車速や交通規制情報や案内経路などを示す画像を、自車両の前景に重ねて表示するヘッドアップディスプレイ装置が開示されている。 Patent Document 1 discloses a head-up display device that displays an image showing vehicle speed, traffic regulation information, a guide route, and the like in an overlapping manner on the foreground of the vehicle.

特開２０１４−２１３７６３号公報JP, 2014-213763, A

車両が直進している際、表示される画像は、自車両の走行レーンに重なって視認されるが、車両がカーブなどに差し掛かる際、表示される画像の一部が、走行レーンの左側の区画線よりも左側、又は走行レーンの右側の区画線よりも右側に視認される。走行レーンに重なって視認されていた画像が走行レーンから外れた位置に重なって視認される場合、画像が通常表示される領域（走行レーンと重なる領域）からはみ出てしまったように感じ、視認者に違和感を与え、画像の視認性が低下することが想定される。 When the vehicle is traveling straight, the displayed image is visible overlapping the traveling lane of the host vehicle.However, when the vehicle approaches a curve, a part of the displayed image is displayed on the left side of the traveling lane. It is visually recognized on the left side of the lane marking or on the right side of the lane marking on the right side of the driving lane. When an image that was viewed while overlapping the driving lane is viewed overlapping with a position that is off the driving lane, it feels like it has protruded from the area where the image is normally displayed (the area that overlaps with the driving lane). It is assumed that the image is unnatural and the visibility of the image is deteriorated.

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。 The following is a summary of the specific embodiments disclosed herein. It should be understood that these aspects are presented only to provide an overview of the reader to these particular embodiments and are not intended to limit the scope of this disclosure. Indeed, the present disclosure may include various aspects not described below.

本開示の概要は、画像の視認性の低下を抑制することに関する。より具体的には、画像のうち走行レーンに重ならない領域を少なくすることにも関する。 The summary of the present disclosure relates to suppressing a reduction in image visibility. More specifically, it relates to reducing the area of the image that does not overlap with the driving lane.

したがって、本明細書に記載される表示制御装置は、走行レーン３１０の位置と自車両の運転者の目の位置と画像２００の位置とから、表示領域１００のうち運転者から見て走行レーン３１０と重ならない走行レーン非重畳領域１０１に画像２００が表示されていると判定される場合、走行レーン非重畳領域１０１に配置されている画像２００の面積が減少するように、画像２００の表示態様を変化させる。 Therefore, the display control device described in the present specification uses the position of the traveling lane 310, the position of the driver's eyes of the own vehicle, and the position of the image 200 to determine the traveling lane 310 in the display area 100 as seen from the driver. When it is determined that the image 200 is displayed in the traveling lane non-overlapping region 101 that does not overlap with the traveling lane, the display mode of the image 200 is changed so that the area of the image 200 arranged in the traveling lane non-overlapping region 101 decreases. Change.

いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。It is a figure which shows the example of application to the vehicle of the display system for vehicles which concerns on some embodiment. いくつかの実施形態に係る、車両用表示システムのブロック図である。FIG. 3 is a block diagram of a vehicular display system according to some embodiments. 画像表示部の表示領域と実景における走行レーンとの配置の例を説明する図である。It is a figure explaining an example of arrangement of a display lane of an image display part and a driving lane in a real scene. いくつかの実施形態に係る、画像の表示処理のフロー図である。FIG. 6 is a flow diagram of image display processing according to some embodiments. 図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行される前の画像の配置を例示する図である。FIG. 6 is a diagram illustrating an arrangement of images before the processing (change of display mode) of step S15 of FIG. 4 is executed in the case of the positional relationship between the display area and the traveling lane shown in FIG. 3. いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。It is a figure which illustrates arrangement|positioning of the image after the process (change of a display mode) of step S15 of FIG. 4 based on some embodiment. いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。It is a figure which illustrates arrangement|positioning of the image after the process (change of a display mode) of step S15 of FIG. 4 based on some embodiment. いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。It is a figure which illustrates arrangement|positioning of the image after the process (change of a display mode) of step S15 of FIG. 4 based on some embodiment.

以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図６Ａ、図６Ｂ、及び図６Ｃでは、車両用表示システムが表示する画像についての説明を提供する。また、図４では、表示処理のフローを提供する。図３，図５は、所定のシチュエーションを説明するための図である。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。 In the following, FIGS. 1 and 2 provide a description of the configuration of an exemplary vehicle display system. 6A, 6B, and 6C provide a description of the images displayed by the vehicular display system. Further, FIG. 4 provides a flow of display processing. 3 and 5 are diagrams for explaining a predetermined situation. The present invention is not limited to the following embodiments (including the contents of the drawings). Of course, changes (including deletion of components) can be added to the following embodiments. In addition, in the following description, in order to facilitate understanding of the present invention, description of known technical matters will be appropriately omitted.

図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−ＵｐＤｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に画像２００を重ねて視認させる。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。 Please refer to FIG. The image display unit 11 in the vehicle display system 10 is a head-up display (HUD) device provided in the dashboard 5 of the vehicle 1. The HUD device emits the display light 11a toward the front windshield 2 (which is an example of a member to be projected) and displays an image 200 in the virtual display area 100, so that the display light 11a is transmitted through the front windshield 2. The image 200 is overlaid on the foreground 300, which is the visible real space, to be visually recognized. In the description of the present embodiment, the horizontal direction when the driver 4 seated in the driver's seat of the host vehicle 1 faces the front of the host vehicle 1 is the X-axis (the left direction is the positive direction of the X-axis), and the vertical direction is the vertical direction. The Y-axis (the upward direction is the positive Y-axis direction) and the front-back direction is the Z-axis (the forward direction is the positive Z-axis direction).

また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定（調整可能に配置）され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。 Further, the image display unit 11 may be a head mounted display (hereinafter, HMD) device. The driver 4 mounts the HMD device on his/her head and sits on the seat of the host vehicle 1 to visually recognize the displayed image 200 by superimposing it on the foreground 300 through the front windshield 2 of the host vehicle 1. To do. The display area 100 in which the vehicle display system 10 displays a predetermined image 200 is fixed (adjustably arranged) at a specific position with respect to the coordinate system of the host vehicle 1, and when the driver 4 faces that direction. The image 200 displayed in the display area 100 fixed at the specific position can be visually recognized.

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面（走行レーン３１０）、道路標識、及び地物（建物、橋など）などの実オブジェクトの近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクトに重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクトを基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、実オブジェクトの位置に応じて表示位置を変化させるＡＲ画像（不図示）、又は／及び実オブジェクトの位置に応じて表示位置を変化させない非ＡＲ画像（不図示）、を含む画像２００を表示示することができる。 Based on the control of the display control device 13, the image display unit 11 includes obstacles (pedestrians, bicycles) existing in the foreground 300, which is a real space (real scene) visually recognized through the front windshield 2 of the vehicle 1. , Motorcycles, other vehicles, etc.), road surfaces (travel lane 310), road signs, and the vicinity of real objects such as features (buildings, bridges, etc.) (an example of a specific positional relationship between an image and a real object), real Displaying the image 200 at a position overlapping with the object (an example of a specific positional relationship between the image and the real object) or at a position set based on the actual object (an example of a specific positional relationship between the image and the real object). Thus, it is possible to form a visual augmented reality (AR). The image display unit 11 includes an AR image (not shown) whose display position is changed according to the position of the real object, and/or a non-AR image (not shown) whose display position is not changed according to the position of the real object. The image 200 can be displayed.

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。 FIG. 2 is a block diagram of a vehicular display system 10 according to some embodiments. The vehicular display system 10 includes an image display unit 11 and a display control device 13 that controls the image display unit 11. The display controller 13 comprises one or more I/O interfaces 14, one or more processors 16, one or more memories 18, and one or more image processing circuits 20. The various functional blocks depicted in FIG. 2 may be implemented in hardware, software, or a combination of both. FIG. 2 is only one embodiment of an implementation, and the illustrated components may be combined into fewer components or there may be additional components. For example, image processing circuitry 20 (eg, a graphics processing unit) may be included in one or more processors 16.

図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。 As shown, the processor 16 and the image processing circuit 20 are operably coupled to the memory 18. More specifically, the processor 16 and the image processing circuit 20 operate the vehicle display system 10, for example, by generating or/and transmitting image data by executing a program stored in the memory 18. be able to. The processor 16 or/and the image processing circuit 20 may be at least one general purpose microprocessor (eg, central processing unit (CPU)), at least one application specific integrated circuit (ASIC), at least one field programmable gate array (FPGA). , Or any combination thereof. The memory 18 includes any type of magnetic medium such as a hard disk, any type of optical medium such as CD and DVD, any type of semiconductor memory such as volatile memory, and non-volatile memory. Volatile memory may include DRAM and SRAM, and non-volatile memory may include ROM and NVROM.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘＷｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。 As shown, the processor 16 is operably coupled to the I/O interface 14. For example, the I/O interface 14 uses the vehicle display system 10 as a personal area network (PAN) such as a Bluetooth (registered trademark) network or a local area network (LAN) such as an 802.11x Wi-Fi (registered trademark) network. A wireless communication interface for connecting to a wide area network (WAN) such as a 4G or LTE cellular network can be included. The I/O interface 14 may also include a wired communication interface such as, for example, a USB port, a serial port, a parallel port, an OBDII, and/or any other suitable wired communication port.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。 As shown in the figure, the processor 16 is operably connected to the I/O interface 14 to provide information on various other electronic devices connected to the vehicle display system 10 (I/O interface 14). Can be given and received. The I/O interface 14 includes, for example, a vehicle ECU 401 provided in the host vehicle 1, a road information database 403, a host vehicle position detector 405, a vehicle exterior sensor 407, a line-of-sight direction detector 409, an eye position detector 411, and portable information. The terminal 413 and the vehicle exterior communication connection device 420 are operably connected. The image display unit 11 is operably connected to the processor 16 and the image processing circuit 20. Therefore, the image displayed by the image display unit 11 may be based on the image data received from the processor 16 and/or the image processing circuit 20. The processor 16 and the image processing circuit 20 control the image displayed by the image display unit 11 based on the information obtained from the I/O interface 14. The I/O interface 14 may include a function of processing (converting, calculating, analyzing) information received from another electronic device or the like connected to the vehicle display system 10.

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。 The host vehicle 1 is in the state of the host vehicle 1 (for example, mileage, vehicle speed, accelerator pedal opening, engine throttle opening, injector fuel injection amount, engine speed, motor speed, steering angle, shift position, drive mode). , And various warning states) are included in the vehicle ECU 401. The vehicle ECU 401 controls each part of the host vehicle 1, and can transmit vehicle speed information indicating the current vehicle speed of the host vehicle 1 to the processor 16, for example. It should be noted that the vehicle ECU 401 can transmit the determination result of the data detected by the sensor and/or the analysis result to the processor 16 in addition to or instead of simply transmitting the data detected by the sensor to the processor 16. For example, information indicating whether the host vehicle 1 is traveling at a low speed or is stopped may be transmitted to the processor 16.

また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、サイズ、種類、表示態様、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。 Further, the vehicle ECU 401 may transmit an instruction signal for instructing the image 200 displayed by the vehicle display system 10 to the I/O interface 14, in which case the coordinates, size, type, display mode, image of the image 200 are displayed. The necessity degree related information of 200 or/and the necessity degree related information which is a basis for determining the necessity degree of notification may be added to the instruction signal and transmitted.

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。 The host vehicle 1 may include a road information database 403 including a navigation system and the like. The road information database 403 is based on the position of the own vehicle 1 acquired from the own vehicle position detection unit 405 described later, and is road information (lane, white line, stop line, Crosswalk, width of road, number of lanes, intersections, curves, forks, traffic restrictions, etc.), presence/absence of feature information (buildings, bridges, rivers, etc.), position (including distance to own vehicle 1), direction , Shape, type, detailed information, etc. may be read and transmitted to the processor 16. Further, the road information database 403 may calculate an appropriate route from the starting point to the destination and send it to the processor 16 as navigation information.

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。 The host vehicle 1 may include a host vehicle position detection unit 405 including a GNSS (Global Navigation Satellite System) or the like. The road information database 403, the portable information terminal 413, which will be described later, and/or the extra-vehicle communication connection device 420 acquires the position information of the own vehicle 1 from the own vehicle position detection unit 405 continuously, intermittently, or at every predetermined event. Thus, the information around the vehicle 1 can be selected and/or generated and transmitted to the processor 16.

自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、サイズ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。 The host vehicle 1 may include one or more vehicle exterior sensors 407 that detect real objects existing around the host vehicle 1 (front, side, and rear). The real object detected by the vehicle exterior sensor 407 includes, for example, a pedestrian, a bicycle, a motorcycle, another vehicle (such as a preceding vehicle), a road surface, a marking line, a roadside object, and/or a feature (such as a building). Good. As the vehicle exterior sensor, for example, there are a millimeter wave radar, an ultrasonic radar, a radar sensor such as a laser radar, and a camera sensor including a camera and an image processing device. It may be configured with only one of them. A conventionally known method is applied to the object detection by the radar sensor and the camera sensor. By detecting the objects by these sensors, the presence/absence of a real object in the three-dimensional space, and the position of the real object (relative distance from the own vehicle 1 and the traveling direction of the own vehicle 1 when the real object exists) are detected. Position in the left-right direction in the front-back direction, vertical position, etc.), size (size in the horizontal direction (left-right direction), height direction (vertical direction), etc.), movement direction (lateral direction (left-right direction), The depth direction (front-rear direction), the moving speed (lateral direction (left-right direction), depth direction (front-back direction)), and/or the type may be detected. One or more out-of-vehicle sensors 407 detect a real object in front of the own vehicle 1 for each detection period of each sensor, and detect real object-related information (presence or absence of real object, which is an example of real object-related information). When a real object exists, information such as the position, size, and/or type of each real object) can be transmitted to the processor 16. The real object related information may be transmitted to the processor 16 via another device (for example, the vehicle ECU 401). Further, when a camera is used as a sensor, an infrared camera or a near infrared camera is desirable so that a real object can be detected even when the surroundings are dark such as at night. Further, when a camera is used as a sensor, a stereo camera that can acquire a distance and the like by parallax is desirable.

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線目底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。 The host vehicle 1 may include a line-of-sight direction detection unit 409 that detects the gaze direction of the driver 4 (hereinafter, also referred to as “line-of-sight direction”) and that includes an infrared camera that captures an image of the face of the driver 4. The processor 16 can specify the line-of-sight direction of the driver 4 by acquiring an image captured by the infrared camera (an example of information that can estimate the line-of-sight direction) and analyzing the captured image. Note that the processor 16 may acquire the line-of-sight direction of the driver 4 specified by the line-of-sight direction detection unit 409 (or another analysis unit) from the image captured by the infrared camera from the I/O interface 14. The method of acquiring the driver's 4 line-of-sight direction of the own vehicle 1 or the information capable of estimating the driver's 4 line-of-sight direction is not limited to these, and the EOG (Electro-oculogram) method, corneal reflex Method, sclera reflection method, Purkinje image detection method, search coil method, infrared fundus camera method, and other known gaze direction detection (estimation) techniques may be used.

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。 The host vehicle 1 may include an eye position detection unit 411 including an infrared camera that detects the position of the eyes of the driver 4. The processor 16 can specify the position of the eyes of the driver 4 by acquiring an image (an example of information that can estimate the position of the eyes) captured by the infrared camera and analyzing the captured image. The processor 16 may acquire the information on the position of the eyes of the driver 4 identified from the image captured by the infrared camera from the I/O interface 14. The method for acquiring the position of the eyes of the driver 4 of the vehicle 1 or the information capable of estimating the position of the eyes of the driver 4 is not limited to these, and known eye position detection (estimation) It may be acquired using a technology. The processor 16 adjusts at least the position of the image 200 based on the position of the eyes of the driver 4 so that the image 200 in which the image 200 superimposed on a desired position of the foreground 300 is detected is the viewer (driver 4). May be visually confirmed.

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。 The mobile information terminal 413 is a smartphone, a laptop computer, a smart watch, or another information device that can be carried by the driver 4 (or another occupant of the vehicle 1). The I/O interface 14 can communicate with the mobile information terminal 413, and acquires the data recorded in the mobile information terminal 413 (or the server via the mobile information terminal). The mobile information terminal 413 has, for example, the same function as the road information database 403 and the vehicle position detection unit 405 described above, acquires the road information (an example of the real object related information), and transmits it to the processor 16. Good. The mobile information terminal 413 may also acquire commercial information (an example of real object-related information) related to a commercial facility in the vicinity of the own vehicle 1 and send it to the processor 16. The mobile information terminal 413 transmits schedule information of the owner (for example, the driver 4) of the mobile information terminal 413, incoming information at the mobile information terminal 413, mail reception information, etc. to the processor 16, and the processor 16 and The image processing circuit 20 may generate or/and transmit image data regarding these.

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：ＶｅｈｉｃｌｅＴｏＶｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：ＶｅｈｉｃｌｅＴｏＰｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：ＶｅｈｉｃｌｅＴｏｒｏａｄｓｉｄｅＩｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：ＶｅｈｉｃｌｅＴｏＥｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。 The extra-vehicle communication connection device 420 is a communication device that exchanges information with the host vehicle 1, and for example, another vehicle connected to the host vehicle 1 through vehicle-to-vehicle communication (V2V: Vehicle To Vehicle), inter-vehicle communication (V2P: A pedestrian (a portable information terminal carried by a pedestrian) connected by a Vehicle To Pedestrian, a network communication device connected by a road-to-vehicle communication (V2I: Vehicle To Road Infrastructure), and in a broad sense, the own vehicle 1 and It includes all things connected by V2X (Vehicle To Everything). The extra-vehicle communication connection device 420 acquires the position of, for example, a pedestrian, a bicycle, a motorcycle, another vehicle (such as a preceding vehicle), a road surface, a marking line, a roadside object, and/or a feature (such as a building), and the processor 16 May be sent to. In addition, the vehicle exterior communication connection device 420 has the same function as the own vehicle position detection unit 405 described above, and may acquire the position information of the own vehicle 1 and send it to the processor 16, and further, the road information database described above. It also has the function of 403, and may acquire the road information (an example of real object-related information) and send it to the processor 16. The information acquired from the vehicle exterior communication connection device 420 is not limited to the above.

メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、画像位置推定モジュール５０４、目位置検出モジュール５０６、走行レーン非重畳判定モジュール５０８、報知必要度判定モジュール５１０、画像位置決定モジュール５１２、画像サイズ決定モジュール５１４、及びグラフィックモジュール５１６を含む。 The software components stored in the memory 18 are the real object related information detection module 502, the image position estimation module 504, the eye position detection module 506, the traveling lane non-overlap determination module 508, the notification necessity degree determination module 510, and the image position determination module. 512, an image size determination module 514, and a graphics module 516.

実オブジェクト関連情報検出モジュール５０２は、自車両１の実オブジェクト（走行レーン３１０）の位置（領域）を少なくとも含む情報（実オブジェクト関連情報とも呼ぶ）をＩ／Ｏインタフェース１４を介して取得する。実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクトの位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクトのサイズ（高さ方向、横方向のサイズ）、を取得してもよい。また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、種類、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。 The real object related information detection module 502 acquires information (also called real object related information) including at least the position (area) of the real object (running lane 310) of the vehicle 1 via the I/O interface 14. The real object-related information detection module 502 detects the position of the real object existing in the foreground 300 of the host vehicle 1 (from the driver 4 in the driver seat of the host vehicle 1 to the traveling direction (forward) of the host vehicle 1) from the vehicle exterior sensor 407. The position in the height direction (vertical direction) and the horizontal direction (horizontal direction) when viewed, and the position in the depth direction (front direction) may be added to these), and the size of the real object (height Direction, lateral size). In addition, the real object related information detection module 502 is based on the type, the direction indicator of the real object (other vehicle), the steering angle, and/or the driving support system from the real object (other vehicle) via the vehicle exterior communication connection device 420. Information indicating the planned progress route and the progress schedule may be acquired.

また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３１０の左側の区画線３１１（図３参照）の位置と、右側の区画線３１２（図３参照）の位置とを取得し、それら区画線３１１，３１２の間の領域（走行レーン３１０の位置）を算出してもよい。 Further, the real object-related information detection module 502 detects, from the vehicle exterior sensor 407, the position of the left lane marking 311 (see FIG. 3) and the right lane marking 312 (see FIG. 3) of the traveling lane 310 of the vehicle 1. And the area between the lane markings 311 and 312 (the position of the traveling lane 310) may be calculated.

画像位置推定モジュール５０４は、画像２００が表示される位置（領域）を推定する。画像位置推定モジュール５０４は、後述する画像位置決定モジュール５１２が決定する画像２００の位置、及び後述する画像サイズ決定モジュール５１４が決定する画像２００のサイズに基づき、表示領域１００内の１つ又はそれ以上の画像２００の位置（領域）を推定してもよい。 The image position estimation module 504 estimates the position (area) where the image 200 is displayed. The image position estimation module 504 determines one or more positions within the display area 100 based on the position of the image 200 determined by the image position determination module 512 described below and the size of the image 200 determined by the image size determination module 514 described below. The position (area) of the image 200 may be estimated.

目位置検出モジュール５０６は、自車両１の運転者４の目の位置を検出する。目位置検出モジュール５０６は、複数段階で設けられた上下方向の領域（又は／及び左右方向の領域）のどこに運転者４の目の位置があるかの判定、運転者４の目の上下方向（Ｙ軸方向）の位置、又は／及び左右方向（Ｘ軸方向）の位置の検出、運転者４の目の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５０６は、例えば、目位置検出部４１１から運転者４の目の位置を取得する、又は、目位置検出部４１１から運転者４の目の位置を推定可能な情報を受信し、運転者４の目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。 The eye position detection module 506 detects the position of the eyes of the driver 4 of the vehicle 1. The eye position detection module 506 determines where in the vertical region (or/and the horizontal region) the eye position of the driver 4 is provided in a plurality of stages, the eye vertical direction of the driver 4 ( Various operations related to the detection of the position in the Y-axis direction or/and the position in the left-right direction (the X-axis direction) and the position of the eyes of the driver 4 (the position in the X-, Y-, and Z-axis directions) are performed. It includes various software components for executing. The eye position detection module 506, for example, acquires the position of the eyes of the driver 4 from the eye position detection unit 411, or receives information that can estimate the position of the eyes of the driver 4 from the eye position detection unit 411, Estimate the position of the eyes of the driver 4. The information capable of estimating the position of the eyes includes, for example, the position of the driver's seat of the host vehicle 1, the position of the driver's 4 face, the height of the sitting height, the input value of the driver 4 on an operation unit (not shown), and the like. Good.

走行レーン非重畳判定モジュール５０８は、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定する。走行レーン非重畳判定モジュール５０８は、表示領域１００の左側又は右側のどちらが走行レーン３１０に非重畳となるかの検出又は推定、表示領域１００のうち走行レーン３１０と非重畳となる領域（後述する走行レーン非重畳領域１０１）の検出又は推定、走行レーン非重畳領域１０１に配置される画像２００の検出又は推定、走行レーン非重畳領域１０１に配置される画像２００の面積（画素数）の検出、表示領域１００のうち走行レーン３１０と重畳する領域（後述する走行レーン重畳領域１０２）の検出又は推定、走行レーン重畳領域１０２に配置される画像２００の検出又は推定、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。図３は、自車両１の運転席から運転者４が前方を向いた際の画像表示部１１が画像２００を表示可能な表示領域１００（実際には表示領域自体は視認されない）と走行レーン３１０との位置関係を説明する図である。図３の走行レーン３１０は、右カーブであり、表示領域１００の左上の領域が走行レーン３１０の左側の区画線３１１を境界に走行レーン３１０の外側と重なる領域（走行レーン非重畳領域１０１）と判定でき、その他の領域を走行レーン３１０と重なる領域（走行レーン重畳領域１０２）と判定できる。走行レーン非重畳判定モジュール５０８は、例えば、実オブジェクト関連情報検出モジュール５０２が取得した走行レーン３１０の位置と、画像位置推定モジュール５０４が推定した画像２００の位置と、目位置検出モジュール５０６に基づいて、視認者から見て、走行レーン非重畳領域１０１に配置される画像２００を検出してもよい。 The traveling lane non-overlapping determination module 508 detects whether the image 200 is non-overlapping (non-overlapping) on the traveling lane 310 as viewed from the driver 4 (viewer sitting in the driver's seat of the own vehicle 1). Or estimate. The traveling lane non-overlapping determination module 508 detects or estimates which of the left side or the right side of the display area 100 is non-overlapping on the traveling lane 310, and the area of the display area 100 which is not overlapping with the traveling lane 310 (travel described later). Detection or estimation of lane non-overlapping area 101), detection or estimation of image 200 arranged in traveling lane non-overlapping area 101, detection and display of area (number of pixels) of image 200 arranged in traveling lane non-overlapping area 101. Various operations related to detection or estimation of an area (a traveling lane overlapping area 102 described later) that overlaps the traveling lane 310 in the area 100 and detection or estimation of an image 200 arranged in the traveling lane overlapping area 102 are executed. Includes various software components for FIG. 3 shows a display area 100 (in which the display area itself is not visually recognized) and a traveling lane 310 in which the image display unit 11 can display the image 200 when the driver 4 faces forward from the driver's seat of the vehicle 1. It is a figure explaining the positional relationship with. The traveling lane 310 in FIG. 3 is a right curve, and an area (a traveling lane non-overlapping area 101) in which the upper left area of the display area 100 overlaps with the outside of the traveling lane 310 with a partition line 311 on the left side of the traveling lane 310 as a boundary. The determination can be made, and the other region can be determined as a region overlapping with the traveling lane 310 (driving lane overlapping region 102). The traveling lane non-overlapping determination module 508 is based on, for example, the position of the traveling lane 310 acquired by the real object related information detection module 502, the position of the image 200 estimated by the image position estimation module 504, and the eye position detection module 506. The image 200 arranged in the traveling lane non-overlapping area 101 may be detected from the viewpoint of the viewer.

図２の報知必要度判定モジュール５１０は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５１０は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５１０が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５１０は、運転者４に報知すべきかを判定し、画像２００の一部又は全部を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。 The notification necessity determination module 510 of FIG. 2 determines whether or not each image 200 displayed by the vehicle display system 10 is the content to be notified to the driver 4. The notification necessity degree determination module 510 may obtain information from various other electronic devices connected to the I/O interface 14 and calculate the notification necessity degree. Further, the electronic device connected to the I/O interface 14 in FIG. 2 transmits information to the vehicle ECU 401, and the notification necessity degree determination module 510 detects (acquires) the notification necessity degree determined by the vehicle ECU 401 based on the received information. ) May be. The "necessity of notification" is, for example, the degree of danger derived from the degree of seriousness of the possibility itself, the degree of urgency derived from the length of the reaction time required for taking a reaction action, the own vehicle 1 or the driver 4 ( Alternatively, it may be determined based on the effectiveness derived from the situation of other occupants of the own vehicle 1 or a combination thereof (the indicator of the notification necessity degree is not limited to these). That is, the notification necessity degree determination module 510 determines whether to notify the driver 4 and may select not to display a part or all of the image 200. The vehicle display system 10 may not have the function of estimating (calculating) the notification necessity degree, and some or all of the functions of estimating the notification necessity degree may be displayed by the vehicle display system 10. It may be provided separately from the control device 13.

画像位置決定モジュール５１２は、表示領域１００内での画像２００の位置、又は／及び表示領域１００の位置を決定する。画像位置決定モジュール５１２は、画像２００が前記ＡＲ画像であれば、実オブジェクトと特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。例えば、画像位置決定モジュール５１２は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。また、画像位置決定モジュール５１２は、表示更新周期毎に、実オブジェクトの位置を予測し、その予測位置に基づいて、画像２００の座標を決定してもよい。この場合、画像位置決定モジュール５１２は、実オブジェクト関連情報検出モジュール５０２が少なくとも直前に取得した実オブジェクトの位置（観測位置）を含む過去に取得した１つ又はそれ以上の実オブジェクトの観測位置を元に予測される画像２００（前記ＡＲ画像）の表示更新周期における実オブジェクトの予測位置に基づいて画像２００（前記ＡＲ画像）の位置を設定してもよい。画像位置決定モジュール５１２による実オブジェクトの予測位置の算出方法に特段の制約はなく、画像位置決定モジュール５１２が処理対象とする表示更新周期よりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。画像位置決定モジュール５１２は、例えば、最小二乗法や、カルマンフィルタ、α−βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の１つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。 The image position determination module 512 determines the position of the image 200 within the display area 100 and/or the position of the display area 100. The image position determination module 512, based on the position of the real object detected by the real object related information detection module 502, so that the image 200 is visually recognized in a specific positional relationship with the real object if the image 200 is the AR image. , The coordinates of the image 200 (including at least the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction) when the driver 4 views the direction of the display area 100 from the driver's seat of the vehicle 1) are determined. .. For example, the image position determination module 512 determines the position of the image 200 in the left-right direction and the vertical direction so that the center of the image 200 is visually recognized as overlapping with the center of the real object. The “specific positional relationship” can be adjusted depending on the situation of the real object or the host vehicle 1, the type of the real object, the type of the displayed image, and the like. In addition, the image position determination module 512 may predict the position of the real object for each display update cycle, and determine the coordinates of the image 200 based on the predicted position. In this case, the image position determination module 512 uses the observation position of one or more real objects acquired in the past including the position (observation position) of the real object acquired at least immediately before by the real object related information detection module 502. Alternatively, the position of the image 200 (the AR image) may be set based on the predicted position of the real object in the display update cycle of the image 200 (the AR image) predicted. There is no particular restriction on the method of calculating the predicted position of the real object by the image position determination module 512, as long as the prediction is performed based on the observation position acquired in the past from the display update cycle to be processed by the image position determination module 512. Any method may be used. The image position determination module 512 uses the prediction algorithm such as the least squares method, the Kalman filter, the α-β filter, or the particle filter to determine the next value using one or more past observed positions. You may make it predict.

また、画像２００が前記非ＡＲ画像であれば、画像位置決定モジュール５１２は、種別毎に予め定められた表示領域１００内の所定の位置に各画像２００の位置を設定してもよい。 Further, if the image 200 is the non-AR image, the image position determination module 512 may set the position of each image 200 to a predetermined position within the display area 100 that is predetermined for each type.

また、画像位置決定モジュール５１２は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると推定される画像２００の面積が減少するように、走行レーン非重畳領域１０１に配置されていると検出又は推定された画像２００を走行レーン重畳領域１０２の方へ移動させる。また、画像位置決定モジュール５１２は、走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、走行レーン重畳領域１０２に画像２００が移動してくるスペースを空けるため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００の配置を変えてもよい。また、画像位置決定モジュール５１２は、走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、表示領域１００に表示される複数の画像２００の配置を適切な配置に調整するため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００の配置を変えてもよい。 Further, in the image position determination module 512, whether the traveling lane non-overlapping determination module 508 sees the driver 4 (viewer seated in the driver's seat of the vehicle 1) from the image 200 is non-overlapping on the traveling lane 310. When (whether or not it is superposed) is detected or estimated, it is arranged in the traveling lane non-overlapping region 101 so that the area of the image 200 estimated to be arranged in the traveling lane non-overlapping region 101 is reduced. The image 200 detected or estimated to be moved to the traveling lane overlapping region 102. In addition, when the image position determination module 512 moves the image 200 estimated to be arranged in the traveling lane non-overlapping area 101 toward the traveling lane overlapping area 102, the image 200 moves to the traveling lane overlapping area 102. The arrangement of some or all of the images 200 displayed in the traveling lane overlapping region 102 may be changed in order to make room for the incoming space. In addition, the image position determination module 512 moves the image 200 estimated to be arranged in the traveling lane non-overlapping area 101 toward the traveling lane overlapping area 102, and the plurality of images 200 displayed in the display area 100. In order to adjust the arrangement of No. 2 to an appropriate arrangement, the arrangement of some or all of the images 200 displayed in the traveling lane overlapping area 102 may be changed.

画像サイズ決定モジュール５１４は、画像２００のサイズを決定する。画像サイズ決定モジュール５１４は、画像２００が前記ＡＲ画像であれば、対応付ける実オブジェクトの位置、又は／及びサイズに合わせて、画像２００のサイズを変更してもよい。例えば、画像サイズ決定モジュール５１４は、対応付ける実オブジェクトの位置が遠方であれば、ＡＲ画像のサイズを小さくし得る。また、画像サイズ決定モジュール５１４は、対応付ける実オブジェクトのサイズが大きければ、ＡＲ画像のサイズを大きくし得る。画像サイズ決定モジュール５１４は、過去の所定の回数の実オブジェクトのサイズに基づいて、今回の表示更新周期で表示する画像（ＡＲ画像）２００を表示するサイズを予測算出する機能を有してもよい。第１の手法として、画像サイズ決定モジュール５１４は、カメラ（車外センサ４０７の一例）による過去の２つの撮像画像間で、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用して、実オブジェクトの画素を追跡することで、今回の表示更新周期における実オブジェクトのサイズを予測し、予測した実オブジェクトのサイズに合わせてＡＲ画像のサイズを決定してもよい。第２手法として、過去の２つの撮像画像間での実オブジェクトのサイズの変化に基づき、実オブジェクトのサイズの変化率を求めて、実オブジェクトのサイズの変化率に応じてＡＲ画像のサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクトのサイズ変化を推定する方法は、上記に限られず、例えば、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ−Ｂｕｘｔｏｎ、Ｂｌａｃｋ−Ｊｅｐｓｏｎ法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。 The image size determination module 514 determines the size of the image 200. If the image 200 is the AR image, the image size determination module 514 may change the size of the image 200 according to the position and/or size of the real object to be associated. For example, the image size determination module 514 can reduce the size of the AR image if the position of the real object to be associated is distant. Further, the image size determination module 514 can increase the size of the AR image if the size of the real object to be associated is large. The image size determination module 514 may have a function of predicting and calculating the display size of the image (AR image) 200 to be displayed in the display update cycle of this time, based on the size of the real object a predetermined number of times in the past. .. As a first method, the image size determination module 514 may track pixels of a real object between two past captured images captured by a camera (an example of the vehicle exterior sensor 407) using, for example, the Lucas-Kanade method. Then, the size of the real object in the current display update cycle may be predicted, and the size of the AR image may be determined according to the predicted size of the real object. As a second method, the rate of change of the size of the real object is obtained based on the change of the size of the real object between the past two captured images, and the size of the AR image is determined according to the rate of change of the size of the real object. You may. Note that the method of estimating the size change of the real object from the viewpoint that changes in time series is not limited to the above, and includes, for example, known optical flow estimation algorithms such as the Horn-Schunkk method, the Buxton-Buxton, and the Black-Jepson method. You may use the method of.

また、画像２００が前記非ＡＲ画像であれば、画像サイズ決定モジュール５１４は、種別毎に予め定められたサイズに各画像２００のサイズを設定してもよい。 If the image 200 is the non-AR image, the image size determination module 514 may set the size of each image 200 to a size that is predetermined for each type.

また、画像サイズ決定モジュール５１４は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、数、又は／及び、報知必要度判定モジュール５１０で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定し得る。 Further, the image size determination module 514 is detected by the type, number, and/or notification necessity determination module 510 of the real objects that display the image 200 detected by the real object related information detection module 502 in association with each other ( The size of the image 200 may be determined based on the estimated size of the notification need.

また、画像サイズ決定モジュール５１４は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると推定される画像２００の面積が減少するように、走行レーン非重畳領域１０１に配置されていると検出又は推定された画像２００のサイズを小さくする。また、画像サイズ決定モジュール５１４は、画像位置決定モジュール５１２が走行レーン非重畳領域１０１に配置されていると検出又は推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、走行レーン重畳領域１０２に画像２００が移動してくるスペースを空けるため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００のサイズを小さくしてもよい。また、画像サイズ決定モジュール５１４は、画像位置決定モジュール５１２が走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、表示領域１００に表示される複数の画像２００の配置のバランスをメモリ１８に記憶された、より適切なバランスにするため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００のサイズを変えてもよい。 In the image size determination module 514, the traveling lane non-overlapping determination module 508 determines whether the image 200 is non-overlapping on the traveling lane 310 when viewed from the driver 4 (viewer seated in the driver's seat of the own vehicle 1). When (whether or not it is superposed) is detected or estimated, it is arranged in the traveling lane non-overlapping region 101 so that the area of the image 200 estimated to be arranged in the traveling lane non-overlapping region 101 is reduced. The size of the image 200 detected or estimated as is reduced. Further, the image size determination module 514 moves the image 200 determined or estimated to be located in the traveling lane non-overlapping region 101 by the image position determination module 512 toward the traveling lane overlapping region 102, and then overlaps the traveling lane. The size of some or all of the images 200 displayed in the traveling lane overlapping region 102 may be reduced in order to leave a space in which the image 200 moves in the region 102. Further, the image size determination module 514 displays the image 200, which is estimated to be arranged in the traveling lane non-overlapping area 101, in the display area 100 when the image position determination module 512 moves the image 200 estimated to be arranged in the traveling lane non-overlapping area 101. In order to balance the arrangement of the plurality of images 200 stored in the memory 18 into a more appropriate balance, the size of some or all of the images 200 displayed in the traveling lane overlapping region 102 may be changed. ..

グラフィックモジュール５１６は、表示される画像２００の視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた画像表示部１１に画像２００をレンダリングして表示するための様々な基地のソフトウェア構成要素を含む。 The graphics module 516 displays the image 200 on the image display 11 including components for changing the visual effect of the displayed image 200 (eg, brightness, transparency, saturation, contrast, or other visual characteristic). Includes various base software components for rendering and display.

また、グラフィックモジュール５１６は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると検出又は推定される画像２００（又は／及び走行レーン重畳領域１０２に配置されていると検出又は推定される画像２００）の、報知必要度判定モジュール５１０により判定された報知必要度がメモリ１８に記憶された所定の報知必要度より低ければ、その画像２００を非表示にしてもよい。 Further, in the graphic module 516, the traveling lane non-overlapping determination module 508 determines whether the image 200 is non-overlapping on the traveling lane 310 when viewed from the driver 4 (viewer seated in the driver's seat of the vehicle 1) (overlapping). If it is detected or estimated, it is detected or estimated that the image 200 (or/and the driving lane overlapping region 102) is detected or estimated to be arranged in the traveling lane non-overlapping region 101. Image 200), the image 200 may be hidden if the notification necessity degree determined by the notification necessity determination module 510 is lower than the predetermined notification necessity degree stored in the memory 18.

プロセッサ１６及び画像処理回路２０は、画像位置決定モジュール５１２が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１４が設定したサイズ、グラフィックモジュール５１６が設定したプロパティ、に基づいて運転者４に視認されるように画像表示部１１に画像２００を表示する。 The processor 16 and the image processing circuit 20 display the coordinates set by the image position determination module 512 (the left-right direction (X-axis direction) when the driver 4 views the display area 100 from the driver's seat of the vehicle 1 and the vertical direction). Direction (including at least the Y-axis direction), the size set by the image size determination module 514, the property set by the graphic module 516, and the image 200 is displayed on the image display unit 11 so as to be visually recognized by the driver 4. To do.

図４は、いくつかの実施形態に係る、画像の表示処理のフロー図である。まず、プロセッサ１６は、実オブジェクト関連情報検出モジュール５０２を実行して、走行レーン３１０の位置（領域）を取得し（ステップＳ１１）、画像位置推定モジュール５０４を実行して、画像２００が表示される位置を取得し（ステップＳ１２）、目位置検出モジュール５０６を実行して、視認者（運転者４）の目の位置を取得する（ステップＳ１３）。 FIG. 4 is a flow diagram of image display processing according to some embodiments. First, the processor 16 executes the real object related information detection module 502 to acquire the position (area) of the traveling lane 310 (step S11), and executes the image position estimation module 504 to display the image 200. The position is acquired (step S12), the eye position detection module 506 is executed, and the position of the eyes of the viewer (driver 4) is acquired (step S13).

ステップＳ１４において、プロセッサ１６は、走行レーン非重畳判定モジュール５０８を実行して、ステップＳ１１で取得した走行レーン３１０の位置と、ステップＳ１２で取得した画像２００の位置と、ステップＳ１３で取得した視認者の目の位置とに基づいて、視認者から見て、走行レーンに重ならない領域に画像が表示されているか判定する。走行レーン３１０に重ならない走行レーン非重畳領域１０１に画像２００が表示されていない場合、処理を終了し、再びステップＳ１１からのルーチンを開始する。また、走行レーン３１０に重ならない走行レーン非重畳領域１０１に画像が表示されている場合、ステップＳ１５へ移行する。 In step S14, the processor 16 executes the traveling lane non-overlapping determination module 508, the position of the traveling lane 310 acquired in step S11, the position of the image 200 acquired in step S12, and the viewer acquired in step S13. It is determined whether the image is displayed in the area that does not overlap the traveling lane as seen by the viewer based on the position of the eye. When the image 200 is not displayed in the traveling lane non-overlapping area 101 which does not overlap the traveling lane 310, the processing is ended and the routine from step S11 is started again. When the image is displayed in the traveling lane non-overlapping area 101 that does not overlap the traveling lane 310, the process proceeds to step S15.

ステップＳ１５において、プロセッサ１６は、走行レーン非重畳領域１０１に表示されていると検出又は推定される画像２００の面積が減少するように、画像２００を移動、画像２００を縮小、画像２００を非表示、又はこれらの組み合わせを実行し、再びステップＳ１１からのルーチンを開始する。 In step S15, the processor 16 moves the image 200, reduces the image 200, and hides the image 200 so that the area of the image 200 detected or estimated to be displayed in the traveling lane non-overlapping area 101 is reduced. , Or a combination thereof, and the routine from step S11 is started again.

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。 The operations of the processing processes described above can be performed by executing one or more functional modules of an information processing device such as a general-purpose processor or an application-specific chip. All of these modules, combinations of these modules, and/or combinations with known hardware capable of substituting their functions are included in the scope of protection of the present invention.

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。 The functional blocks of the vehicular display system 10 are optionally implemented by hardware, software, or a combination of hardware and software to implement the principles of the various described embodiments. The functional blocks described in FIG. 2 may optionally be combined or one functional block may be separated into two or more sub-blocks to implement the principles of the described embodiments. As will be appreciated by those skilled in the art. Thus, the description herein optionally supports any possible combination or division of the functional blocks described herein.

図５、及び図６Ａ乃至図６Ｃを用いて、画像の表示態様の変化について説明する。図５は、図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行される前の画像２００の配置を例示する図であり、図６Ａ、図６Ｂ、図６Ｃは、図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像２００の配置を例示する図である。図５において、走行レーン非重畳領域１０１には、第１画像２１０の全部と、第２画像２２０の一部と、が配置され、走行レーン重畳領域１０２には、第２画像２２０の大部分と、第３画像２３０の全部と、が配置されている。 The change in the display mode of the image will be described with reference to FIGS. 5 and 6A to 6C. FIG. 5 is a diagram illustrating an arrangement of the image 200 before the processing (change of display mode) of step S15 of FIG. 4 is executed in the case of the positional relationship between the display area and the traveling lane shown in FIG. FIG. 6A, FIG. 6B, and FIG. 6C are images after the process (change of display mode) of step S15 of FIG. 4 is executed in the case of the positional relationship between the display area and the traveling lane shown in FIG. It is a figure which illustrates arrangement|positioning of 200. In FIG. 5, the entire first image 210 and a part of the second image 220 are arranged in the traveling lane non-overlapping region 101, and most of the second image 220 is in the traveling lane overlapping region 102. , The entire third image 230, and are arranged.

図６Ａを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０を移動させてもよい。なお、プロセッサ１６は、第１画像２１０の一部が、走行レーン重畳領域１０２に配置されるように第１画像２１０移動させてもよい。また、この際、走行レーン非重畳領域１０１に配置されている面積が一部である、又は面積がメモリ１８に記憶された所定の面積閾値より低い場合などは、第２画像２２０のように、図４のステップＳ１５が実行されなくてもよい。 Please refer to FIG. 6A. The processor 16 executes step S15 of FIG. 4 and moves the first image 210 so that all of the first images 210 arranged in the traveling lane non-overlapping region 101 are arranged in the traveling lane overlapping region 102. Good. Note that the processor 16 may move the first image 210 so that a part of the first image 210 is arranged in the traveling lane overlapping region 102. At this time, if the area arranged in the traveling lane non-overlapping area 101 is a part of the area or the area is lower than a predetermined area threshold value stored in the memory 18, as in the second image 220, The step S15 of FIG. 4 may not be executed.

次に図６Ｂを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０のサイズを縮小しつつ、移動してもよい。また、この際、プロセッサ１６は、第１画像２１０が、走行レーン重畳領域１０２に配置されるスペースを生成するように、走行レーン重畳領域１０２に配置されていた第２画像２２０又は／及び第３画像２３０を縮小してもよい。 Next, refer to FIG. 6B. The processor 16 executes step S15 of FIG. 4 and reduces the size of the first image 210 so that the entire first image 210 arranged in the traveling lane non-overlapping region 101 is arranged in the traveling lane overlapping region 102. While moving, you may move. Further, at this time, the processor 16 causes the first image 210 to generate a space to be arranged in the traveling lane overlapping region 102, so that the second image 220 and/or the third image 220 arranged in the traveling lane overlapping region 102. The image 230 may be reduced.

次に図６Ｃを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０を移動させるスペースを生成するため、報知必要度の低い第３画像２３０を非表示にしつつ、第２画像２２０を移動してもよい。 Next, refer to FIG. 6C. The processor 16 executes step S15 of FIG. 4 and moves the first image 210 so that the entire first image 210 arranged in the traveling lane non-overlapping region 101 is arranged in the traveling lane overlapping region 102. Therefore, the second image 220 may be moved while the third image 230 having a low notification need is hidden.

以上に説明したように、本実施形態の表示制御装置は、走行レーン３１０の位置と視認者の目の位置と画像２００の位置とから、表示領域１００のうち運転者４から見て走行レーン３１０と重ならない走行レーン非重畳領域１０１に画像２００が表示されていると判定される場合、走行レーン非重畳領域１０１に配置されている画像２００の面積が減少するように、画像２００を移動、縮小、非表示、又はこれらの組み合わせを実行する。これによれば、走行レーンに重ならない領域に表示される画像の面積を減少し、画像の視認性の低下を抑制することができる。 As described above, the display control device according to the present embodiment uses the position of the traveling lane 310, the position of the viewer's eyes, and the position of the image 200 to determine the traveling lane 310 of the driver 4 in the display area 100. When it is determined that the image 200 is displayed in the traveling lane non-overlapping area 101 that does not overlap with the traveling lane, the image 200 is moved or reduced so that the area of the image 200 arranged in the traveling lane non-overlapping area 101 is reduced. , Hide, or perform a combination of these. According to this, it is possible to reduce the area of the image displayed in the region that does not overlap with the traveling lane, and suppress the deterioration of the visibility of the image.

また、表示領域１００は、図１に示すように、運転者４から見て、上下左右からなる平面（ＸＹ平面）に概ね沿うような配置に限定されない。例えば、表示領域１００は、運転者４から見た左右方向（Ｘ軸方向）を軸として回転させ、走行レーン３１０（ＺＸ平面）に概ね沿うように配置されてもよい。なお、表示領域１００は、平面ではなく、曲面になり得る。また、画像表示部１１に立体表示器を採用し、３次元領域である表示領域１００に画像２００を表示するものであってもよい。 Further, as shown in FIG. 1, the display area 100 is not limited to the arrangement that is substantially along a plane (XY plane) that is vertically and horizontally viewed from the driver 4. For example, the display region 100 may be rotated about the left-right direction (X-axis direction) viewed from the driver 4 and arranged substantially along the traveling lane 310 (ZX plane). The display area 100 may be a curved surface instead of a flat surface. Further, a stereoscopic display may be adopted as the image display unit 11 and the image 200 may be displayed in the display area 100 which is a three-dimensional area.

また、いくつかの実施形態では、画像表示部１１が表示する画像の画像データが車両ＥＣＵ４０１により生成される場合、画像位置推定モジュール５０４は、車両ＥＣＵ４０１から取得する画像データから画像２００の位置を推定してもよい。 Further, in some embodiments, when the image data of the image displayed by the image display unit 11 is generated by the vehicle ECU 401, the image position estimation module 504 estimates the position of the image 200 from the image data acquired from the vehicle ECU 401. You may.

また、画像２００は、Ｉ／Ｏインタフェース１４から取得される情報を元に生成されるとすると、いくつかの実施形態では、画像位置推定モジュール５０４は、Ｉ／Ｏインタフェース１４から取得される各種情報に基づいて、画像２００の位置を推定してもよい。 Further, assuming that the image 200 is generated based on the information acquired from the I/O interface 14, in some embodiments, the image position estimation module 504 uses the various information acquired from the I/O interface 14. The position of the image 200 may be estimated based on

また、画像表示部１１における表示領域１００の位置が可変であれば、いくつかの実施形態では、画像位置推定モジュール５０４は、表示領域１００内の１つ又はそれ以上の画像２００の位置を推定することに加え、又はこの代わりに、調整された表示領域１００の位置を推定してもよい。 Also, if the position of the display area 100 on the image display unit 11 is variable, in some embodiments the image position estimation module 504 estimates the position of one or more images 200 within the display area 100. Additionally or alternatively, the adjusted position of the display area 100 may be estimated.

また、いくつかの実施形態では、走行レーン非重畳領域１０１と走行レーン重畳領域１０２との境界は、走行レーン３１０の区画線３１１，３１２に限定されず、路側物であってもよく、これら区画線や路側物を基準に走行レーン３１０の内側又は外側にオフセットした位置にプロセッサ１６が設定した境界であってもよい。 Further, in some embodiments, the boundary between the traveling lane non-overlapping area 101 and the traveling lane overlapping area 102 is not limited to the lane markings 311 and 312 of the traveling lane 310 and may be a roadside object. It may be a boundary set by the processor 16 at a position offset inside or outside the traveling lane 310 with reference to a line or a roadside object.

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、１００…表示領域、１０１…走行レーン非重畳領域、１０２…走行レーン重畳領域、２００…画像、２１０…第１画像、２２０…第２画像、２３０…第３画像、３００…前景、３１０…走行レーン、３１１…区画線、３１２…区画線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…画像位置推定モジュール、５０６…目位置検出モジュール、５０８…走行レーン非重畳判定モジュール、５１０…報知必要度判定モジュール、５１２…画像位置決定モジュール、５１４…画像サイズ決定モジュール、５１６…グラフィックモジュール DESCRIPTION OF SYMBOLS 1... Own vehicle, 2... Front windshield, 4... Driver, 5... Dashboard, 10... Vehicle display system, 11... Image display part, 11a... Display light, 13... Display control device, 14... I/O Interface, 16... Processor, 18... Memory, 20... Image processing circuit, 100... Display area, 101... Running lane non-overlapping area, 102... Running lane overlapping area, 200... Image, 210... First image, 220... Second Image, 230... Third image, 300... Foreground, 310... Driving lane, 311... Marking line, 312... Marking line, 401... Vehicle ECU, 403... Road information database, 405... Own vehicle position detecting section, 407... Exterior sensor , 409... Line-of-sight direction detection unit, 411... Eye position detection unit, 413... Portable information terminal, 420... External communication connection device, 502... Real object related information detection module, 504... Image position estimation module, 506... Eye position detection module , 508... Driving lane non-overlap determination module, 510... Notification necessity degree determination module, 512... Image position determination module, 514... Image size determination module, 516... Graphic module

Claims

In a display control device (13) that controls an image display unit (11) that displays an image (200) in a display area (100) that overlaps with the foreground seen by the driver of the own vehicle,
One or more I/O interfaces (14),
One or more processors (16),
A memory (18),
One or more computer programs stored in the memory (18) and configured to be executed by the one or more processors (16),
Said one or more processors (16)
From the one or more I/O interfaces (14),
The position of the driving lane (310) of the own vehicle,
The position of the eyes of the driver of the vehicle,
And the position of the image (200) being displayed,
From the position of the driving lane (310), the position of the eyes, and the position of the image (200), a driving lane non-overlapping in the display area (100) that does not overlap with the driving lane (310) as seen by the driver. When it is determined that the image (200) is displayed in the overlapping area (101),
Executing a command to change the display mode of the image (200) so that the area of the image (200) arranged in the traveling lane non-overlapping region (101) decreases.
Display controller.

The instruction to change the display mode of the image (200) so that the area of the image (200) arranged in the traveling lane non-overlapping area (101) is reduced,
The image (200) arranged in the traveling lane non-overlapping area (101) is transferred to the traveling lane overlapping area (102) which is not the traveling lane non-overlapping area (101) in the display area (100). Including moving,
The display control device according to claim 1.

When the image (200) arranged in the traveling lane non-overlapping area (101) is moved toward the traveling lane overlapping area (102), the image displayed in the traveling lane overlapping area (102) is displayed. The display control device according to claim 2, further comprising: executing a command to generate a space for arranging the image (200) arranged in the traveling lane non-overlapping area (101) by changing an image arrangement.

The instruction to change the display mode of the image (200) so that the area of the image (200) arranged in the traveling lane non-overlapping area (101) is reduced,
Reducing the image (200) arranged in the traveling lane non-overlapping area (101),
The display control device according to claim 1.

In a method of controlling an image display unit (11) that displays an image (200) in a display area (100) that overlaps with a foreground seen by a driver of a vehicle,
The position of the driving lane (310) of the own vehicle,
The position of the eyes of the driver of the vehicle,
Obtaining the position of the image (200) being displayed,
From the position of the driving lane (310), the position of the eyes, and the position of the image (200), a driving lane non-overlapping in the display area (100) that does not overlap with the driving lane (310) as seen by the driver. When it is determined that the image (200) is displayed in the overlapping area (101),
Changing the display mode of the image (200) so that the area of the image (200) arranged in the traveling lane non-overlapping region (101) decreases.
Method.

Changing the display mode of the image (200) so that the area of the image (200) arranged in the driving lane non-overlapping region (101) decreases.
The image (200) arranged in the traveling lane non-overlapping area (101) is transferred to the traveling lane overlapping area (102) which is not the traveling lane non-overlapping area (101) in the display area (100). Including moving,
The method according to claim 5.

When the image (200) arranged in the traveling lane non-overlapping area (101) is moved toward the traveling lane overlapping area (102), the image displayed in the traveling lane overlapping area (102) is displayed. Changing the arrangement of the images to generate a space for arranging the images (200) arranged in the traveling lane non-overlapping area (101).
The method of claim 6.

Changing the display mode of the image (200) so that the area of the image (200) arranged in the driving lane non-overlapping region (101) decreases.
Reducing the image (200) arranged in the traveling lane non-overlapping area (101),
The method according to any one of claims 5 to 7.

A computer program comprising instructions for performing the method of claims 5-8.