JP2019161346A - Head-up display device and display image correction method - Google Patents

Head-up display device and display image correction method Download PDF

Info

Publication number
JP2019161346A
JP2019161346A JP2018042904A JP2018042904A JP2019161346A JP 2019161346 A JP2019161346 A JP 2019161346A JP 2018042904 A JP2018042904 A JP 2018042904A JP 2018042904 A JP2018042904 A JP 2018042904A JP 2019161346 A JP2019161346 A JP 2019161346A
Authority
JP
Japan
Prior art keywords
correction
video
display
image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018042904A
Other languages
Japanese (ja)
Inventor
一也 岩上
Kazuya Iwakami
一也 岩上
健 荒川
Takeshi Arakawa
健 荒川
望 下田
Nozomu Shimoda
望 下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Holdings Ltd filed Critical Maxell Holdings Ltd
Priority to JP2018042904A priority Critical patent/JP2019161346A/en
Publication of JP2019161346A publication Critical patent/JP2019161346A/en
Pending legal-status Critical Current

Links

Images

Abstract

To preferably perform distortion correction caused by the curvature of a windshield and the size correction associated with the distortion correction at the time of displaying an image.SOLUTION: A head-up display device 1 includes a video correction unit 26 that corrects video generated by a video display device 30, and a memory 24 that stores a correction table 300 for performing correction processing by a video correction unit. In the correction table 300, an image distortion correction amount corresponding to the projection position on a windshield 3 is described in advance. The video correction unit 26 refers to the correction table in order to correct the distortion of the video by referring to the distortion correction amount described in the correction table and to correct the size change of an object 110 in the video due to the distortion correction to correct the size of the object.SELECTED DRAWING: Figure 8

Description

本発明は、車両等に搭載し各種映像情報を好適に表示するヘッドアップディスプレイ装置および表示映像補正方法に関するものである。   The present invention relates to a head-up display device that is mounted on a vehicle or the like and that suitably displays various types of video information, and a display video correction method.

近年、映像を現実空間に重ねて表示する技術の1つとして、車両のフロントガラス(ウィンドシールド)に各種情報を表示する車両用映像表示装置(いわゆるヘッドアップディスプレイ装置、以下HUD)が実用化されている。例えば表示する映像情報(表示コンテンツ)として運転者向けの情報を提供することで、車両の運転操作を支援することができる。   2. Description of the Related Art In recent years, a vehicle video display device (so-called head-up display device, hereinafter referred to as HUD) that displays various types of information on a windshield (wind shield) of a vehicle has been put into practical use as one of the technologies for displaying video in a real space. ing. For example, by providing information for a driver as video information (display content) to be displayed, a driving operation of the vehicle can be supported.

HUDの構成は、液晶ディスプレイなどの映像表示装置で生成した映像を凹面ミラーを介して車両のウィンドシールドに投射し、ウィンドシールドで反射した映像が運転者の目に入射することで、運転者は車両の前方に映像情報を虚像として視認するものである。その際、凹面ミラーの曲率に応じて、運転者の視認する虚像には歪みが発生する。この歪みを解消する技術として、例えば特許文献1には、HUDの光学系の特性に起因する虚像の歪み形状から決定した関数を用いて、虚像の歪みを相殺するように元画像から表示画像への変換を行う手法が記載されている。   The structure of the HUD is that a video generated by a video display device such as a liquid crystal display is projected onto the windshield of the vehicle through a concave mirror, and the video reflected by the windshield is incident on the driver's eyes, so that the driver The video information is visually recognized as a virtual image in front of the vehicle. At that time, the virtual image visually recognized by the driver is distorted according to the curvature of the concave mirror. As a technique for eliminating this distortion, for example, in Patent Document 1, from a source image to a display image so as to cancel the distortion of the virtual image using a function determined from the distortion shape of the virtual image caused by the characteristics of the optical system of the HUD. A method for performing the conversion is described.

特開2003−287707号公報JP 2003-287707 A

特許文献1は、HUDによる表示映像の歪みとして、HUD内の光学系、具体的には凹面ミラーのような単純な曲面形状に起因する歪みを対象としている。そして、HUDから出射した映像は、コンバイナのような曲率がない(もしくはほとんど曲率がない)ものへ出射されることを前提としている。しかしながら、大画面の映像を表示する場合には、HUDから出射した映像はウィンドシールドの端部を含む広い領域で反射されることになり、ウィンドシールドの曲率に起因する歪みは無視できなくなる。また、凹面ミラーやコンバイナの曲率と比較し、ウィンドシールドの曲率は複雑であるから、特許文献1で提案されている関数式の手法を適用することは困難である。   Japanese Patent Laid-Open No. 2004-228561 is directed to distortion caused by a simple curved surface shape such as an optical system in the HUD, specifically, a concave mirror, as distortion of a display image by HUD. Then, it is assumed that the video emitted from the HUD is emitted to one having no curvature (or almost no curvature) like a combiner. However, when displaying a large screen image, the image emitted from the HUD is reflected in a wide area including the end portion of the windshield, and distortion caused by the curvature of the windshield cannot be ignored. Further, since the curvature of the windshield is more complicated than the curvature of the concave mirror or combiner, it is difficult to apply the functional method proposed in Patent Document 1.

さらには、表示映像の歪み補正を大きく施した場合、表示される映像のサイズが変化することになる。例えば、同じ大きさのオブジェクトを画面内の左右位置に表示した場合、左右のオブジェクトのサイズが異なって見えることになり、運転者に違和感を与える。よって、歪み補正だけでなくこれに伴うサイズの補正も必要になる。特許文献1では、ウィンドシールドの曲率に起因する歪み補正、および歪み補正に伴うサイズ補正について考慮されていない。   Furthermore, when distortion correction of the display image is performed largely, the size of the displayed image changes. For example, when objects of the same size are displayed at the left and right positions in the screen, the sizes of the left and right objects will appear different, giving the driver a sense of discomfort. Therefore, not only the distortion correction but also the size correction associated therewith is required. In Patent Document 1, no consideration is given to distortion correction caused by the curvature of the windshield and size correction accompanying distortion correction.

本発明の目的は、映像を表示する際、ウィンドシールドの曲率に起因する歪み補正、および歪み補正に伴うサイズ補正を好適に実施できるヘッドアップディスプレイ装置および表示映像補正方法を提供することである。   An object of the present invention is to provide a head-up display device and a display image correction method capable of suitably performing distortion correction due to the curvature of a windshield and size correction accompanying distortion correction when displaying an image.

上記課題を解決するため、本発明によるヘッドアップディスプレイ装置は、光源と表示素子を有し映像を生成する映像表示装置と、映像表示装置で生成した映像をウィンドシールドに向けて投射させるミラーと、ミラーの位置を移動させるミラー駆動部と、映像表示装置が生成する映像の補正処理を行う映像補正部と、映像補正部が補正処理を行うための補正用テーブルを格納するメモリと、を備える。補正用テーブルには、予めウィンドシールド上の投射位置に応じた映像の歪み補正量が記述され、映像補正部は、補正用テーブルに記述された歪み補正量を参照して映像の歪み補正を行うとともに、歪み補正に伴う映像内のオブジェクトのサイズ変化を修正するため、補正用テーブルを参照してオブジェクトのサイズ補正を行うことを特徴とする。   In order to solve the above-described problems, a head-up display device according to the present invention includes a video display device that has a light source and a display element to generate a video, a mirror that projects the video generated by the video display device toward a windshield, A mirror driving unit that moves the mirror position, a video correction unit that performs correction processing of a video generated by the video display device, and a memory that stores a correction table for the video correction unit to perform correction processing. In the correction table, the image distortion correction amount corresponding to the projection position on the windshield is described in advance, and the image correction unit performs image distortion correction with reference to the distortion correction amount described in the correction table. In addition, in order to correct a change in the size of the object in the video accompanying distortion correction, the object size is corrected with reference to the correction table.

また、本発明による表示映像補正方法は、予め、ウィンドシールド上の投射位置に応じた映像の歪み補正量が記述された補正用テーブルを作成するステップと、映像表示装置で生成した映像を移動可能なミラーによりウィンドシールドに向けて投射させるステップと、映像表示装置が生成する映像に対し、補正用テーブルに記述された歪み補正量を参照して歪み補正を行うステップと、歪み補正に伴う映像内のオブジェクトのサイズ変化を修正するため、補正用テーブルを参照してオブジェクトのサイズ補正を行うステップと、を備えることを特徴とする。   In addition, the display image correction method according to the present invention includes a step of creating a correction table in which the amount of image distortion correction corresponding to the projection position on the windshield is described in advance, and the image generated by the image display device can be moved. Projecting toward the windshield by a simple mirror, performing distortion correction on the video generated by the video display device with reference to the distortion correction amount described in the correction table, and within the video accompanying distortion correction And correcting the size of the object with reference to the correction table.

本発明によれば、ウィンドシールドを介して大画面の映像を表示する場合でも、映像に歪みがなくかつオブジェクトのサイズに変化のない好適な映像を表示できる。   ADVANTAGE OF THE INVENTION According to this invention, even when displaying the image | video of a big screen via a windshield, the suitable image | video which does not have distortion in an image | video and an object size can be displayed.

車両に搭載したHUDの概要を説明する模式図。The schematic diagram explaining the outline | summary of HUD mounted in the vehicle. HUDによる映像表示動作を示す模式図。The schematic diagram which shows the video display operation | movement by HUD. HUDの制御系の構成を示すブロック図。The block diagram which shows the structure of the control system of HUD. 映像補正処理の概要を示すイメージ図。The image figure which shows the outline | summary of a video correction process. ミラーの表示位置と補正量の関係を示す図。The figure which shows the relationship between the display position of a mirror, and correction amount. 補正用テーブルの作成方法を説明する図。The figure explaining the preparation method of the table for correction | amendment. 補正用テーブルの記述様式を説明する図。The figure explaining the description style of the correction table. 映像補正処理による表示オブジェクトの形状の変化を示す図。The figure which shows the change of the shape of the display object by an image correction process. 2段階映像補正処理の効果をテスト映像で示す図。The figure which shows the effect of a 2 step | paragraph image correction process with a test image | video. オブジェクトのサイズ補正方法を具体的に説明する図。The figure explaining the size correction method of an object concretely. 映像表示動作を示す全体のフローチャート。3 is an overall flowchart showing a video display operation. サイズ補正処理の詳細を示すフローチャート。The flowchart which shows the detail of a size correction process.

本発明によるヘッドアップディスプレイ装置(以下、HUD)の実施形態について、図面を用いて説明する。   An embodiment of a head-up display device (hereinafter referred to as HUD) according to the present invention will be described with reference to the drawings.

図1は、車両に搭載したHUDの概要を説明する模式図である。HUD1は車両2に搭載され、映像表示装置30で生成した映像をミラー52を介して車両2のフロントガラス3(ウィンドシールドとも呼ぶ)に投射する。ウィンドシールド3で反射した映像は運転者の目に入射し、運転者はHUDからの映像を視認する。表示する映像には運転に関連する情報が含まれ、運転操作を支援するものとなる。HUD1の内部は、各種の車両情報4を取得する車両情報取得部10と、これをもとに表示する映像情報を生成する制御部20と、ミラー52を駆動するミラー駆動部50、運転者に音声情報を出力するスピーカ60などを有する。車両情報4には自車の運転状態を示す速度情報やギア情報などの他に、図1に記載した各種の情報が含まれる。   FIG. 1 is a schematic diagram for explaining an outline of a HUD mounted on a vehicle. The HUD 1 is mounted on the vehicle 2 and projects an image generated by the image display device 30 onto the windshield 3 (also referred to as a windshield) of the vehicle 2 through a mirror 52. The image reflected by the windshield 3 enters the eyes of the driver, and the driver visually recognizes the image from the HUD. The video to be displayed includes information related to driving and supports driving operation. The HUD 1 includes a vehicle information acquisition unit 10 that acquires various types of vehicle information 4, a control unit 20 that generates video information to be displayed based on the vehicle information acquisition unit 10, a mirror drive unit 50 that drives a mirror 52, and a driver. A speaker 60 for outputting audio information is included. The vehicle information 4 includes various information described in FIG. 1 in addition to speed information and gear information indicating the driving state of the host vehicle.

ここで、被投射部材はウィンドシールド3に限られず、映像が投射される部材であれば、コンバイナなど他の部材とすることができる。また映像表示装置30は、バックライトを有するプロジェクタやLCD(Liquid Crystal Display)等により構成される。自発光型のVFD(Vacuum Fluorescent Display)等であってもよい。   Here, the member to be projected is not limited to the windshield 3 and may be another member such as a combiner as long as the image is projected. The video display device 30 includes a projector having a backlight, an LCD (Liquid Crystal Display), and the like. A self-luminous VFD (Vacuum Fluorescent Display) or the like may be used.

図2は、HUDによる映像表示動作を示す模式図である。車両2のダッシュボードの下部に設置された映像表示装置30から、表示用の映像が出射される。映像は、第1のミラー51と第2のミラー52(例えば、凹面ミラーや自由曲面ミラー、光軸非対称の形状を有するミラー等)で反射され、ウィンドシールド3に向けて投射される。第1のミラー51は固定されており、第2のミラー52はミラー駆動部50により回転可能となっている。以下の説明では、回転可能な第2のミラー52を単に「ミラー52」と呼ぶことにする。   FIG. 2 is a schematic diagram showing an image display operation by the HUD. A video for display is emitted from the video display device 30 installed at the lower part of the dashboard of the vehicle 2. The image is reflected by the first mirror 51 and the second mirror 52 (for example, a concave mirror, a free-form surface mirror, a mirror having an optical axis asymmetric shape, etc.) and projected toward the windshield 3. The first mirror 51 is fixed, and the second mirror 52 can be rotated by a mirror driving unit 50. In the following description, the rotatable second mirror 52 is simply referred to as “mirror 52”.

ミラー52から収束して投射された映像は、ウィンドシールド3にて反射され運転者の目5に入射して網膜上に結像することで、映像を視認することができる。そのとき運転者は、ウィンドシールド3の前方に存在する虚像9を見ていることになる。ここでミラー駆動部50は、運転者の目の高さに応じて虚像9の表示位置を調整するものである。すなわち、ミラー駆動部50によりミラー50を軸回転させることで虚像9の位置を上下方向に移動させ、虚像9を見やすい位置で視認することができる。   The image converged and projected from the mirror 52 is reflected by the windshield 3 and incident on the driver's eyes 5 to form an image on the retina so that the image can be visually recognized. At that time, the driver sees the virtual image 9 present in front of the windshield 3. Here, the mirror drive unit 50 adjusts the display position of the virtual image 9 in accordance with the height of the driver's eyes. That is, by rotating the mirror 50 about the axis by the mirror driving unit 50, the position of the virtual image 9 can be moved in the vertical direction so that the virtual image 9 can be viewed at an easy-to-view position.

図3は、HUDの制御系の構成を示すブロック図である。車両情報取得部10には各種の車両情報4が入力され制御部20へ送られる。制御部20内の電子制御ユニット(ECU、Electronic Control Unit)21は、入力した車両情報4に基づきHUD1が表示する映像信号(表示コンテンツ)や、HUD1に対する各種制御信号を生成する。   FIG. 3 is a block diagram showing the configuration of the control system of the HUD. Various types of vehicle information 4 are input to the vehicle information acquisition unit 10 and sent to the control unit 20. An electronic control unit (ECU, Electronic Control Unit) 21 in the control unit 20 generates a video signal (display content) displayed by the HUD 1 and various control signals for the HUD 1 based on the input vehicle information 4.

音声出力部22は、スピーカ60への音声信号を生成する。不揮発性メモリ23は、ECU21が実行するプログラムを格納し、メモリ24は、映像情報や制御情報を記憶する。なお、メモリ24には、後述する表示映像の歪み補正やサイズ補正に用いるデータを記述した補正用テーブルを格納している。   The audio output unit 22 generates an audio signal to the speaker 60. The nonvolatile memory 23 stores a program executed by the ECU 21, and the memory 24 stores video information and control information. Note that the memory 24 stores a correction table describing data used for distortion correction and size correction of a display image to be described later.

映像表示装置30は、LEDやレーザなどの光源31、照明光学系(図示せず)、液晶素子(LCD)などの表示素子32からなり、表示素子32で生成された映像光をミラー52に向けて出射する。   The video display device 30 includes a light source 31 such as an LED or a laser, an illumination optical system (not shown), and a display element 32 such as a liquid crystal element (LCD). The video light generated by the display element 32 is directed to a mirror 52. And exit.

光源調整部25は、映像表示装置30内の光源31を制御する。映像補正部26は、ECU21で生成された映像信号(表示用コンテンツ)の歪みやサイズを補正する。表示素子駆動部27は、補正された映像信号に基づき映像表示装置30内の表示素子32を駆動する。ミラー調整部28は、ウィンドシールド3に対する映像の表示位置を移動させるため、ミラー駆動部50を介して、ミラー52の位置や姿勢を調整する。   The light source adjustment unit 25 controls the light source 31 in the video display device 30. The video correction unit 26 corrects distortion and size of the video signal (display content) generated by the ECU 21. The display element driving unit 27 drives the display element 32 in the video display device 30 based on the corrected video signal. The mirror adjusting unit 28 adjusts the position and posture of the mirror 52 via the mirror driving unit 50 in order to move the image display position with respect to the windshield 3.

上記映像補正部26による表示コンテンツの補正を行う際、テーブル参照位置決定部33は、ミラーの位置に応じてメモリ24に格納された補正用テーブルの参照位置を決定し、補正量算出部34は、コンテンツの各部分に施す補正量を算出する。なお、テーブル参照位置決定部33と補正量算出部34は、ソフトウェアで構成され、メモリ24に格納されている。以下、映像補正部26による表示映像の補正処理について説明する。   When the display content is corrected by the video correction unit 26, the table reference position determination unit 33 determines the reference position of the correction table stored in the memory 24 according to the mirror position, and the correction amount calculation unit 34 The amount of correction to be applied to each part of the content is calculated. The table reference position determination unit 33 and the correction amount calculation unit 34 are configured by software and stored in the memory 24. Hereinafter, display image correction processing by the image correction unit 26 will be described.

図4は、映像補正処理の概要を示すイメージ図である。HUD1で生成した映像をウィンドシールド3を介して表示する際に、ウィンドシールドが曲面形状であるため、運転者の見る映像(虚像)に歪みが発生する。特に、大画面の映像を表示する場合には、表示位置に応じて歪みの程度が異なり、ウィンドシールドの曲率に合わせて歪の補正を行う。また、歪み補正を行った表示映像では、映像内のオブジェクトの歪みは解消されるものの、オブジェクトの表示サイズが当初のサイズから変化することがあり、元のサイズに戻すためのサイズ補正を行う必要がある。   FIG. 4 is an image diagram showing an outline of the video correction process. When the video generated by the HUD 1 is displayed through the windshield 3, the windshield has a curved surface shape, so that the video (virtual image) seen by the driver is distorted. In particular, when displaying a large screen image, the degree of distortion differs depending on the display position, and the distortion is corrected in accordance with the curvature of the windshield. In addition, in the display video with distortion correction, the distortion of the object in the video is eliminated, but the display size of the object may change from the original size, so it is necessary to perform size correction to return to the original size There is.

(a0)〜(a2)は、表示素子(LCD)32上に生成した映像100の例で、(b0)〜(b2)は、運転者の見るウィンドシールド3上の映像(虚像)200の例である。LCD上の映像100には、オブジェクト101(注意喚起マーク)、オブジェクト102(進行方向マーク)、オブジェクト103(注意喚起マーク)が含まれ、これらのオブジェクトはウィンドシールド上で、車両前方の歩行者の位置や路面状況に合わせて、それぞれオブジェクト201,202,203として表示される。なお、LCD上のオブジェクト101と103は同じ形状、同じ大きさで生成されている。   (A0) to (a2) are examples of the image 100 generated on the display element (LCD) 32, and (b0) to (b2) are examples of the image (virtual image) 200 on the windshield 3 viewed by the driver. It is. The image 100 on the LCD includes an object 101 (a warning mark), an object 102 (advancing direction mark), and an object 103 (a warning mark). These objects are displayed on the windshield of a pedestrian in front of the vehicle. The objects 201, 202, and 203 are displayed according to the position and the road surface condition, respectively. The objects 101 and 103 on the LCD are generated with the same shape and the same size.

(a0)は補正なしの映像100であり、このときウィンドシールド上の映像200は(b0)となる。左側のオブジェクト201や中央のオブジェクト202は歪みが小さいが、右側のオブジェクト203は右方向に大きく歪んで見える。これは、ウィンドシールドの曲率が関係し、中央領域では曲率が小さいが、端部位置(右側領域)では曲率が大きいためである。   (A0) is an uncorrected image 100. At this time, the image 200 on the windshield is (b0). The left object 201 and the center object 202 are less distorted, but the right object 203 appears to be greatly distorted in the right direction. This is because the curvature of the windshield is related and the curvature is small in the central region, but the curvature is large at the end position (right region).

(a1)は歪み補正を行った状態で、オブジェクト103を逆方向(左方向)に歪ませて103’とする。このときウィンドシールド上の映像は(b1)となり、オブジェクト203’の歪みは解消されるが、当初想定した表示サイズ(左のオブジェクト201)よりも小さく見える。   (A1) is a state in which distortion correction is performed, and the object 103 is distorted in the reverse direction (left direction) to be 103 '. At this time, the video on the windshield is (b1), and the distortion of the object 203 'is eliminated, but it appears smaller than the initially assumed display size (left object 201).

(a2)は、(a1)の歪み補正後に、さらに表示サイズ補正を行った状態である。(a1)の歪み補正の結果、(b1)のようにオブジェクト203’の表示サイズが小さくなった分を修正するため、オブジェクト103’のサイズを大きくして103”とする。このときウィンドシールド上の映像は(b2)となり、オブジェクト203”は元の表示サイズに戻って左のオブジェクト201と同サイズで見える。   (A2) is a state in which display size correction is further performed after the distortion correction of (a1). As a result of the distortion correction of (a1), the size of the object 103 ′ is increased to 103 ″ in order to correct the reduced display size of the object 203 ′ as shown in (b1). (B2), the object 203 ″ returns to the original display size and looks the same size as the left object 201.

このように、映像補正では、歪み補正とサイズ補正の2段階処理を行う。上記説明では、1回目に歪み補正を、2回目にサイズ補正を行うものとしたが、順序を逆にして、1回目にサイズ補正を、2回目に歪み補正を行ってもよい。その場合は、1回目のサイズ補正は、2回目の歪み補正によるサイズの変化を予測しそれを修正するように行えば良い。   As described above, in the video correction, two-stage processing of distortion correction and size correction is performed. In the above description, the distortion correction is performed for the first time and the size correction is performed for the second time. However, the order may be reversed and the size correction may be performed for the first time and the distortion correction may be performed for the second time. In that case, the first size correction may be performed by predicting the size change due to the second distortion correction and correcting it.

図5は、ミラーの表示位置と補正量の関係を示す図である。ウィンドシールド3に対するHUDの映像の表示位置は、運転者の目の位置に合わせ、ミラー52を移動/回転させることで、上下方向または左右方向に移動させることができる。ここでは、ミラーを上下に移動させた場合の、運転者の見る映像(虚像)200a,200bを示している。   FIG. 5 is a diagram illustrating the relationship between the display position of the mirror and the correction amount. The display position of the HUD image with respect to the windshield 3 can be moved in the vertical direction or the horizontal direction by moving / rotating the mirror 52 in accordance with the position of the driver's eyes. Here, images (virtual images) 200a and 200b viewed by the driver when the mirror is moved up and down are shown.

ミラーを上に移動した状態(200a)と下に移動した状態(200b)では、ウィンドシールド3の表示位置が変わることで曲率が変わり、映像の歪み状態が変化する。図4でも述べたように、ウィンドシールド3の右端領域では、中央領域よりも曲率が大きい。よって、映像内のオブジェクト201,202よりもオブジェクト203a,bの歪みが大きくなる。さらに、ウィンドシールド3の上側と下側とで曲率が異なるので(下側の曲率が大きい)、ミラーが上に移動した状態(200a)でのオブジェクト203aの歪みよりも、下へ移動した状態(200b)でのオブジェクト203bの歪みの方が大きくなる。よって、ミラーの位置に合わせて、歪み補正量とサイズ補正量を決定する必要がある。   In the state where the mirror is moved up (200a) and the state where the mirror is moved down (200b), the curvature changes due to the change in the display position of the windshield 3, and the distortion state of the image changes. As described in FIG. 4, the curvature at the right end region of the windshield 3 is larger than that at the central region. Therefore, the distortion of the objects 203a and 203b is larger than that of the objects 201 and 202 in the video. Further, since the curvature is different between the upper side and the lower side of the windshield 3 (the lower curvature is large), the state of moving downward than the distortion of the object 203a in the state of moving the mirror upward (200a) ( The distortion of the object 203b at 200b) is larger. Therefore, it is necessary to determine the distortion correction amount and the size correction amount according to the position of the mirror.

ここではミラーを上下に移動する場合を示したが、左右に移動する場合も同様で、ウィンドシールド3の左右方向の使用位置に合わせて歪み補正量とサイズ補正量を決定する必要がある。   Although the case where the mirror is moved up and down is shown here, the same applies to the case where the mirror moves left and right. It is necessary to determine the distortion correction amount and the size correction amount according to the use position of the windshield 3 in the left and right direction.

図4と図5に示す補正処理では、右ハンドル車の場合でウィンドシールド右端の曲率が大きく、また上下方向では下側の方が曲率が大きいウィンドシールドを採用した車両を例に説明した。実際には、車種ごとに、またウィンドシールドごとに曲率が異なるので、HUDを搭載する車両及びウィンドシールドの特徴に合わせた補正を行う必要がある。そのため本実施例では、ウィンドシールド3に起因する表示映像の歪み補正やサイズ補正を行うために、以下に述べるようにHUDを搭載する車両に固有の補正用テーブルを作成して使用する。   The correction processing shown in FIGS. 4 and 5 has been described by taking as an example a vehicle that employs a windshield that has a large curvature at the right end of the windshield in the case of a right-hand drive vehicle and that has a larger curvature at the lower side in the vertical direction. Actually, since the curvature differs for each vehicle type and for each windshield, it is necessary to make corrections according to the characteristics of the vehicle on which the HUD is mounted and the windshield. Therefore, in this embodiment, in order to perform distortion correction and size correction of the display image caused by the windshield 3, a correction table unique to the vehicle on which the HUD is mounted is created and used as described below.

図6は、映像補正処理に用いる補正用テーブルの作成方法を説明する図である。補正用テーブル300は、HUD1を車両に搭載するときの初期調整の1つとして、予め作業者が作成してHUD1のメモリ24に格納しておく。つまり、補正用テーブルは、HUD1を搭載する車両のウィンドシールド3の形状やHUD1の搭載位置などに依存し、その車両に固有のテーブルとなる。   FIG. 6 is a diagram for explaining a method of creating a correction table used for video correction processing. The correction table 300 is created in advance by an operator and stored in the memory 24 of the HUD 1 as one of initial adjustments when the HUD 1 is mounted on the vehicle. That is, the correction table depends on the shape of the windshield 3 of the vehicle on which the HUD 1 is mounted, the mounting position of the HUD 1, and the like, and is a table unique to the vehicle.

(a)は、ピクセル移動調整の工程である。作業者は、PC内のテスト映像をHUD1からウィンドシールド3上に表示する。そして、表示されたテスト映像200に対し、PC内のツール(補正テーブル作成ツール)を用いて映像の歪みが相殺されるよう目視による歪み調整(テスト映像内のピクセルの移動調整)を行う。   (A) is a process of pixel movement adjustment. The operator displays the test video in the PC on the windshield 3 from the HUD 1. Then, visual distortion adjustment (pixel movement adjustment in the test video) is performed on the displayed test video 200 using a tool (correction table creation tool) in the PC so that the video distortion is offset.

(b)は、補正用テーブル作成の工程である。作業者は歪み調整完了後、PC内のツールを用いて、調整したピクセル移動量から補正用テーブル300を作成する。補正用テーブル300には、ウィンドシールド3上の各表示位置におけるピクセル移動量が記述される。なお、図5で説明したミラー移動による表示位置の変化に対応させるため、補正用テーブルの記述範囲は、ミラー移動分をカバーするように設定している。作成した補正用テーブル300は、シリアル転送でHUD1内のメモリ24に格納する。   (B) is a process of creating a correction table. After completing the distortion adjustment, the operator creates a correction table 300 from the adjusted pixel movement amount using a tool in the PC. In the correction table 300, the pixel movement amount at each display position on the windshield 3 is described. Note that the description range of the correction table is set so as to cover the mirror movement in order to correspond to the change in the display position caused by the mirror movement described in FIG. The created correction table 300 is stored in the memory 24 in the HUD 1 by serial transfer.

図7は、補正用テーブルの記述様式を説明する図である。補正用テーブル300は、ウィンドシールド3上においてミラー移動分を含むHUD1が表示可能な範囲をカバーし、表示映像のピクセル数に分割されたセルが行列形式に配置されている。各セルには、ウィンドシールド上の座標(横軸X、縦軸Y)が付与され、そのピクセル位置におけるX軸歪み補正量ΔXとY軸歪み補正量ΔYが、ピクセル単位(右方向/上方向が+符号、左方向/下方向が−符号)で記述される。ここでは、テーブルの左上隅の座標を原点(X=0,Y=0)としている。   FIG. 7 is a diagram for explaining the description format of the correction table. The correction table 300 covers a range in which the HUD 1 including the mirror movement on the windshield 3 can be displayed, and cells divided by the number of pixels of the display video are arranged in a matrix form. Each cell is given coordinates (horizontal axis X, vertical axis Y) on the windshield, and the X-axis distortion correction amount ΔX and Y-axis distortion correction amount ΔY at the pixel position are in pixel units (right / upward). Is described with a + sign, and the left / down direction is a-sign). Here, the coordinates of the upper left corner of the table are the origin (X = 0, Y = 0).

補正用テーブル300の中で、現在のミラー位置で表示可能な範囲を310、表示対象オブジェクト(図に示す三角形マーク)に対応するテーブル内参照位置を320で示す。ここでは、ミラー移動方向は上下方向のみとしている。テーブル内参照位置320のデータを参照することで、表示対象オブジェクト(三角形マーク)の補正量を求めることができる。テーブル内参照位置320は、移動後のミラーで表示可能な位置(以下、ミラー移動位置と呼ぶ)と、ミラーを基準としたオブジェクトの表示位置から次のように決定する。   In the correction table 300, the range that can be displayed at the current mirror position is indicated by 310, and the in-table reference position corresponding to the display target object (triangle mark shown in the figure) is indicated by 320. Here, the mirror moving direction is only the vertical direction. By referring to the data at the reference position 320 in the table, the correction amount of the display target object (triangle mark) can be obtained. The in-table reference position 320 is determined as follows from the position that can be displayed by the mirror after movement (hereinafter referred to as the mirror movement position) and the display position of the object with reference to the mirror.

ミラー移動位置M1=(ミラー駆動パルス数Mp)×(1パルス当たりミラーの移動量ΔM)より、例えばMp=4、ΔM=2のとき、M1=8(ここではY軸方向のみ)となり、図に示すミラー移動位置310となる。   From the mirror movement position M1 = (number of mirror driving pulses Mp) × (mirror movement amount ΔM per pulse), for example, when Mp = 4 and ΔM = 2, M1 = 8 (here, only in the Y-axis direction). The mirror movement position 310 shown in FIG.

次にミラーを基準としたオブジェクトの表示位置を、表示開始位置S1,表示終了位置S2とするとき、補正用テーブル300上の座標に換算するには、上記ミラー移動位置M1=(0,8)を加算すればよい。例えば、ミラー基準のオブジェクトの表示位置がS1=(10,2)、S2=(16,6)であれば、補正用テーブル300上の座標は、開始位置がS1’=(10,10)、終了位置がS2’=(16,14)となり、図に示すテーブル内参照位置320が決定される。   Next, when the display position of the object with reference to the mirror is set as the display start position S1 and the display end position S2, the mirror movement position M1 = (0,8) is used to convert the coordinates into the coordinates on the correction table 300. Should be added. For example, if the display position of the mirror reference object is S1 = (10, 2) and S2 = (16, 6), the coordinates on the correction table 300 are the start positions S1 ′ = (10, 10), The end position is S2 ′ = (16, 14), and the in-table reference position 320 shown in the figure is determined.

制御部20内のテーブル参照位置決定部33は、ミラー調整部28の調整信号(またはミラー駆動部50の駆動パルス数)と、ミラーを基準としたオブジェクト表示位置(または、表示コンテンツ全体に対するオブジェクト位置)を基に、上記の演算を行うことで補正用テーブル300内の参照位置320を決定する。   The table reference position determination unit 33 in the control unit 20 includes an adjustment signal of the mirror adjustment unit 28 (or the number of drive pulses of the mirror drive unit 50) and an object display position based on the mirror (or an object position with respect to the entire display content). ), The reference position 320 in the correction table 300 is determined by performing the above calculation.

図8は、映像補正処理による表示オブジェクトの形状の変化を示す図である。映像補正部26では、補正用テーブル300の補正量を参照して、オブジェクトに対して歪み補正とサイズ補正の2段階補正を行う。表示オブジェクトとして三角形マークの場合を示す。   FIG. 8 is a diagram showing a change in the shape of the display object due to the video correction process. The video correction unit 26 refers to the correction amount in the correction table 300 and performs two-stage correction on the object, that is, distortion correction and size correction. The case of a triangle mark as a display object is shown.

(a)は、表示素子(LCD)32に入力された元の映像(オブジェクト110)を示す。このオブジェクト110をウィンドシールドを介して表示すると、運転者には歪んで見えるため歪み補正が必要である。   (A) shows the original image (object 110) input to the display element (LCD) 32. FIG. When this object 110 is displayed through the windshield, it appears distorted to the driver, and thus distortion correction is necessary.

(b)は、オブジェクト110に対し歪み補正を行った後のオブジェクト111の形状を示す。この場合の補正量は、補正量テーブル300の参照位置320に記述された歪み補正量(ΔX,ΔY)だけ、オブジェクト内の各ピクセルの位置をずらす処理を行う。その結果、図の例では、補正後のオブジェクト111はX軸方向、Y軸方向に縮小している。   (B) shows the shape of the object 111 after distortion correction is performed on the object 110. The correction amount in this case is a process of shifting the position of each pixel in the object by the distortion correction amount (ΔX, ΔY) described in the reference position 320 of the correction amount table 300. As a result, in the illustrated example, the corrected object 111 is reduced in the X-axis direction and the Y-axis direction.

(c)は、オブジェクト110に対しサイズ補正を行った後のオブジェクト112の形状を示す。この場合のサイズ補正量は、補正量テーブル300の参照位置320に記述された歪み補正量(ΔX,ΔY)を、参照位置320内でX軸方向及びY軸方向に合計し、合計値の最大値を求めてサイズ補正量(ΣX,ΣY)とする。そして、サイズ補正量だけオブジェクト全体を歪み補正方向とは逆方向に伸縮変形させる。サイズ補正の具体例は後述する。その結果、図の例では、補正後のオブジェクト112はX軸方向、Y軸方向に拡大している。   (C) shows the shape of the object 112 after size correction is performed on the object 110. In this case, the size correction amount is obtained by adding the distortion correction amounts (ΔX, ΔY) described in the reference position 320 of the correction amount table 300 in the X-axis direction and the Y-axis direction within the reference position 320, and obtaining the maximum total value. The value is obtained and used as the size correction amount (ΣX, ΣY). Then, the entire object is stretched and deformed in the direction opposite to the distortion correction direction by the size correction amount. A specific example of the size correction will be described later. As a result, in the illustrated example, the corrected object 112 is enlarged in the X-axis direction and the Y-axis direction.

(d)は、歪み補正とサイズ補正の2段階補正を行ったオブジェクトをウィンドシールドを介して表示した状態である。表示されるオブジェクト210は歪みがなく、かつ元のオブジェクト110のサイズに戻った状態で運転者に見えるようになる。   (D) is a state in which an object that has been subjected to two-stage correction of distortion correction and size correction is displayed through a windshield. The displayed object 210 is not distorted and can be seen by the driver in a state where the object 210 has returned to the original size.

図9は、2段階映像補正処理の効果をテスト映像で示す図である。ウィンドシールドに表示されたテスト映像の例を示し、メッシュパターンとオブジェクト(三角形マーク)が含まれている。   FIG. 9 is a diagram showing the effect of the two-stage video correction process as a test video. The example of the test image | video displayed on the windshield is shown, and the mesh pattern and the object (triangle mark) are included.

(a)は補正なしでの表示映像で、メッシュパターンとオブジェクトに歪みが発生している。
(b)は、歪み補正のみ実施した場合で、メッシュパターンとオブジェクトの歪みは解消されている。ただし、補正後のオブジェクトのサイズ(内側)は元のサイズ(外側)よりも小さくなっている。
(A) is a display image without correction, and the mesh pattern and the object are distorted.
(B) is a case where only distortion correction is performed, and the distortion of the mesh pattern and the object is eliminated. However, the size (inside) of the corrected object is smaller than the original size (outside).

(c)は、サイズ補正のみ実施した場合で、メッシュパターンとオブジェクトに歪みが発生し、オブジェクトのサイズは大きくなっている。
(d)は、歪み補正とサイズ補正の2段階補正を実施した場合で、メッシュパターンとオブジェクトの歪みは解消されるとともに、オブジェクトのサイズは元のサイズと同じになっている。
(C) is a case where only the size correction is performed, the mesh pattern and the object are distorted, and the size of the object is large.
(D) is a case where two-stage correction of distortion correction and size correction is performed. The distortion of the mesh pattern and the object is eliminated, and the size of the object is the same as the original size.

図10は、オブジェクトのサイズ補正方法を具体的に説明する図である。サイズ補正処理は、制御部20の補正量算出部34がサイズ補正量を算出し、映像補正部26にてオブジェクトの変形処理を行う。ここでは、補正用テーブル300のデータを用いてオブジェクト形状がどのように補正されるかを具体的に示す。   FIG. 10 is a diagram for specifically explaining the object size correction method. In the size correction processing, the correction amount calculation unit 34 of the control unit 20 calculates the size correction amount, and the video correction unit 26 performs object deformation processing. Here, how the object shape is corrected using the data of the correction table 300 is specifically shown.

(a)は、補正前のオブジェクト120(三角形マーク)と、それに対応するテーブル内参照位置320を示す。補正用テーブル300の各セルには、歪み補正量(ΔX,ΔY)が記述されている。参照位置320内の行番号を[a1]〜[a5]、列番号を[b1]〜[b7]で示す。   (A) shows the object 120 (triangle mark) before correction | amendment and the reference position 320 in a table corresponding to it. In each cell of the correction table 300, a distortion correction amount (ΔX, ΔY) is described. The row numbers in the reference position 320 are indicated by [a1] to [a5], and the column numbers are indicated by [b1] to [b7].

(b)は、X軸方向のサイズ補正を示す。補正用テーブル300の各行番号について、X軸補正量(ΔX)を参照位置320に渡りX軸方向に合計する。図の例では、次のようになる。
[a1]:0+0+0+0+0+0+1=1
[a2]:0+0+0+0+0+0+1=1
[a3]:0+0+0+0+0+1+1=2
[a4]:0+0+0+0+0+1+1=2
[a5]:0+0+0+0+(−1)+(−1)+(−1)=−3
(B) shows size correction in the X-axis direction. For each row number in the correction table 300, the X-axis correction amount (ΔX) is summed in the X-axis direction across the reference position 320. In the example of the figure, it is as follows.
[A1]: 0 + 0 + 0 + 0 + 0 + 0 + 1 = 1
[A2]: 0 + 0 + 0 + 0 + 0 + 0 + 1 = 1
[A3]: 0 + 0 + 0 + 0 + 0 + 1 + 1 = 2
[A4]: 0 + 0 + 0 + 0 + 0 + 1 + 1 = 2
[A5]: 0 + 0 + 0 + 0 + (-1) + (-1) + (-1) =-3

各合計値の中から、絶対値が最大となる数値をX軸サイズ補正量(ΣX)とし、X軸方向に対してオブジェクト全体を変形させる。但し、変形させる方向は、歪み補正とは逆方向とする。この場合は最大値が−3であり、オブジェクトを+方向(右方向)へ3ピクセル拡大させ、その結果、オブジェクト121で示す形状となる。   Among the total values, the numerical value with the maximum absolute value is set as the X-axis size correction amount (ΣX), and the entire object is deformed in the X-axis direction. However, the direction of deformation is the reverse of the distortion correction. In this case, the maximum value is −3, and the object is enlarged by 3 pixels in the + direction (right direction). As a result, the shape indicated by the object 121 is obtained.

(c)は、Y軸方向のサイズ補正を示す。補正用テーブル300の各列番号について、Y軸補正量(ΔY)を参照領域320に渡りY軸方向に合計する。図の例では、次のようになる。
[b1]:0+0+0+0+0=0
[b2]:0+0+0+0+(−1)=−1
[b3]:0+0+0+0+(−1)=−1
[b4]:0+0+0+0+(−1)=−1
[b5]:0+0+0+0+(−1)=−1
[b6]:0+0+0+0+(−1)=−1
[b7]:0+0+0+0+0=0
(C) shows size correction in the Y-axis direction. For each column number in the correction table 300, the Y-axis correction amount (ΔY) is summed in the Y-axis direction over the reference area 320. In the example of the figure, it is as follows.
[B1]: 0 + 0 + 0 + 0 + 0 = 0
[B2]: 0 + 0 + 0 + 0 + (− 1) = − 1
[B3]: 0 + 0 + 0 + 0 + (− 1) = − 1
[B4]: 0 + 0 + 0 + 0 + (− 1) = − 1
[B5]: 0 + 0 + 0 + 0 + (− 1) = − 1
[B6]: 0 + 0 + 0 + 0 + (− 1) = − 1
[B7]: 0 + 0 + 0 + 0 + 0 = 0

各合計値の中から、絶対値が最大となる数値をY軸サイズ補正量(ΣY)とし、Y軸方向に対してオブジェクト全体を変形させる。但し、変形させる方向は、歪み補正とは逆方向とする。この場合は最大値が−1であり、オブジェクトを+方向(上方向)へ1ピクセル縮小させ、その結果、オブジェクト122に示す形状となる。   Of the total values, the numerical value with the maximum absolute value is set as the Y-axis size correction amount (ΣY), and the entire object is deformed in the Y-axis direction. However, the direction of deformation is the reverse of the distortion correction. In this case, the maximum value is −1, and the object is reduced by one pixel in the + direction (upward direction). As a result, the shape shown in the object 122 is obtained.

(d)は、X軸方向とY軸方向の補正を合わせた全体のサイズ補正結果を示す。X軸方向(右方向)に3ピクセル拡大し、Y軸方向(上方向)に1ピクセル縮小したオブジェクト123が得られる。   (D) shows the overall size correction result of the correction in the X-axis direction and the Y-axis direction. An object 123 obtained by enlarging 3 pixels in the X-axis direction (right direction) and reducing it by 1 pixel in the Y-axis direction (upward direction) is obtained.

なお、上記に述べたサイズ補正では、オブジェクトの左上隅を固定してオブジェクト全体を伸縮変形させるようにしたが、固定位置はこれに限らず、オブジェクトの中心位置や右上隅としても良い。   In the size correction described above, the upper left corner of the object is fixed and the entire object is stretched and deformed. However, the fixed position is not limited to this and may be the center position or the upper right corner of the object.

図11は、HUDによる映像表示動作を示す全体のフローチャートである。ここでは、表示するコンテンツ(オブジェクト)の補正に関連する工程について説明する。   FIG. 11 is an overall flowchart showing an image display operation by the HUD. Here, a process related to correction of content (object) to be displayed will be described.

S401でHUD1を起動し、S402で表示するコンテンツを決定する。表示するコンテンツは、車両情報取得部10にて取得した様々な車両情報4をもとに、運転者に現在の走行状態を知らせ、また運転上の注意を喚起するものである。コンテンツには、例えば図4に示したオブジェクト101〜103が含まれる。   In step S401, the HUD 1 is activated, and the content to be displayed is determined in step S402. The content to be displayed is to inform the driver of the current driving state based on various vehicle information 4 acquired by the vehicle information acquisition unit 10 and to call attention to driving. The content includes, for example, the objects 101 to 103 shown in FIG.

S403で現在のミラー52の位置を取得する。具体的には、ミラー調整部28による制御でミラー駆動部50が発した駆動パルス数により、ミラー52の移動位置を求めることができる。   In S403, the current position of the mirror 52 is acquired. Specifically, the movement position of the mirror 52 can be obtained from the number of drive pulses generated by the mirror drive unit 50 under the control of the mirror adjustment unit 28.

S404では、前回の表示状態と比較し、表示するコンテンツが変化したか、又はミラーが移動したかを判定する。初回の表示は勿論であるが、オブジェクトの表示位置が前回表示したものと1ピクセルでも違う場合も「コンテンツの変化あり」とする。判定の結果、Yes(コンテンツの変化あり、又はミラーが移動した)の場合には、S405に進み、コンテンツ内の各オブジェクトの表示サイズを補正する。このサイズ補正処理については、図12で後述する。S404の判定でNo(コンテンツの変化なし、かつミラーが移動しない)の場合には、S406へ進む。   In S404, it is compared with the previous display state to determine whether the content to be displayed has changed or the mirror has moved. Needless to say, the first display is performed, but even when the display position of the object is different from the last display by one pixel, “there is a change in content”. If the result of determination is Yes (content has changed or mirror has moved), the process proceeds to S405, and the display size of each object in the content is corrected. This size correction process will be described later with reference to FIG. If the determination in S404 is No (the content has not changed and the mirror does not move), the process proceeds to S406.

S406では補正用テーブル300を参照し、ミラーの位置に応じて映像補正部26によりコンテンツの歪み補正を実施する。この処理は図8(b)の歪み補正に対応し、ウィンドシールド3の曲率に起因する歪みを解消させる。S407では、光源調整部25と表示素子駆動部27を作動させ、映像表示装置30から補正後のコンテンツを投射する。以後、S402へ戻り、上記工程を繰り返す。   In step S406, the correction table 300 is referred to, and the content distortion correction is performed by the video correction unit 26 according to the mirror position. This process corresponds to the distortion correction of FIG. 8B and eliminates the distortion caused by the curvature of the windshield 3. In step S <b> 407, the light source adjustment unit 25 and the display element driving unit 27 are operated, and the corrected content is projected from the video display device 30. Thereafter, the process returns to S402 and the above steps are repeated.

図12は、図11におけるサイズ補正処理(S405)の詳細を示すフローチャートである。この処理は、映像補正部26、テーブル参照位置決定部33、補正量算出部34を中心に、メモリ24内の補正用テーブル300を参照して行われる。   FIG. 12 is a flowchart showing details of the size correction process (S405) in FIG. This processing is performed with reference to the correction table 300 in the memory 24 with the video correction unit 26, the table reference position determination unit 33, and the correction amount calculation unit 34 as the center.

S411では、補正対象となるコンテンツ内の表示オブジェクトを選択する。すなわち、サイズ補正はオブジェクト単位で行う。S412では、テーブル参照位置決定部33は、選択したオブジェクトに対応する補正用テーブル300の参照位置を決定する。図7で説明したように、S403で取得したミラー52の移動位置310と、コンテンツ内のオブジェクト表示位置より、補正用テーブル300上の参照位置320を決定する。   In S411, a display object in the content to be corrected is selected. That is, size correction is performed on an object basis. In S412, the table reference position determination unit 33 determines the reference position of the correction table 300 corresponding to the selected object. As described in FIG. 7, the reference position 320 on the correction table 300 is determined from the movement position 310 of the mirror 52 acquired in S403 and the object display position in the content.

S413では、補正量算出部34は、補正用テーブル300の参照位置320から各ピクセルの歪み補正量(ΔX,ΔY)を読み出し、オブジェクトに対するサイズ補正量(ΣX,ΣY)を算出する。このサイズ補正量は、図10で説明したように、歪み補正量(ΔX,ΔY)を参照位置320に渡り合計することで求める。S414では、サイズ補正量(ΣX,ΣY)に基づき、映像補正部26がオブジェクトのサイズ補正を行う。   In S413, the correction amount calculation unit 34 reads the distortion correction amount (ΔX, ΔY) of each pixel from the reference position 320 of the correction table 300, and calculates the size correction amount (ΣX, ΣY) for the object. The size correction amount is obtained by summing the distortion correction amounts (ΔX, ΔY) over the reference position 320 as described with reference to FIG. In S414, the video correction unit 26 corrects the size of the object based on the size correction amount (ΣX, ΣY).

S415では、全てのオブジェクトのサイズ補正が完了したかどうかを判定する。完了していない場合は、S411に戻り次のオブジェクトを選択する。完了していれば、図11のS406へ戻る。   In S415, it is determined whether or not the size correction of all objects has been completed. If not completed, the process returns to S411 to select the next object. If completed, the process returns to S406 in FIG.

なお、S413のサイズ補正量の算出において、コンテンツ内に複数の表示オブジェクトが存在し、その中に前回から形状と位置の変化がないオブジェクトが含まれ、かつミラー位置が同じ場合には、そのオブジェクトについては前回求めたサイズ補正量をそのまま用いればよい。   In the calculation of the size correction amount in S413, if there are a plurality of display objects in the content, and an object that has not changed in shape and position from the previous time is included and the mirror position is the same, that object As for, the previously obtained size correction amount may be used as it is.

上記のフローチャートにおいては、映像補正を歪み補正とサイズ補正に分けて2段階処理で行っている。その場合の補正の順序はいずれの処理が先であっても構わない。また、歪み補正とサイズ補正の手法は、ハードウェアによる補正とソフトウェアによる補正が可能であり、適宜組み合わせて実施すれば良い。さらには、歪み補正とサイズ補正をソフトウェアにより行う場合には、両者を統合して1回の処理で実行することも可能である。   In the above flowchart, the image correction is performed in two steps by dividing the image correction into distortion correction and size correction. In this case, the correction order may be any process first. Further, the distortion correction and size correction methods can be corrected by hardware and corrected by software, and may be implemented in combination as appropriate. Furthermore, when distortion correction and size correction are performed by software, both can be integrated and executed in a single process.

本実施例の映像補正処理によれば、ウィンドシールドを介して大画面の映像を表示する場合でも、映像に歪みがなくかつオブジェクトのサイズに変化のない好適な映像を提供できる。また、歪み補正とサイズ補正とを共通の補正用テーブルを参照して行えるので、補正処理の効率が向上できる。   According to the video correction process of the present embodiment, even when a large-screen video is displayed through the windshield, it is possible to provide a suitable video with no distortion in the video and no change in the size of the object. In addition, since distortion correction and size correction can be performed with reference to a common correction table, the efficiency of correction processing can be improved.

1:ヘッドアップディスプレイ装置(HUD)、
2:車両、
3:ウィンドシールド、
9:虚像、
20:制御部、
21:電子制御ユニット(ECU)、
24:メモリ、
26:映像補正部、
30:映像表示装置、
33:テーブル参照位置決定部、
34:補正量算出部、
50:ミラー駆動部、
52:ミラー、
300:補正用テーブル。
1: Head-up display device (HUD),
2: Vehicle,
3: Windshield,
9: Virtual image,
20: control unit,
21: Electronic control unit (ECU),
24: Memory,
26: Image correction unit,
30: video display device,
33: Table reference position determining unit,
34: correction amount calculation unit,
50: Mirror drive unit,
52: Mirror,
300: Correction table.

Claims (7)

車両に搭載し、映像を生成して前記車両のウィンドシールドに投射することで前記映像を虚像として表示するヘッドアップディスプレイ装置において、
光源と表示素子を有し前記映像を生成する映像表示装置と、
前記映像表示装置で生成した前記映像を前記ウィンドシールドに向けて投射させるミラーと、
前記ミラーの位置を移動させるミラー駆動部と、
前記映像表示装置が生成する前記映像の補正処理を行う映像補正部と、
前記映像補正部が補正処理を行うための補正用テーブルを格納するメモリと、を備え、
前記補正用テーブルには、予め前記ウィンドシールド上の投射位置に応じた映像の歪み補正量が記述され、
前記映像補正部は、前記補正用テーブルに記述された前記歪み補正量を参照して前記映像の歪み補正を行うとともに、前記歪み補正に伴う前記映像内のオブジェクトのサイズ変化を修正するため、前記補正用テーブルを参照して前記オブジェクトのサイズ補正を行うことを特徴とするヘッドアップディスプレイ装置。
In a head-up display device that is mounted on a vehicle, generates an image, and displays the image as a virtual image by projecting it on a windshield of the vehicle,
A video display device having a light source and a display element for generating the video;
A mirror that projects the video generated by the video display device toward the windshield;
A mirror driving unit for moving the position of the mirror;
A video correction unit that performs correction processing of the video generated by the video display device;
A memory for storing a correction table for the video correction unit to perform correction processing,
In the correction table, a distortion correction amount of an image corresponding to a projection position on the windshield is described in advance,
The video correction unit performs distortion correction of the video with reference to the distortion correction amount described in the correction table, and corrects the size change of the object in the video due to the distortion correction. A head-up display device that performs size correction of the object with reference to a correction table.
請求項1に記載のヘッドアップディスプレイ装置において、
前記補正用テーブルには、作業者により予めテスト映像を前記ウィンドシールドに表示して前記テスト映像の歪みを相殺するためのピクセル移動調整を行い、前記ウィンドシールド内の各表示位置におけるX軸方向とY軸方向のピクセル移動調整量が前記歪み補正量として記述されており、
前記映像補正部が、前記オブジェクトの前記サイズ補正を行うときは、前記補正用テーブル内の前記オブジェクトの表示領域に記述された前記歪み補正量を参照し、補正量算出部により前記表示領域内でX軸方向とY軸方向にそれぞれ合計してその最大値をサイズ補正量とし、前記オブジェクト全体を前記歪み補正方向とは逆方向に前記サイズ補正量だけ伸縮変形させることを特徴とするヘッドアップディスプレイ装置。
The head-up display device according to claim 1,
In the correction table, the operator performs pixel movement adjustment for displaying a test image on the windshield in advance and canceling out distortion of the test image, and an X-axis direction at each display position in the windshield. A pixel movement adjustment amount in the Y-axis direction is described as the distortion correction amount,
When the video correction unit performs the size correction of the object, the distortion correction amount described in the display area of the object in the correction table is referred to and the correction amount calculation unit calculates the size of the object in the display area. A head-up display characterized in that the maximum value is summed in each of the X-axis direction and the Y-axis direction and the maximum value is used as a size correction amount, and the entire object is stretched and deformed by the size correction amount in a direction opposite to the distortion correction direction. apparatus.
請求項2に記載のヘッドアップディスプレイ装置において、
前記映像補正部が、前記オブジェクトの前記サイズ補正を行うときは、テーブル参照位置決定部により、前記ウィンドシールドに対する前記ミラーの移動位置と、前記ミラーを基準とした前記オブジェクトの表示位置から、前記補正用テーブル内の参照位置を決定することを特徴とするヘッドアップディスプレイ装置。
The head-up display device according to claim 2,
When the video correction unit performs the size correction of the object, the table reference position determination unit performs the correction from the moving position of the mirror with respect to the windshield and the display position of the object with respect to the mirror. A head-up display device that determines a reference position in a table.
映像を生成して車両のウィンドシールドに投射することで前記映像を虚像として表示する際の表示映像補正方法において、
予め、前記ウィンドシールド上の投射位置に応じた映像の歪み補正量が記述された補正用テーブルを作成するステップと、
映像表示装置で生成した映像を移動可能なミラーにより前記ウィンドシールドに向けて投射させるステップと、
前記映像表示装置が生成する前記映像に対し、前記補正用テーブルに記述された前記歪み補正量を参照して歪み補正を行うステップと、
前記歪み補正に伴う前記映像内のオブジェクトのサイズ変化を修正するため、前記補正用テーブルを参照して前記オブジェクトのサイズ補正を行うステップと、
を備えることを特徴とする表示映像補正方法。
In the display image correction method when displaying the image as a virtual image by generating the image and projecting it on the windshield of the vehicle,
Creating a correction table in which an image distortion correction amount according to a projection position on the windshield is described in advance;
Projecting the video generated by the video display device toward the windshield by a movable mirror;
Performing distortion correction on the video generated by the video display device with reference to the distortion correction amount described in the correction table;
Performing a size correction of the object with reference to the correction table in order to correct a change in size of the object in the video accompanying the distortion correction;
A display image correction method comprising:
請求項4に記載の表示映像補正方法において、
前記補正用テーブルを作成するステップでは、作業者により予めテスト映像を前記ウィンドシールドに表示して前記テスト映像の歪みを相殺するためのピクセル移動調整を行い、前記ウィンドシールド内の各表示位置におけるX軸方向とY軸方向のピクセル移動調整量が前記歪み補正量として記述されており、
前記オブジェクトのサイズ補正を行うステップでは、前記補正用テーブル内の前記オブジェクトの表示領域に記述された前記歪み補正量を参照し、前記表示領域内でX軸方向とY軸方向にそれぞれ合計してその最大値をサイズ補正量とし、前記オブジェクト全体を前記歪み補正方向とは逆方向に前記サイズ補正量だけ伸縮変形させることを特徴とする表示映像補正方法。
The display image correction method according to claim 4,
In the step of creating the correction table, an operator performs a pixel movement adjustment in advance to display a test video on the windshield and cancel out distortion of the test video, and X at each display position in the windshield. A pixel movement adjustment amount in the axial direction and the Y-axis direction is described as the distortion correction amount,
In the step of correcting the size of the object, the distortion correction amount described in the display area of the object in the correction table is referred to and summed in the X-axis direction and the Y-axis direction in the display area. A display image correction method, wherein the maximum value is set as a size correction amount, and the entire object is stretched and deformed by the size correction amount in a direction opposite to the distortion correction direction.
請求項5に記載の表示映像補正方法において、
前記オブジェクトのサイズ補正を行うステップでは、前記ウィンドシールドに対する前記ミラーの移動位置と、前記ミラーを基準とした前記オブジェクトの表示位置とにより、前記補正用テーブル内の参照位置を決定することを特徴とする表示映像補正方法。
The display image correction method according to claim 5,
In the step of correcting the size of the object, a reference position in the correction table is determined based on a moving position of the mirror with respect to the windshield and a display position of the object with respect to the mirror. Display image correction method to be performed.
請求項6に記載の表示映像補正方法において、
前記歪み補正を行うステップと前記サイズ補正を行うステップは、両者の補正量を統合して1つのステップで実行することを特徴とする表示映像補正方法。
The display image correction method according to claim 6,
The display image correction method according to claim 1, wherein the distortion correction step and the size correction step are performed in one step by integrating both correction amounts.
JP2018042904A 2018-03-09 2018-03-09 Head-up display device and display image correction method Pending JP2019161346A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018042904A JP2019161346A (en) 2018-03-09 2018-03-09 Head-up display device and display image correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018042904A JP2019161346A (en) 2018-03-09 2018-03-09 Head-up display device and display image correction method

Publications (1)

Publication Number Publication Date
JP2019161346A true JP2019161346A (en) 2019-09-19

Family

ID=67996368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018042904A Pending JP2019161346A (en) 2018-03-09 2018-03-09 Head-up display device and display image correction method

Country Status (1)

Country Link
JP (1) JP2019161346A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880970A (en) * 2020-12-31 2021-06-01 北汽蓝谷麦格纳汽车有限公司 Method for detecting windshield type HUD projection quality of new energy automobile
US11526002B2 (en) 2020-03-30 2022-12-13 Lapis Semiconductor Co., Ltd. Image distortion correction circuit and display device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526002B2 (en) 2020-03-30 2022-12-13 Lapis Semiconductor Co., Ltd. Image distortion correction circuit and display device
JP7412757B2 (en) 2020-03-30 2024-01-15 ラピスセミコンダクタ株式会社 Image distortion correction circuit and display device
CN112880970A (en) * 2020-12-31 2021-06-01 北汽蓝谷麦格纳汽车有限公司 Method for detecting windshield type HUD projection quality of new energy automobile
CN112880970B (en) * 2020-12-31 2023-02-28 北汽蓝谷麦格纳汽车有限公司 Method for detecting windshield type HUD projection quality of new energy automobile

Similar Documents

Publication Publication Date Title
US20180231772A1 (en) Head up display apparatus for realizing multi-display field capable of individual control and display control method thereof
JP6278769B2 (en) Vehicle display device
CN109688392B (en) AR-HUD optical projection system, mapping relation calibration method and distortion correction method
JP6160398B2 (en) Head-up display device
JP4677104B2 (en) Vehicle display device
JP2009231936A (en) Image processing device and method, drive support system, and vehicle
US20210157135A1 (en) Head-up display image acquistion and correction
US11112604B2 (en) Head-up display
JP2011105306A (en) Display device for vehicle
JP7396404B2 (en) Display control device and display control program
KR20100081964A (en) Around image generating method and apparatus
JP2003287707A (en) Image conversion method, image processor, headup display and program
JP2019161346A (en) Head-up display device and display image correction method
KR20200042754A (en) Method for correction image distortion of hud system
JP2017024444A (en) Image forming apparatus and image forming method
JP2018103697A (en) Display device for vehicle
JP7040485B2 (en) Display control device and display control program
JP2017016455A (en) Image correction device and image correction method
JP6845988B2 (en) Head-up display
JP2021103274A (en) Head-up display device
JP2019026198A (en) Head-up display device, and driver viewpoint detection method therefor
JP2019169828A (en) On-vehicle display control unit and on-vehicle display control method
JP2015040865A (en) Head-up display device
JP2022036432A (en) Head-up display device, display control device, and method for controlling head-up display device
WO2017090318A1 (en) Display correction device