JP2022142932A - ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム - Google Patents

ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム Download PDF

Info

Publication number
JP2022142932A
JP2022142932A JP2021043211A JP2021043211A JP2022142932A JP 2022142932 A JP2022142932 A JP 2022142932A JP 2021043211 A JP2021043211 A JP 2021043211A JP 2021043211 A JP2021043211 A JP 2021043211A JP 2022142932 A JP2022142932 A JP 2022142932A
Authority
JP
Japan
Prior art keywords
image
correction
vibration
vibration information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021043211A
Other languages
English (en)
Inventor
祐基 今任
Yuki Imato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Technology Co Ltd
Original Assignee
Lapis Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lapis Technology Co Ltd filed Critical Lapis Technology Co Ltd
Priority to JP2021043211A priority Critical patent/JP2022142932A/ja
Priority to US17/694,427 priority patent/US11798140B2/en
Priority to CN202210262945.5A priority patent/CN115113397A/zh
Publication of JP2022142932A publication Critical patent/JP2022142932A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

Figure 2022142932000001
【課題】簡易な構成で車両振動時の虚像のずれによる運転者が感じる違和感を低減するヘッドアップディスプレイ、映像補正方法及びそのプログラムを提供する。
【解決手段】本発明のヘッドアップディスプレイは、移動体に搭載されるヘッドアップディスプレイであって、図形を含む画像を取得する画像取得部と、前記移動体に加わる振動を示す振動情報を取得する振動情報取得部と、前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して補正画像を生成する画像補正部と、前記補正画像を空間に虚像として表示させる表示部と、を含む。
【選択図】図１

Description

本発明は映像補正装置、特に、車両に搭載されるヘッドアップディスプレイ、映像補正方法及びそのプログラムに関する。
近年、自動車等の移動体において、運転者の視認領域の実像にディジタル映像の虚像を重ねて表示することにより運転者を支援するヘッドアップディスプレイ等の技術が知られている。
例えば、特許文献１には、表示器が表示した表示画像を表す表示光を、自車両のフロントガラスに照射することで、ユーザに自車両前方の実景と重ねて表示画像の虚像を視認させるヘッドアップディスプレイ装置が開示されている。また、特許文献１には、自車両が振動した際に、振動情報から振動に伴う自車両の変位量の鉛直成分を特定して表示位置補正量を読み出し、当該表示位置補正量に基づいて描画される画像の表示位置を上下方向のうち自車両が変位した方向と反対方向に移動させる技術が開示されている。これにより、自車両が振動した際の虚像のずれによるユーザに与える表示の違和感を低減させることが可能となる。
特開２０１７－１３５９０号公報
しかしながら、逐次変化する車両の振動に応じて虚像の表示位置を移動させる補正を行うと、例えば、補正処理を行う半導体装置の負荷が大きくなり、処理速度の低下を及ぼす可能性がある。また、当該処理速度の低下を防ぐためには、大規模な半導体装置を搭載する必要があり、装置の大型化や装置の発熱対策も必要となる。
本発明は、上記の点に鑑みてなされたものであり、簡易な構成及び処理で車両振動時の虚像のずれによる運転者が感じる違和感を低減するヘッドアップディスプレイ、映像補正方法及び映像補正プログラムを提供することを目的とする。
本発明に係るヘッドアップディスプレイは、移動体に搭載されるヘッドアップディスプレイであって、図形を含む画像を取得する画像取得部と、前記移動体に加わる振動を示す振動情報を取得する振動情報取得部と、前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して補正画像を生成する画像補正部と、前記補正画像を空間に虚像として表示させる表示部と、を含むことを特徴としている。
また、本発明に係る映像補正方法は、移動体に搭載され、補正画像を空間に虚像として表示させる表示部を含むヘッドアップディスプレイの映像補正方法であって、図形を含む画像を取得する画像取得ステップと、前記移動体に加わる振動を示す振動情報を取得する振動情報取得ステップと、前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して前記補正画像を生成する画像補正ステップと、を含むことを特徴としている。
また、本発明に係る映像補正プログラムは、移動体に搭載され、補正画像を空間に虚像として表示させる表示部を含むヘッドアップディスプレイに搭載されたコンピュータに、図形を含む画像を取得する画像取得ステップと、前記移動体に加わる振動を示す振動情報を取得する振動情報取得ステップと、前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して前記補正画像を生成する画像補正ステップと、を実行させることを特徴としている。
本願の実施例１に係るＨＵＤを搭載した車両としての自動車の車室前席部分の側面を示す図である。 本願の実施例１に係るＨＵＤの構成を示すブロック図である。 本願の実施例１に係るＨＵＤの補正処理を施す前の図形の一例を示す図である。 図３の図形のＡ－Ａ線における補正処理を施す前後の輝度及び彩度の強度分布を示すグラフである。 本願の実施例１に係るＨＵＤの補正処理を施す前後の図形を虚像として表示した際の見え方の一例を示す図である。 本願の実施例１に係るＨＵＤの振動センサが検知した振動と、当該振動を水平方向の振動及び垂直方向の振動に分離した際の振動方向を示す図である。 本願の実施例１に係るＨＵＤの動作ルーチンの一例としての虚像表示ルーチンを示す図である。 実施例２に係るＨＵＤの図３の図形のＡ－Ａ線における補正処理を施す前後の輝度及び彩度の強度分布を示すグラフである。 実施例２に係るＨＵＤの図３の図形のＡ－Ａ線における補正処理を施す前後の輝度及び彩度の強度分布を示すグラフである。 本願の実施例２に係るＨＵＤの動作ルーチンの一例としての虚像表示ルーチンを示す図である。 本発明のＨＵＤが投影する虚像の表示例を示す図である。 図１１に示した白線マークを示す虚像の各々の垂直方向の輝度及び彩度の強度分布を示す図である。
以下、本発明の実施例を図面を参照しつつ詳細に説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
以下に、第１の実施形態としての本願の実施例１に係るヘッドアップディスプレイ（以下、ＨＵＤと称する）１０について、添付の図面を参照して説明する。実施例１においては、ＨＵＤ１０を自動車Ｍに搭載する際を例に説明する。
図１は、本願の実施例１に係るＨＵＤ１０を搭載した車両としての自動車Ｍの車室前席部分の側面を示す図である。図１では、取り付け例として、自動車Ｍのインストルメントパネル部分にＨＵＤ１０が取り付けられている場合を示す。すなわち、ＨＵＤ１０は、移動体としての自動車Ｍに搭載されるヘッドアップディスプレイである。
ＨＵＤ１０は、表示部としての投光部２０を含む。投光部２０は、ＨＵＤ１０と通信可能に接続されており、例えば、ＨＵＤ１０の制御に基づいて表示光ＬＭをウインドシールドＷＳに投射することにより、対象空間ＦＳに虚像Ｖとして当該映像を運転者Ｄに視認させることが可能である。なお、投光部２０は、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いたDigital Light Processing（ＤＬＰ）又はレーザ走査のような光投射方式でもよい。すなわち、投光部２０は、虚像Ｖとして表示させる画像を表示光ＬＭとしてウインドシールドＷＳに投射し、当該ウインドシールドＷＳに反射した表示光ＬＭによって運転者Ｄに虚像Ｖを視認させるものであればよい。
なお、投光部２０は、表示光ＬＭをウインドシールドＷＳに投射させる構成ではなく、例えば、映像を表示可能な液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイのような表示装置であってもよい。
車載カメラ３０は、例えば、自動車Ｍの前方（対象空間ＦＳ）を撮影可能なカメラである。車載カメラ３０は、例えば、ルームミラーに設けられているか又はウインドシールドＷＳの上端又は当該上端付近の天井部に設けられている。また、車載カメラ３０は、ＨＵＤ１０と通信可能に接続されており、撮影した映像の信号をＨＵＤ１０に送信することが可能である。なお、ＨＵＤ１０は、少なくとも虚像Ｖを生成させる空間、すなわち自動車Ｍの前方を撮影できる位置に配されていればよい。車載カメラ３０は、例えば、自動車Ｍのフロントグリル部又はサイドミラーの各々に設けられて対象空間ＦＳを撮影可能に配向されていてもよい。
ＧＰＳ受信機４０は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機４０は、例えば、ダッシュボード上に配されている。なお、ＧＰＳ受信機４０は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機４０は、ＨＵＤ１０と通信可能に接続されており、受信したＧＰＳ信号をＨＵＤ１０に送信することが可能である。また、ＨＵＤ１０は、ＧＰＳ受信機４０と連動して設定された目的地へのルート探索及びルート指示を行うナビゲーション機能を有する。
ＨＵＤ１０は、例えば、車載カメラ３０が取得した対象空間ＦＳの映像から現在自動車Ｍが走行している車線を示す白線や中央分離帯の情報、前方を走行している他車両の情報又は自動車Ｍの前方を歩行する歩行者の情報等を検出する。また、ＨＵＤ１０は、運転者Ｄが視認する対象空間ＦＳの実像にそれらの情報を示す虚像Ｖを重ね合わせて表示させ、当該虚像Ｖを運転者Ｄに視認させる。
ＨＵＤ１０が虚像Ｖとして表示させる画像は、例えば、白線を強調させる白線マーク、前方の他車両を強調させる他車両マーク並びに前方の他車両との車間距離、及び自動車Ｍの前方を歩行する歩行者を強調させる歩行者マーク等を示す図形を含む画像である。また、ＨＵＤ１０が虚像Ｖとして表示させる画像は、例えば、ナビゲーション機能によって指示される案内、すなわち進行方向の交差点での直進、右折もしくは左折等を示すルート指示矢印マーク等又は目的地までの距離や到着予想時刻等の図形を含む画像である。
振動情報取得部としての振動センサ５０は、自動車Ｍの運転中の振動情報を検知するセンサである。振動センサ５０は、例えば、加速度センサ又はジャイロセンサ等を含み、自動車Ｍの運転中における自動車Ｍの振動方向、振動量及び振動周波数を含む振動情報を検知する。自動車Ｍの振動情報は、例えば、垂直方向の振動の振幅及び周波数を含む垂直振動情報と、水平方向の振動の振幅及び周波数を含む水平振動情報と、を含む情報である。なお、ここでいう垂直方向とは、例えば、重力方向に沿った方向である、鉛直方向である。また、水平方向とは、例えば、鉛直方向に直交する方向に沿った方向である。
振動センサ５０は、ＨＵＤ１０と通信可能に接続されており、検知した振動情報をＨＵＤ１０に送信することが可能である。なお、振動センサ５０は、ＨＵＤ１０の筐体内に配されてもよい。ＨＵＤ１０が表示する虚像Ｖがぶれる要因として、自動車Ｍの振動によって投光部２０が振動し、表示光ＬＭのウインドシールドＷＳの投射位置がぶれることによって虚像Ｖのぶれが発生する。振動センサ５０が投光部２０の近傍に配されることによって、振動センサ５０は投光部２０に加わる振動に近しい振動情報を取得することが可能となる。言い換えれば、ＨＵＤ１０は、自動車Ｍに加わる振動を示す振動情報を取得する振動情報取得部としての振動センサ５０を含む。また、振動情報は、自動車Ｍに加わる水平方向の振動に関する水平振動情報及び垂直方向の振動に関する垂直振動情報を含む。
ＨＵＤ１０は、振動センサ５０から受信した振動情報に応じて、虚像Ｖとして表示させる画像に後述する補正を施す。これにより、ＨＵＤ１０は、運転者Ｄが視認する前方の実像と虚像Ｖとの自動車Ｍの振動によるぶれが生じた場合でも、当該ぶれを視覚的に軽減させることができ、運転者Ｄが感じる違和感を軽減させることが可能となる。
図２は、本願の実施例１に係るＨＵＤ１０の構成を示すブロック図である。ＨＵＤ１０は、例えば、システムバス１０１を介して、記憶部１０３と、制御部１０５と、入力部１０７と、出力部１０９とが協働する装置である。また、ＨＵＤ１０の制御部１０５にはＭＣＵ（Micro Controller Unit）７０が接続されている。
ＭＣＵ７０はＨＵＤ１０の全体を制御する制御部である。ＭＣＵ７０の制御内容には例えば、ＨＵＤ１０の動作の開始及び停止、ＨＵＤ１０の制御部１０５の行う処理の動作タイミング等を含む。
記憶部１０３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステム及び端末用のソフトウェア等の各種プログラムを記憶する。また、記憶部１０３は、虚像Ｖとして表示させる図形を含む画像及びナビゲーション機能に用いる地図情報を記憶する。なお、各種プログラム、画像及び地図情報は、例えば、他のサーバ装置等からネットワークを介して取得されてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部１０３に記憶される各種プログラム（後述するＨＵＤ１０における処理を実行するためのプログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
制御部１０５は、ＣＰＵ（Central Processing Unit）１０５Ａ、ＲＯＭ（Read Only Memory）１０５Ｂ、ＲＡＭ（Random Access Memory）１０５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ１０５Ａが、ＲＯＭ１０５Ｂや記憶部１０３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
入力部１０７は、ＨＵＤ１０と車載カメラ３０、ＧＰＳ受信機４０及び振動センサ５０とを通信可能に接続するインタフェース部である。ＨＵＤ１０は、入力部１０７を介して、車載カメラ３０から自動車Ｍの前方画像を受信し、ＧＰＳ受信機４０から自動車Ｍの現在位置情報を受信し、振動センサ５０から自動車Ｍの振動情報を受信することが可能である。なお、本実施例１においては、車載カメラ３０が撮像した映像が直接ＨＵＤ１０に入力される場合について説明する。この場合、制御部１０５のＣＰＵ１０５Ａは、車載カメラ３０から送信される映像信号の情報から映像データを生成し、当該映像データを含むデータブロックをＲＡＭ１０５Ｃに対して順次書き込み又は読み出しを行う。しかし、ＨＵＤ１０は、車載カメラ３０と入力部１０７との間に、車載カメラ３０から送信される映像信号の情報から映像データを生成するグラフィック生成部を備えていてもよい。この場合、ＨＵＤ１０は、グラフィック生成部から映像データを順次受け入れ、その映像データを含むデータブロックをＲＡＭ１０５Ｃに書き込み、また、その書き込んだデータブロックを順次読み出す。これにより、ＨＵＤ１０の制御部１０５の負荷を抑えることが可能となる。
出力部１０９は、投光部２０と通信可能に接続されており、投光部２０に虚像Ｖとして表示させる画像の信号を送信して表示光ＬＭを投射させることにより、対象空間ＦＳに虚像Ｖを表示させることが可能である。
また、制御部１０５は、虚像Ｖとして表示させる上記の白線マーク、他車両マーク、他車両との車間距離、歩行者マーク又はルート指示矢印マーク等の図形を含む画像を記憶部１０３から読み出す。この時、制御部１０５は、画像取得部として機能する。
また、制御部１０５は、読み出した画像から投光部２０が虚像Ｖとして表示する補正画像を生成し、当該補正画像の信号を投光部２０に出力部１０９を介して送出する。投光部２０は、受信した補正画像の信号を表示光ＬＭとしてウインドシールドＷＳに投射させて運転者Ｄに虚像Ｖとして視認させる。
制御部１０５は、補正画像を生成する際、振動センサ５０から受信した振動情報に基づいて記憶部１０３から読み出した画像内の図形に補正処理を施して補正画像を生成する。具体的には、制御部１０５は、振動センサ５０から受信した振動情報から、垂直方向及び水平方向の振動量に応じて、画像に含まれる図形の輪郭をぼかすように補正を施した補正画像を生成する。この時、制御部１０５は、ＨＵＤ１０の画像補正部として機能する。
次に、図３及び図４を用いて本願の実施例１に係るＨＵＤ１０の補正処理について説明する。
図３は、本願の実施例１に係るＨＵＤ１０の補正処理を施す前の図形ＩＭの一例を示す図である。本実施例においては、図３に示すように、長方形の図形ＩＭに対して補正を行う場合について説明する。また、本実施例においては、図３の垂直方向（Ａ－Ａ線に沿った方向）の振動に対して補正を施す場合について説明する。
また、図４は、図３の図形ＩＭのＡ－Ａ線における補正処理を施す前後の輝度及び彩度の強度分布を示すグラフである。図４の縦軸はＡ－Ａ線に相当し、横軸は虚像Ｖとして表示させた場合の輝度及び彩度の強度を表す。また、図４の左側は補正処理を施す前の図形ＩＭにおける輝度及び彩度の強度分布を示し、右側は補正処理を施した後の補正画像における輝度及び彩度の強度分布を示す。
補正処理を施す前の図形ＩＭのＡ－Ａ線における輝度分布は、例えば、図４の左側に示すように、輪郭ＥＧによって画定された表示領域内において、一様な輝度で表示される。すなわち、補正処理を施す前の図形ＩＭにおいては、表示領域内の輝度及び彩度の強度は一様に１００％であり、表示領域外の輝度及び彩度の強度は一様に０％である。
このように輪郭ＥＧがはっきりとした図形ＩＭが虚像Ｖとして投射されると、自動車Ｍの振動の周波数に応じて輪郭ＥＧのぶれ（振動）が断続的に表示されることになる。そのため、補正処理前の図形ＩＭが虚像Ｖとして表示された時、虚像Ｖは、例えば、表示される図形の線幅が太く見えたり、輪郭ＥＧ周辺にちらつきが発生したりする。これにより、虚像Ｖが図形ＩＭと異なる形状となって運転者Ｄに認識されてしまい、運転者Ｄに違和感を生じさせてしまう。
すなわち、運転者Ｄに違和感を生じさせる虚像Ｖを表示した場合、虚像Ｖの視認性が低下してしまい、運転者Ｄは虚像Ｖを視認するために注視する、又は虚像Ｖが示す情報を認識できなくなる可能性が生じ、運転の安全性に影響を及ぼすおそれがある。
本願の実施例１に係るＨＵＤ１０においては、図４の右側に示すように、輪郭ＥＧによって画定された表示領域内の輪郭ＥＧ周縁部において、ぼかし補正領域ＣＡを形成する。制御部１０５は、ぼかし補正領域ＣＡの表示領域内の補正開始点ＣＳから表示領域外の補正終了点ＣＥにかけて図形ＩＭの輝度及び彩度を段階的に減少させるように補正を行う。すなわち、制御部１０５は、輪郭ＥＧ周辺の輝度及び彩度を段階的に減少させて輪郭ＥＧをぼかす処理を図形ＩＭに施し、補正画像を生成する。
なお、この時減少させる輝度及び彩度とは、例えば、ＹＣｂＣｒ系色空間である。具体的には、制御部１０５は、ぼかし補正領域ＣＡにおいて、補正開始点ＣＳから補正終了点ＣＥにかけて輝度（Ｙ）を段階的に図形ＩＭが保有する値からＹ＝０となるまで減少させる。また、これと共に、制御部１０５は、彩度（ＣｂＣｒ）をＣｂＣｒ色平面において、図形ＩＭが保有する値から原点（Ｃｂ＝０、Ｃｒ＝０）まで直線的に移動させるように補正処理を施す。すなわち、補正処理を施した図形ＩＭが表示させる虚像Ｖにおいて、当該虚像Ｖの輪郭ＥＧ周辺は、表示領域から外側に向けて徐々に明るさが低減しかつ、徐々に色味が淡くなる。
また、制御部１０５は、補正開始点ＣＳの位置を、例えば、図形ＩＭの輪郭ＥＧから図形の補正方向に沿った幅の振動の振幅に応じた所定の割合だけ輪郭ＥＧから内側に設ける。すなわち、振動の振幅が大きくなるほど補正開始点ＣＳは図形ＩＭの内側に位置するように設けられる。なお、補正開始点ＣＳの位置については任意に設定可能である。例えば、制御部１０５は補正開始点ＣＳの位置を輪郭ＥＧから内側に振動の振幅の１／２の量に相当する距離の位置に設けるようにしてもよい。また、制御部１０５は補正開始点ＣＳの位置を輪郭ＥＧから内側に振動の振幅の所定の割合の距離の位置に設けるようにしてもよい。補正開始点ＣＳの位置は、補正処理後の虚像Ｖの視認性が良好となるように設定されていればよい。
また、制御部１０５は、補正終了点ＣＥの位置を、例えば、補正開始点ＣＳの位置と同様に、図形ＩＭの補正方向に沿った幅の振動の振幅に応じた所定の割合だけ輪郭ＥＧから外側に設ける。すなわち、振動の振幅が大きくなるほど補正終了点ＣＥは図形ＩＭの内側に位置するように設けられる。なお、補正終了点ＣＥの位置については任意に設定可能である。例えば、制御部１０５は図形ＩＭの輪郭ＥＧから外側に振動振幅の１／２の量に相当する距離の位置に設けるようにしてもよいし、制御部１０５は補正開始点ＣＳの位置を輪郭ＥＧから外側に振動の振幅の所定の割合の距離の位置に設けるようにしてもよい。また、例えば、制御部１０５は、補正終了点ＣＥの位置を図形の形状及び表示位置に応じて他の図形の表示領域と重複しないように調整されていてもよく、補正処理後の虚像Ｖの視認性が良好となるように設定されていればよい。
また、本実施例１においては、ぼかし補正領域ＣＡにおいて急峻に輝度及び彩度を減少させる区間と緩やかに輝度及び彩度を減少させる区間の２段階で輝度及び彩度を減少させている。これにより、補正処理後の虚像Ｖの視認性を良好にすることが可能となる。なお、輝度及び彩度の減少方法はこれに限定されない。輝度及び彩度の減少は、補正開始点ＣＳから補正終了点ＣＥにかけて直線的に減少させてもよいし、複数段に分割して減少させてもよい。また、輝度及び彩度の減少は、補正開始点ＣＳから補正終了点ＣＥにかけて曲線的に減少させるようにしてもよい。
また、本実施例においては、振動の振幅に応じて補正領域ＣＡの範囲を変化させる場合について説明した。しかし、補正領域ＣＡの範囲は、振動の周波数に応じて変化させるようにしてもよい。例えば、振動の周波数が低く、制御部１０５が運転者Ｄの視認性に影響を及ばさないと判定した場合には、補正領域ＣＡの範囲を小さくする又は補正を行わないようにしてもよい。
図５は、補正処理を施す前後の図形ＩＭを虚像Ｖとして表示した際の見え方の一例を示す図である。図５は、図３と同様に、Ａ－Ａ線に沿った方向の振動に対して補正を施す場合について説明する。図５の左側は補正処理を施す前の図形ＩＭを虚像Ｖとして表示させた場合の見え方を示し、図５の右側は補正処理を施した後の図形ＩＭを虚像Ｖとして表示させた場合の見え方を示す。なお、図５の右側においては、所定の見え方を示す領域が階段状に表示されているように示しているが、実際には補正開始点ＣＳから補正終了点ＣＥにかけて輝度及び彩度が徐々に減少してグラデーションを帯びたように表示される。
図５の左側の補正処理を施す前の図形ＩＭを虚像Ｖとして表示させた場合の見え方においては、上述のように輪郭ＥＧの外側の領域に、自動車Ｍの振動によってはっきりとした輪郭ＥＧのぶれが表示される。また、このぶれは自動車Ｍの振動の周波数の応じたちらつきとなって表示される。よって、補正処理を施す前の図形ＩＭを虚像Ｖとして表示させた場合の見え方は、図５の左側に示すように、図形ＩＭの視認性が悪くなる。
図５の右側の補正処理を施した後の図形ＩＭは、上述の通り、輪郭ＥＧの周辺の輝度及び彩度を段階的に低下させてぼかすような補正処理を施している。よって、補正処理を施した後の図形ＩＭを虚像Ｖとして表示させた場合の見え方においては、自動車Ｍが振動している状態でも輪郭ＥＧの内側のぼかし補正領域ＣＡの補正開始点ＣＳから輪郭ＥＧの外側にかけてグラデーションを帯びるように表示される。すなわち、図５の左側のように、輪郭ＥＧのはっきりとしたぶれが表示されず、輪郭ＥＧのぶれの外端が判別しにくいように表示される。よって、図５の右側に示しているように、図形ＩＭの視認性は非常に高いものとなる。すなわち、自動車Ｍの振動による虚像Ｖのぶれを軽減させることが可能となる。
本実施例１においては、虚像Ｖとして表示させる図形を含む画像に対して、自動車Ｍの振動に応じて図形の輪郭部周辺の輝度及び彩度を段階的に減少させ当該輪郭をぼかすような補正を施す。これにより、自動車Ｍの振動による虚像Ｖのぶれによる視認性の低下を軽減させることができ、運転者Ｄが感じる違和感を軽減させることが可能となる。
なお、本実施例１の図３から図５においては、垂直方向の振動にのみ補正を施した例について説明した。しかしながら、上述したように、実際には水平方向の振動に対しても同様の補正処理を施す。
図６は、振動センサ５０が検知した振動ＲＭと、当該振動ＲＭを水平方向の振動ＲＸ及び垂直方向の振動ＲＹに分離した際の振動方向を示す図である。
振動センサ５０に含まれる加速度センサ及びジャイロセンサ等により、例えば、傾きを有する振動ＲＭを図６に示すように水平方向の振動ＲＸ及び垂直方向の振動ＲＹに分離することが可能である。制御部１０５は、記憶部１０３から読み出した画像の図形の輪郭に対して、水平方向の振動ＲＸに振動量に応じた水平方向のぼかし補正処理を施すと共に、垂直方向の振動ＲＹの振動量に応じた垂直方向のぼかし補正処理を施す。すなわち、水平方向の振動においても虚像Ｖの図形の視認性を向上させることが可能となる。これにより、例えば、自動車Ｍのカーブ時に自動車Ｍが傾いている際の振動や横風等による振動等が生じた場合においても、虚像Ｖのぶれによる視認性の低下を軽減させて運転者Ｄが感じる違和感を軽減させることが可能となる。
なお、本実施例１においては、図形ＩＭの輪郭ＥＧをぼかす補正において、虚像Ｖとして表示させた際の輝度及び彩度を段階的に減少させて補正を行う場合について説明した。しかし、輪郭ＥＧをぼかす補正においては、輝度のみを変化させる補正を行ってもよい。すなわち、ぼかし補正領域ＣＡにおいて輝度を段階的に低下させることでも図形ＩＭの輪郭ＥＧをぼかすことができる。これにより、自動車Ｍの振動による虚像Ｖのぶれから生じる視認性の低下を軽減させることができ、運転者Ｄが感じる違和感を軽減させることが可能となる。
以下に、ＨＵＤ１０の虚像Ｖを表示するまでの動作ルーチンの一例について説明する。
図７は、本願の実施例１に係るＨＵＤ１０の動作ルーチンの一例としての虚像表示ルーチンＲ１を示す図である。虚像表示ルーチンＲ１は、例えば、ＨＵＤ１０の電源が入ると繰り返し実行される。
虚像表示ルーチンＲ１が開始されると、制御部１０５は、車載カメラ３０から当該車載カメラ３０が撮像している虚像Ｖを表示させる対象空間ＦＳとしての自動車Ｍの前方画像を取得する（ステップＳ１０１）。
次に、制御部１０５は、取得した自動車Ｍの前方画像から道路の車線を示す白線、自動車Ｍの前方にいる他車両又は自動車Ｍの前方を歩行する歩行者等を判別し、自動車Ｍの対象空間ＦＳに虚像Ｖとして表示させる情報があるかを判定する（ステップＳ１０２）。なお、この際、上述したＧＰＳ受信機４０と協働して動作するナビゲーション機能による右折、左折又は直進を示すルート指示においても、自動車Ｍの対象空間ＦＳに虚像Ｖとして表示させる情報として判定する。
ステップＳ１０２において、制御部１０５が自動車Ｍの対象空間ＦＳに表示させる情報がないと判定した場合（ステップＳ１０２：Ｎｏ）、制御部１０５は、虚像表示ルーチンＲ１を終了した後再度実行させる。すなわち、制御部１０５は、ステップＳ１０１の処理を繰り返して実行して車載カメラ３０からの自動車Ｍの前方画像を随時取得して自動車Ｍの対象空間ＦＳに虚像Ｖとして表示させる情報があるかを判定する。
また、ステップＳ１０２において、制御部１０５が自動車Ｍの対象空間ＦＳに表示させる情報があると判定した場合（ステップＳ１０２：Ｙｅｓ）、画像取得ステップとして、制御部１０５は、当該情報に対応した図形ＩＭを含む画像を記憶部１０３から読み出す（ステップＳ１０３）。言い換えれば、ＨＵＤ１０の映像補正方法は、図形を含む画像を取得する画像取得ステップを含む。
次に、振動情報取得ステップとして、制御部１０５は、振動センサ５０から自動車Ｍの振動情報を取得する（ステップＳ１０４）。言い換えれば、ＨＵＤ１０の映像補正方法は、移動体に加わる振動を示す振動情報を取得する振動情報取得ステップを含む。
次に、制御部１０５は、振動センサ５０から取得した振動情報に基づいて、画像に含まれる図形ＩＭに施す補正量を算出する（ステップＳ１０５）。なお、本実施例においては、補正量は、ぼかし補正におけるぼかし補正領域ＣＡの範囲量を示す。本ステップにおいて、制御部１０５は、図６に示したように、振動センサ５０から取得した振動情報である振動ＲＭを水平方向の振動ＲＸ及び垂直方向の振動ＲＹに分離する。また、制御部１０５は、分離した水平方向の振動ＲＸ及び垂直方向の振動ＲＹの各々の振幅から、図形ＩＭの輪郭ＥＧに対して水平方向及び垂直方向の各々のぼかし補正領域ＣＡを算出する。
次に、制御部１０５は、図形ＩＭの輪郭ＥＧに対して、当該輪郭ＥＧをぼかす補正を施した補正画像を生成する（ステップＳ１０６）。図形ＩＭに施す補正は、ステップＳ１０５で算出した水平方向及び垂直方向の各々のぼかし補正領域ＣＡの範囲内で、図形ＩＭの外側に向けて輝度及び彩度を段階的に低下させることにより輪郭ＥＧをぼかす。
すなわち、ステップＳ１０５及びステップＳ１０６が虚像表示ルーチンＲ１における画像補正ステップとして機能する。言い換えれば、ＨＵＤ１０の映像補正方法は、振動情報に基づいて、画像内の図形ＩＭの輪郭をぼかすぼかし補正を画像に施して補正画像を生成する画像補正ステップを含む。
次に、制御部１０５は、生成した補正画像を出力部１０９を介して投光部２０に供給し、投光部２０に当該補正画像の表示光ＬＭを出力させ、虚像Ｖを表示させる（ステップＳ１０７）。
上記の虚像表示ルーチンＲ１の処理を繰り返し行うことにより、ＨＵＤ１０は、自動車Ｍの振動方向及び振動量に応じて、視認性の良好な虚像Ｖを表示させることが可能となる。すなわち、虚像表示ルーチンＲ１は、移動体に搭載され、補正画像を空間に虚像Ｖとして表示させる投光部２０を含むヘッドアップディスプレイの映像補正方法である。
実施例１によれば、ＨＵＤ１０は、上記のように比較的簡易な構成及び補正処理によって自動車Ｍの振動による虚像Ｖのぶれから生じる視認性の低下を軽減させることができ、運転者Ｄが感じる違和感を軽減させることが可能となる。
なお、上述の通り、虚像表示ルーチンＲ１は、ＨＵＤ１０のソフトウェアのプログラムとして記憶部１０３に記録され、制御部１０５としてのＣＰＵ１０５Ａ、ＲＯＭ１０５Ｂ及びＲＡＭ１０５Ｃがこれを読み出して実行する。また、当該プログラムは、コンピュータに読み取り可能な記録媒体に記録して譲渡することが可能である。言い換えれば、虚像表示ルーチンＲ１は、移動体としての自動車Ｍに搭載され、補正画像を空間に虚像Ｖとして表示させる表示部としての投光部２０を含むＨＵＤ１０に搭載されたコンピュータに、図形ＩＭを含む画像を取得する画像取得ステップと、自動車Ｍに加わる振動を示す振動情報を取得する振動情報取得ステップと、振動情報に基づいて、画像内の図形ＩＭの輪郭をぼかすぼかし補正を画像に施して補正画像を生成する画像補正ステップと、を実行させる映像補正プログラムである。また、虚像表示ルーチンＲ１は、虚像表示ルーチンＲ１の映像補正プログラムを格納することを特徴とする、コンピュータが読取可能な記録媒体である。
実施例１においては、虚像Ｖの視認性を向上させるために、図形ＩＭの輪郭ＥＧ周辺の輝度及び彩度を段階的に減少させる補正処理を施す場合について説明した。しかし、図形ＩＭの補正処理方法はこれに限定されない。第２の実施形態として、例えば、虚像Ｖの視認性を向上させるために表示領域の一部の輝度及び彩度を増加させて虚像Ｖの表示を強調するようにしてもよい。
図８は、第２の実施形態としての実施例２に係るＨＵＤ１０の図３の図形ＩＭのＡ－Ａ線における補正処理を施す前後の輝度及び彩度の強度分布を示すグラフである。図８は、図４と同様に、縦軸はＡ－Ａ線に相当し、横軸は虚像Ｖとして表示させた場合の輝度及び彩度の強度を表す。また、図８の左側は補正処理を施す前の図形ＩＭにおける輝度及び彩度の強度分布を示し、右側は補正処理を施した後の補正画像における輝度及び彩度の強度分布を示す。なお、図８の左側に示す補正処理を施す前の図形ＩＭにおける輝度及び彩度の強度分布は、図４の左側に示したものと同様であるため、説明を省略する。また、本実施例２のＨＵＤ１０の構成は、実施例１と同様である。本実施例２においては、補正処理の処理内容において実施例１と異なるため、ＨＵＤ１０の構成については説明を省略する。
図８の右側の補正処理を施した後の補正画像における輝度及び彩度の強度分布において、ぼかし補正領域ＣＡの範囲及びぼかし補正領域ＣＡ内の補正方法については実施例１と同様である。本実施例２において、制御部１０５は、輪郭ＥＧの各々におけるぼかし補正領域ＣＡの間の区間に対して、強調補正領域ＥＡ１を形成する。制御部１０５は、強調補正領域ＥＡ１において、振動の振幅に応じて強調補正領域ＥＡ１の外端から図形ＩＭの中心に向けて段階的に輝度及び彩度を増加させる強調補正を施す。言い換えれば、画像補正部としての制御部１０５は、振動情報に基づいて、図形ＩＭの一部を強調する強調補正を画像ＩＭにさらに施す。また、画像補正部としての制御部１０５は、振動情報に基づいて、図形ＩＭの輝度及び彩度を当該図形の中心に向けて段階的に増加させて図形ＩＭの一部を強調することで強調補正を行う。
なお、本実施例２においても、実施例１と同様に、垂直方向の振動にのみ補正を施した例について説明する。しかしながら、上述したように、実際には水平方向の振動に対しても同様の補正処理を施す。言い換えれば、画像補正部としての制御部１０５は、水平振動情報に基づいて、図形ＩＭの水平方向における輝度及び彩度を変化させ、垂直振動情報に基づいて、図形ＩＭの垂直方向における輝度及び彩度を変化させることで強調補正を行う。
なお、この時増加させる輝度及び彩度は、例えば、ＹＣｂＣｒ系色空間である。具体的には、制御部１０５は、ぼかし補正領域ＣＡにおいて、補正開始点ＣＳから補正終了点ＣＥにかけて輝度（Ｙ）を段階的に図形ＩＭの保有値から増加させる。また、これと共に、制御部１０５は、彩度（ＣｂＣｒ）をＣｂＣｒ色平面において、図形ＩＭの保有値と原点（Ｃｂ＝０、Ｃｒ＝０）とを通る直線上で、原点から遠ざかるように補正処理を施す。すなわち、補正処理を施した図形ＩＭが表示させる虚像Ｖにおいて、当該虚像Ｖの輪郭ＥＧ周辺は、表示領域から外側に向けて徐々に明るさが増加しかつ、徐々に色味が濃くなる。
また、制御部１０５は、強調補正領域ＥＡ１内の輝度及び彩度の最大値を、例えば、図形ＩＭが元々保持している輝度及び彩度から振動の振幅に応じた所定の割合だけ増加させる。すなわち、振動の振幅が大きくなるほど図形ＩＭの強調補正領域ＥＡ１の範囲内が強く強調される。なお、強調補正領域ＥＡ１内の輝度及び彩度の最大値については任意に設定可能である。例えば、強調補正領域ＥＡ１内の輝度及び彩度の最大値は、図形ＩＭが保有するＹＣｂＣｒの値から振動の振幅に応じて所定値を増加させるようにしてもよい。強調補正領域ＥＡ１内の輝度及び彩度の最大値は、補正処理後の虚像Ｖの視認性が良好となるように設定されていればよい。
また、図９の右側に示すように、虚像Ｖとして表示される図形ＩＭの中心を含む一部分のみを強調するようにしてもよい。例えば、振動の振幅に応じて図形ＩＭの中心から、図形ＩＭの補正方向に沿った幅の所定の割合の範囲を強調補正領域ＥＡ２として設定し、当該強調補正領域ＥＡ２の外端から図形ＩＭの中心に向けて段階的に輝度及び彩度を増加させる補正を施すようにしてもよい。
実施例２によれば、ＨＵＤ１０は、表示領域の中央部分であるぼかし補正領域ＣＡの間の区間に強調補正領域ＥＡ１又はＥＡ２を形成し、当該強調領域内の輝度及び彩度を増加させる。ＨＵＤ１０は、ぼかし補正領域ＣＡ内における補正開始点ＣＳ（つまり、強調補正領域ＥＡ１又はＥＡ２の周囲）の輝度及び彩度を相対的に低くして図形ＩＭの中心の一部を強調させることで、図形ＩＭの視認性をさらに向上させることが可能となる。また、図形ＩＭの中心の一部を強調する補正を施すことにより、例えば、白線強調マーク等の比較的細い直線を含む図形、前方の他車両との車間距離やナビゲーション時の右折、左折までの距離を示す数字又は文字等において、さらに視認性を向上させることが可能となる。
図１０は、本願の実施例２に係るＨＵＤ１０の動作ルーチンの一例としての虚像表示ルーチンＲ２を示す図である。虚像表示ルーチンＲ２は、例えば、ＨＵＤ１０の電源が入ると繰り返し実行される。
なお、虚像表示ルーチンＲ２のステップＳ２０１～ステップＳ２０４及びステップＳ２０７においては、図７に示した虚像表示ルーチンＲ１のステップＳ１０１～ステップＳ１０４及びステップＳ１０７と同様である故、説明を省略する。
ステップＳ２０５において、制御部１０５は、振動センサ５０から取得した振動情報に基づいて、画像に含まれる図形ＩＭに施す補正量を算出する。なお、本実施例においては、補正量は、ぼかし補正におけるぼかし補正領域ＣＡ、強調補正領域ＥＡの範囲量及び強調補正領域ＥＡにおける輝度及び彩度の最大値を示す。制御部１０５は、水平方向の振動ＲＸ及び垂直方向の振動ＲＹの各々の振幅から図形ＩＭの輪郭ＥＧに対して水平方向及び垂直方向の各々のぼかし補正領域ＣＡを算出する。また、制御部１０５は、水平方向の振動ＲＸ及び垂直方向の振動ＲＹの各々の振幅から図形ＩＭの中心部に対して水平方向及び垂直方向の各々の強調補正領域ＥＡ１又はＥＡ２を算出する。
次に、ステップＳ２０６において、制御部１０５は、図形ＩＭに対して、当該図形ＩＭの輪郭ＥＧをぼかす補正及び当該図形ＩＭの中心部を強調する補正を施した補正画像を生成する。制御部１０５は、ステップＳ２０５で算出した水平方向及び垂直方向の各々のぼかし補正領域ＣＡの範囲内で、図形ＩＭの外側に向けて輝度及び彩度を段階的に低下させることにより輪郭ＥＧをぼかす。また、制御部１０５は、図形ＩＭの中心部に対して、強調補正領域ＥＡ１又はＥＡ２の範囲内で水平方向の振動ＲＸ及び垂直方向の振動ＲＹの各々の振幅に基づいて図形ＩＭの中心に向けて段階的に輝度及び彩度を増加させることにより図形ＩＭの中心部を強調する。
なお、実施例１と同様に、ステップＳ２０５及びステップＳ２０６が虚像表示ルーチンＲ２における画像補正ステップとして機能する。
上記のステップＳ２０５及びステップＳ２０６を含む虚像表示ルーチンＲ２の処理を実行することにより、制御部１０５は、図形ＩＭの輪郭ＥＧをぼかしかつ中心部を強調させ、さらに視認性を向上させた虚像Ｖを対象空間ＦＳに表示させることが可能となる。
なお、上述したぼかし補正及び強調補正の補正量は、虚像Ｖを投影する対象空間ＦＳにおける距離に応じて補正量を変化させてもよい。
図１１は、本発明のＨＵＤ１０が投影する虚像の表示例を示す図である。
虚像ＶＡ、ＶＢ及びＶＣは、例えば、自動車Ｍが走行している車線の白線位置を強調する白線マークを示す虚像である。
虚像ＶＡ、ＶＢ及びＶＣが投影される対象空間ＦＳにおける距離（運転者Ｄから虚像ＶＡ、ＶＢ及びＶＣが重ね合わされる実像までの距離）は、虚像ＶＡ、ＶＢ、ＶＣの順で遠い。この時、制御部１０５は、虚像ＶＡ、ＶＢ及びＶＣのそれぞれに施す補正の補正量をそれぞれの虚像が投影される距離が遠いものほど大きい補正量の補正を施すことにより、遠い位置に投影される虚像に対して高い視認性を持たせることが可能となる。
図１２は、図１１に示した白線マークを示す虚像ＶＡ、ＶＢ及びＶＣの各々の垂直方向の輝度及び彩度の強度分布を示す図である。
虚像ＶＡ、ＶＢ及びＶＣは、上記の通り、対象空間ＦＳにおいて虚像ＶＡ、ＶＢ、ＶＣの順で運転者Ｄから遠い位置に表示される。
虚像ＶＡ、ＶＢ及びＶＣの各々の補正量は運転者Ｄからの距離に応じて、ＶＡ＜ＶＢ＜ＶＣの関係で補正の強さを変化させる。具体的には、近い距離に表示される虚像ＶＡは、小さい補正量の補正処理が施され、遠い距離に表示される虚像ＶＣは、大きい補正量の補正処理がかけられる。
ずなわち、図１２に示すように、制御部１０５は、虚像ＶＡ、ＶＢ及びＶＣの各々のぼかし補正領域ＣＡＡ、ＣＡＢ及びＣＡＣの各々の範囲を、ＣＡＡ＜ＣＡＢ＜ＣＡＣの順で大きくし、遠い距離に表示される虚像ほど輪郭ＥＧを強くぼかす。
また、制御部１０５は、虚像ＶＡ、ＶＢ及びＶＣの各々の強調補正領域ＥＡＡ、ＥＡＢ及びＥＡＣにおいて、強調量である輝度及び彩度の最大値は、ＶＡ＜ＶＢ＜ＶＣの順で大きくし、遠い距離に表示される虚像ほど強く強調するように補正を施す。
なお、対象空間ＦＳにおける虚像の表示距離に応じて補正の強さ変化させる補正は、ぼかし補正及び強調補正のいずれか一方だけでもよい。対象空間ＦＳにおける虚像の表示距離に応じて、表示させる虚像の視認性を向上させるように補正を施せればよい。
このように、ＨＵＤ１０によれば、対象空間ＦＳに表示させる虚像の距離に応じて、当該虚像として表示させる画像の図形へのぼかし補正のぼかし補正領域、強調補正の輝度及び彩度の最大値を変化させる。これにより、遠くに表示される虚像においても視認性を良好にすることができ、自動車Ｍの振動時の虚像のずれによる運転者が感じる違和感を低減することが可能となる。
なお、本明細書における補正処理は、上述したようなぼかし補正及び強調補正に限らず、画像の図形に対する垂直方向の輝度及び彩度を測定して、輝度及び彩度の変化量の大きい図形部分の前後を変化量が少なくなるように補正してもよい。また、画像の図形に対する水平方向において垂直方向の図形の形成領域を異なるようにしてもよい。
なお、上述した補正処理は、投光部２０で行ってもよい。上述した補正処理が投光部２０によって行われ、投光部２０が液晶ディスプレイである場合について説明する。例えば、制御部１０５において、記憶部１０３から読み出した図形ＩＭを含む画像と、振動情報に基づいた水平方向及び垂直方向におけるぼかし補正領域ＣＡ、強調補正領域ＥＡを示す補正領域信号と、を投光部２０の駆動ドライバに供給する。
投光部２０の駆動ドライバは、供給された画像から当該画像を表示させるセルの表示データを抽出しこれを保持する。
投光部２０の駆動ドライバは、抽出した表示データから水平方向及び垂直方向において輝度及び彩度の変化量の多いセルを検出する。また、投光部２０の駆動ドライバは、当該変化量の多いセルを起点として、供給された補正領域信号に基づいて、ぼかし補正領域ＣＡの範囲のセルにおいて輝度及び彩度を段階的に低下させるように表示データを補正する。また、投光部２０の駆動ドライバは、当該変化量の多いセルを起点として、供給された補正領域信号に基づいて、強調補正領域ＥＡの範囲のセルにおいて、輝度及び彩度を段階的に増加させるように表示データを補正する。
投光部２０の駆動ドライバは、このように補正された表示データから、投光部２０の液晶パネルの各々のセルに当該表示データに対応した駆動電圧を生成し、投光部２０の液晶パネルに供給することで、水平方向及び垂直方向にぼかし補正及び強調補正がなされた表示光ＬＭを投光部２０の液晶パネルから投射させることが可能となる。
なお、投光部２０が有機ＥＬディスプレイ等の自発光パネル方式、ＭＥＭＳミラーを用いたＤＬＰ又はレーザ走査のような光投射方式であっても、上記のように駆動ドライバ上で補正を施すことが可能である。すなわち、本願のＨＵＤ１０の虚像Ｖの自動車Ｍの振動による視認性の低下又は運転者Ｄが感じる違和感の低下を低減させる補正は、いかなる表示方式を用いた場合のＨＵＤにおいても適用可能である。
１０ ＨＵＤ
２０ 投光部
３０ 車載カメラ
４０ ＧＰＳ受信機
５０ 振動センサ
１０３ 記憶部
１０５ 制御部
１０７ 入力部
１０９ 出力部

Claims (12)

  1. 移動体に搭載されるヘッドアップディスプレイであって、
    図形を含む画像を取得する画像取得部と、
    前記移動体に加わる振動を示す振動情報を取得する振動情報取得部と、
    前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して補正画像を生成する画像補正部と、
    前記補正画像を空間に虚像として表示させる表示部と、を含むことを特徴とするヘッドアップディスプレイ。
  2. 前記振動情報は、前記移動体に加わる水平方向の振動に関する水平振動情報及び垂直方向の振動に関する垂直振動情報を含み、
    前記画像補正部は、前記水平振動情報に基づいて前記画像内の前記図形の輪郭の水平方向に沿ったぼかし補正を行い、前記垂直振動情報に基づいて、前記画像内の前記図形の垂直方向に沿ったぼかし補正を行うことを特徴とする請求項１に記載のヘッドアップディスプレイ。
  3. 前記画像補正部は、前記振動情報に基づいて、前記図形の輝度及び彩度を前記図形の外側に向けて段階的に低下させて前記図形の輪郭をぼかすことで前記ぼかし補正を行うことを特徴とする請求項１または２に記載のヘッドアップディスプレイ。
  4. 前記画像補正部は、前記振動情報に基づいて、前記ぼかし補正の前記図形の輪郭をぼかす範囲を変化させることで前記ぼかし補正を行うことを特徴とする請求項１乃至３のいずれか１つに記載のヘッドアップディスプレイ。
  5. 前記画像補正部は、表示させる前記虚像の前記空間の奥行き方向における位置に基づいて、前記図形の輪郭をぼかす範囲を変化させることで前記ぼかし補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載のヘッドアップディスプレイ。
  6. 前記画像補正部は、前記振動情報に基づいて、前記図形の一部を強調する強調補正を前記画像にさらに施すことを特徴とする請求項１乃至４のいずれか１つに記載のヘッドアップディスプレイ。
  7. 前記画像補正部は、前記振動情報に基づいて、前記図形の輝度及び彩度を当該図形の中心に向けて段階的に増加させて前記図形の一部を強調することで前記強調補正を行うことを特徴とする請求項６に記載のヘッドアップディスプレイ。
  8. 前記画像補正部は、表示させる前記虚像の前記空間の奥行き方向における位置に基づいて、前記画像に施す前記強調補正の前記図形の輝度及び彩度の最大値を変化させることで前記強調補正を行うことを特徴とする請求項６または７のいずれか１項に記載のヘッドアップディスプレイ。
  9. 前記振動情報は、前記移動体に加わる水平方向の振動に関する水平振動情報及び垂直方向の振動に関する垂直振動情報を含み、
    前記画像補正部は、前記水平振動情報に基づいて、前記図形の水平方向における輝度及び彩度を変化させ、前記垂直振動情報に基づいて、前記図形の垂直方向における輝度及び彩度を変化させることで前記強調補正を行うことを特徴とする請求項７又は８に記載のヘッドアップディスプレイ。
  10. 移動体に搭載され、補正画像を空間に虚像として表示させる表示部を含むヘッドアップディスプレイの映像補正方法であって、
    図形を含む画像を取得する画像取得ステップと、
    前記移動体に加わる振動を示す振動情報を取得する振動情報取得ステップと、
    前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して前記補正画像を生成する画像補正ステップと、を含むことを特徴とする映像補正方法。
  11. 移動体に搭載され、補正画像を空間に虚像として表示させる表示部を含むヘッドアップディスプレイに搭載されたコンピュータに、
    図形を含む画像を取得する画像取得ステップと、
    前記移動体に加わる振動を示す振動情報を取得する振動情報取得ステップと、
    前記振動情報に基づいて、前記画像内の前記図形の輪郭をぼかすぼかし補正を前記画像に施して前記補正画像を生成する画像補正ステップと、を実行させることを特徴とする映像補正プログラム。
  12. 請求項１１に記載の映像補正プログラムを格納することを特徴とする、コンピュータが読取可能な記録媒体。
JP2021043211A 2021-03-17 2021-03-17 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム Pending JP2022142932A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021043211A JP2022142932A (ja) 2021-03-17 2021-03-17 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム
US17/694,427 US11798140B2 (en) 2021-03-17 2022-03-14 Head-up display, video correction method, and video correction program
CN202210262945.5A CN115113397A (zh) 2021-03-17 2022-03-17 平视显示器、影像校正方法以及影像校正程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021043211A JP2022142932A (ja) 2021-03-17 2021-03-17 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム

Publications (1)

Publication Number Publication Date
JP2022142932A true JP2022142932A (ja) 2022-10-03

Family

ID=83285852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021043211A Pending JP2022142932A (ja) 2021-03-17 2021-03-17 ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム

Country Status (3)

Country Link
US (1) US11798140B2 (ja)
JP (1) JP2022142932A (ja)
CN (1) CN115113397A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4942216B2 (ja) * 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP2017010092A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017100971A1 (zh) * 2015-12-14 2017-06-22 北京大学深圳研究生院 一种失焦模糊图像的去模糊方法和装置
JP6512449B2 (ja) * 2016-01-20 2019-05-15 パナソニックＩｐマネジメント株式会社 表示装置
JP2017181748A (ja) * 2016-03-30 2017-10-05 セイコーエプソン株式会社 光スキャナー、画像表示装置およびヘッドマウントディスプレイ
JP6953150B2 (ja) * 2017-03-10 2021-10-27 株式会社ジャパンディスプレイ 表示装置
US10102796B2 (en) * 2017-03-13 2018-10-16 Dell Products, L.P. Image sticking avoidance in organic light-emitting diode (OLED) displays
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
JP7027737B2 (ja) * 2017-09-05 2022-03-02 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10838468B2 (en) * 2019-01-28 2020-11-17 EMC IP Holding Company LLC Mounting a camera behind a transparent organic light emitting diode (TOLED) display
US11727545B2 (en) * 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
US11575834B2 (en) * 2019-12-17 2023-02-07 Canon Kabushiki Kaisha Image stabilization apparatus, method of controlling same, and storage medium
US11295427B2 (en) * 2020-02-14 2022-04-05 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
US11645747B2 (en) * 2020-02-25 2023-05-09 GE Precision Healthcare LLC Methods and systems for digital mammography imaging
US20220262014A1 (en) * 2021-02-15 2022-08-18 Canon Kabushiki Kaisha Apparatus for notifying object blur, control method thereof, and storage medium

Also Published As

Publication number Publication date
US20220301116A1 (en) 2022-09-22
US11798140B2 (en) 2023-10-24
CN115113397A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
US11983856B2 (en) Image display system, image display method, storage medium, and moving vehicle including the image display system
CN110308556B (zh) 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质
US20120235805A1 (en) Information display apparatus and information display method
WO2018207566A1 (ja) 表示装置及び表示制御方法
JP6561616B2 (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
US11247565B2 (en) Virtual image display device
JP2015144407A (ja) 視界支援装置、視界支援方法、及び視界支援プログラム
JP6075248B2 (ja) 情報表示装置
CN111095078A (zh) 用于控制用于机动车的增强现实平视显示器装置的显示的方法、装置和带有指令的计算机可读的存储介质
JP2018118622A (ja) ヘッドアップディスプレイ装置および表示制御方法
KR20220050133A (ko) 조명 장치 및 거리 측정 모듈
JP2022142932A (ja) ヘッドアップディスプレイ、映像補正方法及び映像補正プログラム
JP2017111739A (ja) 運転支援装置、運転支援方法
WO2021044741A1 (ja) 表示制御装置、表示制御プログラム及びヘッドアップディスプレイ
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
JP6861769B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US20230022485A1 (en) Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium
US20190126827A1 (en) Image generating apparatus and program
CN114506278A (zh) 用于车载娱乐的全景虚拟环境
JP7145509B2 (ja) 映像表示システム、映像表示方法、プログラム、及び、移動体
JP2018152014A (ja) 車両用映像表示装置
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
JP2019125894A (ja) 車載画像処理装置
WO2023145145A1 (ja) 表示制御方法、表示制御装置
WO2021075160A1 (ja) 表示制御装置、表示制御プログラム及び車載システム

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20231227