JP2020036191A - ディスプレイ装置、ディスプレイ方法およびプログラム - Google Patents

ディスプレイ装置、ディスプレイ方法およびプログラム Download PDF

Info

Publication number
JP2020036191A
JP2020036191A JP2018161284A JP2018161284A JP2020036191A JP 2020036191 A JP2020036191 A JP 2020036191A JP 2018161284 A JP2018161284 A JP 2018161284A JP 2018161284 A JP2018161284 A JP 2018161284A JP 2020036191 A JP2020036191 A JP 2020036191A
Authority
JP
Japan
Prior art keywords
image
display device
image data
area
wavelength light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018161284A
Other languages
English (en)
Other versions
JP7131210B2 (ja
Inventor
大山　実
Minoru Oyama
実 大山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018161284A priority Critical patent/JP7131210B2/ja
Priority to EP19854602.0A priority patent/EP3846451B1/en
Priority to PCT/JP2019/009440 priority patent/WO2020044623A1/ja
Publication of JP2020036191A publication Critical patent/JP2020036191A/ja
Priority to US17/172,834 priority patent/US11312301B2/en
Application granted granted Critical
Publication of JP7131210B2 publication Critical patent/JP7131210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B32—LAYERED PRODUCTS
    • B32B—LAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B17/00—Layered products essentially comprising sheet glass, or glass, slag, or like fibres
    • B32B17/06—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material
    • B32B17/10—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin
    • B32B17/10005—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing
    • B32B17/10009—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing characterized by the number, the constitution or treatment of glass sheets
    • B32B17/10036—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing characterized by the number, the constitution or treatment of glass sheets comprising two outer glass sheets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B32—LAYERED PRODUCTS
    • B32B—LAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B17/00—Layered products essentially comprising sheet glass, or glass, slag, or like fibres
    • B32B17/06—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material
    • B32B17/10—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin
    • B32B17/10005—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing
    • B32B17/1055—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing characterized by the resin layer, i.e. interlayer
    • B32B17/10651—Layered products essentially comprising sheet glass, or glass, slag, or like fibres comprising glass as the main or only constituent of a layer, next to another layer of a specific material of synthetic resin laminated safety glass or glazing characterized by the resin layer, i.e. interlayer comprising colorants, e.g. dyes or pigments
    • B32B17/10669—Luminescent agents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3158—Modulator illumination systems for controlling the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/62—Translucent screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)

Abstract

【課題】移動体周辺の物体を搭乗者に好適に認識させることができるディスプレイ装置および警告システムを提供する。【解決手段】ディスプレイ装置１は、移動体の室内に設定され第１波長光を反射する第１領域と第１波長光を透過するとともに第２波長光を受けることにより可視光を発する第２領域とを有する被照射面に移動体の周囲に存在する物体の画像を照射する。かかるディスプレイ装置１は、画像データを取得する画像データ取得部と、領域分布情報に基づいて第１領域に対応する画素には第１波長光を選択し、第２領域に対応する画素には第２波長光を選択する色変換を含む画像変換処理を行うことにより照射画像データを生成する画像処理部と、第１波長光または第２波長光のうち、選択された光を射出する光源部と、射出された光により形成される画像を被照射面に対して照射する照射部とを備える。【選択図】図４

Description

本発明はディスプレイ装置、ディスプレイ方法およびプログラムに関する。
自動車の運転者に対して種々の情報を、視覚を通じて認識させるための表示手段として、ステアリング付近を中心としたダッシュボード等の領域に表示装置が設けられている。近年では、ウィンドシールドの一部に虚像を投影するＨＵＤ（Head-up Display）装置が普及している。また、この他にも様々な表示技術が提案されている。
例えば、非特許文献１には、自動車のガラスに表示する情報量の増加に対応した中間膜の開発について記載れている。また、非特許文献２には、様々な場所に画像を投影する技術が記載されている。
自動車フロントガラスに表示する情報量の増加に対応した中間膜の開発について［平成３０年７月４日検索］、インターネット＜ＵＲＬ：https://www.sekisui.co.jp/news/2015/1274415_23166.html＞ Ｘｐｅｒｉａ Ｔｏｕｃｈ（Ｇ１１０９）［平成３０年７月４日検索］、インターネット＜ＵＲＬ：https://www.sony.jp/xperia-smart-products/products/G1109/＞
ダッシュボードに配置した表示装置からの情報を認識するためには、自動車の運転者は移動中の景色から視線を外さなければならない。このように運転者が移動中の景色から視線を外す行為は、運転の安全性を低下させる虞があり好ましくない。また、ＨＵＤ装置はウィンドシールドに画像を表示するため、運転者は、視線を動かす動作が抑えられる。しかし、ＨＵＤ装置の表示範囲は限定的であり、運転者に対する情報提供手段として制約がある。そこで、運転者が移動中の景色から視線を外すことなく、運転者の視野角内に好適に情報を表示する技術が求められている。
一実施形態によれば、ディスプレイ装置は、移動体の室内に設定され、第１波長光を反射する第１領域と、上記第１波長光を透過するとともに上記第１波長光と異なる第２波長光を受けることにより可視光を発する第２領域と、を有する被照射面に上記移動体の周囲に存在する物体の画像を照射するディスプレイ装置である。かかるディスプレイ装置は、上記画像のデータである画像データを取得する画像データ取得部と、上記画像データに対して、上記第１領域および上記第２領域の分布に関する情報である領域分布情報に基づいて、上記第１領域に対応する画素には上記第１波長光を選択し、上記第２領域に対応する画素には上記第２波長光を選択する色変換を含む画像変換処理を行うことにより照射画像データを生成する画像処理部と、上記第１波長光または上記第２波長光のうち、選択された光を射出する光源部と、射出された光により形成される上記画像を上記被照射面に対して照射する照射部とを備える。
一実施形態によれば、ディスプレイ方法は、移動体の室内に設定され、第１波長光を反射する第１領域と、上記第１波長光を透過するとともに上記第１波長光と異なる第２波長光を受けることにより可視光を発する第２領域と、を有する被照射面に上記移動体の周囲に存在する物体の画像を照射するディスプレイ方法である。かかるディスプレイ方法は、上記画像のデータである画像データを取得する画像データ取得ステップと、上記画像データに対して、上記第１領域および上記第２領域の分布に関する情報である領域分布情報に基づいて、上記第１領域に対応する画素には上記第１波長光を選択し、上記第２領域に対応する画素には上記第２波長光を選択する色変換を含む画像変換処理を行うことにより照射画像データを生成する画像変換ステップと、上記第１波長光または上記第２波長光のうち、選択された光を射出する光源ステップと、射出された光により形成される上記画像を上記被照射面に対して照射する照射ステップとを備える。
本発明によれば、移動体周辺の物体を搭乗者に好適に認識させることができるディスプレイ装置および警告システムを提供することができる。
実施の形態にかかるディスプレイ装置を搭載した自動車の上面図である。 実施の形態にかかるディスプレイ装置の被照射領域を示した図である。 実施の形態１にかかるウィンドシールドの断面図である。 実施の形態１にかかるディスプレイ装置の構成図である。 実施の形態１にかかるディスプレイ装置の光源部の構成図である。 実施の形態１にかかるディスプレイ装置の照射範囲を上面から示した図である。 歪み調整情報を含む領域分布情報を示した図である。 実施の形態１にかかるディスプレイ装置の領域分布情報を示した図である。 実施の形態１にかかるディスプレイ装置が画像を照射した例を示す図である。 実施の形態１の変形例１にかかるディスプレイ装置の照射範囲を上面から示した図である。 実施の形態１の変形例２にかかるディスプレイ装置の構成図である。 実施の形態２にかかるディスプレイ装置の構成図である。 実施の形態２にかかるディスプレイ装置の処理を示すフローチャートである。 実施の形態２にかかるディスプレイ装置が画像を照射した例を示す図である。 実施の形態３にかかるディスプレイ装置が画像を照射した例を示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
＜実施の形態１＞
図１を参照しながら実施の形態１について説明する。図１は、実施の形態にかかるディスプレイ装置を搭載した自動車の上面図である。図に示す自動車９００は、カメラ９０１およびディスプレイ装置１を有している。カメラ９０１は自動車９００の周辺画像を撮像する複数のカメラである。図に示すように、自動車９００は右側のドアミラーにカメラ９０１Ｒを有し、左側のドアミラーにカメラ９０１Ｌを有している。カメラ９０１Ｒは、自動車９００の右側の周辺画像を撮像し、カメラ９０１Ｌは、自動車９００の左側の周辺画像を撮像する。具体的には、カメラ９０１Ｒは、自動車９００の右側から右後方を撮像し、カメラ９０１Ｌは、自動車の左側から左後方を撮像する。また、カメラ９０１は、自動車９００の前方を撮影するために自動車９００の前方を向いて配置されているカメラを含んでもよい。また、カメラ９０１は、自動車９００の後方を撮影するために自動車９００の後方を向いて配置されているカメラを含んでもよい。
ディスプレイ装置１は、自動車９００の室内に設定された被照射領域にレーザ光を照射することにより所定の画像を表示するレーザプロジェクタである。図に示すように、自動車９００は２台のディスプレイ装置（ディスプレイ装置１Ａおよびディスプレイ装置１Ｂ）を有している。ディスプレイ装置１Ａおよびディスプレイ装置１Ｂは、自動車９００の運転席上方の天井に固定され、ディスプレイ装置１Ａが室内の右前方の領域に画像を照射し、ディスプレイ装置１Ｂが室内の左前方の領域に画像を照射するように設定されている。ディスプレイ装置１Ａは、例えば、カメラ９０１Ｒが撮像した自動車９００の右側の周辺画像に所定の処理を施して、室内の右前方にその画像を照射する。同様に、ディスプレイ装置１Ｂは、例えば、カメラ９０１Ｌが撮像した自動車９００の左側の周辺画像に所定の処理を施して、室内の左前方にその画像を照射する。
図２を参照しながら、自動車９００の室内における被照射領域について説明する。図２は、実施の形態１にかかるディスプレイ装置の被照射領域を示した図である。自動車９００の室内前方における運転者の視界として想定される領域の内、右側には被照射領域Ｆ９１が設定され、被照射領域Ｆ９１の左側には被照射領域Ｆ９２が隣接して設定されている。
被照射領域Ｆ９１は、ディスプレイ装置１Ａが画像を照射する領域である。被照射領域Ｆ９１は、ウィンドシールド９０４、右側のＡピラー９０５、サイドウィンドウ９０６、ダッシュボード、ドアトリム等を含んでいる。また、被照射領域Ｆ９２は、ディスプレイ装置１Ｂが画像を照射する領域である。被照射領域Ｆ９１は、ウィンドシールド９０４、右側のＡピラー９０３、サイドウィンドウ９０２、ダッシュボードおよびドアトリム等を含んでいる。すなわち、被照射領域Ｆ９１および被照射領域Ｆ９２は、可視光を比較的に透過しない領域（Ａピラーおよびダッシュボード等）と、可視光を比較的に透過する領域（サイドウィンドウおよびウィンドシールド）とを含んでいる。以降の説明において、可視光を比較的に透過しない領域を第１領域と称する。また、可視光を比較的に透過する領域を第２領域と称する。被照射領域Ｆ９１の左端部と被照射領域Ｆ９２の右端部とは、部分的に重なっていてもよく、間隔があってもよい。
被照射領域を形成する領域のうち第１領域を形成する、Ａピラー９０５やダッシュボード等は、可視光を透過しない領域である。第１領域は、可視光を透過せず、可視光を反射する機能を有している。したがって、第１領域では、ディスプレイ装置１が照射する可視光を反射し、反射した可視光を運転者等に視認させることができる。第１領域の表面は、ディスプレイ装置１が照射した可視光を好適に反射することができるように、再帰性反射材を含む材料により構成されていてもよい。
被照射領域を形成する領域のうち第２領域を形成する、サイドウィンドウ９０２、ウィンドシールド９０４およびサイドウィンドウ９０６は、可視光を透過するとともに、所定の波長を有する紫外光を受けると発光する機能を有している。このような機能を有する材料は、例えば、自発光中間膜を有する合せガラスである。
図３に、ウィンドシールド９０４を例示して自発光中間膜の原理について概要を説明する。図３は、実施の形態１にかかるウィンドシールドの断面図である。ウィンドシールド９０４は、２枚のガラス板９０４Ｇと、この２枚のガラス板９０４Ｇの間に挟まれた自発光中間膜９０４ＩＭと、により構成されている。また、自発光中間膜９０４ＩＭは、発光材料９０４Ａを含んでいる。発光材料９０４Ａは、特定の波長を有する紫外光によって励起されると可視光域の波長を有する蛍光を発するとともに、上記紫外光以外の光を透過する性質を有している。すなわち、上述の構成を有するウィンドシールド９０４に対してディスプレイ装置１から所定の紫外光を照射することによって自発光中間膜９０４ＩＭが発光する。これにより、自動車９００に搭乗している運転者等は、ウィンドシールド９０４に表示される画像を視認することができる。
なお、サイドウィンドウ９０２、ウィンドシールド９０４およびサイドウィンドウ９０６は、上述した材料に限らず、可視光を透過するとともに、所定の波長を有する紫外光を受けると発光する機能を有していれば、別の構造を有していてもよい。例えば、可視光を透過するアクリル等の樹脂と発光材料との組み合わせにより構成されていてもよい。また、サイドウィンドウ９０２、ウィンドシールド９０４およびサイドウィンドウ９０６は、上述した構成に加えて、自動車の外面側に、紫外光をカットする性質を有するＵＶカット層を有してもよい。これにより、ディスプレイ装置１が照射する紫外光が外部へ漏れるのを抑制することができるとともに、太陽光に含まれる紫外光により全面が蛍光し視界を妨げることも回避できる。
上述のように、被照射領域Ｆ９１および被照射領域Ｆ９２は、可視光を反射する第１領域と、可視光を透過するとともに紫外光を受けることにより可視光の波長域の蛍光を発する第２領域とを有する。
次に、図４を参照しながらディスプレイ装置１の構成について説明する。図４は、実施の形態１にかかるディスプレイ装置の構成図である。ディスプレイ装置１は主な構成として、制御部１０、レーザ光源部２０、スキャナ部３０およびメモリ４０を有している。
制御部１０は、カメラ９０１と、レーザ光源部２０と、スキャナ部３０と、メモリ４０とにそれぞれ接続し、ディスプレイ装置１の動作の制御を司る。制御部１０は例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）またはその他の電気回路の組み合わせにより構成される。したがって、例えば、制御部１０を制御回路ということもできる。制御部１０は主な構成として、画像データ取得部１１、画像処理部１３、物体認識部１２、レーザ光源制御部１４およびスキャナ制御部１５を有している。
画像データ取得部１１は、カメラ９０１が撮像した自動車９００の周辺画像のデータである画像データを、所定のインタフェースを介して受け取る処理を行う。
物体認識部１２は、画像データ取得部１１が取得した画像データから、認識対象である物体を認識する。認識処理を行うにあたり、例えば、物体認識部１２は、画像データの輝度データから特徴量を抽出し、抽出した特徴量がメモリ４０内に記憶されている特徴量辞書と一致するか否かを照合する。また、物体認識部１２は、認識対象物体を検出すると、認識した物体の位置、大きさ、種別等の情報を一時的に保持する。あるいは、物体認識部１２は、認識した物体の位置、大きさ、種別等の情報を画像処理部１３に供給する。
画像処理部１３は、画像データ取得部１１が取得した画像データと、物体認識部１２から受け取った物体に関する情報とに基づいて、画像データに対して所定の処理を行う。所定の処理の一例は、物体認識部１２が認識した対象物体の画像データを抽出し、抽出した画像データを被照射領域Ｆ９１および被照射領域Ｆ９２に照射するための照射画像データを生成する処理である。なお、照射画像データとは、ディスプレイ装置１が照射する画像の画像データである。所定の処理の別の例は、画像データに対して、認識した対象物体の周囲に枠を重畳させる処理や、認識した物体が歩行者であるか、自転車であるか、などの種別を表示するアイコンや文字情報を重畳させる処理である。これらの処理を行う場合、画像処理部１３は、メモリ４０が予め記憶している画像データを読み取り、画像データに重畳させる。
また、画像処理部１３は、歪み調整部１３１を有している。歪み調整部１３１は、画像データに対して被照射面に対応した歪み調整処理を行う。歪み調整処理は、台形補正等の線形補正や、非線形補正を含む。このような処理を行うことにより、ディスプレイ装置１は照射面に対して歪みの少ない画像を照射することができる。なお、画像データを調整する方法である歪み調整方法は、ディスプレイ装置１の設置位置と、被照射領域の形状とにより決定され、具体的な処理内容は、例えば、メモリ４０に予め記憶された変換式を用いて実行される。画像処理部１３は、上述の処理を行い、照射画像データを生成する。
レーザ光源制御部１４は、照射画像データに基づいたレーザ駆動信号をレーザドライバ２２に出力して、レーザダイオードの出力を制御する。これにより、レーザ光源制御部１４は、レーザ光源部２０による光の出力を制御する。具体的には、レーザ光源制御部１４は、画像処理部１３において処理された照射画像データに含まれる各画素の色や輝度に応じて、赤色、青色、緑色のレーザダイオード２１１Ｒ、２１１Ｂ、２１１Ｇおよび紫外レーザダイオード２１１ＵＶの駆動を制御する。また、レーザ光源制御部１４は、フォトダイオード２３が検出したレーザ光の強度に基づいて、レーザ光源部２０の状態を判断し、レーザダイオード２１１の駆動電流値を決定してレーザドライバ２２を制御するＡＰＣ（Auto Power Control）処理を行う。
また、レーザ光源制御部１４は、スキャナ制御部１５と同期して動作する。より具体的には、例えば、レーザ光源制御部１４は、水平方向の同期を図る水平同期信号と、垂直方向の同期を図る垂直同期信号をスキャナ制御部１５と共有し、これらの信号に基づいて各レーザの出力を決定する。このように、レーザ光源制御部１４とスキャナ制御部１５とが同期して動作することにより、ディスプレイ装置１は、照射画像データを構成する各画素の色および出力を制御する。ディスプレイ装置１は、これにより所望の画像を生成することができる。
また、レーザ光源制御部１４は、波長選択部１４１を有している。波長選択部１４１は、被照射面における第１領域および第２領域の分布に関する情報である領域分布情報に基づいて、第１領域には、第１領域に対応している可視光を第１波長光として選択し、第２領域には第２領域に対応している紫外光を第２波長光として選択する機能を有している。なお、領域分布情報の詳細については後述する。
波長選択部１４１は、例えば、ディスプレイ装置１が照射する画像の画素ごとに、可視光または紫外光の出力を設定する処理を行う。レーザ光源制御部１４は、水平同期信号および垂直同期信号に基づいて波長選択部１４１が設定したレーザ光を出力させることにより、可視光か紫外光かの出力を切り換える。これにより、ディスプレイ装置１は、第１領域に含まれる画素を照射する場合には可視光レーザを駆動させ、第２領域に含まれる画素を照射する場合には紫外光レーザを駆動させる。このように、予め設定されている領域分布情報に基づいてレーザ光を切り換えることにより、効率よく波長の切換動作を行うことができる。
なお、波長選択部１４１は、書き換え可能なレジスタとして領域分布情報を有していてもよい。書き換え可能な構成とすることにより、被照射領域の領域分布情報が変更になった場合に容易に対応することが可能となる。
スキャナ制御部１５は、スキャナ駆動信号をスキャナドライバ３２に出力してスキャナ３１によるレーザ光の走査を制御する。スキャナ制御部１５は、上述の水平同期信号および垂直同期信号に基づいて動作する。また、スキャナ制御部１５は、スキャナ３１の走査角を検出する走査角検出部（図示せず）の検出信号を監視して、スキャナ３１の走査角、波形の生成、揺動周波数の制御等を行う。
レーザ光源部２０は、レーザ光を出力するレーザモジュール２１、レーザモジュール２１が有するレーザダイオードを駆動するレーザドライバ２２、レーザ光の光量を測定するフォトダイオード２３等を備える。
図５を参照しながらレーザ光源部２０の詳細について説明する。図５は、実施の形態１にかかるディスプレイ装置の光源部の構成図である。レーザモジュール２１は、図に示すように、赤色レーザダイオード２１１Ｒ、緑色レーザダイオード２１１Ｇ、青色レーザダイオード２１１Ｂ、紫外レーザダイオード２１１ＵＶ、各レーザダイオード２１１Ｒ、２１１Ｂ、２１１Ｇ、２１１ＵＶにそれぞれ対応するダイクロイックミラー２１２Ｒ、２１２Ｇ、２１２Ｂ、２１２ＵＶ等を有する。レーザダイオード２１１から出力された各色のレーザ光は、ダイクロイックミラー２１２によって合波されてスキャナ部３０に出力される。
ダイクロイックミラー２１２Ｒは、赤色レーザダイオード２１１Ｒから出力される赤色の波長の光をほぼ１００％反射する特性を有する。ダイクロイックミラー２１２Ｇは、赤色レーザダイオード２１１Ｒから出力される赤色の波長の光をほぼ１００％透過させるとともに、緑色レーザダイオード２１１Ｇから出力される緑色の波長の光をほぼ１００％反射する特性を有する。ダイクロイックミラー２１２Ｂは、その特性例として、赤色レーザダイオード２１１Ｒから出力される赤色の波長の光および緑色レーザダイオード２１１Ｇから出力される緑色の波長の光を約９８％反射するとともに約２％透過させる特性を有する。さらにダイクロイックミラー２１２Ｂは、その特性例として、青色レーザダイオード２１１Ｂから出力される青色の波長の光を約９８％透過させるとともに約２％反射する特性を有する。ダイクロイックミラー２１２ＵＶは、ダイクロイックミラー２１２Ｂによって反射された赤色の波長の光および緑色の波長の光並びにダイクロイックミラー２１２Ｂを透過した青色の波長の光をほぼ１００％透過させるとともに、紫外レーザダイオード２１１ＵＶから出力される紫外光をほぼ１００％反射する特性を有する。
このようなダイクロイックミラー２１２の構成により、レーザダイオード２１１から出力された可視光（赤色の波長のレーザ光、緑色の波長のレーザ光および青色の波長のレーザ光）の約９８％はスキャナ部３０に入射され、当該可視光の約２％は、フォトダイオード２３に入射される。また、レーザダイオード２１１から出力された紫外光の約１００％はスキャナ部３０に入射される。レーザドライバ２２は、制御部１０からのレーザ駆動信号に基づいてレーザダイオード２１１を駆動する。フォトダイオード２３は入射したレーザ光の光量を測定し、測定結果を制御部１０に出力する。なお、レーザダイオード２１１およびダイクロイックミラー２１２の配置は図３に示したものに限らず、スキャナ部３０およびフォトダイオード２３に同様の出力がなされれば良い。
図４に戻り説明を続ける。スキャナ部３０は、レーザ光源部２０から入射されたレーザ光を画像として被照射領域に照射する。スキャナ部３０は照射部と称することもできる。スキャナ部３０は、主な構成として、レーザ光源部２０から出力されたレーザ光を反射して走査する走査ミラー部であるスキャナ３１、スキャナ３１を駆動するスキャナドライバ３２、スキャナ３１の走査角を検出する走査角検出部（図示せず）等を有する。スキャナ３１は、レーザ光を反射して垂直方向に走査する垂直ミラー３１１、レーザ光を反射して水平方向に走査する水平ミラー３１２等を有する。垂直ミラー３１１および水平ミラー３１２は、ＭＥＭＳ(micro electro mechanical system)ミラー等により構成される。
スキャナドライバ３２は、スキャナ制御部１５からのスキャナ駆動信号に基づき、スキャナ３１を駆動する。スキャナ３１を垂直ミラー３１１および水平ミラー３１２で構成する場合に、一般的には、垂直ミラー３１１はスキャナドライバ３２によって制御される走査角および揺動周波数で動作し、水平ミラー３１２は揺動周波数が高いために共振による走査角および揺動周波数で動作する。なお、水平ミラー３１２は垂直ミラー３１１と同様にスキャナドライバ３２によって制御される走査角および揺動周波数で動作するようにしても良い。
メモリ４０は、不揮発性の記憶装置である。メモリ４０は、制御部１０に接続している。制御部１０は、メモリ４０に任意のデータを書込み、あるいは、メモリ４０内に記憶している任意のデータを読み取ることが可能である。またメモリ４０は、認識辞書を記憶している。
次に、図６および図７を参照しながら領域分布情報について説明する。図６は、実施の形態１にかかるディスプレイ装置の領域分布情報を示した図である。図の右側の矩形は、ディスプレイ装置１Ａの領域分布情報Ｒ９１ａを模式的に示したものである。
領域分布情報Ｒ９１ａは、ディスプレイ装置１Ａの照射領域と、図２に示した被照射領域Ｆ９１とが対応するように形成されている。すなわち、領域分布情報Ｒ９１ａにおいて、被照射領域Ｆ９１に含まれるウィンドシールド９０４に相当するのは領域Ｒ９１４である。同様に、領域分布情報Ｒ９１ａにおいて、Ａピラー９０５等と領域Ｒ９１５とが対応し、サイドウィンドウ９０６と領域Ｒ９１６とが対応している。つまり、領域Ｒ９１５は可視光を反射する第１領域であり、図４で示した第１領域と同じ種類のハッチングが付されている。また、領域Ｒ９１４および領域Ｒ９１６は紫外光により発光する第２領域であり、図４で示した第２領域と同じ種類のハッチングが付されている。
領域分布情報Ｒ９１ａは、画像データの各画素の位置に対応している。例えば、領域分布情報Ｒ９１ａは、矩形の左上を原点として、水平方向Ｈおよび垂直方向Ｖの画素の位置ごとに、それぞれの画素に対応する領域が定義されている。例えば、ディスプレイ装置１Ａが照射する画像の任意の画素の、水平方向のアドレスをＨｎ、垂直方向のアドレスをＶｎとする。この場合、アドレス（Ｈｎ、Ｖｎ）の画素は第１領域であるか第２領域であるかは、図に示した領域分布情報Ｒ９１ａに示されている。
図６の左側の矩形は、ディスプレイ装置１Ｂの領域分布情報Ｒ９２ａを模式的に示したものである。領域分布情報Ｒ９２ａも、上述の領域分布情報Ｒ９１ａと同様の原理により形成されている。すなわち、領域分布情報Ｒ９２ａは、第１領域として領域Ｒ９２３を有し、第２領域として領域Ｒ９２２および領域Ｒ９２４を有している。ただし、領域分布情報Ｒ９２ａは、領域Ｒ９２１を有している点において、上述の領域分布情報Ｒ９１ａと異なる。領域Ｒ９２１は、ウィンドシールド９０４に設置されたバックミラーの領域である。すなわち、ディスプレイ装置１は、バックミラーの領域には画像を照射しないように設定されている。そのため、領域Ｒ９２１は、レーザ光を照射しないように構成されている。このように、領域分布情報は、予め光を照射しない領域が設定されていてもよい。
次に、図７を参照しながら領域分布情報についてさらに説明する。図７は、歪み調整情報を含む領域分布情報を示した図である。図７の右側の矩形は、ディスプレイ装置１Ａの領域分布情報Ｒ９１を模式的に示したものである。
図に示すように、第１領域および第２領域は、図６に示した領域分布情報Ｒ９１ａと異なり、外縁の形状が左端から右側へ向けて緩やかに上昇し、領域Ｒ９１５を頂点として右端へ向けて緩やかに下降する折れ曲がった帯形状となっている。そして、矩形の領域分布情報Ｒ９１は、この形状に対応してハッチングが付されていないブランク領域Ｒ９１０を右上、左上および中央下部にそれぞれ有している。
ブランク領域Ｒ９１０は、レーザ光を照射しない領域である。照射領域がこのような形状をしているのは、ディスプレイ装置１Ａが設置されている位置と、被照射領域Ｆ９１との相対的な位置関係による。つまり、領域分布情報Ｒ９１には、被照射領域Ｆ９１に対応した歪み調整の情報が含まれている。
図７の左側の矩形は、ディスプレイ装置１Ｂの領域分布情報Ｒ９２を模式的に示したものである。図に示すように、領域分布情報Ｒ９２において、第１領域および第２領域は、図６に示した領域分布情報Ｒ９２ａと異なり、外縁の形状が左端から右側へ向けて緩やかに上昇し、領域Ｒ９２３を頂点として右端へ向けて緩やかに下降する折れ曲がった帯形状となっている。そして、矩形の領域分布情報Ｒ９２は、この形状に対応してハッチングが付されていないブランク領域Ｒ９２０を右上、左上および中央下部にそれぞれ有している。領域分布情報Ｒ９２も、上述の領域分布情報Ｒ９１と同様の原理により構成されている。すなわち、領域分布情報Ｒ９２は、図６に示した領域分布情報Ｒ９１ａに加えて歪み調整情報が含まれる。
波長選択部１４１は、このように構成された領域分布情報に基づいて、レーザ光源部２０に対してレーザ光の切換信号を供給する。これにより、ディスプレイ装置１は、歪みを抑制した好適な画像を被照射領域Ｆ９１に対して効率よく照射することができる。なお、プロジェクタから照射する画像データを被照射領域までの距離に対応させて歪み調整を行う手法は当業者にとって既知であるため、ここでの詳細な説明は省略する。
次に、図８を参照しながら、ディスプレイ装置の照射範囲とユーザの視覚との関係について説明する。図８は、実施の形態１にかかるディスプレイ装置の照射範囲を上面から示した図である。図に示すように、被照射領域Ｆ９１は、ウィンドシールド９０４、Ａピラー９０５およびサイドウィンドウ９０６を含む。被照射領域Ｆ９２は、ウィンドシールド９０４、Ａピラー９０３およびサイドウィンドウ９０２を含む。
図に示すように、ディスプレイ装置１Ａおよびディスプレイ装置１Ｂは、運転者の上部後方にそれぞれ異なる方向を照射するように配置されている。ディスプレイ装置１Ａは、運転者の上部左後方に設置され、運転者の右前方を照射する。ディスプレイ装置１Ａは照射角度Ａ９１を有している。すなわち、ディスプレイ装置１Ａは、照射角度Ａ９１の範囲内に被照射領域Ｆ９１が含まれるように設置されている。同様に、ディスプレイ装置１Ｂは照射角度Ａ９２を有している。ディスプレイ装置１Ｂは、照射角度Ａ９２の範囲内に被照射領域Ｆ９２が含まれるように設置されている。図に示した通り、被照射領域Ｆ９１および被照射領域Ｆ９２は隣接している。また、被照射領域Ｆ９１と被照射領域Ｆ９２とを合わせた領域は、運転者の視界Ａ９０とほぼ一致している。
このように、ディスプレイ装置１を運転者の上部後方に配置することにより、ディスプレイ装置１の照射領域を大きくすることができ、これに伴って被照射領域を広くすることができる。また、上述のような配置を適用することによりディスプレイ装置１は、運転者の視覚全域に亘り画像を表示することができる。そのため、ディスプレイ装置１は、自由度の高い表示を行うことができる。また、ディスプレイ装置１を運転者の上方且つ運転者の眼の位置に対応する位置に配置することにより、運転者の視点から見た状態に近い画像を容易に表示することができる。なお、複数のディスプレイ装置１を設置し、照射範囲を隣接させた状態において、複数のディスプレイ装置により照射する画像をタイリングさせることにより、ディスプレイ装置１は、広角の画像を好適に表示することができる。
なお、図に示す通り、自動車９００の室内において、運転者の視覚全域に亘る表示を行う場合には、ディスプレイ装置１から被照射領域までの距離が大きく変動する。例えば、ディスプレイ装置１Ａに対応する被照射領域Ｆ９１との右端における距離Ｄ１は、左端における距離Ｄ２の半分以下である。このように被照射領域までの距離（照射距離）が大きく異なる場合、コヒーレント光を順次スキャンして画像を表示するフォーカスフリーのレーザプロジェクタを用いるのが好適である。
次に、図９を参照しながらディスプレイ装置１による表示の例について説明する。図９は、実施の形態１にかかるディスプレイ装置が画像を照射した例を示す図である。図は、自動車９００の運転者が見ている風景を示したものである。本実施形態の説明において、以降、このような運転者が見ている風景を、運転者の視点から見た風景ともいう。図に示すように、自動車９００の左前方には自転車８０１が走行している。また、自動車９００の進行方向には歩行者８０２が存在している。さらに、自動車９００の右前方には側道に他の自動車８０３が進行している状況である。また、ディスプレイ装置１は、自動車９００の外部に設置されたカメラ９０１により撮像された画像の画像データから、これらの物体を認識することができる状況である。このような状況において、ディスプレイ装置１が行う表示について、それぞれの対象物体ごとに異なる表示例を説明する。
まず、他の自動車８０３とともに第１の表示例を説明する。ディスプレイ装置１は、カメラ９０１により撮像された画像に基づいて、右側のＡピラーにより死角になっている他の自動車８０３を表示している。ここで、他の自動車８０３は、ウィンドシールド９０４、Ａピラー９０５およびサイドウィンドウ９０６に亘って視認できる状況である。このような場合、ディスプレイ装置１は、ガラス越しに直接視認することができる第２領域に対する他の自動車８０３の表示は行わず、運転者の死角となっているＡピラー９０５に相当する第１領域に対する表示のみを行うことができる。このような表示を行うことにより、ディスプレイ装置１は、死角に存在する物体を好適に表示することができる。また、ディスプレイ装置１は、表示した画像が運転者の視点から見た風景と違和感なく重畳されるように、他の自動車８０３を表示している。すなわち、ディスプレイ装置１は、Ａピラー９０５に照射する他の自動車８０３の画像が運転者の視点から見た画像となるように歪み調整を行う。そして、ディスプレイ装置１は、ウィンドシールド９０４およびサイドウィンドウ９０６越しに運転者が肉眼により視認している他の自動車８０３とずれが生じないように、他の自動車８０３の画像をＡピラー９０５に表示している。これにより、運転者は、直観的に物体の位置および大きさを認識することができる。
次に、歩行者８０２とともに、第２の表示例を説明する。ディスプレイ装置１は、カメラにより撮像された画像に基づいて、自動車９００の前方に存在している歩行者８０２を認識している。ディスプレイ装置１は、歩行者８０２の存在を運転者に認識させるために、歩行者８０２の周囲を矩形など多角形の枠で囲む表示を行っている。この場合、ディスプレイ装置１は、第２領域に紫外光を照射することにより矩形の表示を行う。なお、歩行者８０２が第１領域に重なる位置に存在する場合には、ディスプレイ装置１は、第１領域に可視光を照射することにより表示を行う。このように、ディスプレイ装置１は、運転者の視覚の範囲内において、認識した物体を運転者に認識させるためのこのような表示を第１領域であるか第２領域であるかに関わらず行うことができる。これにより、ディスプレイ装置１は、運転者が直観的に認識できるように、物体を認識させる表示を行うことができる。なお、物体を認識させるために物体の周囲を枠で囲む表示は当然ながら一例に過ぎないのであって、ディスプレイ装置１は、画像、文字等を用いた様々な方法を採用することができる。
次に、自転車８０１とともに、第３の表示例を説明する。ディスプレイ装置１は、カメラにより撮像された画像に基づいて、自動車９００の左前方を進行している自転車８０１を認識している。そして、ディスプレイ装置１は、サイドウィンドウ９０２、Ａピラー９０３、ウィンドシールド９０４等に亘り視認することができる自転車８０１を表示している。この場合、自転車８０１は、Ａピラー９０３および左側のサイドミラーの背後に存在するため、運転者の視覚からは、自転車８０１の大半の部分は肉眼により視認することができない。このような状況において、ディスプレイ装置１は、左側のサイドミラーの背後に存在する自転車８０１を、サイドウィンドウ９０２に表示することができる。なお、ここでは第１の表示例と同様に、ディスプレイ装置１は、自転車８０１を運転者の視点から見た画像として表示している。
なお、ディスプレイ装置１は、物体認識部１２が認識した物体の画像データを抽出し、抽出した物体に関する照射画像データを、上述した表示例に従い適宜表示することができる。すなわち、ディスプレイ装置１は、カメラ９０１が生成した画像データの全てを照射画像とするのではなく、カメラ９０１が生成した画像データの一部を抽出して、抽出した画像を表示することができる。これにより、ディスプレイ装置１は、表示が煩雑になることを抑制しつつ、効率よく所望の表示を行うことができる。
＜実施の形態１の変形例１＞
次に、図１０を参照しながら、実施の形態１の変形例１について説明する。図１０は、実施の形態１の変形例１にかかるディスプレイ装置の照射範囲を上面から示した図である。本実施の形態にかかるディスプレイ装置１は、照射範囲が実施の形態１と異なる。
図に示すように、自動車９００は、運転者の後方に、ディスプレイ装置１Ｃおよびディスプレイ装置１Ｄを有している。ディスプレイ装置１Ｃおよび１Ｄは、ディスプレイ装置１Ａおよび１Ｂと同じ構成を有するが、ディスプレイ装置１Ａおよび１Ｂと比べると、照射角度が狭い。すなわち、ディスプレイ装置１Ｃは照射角度Ａ９３を有し、これに伴う被照射領域Ｆ９３に対応している。ディスプレイ装置１Ｄは照射角度Ａ９５を有し、これに伴う被照射領域Ｆ９５に対応している。また、被照射領域Ｆ９３と、被照射領域Ｆ９５とは隣接していない。そして、被照射領域Ｆ９３と、被照射領域Ｆ９５との間は、ヘッドアップディスプレイ装置ＨＵＤが表示を行う被照射領域Ｆ９４が設けられている。ここで、被照射領域Ｆ９３とＦ９４とは隣接し、被照射領域Ｆ９４とＦ９５とは隣接している。すなわち、実施の形態１の変形例は、被照射領域Ｆ９３、Ｆ９４およびＦ９５が連接していることにより、運転者の視界Ａ９０をカバーしている。このような構成により、ディスプレイ装置１Ｃおよび１Ｄは、ヘッドアップディスプレイ装置ＨＵＤと連携することにより運転者の視覚に自由度の高い表示を行うことができる。
また、本実施の形態にかかるディスプレイ装置１は、ヘッドアップディスプレイ装置ＨＵＤと連携し、運転者に奥行き感の変化を利用した表示を行うことができる。すなわち、運転者に実像を提供する場合にはディスプレイ装置１Ｃまたは１Ｄが紫外光をウィンドシールド９０４に照射する。そして、運転者に奥行き感のある虚像を提供する場合には、ヘッドアップディスプレイ装置ＨＵＤが画像を表示する。このような構成により、ディスプレイ装置１は、自由度の高い表示を行うことができる。なお、実施の形態１の変形例は、被照射領域Ｆ９３とＦ９４、あるいは、被照射領域Ｆ９４とＦ９５とが重複してもよい。
＜実施の形態１の変形例２＞
次に、図１１を参照しながら実施の形態１の変形例２について説明する。本実施の形態は、メモリに領域分布情報が記憶されている点が上述の実施の形態１と異なる。また本実施の形態は、波長選択部１４１がメモリ４０に記憶されている領域分布情報に基づいて動作する点が上述の実施の形態１と異なる。
図１１は、実施の形態１にかかるディスプレイ装置の構成図である。以下に、上述の実施の形態１と異なる点について説明する。波長選択部１４１は、例えば、メモリ４０に記憶されている領域分布情報に基づいて設定されるレジスタにより実現される。レーザ光源制御部１４は、スキャナ制御部１５と同期してレーザ光の制御を行う際に、波長選択部１４１の設定に基づいて、レーザの波長を選択する。これにより、ディスプレイ装置１は、第１領域に含まれる画素を照射する場合には可視光レーザを駆動させ、第２領域に含まれる画素を照射する場合には紫外光レーザを駆動させる。このように、予め設定されている領域分布情報に基づいてレーザ光を切り換えることにより、効率よく波長の切換動作を行うことができる。
本実施の形態にかかるメモリ４０は、領域分布情報を記憶している。メモリ４０は例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、フラッシュメモリまたはＦｅＲＡＭ（Ferroelectric Random Access Memory）等の書き換え可能な不揮発性の記憶装置である。また、メモリ４０に記憶されている領域分布情報は、ユーザにより書き換え可能に構成されている。このような構成により、実施の形態１の変形例２にかかるディスプレイ装置は、領域分布情報を容易に更新でき、運転者の視野角内に好適に情報を表示することができるディスプレイ装置を提供することができる。
以上、実施の形態１について説明したが、ディスプレイ装置１の構成は、上述のものに限られない。例えば、スキャナ部は、ＭＥＭＳミラーではなく、反射型の液晶パネルやＤＬＰ（Digital Light Processing）方式のプロジェクタであってもよい。その場合、例えば、ディスプレイ装置１は、照射する光の波長ごとに反射型のパネルを有し、光の波長ごとに生成した画像を合成して外部に照射する構成としてもよい。また、ディスプレイ装置１は、複数の異なる波長の光を反射する反射型パネルに対して時分割で異なる波長の光を出力してもよい。なお、当然ながら、第１領域に照射する可視光は任意の１色または２色以上でもよい。
また、ディスプレイ装置１は、運転者の視点から見た画像を表示するだけでなく、運転者以外の搭乗者の視点から見た画像を表示するものであってもよい。その場合、ディスプレイ装置１は、表示する画像がどの座席の搭乗者の視点から見た画像であるかを切り換えられるものであってもよい。
以上のような構成により、実施の形態１によれば、領域分布情報に基づいて、運転者等の視野角内に好適に情報を表示することができるディスプレイ装置を提供することができる。
＜実施の形態２＞
次に、図１２を参照しながら実施の形態２について説明する。図１２は、実施の形態２にかかるディスプレイ装置の構成図である。実施の形態２にかかるディスプレイ装置２は、物体認識部１２が警告判断部１２１を有している点、および波長選択部がレーザ光源制御部１４に代えて画像処理部１３に含まれている点が、上述の実施の形態１と異なる。
物体認識部１２は、警告判断部１２１を有している。より具体的には、警告判断部１２１は、物体認識部１２が認識した物体が自動車９００に接触する可能性があるか否かを判断し、接触する可能性がある場合に、物体認識部１２が認識した物体に対して警告表示を行うことを決定する。
画像処理部１３は、波長選択部１３２を有している。波長選択部１３２は、領域分布情報に基づいて、照射する画像の色および出力の変換処理を行う。例えば、画像データにおいて、画素の位置情報は、Ｈ（水平）およびＶ（垂直）のアドレスで定義されている。また、画像データの所定の画素における色に関する情報は、Ｒ（赤）、Ｇ（緑）およびＢ（青）ごとに、０から２５５までの２５６段階で定義されている。波長選択部１３２は、このように定義されている画素の情報を、予め設定された条件に基づいて、Ｒ、Ｇ、ＢおよびＵＶ（紫外光）と、それぞれの出力値により定義されるように変換する。
例えば、波長選択部１３２はまず処理対象となる画素（以降、対象画素と称する）の位置情報とメモリ４０に記憶されている領域分布情報とを照合するとともに、対象画素が第１領域に含まれるか、第２領域に含まれるかを判断する。対象画素が第１領域に含まれる場合、波長選択部１３２は当該対象画素の色および出力に関する情報を維持する。一方、対象画素が第２領域に含まれる場合、波長選択部１３２は当該対象画素の色および出力に関する情報を予め設定された方法に基づいて変換する。より具体的には例えば、波長選択部１３２は、Ｒ、ＧおよびＢの各出力値の平均を算出し、算出した出力値を紫外光の出力値とする。なお、ＵＶの出力値を決定する場合、Ｒ、ＧおよびＢの内の最大の出力値に基づいても良いし、各色の視認性を定量化して、定量化した値に基づいてもよい。
次に、図１３を参照しながら、実施の形態２にかかるディスプレイ装置２が行う処理について説明する。図１３は、実施の形態２にかかるディスプレイ装置の処理を示すフローチャートである。図１３に示すフローチャートは、ディスプレイ装置２の制御部１０が行う処理の内、物体認識部１２が行う処理について示したものである。
まず、物体認識部１２は、画像データ取得部１１から画像データを受け取る（ステップＳ１１）。物体認識部１２は、画像データを受け取ると、特徴量辞書を参照しながら対象物体を認識し、画像データ中に対象物体が存在しているか否かを判断する（ステップＳ１２）。画像データ中に対象物体を認識しない場合（ステップＳ１２：Ｎｏ）、物体認識部１２は、ステップＳ１１に戻り、次の画像を取得する。一方、画像データ中に対象物体を認識した場合（ステップＳ１２：Ｙｅｓ）、物体認識部１２が有する警告判断部１２１は、認識した物体が警告する対象であるか否かを判断する（ステップＳ１３）。
認識した物体が警告する対象であるか否かを判断する方法の一例を以下に示す。物体認識部１２は、カメラ９０１が撮像する画像データを、画像データ取得部１１を介して順次受け取り、受け取った画像データに対して物体を認識する処理を順次行っている。したがって、物体認識部１２は、複数の異なる時間に取得した画像データから物体の移動方向や移動速度を推定することができる。また、物体認識部１２は、認識した物体が自動車９００に近づいていることを推定するとともに、予め設定された閾値に基づいて、近づいている物体が自動車９００に接触する可能性があることを推定でき、自動車９００に接触する可能性がある場合、認識した物体は警告する対象であると判断する。また、認識した物体の位置や移動方向に基づいて、自動車９００の近傍を走行している物体を警告対象としてもよい。
なお、自動車９００がＬｉＤＡＲ（Light Detection and Ranging）等の測距センサを有している場合に、ディスプレイ装置２はカメラ９０１から取得する画像データに加えて測距センサからの信号を取得し、これを利用することにより物体と接触する可能性があることを推定してもよい。また、カメラ９０１がステレオカメラの場合、カメラ９０１から取得する同時刻における複数の画像データに基づいて、物体と接触する可能性があることを推定してもよい。
認識した物体と自動車９００とが接触する可能性があると判断しない場合（ステップＳ１３：Ｎｏ）、警告判断部１２１は、警告表示を行うことを決定せずにステップＳ１５に進む。一方、認識した物体と自動車９００とが接触する可能性があると判断した場合（ステップＳ１３：Ｙｅｓ）、警告判断部１２１は、警告表示を行うことを決定する（ステップＳ１４）。この場合、警告判断部１２１は、警告表示の対象となる物体に関する情報を画像処理部１３に供給する。
また、ステップＳ１３の処理は、ステップＳ１２で認識した物体が警告する対象であるか否かの判断としてもよい。例えば、認識した物体が自動車９００と接触する可能性が無くとも、自動車９００の近傍を走行している場合に、警告する対象としてもよい。
ステップＳ１４において、警告判断部１２１が警告表示を行うことを決定した場合、画像処理部１３は、警告表示の対象となる物体の画像データに対して所定の警告表示をするための処理を行う。なお、当該所定の処理の具体例については後述する。
ステップＳ１４の後、物体認識部１２は、全ての処理が終了か否かを判断する（ステップＳ１５）。全ての処理が終了と判断しない場合（ステップＳ１５：Ｎｏ）、物体認識部１２は、ステップＳ１１に戻り、再び画像データを取得する。一方、全ての処理が終了と判断した場合（ステップＳ１５：Ｙｅｓ）、物体認識部１２は処理を終了する。
次に、図１４を参照しながら、警告表示の具体例について説明する。図１４は、実施の形態２にかかるディスプレイ装置が画像を照射した例を示す図である。図に示すように、自動車９００の室内には、ディスプレイ装置２Ａおよび２Ｂが設置されている。ディスプレイ装置２Ａは、室内の右前方に画像を照射するように構成されている。また、ディスプレイ装置２Ｂは、室内の左前方に画像を照射するように構成されている。また、図において、自動車９００の左前方を進行している自転車８０１は、自動車９００の近傍を走行している状態、または自動車９００に接触する可能性があるという状況である。また、右前方には他の自動車８０３が存在しているが、この画像を表示している時点において、自動車９００と接触する可能性は低いという状況、つまり警告する対象ではない状態である。
このような状況において、ディスプレイ装置２Ａは、カメラ９０１が撮像した他の自動車８０３の画像を表示している。ここで、ディスプレイ装置２Ａは、他の自動車８０３について、警告する対象ではないと判断している。そのため、ディスプレイ装置２Ａは、他の自動車８０３について警告表示を伴わないで表示している。一方、ディスプレイ装置２Ｂは、カメラ９０１が撮像した自転車８０１の画像を警告表示とともに表示している。警告表示とは、警告対象の物体の輪郭を抽出した線画像の表示である。
ディスプレイ装置２Ｂの警告判断部１２１は、カメラ９０１から取得した画像データから自転車８０１が警告する対象であると判断した。そのため、警告判断部１２１は警告表示に関する情報を画像処理部１３に供給した。画像処理部１３は警告判断部１２１からの受け取った情報に基づいて、自転車８０１の輪郭を抽出した線画像を生成し、生成した線画像を、自転車８０１に重畳して表示している。このような表示により運転者は接触する可能性がある物体などの存在を直観的に認識することができる。
以上、実施の形態２について説明したが、警告表示の手法は、上述の内容に限らず、様々なバリエーションが存在する。例えば、警告表示は、上述の輪郭を抽出した線画像の表示を点滅させたり、線の太さを変化させたりしてもよい。また、警告表示は、対象物体の移動速度に応じて表示態様を変化させるものであってもよい。また、警告判断部１２１は、自動車９００に対する危険性を複数の段階で判断し、判断した複数の段階に応じて表示態様を変化させてもよい。また、ディスプレイ装置２は、警告の際にスピーカから警告に伴う音声を発生させる構成であってもよい。
以上、実施の形態２によれば、領域分布情報に基づいて、運転者等の視野角内に好適に情報を表示することができるディスプレイ装置を提供することができる。
＜実施の形態３＞
次に、図１５を参照しながら実施の形態３について説明する。実施の形態３にかかるディスプレイ装置は、被照射領域に照射する画像を領域分布情報に基づいて生成し、生成した画像を表示する点が、実施の形態２と異なる。図１５は、実施の形態３にかかるディスプレイ装置が画像を照射した例を示す図である。
図に示すように、自動車９００の室内には、ディスプレイ装置３Ａおよび３Ｂが設置されている。ディスプレイ装置３Ａは、室内の右前方に画像を照射するように構成されている。また、ディスプレイ装置３Ｂは、室内の左前方に画像を照射するように構成されている。また、図において、自動車９００の左側を進行している自転車８０１は、自動車９００の運転者から見て死角など目視やミラー越しの確認が困難な位置を走行しているという状況である。
このような状況において、ディスプレイ装置３Ｂは、カメラが撮像した自転車８０１の画像に基づいて、自転車８０１の進行予定の領域に、擬似的に自転車８０１Ｖを表示している。自転車８０１Ｖは、予め設定された時間が経過した時に自転車８０１が存在していると想定される位置に表示される画像である。
ディスプレイ装置３Ｂは、カメラ９０１が生成した自転車８０１の画像データに基づいて、所定の領域に自転車８０１Ｖの画像データを生成する。ディスプレイ装置３Ｂが自転車８０１Ｖの画像データを生成する方法は、例えば以下の通りである。まず、ディスプレイ装置３Ｂの画像処理部１３は、自転車８０１の画像データを線形変換して所定の領域に移動させる。そして、画像処理部１３は、移動後の画像データの各画素が第１領域に対応しているか、第２領域に対応しているかを照合する。さらに、画像処理部１３は、第１領域に対応する画素に対してはＲ、ＧおよびＢのうち所定の色を選択し、選択した色により画像が表示されるように出力値を設定する。そして、画像処理部１３は、第１領域に含まれる画素のＵＶの出力値をゼロに設定する。同様に、画像処理部１３は、第２領域に対応する画素に対してはＵＶを選択し、紫外光により画像が表示されるように出力値を選択する。そして、画像処理部１３は、第２領域に含まれる画素のＲ、Ｇ、およびＢの出力値をゼロに設定する。
また、図に示すように、ディスプレイ装置３Ｂは、擬似的に表示した自転車８０１Ｖに加えて、自転車８０１の危険性や位置などを運転者に認識させるための文字情報をウィンドシールド９０４に表示してもよい。例えば、死角に自転車が走行していることを示す文字情報を表示してもよい。
以上のように、実施の形態３にかかるディスプレイ装置は、被照射領域が第１領域か第２領域かに関わらず擬似的に物体を表示することができる。これにより、運転者にとって直観的に認識できる表示を行うことができる。
上述のディスプレイ装置の任意の処理は、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ-ＲＯＭ（Read Only Memory）、ＣＤ-Ｒ、ＣＤ-Ｒ/Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上記実施の形態の機能を実現するプログラムを実行することにより、上記実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上記実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上記実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述のディスプレイ装置は、自動車に限らず、電車、航空機、船舶等の移動体に適用することが可能である。
１、２ ディスプレイ装置
１０ 制御部
１１ 画像データ取得部
１２ 物体認識部
１３ 画像処理部
１４ レーザ光源制御部
１５ スキャナ制御部
２０ レーザ光源部
２１ レーザモジュール
２２ レーザドライバ
２３ フォトダイオード
３０ スキャナ部
３１ スキャナ
３２ スキャナドライバ
４０ メモリ
１２１ 警告判断部
１３１ 歪み調整部
１３２、１４１ 波長選択部
２１１ レーザダイオード
２１２ ダイクロイックミラー
８０１ 自転車
８０２ 歩行者
８０３ 他の自動車
９００ 自動車
９０１ カメラ
９０２、９０６ サイドウィンドウ
９０３、９０５ Ａピラー
９０４ ウィンドシールド
Ｒ９１、Ｒ９２ 領域分布情報

Claims (9)

  1. 移動体の室内に設定され、第１波長光を反射する第１領域と、前記第１波長光を透過するとともに前記第１波長光と異なる第２波長光を受けることにより可視光を発する第２領域と、を有する被照射面に前記移動体の周囲に存在する物体の画像を照射するディスプレイ装置であって、
    前記画像のデータである画像データを取得する画像データ取得部と、
    前記画像データに対して、前記第１領域および前記第２領域の分布に関する情報である領域分布情報に基づいて、前記第１領域に対応する画素には前記第１波長光を選択し、前記第２領域に対応する画素には前記第２波長光を選択する色変換を含む画像変換処理を行うことにより照射画像データを生成する画像処理部と、
    前記第１波長光または前記第２波長光のうち、選択された光を射出する光源部と、
    射出された光により形成される前記画像を前記被照射面に対して照射する照射部と
    を備えるディスプレイ装置。
  2. 前記画像データから予め設定された認識対象である対象物体を認識する物体認識部をさらに有し、
    前記画像処理部は、認識された前記対象物体の画像データを抽出し、抽出した前記画像データの前記照射画像データを生成する
    請求項１に記載のディスプレイ装置。
  3. 前記画像処理部は、前記第２領域に照射する照射画像に前記対象物体が含まれている場合には、前記対象物体の周囲を多角形で囲む線画像データを生成する
    請求項２に記載のディスプレイ装置。
  4. 前記物体認識部は、前記対象物体が前記移動体に接触する可能性があるか否かを判断し、
    前記画像処理部は、前記判断の結果に基づいて、前記対象物体の輪郭線を含む線画像データを生成する
    請求項２または３のいずれか一項に記載のディスプレイ装置。
  5. 前記物体認識部は、前記対象物体が前記移動体に接触する可能性があるか否かを判断し、
    前記画像処理部は、前記判断の結果に基づいて、前記対象物体が移動する予定の領域に前記対象物体の前記照射画像データを生成する
    請求項２〜４のいずれか一項に記載のディスプレイ装置。
  6. 前記移動体は自動車であって、
    前記第１領域は、フロントピラー、ドアトリムまたはダッシュボードのうち少なくとも１つを含む
    請求項１〜５のいずれか一項に記載のディスプレイ装置。
  7. 前記画像処理部は、前記照射画像データを前記移動体に搭乗している搭乗者の視点から見た画像として生成する
    請求項１〜６のいずれか一項に記載のディスプレイ装置。
  8. 移動体の室内に設定され、第１波長光を反射する第１領域と、前記第１波長光を透過するとともに前記第１波長光と異なる第２波長光を受けることにより可視光を発する第２領域と、を有する被照射面に前記移動体の周囲に存在する物体の画像を照射するディスプレイ方法であって、
    前記画像のデータである画像データを取得する画像データ取得ステップと、
    前記画像データに対して、前記第１領域および前記第２領域の分布に関する情報である領域分布情報に基づいて、前記第１領域に対応する画素には前記第１波長光を選択し、前記第２領域に対応する画素には前記第２波長光を選択する色変換を含む画像変換処理を行うことにより照射画像データを生成する画像変換ステップと、
    前記第１波長光または前記第２波長光のうち、選択された光を射出する光源ステップと、
    射出された光により形成される前記画像を前記被照射面に対して照射する照射ステップと
    を備えるディスプレイ方法。
  9. 前記請求項８に記載の方法をコンピュータに実行させるプログラム。
JP2018161284A 2018-08-30 2018-08-30 ディスプレイ装置、ディスプレイ方法およびプログラム Active JP7131210B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018161284A JP7131210B2 (ja) 2018-08-30 2018-08-30 ディスプレイ装置、ディスプレイ方法およびプログラム
EP19854602.0A EP3846451B1 (en) 2018-08-30 2019-03-08 Display device, display method, and program
PCT/JP2019/009440 WO2020044623A1 (ja) 2018-08-30 2019-03-08 ディスプレイ装置、ディスプレイ方法およびプログラム
US17/172,834 US11312301B2 (en) 2018-08-30 2021-02-10 Display apparatus, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161284A JP7131210B2 (ja) 2018-08-30 2018-08-30 ディスプレイ装置、ディスプレイ方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020036191A true JP2020036191A (ja) 2020-03-05
JP7131210B2 JP7131210B2 (ja) 2022-09-06

Family

ID=69644026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161284A Active JP7131210B2 (ja) 2018-08-30 2018-08-30 ディスプレイ装置、ディスプレイ方法およびプログラム

Country Status (4)

Country Link
US (1) US11312301B2 (ja)
EP (1) EP3846451B1 (ja)
JP (1) JP7131210B2 (ja)
WO (1) WO2020044623A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428940B2 (en) * 2020-04-01 2022-08-30 Garmin International, Inc. High-dimming-ratio avionics display
CN115118951B (zh) * 2022-06-06 2024-09-20 东软集团股份有限公司 数据投影方法、装置、存储介质及车辆
US20240001761A1 (en) * 2022-07-01 2024-01-04 Brelyon Inc. In-vehicle display with stereoscopic and monocular depth programming

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009654A (ja) * 2006-06-28 2008-01-17 Toyota Motor Corp 車輌用表示装置
JP2008285389A (ja) * 2007-05-21 2008-11-27 Honda Motor Co Ltd 車両用合わせガラス
JP2015012559A (ja) * 2013-07-02 2015-01-19 株式会社デンソー 投射型表示装置
JP2016540680A (ja) * 2013-11-18 2016-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 室内ディスプレイシステム及び室内ディスプレイ方法
JP2017134248A (ja) * 2016-01-28 2017-08-03 大日本印刷株式会社 光学シート、光学シートの製造方法、表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120916A1 (en) * 2001-01-16 2002-08-29 Snider Albert Monroe Head-up display system utilizing fluorescent material
US20070279755A1 (en) * 2006-06-01 2007-12-06 3M Innovative Properties Company Head-Up Display System
FR2929016B1 (fr) * 2008-03-19 2010-06-04 Saint Gobain Dispositif de visualisation tete haute.
JP2010208580A (ja) * 2009-03-12 2010-09-24 Honda Motor Co Ltd ヘッドアップディスプレイ装置
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US20140036075A1 (en) * 2012-07-31 2014-02-06 Delphi Technologies, Inc. Windshield display system
JP6175589B2 (ja) * 2015-03-19 2017-08-02 富士フイルム株式会社 投写型表示装置及び投写表示方法
JP2018161284A (ja) 2017-03-27 2018-10-18 株式会社オリンピア 遊技機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009654A (ja) * 2006-06-28 2008-01-17 Toyota Motor Corp 車輌用表示装置
JP2008285389A (ja) * 2007-05-21 2008-11-27 Honda Motor Co Ltd 車両用合わせガラス
JP2015012559A (ja) * 2013-07-02 2015-01-19 株式会社デンソー 投射型表示装置
JP2016540680A (ja) * 2013-11-18 2016-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 室内ディスプレイシステム及び室内ディスプレイ方法
JP2017134248A (ja) * 2016-01-28 2017-08-03 大日本印刷株式会社 光学シート、光学シートの製造方法、表示装置

Also Published As

Publication number Publication date
JP7131210B2 (ja) 2022-09-06
US20210162924A1 (en) 2021-06-03
US11312301B2 (en) 2022-04-26
EP3846451A4 (en) 2021-10-27
EP3846451A1 (en) 2021-07-07
WO2020044623A1 (ja) 2020-03-05
EP3846451B1 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
US10551619B2 (en) Information processing system and information display apparatus
JP6699675B2 (ja) 情報提供装置
JP6707666B2 (ja) ヘッドアップディスプレイ装置
US11312301B2 (en) Display apparatus, display method, and program
JP7254832B2 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
EP3299865B1 (en) Display device
US20160082840A1 (en) Information display system and information display device
WO2017073111A1 (ja) 光照射装置および光照射方法
KR20180103947A (ko) 정보 표시 장치
JP6922217B2 (ja) 表示装置、物体装置及び表示方法
JP2016097818A (ja) ヘッドアップディスプレイ装置
CN110803019A (zh) 车辆用显示系统及车辆
JP2018106655A (ja) Ｈｕｄ装置、車両装置及び表示方法
US20210168339A1 (en) Display apparatus, display method, and program
JP7028110B2 (ja) 車両用光出力装置、光出力方法、及びプログラム
EP4213478A1 (en) Vehicular display system, and image emitting device
JP7114993B2 (ja) 表示装置、表示システム、移動体、表示輝度制御方法およびプログラム
JPWO2018030320A1 (ja) 車両用表示装置
JP2020152246A (ja) 情報提供システム、移動体、情報提供方法及び情報提供プログラム
JP2007089094A (ja) 歩行者検知装置
JP7035989B2 (ja) ディスプレイ装置、判別方法および照射方法
JP7103194B2 (ja) ディスプレイ装置、判別方法および照射方法
JP2016052837A (ja) ヘッドアップディスプレイ装置
JP7010200B2 (ja) ディスプレイ装置、判別方法および照射方法
US11195439B2 (en) Head-up display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7131210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150