JP2020024578A - 表示装置、表示制御方法、およびプログラム - Google Patents

表示装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP2020024578A
JP2020024578A JP2018148792A JP2018148792A JP2020024578A JP 2020024578 A JP2020024578 A JP 2020024578A JP 2018148792 A JP2018148792 A JP 2018148792A JP 2018148792 A JP2018148792 A JP 2018148792A JP 2020024578 A JP2020024578 A JP 2020024578A
Authority
JP
Japan
Prior art keywords
image
display
viewer
virtual image
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018148792A
Other languages
English (en)
Other versions
JP7121583B2 (ja
Inventor
匡史 東山
Tadashi Higashiyama
匡史 東山
卓也 木村
Takuya Kimura
卓也 木村
慎司 川上
Shinji Kawakami
慎司 川上
達也 岩佐
Tatsuya Iwasa
達也 岩佐
悠司 桑島
Yuji Kuwajima
悠司 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018148792A priority Critical patent/JP7121583B2/ja
Priority to CN201910612742.2A priority patent/CN110816408B/zh
Priority to US16/517,884 priority patent/US20200051529A1/en
Publication of JP2020024578A publication Critical patent/JP2020024578A/ja
Application granted granted Critical
Publication of JP7121583B2 publication Critical patent/JP7121583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53—Movable instruments, e.g. slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者の快適性を向上させる表示装置、表示制御方法、およびプログラムを提供すること。【解決手段】この発明の一態様に係る表示装置は、風景に重畳させて画像を観者に視認させる画像生成装置と、前記画像生成装置を制御する制御装置と、を備え、前記制御装置は、前記画像生成装置によって出力された前記画像を観者が注視している注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御する、表示装置である。【選択図】図４

Description

本発明は、表示装置、表示制御方法、およびプログラムに関する。
従来、フロントウインドシールドに運転者向けの基本的な情報に関する画像を表示するヘッドアップディスプレイ装置（以下、ＨＵＤ（Head Up Display）装置と称する）が知られている（例えば、特許文献１参照）。このＨＵＤ装置を用いて、障害物や注意喚起、進行方向を示す各種マークを車両前方の風景と重ねて表示させることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。
特開２０１７−９１１１５号公報
しかしながら、従来の技術では、運転者が既に表示内容を把握した場合であっても同一内容のＨＵＤ表示が表示され続け、運転者がＨＵＤ表示を煩わしく感じる可能性があった。
本発明は、このような事情を考慮してなされたものであり、運転者の快適性を向上させることができる表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示装置、表示制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る表示装置は、風景に重畳させて画像を観者に視認させる画像生成装置と、前記画像生成装置を制御する制御装置と、を備え、前記制御装置は、前記画像生成装置によって出力された前記画像を観者が注視している注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御する表示装置である。
（２）：上記（１）の態様において、前記制御装置は、前記観者の視線を検出し、視線の先に前記画像がある場合、前記画像を観者が注視しているとみなすものである。
（３）：上記（１）または（２）の態様において、前記制御装置は、前記画像の表示態様を変化させる際に、前記画像の表示を停止するものである。
（４）：上記（１）から（３）のいずれかの態様において、前記制御装置は、前記画像が物標に対する注意を促す第１画像であり、且つ、前記注視時間が第１の所定時間以上である場合、前記観者が前記第１画像を視認したものとして前記第１画像の表示態様を変化させるものである。
（５）：上記（１）から（４）のいずれかの態様において、前記制御装置は、前記画像が固定案内物に対する注意を促す第２画像であり、且つ、前記注視時間が第２の所定時間以上である場合、前記観者が前記第２画像を視認したものとして前記第２画像の表示態様を変化させるものである。
（６）：上記（５）の態様において、前記制御装置は、前記注視時間が、第２の所定時間よりも長い第３の所定時間以上である場合、前記観者が前記画像を注視することを抑制するように前記画像の表示態様を変化させるものである。
（７）：上記（１）から（６）のいずれかの態様において、前記画像生成装置は、前記画像を光として出力する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として結像する位置までの距離を調節可能な光学機構と、前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、前記光学機構における前記距離を調節する第１アクチュエータと、前記凹面鏡の反射角度を調節する第２アクチュエータと、を有するものである。
（８）：この発明の一態様に係る表示制御方法は、風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータが、前記画像生成装置によって出力された前記画像を観者が注視している注視時間を取得し、前記注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御する、表示制御方法である。
（９）：この発明の一態様に係るプログラムは、風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータに、前記画像生成装置によって出力された前記画像を観者が注視している注視時間を取得させ、前記注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御させる、プログラムである。
（１）〜（９）の態様によれば、運転者の快適性を向上させることができる。
実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。 実施形態の操作スイッチ１３０について説明するための図である。 表示装置１００の部分構成図である。 表示制御装置１５０を中心とした表示装置１００の構成例を示す図である。 表示制御装置１５０により表示させる虚像ＶＩの一例を示す図である。 表示制御装置１５０により表示させる虚像ＶＩの他の一例を示す図である。 虚像ＶＩ１の変化の態様の一例を示す図である。 虚像ＶＩ１の変化の態様の他の一例を示す図である。 虚像ＶＩの注視抑制態様の一例を示す図である。 表示装置１００により実行される処理の流れの一例を示すフローチャートである。 表示制御装置１５０を中心とした表示装置１００の構成の変形例を示す図である。
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。表示装置は、例えば、車両（以下、車両Ｍと称する）に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、ＨＵＤ装置と称することができる。一例として、表示装置は、車両Ｍのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。また、表示装置は、車両Ｍのフロントウインドシールドに取り付けられた光透過性を有する表示装置（例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）によって実現されてもよいし、人が身体に装着するデバイスが有する透明な部材（バイザー、眼鏡のレンズなど）に投光し、または光透過性の表示装置が取り付けられたものであってもよい。以下の説明では、表示装置は、車両Ｍに搭載され、フロントウインドシールドに画像を含む光を投光する装置であるものとする。
以下の説明において、適宜、ＸＹＺ座標系を用いて位置関係等を説明する。
［全体構成］
図１は、実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。車両Ｍには、例えば、車両Ｍの操舵を制御するステアリングホイール１０と、車外と車室内とを区分するフロントウインドシールド（反射体の一例）２０と、インストルメントパネル３０とが設けられる。フロントウインドシールド２０は、光透過性を有する部材である。表示装置１００は、例えば、運転席４０の前方のフロントウインドシールド２０の一部に設けられる表示可能領域Ａ１に画像を含む光を投射する（投光する）ことで、運転席に着座した運転者に虚像ＶＩを視認させる。
表示装置１００は、例えば、運転者の運転を支援するための情報を画像化した像を、虚像ＶＩとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Ｍの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能とは、例えば、方向指示機能、ＡＣＣ（Adaptive Cruise Control）、ＬＫＡＳ（Lane Keep Assist System）、ＣＭＢＳ（Collision Mitigation Brake System）、トラフィックジャムアシスト機能等である。
また、車両Ｍには、表示装置１００の他に、第１表示装置５０−１や第２表示装置５０−２が設けられてよい。第１表示装置５０−１は、例えば、インストルメントパネル３０における運転席４０の正面付近に設けられ、運転者がステアリングホイール１０の間隙から、或いはステアリングホイール１０越しに視認可能な表示装置である。また、第２表示装置５０−２は、例えば、インストルメントパネル３０の中央部に取り付けられる。第２表示装置５０−２は、例えば、車両Ｍに搭載されるナビゲーション装置（不図示）により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第２表示装置５０−２は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
また、車両Ｍには、表示装置１００による表示のオン／オフの切り替え指示や、虚像ＶＩの位置を調節する指示を受け付ける操作スイッチ（操作部の一例）１３０が設けられる。操作スイッチ１３０は、例えば、運転席４０に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ１３０は、例えば、第１表示装置５０−１の前方に設けられていてもよく、ステアリングホイール１０のボス部に設けられていてもよく、ステアリングホイール１０とインストルメントパネル３０とを連結するスポークに設けられていてもよい。
図２は、実施形態の操作スイッチ１３０について説明するための図である。操作スイッチ１３０は、例えば、メインスイッチ１３２と、調節スイッチ１３４および１３６とを含む。メインスイッチ１３２は、表示装置１００のオン／オフを切り替えるスイッチである。
調節スイッチ１３４は、例えば、運転者の視線位置Ｐ１から表示可能領域Ａ１を透過した空間にあるように視認される虚像ＶＩの位置を、鉛直方向Ｚに関して上側（以下、上方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３４を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を上方向に継続して移動させることができる。
調節スイッチ１３６は、前述した虚像ＶＩの位置を鉛直方向Ｚに関して下側（以下、下方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３６を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を下方向に継続して移動させることができる。
また、調節スイッチ１３４は、虚像ＶＩの位置を上方向に移動させるのに代えて（または加えて）、視認される虚像ＶＩの輝度を上げるためのスイッチであってもよい。また、調節スイッチ１３６は、虚像ＶＩの位置を下方向に移動するのに代えて（または加えて）、視認される虚像ＶＩの輝度を下げるためのスイッチであってもよい。調節スイッチ１３４、１３６が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ１３２の長押し操作である。また、操作スイッチ１３０は、図２に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。
図３は、表示装置１００の部分構成図である。表示装置１００は、例えば、表示器（画像生成装置の一例）１１０と、表示制御装置（制御装置の一例）１５０とを備える。表示器１１０は、例えば、筐体１１５内に、投光装置１２０と、光学機構１２２と、平面鏡１２４と、凹面鏡１２６と、透光カバー１２８とを収納する。これらの他、表示装置１００は、各種センサやアクチュエータを備えるが、これらについては後述する。
投光装置１２０は、例えば、光源１２０Ａと、表示素子１２０Ｂとを備える。光源１２０Ａは、例えば、冷陰極管であり、運転者に視認させる虚像ＶＩに対応する可視光を出力する。表示素子１２０Ｂは、光源１２０Ａからの可視光の透過を制御する。表示素子１２０Ｂは、例えば、薄膜トランジスタ（ＴＦＴ）型の液晶表示装置（ＬＣＤ）である。また、表示素子１２０Ｂは、複数の画素のそれぞれを制御して、光源１２０Ａからの可視光の色要素ごとの透過程度を制御することで、虚像ＶＩに画像要素を含ませ、虚像ＶＩの形態（見え方）を決定付ける。以下では、表示素子１２０Ｂを透過し画像が含まれた可視光を画像光ＩＬという。なお、表示素子１２０Ｂは、有機ＥＬディスプレイであってもよく、この場合、光源１２０Ａは省略されてよい。
光学機構１２２は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構１２２は、例えば、投光装置１２０が出力する画像光ＩＬの経路上に設けられ、投光装置１２０から入射した画像光ＩＬを通過させて、フロントウインドシールド２０に向けて出射する。光学機構１２２は、例えば、レンズの位置を変更することで、運転者の視線位置Ｐ１から、画像光ＩＬによる虚像が形成される形成位置Ｐ２までの距離（以下、虚像視認距離Ｄと称する）を調節することができる。運転者の視線位置Ｐ１は、凹面鏡１２６およびフロントウインドシールド２０によって反射され画像光ＩＬが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Ｄは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Ｄが７［ｍ］」などと表現する場合、その距離は水平方向の距離を意味してもよい。
以下の説明において、俯角θを、運転者の視線位置Ｐ１を通る水平面と、運転者の視線位置Ｐ１から形成位置Ｐ２までの線分とがなす角度と定義する。虚像ＶＩが下方に形成されているほど、すなわち、運転者が虚像ＶＩを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡１２６の反射角度φと、後述するように表示素子１２０Ｂにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡１２４により反射された画像光ＩＬが凹面鏡１２６に入射する入射方向と、凹面鏡１２６が画像光ＩＬを出射する出射方向とのなす角である。
平面鏡１２４は、光源１２０Ａにより出射され表示素子１２０Ｂを通過した可視光（すなわち、画像光ＩＬ）を凹面鏡１２６の方向に反射させる。
凹面鏡１２６は、平面鏡１２４から入射した画像光ＩＬを反射し、フロントウインドシールド２０に向かって出射する。凹面鏡１２６は、車両Ｍの幅方向の軸であるＹ軸回りに回転（回動）可能に支持される。
透光カバー１２８は、凹面鏡１２６からの画像光ＩＬを透過させてフロントウインドシールド２０に到達させると共に、筐体１１５内に埃や塵、水滴などの異物が入り込むことを抑制する。透光カバー１２８は、筐体１１５の上側部材に形成された開口部に設けられる。また、インストルメントパネル３０にも開口部あるいは光透過性部材が設けられ、画像光ＩＬは、透光カバー１２８とインストルメントパネル３０の開口部或いは光透過性部材を透過してフロントウインドシールド２０に到達する。
フロントウインドシールド２０に入射した画像光ＩＬは、フロントウインドシールド２０によって反射され、運転者の視線位置Ｐ１に集光する。このとき、運転者は、画像光ＩＬによって写し出される画像が車両Ｍの前方に表示されているように感じる。
表示制御装置１５０は、運転者に視認させる虚像ＶＩの表示を制御する。図４は、表示制御装置１５０を中心とした表示装置１００の構成例を示す図である。図４の例では、表示制御装置１５０に加えて、表示装置１００に含まれるレンズ位置センサ１６２と、凹面鏡角度センサ１６４と、環境センサ１６６と、情報取得装置１６８と、車両制御装置１６９と、車室内カメラ１６０と、操作スイッチ１３０と、光学系コントローラ１７０と、ディスプレイコントローラ１７２と、レンズアクチュエータ（第１アクチュエータの一例）１８０と、凹面鏡アクチュエータ（第２アクチュエータの一例）１８２と、投光装置１２０とを示している。
車室内カメラ１６０は、運転者の顔を撮像する。レンズ位置センサ１６２は、光学機構１２２に含まれる一以上のレンズの位置を検出する。凹面鏡角度センサ１６４は、凹面鏡１２６の図３に示すＹ軸回りの回転角度を検出する。環境センサ１６６は、例えば、投光装置１２０や光学機構１２２の温度を検出する、また、環境センサ１６６は、車両Ｍの周囲の照度を検出する。
情報取得装置１６８は、車外カメラ、レーダ、ＬＩＤＡＲ、通信装置、ナビゲーション装置等から、車両Ｍの周辺環境に関する情報を取得する。また、車両制御装置１６９は、例えば、車両Ｍに搭載されたＥＣＵ（Electronic Control Unit）等（例えばエンジンＥＣＵ、ステアリングＥＣＵといったもの）であり、不図示のセンサの出力に基づいて車両Ｍの速度やステアリング操舵角等を取得する。
表示制御装置１５０は、例えば、視線検出部１５２と、駆動制御部１５４と、表示態様変更部１５６とを備える。これらの構成要素は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め表示制御装置１５０のＨＤＤやフラッシュメモリ等の記憶装置（不図示）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで表示制御装置１５０のＨＤＤやフラッシュメモリにインストールされてもよい。
視線検出部１５２は、車室内カメラ１６０により撮像された運転者の画像を解析し、運転者の視線の方向（向かう先）を検出する。視線検出部１５２は、例えば、車室内カメラ１６０の撮像した画像における運転者の頭部領域を確定し、運転者の位置を特定する。視線検出部１５２は、運転者の頭部の代表点を決定し、決定した代表点から運転者の目の位置までのベクトルを導出する。また、視線検出部１５２は、運転者の瞳の向きを数値化する。視線検出部１５２は、導出したベクトルと数値化した瞳の向きの情報とに基づいて、運転者の視線の方向を検出する。
視線検出部１５２は、乗員の視点（検出した視線の先の対象または場所を示す点）を導出する。車室内の空間の３次元モデルがメモリに格納されており、代表点、視線方向をモデルにプロットすることで視点を導出する。視線検出部１５２は、検出結果を表示態様変更部１５６に出力する
駆動制御部１５４は、例えば、操作スイッチ１３０からの操作内容に応じて、運転者が視認する虚像ＶＩの位置を調節させる。例えば、駆動制御部１５４は、調節スイッチ１３４の操作が受け付けられた場合に、虚像ＶＩの位置を表示可能領域Ａ１内の上方向に移動させる第１制御信号を光学系コントローラ１７０に出力する。虚像ＶＩを上方向に移動させるとは、例えば、図３に示す運転者の視線位置に対する水平方向と、視線位置から虚像ＶＩが視認される方向とのなす俯角θ１を小さくすることである。また、駆動制御部１５４は、調節スイッチ１３６の操作が受け付けられた場合に、虚像ＶＩの位置を表示可能領域Ａ１内の下方向に移動させる第１制御信号を光学系コントローラ１７０に出力する。虚像ＶＩをした下方向に移動させるとは、例えば、俯角θを大きくすることである。
また、駆動制御部１５４は、例えば、車両制御装置１６９により検出される車両Ｍの速度に基づいて、拡大率を調節するための第２制御信号を、光学系コントローラ１７０に出力する。なお、駆動制御部１５４は、光学機構１２２に、虚像視認距離Ｄを車両Ｍの速度に応じて変更するよう制御させる。駆動制御部１５４は、例えば、車両Ｍの速度が大きい場合に虚像視認距離Ｄをより大きくさせ、速度が小さい場合には虚像視認距離Ｄを小さくさせる。また、駆動制御部１５４は、光学機構１２２に、車両Ｍが停車中の虚像視認距離Ｄを最小とするよう制御させる。また、駆動制御部１５４は、虚像視認距離Ｄをより大きくする場合に、凹面鏡アクチュエータ１８２に凹面鏡１２６の反射角度φを操作させ、虚像ＶＩの俯角θ１が変化しないよう調整させる。
表示態様変更部１５６は、視線検出部１５２によって検出された乗員の視線の動きから、運転者が虚像ＶＩの表示内容を視認したことを検出する。表示態様変更部１５６は、例えば、運転者の視線の先が虚像ＶＩの表示方向である状態が所定時間以上継続した場合に、運転者が虚像ＶＩの表示内容を注視しているとみなし、運転者が虚像ＶＩの表示内容を視認したと判断する。
表示態様変更部１５６は、視線検出部１５２により出力された検出結果に応じて虚像ＶＩの表示様態を変更する。表示態様変更部１５６による表示様態の変更については後述する。
光学系コントローラ１７０は、駆動制御部１５４により受け付けた第１制御信号または第２制御信号に基づいて、レンズアクチュエータ１８０または凹面鏡アクチュエータ１８２を駆動する。レンズアクチュエータ１８０は、光学機構１２２に連結されたモータ等を含み、光学機構１２２における一以上のレンズの位置を移動させ、虚像視認距離Ｄを調節する。凹面鏡アクチュエータ１８２は、凹面鏡１２６の回転軸に連結されたモータ等を含み、凹面鏡１２６の反射角度を調節する。
例えば、光学系コントローラ１７０は、駆動制御部１５４から取得した第１制御信号情報に基づいて、レンズアクチュエータ１８０を駆動し、駆動制御部１５４から取得した第２制御信号情報に基づいて、凹面鏡アクチュエータ１８２を駆動する。
レンズアクチュエータ１８０は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構１２２に含まれる一以上のレンズの位置を移動させる。これにより、虚像視認距離Ｄが調節される。
凹面鏡アクチュエータ１８２は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ１８２をＹ軸回りに回転させて、凹面鏡１２６の反射角度φを調節する。これにより、俯角θが調節される。
ディスプレイコントローラ１７２は、表示態様変更部１５６からの表示制御情報に基づいて、投光装置１２０に所定の画像光ＩＬを投光させる。
以下、表示態様変更部１５６による運転者の視線に応じた表示態様の変更方法について説明する。表示態様変更部１５６は、視線検出部１５２により検出された検出結果と、運転者がその虚像ＶＩを注視する時間と、虚像ＶＩの表示特性とに基づいて、表示様態を変更する。
［物標に対する表示態様］
虚像ＶＩが他車両や、対向車両、歩行者等の交通参加者に注意するよう促す情報を表示する場合、表示態様変更部１５６は、例えば、視線検出部１５２によって、運転者の視線が第１の所定時間（例えば、０．２［ｓ］程度）以上虚像ＶＩの表示場所と重なると検出された場合に、運転者が虚像ＶＩの表示内容を視認したものとして、虚像ＶＩの表示態様を変化させる。表示態様を変化させるとは、例えば、虚像ＶＩの輝度を変更することや、虚像ＶＩの色や明るさを薄くすることや、虚像ＶＩの表示俯角を大きくすること、同義の情報を示す虚像ＶＩよりも小さいサイズのアイコンに変更することや、虚像ＶＩの表示位置を移動させること等である。運転者が虚像ＶＩの表示内容を視認する第１の所定時間は、運転者、運転時間帯、道路状況、天候等に応じて可変であってもよい。他車両や、対向車両、歩行者等の交通参加者は、「物標」の一例である。
図５は、表示制御装置１５０により表示させる虚像ＶＩの一例を示す図である。表示制御装置１５０は、例えば、情報取得装置１６８によって他車両が車両Ｍと同一車線に割り込みをしようとしていることを検出された場合に、他車両への注意を促す虚像ＶＩ１を表示可能領域Ａ１に表示する。このとき、表示制御装置１５０は、虚像ＶＩ１と比較して変換量の少ない情報（例えば、現在走行中の道路の法定速度、車両Ｍ周辺の天候等）を虚像ＶＩ２として、虚像ＶＩ１と併せて表示してもよい。図５の虚像ＶＩ１は、「第１画像」の一例である。
視線検出部１５２は、虚像ＶＩ１の方向に対して、運転者の視線が所定時間以上留まったと検出された場合や、運転者の視線が虚像ＶＩ１の輪郭線や文字表示に沿った軌跡を通過したと検出された場合に、運転者が虚像ＶＩの表示内容を視認したものとする。例えば、図５の虚像ＶＩ１の矢印部分上に運転者の視線が集中した場合や、図５の虚像ＶＩ１の文字部分である「合流車両注意」を運転者の視線が文字の並び順に沿って移動した場合に、視線検出部１５２は、運転者が虚像ＶＩ１を視認したものとする。視線検出部１５２は、表示態様変更部１５６に、検出結果を出力する。
［固定案内物に対する表示態様］
また、虚像ＶＩが道路標識や案内板等の表示内容を抜粋して表示することで運転者に注意を促す情報を表示する場合、表示態様変更部１５６は、例えば、視線検出部１５２によって、視線が第２の所定時間（例えば、１つの情報あたり、０．３―０．５［ｓ］程度）以上虚像ＶＩの表示場所と重なると検出された場合に、運転者が虚像ＶＩの表示内容を視認したものとし、虚像ＶＩの表示態様を変更する。運転者が虚像ＶＩの表示内容を視認する第２の所定時間は、運転者、運転時間帯、天候等に応じて可変であってもよい。道路標識や案内板は、「固定案内物」の一例である。
図６は、表示制御装置１５０により表示させる虚像ＶＩの他の一例を示す図である。表示制御装置１５０は、例えば、情報取得装置１６８によって車両Ｍが岐路に接近する予定であると検出された場合に、当該岐路までの距離や、案内板に設置された情報の虚像ＶＩ３を表示可能領域Ａ１に表示する。図６の虚像ＶＩ３は「第２画像」の一例である。
図７および図８は、虚像ＶＩ３の変化の態様の一例を示す図である。表示態様変更部１５６は、図７に示すように、虚像ＶＩ３に近接する位置にチェックボックスの虚像ＶＩ４をアニメーション表示することで、運転者が虚像ＶＩ３を視認したものとして処理することを運転者に対して予告してもよい。また、表示態様変更部１５６は、虚像ＶＩ４を表示した後、図８に示すように、虚像ＶＩ３およびＶＩ４の表示を停止してもよい。
なお、表示態様変更部１５６は、虚像ＶＩ４によって虚像ＶＩ３を視認されたものとして処理することを運転者に対して予告した場合であっても、視線検出部１５２によって運転が虚像ＶＩ３を再度注視したと検出された場合には、運転者によって虚像ＶＩ３をそのまま表示してほしいという意思表示が行われたとみなして、表示様態の変更を中止する。
なお、表示態様変更部１５６は、車室内カメラ１６０により運転者の特定の動作（例えば、特定のジェスチャーや）が検出された場合に、虚像ＶＩの表示態様の変更を中止してもよい。また、表示態様変更部１５６は、情報取得装置１６８により、運転者による音声入力が検出された場合に、虚像ＶＩの表示態様の変更を中止してもよい。
［表示の注視抑制］
視線検出部１５２は、虚像ＶＩの方向に対して、運転者の視線が第３の所定時間（例えば、２．５［ｓ］−５［ｓ］程度）以上留まったと検出された場合に、運転者が前方不注意状態であり望ましくない状態であると検出し、運転者に車両Ｍの運転に集中するように促す表示である注視抑制態様に変更するよう表示態様変更部１５６に指示を出力する。
図９は、虚像ＶＩの注視抑制態様の一例を示す図である。表示態様変更部１５６は、例えば、図９に示すように、運転者に前方注意を促すメッセージである虚像ＶＩ５を一定時間表示し、虚像の表示を中止する。このとき、表示態様変更部１５６は、変換量の少ない情報を示す虚像ＶＩ２の表示を中止してもよいし、中止しなくてもよい。
なお、表示態様変更部１５６は、虚像ＶＩ２の表示を中止した後、注視抑制態様の表示後に運転者の視線が前方に注意した状態に戻ったと視線検出部１５２によって検出された場合、虚像ＶＩ２の表示を再開してもよい。また、表示態様変更部１５６は、注視抑制態様の表示が開始された後も運転者の視線の変化が検出されない場合には、運転者の体調不良等が想定されるため、車両Ｍを路側に緊急停止させる等の運転制御を行うよう、車両Ｍの運転制御機構に処理を連携してもよい。
［処理フロー］
図１０は、表示装置１００により実行される処理の流れの一例を示すフローチャートである。まず、情報取得装置１６８は、虚像ＶＩの表示開始条件となる物体（物標または固定案内物）を検出する（ステップＳ１００）。次に、表示制御装置１５０は、物体が物標であるか、固定案内物であるかを判定する（ステップＳ１０２）。表示制御装置１５０は、物体が物標であると判定した場合、虚像ＶＩの表示を開始する（ステップＳ１０４）。
次に、視線検出部１５２は、運転者の視線を検出する（ステップＳ１０６）。次に、視線検出部１５２は、運転者の視線が虚像ＶＩの方向に第１の所定時間以上留まったか否かを判定する（ステップＳ１０８）。視線検出部１５２は、第１の所定時間以上留まったと判定しなかった場合、一定時間経過後再度ステップＳ１０８の処理を実行する。視線検出部１５２は、第１の所定時間以上留まったと判定した場合、表示態様変更部１５６に虚像ＶＩの表示態様を変更させる（ステップＳ１１０）。
ステップＳ１０２の処理において、表示制御装置１５０は、物体が固定案内物であると判定した場合、虚像ＶＩの表示を開始する（ステップＳ１１４）。次に、視線検出部１５２は、運転者の視線を検出する（ステップＳ１１６）。次に、視線検出部１５２は、運転者の視線が虚像ＶＩの方向に第２の所定時間以上留まったか否かを判定する（ステップＳ１１８）。視線検出部１５２は、第２の所定時間以上留まったと判定しなかった場合、一定時間経過後再度ステップＳ１１８の処理を実行する。視線検出部１５２は、第２の所定時間以上留まったと判定した場合、表示態様変更部１５６に虚像ＶＩの表示態様を変更させる（ステップＳ１２０）。
ステップＳ１１０またはステップＳ１２０の処理の後、表示態様変更部１５６は、虚像ＶＩの表示条件が終了したか否かを判定する（ステップＳ１１２）。表示態様変更部１５６は、表示条件が終了したと判定した場合、虚像ＶＩの表示を終了する（ステップＳ１１４）。表示態様変更部１５６は、表示条件が終了しなかったと判定した場合、視線検出部１５２に、第３の所定時間以上虚像ＶＩが視認されか否かを判定させる（ステップＳ１１６）。表示態様変更部１５６は、第３の所定時間以上視認されたと判定された場合、虚像ＶＩを注視抑制態様に変更し（ステップＳ１１８）、ステップＳ１１２に処理を戻す。ステップＳ１１６の処理において、第３の所定時間以上視認されたと判定されなかった場合、表示態様変更部１５６は、虚像ＶＩを注視抑制態様への変更を解除し、ステップＳ１１２に処理を戻す。以上、本フローチャートの処理の説明を終了する。
［視線の学習］
なお、視線検出部１５２は、運転者の視線の傾向や、視認時間の傾向を学習してもよい。視線検出部１５２が、虚像ＶＩの表示可能領域Ａ１に対して運転者の視線が所定時間以上向けられていない場合には、運転者が意図的に虚像ＶＩの情報を無視している場合や、視線検出部１５２による視線の検出方法の誤りがある場合などが考えられる。視線検出部１５２は、それらの状況を随時学習することで、運転者の視線の検出精度を高める。例えば、表示装置１００は、視線検出部１５２が運転者の視線を検出できない場合であり、学習結果から運転者が意図的に虚像ＶＩの情報を無視したと判定される場合には、虚像ＶＩと同一または類似の情報を表示装置１００では表示しないようにする。
［変形例］
図１１は、表示制御装置１５０を中心とした表示装置１００の構成の変形例を示す図である。表示装置１００は、例えば、出力装置１８４と連動させて、運転者に注意を促す音声を出力させたり、他の出力装置１８４の表示部に表示装置１００と同様の表示を連動表示させたりしてもよい。出力装置１８４は、例えば、ナビゲーション装置である。また、出力装置１８４は、第１表示装置５０−１または第２表示装置５０−２のいずれかであってもよい。
［他のＨＵＤ表示領域］
なお、表示装置１００は、フロントウインドシールド２０に直接画像を投影するのに代えて、運転者の位置とフロントウインドシールド２０との間に設けられるコンバイナ等の光透過性反射部材に画像を投影してもよい。
以上説明したように、表示装置１００において、風景に重畳させて画像を運転者等の観者に視認させる表示器１１０と、画像生成装置を制御する表示制御装置１５０と、を備え表示制御装置１５０は、表示器１１０によって出力された虚像ＶＩの観者である運転者等の視点を検出する視線検出部１５２と、視線検出部１５２により検出された観者の注視時間に応じて、虚像ＶＩの表示態様を変化させるように表示器１１０を制御する表示態様変更部１５６とによって、乗員が視認済の虚像ＶＩの表示態様を変化させることができ、運転者の快適性を向上させることができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１０…ステアリングホイール、２０…フロントウインドシールド、３０…インストルメントパネル、４０…運転席、５０−１…第１表示装置、５０−２…第２表示装置、６２…第２地図情報、１００…表示装置、１１０…表示器、１１５…筐体、１２０…投光装置、１２０Ａ…光源、１２０Ｂ…表示素子、１２２…光学機構、１２４…平面鏡、１２６…凹面鏡、１２８…透光カバー、１３０…操作スイッチ、１３２…メインスイッチ、１３４…調節スイッチ、１３６…調節スイッチ、１５０…表示制御装置、１５２…視線検出部、１５４…駆動制御部、１５６…表示態様変更部、１６０…車室内カメラ、１６２…レンズ位置センサ、１６４…凹面鏡角度センサ、１６６…環境センサ、１６８…情報取得装置、１６９…車両制御装置、１７０…光学系コントローラ、１７２…ディスプレイコントローラ、１８０…レンズアクチュエータ、１８２…凹面鏡アクチュエータ、１８４…出力装置、Ａ１…表示可能領域、ＩＬ…画像光、ＶＩ…虚像

Claims (9)

  1. 風景に重畳させて画像を観者に視認させる画像生成装置と、
    前記画像生成装置を制御する制御装置と、
    を備え、
    前記制御装置は、前記画像生成装置によって出力された前記画像を観者が注視している注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御する、
    表示装置。
  2. 前記制御装置は、前記観者の視線を検出し、視線の先に前記画像がある場合、前記画像を観者が注視しているとみなす、
    請求項１に記載の表示装置。
  3. 前記制御装置は、前記画像の表示態様を変化させる際に、前記画像の表示を停止する、
    請求項１または２に記載の表示装置。
  4. 前記制御装置は、前記画像が物標に対する注意を促す第１画像であり、且つ、前記注視時間が第１の所定時間以上である場合、前記観者が前記第１画像を視認したものとして前記第１画像の表示態様を変化させる、
    請求項１から３のうちいずれか一項に記載の表示装置。
  5. 前記制御装置は、前記画像が固定案内物に対する注意を促す第２画像であり、且つ、前記注視時間が第２の所定時間以上である場合、前記観者が前記第２画像を視認したものとして前記第２画像の表示態様を変化させる、
    請求項１から４のうちいずれか一項に記載の表示装置。
  6. 前記制御装置は、
    前記注視時間が、第２の所定時間よりも長い第３の所定時間以上である場合、前記観者が前記画像を注視することを抑制するように前記画像の表示態様を変化させる、
    請求項５に記載の表示装置。
  7. 前記画像生成装置は、
    前記画像を光として出力する投光装置と、
    前記光の経路上に設けられ、所定の位置から前記光が虚像として結像する位置までの距離を調節可能な光学機構と、
    前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、
    前記光学機構における前記距離を調節する第１アクチュエータと、
    前記凹面鏡の反射角度を調節する第２アクチュエータと、を有する、
    請求項１から６のうちいずれか一項に記載の表示装置。
  8. 風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータが、
    前記画像生成装置によって出力された前記画像を観者が注視している注視時間を取得し、
    前記注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御する、
    表示制御方法。
  9. 風景に重畳させて画像を観者に視認させる画像生成装置を制御するコンピュータに、
    前記画像生成装置によって出力された前記画像を観者が注視している注視時間を取得させ、
    前記注視時間に応じて、前記画像の表示態様を変化させるように前記画像生成装置を制御させる、
    プログラム。
JP2018148792A 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム Active JP7121583B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018148792A JP7121583B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム
CN201910612742.2A CN110816408B (zh) 2018-08-07 2019-07-08 显示装置、显示控制方法及存储介质
US16/517,884 US20200051529A1 (en) 2018-08-07 2019-07-22 Display device, display control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018148792A JP7121583B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020024578A true JP2020024578A (ja) 2020-02-13
JP7121583B2 JP7121583B2 (ja) 2022-08-18

Family

ID=69406300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018148792A Active JP7121583B2 (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20200051529A1 (ja)
JP (1) JP7121583B2 (ja)
CN (1) CN110816408B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902273B2 (en) 2018-08-29 2021-01-26 Denso International America, Inc. Vehicle human machine interface in response to strained eye detection
JP2021174295A (ja) * 2020-04-27 2021-11-01 キヤノン株式会社 電子機器及びその制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930274B2 (ja) * 2017-08-08 2021-09-01 トヨタ自動車株式会社 デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
JP2021138205A (ja) * 2020-03-03 2021-09-16 株式会社東海理化電機製作所 運転支援装置
JP2021148506A (ja) 2020-03-17 2021-09-27 本田技研工業株式会社 表示制御装置、表示制御方法およびプログラム
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
JP2023044097A (ja) * 2021-09-17 2023-03-30 トヨタ自動車株式会社 車両用表示制御装置、車両用表示システム、車両、表示方法及びプログラム
JP2023048827A (ja) * 2021-09-28 2023-04-07 パナソニックＩｐマネジメント株式会社 制御方法、情報表示システム、および、プログラム
WO2023119266A1 (en) * 2021-12-20 2023-06-29 Israel Aerospace Industries Ltd. Display of augmented reality images using a virtual optical display system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) * 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2010039793A (ja) * 2008-08-06 2010-02-18 Calsonic Kansei Corp 車両用表示装置
JP2012162109A (ja) * 2011-02-03 2012-08-30 Toyota Motor Corp 車両用表示装置
JP2014048978A (ja) * 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039461A (ja) * 2015-08-21 2017-02-23 株式会社今仙電機製作所 車両用表示装置とその制御方法
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
JP2017081456A (ja) * 2015-10-29 2017-05-18 パナソニックＩｐマネジメント株式会社 表示装置及び表示方法
WO2017145565A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
JP4797588B2 (ja) * 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
JP5988074B2 (ja) * 2012-01-27 2016-09-07 日本精機株式会社 車両用ヘッドアップディスプレイ装置およびそのセルフチェック方法
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
EP3342343B1 (en) * 2015-08-24 2019-11-27 Fujifilm Corporation Radiograph interpretation assistance device and method
JP2018121287A (ja) * 2017-01-27 2018-08-02 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) * 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2010039793A (ja) * 2008-08-06 2010-02-18 Calsonic Kansei Corp 車両用表示装置
JP2012162109A (ja) * 2011-02-03 2012-08-30 Toyota Motor Corp 車両用表示装置
JP2014048978A (ja) * 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
JP2017039461A (ja) * 2015-08-21 2017-02-23 株式会社今仙電機製作所 車両用表示装置とその制御方法
JP2017081456A (ja) * 2015-10-29 2017-05-18 パナソニックＩｐマネジメント株式会社 表示装置及び表示方法
WO2017145565A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902273B2 (en) 2018-08-29 2021-01-26 Denso International America, Inc. Vehicle human machine interface in response to strained eye detection
JP2021174295A (ja) * 2020-04-27 2021-11-01 キヤノン株式会社 電子機器及びその制御方法
JP7455651B2 (ja) 2020-04-27 2024-03-26 キヤノン株式会社 電子機器及びその制御方法

Also Published As

Publication number Publication date
CN110816408A (zh) 2020-02-21
CN110816408B (zh) 2023-09-15
JP7121583B2 (ja) 2022-08-18
US20200051529A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
JP6794415B2 (ja) 表示装置、表示制御方法、およびプログラム
JP6734340B2 (ja) 表示装置、表示制御方法、およびプログラム
JP2020050147A (ja) 表示装置、表示制御方法、およびプログラム
US10928632B2 (en) Display device, display control method, and storage medium
US20200047686A1 (en) Display device, display control method, and storage medium
US20200124846A1 (en) Display device
CN110816266B (zh) 显示装置及显示控制方法
JP7165532B2 (ja) 表示装置、表示制御方法、およびプログラム
CN110816267B (zh) 显示装置、显示控制方法及存储介质
US11009702B2 (en) Display device, display control method, storage medium
US10914948B2 (en) Display device, display control method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220805

R150 Certificate of patent or registration of utility model

Ref document number: 7121583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150