CN108072977A - 显示装置、显示系统以及显示方法 - Google Patents

显示装置、显示系统以及显示方法 Download PDF

Info

Publication number
CN108072977A
CN108072977A CN201711104828.1A CN201711104828A CN108072977A CN 108072977 A CN108072977 A CN 108072977A CN 201711104828 A CN201711104828 A CN 201711104828A CN 108072977 A CN108072977 A CN 108072977A
Authority
CN
China
Prior art keywords
unit
plug
display
display device
current location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711104828.1A
Other languages
English (en)
Inventor
高泽和宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN108072977A publication Critical patent/CN108072977A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

本发明涉及显示装置、显示系统以及显示方法，其目的在于，提供一种在背景上重叠显示插件的显示区域，该显示区域能够使得用户难以意识到该显示区域的边界。本发明的显示装置具有将插件重叠在背景上显示的显示部，其特征在于具备，取得部，用于取得所述插件在所述显示部中的当前位置以及所述插件的移动方向；推定部，用于根据所述取得部取得的所述插件的所述当前位置以及所述移动方向，推定所述插件从所述当前位置移动到所述显示部能够显示的区域的边缘所需要的时间，或者所述插件的当前位置与所述插件的移动目的地的所述边缘之间的距离；以及，决定部，用于根据所述推定部推定的所述时间或者所述距离，决定所述插件的显示方式。

Description

显示装置、显示系统以及显示方法
技术领域
本发明涉及显示装置、显示系统以及显示方法。
背景技术
目前，机动车或飞行器等移动装置中采用能够直接在用户的视野中显示信息的HUD(Head Up Display，平视显示器)。
在用视觉认知信息时，HUD因不需要用户移动视线，近年来开始普及，其理由在于能够带来减轻运动给身体带来的负担以及防止注意力散漫引发事故的效果。
HUD用激光或LCD(Liquid Crystal Display)的光源，向前窗玻璃(挡雨板)或组合仪投影，从而在用户视线前方显示犹如浮在空中的虚像。
以下检讨采用HUD实施增强现实显示，例如把表示有关于对向车辆等物体的信息或道路指南等导航信息的标示、标记、目标之类的虚拟插件(object，以下简称为插件)重叠显示在背景的现实世界上。
发明内容
在上述情况下，以目前的技术，随着上述物体的移动或搭载HUD的装置本身的移动，重叠在背景的现实世界上的插件会移动到HUD能够显示的区域以外。此时，在HUD能够显示的区域的边缘(边界)上缺少插件的显示，用户将意识到HUD显示区域的边缘(边界)，AR显示与背景的实际世界的统一感下降，从而产生缺乏AR显示真实感的问题。
针对上述问题，本发明的目的在于提供一种在背景上重叠显示插件的显示区域，该显示区域能够使得用户难以意识到该显示区域的边界。
为了达到上述目的，本发明提供一种显示装置，其中具有将插件重叠在背景上显示的显示部，其特征在于具备，取得部，用于取得所述插件在所述显示部中的当前位置以及所述插件的移动方向；推定部，用于根据所述取得部取得的所述插件的所述当前位置以及所述移动方向，推定所述插件从所述当前位置移动到所述显示部能够显示的区域的边缘所需要的时间，或者所述插件的当前位置与所述插件的移动目的地的所述边缘之间的距离；以及，决定部，用于根据所述推定部推定的所述时间或者所述距离，决定所述插件的显示方式。
本发明的效果在于提供一种在背景上重叠显示插件的显示区域，该显示区域能够使得用户难以意识到区域的边界。
附图说明
图1是实施方式涉及的显示系统的一例系统构成的示意图。
图2是本实施方式所涉及的显示装置的一例设置示意图。
图3是本实施方式涉及的显示装置的显示区域的示意图。
图4为本实施方式涉及的显示装置的一例硬件结构的示意图。
图5是实施方式涉及的显示装置的一例功能模块图。
图6是显示部显示的AR显示的示意图。
图7是根据对象插件移动到显示区域的边缘的位置所要时间来决定对象插件的显示方式的一例处理的流程图。
图8是根据对象插件移动到显示区域边缘的位置所要时间来决定对象插件的显示方式的一例处理的示意图。
图9是对象插件的显示方式变化的示意图。
图10是根据显示区域中对象插件的当前显示位置与插件的移动目的地的显示区域边缘之间的距离来决定对象插件的一例显示处理的流程图。
图11是插件进入显示区域时的处理的示意图。
图12是插件离开显示区域后再次进入显示区域的一例处理流程图。
图13是插件离开显示区域后重新进入显示区域时该插件的一例显示方式的示意图。
图14是由于干扰致使插件进入或离开显示区域时该插件的一例显示方式的示意图。
图15是插件随着旋转而逐渐减小显示的一例显示方式的示意图。
具体实施方式
以下针对本发明的实施方式，参考附图进行详述。
〈系统构成〉
首先用图1描述本实施方式涉及的显示系统1的系统构成。图1是实施方式涉及的显示系统1的一例系统构成的示意图。
如图1所示，本实施方式的显示系统1具备搭载于车辆、飞机、船舶等移动装置的显示装置10、以及一个以上的ECU(Electric Control Unit，电子控制单元)20-1、20-2、…。以下用搭载于车辆上的显示系统1为例进行描述，但是，显示系统1也适用于除车辆以外的其它移动装置。
显示装置10与ECU20之间以例如CAN(Control Area Network，控制器局域网)等网络连接。
例如，显示装置10为HUD，根据从ECU 20获取的信息，将表示有关于导航信息，如关于对向行驶车辆等的物体的信息、或用于表示右转和左转的指示以及交叉路口名称等道路指南的信息的插件，重叠到作为背景的现实世界上显示。在背景的现实世界(背景上)上重叠显示插件，也被称为AR显示。
图2是本实施方式所涉及的显示装置10的设置例的示意图。如图2所示，显示装置10被设置在例如驾驶员502面对方向盘501时该驾驶员502的正前方(移动装置100的前进方向)的仪表板503内。显示装置10从仪表板503上开设的开口部(投射口)照射投影光504，该投影光504受到挡风玻璃505反射后，在驾驶员502前展现虚像，从而在显示区域506上显示插件。
图3是本实施方式涉及的显示装置10的显示区域的示意图。如图3所示，在显示装置10的显示区域506中，显示装置10所显示的插件510重叠显示在穿过挡风玻璃505看到的现实世界中。显示装置10使得插件510在显示区域506中连动于与其相关联的背景的物体等的位置而发生移动。这样便能够让驾驶员认知为好像该插件510真实存在。
ECU20将车辆本身的速度(车速)、转向角(方向盘的转向角)、俯仰或侧倾等车辆本身的倾斜度、插件在现实空间中的位置和大小、以及插件的种类等信息通知给显示设备10。
<硬件结构>
接下来用图4来描述关于本实施方式的显示装置10的硬件构成。图4为本实施方式涉及的显示装置10的一例硬件结构的示意图。
显示装置10包括通信I/F 101、CPU(Central Processing Unit:中央处理器)102、ROM(Read Only Memory，只读存储器)103、RAM(Random Access Memory：随机访问存储器)104、造影装置105、以及外部I/F106和SSD(Solid State Drive)107等。这些硬件通过总线B相互连接。
通信I/F101是用于将显示装置10连接到CAN等网络上的接口。
CPU102是用于将程序或数据从ROM103或SSD107等存储装置中读到RAM104上，执行基于该程序或数据的处理，从而实现显示装置10的整体控制或其他功能的运算装置。
ROM103是即使切断电源也能够保持程序和数据的非易失性半导体存储器。ROM103中存放操作系统设定、网络设定等程序和数据、以及显示装置10启动时执行的BIOS(BasicInput/Output System)。RAM 104是临时存储程序和数据的易失性半导体存储器。
造影装置105是用激光照射投影光的投影装置，或利用发光元件显示的LCD的显示器，用来显示显示设备10的处理结果。
SSD107是用于存储程序和数据的非易失性存储装置。SSD107中存放的程序和数据中包括控制整个显示设备10的基本软件即OS(Operating System:操作系统)、以及能够在OS上提供各种功能的应用软件等。SSD107用规定的文件系统或DB来管理保存的程序和数据。
外部I/F 106是与外部设备通信的接口。外部装置中有记录介质106a等。显示装置10能够经由外部I/F 106进行记录介质106a记录介质106a上、软盘、CD、DVD、SD存储卡、USB存储器等的读写。
<功能构成>
以下参考图5，描述根据实施方式涉及的显示设备10的功能构成。图5是实施方式涉及的显示装置10的一例功能模块图。
显示装置10包括取得部11、推定部12、决定部13、以及显示部14。这些功能通过显示装置10的CPU102执行部通过安装在显示装置10上的1个以上的程序的处理来实现。
取得部11从ECU20获取车辆本身的速度(车速)、方向盘的转向角、俯仰或侧倾等本车辆的倾斜度、插件在现实空间中的位置及大小、插件的种类等信息。而且，取得部11根据插件在现实空间中的位置、移动装置的移动速度以及移动装置的转向角，计算并取得该插件在现实空间中的移动方向。
推定部12根据由取得部11获取的插件在现实空间中的位置以及移动方向，推定插件到达显示部14所能够显示的区域(以下称为“显示区域”)的边缘的时间。推定部12还根据取得部11中获取的插件的位置和插件的移动方向，推定插件的当前显示位置与显示区域的边缘之间的像素上的距离。
决定部13基于由推定部12推定的时间或距离来决定插件的显示方式。
显示部14用投影光或发光元件，以决定部13决定的显示方式，将插件重叠显示在用户观看的显示区域的背景的现实世界上。
图6是显示部14显示的AR显示的示意图。其中，如(A)所示，插件(AR插件)510a、510b被放置在与现实及比例尺保持一致的虚拟空间上。而且如图6中的(B)、图6中的(C)所示，即便在移动装置或插件发生移动的情况下，在移动装置中的驾驶员502所观察到的显示区域506中，该插件的虚像被重叠到现实世界中上述被放置的位置上。现实空间(现实世界)中的坐标和显示区域506中的坐标之间的变换也可以使用3D图像处理等中普遍使用的投影转换等公知的方法。
图6中的(B)和(C)中，车辆本身前进，接近交叉路口的场景下，AR显示以一定间隔设置在路面上的箭头，用于指引在该交叉点处的转弯方向。由于这些箭头插件被静止地设置在现实空间中，因此，需要被显示为相对于地面与车辆前进同步移动，接近车辆本身。在这种情况下，这些箭头插件被显示为，随着车辆本身的前进，从显示装置10的显示区域的上方向下方移动，最终离开显示区域。
<处理>
插件离开显示区域时的处理
以下参考图7，描述本实施方式涉及的显示装置10的处理。图7是根据对象插件移动到显示区域的边缘的位置所要时间来决定对象插件的显示形式的一例处理流程图。每当显示装置10显示各显示帧时可以实施以下处理。在需要显示多个对象插件时，以下处理中例如步骤S102以后的处理可以针对每个插件实施。
在步骤S101中，显示装置10的取得部11从ECU20获取用户的操作信息。用户的操作信息包含车辆本身的车速和转向角的信息。
接着，显示装置10的取得部11从ECU20获取作为处理对象的插件(在下文中称为“对象插件”)的信息(步骤S102)。显示对象的插件的信息包含，例如插件在现实空间中的位置以及大小等。
接着，显示装置10的取得部11计算对象插件在现实空间中相对于车辆本身的相对移动方向(步骤S103)。
接着，显示装置10的取得部11计算插件在显示装置10的显示区域中的显示位置(步骤S104)。
接着，显示装置10的推定部12推定对象插件在显示装置10的显示区域中的移动方向(步骤S105)。例如类似路线指南等与导航有关的信息之类的插件，如果是在现实空间中静止的对象插件，则可以根据车辆本身的速度(车速)和转向角来推定对象插件伴随时间推移的显示位置的轨迹(移动方向)。再如有关于对向车等物体之类的信息的插件，如果是在现实空间中发生移动的对象插件，则例如可以根据立体照相机或雷达等测定物体与本车辆之间的相对的速度及移动方向、以及转向角，来推定对象插件伴随时间推移的显示位置的轨迹(移动方向)。
接着，显示装置10的推定部12推定对象插件从当前的显示位置移动到显示装置10的显示区域的边缘的位置所需要的时间(步骤S106)。例如，将在步骤S105中根据对象插件随着时间推移的显示位置的轨迹(移动方向)求出的对象插件的显示位置移动到显示区域边缘的位置所需要的时间，作为移动到显示区域的边缘的位置所需要的时间。此外，显示装置10还可以考虑车辆的加速度的信息，来推定对象插件移动到显示区域的边缘的位置所需要的时间。
接着，显示装置10的决定部13根据上述对象插件移动到显示区域的边缘的位置所需要的时间来决定对象插件的显示方式(步骤S107)。
接着，显示装置10的显示部14按照所决定的显示方式来显示对象插件(步骤S108)。
接着，参考图8描述步骤S107中决定对象插件的显示方式的处理。图8是根据对象插件移动到显示区域边缘的位置的时间来决定对象插件的一例显示方式的处理的示意图。
对象插件510是如图8所示那样的复杂形状的情况下，例如，可以用对象插件510外接的矩形等作为对象插件的边界520。随后，推定对象插件510的边界520接触到显示区域506的边缘所需要的时间，将该时间作为对象插件510移动到显示区域506的边缘521所要的时间。
接着参考图9，描述对象插件的显示方式的变化。图9是对象插件的显示方式变化的示意图。
图9中如(A)所示，随着接触到显示区域边缘所需时间的推定值的减少，显示装置10的决定部13使得对象插件的显示方式逐渐发生变化，从通常的显示方式550开始，逐渐变成为显示方式551至显示方式554，渐渐成为用户难以视觉认知的显示方式。例如，在接触到显示区域边缘所需时间的推定值为规定值(例如4秒)以下之后，如显示方式551至显示方式554那样，伴随该推定值的减小，显示装置10逐步提高对象插件的透明度。这样，对象插件越靠近显示区域边缘，该对象插件的显示方式就越透明，让用户难以察觉显示区域的边缘。
图9中的(B)显示对象插件以相较于(A)更加缓慢地接近显示区域边缘的情况。如(B)所示，在对象插件较缓慢地接近显示区域边缘时，对象插件在相对靠近显示区域边缘之后，从通常的显示方式550出发，逐步改变显示方式，提高透明度，从显示方式551变化到显示方式554，逐渐变为难以被用户视觉认知的显示方式。
<变形例>
以上图8中示例性地描述了根据对象插件移动到显示区域边缘的位置所需要的时间来决定对象插件的显示方式。以下示例性地描述根据显示区域中对象插件在当前显示位置与对象插件的移动目的地的显示区域边缘之间的距离，来决定对象插件的显示方式。
图10是根据显示区域中对象插件的当前显示位置与对象插件的移动目的地的显示区域边缘之间的距离来决定对象插件的一例显示处理的流程图。
步骤S201至S205、S208的处理与图7所示的步骤S101至步骤S105、S108的处理相同。
在步骤S206中，显示装置10的推定部12推定显示区域中对象插件的当前显示位置与对象插件的移动目的地的显示区域边缘之间的距离。例如，可以根据在步骤S205中推定的对象插件的伴随时间推移的显示位置轨迹(移动方向)，求出显示区域中对象插件的当前显示位置与对象插件的移动目的地的显示区域边缘之间的距离(图8中的距离523)。在此，显示区域中的距离是指，显示区域例如相当于液晶显示器时的像素的距离。
接着，显示装置10的决定部13根据该距离来决定对象插件的显示方式(步骤S207)。
关于插件进入显示区域时的处理
接下来参考图11，描述插件进入显示区域时决定部13的处理。图11是插件进入显示区域时的处理的示意图。
在插件进入显示区域时，显示装置10的决定部13可以使得显示方式以一定速度，例如从进入显示区域开始，从显示方式554变化到显示方式550所示，从用户难以视觉认知的显示方式554开始，逐渐变为用户易于视觉认知的显示方式。在这种情况下，与插件的移动速度以及移动方向无关，对所有插件来说，从进入区域时开始到成为通常的显示方式550为止的时间相同。
关于插件离开显示区域后再次进入显示区域时的处理
接着，参照图12和图13，描述插件离开显示区域后再次进入显示区域情况下的判定部13实施的处理。图12是插件离开显示区域后再次进入显示区域的一例处理流程图。图13是插件离开显示区域后重新进入显示区域时该插件的一例显示状态的示意图。
在步骤S301中，显示装置10的决定部13检测到插件离开显示区域后又重新进入显示区域。
接着，显示装置10的取得部11从ECU20获取插件种类(步骤S302)。在此，插件的种类包含表示例如车辆、行人、道路指南等信息。
接着，显示装置10的决定部13基于取得部11获取的插件的种类，判定是否再次显示该插件(步骤S303)。例如，如果是被预设为重要性程度较高种类的插件，则判断为再次显示。
如果判断不需要再次显示(步骤S303的否)，则显示装置的显示部14不显示该插件(步骤S304)。
图13中的(A)是判断不需要再次显示时的一例显示方式的示意图。在这种情况下，不需要再次显示进入显示区域的插件。由于不需要再次显示重要性程度不高的插件，因此能够防止驾驶员认知负担增加。
在判断为再次显示的情况下(步骤S303中为"是")，显示装置10的显示部14用决定了的显示方式显示该插件(步骤S305)。
图13中的(B)是表示在判断为再次显示的情况下的一例显示方式的示意图。在这种情况下，用与上述“插件进入显示区域时的处理”或“插件离开显示区域时的处理”的显示方式相同的显示方式来显示再次进入显示区域中的插件。由此，可以增加驾驶员在重要性相对较高的插件上的目视时间。
另外，在操纵移动装置的方向盘而使得插件离开显示区域之后，犹如解消该方向盘操纵似地再次操纵方向盘而使得插件重新进入显示区域的情况下，显示装置10的决定部13也可以让显示部14显示该插件。这样，例如驾驶员为了避开道路上的障碍物而转动方向盘之后再朝反方向旋转方向盘恢复到原来的行进方向时，插件便能够被重新显示。
关于外部干扰致使插件进入或离开显示区域时的处理
以下参考图14描述外部干扰致使插件进入或离开显示区域时决定部13实施的处理。图14是外部干扰致使插件进入或离开显示区域时该插件的一例显示方式的示意图。
关于插件离开显示区域时的处理，以下以基于驾驶员操作即快门操作和方向盘转向操作(转向操作)的车速和转向角来决定显示方式为例进行描述。而关于插件进入显示区域时的处理，则以根据进入显示区域之后所经过的时间来决定显示方式为例进行描述。
以下描述出于驾驶员车辆操作以外的原因(外部干扰)，具体为本车辆倾斜，使得插件进入或离开显示区域时的插件的显示方式。
关于外部干扰，例如有道路形状的不连续使得本车辆发生震动等。对于震动等突发性原因，如果插件在显示区域中的显示位置不发生移动，则插件在显示区域中的显示位置偏离背景上的真实物体的位置，从而降低AR的真实感。
为了防止这种情况发生，显示装置10根据从ECU20获取的本车辆的纵摇角和横摇角，使得插件与背景同步移动。另外，本车辆的俯仰或侧倾也可以通过设置在本车辆上的倾斜传感器等获得。
在这种情况下，如果在车辆的震动较大，也可以考虑插件离开显示区域。此时如图14所示，根据外部干扰类型，让插件移动，但不改变显示方式。图14中的(A)是震动发生之前以通常的显示方式550显示插件的一例示意图，图14中的(B)是震动发生期间插件离开显示区域的一例示意图。图14中的(C)是震动发生之后以通常的显示方式550显示插件的一例示意图。
〈显示方式的变形例〉
以上，以提高透明度为例描述了用户难以视觉认知的显示方式。除此之外，还可以用让插件旋转而减小显示的显示方式来作为用户难以视觉认知的显示方式，取代上述实施方式。
图15是插件随着旋转而减小显示的一例显示方式的示意图。在图15显示一例以垂直方向为轴，插件围绕该轴旋转。在这种情况下，决定部13通过与决定上述透明度的处理相同的处理，来决定插件的转动量，得到例如显示模式551a至554a。转动方向可以是任意的。另外，插件还可以围绕水平方向的轴旋转。
以上，对本发明的实施例进行了详细描述，但是，本发明不受上述特定的实施例的限制，允许在权利要求范围内，对上述实施例进行各种变形或修改。
例如，也可以将显示装置10和客户端装置30构成为一体的装置。
另外，显示装置10例如包括取得部11、推定部12、决定部13等各项功能部也可以通过1台或更多台计算机构成的云计算来实现。

Claims (14)

1.一种显示装置，其中具有将插件重叠在背景上显示的显示部，其特征在于，所述显示装置具备，
取得部，用于取得所述插件在所述显示部中的当前位置以及所述插件的移动方向；
推定部，用于根据所述取得部取得的所述插件的所述当前位置以及所述移动方向，推定所述插件从所述当前位置移动到所述显示部能够显示的区域的边缘所需要的时间，或者所述插件的当前位置与所述插件的移动目的地的所述边缘之间的距离；以及，
决定部，用于根据所述推定部推定的所述时间或者所述距离，决定所述插件的显示方式。
2.根据权利要求1所述的显示装置，其中，当所述插件从所述当前位置移动到接近所述插件的移动目的地的所述边界的位置时，所述决定部决定，使用比所述插件在所述当前位置时采用的显示方式所具有的视觉认知水平更加低的视觉认知水平的显示方式，来作为移动到接近所述边界的所述插件的显示方式。
3.根据权利要求1所述的显示装置，其中，从所述插件的当前位置移动到所述边界所需要的时间越短，所述决定部决定用作为所述插件的显示方式所具有的视觉认知水平就越低。
4.根据权利要求2或3所述的显示装置，其中，所述插件的视觉认知水平为该插件的透明度，该插件的视觉认知程度越低所述透明度就越高。
5.根据权利要求2或3所述的显示装置，其中，所述插件的视觉认知水平为该插件围绕平行于所述显示部的方向转动的转动量，所述插件的视觉认知水平越低，所述转动量就越大，从而使得所述插件显示的大小越小。
6.根据权利要求1至5中任意一项所述的显示装置，其特征在于，所述取得部根据所述插件在所述显示部中的位置、所述显示装置所搭载的移动装置的移动速度、以及该移动装置的转向角，计算所述插件的移动方向。
7.根据权利要求6所述的显示装置，其特征在于，所述推定部进一步根据所述移动装置的加速度，计算所述插件移动到所述边缘所需的时间。
8.根据权利要求6或7所述的显示装置，其中，在所述移动装置发生倾斜致使所述插件在所述区域中产生移动的情况下，所述决定部不改变所述显示方式。
9.根据权利要求1至8中任意一项所述的显示装置，其中，在所述插件离开所述区域之后又重新进入所述区域的情况下，所述决定部不在所述显示部上显示所述插件。
10.根据权利要求9所述的显示装置，其中，在所述插件离开所述区域之后又重新进入所述区域的情况下，所述决定部根据所述插件的种类决定是否在所述显示部上显示所述插件。
11.根据权利要求9或10所述的显示装置，其中，在所述移动装置的方向操作致使所述插件离开所述区域之后，再次通过所述方向操作以解消之前的所述方向操作，而使得所述插件重新进入所述区域的情况下，所述决定部使得所述显示部显示所述插件。
12.根据权利要求1至11中任意一项所述的显示装置，其特征在于，所述显示部用投影光或发光元件将所述插件重叠显示在背景上。
13.一种搭载于移动装置的显示系统，其中具备显示装置和控制装置，所述显示装置具有将插件重叠显示到背景上的显示部，所述控制装置用于控制所述移动装置，其特征在于，
所述控制装置将所述移动装置的移动速度以及转向角的数据通知给所述显示装置，
所述显示装置具备，
取得部，用于取得所述插件在所述显示部中的当前位置以及所述插件的移动方向；
推定部，用于根据所述取得部取得的所述插件的所述当前位置以及所述移动方向，推定所述插件从所述当前位置移动到所述显示部能够显示的区域的边缘所需要的时间，或者所述插件的当前位置与所述插件的移动目的地的所述边缘之间的距离；以及，
决定部，用于根据所述推定部推定的所述时间或者所述距离，决定所述插件的显示方式。
14.一种用于显示装置的显示方法，其中包括，
取得步骤，取得所述插件在所述显示部中的当前位置以及所述插件的移动方向；
推定步骤，根据取得的所述插件的所述当前位置以及所述移动方向，推定所述插件从所述当前位置移动到所述显示部能够显示的区域的边缘所需要的时间，或者所述插件的当前位置与所述插件的移动目的地的所述边缘之间的距离；以及，
决定步骤，根据所述推定部推定的所述时间或者所述距离，决定所述插件的显示方式。
CN201711104828.1A 2016-11-15 2017-11-10 显示装置、显示系统以及显示方法 Pending CN108072977A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-222167 2016-11-15
JP2016222167A JP7009057B2 (ja) 2016-11-15 2016-11-15 表示装置、表示システム、及びプログラム

Publications (1)

Publication Number Publication Date
CN108072977A true CN108072977A (zh) 2018-05-25

Family

ID=62108586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711104828.1A Pending CN108072977A (zh) 2016-11-15 2017-11-10 显示装置、显示系统以及显示方法

Country Status (3)

Country Link
US (2) US10453176B2 (zh)
JP (1) JP7009057B2 (zh)
CN (1) CN108072977A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805338A (zh) * 2020-06-11 2021-12-17 大众汽车股份公司 对用于交通工具的增强现实平视显示器装置的显示的控制
CN113993736A (zh) * 2019-05-09 2022-01-28 大众汽车股份公司 机动车中的人机交互

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661604B1 (en) 2016-06-30 2017-05-23 HawkEye 360, Inc. Determining emitter locations
EP4138470A1 (en) 2017-06-30 2023-02-22 Hawkeye 360, Inc. Detecting radio signal emitter locations
US11237277B2 (en) 2019-02-15 2022-02-01 Horizon Technologies Consultants, Ltd. Techniques for determining geolocations
CN112148622B (zh) * 2020-10-15 2022-02-25 腾讯科技（深圳）有限公司 虚拟道具的控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
CN103869470A (zh) * 2012-12-18 2014-06-18 精工爱普生株式会社 显示装置及其控制方法、头戴式显示装置及其控制方法
US20160159280A1 (en) * 2013-07-02 2016-06-09 Denso Corporation Head-up display and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP5802918B2 (ja) 2011-05-17 2015-11-04 株式会社ユピテル 表示装置
JP6181949B2 (ja) 2013-03-15 2017-08-16 矢崎総業株式会社 表示装置
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
WO2015178303A1 (ja) * 2014-05-21 2015-11-26 矢崎総業株式会社 安全確認支援装置
JP2016060445A (ja) * 2014-09-22 2016-04-25 日本精機株式会社 ヘッドアップディスプレイ装置
EP4187524A1 (en) * 2015-03-10 2023-05-31 JVC Kenwood Corporation Alert device, alert method, and alert program
JP6372402B2 (ja) * 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
JP6736944B2 (ja) * 2016-03-29 2020-08-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10248196B2 (en) * 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法
CN103869470A (zh) * 2012-12-18 2014-06-18 精工爱普生株式会社 显示装置及其控制方法、头戴式显示装置及其控制方法
US20160159280A1 (en) * 2013-07-02 2016-06-09 Denso Corporation Head-up display and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993736A (zh) * 2019-05-09 2022-01-28 大众汽车股份公司 机动车中的人机交互
US12017530B2 (en) 2019-05-09 2024-06-25 Volkswagen Aktiengesellschaft Human-machine interaction in a motor vehicle
CN113805338A (zh) * 2020-06-11 2021-12-17 大众汽车股份公司 对用于交通工具的增强现实平视显示器装置的显示的控制

Also Published As

Publication number Publication date
JP7009057B2 (ja) 2022-01-25
US10453176B2 (en) 2019-10-22
US20200005430A1 (en) 2020-01-02
JP2018081162A (ja) 2018-05-24
US11216906B2 (en) 2022-01-04
US20180137601A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN108072977A (zh) 显示装置、显示系统以及显示方法
US10282915B1 (en) Superimposition device of virtual guiding indication and reality image and the superimposition method thereof
JP5136671B2 (ja) 地図表示装置
JP6695049B2 (ja) 表示装置及び表示制御方法
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
EP2283318B1 (en) Displaying route information on a digital map image
KR102306790B1 (ko) 컨텐츠 시각화 장치 및 방법
KR20130089139A (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US20220185183A1 (en) Periphery-image display device and display control method
CN105823475B (zh) 场景的三维表示方法
EP2589933B1 (en) Navigation device, method of predicting a visibility of a triangular face in an electronic map view
KR20150133200A (ko) 3차원 지도 표시 시스템
CN113805338A (zh) 对用于交通工具的增强现实平视显示器装置的显示的控制
JP7048202B2 (ja) 車両用表示装置及び車両用表示方法
JPH11161159A (ja) ３次元地図表示装置
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
KR100886330B1 (ko) 사용자 뷰 출력 시스템 및 방법
JP4533191B2 (ja) 三次元地図表示装置および三次元地図表示プログラム
JP7276152B2 (ja) ヘッドアップディスプレイ装置
US11634074B2 (en) Image forming device and image forming method
JP5294756B2 (ja) 車両周囲画像提供装置および車両周囲画像提供方法
JP2022082487A (ja) 周辺画像生成装置、表示制御方法
JP7180702B2 (ja) 表示装置、表示システム、及びプログラム
JP7192907B2 (ja) 俯瞰映像生成装置及び俯瞰映像生成方法
JP7183555B2 (ja) 表示装置、移動体、表示方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180525

RJ01 Rejection of invention patent application after publication