CN111095363A - 显示系统和显示方法 - Google Patents

显示系统和显示方法 Download PDF

Info

Publication number
CN111095363A
CN111095363A CN201780094627.XA CN201780094627A CN111095363A CN 111095363 A CN111095363 A CN 111095363A CN 201780094627 A CN201780094627 A CN 201780094627A CN 111095363 A CN111095363 A CN 111095363A
Authority
CN
China
Prior art keywords
unit
virtual image
display
image
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780094627.XA
Other languages
English (en)
Other versions
CN111095363B (zh
Inventor
村田诚治
森弘充
嶋田坚一
山崎和良
长吉真弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202410097863.9A priority Critical patent/CN117934775A/zh
Priority to CN202410097860.5A priority patent/CN117934774A/zh
Publication of CN111095363A publication Critical patent/CN111095363A/zh
Application granted granted Critical
Publication of CN111095363B publication Critical patent/CN111095363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/23—
    • B60K35/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B60K2360/177—
    • B60K2360/349—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

亮度确定部(14)确定驾驶员(300)的视线方向上的外界图像的亮度分布，亮度变更部(15)确定该亮度分布中的眩目区域(301)。接着，亮度变更部(15)决定该眩目区域(301)的周围区域(302)的变更后的亮度。虚像生成部(16A)基于所决定的亮度生成虚像，显示处理部(17)使显示部(200)显示该虚像。这样，显示系统(1A)能够显示用于提高眩目区域(301)的周围的亮度的虚像，因此能够缓和驾驶员(300)的眩目感，能够提高可辨识性。即，显示系统(1A)能够输出与环境对应的虚像。

Description

显示系统和显示方法
技术领域
本发明涉及显示系统和显示方法。
背景技术
目前，以减少视线移动来辅助汽车的安全驾驶为目的的AR(Augmented Reality，增强现实)显示装置(AR-HUD)已实现产品化，在这样的装置中，利用前挡玻璃或叠像镜(位于遮阳板处或仪表盘上方)将车辆设备信息(计量仪器、导航信息、提醒信息、警告等)叠加显示在驾驶员的前方风景上。
作为上述AR显示装置技术的例子，存在一种在驾驶员观察到的实际图像因天气原因而变差时，向驾驶员显示改善了驾驶场景的图像的技术(例如，参照专利文献1)。具体地说，取得拍摄驾驶场景而得的摄像图像，利用噪声滤波改善因恶劣天气而变差的摄像图像的画质，将图像输出。
现有技术文献
专利文献
专利文献1：日本特表2005-509984号公报
发明内容
发明要解决的技术问题
在上述专利文献1公开的技术中，摄像图像的画质以均匀一致的方式得到改善。但是，若根据移动体(例如，车辆)周围的状况进行显示处理，则能够更适当地显示虚像(AR)。
本发明的目的是提供一种根据移动体周围的状况来输出虚像的显示系统、显示方法。
本发明的上述及其它目的和新的特征，可根据说明书的记载和附图变得明确。
解决问题的技术手段
作为解决上述问题的技术手段，使用下述技术。
举一例如下。一种能够使安装在移动体上的显示部显示虚像的显示系统，包括：透过显示部对移动体的前方进行拍摄的摄像部；确定移动体的位置的位置确定部；基于由位置确定部确定的位置，确定显示于显示部的强调对象的对象确定部；确定摄像部拍摄的图像的亮度的亮度确定部；基于由亮度确定部确定的亮度来生成虚像的虚像生成部，其中虚像用于强调由对象确定部确定的强调对象；和使显示部显示虚像生成部生成的虚像的显示处理部。
发明效果
通过使用本发明的技术，能够按照移动体周围的状况来相应地输出虚像。
附图说明
图1是表示车辆驾驶座处的显示系统1的硬件结构之概要的图。
图2是实施例1的显示系统的功能框图。
图3是表示驾驶员观察到的外界的图(1)。
图4是表示周围区域的亮度变化的关系图。
图5是表示由显示系统调节亮度来进行显示处理的步骤的流程图。
图6是表示实施例2的显示系统的结构例之概要的图。
图7是表示驾驶员观察到的外界的图(2)。
图8是表示虚像的显示示例的图。
图9是表示如何确定重要对象并对该重要对象进行强调显示处理的步骤的流程图。
图10是表示实施例3的显示系统的结构例之概要的图。
图11是表示显示基于车辆周围信息而生成的虚像的处理步骤的流程图。
具体实施方式
下面使用附图说明本发明的实施方式的例子。
(显示系统的硬件结构)
首先，使用图1说明显示系统1(显示系统1A～1C)的硬件结构之概要。图1是表示车辆驾驶座处的显示系统1的硬件结构之概要的图。显示系统1是搭载在车辆等移动体上的系统。该显示系统1根据移动体周围的状况生成虚像(AR信息)，将生成的虚像显示在移动体设有的显示部200(前挡玻璃或叠像镜)上。
如图1所示，显示系统1包括头部追踪装置101、外界摄影部102、可穿戴摄像机103、影像控制装置104和影像显示装置105。显示系统1还包括未图示的GPS(GlobalPositioning System，全球定位系统)接收机等。
头部追踪装置101是检测驾驶员300(显示系统1的用户)的头部位置、朝向，来检测驾驶员300的视线的装置。头部追踪装置101固定于驾驶座。头部追踪装置101将检测结果发送给影像控制装置104。外界摄影部102是透过显示部200对车辆外部(车辆前方)进行拍摄的单元。外界摄影部102将拍摄得到的图像发送给影像控制装置104。外界摄影部102例如是由未图示的1个摄像镜头和1个感光元件构成的单眼摄像机。此外，作为外界摄影部102的其他方式，例如可以是由未图示的2个镜头和2个感光元件构成的立体摄像机。外界摄影部102固定于驾驶座。
可穿戴摄像机103是佩戴在驾驶员300身上的摄影单元。可穿戴摄像机103是拍摄驾驶员300前方的单元。可穿戴摄像机103由于佩戴在驾驶员300身上，因此能够得到驾驶员300视角的图像。可穿戴摄像机103将拍摄得到图像发送给影像控制装置104。
影像控制装置104是基于周围环境而生成虚像的装置。影像控制装置104是包括CPU(Central Processing Unit，中央处理器)、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机访问存储器)等的信息处理装置。影像控制装置104从头部追踪装置101获取驾驶员300的视线检测结果。影像控制装置104从外界摄影部102和可穿戴摄像机103获取图像。影像控制装置104从GPS接收机获取GPS信号。另外，影像控制装置104还能够进行公知的图像分析。影像控制装置104基于取得的用户的视线检测结果、图像、GPS信号等，生成要显示的虚像。影像控制装置104将生成的虚像发送给影像显示装置105。
影像控制装置104存储所取得的图像，并且存储生成的虚像。影像控制装置104将生成的虚像发送给影像显示装置105。影像控制装置104能够根据用户的指定，再现所存储的图像、虚像。此外，影像控制装置104具有存储地图信息，使用上述GPS信号进行导航的功能。
影像显示装置105是由光源(LED或激光)、透镜、反射镜、SLM(空间光调制器)或MEMS反射镜或DMD等光学元件构成的投影器件，例如是平视显示器(HUD)。利用显示部200，将从该影像显示装置105投射的图像以具有规定的放大率、位于规定位置的图像显示给驾驶员300。除所述平视显示器之外，例如也能够使用透视型的头戴显示器(HMD)。在使用HMD时，例如根据设置于HMD的加速度传感器的信息检测车辆的振动，使HMD的显示器上显示的图像振动以在不会对使用者带来不适感的范围内尽量抵消车辆的振动。
此外，显示系统1包括未图示的驾驶员状态监视器。该驾驶员状态监视器检测驾驶员300的瞳孔的大小、眼睛的反应(动作、视点)。该驾驶员状态监视器是公知的装置，例如是对驾驶员进行拍摄的装置等。
(实施例1)
接着说明实施例1。本实施例的显示系统1A进行显示控制，使进入驾驶员300的眼睛的眩光周围的亮度变化，以使该眩光变得不显眼。
接着使用图2说明实施例1的显示系统1A的功能。图2是实施例1的显示系统1A的功能框图。显示系统1A包括摄像部11、视线方向确定部12、用户检测部13、亮度确定部14、亮度变更部15、虚像生成部16A、显示处理部17、记录部18和再现部19。
摄像部11是透过显示部200对车辆前方进行拍摄的部分。该摄像部11由外界摄影部102实现。摄像部11将拍摄车辆前方得到的图像发送给亮度确定部14和记录部18。
另外，摄像部11不仅可以由外界摄影部102实现，还可以由可穿戴摄像机103实现。此时，摄像部11将可穿戴摄像机103拍摄到的图像(用户图像)发送给记录部18。即，摄像部11也作为用户摄像部发挥作用。
视线方向确定部12是用于确定驾驶员300的视线方向的部分。视线方向确定部12由头部追踪装置101实现。视线方向确定部12将表示所确定的视线方向的信息发送给亮度确定部14和记录部18。
用户检测部13是检测用户眼睛的状态的部分。用户检测部13由上述驾驶员监视器实现。用户检测部13将用户眼睛的状态发送给亮度变更部15。
亮度确定部14是用于确定摄像部11拍摄的图像中的、由视线方向确定部12确定的视线方向上的亮度的部分。亮度确定部14由影像控制装置104实现。亮度确定部14从摄像部11获取图像，分析该图像来确定该图像的亮度值。
并且，亮度确定部14从视线方向确定部12获取表示视线方向的信息，基于该表示视线方向的信息和图像的分析结果，确定视线方向处和视线方向周围的亮度。例如，亮度确定部14得到由二维的亮度分布构成的分析结果。亮度确定部14将表示所确定的亮度的信息发送给亮度变更部15。另外，亮度确定部14也可以与视线方向无关地确定整个图像的亮度分布。
亮度变更部15是基于由视线方向确定部12确定的视线方向上的、由亮度确定部14确定的亮度，和该视线方向周围的亮度，以提高视线方向周围的亮度的方式改变亮度。亮度变更部15由影像控制装置104实现。
亮度变更部15从亮度确定部14获取表示亮度的信息。亮度变更部15从视线方向确定部12获取表示检测到的视线方向的信息。亮度变更部15从用户检测部13获取表示用户(驾驶员)眼睛的状态的信息。亮度变更部15使用取得的信息，确定对驾驶员300来说感到耀眼的眩目部位，改变该部位周围的亮度。
此处，使用图3说明要改变亮度的部位。图3是表示驾驶员300观察到的外界的图。驾驶员300能够透过显示部200看到外界。此处，在驾驶员300的视线的前方存在眩目区域301(例如夕阳等)。亮度变更部15基于用户检测部13发送来的表示用户眼睛的状态的信息(例如瞳孔的大小)，判断驾驶员300是否感到眩目。亮度变更部15在判断为驾驶员300感到眩目的情况下，基于上述表示视线方向的信息，确定驾驶员300视线的前方，由此确定眩目区域301。
另外，亮度变更部15也可以确定眩目区域301但不使用用户检测部13发送来的表示用户眼睛的状态的信息。例如，亮度变更部15从亮度确定部14获取亮度分布，参照该亮度分布，将亮度为预先决定的亮度的绝对值以上的区域确定为眩目区域301。
预先决定的亮度优选处于驾驶员300可直视的范围内，例如，可以决定为荧光灯表面亮度附近的20,000cd/m2左右。此外，亮度变更部15也可以二维地计算所取得的亮度分布的空间上的亮度变化量，以亮度变化量大的部位作为边界来确定明亮的区域(眩目区域301)。
亮度变更部15以使周围区域302的亮度逐渐上升的方式，决定变更后的亮度。周围区域302可以预先决定，也可以根据眩目区域301的大小而改变。例如，其面积可以为眩目区域301的面积的2倍。
此处，使用图4说明由亮度变更部15基于眩目区域301的亮度来改变周围区域302的亮度的例子。图4是表示周围区域302的亮度的变化的关系图。纵轴表示亮度，横轴表示时间。眩目区域301的亮度由线段303(一定的亮度值L0)表示。亮度变更部15使周围区域302的亮度随时间逐渐上升，例如按照线段304(时间t1前为亮度0)、亮度变化至L1的线段305(时间t1到时间t2)、亮度变化至L2的线段306(时间t2到时间t3)、亮度维持L2的线段307(时间t3以后)所示的那样。
通常来说，只要空间上的亮度对比度较大，驾驶员300就会感到眩目。此处，亮度L2是驾驶员300变得不会觉得眩目的阈值。满足亮度L0＞亮度L2＞亮度L1＞0的关系。此外，如果亮度的单位时间变化L1/(t2-t1)比(L2-L1)/(t3-t2)小，则能够使周围区域302看上去逐渐变亮、自然地变亮，能够避免急剧的亮度变化导致驾驶员300产生不适感。
作为其他的方法，设定满足亮度L1＜亮度L3＜亮度L2之关系的亮度L3。令到达亮度L3的时间为时间t4，通过使L1/(t2-t1)＜(L3-L1)/(t4-t2)、(L2-L3)/(t3-t4)＜(L3-L1)/(t4-t2)，在亮度从L1上升至L2时，能够延长从t1到t2的时间。其结果是，与上述方法相比，驾驶员300更不容易感到亮度变化的开始，能够在不造成不适感的同时使亮度上升。
此外，亮度变更部15也可以按这样的方式决定亮度，即，在周围区域302的内部的亮度区域，按照从眩目区域301去往周围区域302的外侧，使亮度从眩目区域301的亮度起渐变至与周围区域302的外侧附近的亮度相同。采用该结构，因为亮度的空间上的变化量小，所以对驾驶员300而言能够减轻眩目感。此外，亮度变更部15为了实现上述的亮度分布，可以利用由亮度确定部14确定的亮度分布，从希望提供给驾驶员300的亮度分布中减去与周围区域302对应的亮度分布，将得到的值决定为变更后的亮度值。
不过，在任一种处理中，亮度变更部15均可以在亮度L0太过于明亮的情况下，不进行使周边亮度追随该亮度L0而变得明亮的处理，不对周围区域302的亮度进行调节。例如，晴朗无云时太阳的亮度达到1.7×109cd/m2左右。若控制周围区域的亮度使其追随玻璃上的反射光等，则眩目区域301将会增大。为了防止该情况，在亮度达到预先决定的第二绝对值例如100,000cd/m2以上时，不实施亮度的上升的调节，能够防止出现对驾驶员300而言眩目区域301扩大的情况。
下面说明在以上任一种处理中，眩目区域301的亮度发生了变化时的处理。亮度变更部15重新设定要在处理中使用的亮度L1～L3，重新进行处理。在最大亮度区域107的位置发生了变化时，重新确定作为对象的眩目区域301、周围区域302。通过采用这样的控制，能够始终对驾驶员300提供有效地抑制了眩目感的视野。
在眩目区域301的亮度发生变化，亮度充分下降至驾驶员300不会感到眩目的程度时，使亮度恢复原来的值。亮度变更部15优选以随时间渐变(fadeout)的方式改变亮度，使驾驶员300辨识到的环境不会急剧变化。
亮度变更部15将变更后的亮度值和变更对象的区域(表示区域的大小、区域的位置的信息)发送给虚像生成部16。
虚像生成部16是基于经亮度变更部15改变后的亮度来生成虚像的部分。虚像生成部16由影像控制装置104实现。虚像生成部16从亮度变更部15获取变更后的亮度值和变更对象的区域。虚像生成部16生成虚像，其大小为从亮度变更部15取得的区域的大小，亮度为变更后的亮度值。虚像生成部16将生成的虚像和表示区域的位置的信息发送到显示处理部17和记录部18。
显示处理部17是用于将虚像生成部16生成的虚像显示在显示部200上的部分。显示处理部17由影像显示装置105实现。显示处理部17从虚像生成部16获取虚像和表示区域的位置的信息。显示处理部17将取得的虚像显示在与该区域的位置对应的部位处。
记录部18是存储由摄像部11拍摄的图像和由虚像生成部16生成的虚像的部分。记录部18还存储相对位置信息，该相对位置信息是基于显示系统1的用户(驾驶员300)的朝向和摄像部11的摄像方向而决定的。即，记录部18起到相对位置信息确定部和历史信息存储部的作用。记录部18由影像控制装置104实现。
记录部18从摄像部11获取图像(外界图像、用户图像)，并获取由虚像生成部16生成的虚像。记录部18从视线方向确定部12获取表示视线方向的信息。记录部18使用预先存储的摄像部11的方向信息和表示视线方向的信息，来确定相对位置信息。该相对位置信息是根据摄像部11的方向(摄像部11的摄像方向)和视线方向而确定的角度信息。
记录部18将从摄像部11取得的图像和由虚像生成部16生成的虚像分别作为历史信息，存储在存储单元(例如硬盘)中。此外，记录部18将相对位置信息作为历史信息，与图像和虚像分别存储。
另外，记录部18也可以不将外界图像、相对位置信息和虚像分别存储，而是基于相对位置信息将虚像合成在从摄像部11取得的图像(外界图像)上生成合成图像，将该合成图像存储在存储单元中。
再现部19是使用存储在记录部18中的信息来再现合成图像的部分，其中，合成图像是基于相对位置信息在摄像部11拍摄的图像上合成虚像而得到的。再现部19在接收到显示系统1A的用户发出的再现请求时，获取存储在记录部18中的外界图像，将该外界图像再现在显示器(例如，导航系统的显示器)上。此外，再现部19在存在与外界图像对应的虚像时，从记录部18获取该虚像和相对位置信息，基于相对位置信息在该外界图像上合成虚像，从而再现合成后的图像。
在存储有合成图像时，再现部19可以不进行合成处理而是直接再现合成图像。此外，再现部19也可以还再现存储在记录部18中的用户图像。
接着，使用图5说明调节亮度进行显示处理的步骤。图5是表示显示系统1A调节亮度来进行显示处理的步骤的流程图。首先，摄像部11对外界进行拍摄(步骤S1)。此外，视线方向确定部12确定驾驶员300的视线(步骤S2)。步骤S1和步骤S2的顺序可以相反，也可以并行处理。
接着，亮度确定部14对摄像部11拍摄的外界图像确定其亮度，生成亮度分布(步骤S3)。亮度变更部15基于用户的视线方向和用户的状态，根据亮度分布确定眩目区域301。进而，亮度变更部15决定周围区域302的变更后的亮度(步骤S4)。
虚像生成部16基于变更后的亮度和周围区域302来生成虚像(步骤S5)。显示处理部17将虚像生成部16生成的虚像显示在显示部200上(步骤S6)。
此外，记录部18确定相对位置信息，该相对位置信息是基于驾驶员300的朝向(视线方向)和摄像部11的摄像方向而决定的(步骤S7)。记录部18将摄像部11拍摄的图像、相对位置信息和虚像作为历史信息存储起来(步骤S8)。于是，再现部19能够基于相对位置信息来再现在外界图像上合成虚像而得的合成图像(步骤S9)。
如上所述，亮度确定部14确定驾驶员300的视线方向上的外界图像的亮度分布，亮度变更部15确定该亮度分布中的眩目区域301。进而，亮度变更部15决定该眩目区域301的周围区域302的变更后的亮度。虚像生成部16A基于所决定的亮度生成虚像，显示处理部17将该虚像显示在显示部200上。这样，显示系统1A能够显示用于使眩目区域301周围的亮度提高的虚像，因此能够缓和驾驶员300的眩目感，能够提高可辨识性。即，显示系统1A能够输出与周围状况对应的虚像。
此外，由于通过用户检测部13检测用户眼睛的状态，亮度变更部15基于该用户眼睛的状态来改变周围区域302的亮度，因此能够考虑到不同用户感到眩目的亮度的差异来改变亮度。
此外，记录部18将相对位置信息、摄像部11拍摄的外界图像和虚像生成部16A生成的虚像作为历史信息存储起来。然后，再现部19再现在外界图像合成上述虚像而得的图像。这样，显示系统1A能够再现过去行驶时的虚像信息的显示状态。由此，能够确认虚像信息是否合适地得到显示。例如，在发生了车辆事故等的情况下，能够验证显示系统1A的用户是否是因虚像的显示而发生了事故的。即，通过利用记录部18存储上述历史信息，能够留下证据用于判断车辆发生事故时的责任方的是驾驶员300还是显示系统。
记录部18将摄像部11拍摄的外界图像和虚像生成部16A生成的虚像分别存储。由此，与将外界图像和虚像以重合状态存储的情况相比，显示系统1A能够减少存储所需的数据量。
此外，记录部18存储驾驶员300的用户图像，再现部19再现该用户图像，因此能够确认用户视点上的虚像的显示状态。
虽然上述内容中没有叙述，但显示系统1A也可以控制成，在显示了虚像后，基于车辆行驶的路线将虚像清除。例如，显示系统1A可以基于导航功能搜索出的行驶路线，在到达当前的行驶方向要发生变化的地点时清除虚像。例如，在西照阳光从正面入射的状况下，若始终保持显示虚像，则即使车辆的行驶方向发生变化，阳光不再入射，也将保持显示虚像。而如上所述，通过在行驶方向要发生变化时清除虚像，能够避免出现虽然驾驶员300处于不会觉得眩目的状况，但仍持续显示虚像的情况。
在上述的实施例中，记载了视线方向确定部12由头部追踪装置101实现，但也可以代替该方式，使用检测驾驶员300的视线方向的眼球追踪装置。此时，根据驾驶员300的眼球的朝向、位置等直接检测视线，因此能够提高检测精度。
在上述的实施例中，叙述了记录部18存储摄像部11拍摄的外界图像和用户图像的情况，但也可以仅存储用户图像。此时，再现部19能够再现驾驶员300视角的图像。此外，虽然说明了记录部18存储摄像部11拍摄的外界图像和用户图像的情况，但也可以仅存储外界图像。此时，再现部19能够再现外界图像和与其合成的虚像。
作为本实施例的变形例，可以利用设置在驾驶员300与前挡玻璃之间的、设有液晶快门的叠像镜构成显示部200。此时，能够利用叠像镜降低眩目光的亮度，防止入射到驾驶员300眼睛的眩目光。
作为本实施例的变形例，前挡玻璃可以具有当阈值以上亮度的光入射时将该光截止的功能。
(实施例2)
图6是表示实施例2的显示系统1B的结构例之概要的图。显示系统1B是显示虚像以使位于车辆前方的强调对象(注视对象)更容易被驾驶员300观察的系统。
显示系统1B包括关联信息存储部20、摄像部11、视线方向确定部12、位置确定部21、对象确定部22、亮度确定部14、虚像生成部16B、显示处理部17、记录部18和再现部19。
关联信息存储部20是存储关联信息的部分，其中关联信息是由招牌上的字符即招牌字符与将该招牌字符简化得到的符号(symbol)关联而得到的。关联信息存储部20由影像控制装置104实现。
位置确定部21是用于确定车辆的位置的部分。位置确定部21由影像控制装置104实现。位置确定部21接收GPS信号，使用接收到的GPS信号和预先存储的地图信息，确定车辆的位置。位置确定部21将表示所确定的位置的信息发送给对象确定部22。
对象确定部22的作用是，基于由位置确定部21确定的位置，来确定显示于显示部200的强调对象。对象确定部22由影像控制装置104实现。此处，强调对象是指要使驾驶员300注视的对象。本实施例中是信号灯、交通标识、招牌等。
对象确定部22在从位置确定部21取得表示位置的信息时，基于方向传感器确定行驶方向，并基于该位置和行驶方向，确定车辆行驶前方的强调对象。具体地说，对象确定部22参照预先存储的地图信息，获取处于车辆行驶前方的地图对象(信号灯、交通标识、施设建筑等)的信息。
对象确定部22在取得的地图对象的信息中存在一种地图对象，其附带有表示其为强调对象的信息的情况下，将该地图对象确定为强调对象。上述地图对象的信息包括地图对象的种类(信号灯、交通标识等)的信息、地图对象的位置的信息、表示地图对象是否为强调对象的信息、地图对象的信息的种类为施设建筑的情况下的该施设建筑的招牌中记载的名称、该地图对象的图像(对于施设建筑而言指招牌的图像)。对象确定部22将所确定的地图对象的信息发送给虚像生成部16B。
虚像生成部16B是基于由亮度确定部14确定的亮度而生成虚像的部分，该虚像用于强调由对象确定部22确定的地图对象。虚像生成部16B从对象确定部22获取地图对象的信息。此外，虚像生成部16B在由亮度确定部14确定的亮度分布中存在亮度为预先决定的阈值以上的区域时，生成遮罩(mask)该区域的虚像。虚像生成部16B基于取得的地图对象的信息，从摄像部11拍摄的图像中确定与地图对象的信息的图像对应的部位，生成用于显示(配置)在该位置上的、比上述阈值以上的亮度高的亮度的虚像。
此外，虚像生成部16B参照从对象确定部22取得的地图对象的信息，在该地图对象的信息的种类为施设建筑时，参照存储在关联信息存储部20中的信息，获取与招牌的名称对应的符号。虚像生成部16B从摄像部11拍摄的图像中确定与地图对象的信息的图像对应的部位，在该位置上生成上述符号的虚像。虚像生成部16B将表示遮罩对象的位置的信息、用于遮罩在遮罩对象上的虚像、表示招牌的位置的信息和符号的虚像发送给显示处理部17。显示处理部17在遮罩对象的位置上显示用于遮罩该遮罩对象的虚像。并且，显示处理部17在招牌的位置上显示符号的虚像。
此处，使用图7说明要生成虚像的部位。图7是表示驾驶员观察到的外界的图。驾驶员300能够透过显示部200看到外界。此处，在驾驶员300的视线前方，有作为强调对象的信号灯311、招牌313。此外还有亮度高的霓虹灯招牌312。虚像生成部16B基于由亮度确定部14确定的亮度分布，将霓虹灯招牌312的区域判断为遮罩对象的部位，生成遮罩该遮罩对象用的虚像。此外，针对重要的施设建筑的招牌313，生成该招牌的简易版的符号的虚像。
图8是表示虚像的显示示例的图。如图8所示，显示处理部17在图7的霓虹灯招牌312的位置上显示了遮罩用的虚像315。这样，显示系统1通过降低无用的现实信息的亮度，能够使强调对象(例如信号灯)实现强调显示。此外，显示处理部17在招牌313的位置上显示了符号的虚像314。在招牌313的字符较小以及字符数较多时也可以替换显示成简单的符号，因此能够使驾驶员直观地辩识招牌。其结果，能够防止驾驶员300的注意力分散。此外，如果预先准备了外国人容易理解的符号，则即使驾驶员是外国人，也能够容易地理解其意义。显示系统1B能够通过用户输入等指定驾驶员的人种，显示与该人种对应的符号来实现上述技术。
接着，使用图9说明如何确定注视对象，并对该注视对象进行强调显示处理的步骤。图9是表示如何确定注视对象，对该注视对象进行强调显示处理的步骤的流程图。其中，步骤S11、步骤S13、步骤S16～S19分别与步骤S1、步骤S3、步骤S6～S9同样，因此省略说明。
位置确定部21确定本车辆的位置(步骤S12)。步骤S11和步骤S12的顺序可以相反，也可以并行处理。
虚像生成部16B基于本车辆的位置和行驶方向来确定强调对象(步骤S14)。接着，虚像生成部16B基于上述亮度分布确定亮度高的部位，生成用于遮罩该部位的虚像。此外，虚像生成部16B在施设建筑的招牌为强调对象时，在存在与该招牌的字符对应的简化的符号时，生成该符号的虚像(步骤S15)。
另外，在上述实施例中，说明了对亮度高的部位进行遮罩处理的情况，但也可以在强调对象的部位叠加显示提高了亮度的虚像以进行强调显示。此外，也可以一起进行遮罩处理。
此外，上述的实施例中，叙述了通过显示用于遮罩的虚像来挡住霓虹灯招牌312的例子，但如果该招牌是对于到达目的地所必需的招牌，则希望不对该霓虹灯招牌312进行遮罩处理。于是，可以根据摄像部11拍摄的图像中的亮度高区域与行驶位置的关系，在该亮度高的区域与目的地对应的情况下，中止遮罩处理。
作为更简单的处理可以是，在接近目的地时，即使存在亮度高的区域也禁止实施遮罩处理。
此外，也可以在对象信息上预先附加禁止使其为遮罩对象的信息，在图像中提取出了附加有该信息的对象的情况下，将该部位从遮罩对象中排除。根据该结构，能够不对驾驶员300隐藏具有潜在必要性的对象物，而是将其提供给驾驶员300。尤其适于驾驶员要肉眼观察目的地的招牌的情况。
作为本实施例的变形例，可以在设置于驾驶员300与前挡玻璃之间的叠像镜的内部设置液晶快门，使该液晶快门动作来降低霓虹灯招牌312的区域的亮度。这样，能够提高驾驶员300的可辨识性，实现更安全的驾驶。
如上所述，虚像生成部16B基于由亮度确定部14确定的亮度，生成用于使强调对象得到强调的虚像，并显示该虚像，因此即使车辆前方存在眩目状况，也能够使强调对象容易辨识，能够实现更安全的行驶。即，显示系统1B能够输出与周围状况对应的虚像。
具体地说，虚像生成部16B生成显示于显示部200的强调对象的位置上的虚像，因此能够使强调对象的部位变得显眼。此外，虚像生成部16B在强调对象的位置周围的亮度高时，生成遮罩该周围位置的虚像，因此能够消除因强调对象周围较为眩目而导致难以辨识强调对象的状况。此外，虚像生成部16B在强调对象为招牌字符时，基于存储在关联信息存储部20中的由该招牌字符简化得到的符号信息来生成虚像。由此，显示系统1B能够对驾驶员300(例如高龄驾驶员、外国人驾驶员)以容易辨识的显示形态显示强调对象。
(实施例3)
图10是表示实施例3的显示系统1C的结构例之概要的图。显示系统1C是用虚像显示驾驶员300肉眼难以辩识的信息(例如，小的起伏、凹凸等)的系统。
显示系统1C包括摄像部11、视线方向确定部12、周围信息检测部31、位置确定部21、判断部32、虚像生成部16C、显示处理部17、记录部18和再现部19。
周围信息检测部31是用于检测周围信息的部分，其中周围信息表示车辆前方的注视物。周围信息检测部31由影像控制装置104实现。此处，注视物是指车辆的驾驶员300需要辨识的物体，例如包括护栏、道路的白线(中线等)、山崖等。周围信息检测部31通过传感器功能等，利用公知技术确定存在起伏的地点。周围信息检测部31检测包括该起伏的形状、存在该起伏的地点的信息作为周围信息。此外，周围信息检测部31将该周围信息发送给判断部32。
此外，周围信息检测部31可以基于由位置确定部21确定的位置和行驶方向等检测周围信息。周围信息检测部31基于由位置确定部21确定的位置和行驶方向，确定行驶方向前方的规定范围。周围信息检测部31参照预先存储的地图信息，获取表示该范围内的注视物(此处是护栏、车道的白线数)的地图信息来检测周围信息。周围信息检测部31将该周围信息发送给判断部32。
判断部32的作用是，对摄像部11拍摄的图像进行分析，判断该图像中是否包含周围信息检测部31检测到的周围信息所示的注视物的图像。判断部32由影像控制装置104实现。判断部32从摄像部11获取所拍摄的外界图像。此外，判断部32从周围信息检测部31获取周围信息。
判断部32分析摄像部11拍摄的图像，判断在该图像中是否包含与从周围信息检测部31取得的周围信息对应的信息。即，判断部32判断是否处于这样的状态，即，驾驶员300能够在行驶方向前方辨识到起伏、地图对象。判断部32通过预先存储地图对象、起伏的图像，根据从摄像部11取得的图像中是否包含表示周围信息的注视物的图像来进行该判断。
判断部32在上述判断的结果是包含注视物的图像的情况下，不向虚像生成部16C发出虚像生成请求。另一方面，判断部32在上述判断的结果是不包含注视物的图像的情况下，发送注视物的信息，向虚像生成部16C发出虚像生成请求。
虚像生成部16C是用于生成虚像的部分，其中该虚像是基于周围信息而生成的。虚像生成部16C在从判断部32取得周围信息时，在该周围信息所示的位置上，生成与该周围信息对应的虚像。例如，在周围信息是表示护栏的信息的情况下，虚像生成部16C生成表示护栏的虚像。此外，在周围信息是表示白线的信息的情况下，虚像生成部16C生成表示白线的虚像。另外，虚像生成部16C可以生成表示警告的虚像。例如，在周围信息是表示山崖的信息的情况下，虚像生成部16C生成表示提醒注意前方有山崖的警告的虚像。
接着，使用图11说明显示基于周围信息而生成的虚像的处理的步骤。图11是表示显示基于周围信息而生成的虚像的处理步骤的流程图。其中，步骤S21、步骤S22、步骤S26～S29分别与步骤S1、步骤S12、步骤S6～S9同样，因此省略说明。
步骤S21和步骤S22的顺序可以相反，也可以并行处理。
在步骤S23中，周围信息检测部31检测移动体前方的周围信息(步骤S23)。接着，判断部32分析摄像部11拍摄的图像，判断该图像中是否包含注视物的图像(步骤S24)。在判断部32判断为该图像中不包含注视物的图像的情况下，虚像生成部16C基于该周围信息生成虚像(步骤S25)。
如上所述，显示系统1C获取周围信息检测部31检测到的周围信息，判断摄像部11拍摄的图像中是否包含注视物的图像。在该判断的结果是不包含该注视物的图像时，虚像生成部16C基于该周围信息生成虚像，将其显示在显示部200上。由此，即使由于积雪等导致驾驶员300处于无法辨识到护栏、中线(白线)的状态，也能够使驾驶员300认识到它们的存在。即，显示系统1C能够输出与车辆周围的状况对应的虚像。其结果是，显示系统1C能够辅助驾驶员300避让危险场所，实现安全驾驶。
在上述内容中，假定将本发明应用于汽车的驾驶，利用平视显示器显示虚像的例子，但并不限定于此。例如，也能够设想在滑雪场滑行的状况，在滑行者的护目镜中内置有透视型的头戴显示器的情况下，也能够适用本发明。此时，对于掩埋在雪中导致滑行者肉眼无法观察到的危险场所用网纹等图像实施强调，作为虚像信息在护目镜的显示部中叠加到现实信息上。此外，对于肉眼难以观察到的滑行面的鼓起凹凸，用标记图像实施强调，作为AR信息在护目镜的显示部中叠加到现实信息上。通过以上处理，能够使滑行者辩识到危险场所(鼓起凹凸)以注意避让。
另外，本发明并不限定于上述实施例，包括各种变形例。例如，所述各实施例是为了容易理解本发明而详细说明的示例，并不限定于必须具有所说明的全部结构。所述各实施例中，说明了使用摄像机和平视显示器(HUD)以及使用摄像机和头戴显示器(HMD)的例子，但并不限定于此，可以使用包括摄像部和显示部的器件。例如，能够使用智能手机(便携电话)、平板终端、搭载有Web摄像头的个人计算机(PC)等。作为移动体的例子主要记载了设想为汽车的情况，但也能够应用于摩托车、自行车、个人移动工具(personal mobility)等。
前文叙述的本发明的功能等的一部分或全部，可以通过例如集成电路设计等而由硬件实现。此外，也可以通过微处理器单元等分析并执行实现各个功能等的动作程序而由软件实现。也可以同时使用硬件和软件。
此外，图中所示的控制线、信息线表示了说明上必需的部分，并没有表示产品上的全部控制线、信息线。实际上可以认为几乎所有结构均相互连接。
此外，图中所示的控制线、信息线表示了说明上必需的部分，并没有表示产品上的全部控制线、信息线。实际上可以认为几乎所有结构均相互连接。
附图标记说明
1A……显示系统，1B……显示系统，1C……显示系统，11……摄像部，12……视线方向确定部，13……用户检测部，14……亮度确定部，15……亮度变更部，16A……虚像生成部，16B……虚像生成部，16C……虚像生成部，17……显示处理部，18……记录部，19……再现部，20……关联信息存储部，21……位置确定部，22……对象确定部，31……周围信息检测部，32……判断部，101……头部追踪装置，102……外界摄影部，103……可穿戴摄像机，104……影像控制装置，105……影像显示装置。

Claims (15)

1.一种能够使安装在移动体上的显示部显示虚像的显示系统，其特征在于，包括：
透过所述显示部对所述移动体的前方进行拍摄的摄像部；
确定所述移动体的位置的位置确定部；
基于由所述位置确定部确定的位置，确定显示于所述显示部的强调对象的对象确定部；
确定所述摄像部拍摄的图像的亮度的亮度确定部；
基于由所述亮度确定部确定的亮度来生成虚像的虚像生成部，其中所述虚像用于强调由所述对象确定部确定的强调对象；和
使所述显示部显示所述虚像生成部生成的虚像的显示处理部。
2.如权利要求1所述的显示系统，其特征在于：
所述虚像生成部在由所述亮度确定部确定的亮度为规定的阈值以上的情况下，生成要配置在强调对象的位置上的、比该亮度高的亮度的虚像。
3.如权利要求1或2所述的显示系统，其特征在于：
所述虚像生成部在由所述亮度确定部确定的亮度为规定的阈值以上的情况下，生成用于遮罩该亮度的部位的虚像。
4.如权利要求1～3中任一项所述的显示系统，其特征在于：
所述强调对象是显示于所述显示部的信号灯或交通标识。
5.如权利要求1～3中任一项所述的显示系统，其特征在于：
所述强调对象是显示于所述显示部的招牌，
所述显示系统还包括用于存储关联信息的关联信息存储部，其中所述关联信息由所述招牌上显示的字符即招牌字符与通过简化该招牌而得到的符号相关联而得，
所述虚像生成部参照存储在所述关联信息存储部中的关联信息来生成基于符号而得的虚像，其中该符号是通过简化与作为所述强调对象的招牌对应的招牌字符而得到的。
6.一种能够使安装在移动体上的显示部显示虚像的显示系统，其特征在于，包括：
透过所述显示部对所述移动体的前方进行拍摄的摄像部；
检测周围信息的周围信息检测部，其中所述周围信息表示所述移动体的前方的注视物；
判断部，其对所述摄像部拍摄的图像进行分析，判断该图像中是否包含所述周围信息检测部检测到的周围信息所示的注视物的图像；
虚像生成部，在所述判断部判断为所述摄像部拍摄的图像中不包含所述周围信息所示的注视物的图像的情况下，生成基于所述周围信息而得的虚像；和
使所述显示部显示所述虚像生成部生成的虚像的显示处理部。
7.一种能够使安装在移动体上的显示部显示虚像的显示系统，其特征在于，包括：
透过所述显示部对所述移动体的前方进行拍摄的摄像部；
确定所述显示系统的用户的视线方向的视线方向确定部；
确定所述摄像部拍摄的图像中的、由所述视线方向确定部确定的视线方向上的亮度的亮度确定部；
亮度变更部，其基于由所述视线方向确定部确定的视线方向上的、由所述亮度确定部确定的亮度和该视线方向的周围的亮度，来变更视线方向的周围的亮度；
用于生成虚像的虚像生成部，其中，基于由所述亮度变更部变更后的亮度来生成所述虚像；和
使所述显示部显示所述虚像生成部生成的虚像的显示处理部。
8.如权利要求7所述的显示系统，其特征在于：
还包括检测所述用户的眼睛的状态的检测部，
所述亮度变更部还基于所述检测部检测到的眼睛的状态，来提高视线方向的周围的亮度。
9.如权利要求1～8中任一项所述的显示系统，其特征在于，还包括：
用于确定相对位置信息的相对位置信息确定部，其中，所述相对位置信息是基于所述显示系统的用户的朝向和所述摄像部的摄像方向而得到的；
将所述摄像部拍摄的图像、所述虚像生成部生成的虚像和由所述相对位置信息确定部确定的相对位置信息作为历史信息存储起来的历史信息存储部；和
使用所述历史信息存储部中存储的历史信息来再现合成图像的再现部，其中，所述合成图像是利用所述相对位置信息在所述摄像部拍摄的图像上合成所述虚像而得到的图像。
10.如权利要求9所述的显示系统，其特征在于：
所述历史信息存储部将所述摄像部拍摄的图像和所述虚像生成部生成的虚像分别作为历史信息存储，
所述再现部利用所述相对位置信息在所述摄像部拍摄的图像上合成所述虚像，再现合成得到的合成图像。
11.如权利要求9或10所述的显示系统，其特征在于：
还包括对所述显示系统的用户的前方进行拍摄的用户摄像部，
所述历史信息存储部还存储由所述用户摄像部拍摄的图像构成的用户图像，
所述再现部还再现所述历史信息存储部中存储的用户图像。
12.如权利要求1～11中任一项所述的显示系统，其特征在于：
所述移动体是车辆。
13.一种由显示系统执行的显示方法，其中所述显示系统能够使安装在移动体上的显示部显示虚像，其特征在于，包括：
透过所述显示部对所述移动体的前方进行拍摄的摄像步骤；
确定所述移动体的位置的位置确定步骤；
基于由所述位置确定步骤确定的位置，确定显示于所述显示部的强调对象的对象确定步骤；
确定所述摄像步骤拍摄的图像的亮度的亮度确定步骤；
基于由所述亮度确定步骤确定的亮度来生成虚像的虚像生成步骤，其中所述虚像用于强调由所述对象确定步骤确定的强调对象；和
使所述显示部显示所述虚像生成步骤生成的虚像的显示处理步骤。
14.一种由显示系统执行的显示方法，其中所述显示系统能够使安装在移动体上的显示部显示虚像，其特征在于，包括：
透过所述显示部对所述移动体的前方进行拍摄的摄像步骤；
检测周围信息的周围信息检测步骤，其中所述周围信息表示所述移动体的前方的注视物；
判断步骤，其中对所述摄像步骤拍摄的图像进行分析，判断该图像中是否包含所述周围信息检测步骤检测到的周围信息所示的注视物的图像；
虚像生成步骤，其中在所述判断步骤判断为所述摄像步骤拍摄的图像中不包含所述周围信息所示的注视物的图像的情况下，生成基于所述周围信息而得的虚像；和
使所述显示部显示所述虚像生成步骤生成的虚像的显示处理步骤。
15.一种由显示系统执行的显示方法，其中所述显示系统能够使安装在移动体上的显示部显示虚像，其特征在于，包括：
确定所述显示系统的用户的视线方向的视线方向确定步骤；
透过所述显示部对所述移动体的前方进行拍摄的摄像步骤；
确定所述摄像步骤拍摄的图像中的、由所述视线方向确定步骤确定的视线方向上的亮度的亮度确定步骤；
亮度变更步骤，其中基于所述视线方向确定步骤确定的视线方向上的、由所述亮度确定步骤确定的亮度和该视线方向的周围的亮度，来变更视线方向的周围的亮度；
用于生成虚像的虚像生成步骤，其中基于由所述亮度变更步骤变更后的亮度来生成所述虚像；和
使所述显示部显示所述虚像生成步骤生成的虚像的显示处理步骤。
CN201780094627.XA 2017-09-22 2017-09-22 显示系统和显示方法 Active CN111095363B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410097863.9A CN117934775A (zh) 2017-09-22 2017-09-22 车辆
CN202410097860.5A CN117934774A (zh) 2017-09-22 2017-09-22 信息记录装置、显示系统和影像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/034202 WO2019058492A1 (ja) 2017-09-22 2017-09-22 表示システム及び表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202410097863.9A Division CN117934775A (zh) 2017-09-22 2017-09-22 车辆
CN202410097860.5A Division CN117934774A (zh) 2017-09-22 2017-09-22 信息记录装置、显示系统和影像装置

Publications (2)

Publication Number Publication Date
CN111095363A true CN111095363A (zh) 2020-05-01
CN111095363B CN111095363B (zh) 2024-02-09

Family

ID=65809618

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780094627.XA Active CN111095363B (zh) 2017-09-22 2017-09-22 显示系统和显示方法
CN202410097860.5A Pending CN117934774A (zh) 2017-09-22 2017-09-22 信息记录装置、显示系统和影像装置
CN202410097863.9A Pending CN117934775A (zh) 2017-09-22 2017-09-22 车辆

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202410097860.5A Pending CN117934774A (zh) 2017-09-22 2017-09-22 信息记录装置、显示系统和影像装置
CN202410097863.9A Pending CN117934775A (zh) 2017-09-22 2017-09-22 车辆

Country Status (4)

Country Link
US (2) US11648878B2 (zh)
JP (1) JP6806914B2 (zh)
CN (3) CN111095363B (zh)
WO (1) WO2019058492A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013519A1 (en) 2018-07-10 2020-01-16 Samsung Electronics Co., Ltd. Method and system of displaying multimedia content on glass window of vehicle
KR102617120B1 (ko) * 2018-07-10 2023-12-27 삼성전자주식회사 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템
CN114078267A (zh) * 2020-08-12 2022-02-22 宝马股份公司 反人脸识别系统、反人脸识别方法和车辆
WO2022270558A1 (ja) * 2021-06-25 2022-12-29 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、プログラム
JP2023161938A (ja) * 2022-04-26 2023-11-08 京セラ株式会社 情報処理装置、情報処理方法及びプログラム
JP2024018720A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
JP2024018719A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302903A (ja) * 2003-03-31 2004-10-28 Fuji Photo Film Co Ltd 車両表示装置
JP2009078651A (ja) * 2007-09-26 2009-04-16 Equos Research Co Ltd 車輌用防眩装置
JP2009530695A (ja) * 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト 画像データにおいて重要対象物を識別するための仮想スポットライト
CN201338523Y (zh) * 2008-12-30 2009-11-04 刘敢 动态跟踪光线的会车安全装置
JP2010066042A (ja) * 2008-09-09 2010-03-25 Toshiba Corp 画像照射システムおよび画像照射方法
CN103273826A (zh) * 2013-06-13 2013-09-04 北京汽车股份有限公司 一种车辆前风挡玻璃自动防炫目系统
CN105501036A (zh) * 2015-11-26 2016-04-20 上海汽车集团股份有限公司 车辆防炫目图像采集装置及车辆防炫目系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US20030095080A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and system for improving car safety using image-enhancement
JP3817174B2 (ja) * 2001-12-28 2006-08-30 矢崎総業株式会社 車両用画像修整装置及び夜間運転視界支援装置
JP2009143470A (ja) * 2007-12-17 2009-07-02 Yamaha Corp 車両用防眩装置
EP2544161B1 (en) * 2010-03-03 2014-12-24 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
JP6497158B2 (ja) * 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体
JP6409337B2 (ja) * 2014-05-23 2018-10-24 日本精機株式会社 表示装置
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6448274B2 (ja) * 2014-09-29 2019-01-09 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
US20170309257A1 (en) * 2014-10-29 2017-10-26 Panasonic Intellectual Property Management Co., Ltd. Display control device
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
US20170351092A1 (en) * 2015-06-30 2017-12-07 Mitsubishi Electric Corporation Display control apparatus, display control method, and computer readable medium
JPWO2017056953A1 (ja) * 2015-10-02 2018-07-26 株式会社リコー 表示装置
US10712556B2 (en) * 2015-12-31 2020-07-14 Huawei Technologies Co., Ltd. Image information processing method and augmented reality AR device
US20180017799A1 (en) * 2016-07-13 2018-01-18 Ford Global Technologies, Llc Heads Up Display For Observing Vehicle Perception Activity

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302903A (ja) * 2003-03-31 2004-10-28 Fuji Photo Film Co Ltd 車両表示装置
JP2009530695A (ja) * 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト 画像データにおいて重要対象物を識別するための仮想スポットライト
JP2009078651A (ja) * 2007-09-26 2009-04-16 Equos Research Co Ltd 車輌用防眩装置
JP2010066042A (ja) * 2008-09-09 2010-03-25 Toshiba Corp 画像照射システムおよび画像照射方法
CN201338523Y (zh) * 2008-12-30 2009-11-04 刘敢 动态跟踪光线的会车安全装置
CN103273826A (zh) * 2013-06-13 2013-09-04 北京汽车股份有限公司 一种车辆前风挡玻璃自动防炫目系统
CN105501036A (zh) * 2015-11-26 2016-04-20 上海汽车集团股份有限公司 车辆防炫目图像采集装置及车辆防炫目系统

Also Published As

Publication number Publication date
US11648878B2 (en) 2023-05-16
CN111095363B (zh) 2024-02-09
US20200285884A1 (en) 2020-09-10
JP6806914B2 (ja) 2021-01-06
CN117934774A (zh) 2024-04-26
JPWO2019058492A1 (ja) 2020-07-02
CN117934775A (zh) 2024-04-26
WO2019058492A1 (ja) 2019-03-28
US20230249618A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
CN111095363B (zh) 显示系统和显示方法
JP6443677B2 (ja) ヘッドマウントディスプレイ装置
US11250816B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
JP2015015708A (ja) 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
US20160264051A1 (en) Night Driving System and Method
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP2018185654A (ja) ヘッドアップディスプレイ装置
JP7397918B2 (ja) 映像装置
KR101209796B1 (ko) 전경 투과 기능을 갖는 차량용 표시장치 및 이의 표시방법
EP3012822B1 (en) Display control device, display control method, display control program, and projection device
KR20200063789A (ko) Ar 글라스 및 이를 이용한 증강현실 서비스 제공 방법
JP7354846B2 (ja) ヘッドアップディスプレイ装置
CN113924518A (zh) 控制机动车的增强现实平视显示器装置的显示内容
EP3012821B1 (en) Display control device, display control method, display control program, and projection device
US10783853B2 (en) Image provision device, method and program that adjusts eye settings based on user orientation
JP2018041008A (ja) 表示装置
EP3306373A1 (en) Method and device to render 3d content on a head-up display
WO2020084827A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2020154107A (ja) 虚像表示システム及び虚像表示方法
CN116781859A (zh) 一种控制方法、装置、电子设备及车辆
JP2014149688A (ja) 情報表示装置
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220210

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

GR01 Patent grant
GR01 Patent grant