CN110419063A - Ar显示装置和ar显示方法 - Google Patents

Abstract

关于AR显示装置，本发明提供一种能够提高用户(驾驶员等)对包括物体和AR图像的影像的可见度而能够实现适当的AR提示的技术。车载系统(100)中搭载的AR显示装置即HUD装置(1)包括：输入由摄像机(2)拍摄到的图像，并从图像中选择物体的区域而将其提取出的图像选择部(11)；基于指标值判断用户对物体的区域的可见度；AR图像生成部(13)，其基于物体的区域的可见度，实施用于提高可见度的图像加工处理，来生成关于物体的AR图像；和在屏幕(5)上重叠显示AR图像的AR显示部(15)，进行控制，以与可见度相应地改变AR图像显示与否和图像加工处理的内容。

Description

AR显示装置和AR显示方法

技术领域

本发明涉及显示装置的技术，涉及对用户提供增强现实(AR：Augmented Reality)的图像信息的显示技术。

背景技术

作为具有提供AR图像信息的功能的AR显示装置及其系统，例如可以举出在汽车的车载系统中，为了驾驶辅助、导航、相关信息提供等目的而对驾驶员提示AR图像信息的装置。例如，在车载的平视显示(HUD：Head Up Display)装置中，有具有AR显示功能的(AR-HUD)。在AR-HUD中，对于透射驾驶座的挡风玻璃等的屏幕的外界影像即驾驶员的视野的实景，以作为虚像重叠的方式投影显示AR图像。作为AR图像信息，可以列举车速等车辆信息、用于驾驶辅助和导航的车辆行进方向箭头图像、行人等的注意信息、标志和广告牌等信息这样的各种信息。作为AR图像信息的原始数据，例如使用车载的传感器的信息和车辆导航系统的地图信息等。

作为关于AR显示装置的现有技术例，可以举出日本特开2016-95688号公报(专利文献1)。在专利文献1中，记载了作为车载用信息显示装置，用车载摄像机拍摄车辆外的广告牌等的情况下，正确地识别拍摄到的图像中的广告牌等的图像，将识别结果变换为用户能够理解的图像并显示等。专利文献1中，记载了对广告牌中包括的字符串等翻译并显示等。

现有技术文献

专利文献

专利文献1：日本特开2016-95688号公报

发明内容

发明要解决的技术问题

现有的车载的HUD装置等AR显示装置中，关于包括屏幕的AR图像的影像的提示，如下所述，关于用户(驾驶员等)对包括物体和AR图像的影像的可可见度存在课题。换言之，关于用户的认知和信息处理的容易性、AR使用的舒适性等存在课题。

例如，现有的车载的HUD装置中，基于包括摄像机拍摄到的外界的物体的图像，直接生成关于物体的AR图像，使其在屏幕上重叠显示。此时，例如虽然屏幕和视野内存在驾驶员感兴趣的广告牌等物体，但存在驾驶员难以辨认该物体的情况和不能辨别的情况。或者，即使提示关于该物体的AR图像，也存在难以辨认该AR图像的情况和不能辨认的情况。例如，与驾驶状况等相应地，存在驾驶员不能辨识广告牌等物体上记载的字符的情况等。另外，例如，存在距离本车比较远处存在广告牌，但如果不接近一定程度就不能辨认该广告牌的信息的情况。这样的情况下，驾驶员不能认知该物体，或者不能得到关于该物体的信息，存在不便。

本发明的目的在于提供一种对于AR显示装置，能够提高用户(驾驶员等)对包括物体和AR图像的影像的可可见度，实现适当的AR提示的技术。

用于解决技术问题的技术方案

本发明中的代表性的实施方式，是一种AR显示装置，其特征在于具有以下所示的结构。

一个实施方式的具有AR功能的AR显示装置，其中所述AR功能是在能够透射外界的实景的屏幕上重叠显示增强现实的图像信息的功能，所述AR显示装置包括：输入由摄像机拍摄到的图像，并从所述图像中选择规定的物体的区域而将其提取出的图像选择部；基于指标值判断用户对所述提取出的所述物体的区域的可见度的可见度判断部；AR图像生成部，其基于所述物体的区域的可见度，实施用于提高对所述物体的区域的所述可见度的图像加工处理，来生成作为关于所述物体的所述增强现实的图像信息的AR图像；和在透射所述外界的实景的屏幕上重叠显示所述AR图像的AR显示部，进行控制，以使得与所述可见度相应地改变所述AR图像显示与否和所述图像加工处理的内容。

发明效果

根据本发明中的代表性的实施方式，对于AR显示装置，能够提高用户对包括物体和AR图像的影像的可可见度，实现适当的AR提示。

附图说明

图1是表示包括本发明的实施方式1的AR显示装置即HUD装置的车载系统的结构的图。

图2是在实施方式1中，概略性地表示从横向观察汽车的驾驶座附近的各部分的配置结构例的图。

图3是在实施方式1中，表示主要处理的流程的图。

图4是在实施方式1中，表示从驾驶员看来的屏幕的例子的图。

图5是在实施方式1中，表示屏幕的区域的例子的图。

图6是在实施方式1中，表示屏幕中的AR显示的例子的图。

图7是在实施方式1中，表示与可可见度相应的AR显示控制的第一例的图。

图8是在实施方式1中，表示与可可见度相应的AR显示控制的第二例的图。

图9是在实施方式1中，表示AR功能的用户设定的例子的图。

图10是表示本发明的实施方式2的AR显示装置即HUD装置的图。

图11是在实施方式2中，表示屏幕的例子的图。

图12是表示本发明的实施方式3的AR显示装置即HUD装置的图。

图13是在实施方式3中，表示屏幕的例子的图。

图14是表示本发明的实施方式4的AR显示装置即HUD装置的图。

图15是在实施方式4中，表示屏幕的例子的图。

具体实施方式

以下基于附图详细说明本发明的实施方式。其中，在用于说明实施方式的全部图中对于同一部分原则上附加同一附图标记，省略其反复的说明。

(实施方式1)

用图1～图9说明本发明的实施方式1的AR显示装置等。实施方式1的AR显示装置，表示作为车载系统的HUD装置安装的情况。实施方式1的AR显示方法，是包括用实施方式1的AR显示装置执行的步骤的方法。实施方式1的AR显示装置中，具有从车外摄像机的拍摄图像中提取广告牌等物体，对于驾驶员难以辨认的物体，通过图像加工，生成并提示易于辨认的AR图像的功能。另外，实施方式1的AR显示装置中，具有与拍摄图像内的物体的位置、大小、距离、姿态、画质等相应地改变AR图像的提示方式，提高驾驶员的可见度的功能。

[AR显示装置和车载系统(1)]

图1表示包括实施方式1的AR显示装置即HUD装置1的车载系统100的结构。车载系统100是在汽车中搭载的系统。用户即驾驶员操作使用车载系统100和HUD装置1。该HUD装置1是特别具有AR功能的AR-HUD装置。

车载系统100具有ECU(Engine Control Unit：发动机控制部)101、HUD装置1、包括摄像机2的车外拍摄部102、影像数据存储部103、通信部104、GPS接收器105、车辆导航部106、包括摄像机3的驾驶员拍摄部107、传感器部108、DB部109等，它们与车载总线和CAN(Car Area Network)110连接。车载系统100具有其他未图示的操作部、电源部等。

HUD装置1具有控制部10、显示部20、其他未图示的存储部、操作部、声音输出部、电源部等。控制部10由微型计算机等构成，控制HUD装置1整体。显示部20由投影型显示装置构成，向挡风玻璃9投射用于形成AR的虚像的影像光。由此，在挡风玻璃9上构成屏幕5，用屏幕5在透射实景上重叠显示AR的虚像。能够用操作部(例如包括操作面板)进行用户的操作输入、例如AR功能的ON/OFF。也能够用声音输出部进行车辆导航和AR显示附带的声音输出。

显示部20具有显示驱动电路21、显示元件22、光源23、光学系统24等，它们被连接。显示驱动电路21基于来自控制部10的AR显示部15的AR数据即影像数据，生成用于AR显示控制的显示信号，驱动显示元件22和光源23。光源23基于显示信号向显示元件22出射光。光源23例如由LED元件或激光元件等构成。显示元件22例如能够由公知的SLM(Spatial LightModulator：空间光调制器)、MEMS反射镜、DMD(Digital Micromirror Device，注册商标)、或LCD等构成。显示元件22基于显示信号和来自光源23的光生成影像光，向光学系统24出射。

光学系统24将来自显示元件22的影像光导向挡风玻璃9的屏幕5。光学系统24包括透镜和反射镜等元件、和用于驱动它们的电动机等驱动部。光学系统24例如也具有基于显示部20的控制或用户操作驱动反射镜而变更反射镜的倾斜角度的功能。由此，能够进行基本调整以使挡风玻璃9的屏幕5(虚像的基本显示区域)的位置等从驾驶员看来在上下左右等方向上移动。

ECU101进行包括发动机运转控制的车辆控制。ECU101可以具有用于驾驶辅助和驾驶自动控制的先进功能(例如车间距离控制功能)。该情况下，ECU101可以对HUD装置1输出该用于驾驶辅助等的信息而控制HUD装置1，由此使HUD装置1进行用于驾驶辅助等的AR显示(例如车间距离信息输出)。

车外拍摄部102包括摄像机2，在汽车的停止中或行驶中等，使用1台以上摄像机2拍摄本车的外界的实景，取得影像数据(包括时序的图像帧)和车辆周围信息，保存在影像数据存储部103中，或者向ECU101输出。摄像机2是车外摄像机2，例如设置在车辆前部的减震器、挡风玻璃9的四边附近、或者车辆侧部的后视镜附近等规定的位置。摄像机2以规定的朝向对规定的范围摄像。摄像机2拍摄包括与驾驶员的视野对应的车辆前方的实景的范围。

车外拍摄部102可以具备对1台以上摄像机2的图像进行处理、计算得到车辆周围信息的信号处理部等，也可以不具备。该信号处理部等也可以设置在ECU101或HUD装置1内。车辆周围信息是包括含有车辆前方和侧面附近的范围的物体的接近等状态的信息。

影像数据存储部103存储来自摄像机2的影像数据等。影像数据存储部103可以设置在HUD装置1内。另外，出于信息安全等的观点，也可以采用不是将影像数据保存在车内的影像数据存储部103等中而保留，而是通过通信部104保存在外部的数据中心等中、在外部进行数据管理的方式。

通信部104是包括进行对外部的移动网络和互联网等的通信的通信接口装置的部分。通信部104基于来自HUD装置1等的控制，例如进行与互联网上的数据中心等服务器进行通信。由此，HUD装置1能够从服务器参照、取得用于AR显示的原始数据和相关信息等。

GPS接收器105基于与外部的GPS卫星的通信，得到本车的位置信息(例如用纬度和经度等表示)。另外，虽然未图示，但另外具有公知的VICS接收机等。

车辆导航部106是车辆中搭载的现有的车辆导航系统的部分，保存地图信息和使用GPS接收器105取得的位置信息等。车辆导航部106通过GPS接收器105得知本车的位置信息。ECU101和HUD装置1从GPS接收器105和车辆导航部106取得本车辆的位置信息。HUD装置1也能够从车辆导航部106参照地图信息和目的地信息等并用作用于AR显示的原始数据。例如，HUD装置1可以基于该原始数据，生成用于向目的地导航的、表示道路上的行进方向的箭头图像等作为AR图像的例子。

驾驶员拍摄部107包括摄像机3，使用1台以上摄像机3，拍摄包括驾驶员的眼和脸的范围，进行规定的处理。摄像机3是驾驶员摄像机、车内摄像机。驾驶员拍摄部107可以将用摄像机3拍摄到的影像数据保存在影像数据存储部103中。驾驶员拍摄部107具备根据摄像机3的图像进行规定的处理的信号处理部等。该信号处理部等也可以设置在ECU101或HUD装置1内。驾驶员拍摄部107能够用公知技术构成。另外，实施方式1中不需要使用驾驶员拍摄部107，其在实施方式3等中使用。

驾驶员拍摄部107例如具有以下规定的处理功能。驾驶员拍摄部107例如能够通过判断驾驶员的眨眼等的状态来检测疲劳驾驶等。驾驶员拍摄部107例如能够检测出空间内(车内)的驾驶员的眼的位置，并且能够根据眼的位置判断驾驶员的姿态等。驾驶员拍摄部107例如具有通过判断驾驶员的眼中的瞳孔和光反射点来检测驾驶员的视线的功能(视线追踪功能)。ECU101和HUD装置1能够从驾驶员拍摄部107取得视线等驾驶员信息，进行控制。

传感器部108具有在汽车中搭载的公知的传感器组，输出检测出的车速等车辆信息。ECU101和HUD装置1取得该车辆信息，进行控制。传感器部108具备车速计、加速度传感器、陀螺仪传感器、地磁传感器、红外线传感器等作为传感器组。传感器部108也可以具备计测本车与物体的距离的距离传感器。加速度传感器和陀螺仪传感器检测加速度和角速度等作为本车的状态信息。

DB部109由存储等构成，用于AR显示的数据和信息被保存在DB中。该DB的数据和信息，包括用于生成AR图像的原始数据、用于AR处理的设定信息和用户设定信息等。原始数据例如是用于驾驶辅助和导航的数据。设定信息例如是物体的特征信息和定义信息、或图像匹配的基准图像等。用户设定信息例如是AR显示装置提供的功能的ON/OFF的设定信息和AR显示对象信息的类别的设定信息等。

另外，DB部109及其DB在车载系统100内设置在HUD装置1外，但不限于此，也可以设置在HUD装置1内，也可以设置在车载系统100的外部的通信网络上的数据中心等中。该DB也可以与车辆导航部106的DB合并。该DB中，也可以保存经由通信部104从外部的服务器或DB等取得的信息。DB位于外部的通信网络上的情况下，需要通信，但不需要在车载系统100内具有DB，能够节约存储器容量等。DB位于车载系统100内或HUD装置1内的情况下，需要确保存储器容量，但不需要通信，能够高速检索。

挡风玻璃9用具有透射型和刚性的玻璃等构成。挡风玻璃9的屏幕5在不使用AR功能时全部区域都是透射状态，外界的实景透射。屏幕5在使用AR功能时，在透射实景上重叠显示AR图像。挡风玻璃9也可以用具有反射和透射功能的薄膜等构成。挡风玻璃9也可以用具有在不通电状态下透明且在通电状态下发光的性质的有机EL装置等构成。挡风玻璃9也可以用具有挠性的有机EL显示装置等构成。也可以在挡风玻璃9的跟前另外设置AR专用的显示板(组合器等)。

[AR显示装置和车载系统(2)]

图2概略性地表示从横向观察汽车的前部驾驶座附近的情况下的各部的配置结构例。表示驾驶员坐在驾驶座上的状态。在驾驶员的前方(Z方向)，具有曲面的挡风玻璃9。例如，在前部的仪表盘的中央的控制台的位置，设置有AR显示装置的显示部20、和未图示的车辆导航部106等。图2中，示出了显示元件22和光学系统24中的反射镜24a。从显示元件22向前方出射的光，在作为凹面镜的反射镜24a上向挡风玻璃9方向反射，其反射光在挡风玻璃9的内侧面上向驾驶员的眼(点p1)方向反射。由此，在挡风玻璃9的内侧面的一部分中构成屏幕5。用点p1表示驾驶员的眼或视点的位置。用点划线表示驾驶员的视线L1。用点p4表示视线L1的前方的与屏幕5的交点即注视点。

在汽车的前部的规定的位置、例如后视镜附近，设置有摄像机2。用点p2表示摄像机2的位置。摄像机2拍摄汽车的前方的方向。在车内的前部的规定的位置、例如驾驶座的斜上方，设置有摄像机3。用点p3表示摄像机3的位置。摄像机3拍摄驾驶座和驾驶员的脸的方向。

AR显示装置的显示部20、摄像机2和摄像机3的位置(三维空间坐标)和方向被预先设定，它们具有规定的关系。另外，它们能够通过用户的调整操作可变地设定。驾驶员调整驾驶座、调整显示部20的屏幕5的位置。

在驾驶员的视线L1的前方，存在实景内的物体(例如路面标记和广告牌等)。在屏幕5的点p4，可以看见该物体或作为与该物体关联的AR虚像的物体。车载系统100和HUD装置1具有计测和计算实景内的物体与车辆的摄像机2(点p2)的距离(物体距离)的功能。另外，该物体距离能够基于摄像机2的点p2与视点的点p1的位置关系，换算为视点与物体的距离。即，车载系统100和HUD装置1能够计测实景内的物体与车辆和驾驶员的视点的物体距离。另外，也能够基于本车的位置信息，根据物体距离计算物体在空间内的位置。另外，摄像机3在某一方式的情况下，也能够计测变动的视点的点p1的位置。该情况下，能够得知变动的视点与物体的距离。HUD装置1使用摄像机2、车辆和驾驶员的视点与物体的距离信息，进行后述的可见度判断和AR图像加工。

上述物体距离和位置的计测功能能够用公知的各种手段实现，例如是以下所述。可以使用传感器部108中具备的专用的距离传感器。例如，能够计测从传感器出射的光到达物体并返回的时间，根据该时间计算物体距离。另外，车外拍摄部102中具备1个摄像机2的情况下，可以使用该摄像机2的图像的图像内的物体的位置等、和其他传感器的信息，通过计算得到物体距离等。另外，车外拍摄部102中具备2个摄像机2、即立体摄像机的情况下，可以使用该2个摄像机2的左右2个图像，通过计算得到物体距离等。物体距离等的计算也可以在ECU101内或HUD装置1内进行。

车外拍摄部102例如也可以使用由1组摄像机镜头和受光元件构成的单镜头摄像机作为摄像机2。该情况下，能够低成本地实现。车外拍摄部102或HUD装置1使用该单镜头摄像机的图像和其他传感器的信息等，通过公知的计算处理，计测物体距离。车外拍摄部102也可以使用由2组摄像机镜头和受光元件构成的立体摄像机作为摄像机2。车外拍摄部102或HUD装置1使用2个摄像机的图像，通过公知的计算处理来计测物体距离。

可以使用望远镜头或广角镜头作为摄像机2的镜头。使用望远镜头的情况下，对于位于远离驾驶员的位置的物体也能够拍摄，能够增加作为AR的候选的物体。使用广角镜头的情况下，因为能够用1个摄像机2拍摄广范围，所以能够低成本地实现。可以在摄像机2的镜头或受光元件前方设置偏振滤镜。由此，能够防止来自物体的多余反射光导致的检测精度降低。

[AR显示装置和车载系统(3)]

控制部10具有图像选择部11、可见度判断部12、AR图像生成部13、图像加工部14、AR显示部15作为用微型计算机的软件程序处理等实现的各部分。AR图像生成部13包括图像加工部14。各部分也可以用专用电路(例如FPGA)实现。

图像选择部11从影像数据存储部103输入用摄像机2拍摄的影像数据，根据该影像数据的各图像帧，基于图像分析处理等，选择该图像内拍摄到的规定的物体的区域(有时记作物体区域、物体图像等)作为图像数据提取。图像选择部11的处理功能换言之是将图像的整个区域划分为与能够识别为物体的单位对应的像素区域的处理功能。图像选择部11将选择提取出的物体区域的图像数据保存在控制部10内的存储器或影像数据存储部103中。

图像选择部11进行从图像提取和判断特征量、或者图像匹配等动作来作为图像分析处理。图像选择部11对提取出的特征量与预先设定的物体的特征信息和定义信息进行比较，根据类似性判断、提取物体区域。或者，图像选择部11采用图像匹配处理，对图像内的区域与预先设定的基准图像进行比较，根据类似性判断、提取物体区域。

实施方式1中至少包括广告牌作为对象物体。在HUD装置1内，预先设定了规定的物体的特征信息和定义信息。例如，作为广告牌的特征信息和定义信息，规定了四边形等形状和大小范围、广告牌面的颜色、广告牌上记载的字符和图像等。物体的特征信息和定义信息可以是矩形或多边形或椭圆等几何图形，也可以是像素单位的精细的区域，也可以是基准图像。

例如，对象物体是广告牌的情况下，图像选择部11可以在存在用从图像内提取出的分界线划分的四边形的区域的情况下，提取该区域作为广告牌的物体区域。或者，图像选择部11也可以提取以包含相当于该广告牌的四边形的区域的方式简单化而得到的矩形作为广告牌的物体区域。使物体区域例如成为简单的矩形的情况下，能够进行高速处理。使物体区域例如成为像素单位的精细的像素区域的情况下，能够精细地提取，能够减少噪声(该物体周边的其他物体的影响等)，能够进行更精细的AR提示。这些观点保持平衡地适当设计即可。

另外，能够使用后述的用户设定功能对对象物体的种类等进行用户设定。例如，能够进行使对象物体仅为广告牌的设定等。

可见度判断部12基于影像数据和物体区域的图像数据，判断显示关于对象物体的AR图像时的驾驶员的可见度是否良好(高低)的程度。该可见度包括实景内的物体自身的可见度和与该物体关联的AR图像的可见度。可见度判断部12为了该判断，而用规定的方式计算可见度指标值。可见度判断部12基于可见度指标值，将从图像内提取出的物体中认为驾驶员难以辨认的物体决定为AR显示对象和AR图像加工对象。可见度判断部12与可见度指标值相应地决定物体的AR显示的方式。

AR图像生成部13为了使对象物体对于驾驶员变得易于辨认，而使用图像加工部14的图像加工处理，生成比原本的物体可见度更高的AR图像。AR图像生成部13基于关于对象物体的可见度的判断结果、输入影像数据或物体区域的图像数据、以及AR图像用的原始数据等，生成AR图像。此时，AR图像生成部13根据需要使用图像加工部14对对象物体的图像区域进行加工处理，使用其加工后图像生成AR图像。AR图像生成部13根据需要参照并使用DB部109的DB的数据作为原始数据。或者，AR图像生成部13参照并使用来自ECU101和传感器部108的车辆信息、来自车辆导航部106的地图信息、经由通信部104得到的外部的信息等。

图像加工部14基于可见度的判断结果、输入影像数据或物体区域的图像数据、以及原始数据等，进行对对象物体和AR图像提高可见度用的加工和变换等图像处理。关于加工处理，例如可以举出放大处理、锐化处理、对比度变更处理、色调变更处理、姿态变更处理、OCR处理等。图像加工部14具有进行该各处理的功能。加工处理中，有对物体图像进行加工成为AR图像的情况，也有对原本的AR图像进一步进行加工成为AR图像的情况。另外，在实现上，也可以仅具有其中的一部分加工处理的功能。

AR显示部15基于用AR图像生成部13生成的AR图像的数据，生成用于AR显示的AR数据并向显示部20输出，由此使显示部20进行AR显示。AR数据包括屏幕5内的AR图像的显示位置、显示大小等信息。由此，在屏幕5内的显示位置处，以规定的放大率的显示大小等状态将与物体关联的AR图像重叠显示为虚像。在驾驶员的眼中，被辨认为与物体关联的AR图像。AR显示部15也进行使信息处理上的概念屏幕即平面的坐标系、与挡风玻璃9的屏幕5即曲面的坐标系对应的变换处理等。

HUD装置1也具备光学字符识别(OCR)功能。图像选择部11从输入图像或其中的物体图像中，通过OCR处理识别字符(英字符母数字、假名汉字、符号等)，得到字符数据，并保存在控制部10的存储器或影像数据存储部103中。图像选择部11也可以从输入图像中提取规定的图像和标记等、例如交通标志和商标等。

图像选择部11等各部分用HUD装置1的控制部10的处理实现，但也可不限于此。该各部分的一部分或全部也可以用HUD装置1以外的硬件或软件实现。

[主要处理流程]

图3表示实施方式1的AR显示装置即HUD装置1中的主要处理的流程。图3具有步骤S1～S7。以下，按步骤顺序进行说明。

(S1)HUD装置1的控制部10在通常时，在AR功能ON状态下，使车外拍摄部102的摄像机2成为ON状态，将用车外拍摄部102的摄像机2拍摄到的外界的影像数据保存在影像数据存储部103中。控制部10从影像数据存储部103顺次输入该影像数据的图像。

另外，作为变形例，也可以由车载系统100的ECU101等控制摄像机2的动作。另外，HUD装置1也可以从摄像机2直接地输入影像数据。

(S2)图像选择部11从S1的输入影像数据的图像内选择并提取规定的对象的物体(例如广告牌)的区域。图像选择部11将选择提取出的物体区域的图像数据保存在控制部10内的存储器或影像数据存储部103中。

另外，在S2中，图像选择部11从图像中提取物体时，基于图像分析处理，提取物体的特征量等。特征量的例子，有形状、大小、颜色、亮度、对比度、模糊(频率成分)等。

另外，在S2中，图像选择部11也可以对图像或提取出的物体区域实施OCR处理，在能够识别字符的情况下，提取其字符信息。

实施方式1中，图像选择部11将屏幕5的整个可AR显示区域和摄像机2的整个屏幕作为对象，提取物体区域。也可不限于此，而将屏幕5和整个图像中的部分区域设定为提取对象区域。例如，在图5中，示出部分区域R6的设定例。

另外，实施方式1中，图像选择部11从摄像机2的图像内同时提取规定数量以下的物体区域。此时，例如可以优先提取位于与本车距离近的位置的物体，也可以优先提取位于屏幕5中接近中心点的位置的物体。

(S3)可见度判断部12对于S2中提取出的物体，用规定的方式计算用于判断从驾驶员看来的可见度的程度的指标值。在说明中，将该指标值定义为“可见度指标值”(visibility index value)。该指标值例如以越易于辨认则值越高、越难以辨认则值越低的方式计算。可见度判断部12例如使用从图像中提取出的特征信息和传感器部108的传感器等的信息来计算该指标值。该指标值在实施方式1的计算方式中，使用物体距离、以及屏幕5和图像内的物体的位置和大小等中的至少1项来计算。物体距离是上述本车的摄像机2和视点与对象物体的距离。例如，物体距离相对越大则指标值越低。另外，例如，图像内的物体大小相对越小则指标值越低。例如，图像内的物体的位置是相对越远离中心的位置则指标值越低。

(S4)可见度判断部12基于S3的可见度指标值，判断对象物体从驾驶员看来是易于辨认还是难以辨认，并进行分类。例如，可见度判断部12对可见度指标值与阈值进行比较，分类为几种情况。至少具有2个类。实施方式1中，具有第一类、第二类(后述图7)。第一类是大致分类判断为易于辨认的情况。第二类是大致分类判断为难以辨认的情况。HUD装置1使用关于物体距离和物体大小等的阈值的范围进行分类。

例如，使用物体距离的情况下，在本车与物体的距离大于阈值的情况下，能够推测驾驶员的可见度低。另外，例如，使用物体大小的情况下，在图像内的物体区域的大小小于阈值的情况下，能够推测该物体位于远离本车的位置，因此能够推测驾驶员的可见度低。

例如，HUD装置1预先与驾驶员的视力和摄像机2的镜头的视野角特性等相应地，将驾驶员难以辨认的图像大小(像素单位下的长度)设定为阈值。该阈值也可以按相对于每个物体的标准的图像大小的倍率等设定。HUD装置1对S2中提取出的物体区域的大小与该图像大小的阈值进行比较，判断是否能够辨认等，进行分类。

上述可见度的分类能够不限于2个，也可以与易可见度或难可见度的级别相应地设为3个以上分类(后述图8)。例如，与难可见度的第一级别、第二级别相应地，具有第二类、第三分类。

(S5)可见度判断部12基于S4的可见度判断结果的分类，决定关于对象物体的AR显示是否执行、AR图像、加工处理的有无和内容等(记作类型等)。例如，分类是第一类的情况下，视为第一类型不进行AR显示，是第二类的情况下，视为第二类型进行有图像加工处理的AR显示。

在S5和S6时，也考虑关于AR显示的基本规则(后述)。例如，作为基本规则，在屏幕5的中央区域避免AR图像显示。另外，作为基本规则，将屏幕5内同时显示的AR图像抑制为规定的最大数量以下。

(S6)AR图像生成部13基于S5的类型的决定，生成关于进行AR显示的物体的AR图像。此时，AR图像生成部13使用图像加工部14，对视为第二类认为可见度低的物体和AR图像进行用于提高可见度的图像加工处理。图像加工处理14应用与类型相应的放大处理等作为对物体区域的图像加工处理，输出加工后图像数据。AR图像生成部13使用加工后图像数据构成AR图像。

图像加工部14应用放大处理、锐化处理、对比度变更处理、色调变更处理、姿态变更处理、OCR处理中的至少1项作为加工处理。图像加工部14例如在放大处理的情况下，将物体区域的图像放大，作为AR图像。图像加工部14例如在OCR处理(换言之是向字符图像的变换处理)的情况下，从物体区域中用OCR处理提取字符信息，以成为目标可见度水平的方式选择该字符的字体、大小、颜色等而生成字符图像，作为AR图像。另外，该OCR处理中，也可以使用S2中用图像选择部11提取出的字符信息。

AR图像生成部13也可以对于原始数据，用图像加工部14实施加工处理，生成AR图像。例如，假设得到了广告牌面上记载的字符信息或图像作为原始数据。图像加工部14将该字符或图像的大小放大等，生成可见度高的AR图像。

另外，S6时，AR图像生成部13对于生成的AR图像，基于规定的方式(后述)决定屏幕5内的显示位置和显示大小等。例如，固定位置方式的情况下，在屏幕5内的规定的固定区域(例如图6的底边区域R3)中，选择空白的部分的位置作为显示位置。近邻位置方式的情况下，在屏幕5内，在对象物体的近邻的范围内、且中央区域以外，选择空白的部分的位置作为显示位置。关于AR图像的显示大小，基本上显示大小与物体距离的变化相应地变化。

另外，S6时，AR图像生成部13也可以为了提高屏幕5内的1个以上AR图像的可见度，而调整AR图像的显示位置和显示大小、显示数量等。驾驶员的可见度不仅是关于个别的物体或AR图像的可见度，也涉及观看屏幕5时的关于多个物体和多个AR图像的综合的可见度。因此，HUD装置1也考虑屏幕5中的综合的可见度决定AR图像。例如，存在关于第二类的多个物体的多个AR图像的情况下，以其综合的可见度提高的方式，决定其显示位置、显示大小、显示数量等。例如，关于显示位置，在多个AR图像的显示位置接近而密集的情况下，为了尽量不重合，而以使其间隔离开一定程度的方式进行调整。例如，关于显示数量，限定为在屏幕5内同时存在规定的最大数量以下的AR图像。在限定时，考虑物体距离、或物体和AR图像的优先度的规定(交通标志比广告牌优先度更高等)等而决定。由此，能够抑制屏幕5内的AR图像的信息量，驾驶员易于认知物体和AR图像。

(S7)AR显示部15使用S6中生成的AR图像数据及其控制用信息，生成用于在屏幕5内对于对象物体关联地重叠显示AR图像的AR数据，并向显示部20输出。AR显示部15以使S6的矩形的平面的画面上的AR图像的数据与挡风玻璃9的曲面的屏幕5对应的方式进行变换。显示部20按照该AR数据，在屏幕5上重叠显示AR图像。以上处理作为同样的反复的循环进行。

[屏幕、图像]

图4概略性地表示车内的驾驶座的驾驶员观看前方的挡风玻璃9的屏幕5的状况。其中，实际的挡风玻璃9和屏幕5是看起来是梯形的曲面，但图4中简化为矩形的平面表示。屏幕5包括可AR显示区域。本例中，将整个屏幕5作为可AR显示区域。屏幕5中，作为与驾驶员的视野对应的实景，在前方延伸的道路31、和道路两侧的建筑物32a、32b、32c和背景的天空33等透射可见。另外，在屏幕5的实景中，作为物体，具有标志34、广告牌41～44等。

广告牌例如在矩形的平板的正面描绘有店铺介绍和广告等的字符或图像。与驾驶员的视点的位置与该广告牌的朝向和位置的关系相应地，由驾驶员观看该广告牌的情况下的形状等不同。例如，广告牌44因为处于正面相对于视线和车辆行进方向大致垂直地配置的状态，所以看起来是矩形。例如，广告牌41同样地正面看起来是矩形，但因为物体距离比较远，所以看起来是较小的大小，记载字符等难以辨认。例如，广告牌42的正面以面向道路31的方向、相对于视线和车辆行进方向接近90度的方向配置。广告牌42的正面相对于视线成倾斜的姿态。因此，广告牌42看起来是梯形地变形的区域。具有这样的变形的情况下，有时对于驾驶员而言难以辨认。取决于车辆与物体的位置和方向的关系，有时完全不能辨认物体。广告牌43配置在相对于本车左侧横向附近的位置，同样成倾斜的姿态。

作为对象物体的广告牌，包括独立地设置的广告牌、在建筑物上设置的广告牌等。作为对象物体的广告牌的面上的记载信息的种类，包括字符、图像(包括徽标等)等。作为记载信息的例子，可以举出一般广告、店铺等建筑物的广告、介绍和地图等。广告牌也可以是内容随时间而变化的数字广告牌。广告牌不限于设置位置固定的广告牌，也可以是移动的广告牌，例如在移动体上搭载的广告牌。

[区域、基本规则、显示位置的方式]

图5表示屏幕5的区域等。作为说明上的区域，具有位于屏幕5的中央附近的中央区域R1、位于顶边附近的顶边区域R2、位于底边附近的底边区域R3、位于右边附近的右边区域R4、位于左边附近的左边区域R5。

中央区域R1在实施方式1中，是作为关于AR显示的基本规则、避免显示AR图像的区域。中央区域R1设为椭圆，但不限于此，也能够设定为矩形等。屏幕5的中央区域R1是驾驶员在驾驶中较多注视的区域。该中央区域R1被规定为基本上不进行AR显示的区域、或者用于驾驶辅助等的重要的规定的AR显示用的优先使用区域。作为重要的AR显示的一例，可以举出关于路面标记和信号灯的显示、行进方向箭头显示、限速显示、车间距离显示、行人和对向车等的注意显示、警告显示等。该区域不限于中央区域R1，也可以设为具有后述的视线追踪功能的情况下的视线中心区域。基本规则的设定是一例。作为其他设定例，可以举出使屏幕5内显示AR图像的比例在一定比例以下等。

实施方式1的HUD装置1进行关于广告牌等物体的AR显示，但在决定其AR图像的显示位置等时，尽量避开中央区域R1。即，广告牌的AR图像的显示位置基本上被决定为中央区域R1的外侧的位置。由此，在车载系统100中，在优先确保用于交通安全的驾驶辅助等的基础上，能够以可见度良好的状态适当地提示广告牌等的AR图像信息。另外，取决于状况(例如低速驾驶时和车辆停止时)，也可以在中央区域内R1进行广告牌等的AR显示。

关于屏幕5中的AR图像的显示位置的决定方式的方式，能够采用几种，在以下列举。在上述S6中AR图像生成部13在决定与物体关联地显示的屏幕5内的AR图像的显示位置和显示大小等时，使用以下某一方式决定。

作为显示位置的方式，具有(1)固定位置方式、(2)近邻位置方式、(3)相同位置方式。

(1)的固定位置方式下，预先在屏幕5的可AR显示区域内的中央区域R1之外具有AR图像显示用的固定区域。图5的顶边区域R2和底边区域R3是与固定位置方式对应的固定区域的设定例。在固定区域内决定AR图像的显示位置。另外，具体而言，也可以设定为按每个固定区域显示不同种类的AR图像。例如，在底边区域R3中显示车辆信息，在顶边区域R4中显示广告牌的信息等。

(2)的近邻位置方式下，AR图像的显示位置被决定为从对象物体的近邻的范围内选择的位置。例如，以对象物体的位置为中心点暂时设定规定半径距离的圆区域。在该圆区域内、且位于中央区域R1的外侧的某一空白位置被选择为AR图像的显示位置。另外，特别是在候选区域中，具有不存在其他物体或AR图像的、空白的位置的情况下，选择该位置。例如，对象物体是广告牌的情况下，在该广告牌的上侧或横侧、背景是天空33等的空白的位置被选择为显示位置。

另外，该方式下，也可以显示将物体与AR图像连接的线(引出线)作为AR图像的一部分。另外，对于图像内的物体的位置，在比较近的距离范围内不能确保AR图像的显示位置的情况下，也可以将与物体相距一定程度以上距离的位置作为显示位置，并显示将该物体与AR图像连接的线。通过显示引出线，驾驶员更易于识别物体与AR图像的关联性。

(3)的相同位置方式下，相对于图像内的物体的位置，使AR图像的显示位置直接成为相同的位置。例如，可以以覆盖物体的方式重叠显示AR图像，也可以显示包围物体的外形的框这样的AR图像。例如，图6中，物体是标志35，为了强调该标志35存在，而用包围标志35的框作为AR图像，在相同的位置显示。

[AR显示例]

图6表示屏幕5中的AR图像的显示控制例等。本例中，表示关于广告牌41等的AR图像的显示例。首先，广告牌44充分大而被判断为易于辨认的状态，所以并未显示AR图像。

AR图像51a是关于广告牌41的第一显示例，是在固定位置方式下、在底边区域R3内、将广告牌41的图像放大等而成为易于辨认的状态并显示的例子。同样地，也可以在顶边区域R3内显示AR图像51a。另外，对于AR图像51a，也可以如图所示地以从广告牌41延伸的方式附加显示引出线51a1(例如虚线箭头)。该引出线51a1以避开中央区域R1地在外侧迂回的方式显示。另外，AR图像51a的显示大小至少比原本的广告牌41的物体区域更大，可以设为与底边区域R3的大小(例如纵向宽度)相应的规定的大小。

AR图像51b是关于广告牌41的第二显示例，是在广告牌41的近邻的规定半径距离的范围内、且中央区域R1的外侧的空白的位置，同样地将广告牌41的图像放大等而成为易于辨认的状态并显示的例子。另外，对于AR图像51b，也可以如图所示地以从广告牌41延伸的方式附加显示引出线51b1(例如实线)。该引出线51b1以在从屏幕5的中心向周边的方向上延伸的方式显示。另外，AR图像51b的显示大小至少比原本的广告牌41的物体区域更大。AR图像和引出线也可以采用气泡形式等的图像。通过附加引出线等，驾驶员更易于识别物体与AR图像的关系。

广告牌42从驾驶员的视点看来是倾斜的姿态，看起来梯形地变形。因此，广告牌42的正面的记载内容难以辨认。关于广告牌42的AR图像52同样是在广告牌42的近邻的位置附加引出线地显示的例子。AR图像52进行了放大处理和姿态变更处理作为图像加工处理。广告牌42的物体区域的姿态被变更为从视点看来是正面的状态。即，原本的梯形被变换为矩形。通过该姿态变更，广告牌42的正面的记载字符变得易于辨认。

广告牌43同样地位于屏幕5和视野的左端而处于倾斜的姿态状态，所以难以辨认。关于广告牌43的AR图像53是在底边区域R3内显示的例子。

实施方式1中，作为1个功能，具有如广告牌42等的例子所示地、显示与图像内的物体的姿态状态相应的AR图像的功能。HUD装置1判断与从驾驶员的视点看来的物体的姿态状态相应的可见度，选择决定AR显示内容。例如，如广告牌44一般，正面大致沿着驾驶员的视线的方向和本车的行进方向的方向的姿态状态的情况下，换言之在图像内物体区域是接近矩形的形状的情况下，能够判断为相对而言易于辨认。该情况下，可见度指标值被计算为相对较高的值。另一方面，如广告牌42一般，正面与相对于驾驶员的视线的方向和本车的行进方向交叉的不同方向对应的倾斜的姿态状态的情况下，换言之在图像内物体区域是梯形等的情况下，能够判断为相对而言难以辨认。或者，如广告牌43一般，看起来物体区域的横向宽度(屏幕水平方向的长度)窄的情况下，能够判断为相对而言难以辨认。该情况下，可见度指标值被计算为相对较低的值。或者，在广告牌正面完全不可见的姿态状态的情况下，能够判断为不能辨认。另外，作为可见度指标值的计算方法，可以计算物体区域的姿态状态、例如广告牌的正面的方向的角度、或者图像内的梯形的斜边的角度等，用将该角度等对于物体距离等作为系数相乘的方式等计算。或者，也可以省略这样的计算，在从图像内提取物体区域时，与梯形等形状的判断相应地直接进行分类。

[图像加工处理(1)]

以下是图像加工部14进行的图像加工处理的例子。图像加工部14具有(1)放大、(2)锐化、(3)对比度变更、(4)色调变更、(5)物体姿态变更、(6)OCR等处理功能作为用于提高物体和AR图像的可见度的图像加工处理功能。

(1)放大处理功能是对于拍摄位于距离摄像机2(对应的车辆和驾驶员)比较远处的物体的情况下在图像内以较小的大小显示的物体区域，放大而成为较大的大小的处理功能。例如，图6中，将位于比较远的位置的广告牌41提取为物体区域的情况下，图像加工部14对于该广告牌41的物体区域的图像，以规定的放大率等放大。例如，广告牌41的记载字符“ABC”被从较小的状态放大而成为较大的状态。

(2)锐化处理功能(换言之，是锐度变更、边缘强调)是使用公知技术、进行使模糊的图像锐化的处理的功能。其中，锐化的方式例如可以使用强调色阶变化的过滤的方式，也可以使用对图像进行傅立叶变换而分解为每个频率成分并除去低频成分的方式等。图像加工部14例如对于广告牌41的图像(或其放大后图像)实施锐化处理。由此，广告牌41的记载字符的模糊被减少。

(3)对比度变更处理功能是使用公知技术，进行强调因强光照射等理由而欠缺色阶的图像中的对比度的处理的功能。图像加工部14例如对于广告牌41的图像(或其放大后图像)实施对比度变更处理。由此，广告牌41的记载字符与背景的对比度提高，记载字符变得易于辨认。

(4)色调变更处理功能是使用公知技术、进行对因与实景是同系颜色等原因而难以看见的物体的图像中的色调进行变更的处理的功能。图像加工部14例如对于广告牌41的图像(或其放大后图像)实施色调变更处理。图像加工部14例如基于拍摄图像，对广告牌41的物体区域的颜色、与其周边的背景区域(建筑物或天空等)的颜色进行比较，判断是否同系颜色(同一色调)。图像加工部14在是同系颜色的情况下，将物体区域的色调变更为相对于背景区域的色调具有充分的差异。由此，广告牌41的区域变得易于辨认。

(5)物体姿态变更处理功能是使用公知技术，进行在拍摄图像中对象物体处于从驾驶员的视点看来倾斜的姿态状态的情况下变换为该物体区域成为正面的状态的处理的功能。图像加工部14根据图像内的物体区域的形状等判断姿态状态，在姿态是倾斜(例如形状是梯形)的情况下进行变换。图像加工部14使用公知的射影变换等，以该物体区域的姿态成为正面的方式、例如使梯形成为矩形的方式，进行变换。例如，关于图6的广告牌42，梯形的图像被变换为矩形的图像。

(6)OCR处理功能是使用公知技术、从图像内的物体区域中提取字符、使用该字符信息生成字符图像的功能。提取出的字符信息被作为AR图像生成的原始数据。图像加工部14也可以对于图像内的物体区域实施OCR处理而提取字符。图像加工部14例如可以在从广告牌41的物体区域中、用OCR处理成功识别出字符“ABC”的情况下，用放大处理将该字符放大等而成为充分的大小。或者，图像加工部14也可以对于用放大处理放大后的物体区域的图像实施OCR处理，提取字符。图像加工部14例如可以在从与放大后的AR图像51b对应的图像中、用OCR处理成功识别出字符的情况下，置换为基于该字符的图像。

[图像加工处理(2)]

作为关于图像加工处理等的其他处理例，可以列举以下所述。

(1)HUD装置1的图像选择部11对图像内的物体区域的频率成分进行分析。其分析结果中，仅有低频成分的情况下，能够判断该物体图像中存在模糊(换言之模糊程度大)、难以辨认。可见度判断部12能够基于该频率成分计算可见度指标值。该情况下，HUD装置1使用图像加工部14，对该物体区域实施锐化和对比度变更等处理作为图像加工处理。该处理具体而言可以采用以下所述。HUD装置1取得驾驶中某一时刻拍摄到的图像的物体区域和之后的时刻在物体接近本车的位置拍摄的图像的物体区域，使两者的物体图像的大小一致并对频率成分进行比较。其比较结果中，频率成分的变化比较小的情况下，能够判断该物体区域中仅有低频成分(存在模糊)。

(2)HUD装置1判断图像的物体区域及其周边的区域的亮度(与其对应的像素值等)。可见度判断部12在物体区域的亮度值相对较低(较暗)的情况和相对较高(较亮)的情况下，能够判断为难以辨认。该情况下，对于物体区域的亮度加上或减去偏移量，作为图像加工处理。由此，调整为使物体区域与其周边的区域产生亮度差，提高可见度。

(3)HUD装置1生成关于图像的物体区域的亮度的直方图，对于该物体区域，在置换为AR图像生成处理和图像加工处理中处理的数字信号时，以提高对比度的方式进行重构。例如，图像选择部11在图像分析时，对于该物体区域的亮度的最小值至最大值的范围，以分配至能够用数字信号表达的最小值至最大值的范围的方式进行变换，对中间值进行插值。由此，对比度提高时，也易于检测出物体的特征信息，可见度的判断也变得容易。

[与可见度相应的AR显示控制(1)]

图7表示实施方式1中，作为AR显示控制的第一例，对图3的S4的可见度的分类和S5的AR显示内容的决定进行整理得到的表。第一例是与物体距离等相应地将AR显示内容分类为2个种类的控制例。

图7的表中，从上方起顺序示出分类、广告牌附近的图像、驾驶员的可见度、物体距离、物体大小、VI：可见度指标值、AR显示类型、AR图像作为行。分类从左方起示出(A)第一类、(B)第二类。

关于(A)的第一类，在图像中，广告牌41的正面的矩形相对较大地显示出。因此，驾驶员比较易于辨认广告牌41的记载字符。驾驶员与物体即广告牌41的物体距离相对较近(较小)，物体大小相对较大。可见度指标值VI基于物体距离和物体大小，在第一范围内，被计算为相对较高的值。第一范围使用阈值H1，是VI≥H1。因为可见度指标值VI在第一范围内，所以被作为第一类的AR显示类型(第一类型)。该AR显示类型中，使物体保持原状，不显示AR图像。或者，也可以与物体关联地显示AR图像，该情况下不进行图像加工处理。通过不显示AR图像，而减少在屏幕5中对驾驶员提示的信息量，驾驶员易于识别其他AR图像和物体。

关于(B)的第二类，在图像中，广告牌41的正面的矩形相对较小地映出。因此，驾驶员比较难以辨认广告牌41的记载字符。与广告牌41的物体距离和物体大小相对处于中等程度。可见度指标值VI基于距离和大小被计算为第二范围内的相对中等程度的值。第二范围使用阈值H1、H2，是H1>VI≥H2。因为可见度指标值VI在第二范围内，所以被作为第二类的AR显示类型(第二类型)。该AR显示类型中，显示物体的AR图像。此时，对于物体区域实施第一加工处理而生成AR图像。第一加工处理例如是放大处理，AR图像是广告牌的区域的放大图像。作为其他加工处理，也可以组合地应用上述(2)～(5)的处理。

[与可见度相应的AR显示控制(2)]

图8同样地表示AR显示控制的第二例，作为实施方式1的变形例。第二例是与物体距离等相应地将AR显示内容分类为3个种类的控制例。图8的表中，分类从左侧起表示(A)第一类、(B)第二类、(C)第三分类。与难可见度的级别相应地，图7的第二类在图8中被进一步划分为第二类、第三分类。

关于(A)的第一类，与图7的第一类是同样的。其中，阈值H1也可以是不同的值。驾驶员例如能够清晰地辨认广告牌41的记载字符，易于辨认。

关于(B)的第二类，图像中，广告牌41的正面的矩形以相对中等程度的大小显示出。因此，驾驶员对于广告牌41的记载字符只要注视就能够辨认，但比较难以辨认，相当于难可见度的第一级别。物体距离和物体大小是相对中等程度。可见度指标值VI基于物体距离和物体大小，被计算为处于第二范围内的相对中等程度的值。第二范围使用阈值H1、H2，是H1>VI≥H2。因为可见度指标值VI处于第二范围内，所以被作为第二类的AR显示类型(第二类型)。该AR显示类型中，显示物体的AR图像。此时，对于物体区域实施第一加工处理而生成AR图像。第一加工处理例如是放大处理，AR图像是广告牌的区域的放大图像。

关于(C)的第三分类，图像中，广告牌41的正面的矩形相对而言非常小地显示出。因此，驾驶员对于广告牌41的记载字符，不能辨认或难以辨认，相当于难可见度的第二阶段。物体距离相对较远(较大)，物体大小相对较小。可见度指标值VI基于物体距离和物体大小，被计算为处于第三范围内的相对较低的值。第三范围使用阈值H2，是H2>VI。因为可见度指标值VI处于第三范围内，所以被作为第三分类的AR显示类型(第三类型)。该AR显示类型中，显示物体的AR图像。此时，对于物体区域实施第二加工处理而生成AR图像。作为第二加工处理，在放大处理之外例如也使用OCR处理。AR图像使用通过OCR识别出的字符信息生成。作为其他加工处理，也可以组合地应用上述(2)～(5)的处理。

另外，未能通过OCR识别出字符的情况下，也可以不显示AR图像。或者，未能通过OCR识别出字符的情况下，也可以如后所述地进行检索DB部109的DB的信息的处理。该情况下，例如使用物体的位置信息(从本车起的相对位置)从DB中检索对象物体(例如广告牌41)的物体信息，使用该检索结果的物体信息生成AR图像。

另外，在以上可见度判断部12计算和判断VI值时，使用规定的最大值和最小值，在物体的距离或大小过大的情况或过小的情况下，视为分类的范围外，不作为处理对象。另外，关于VI的阈值H1等，可以设为实现上的固定的设定值，也可以通过用户设定功能而能够由用户可变地设定。例如，可以与驾驶员的视力相应地决定并设定阈值H1等。例如，视力良好的人的情况下阈值H1被设定为比较低的值，视力相对不好的人的情况下阈值H1被设定为比较高的值。由此，对于与驾驶员相距相同距离的物体，在前者的人的情况下，因为VI值在阈值H1以上所以被作为第一类，在后者的人的情况下，因为VI值不足阈值H1所以被作为第二类。

[用户设定功能]

实施方式1的AR显示装置中，具有关于AR功能的用户设定功能。能够用该用户设定功能进行关于AR功能的种类的设定和AR信息类别的设定。用户能够使用用户设定功能，选择并设定自己想要优先地取得和显示的信息。HUD装置1基于用户设定，用选择的种类的AR功能，将选择的类别的信息显示为AR图像。在屏幕5内提示驾驶员要求的限定的AR信息。因此，驾驶员易于在屏幕5中辨认要求的AR信息。另外，这些不限于用户设定，也可以是采用实现上的固定的设定的方式。

图9表示用户设定画面的例子。例如，HUD装置1在硬件的操作面板上显示用户设定画面，能够与用户输入操作相应地进行设定。图9的画面中，具有[AR功能种类的设定]项目、[AR信息类别的设定]项目。[AR功能种类的设定]项目中，例如具有[驾驶辅助]、[导航]、[交通标志]、[广告牌]、[建筑物]等项目，用户能够选择使其ON/OFF。例如，[广告牌]项目被设定为ON状态。由此，以广告牌为对象物体进行AR显示的功能被设为有效状态。

[AR信息类别的设定]项目中，能够设定AR功能中作为取得和显示对象的AR信息的类别。该项目中，例如具有[人(类别A)]、[场所(类别B)]、[状况(类别C)]、[时间(类别D)]等，用户能够选择使其ON/OFF。例如，[场所(类别B)]项目被设定为ON状态。由此，关于以上选择的种类(例如[广告牌])的AR功能，提供关于场所的信息作为AR图像。

类别A是[人]，作为信息内容，可以举出姓名、住址、电话号码等。另外，出于隐私等观点，对象的人能够限定地设定为设定的驾驶员的认识的人等人和信息公开者等。类别B是[场所]，作为信息内容，可以举出便利店、加油站、停车场、医院、卫生间、餐厅、自家、店铺、观光景点、车站等。类别C是[状况]，作为信息内容，可以举出天气、路面状态、拥堵、停车场空车、事故、施工、店铺排队等。类别D是[时间]，作为信息内容，可以举出店铺等的等待时间、开店时间、闭店时间、所需时间、通过时刻、电车到达时刻等。各类别内的信息项目能够进一步个别地进行ON/OFF的设定。

实施方式1中，主要将广告牌作为对象物体。通过类别B的场所的设定，能够设定特别将广告牌组中的什么广告牌作为对象。例如仅[餐厅]项目是ON状态的设定的情况下，对于屏幕5和图像内的广告牌中的、相当于餐厅的广告牌的广告牌优先地显示AR图像。

另外，汽车中存在同乘者的情况下，同乘者能够操作HUD装置1等，选择上述信息类别等。HUD装置1与该选择操作相应地切换AR图像地进行显示。

[效果等]

如上所述，根据实施方式1的AR显示装置，能够提高驾驶员对包括物体和AR图像的影像的可见度，实现适当的AR提示。提示关于广告牌等物体的AR图像时，对于难以辨认的物体，也能够以易于辨认的AR图像进行提示。驾驶员能够易于理解地识别广告牌等物体和AR图像。由此，驾驶员可以得到关于广告牌等物体的想要得知的信息。驾驶员也易于辨识广告牌的记载字符。实施方式1中，与从驾驶员看来的物体的易可见度的程度即可见度指标值相应地，切换AR图像信息的提示内容。由此，能够进行适合驾驶员的AR提示。能够与可见度的程度相应地以不同的内容提示AR图像，使整个屏幕5的可见度变得适当。

[变形例]

能够不限于实施方式1的AR显示装置即HUD装置1和车载系统100的结构，可以举出以下变形例。也能够将各变形例组合。

(a)实施方式1中，作为AR显示装置，使用HUD装置1实现了AR显示，但能够不限于此，也可以使用头戴式显示(HMD)装置实现AR显示。即，AR显示装置也可以实现为用户在头部佩戴使用的透射型的HMD装置及其系统。该方式的情况下，在用户眼前的HMD装置的屏幕中，在透射实景上重叠显示AR图像。另外，例如可以根据HMD装置中具备的加速度传感器等的信息，检测车辆的振动，在用户不会眩晕等感到不适的范围内，以尽可能地抵消车辆的振动的方式，进行使AR图像振动的控制。另外，也可以在车载系统中用HUD和HMD以外的方式实现AR显示。另外，也可以在汽车以外的系统(例如在设施中固定设置的游戏机等)中实现同样的AR显示。

(b)实施方式1的AR显示装置能够将车载的现有的车辆导航部106的信息用作外部输入的原始数据生成AR图像，但能够不限于此。作为变形例，也可以在HUD装置1内具备独自的车辆导航部，使用该信息生成AR图像。作为车辆导航部的DB的信息，地图上的建筑物和广告牌的信息完备的情况下，能够使用该信息。例如，HUD装置1基于通过GPS得到的本车的位置信息，参照车辆导航部的地图信息，检索本车当前位置或者对象物体位置附近的建筑物或广告牌等的信息。HUD装置1在得到了广告牌或与广告牌关联的建筑物等的信息作为该检索结果信息的情况下，能够使用该信息构成AR图像。

(c)实施方式1中，使用车载的现有的摄像机2对HUD装置1外部输入影像数据，实现AR显示。作为变形例，能够实现在AR显示装置中包括摄像机2、摄像机3等要素的各方式。例如，可以是HUD装置1中具备摄像机2和车外拍摄部102的方式。也可以是HUD装置1中具备DB部109的方式。

(d)也可以用ECU101等HUD装置1以外的部分实现相当于HUD装置1的控制部10(图像选择部11等)的部分，由该ECU101等的控制部对HUD装置1的显示部20即投射型显示装置协作实现AR显示。换言之，可以用分别的装置实现控制部10和显示部20。

(e)车辆导航部106和DB部109等要素可以是用与车载系统100和HUD装置1分别的独立的装置、例如用户带入车内的便携终端装置(智能手机、平板终端、具备Web摄像头的PC等)实现，HUD装置1等与该装置通信协作的方式。

(实施方式2)

使用图10和图11对实施方式2的AR显示装置等进行说明。实施方式2等中的基本结构与实施方式1是同样的。以下，对于实施方式2等中的与实施方式1不同的构成部分进行说明。实施方式2中，具有关于AR功能追加的功能。实施方式2中，具有即使在驾驶员的视野和屏幕5中物体以比较高速地移动的方式变化的情况下，也确保关于该物体的AR图像的可见度的功能。HUD装置1在判断屏幕5内物体正在比较高速地移动时，为了提高AR图像的可见度而将AR图像的显示位置例如控制为静止位置。

图10表示实施方式2的AR显示装置即HUD装置1的功能模块结构。图10的结构中，控制部10具有移动物体判断部16作为相对于图1的结构不同的部分。移动物体判断部16与图像选择部11和可见度判断部12协作，进行从摄像机2的图像内区分并提取固定物体和移动物体的处理、以及计算关于图像内的物体的移动速度的处理。另外，在图1的DB部109的DB中，也可以包括表示是固定物体还是移动物体等的种类的信息作为物体的定义信息。

实景内的物体有广告牌等在固定位置设置的固定物体、和其他车辆和人等移动物体。移动物体在此之外也可以举出移动型广告牌(例如车载广告)等。在本车行驶中，屏幕5和图像内，这些物体看起来都以位置移动的方式变化。实施方式2中，与实施方式1同样地，将广告牌等物体设定为AR对象。进而，实施方式2中，也能够将其他车辆和人等移动物体设定为AR对象。AR图像生成部13也生成关于移动物体的AR图像。

实施方式2中，作为第一功能，具有判断物体是固定物体还是移动物体、对于移动物体也进行AR显示的功能。实施方式2中，HUD装置1的图像选择部11从摄像机2的图像中不仅提取广告牌等固定物体、也提取其他车辆和人等移动物体作为物体。移动物体判断部16对于提取出的物体区域，判断是固定物体还是移动物体。可以使用后述的移动速度作为该判断的方法。可见度判断部12与移动物体等的判断结果和可见度指标值相应地，与实施方式1同样地控制改变AR显示内容。

另外，HUD装置1在物体的种类不同的情况下，例如广告牌和交通标志的情况、固定物体和移动物体等情况下，在显示AR图像时，可以使其AR图像的显示颜色和显示形状等不同。由此，驾驶员易于识别物体的种类的不同。

进而，实施方式2中，作为第二功能，具有与屏幕5和图像内的物体的移动速度相应地改变AR显示的方法的功能。特别是，具有在物体的移动速度较大的情况下、使AR图像的显示位置静止的功能。HUD装置1的移动物体判断部16计算与驾驶员的视野对应的屏幕5和摄像机2的图像内正在移动的物体(广告牌和车辆等)的移动速度和移动方向。该移动速度是在屏幕5和图像内物体区域的位置移动时的速度，是相对于本车的行驶速度和驾驶员的视点的相对速度。

可见度判断部12使用物体的移动速度作为可见度指标值。可见度判断部12对于物体的移动速度，例如与规定的阈值的范围进行比较。可见度判断部12例如对于作为固定物体的广告牌，在移动速度处于规定的阈值的范围内的情况下，判断为易于辨认而作为规定的分类(与实施方式1同样)。可见度判断部12在处于该范围外的情况下，判断为难以辨认而作为规定的分类。即，判断驾驶员不能目视追踪正在比较高速地移动的该物体。可见度判断部12与后者的分类相应地，决定为将该正在移动的物体的AR图像的显示位置设为静止位置的、规定的AR显示内容(类型)。AR图像生成部13按照该决定，也考虑移动方向等地决定作为该物体的AR图像的显示位置的静止位置等。另外，AR图像生成部13对于该正在移动的物体的AR图像的显示大小，也可以使其维持一定的大小。由此，驾驶员更易于辨认该正在移动的物体的AR图像。

图像内的物体的移动速度例如能够如下所述地计算。可以单纯地根据影像数据的图像帧之间的物体区域的位置的差(像素间距离)计算该移动速度。因为只要能够分类即可，所以该移动速度的计算中不需要高精度。或者，能够基于本车与物体的相对位置关系，例如使用本车的右转或左转时的速度和角速度计算该移动速度。例如可以从本车的车速计和加速度传感器和陀螺仪传感器等得到本车的速度和加速度和角速度和角度等信息。另外，在使用HMD装置的方式中，能够使用HMD装置中搭载的磁传感器和陀螺仪传感器等，得到角速度和角度等信息。

在图4内示出本车的移动的例子。假设在屏幕5和视野中的道路31的路口附近，从视点起右斜前方可见的广告牌44是固定物体，是AR对象。假设是本车在路口以按箭头401所示的方向右转的方式转弯，此时经过广告牌44前方的情况。该情况下，在屏幕5中，对于驾驶员而言，该广告牌44看起来比较高速地移动。

图11简略地表示与该情况对应的屏幕5的时序的状态。图11的(A)概略地表示在视野内与广告牌44对应的物体区域看起来如何移动。例如，广告牌44的物体区域在第一时刻(例如开始进入路口时)，看起来是区域91的位置。接着在第二时刻，随着右转进行而移动至区域92。同样地，在第三时刻移动至区域93、在第四时刻移动至区域94、在第五时刻移动至区域95，位置连续地变化。箭头表示移动轨迹。

图11的(B)表示在与(A)对应的时间中，显示广告牌44的AR图像54的例子。移动物体判断部16例如根据本车的速度和右转时的角速度，计算广告牌44的移动速度，与阈值进行比较，在阈值以上的情况下，因为正在比较高速地运动所以判断为难以辨认，作为规定的分类和类型。AR图像生成部13据此生成广告牌44的AR图像54。作为AR图像54的例子，广告牌44的正面的图像被进行了放大处理，记载字符“XYZ”变为充分的大小。AR图像生成部13将该AR图像54的显示位置决定为相对于时序地变化的区域91～95的位置，是屏幕5内的静止位置。本例中，AR图像54的静止位置是广告牌44的更上侧的位置，特别被设为区域91～95的范围中的正中央附近的位置。

控制部10按时序关联地得知拍摄物体并检测出物体区域的时刻(或图像帧)和该时刻的图像内的物体区域的位置(例如物体区域的中心点的像素的位置坐标)。控制部10可以按每个时刻，得知车辆位置或物体距离。控制部10使用按时序得知的信息，计算并得知屏幕5和图像内的物体的移动速度和移动方向。图像选择部11例如根据第一时刻的区域91与第二时刻的区域92的差，计算广告牌44的物体区域的移动方向(例如：如图示的箭头所示大致左方向)和移动速度。

AR图像生成部13与该移动方向和移动速度相应地，决定AR图像54的静止位置。因为已知在第二时刻移动方向是大致左方向，所以与这样的移动目标预测一同选择位于区域92的更左侧的位置作为静止位置。

由此，在屏幕5内广告牌44移动中的时间中，AR图像54以在同一位置静止的方式显示。因此，驾驶员在行驶中的该时间中，视野(中央区域R1)不被遮挡地维持清晰的状态，并且易于辨认与广告牌44关联的AR图像54。作为比较例，在追随屏幕5内的物体(广告牌44)的移动的位置显示AR图像的方式中，移动速度较大的情况下，驾驶员难以辨认。

另外，本例中，AR图像生成部13显示将按时序移动的广告牌44的物体区域与AR图像54之间连接的线段即引出线541，作为AR图像54的一部分或影像效果。例如，在第五时刻的状态下，引出线541以将区域95与AR图像54连接的方式显示。通过显示引出线，驾驶员更易于识别物体与AR图像的关系。

另外，HUD装置1在对象物体从屏幕5中消失的情况、物体区域与AR图像的距离成为规定值以上的情况、或者显示AR图像后经过了规定时间的情况等时机，消去该AR图像的显示。

能够不限于上述AR图像的显示位置等的决定方法。例如，最初，在第一时刻，对于广告牌44的区域91，在其近邻位置显示AR图像54。之后，相对于区域的移动，使AR图像54保持在第一时刻的同一位置静止地显示。另外，在各时刻，显示将区域与AR图像54连接的引出线。另外，例如，上述AR图像的显示位置不限于静止位置，也可以决定为屏幕5内的AR图像的运动至少比对象物体的运动的速度更慢。

如上所述，根据实施方式2的AR显示装置，对于在驾驶员的视野内比较高速地移动而难以目视追踪的物体，也能够易于辨认地提示AR图像。

(实施方式3)

使用图12和图13对实施方式3的AR显示装置等进行说明。实施方式3中，使用视线追踪功能，与驾驶员的视线的状态相应地限定作为提取摄像机2的图像中的物体的对象的范围。由此，除去对于驾驶员而言不需要的可能性高的部分的信息而减少信息量，提高需要的可能性高的部分中的物体和AR图像的可见度。

图12表示实施方式3的AR显示装置即HUD装置1的功能模块结构。图12的结构中，车载系统100和HUD装置1具有追踪驾驶员的视线的视线追踪功能，作为相对于图1的结构不同的部分。视线追踪功能能够用公知技术构成。实施方式3中，视线追踪功能主要由驾驶员拍摄部107实现，但能够不限于此。视线追踪功能用驾驶员拍摄部107、ECU101、HUD装置1的控制部10等的某一方实现即可。

驾驶员拍摄部107是包括摄像机3的具有公知的视线追踪功能的装置(即眼动追踪装置)，检测驾驶员的眼的位置和视线等。驾驶员拍摄部107即眼动追踪装置根据摄像机3的图像检测出驾驶员的眼等，计算视线的方向。作为计算方法，例如根据瞳孔中映出的光点的位置计算视线的方法等是公知的。驾驶员拍摄部107输出得知的视线等的信息(视线信息)。

HUD装置1的控制部10具有与驾驶员拍摄部107协作的视线追踪部17。视线追踪部17从驾驶员拍摄部107输入视线信息，得知驾驶员的视线的状态。视线追踪部17根据视线的状态，得知屏幕5中的视线前方的交点即注视点(换言之是视线交点、基准点)。另外，也可以用驾驶员拍摄部107计算注视点。视线追踪部17实时地以视线和注视点为基准，在屏幕5内设定视线中心范围。图像选择部11限定于屏幕5内的视线中心范围中地进行物体的提取。

图13表示屏幕5中的视线中心范围R10和AR图像显示的例子。用×符号表示的注视点P1表示视线前方的注视点的一例。视线和注视点随时变动。视线追踪部17例如以注视点P1为中心点，将规定半径距离的圆区域设定为视线中心范围R10。与注视点P1的变动相应地，视线中心范围R10也变动。视线中心范围R10是从驾驶员的视点观看屏幕5时的规定的视野角中包括的范围。视野角与半径具有对应关系。例如，该视野角是30度程度的情况下，与人眼的有效视野范围是同等的。物体包括在与该有效视野范围对应的视线中心范围R10中的情况下，该物体对于驾驶员大致可见。另外，视野角例如是5度程度的情况下，与人眼的辨别视野(能够辨识字符的注视范围)是同等的。物体包括在与该辨别视野对应的视线中心范围R10中的情况下，该物体正在被注视的可能性较高。视线中心范围R10也可以设定为矩形等。

图像选择部11将视线中心范围R10作为设为从摄像机2的图像中提取物体的对象的限定的区域，与实施方式1同样地进行物体区域的选择提取。从视线中心范围R10中提取物体区域的情况下，能够限定地提取驾驶员正在有意注视的可能性高的物体，能够取得该物体区域的图像信息。

关于视线中心范围R10的设定，详细而言也可以如下所述地进行。视线追踪部17也可以在得知视线和注视点时，加上时间判断而在注视点一定程度以上时间(例如规定秒)停留在屏幕5内的同一位置的情况下，判断为驾驶员正在注视该位置附近。视线追踪部17可以仅基于该注视的判断，设定视线中心范围R10。

关于处于视线中心范围R10的区域内的物体的可见度，情况各有不同，例如如果广告牌小则可见度低。可见度判断部12对于处于视线中心范围R10内的物体区域、即物体区域的中心点包括在视线中心范围R10内的物体区域，计算可见度指标值。

实施方式3中，基本而言，对于处于视线中心范围R10的区域内的物体，设为AR图像的显示候选。特别是，在中央区域R1的外侧、处于视线中心范围R10的区域内的情况下，设为显示候选。另外，不限于此，作为变形例，也可以无论中央区域R1的内外，只要在视线中心范围R10内就设为显示候选。

可见度判断部12对于处于视线中心范围R10内的物体，与可见度指标值相应地，分类、决定AR图像是否显示和加工处理内容等。该决定的方法能够与实施方式1等相同。AR图像生成部13按照该决定生成AR图像。

图13的例子中，在视线中心范围R10的区域内包括广告牌41、42等物体。因此，例如广告牌41成为AR图像的显示候选。关于广告牌41的可见度，例如因为物体距离远，所以被判断为难以辨认，分类为要显示AR图像。作为广告牌41的AR图像，例如与上述同样地，采用显示固定位置方式的AR图像51a、或者近邻位置方式的AR图像51b的情况。作为该AR图像的内容例，与上述同样地进行了放大处理等。另外，在显示该AR图像时，可以与上述同样地附加将物体区域与AR图像连接的引出线等。该引出线尽可能避开注视点P1附近地配置。同样地，关于广告牌42，是倾斜的姿态，被判断为难以辨认，分类为要显示AR图像。作为广告牌42的AR图像52的内容例，进行了姿态变更处理等。

另外，AR图像51b和AR图像52被显示在一部分包括在视线中心范围R10内的圆周上的位置，但不限于此，也可以显示在视线中心范围R10外的位置。

将视线和注视点移动而在其他位置设定了视线中心范围R10的例子，作为视线中心范围R10b示出。在该视线中心范围R10b的区域中，例如包括广告牌44。在视线中心范围R10内，广告牌44被判断为可见度高，所以被作为第一类，不显示AR图像。另外，HUD装置1可以在因视线和注视点的移动、处于视线中心范围R10内的物体移动至外部的情况等契机，消去该物体的AR图像。

如上所述，根据实施方式3的AR显示装置，能够对于处于驾驶员的视线中心范围内的难以辨认的物体，提示易于辨认的AR图像。因为处理对象区域受到限定，所以能够抑制屏幕5内的信息量，整体上提高可见度。

(实施方式4)

使用图14和图15对实施方式4的AR显示装置等进行说明。实施方式4中，以可见度高的状态显示包括关于物体的相关信息的AR图像。由此，对驾驶员提供有益的信息，便利性也提高。实施方式4中，基于提取出的物体，从DB部109的DB中检索取得相关信息。实施方式4中，不仅能够提供对于驾驶员可见的物体的记载字符等信息，也能够提供基于相关信息的字符信息。实施方式4中，对于拍摄图像内包括的物体，判断与什么相关联，提供相关信息。实施方式4中，显示将实际可见的物体的信息与根据图像内的物体得到的相关信息组合而成的信息作为AR图像。

图14表示实施方式4的AR显示装置即HUD装置1的功能模块结构。图14的结构中，控制部10具有与图像选择部11等协作的信息检索部18，作为相对于图1的结构不同的部分。信息检索部18基于从图像中提取出的物体的信息，从DB部109的DB中检索相关信息。

HUD装置1的图像选择部11从摄像机2的图像中提取物体(例如广告牌)的物体区域，并且，在能够通过OCR处理从该物体区域中识别出字符的情况下也提取该字符信息。信息检索部18使用图像选择部11中提取出的物体区域的信息作为检索条件，从DB部109的DB(或者车辆导航部106的DB或外部的通信网络上的DB服务器等)中，检索关于该物体的相关信息。信息检索部18从该检索结果得到物体的相关信息。相关信息例如是什么广告牌、什么建筑物设置的广告牌等，是DB中登录的任意的信息。

信息检索部18也可以使用从物体区域中提取出的字符信息检索DB。另外，信息检索部18也可以使用从图像中提取出的物体区域的图像从DB中进行图像检索。该情况下，例如能够根据广告牌的外观检索相关信息。或者，信息检索部18也可以先使用物体区域的信息从DB中取得该物体的基本信息，再使用该基本信息从DB部109的DB等中进行相关信息的检索。

在DB部109的DB中，例如保存有经由通信部104从外部的通信网络上(例如运营商的数据中心等)取得的信息。另外，如上所述，能够采用进行对外部的DB的检索的方式等各种方式。该DB包括能够进行图像检索的图像DB。在该DB中，例如关联地登录了关于对象物体的图像(物体图像)、与关于该物体的信息(基本信息和相关信息)。

物体图像例如可以采用关于对象物体即广告牌的从正面观看的高品质的基准图像。该情况下，能够使用该基准图像作为原始数据，生成可见度高的AR图像。基本信息在上述特征信息和定义信息之外，例如也可以包括表示设置广告牌的便利店或餐厅等的种类的信息(图9的信息类别的项目等信息)。相关信息例如有关于设置广告牌的店铺等的详细说明信息等。相关信息也可以具有广告牌上记载的字符的信息。该情况下，在提示AR图像时，能够提示关于设置广告牌的店铺等的信息。

可见度判断部12与上述同样地，判断关于物体区域的可见度，进行分类。AR图像生成部13基于其结果，与上述同样地，生成提高了可见度的AR图像，但此时，使用物体的相关信息生成AR图像。AR图像生成部13将从物体区域直接得到的信息和与通过检索得到的相关信息组合，生成可见度高的AR图像。另外，AR图像生成部13在生成AR图像时，也可以使用信息检索部18进行检索。

信息检索部18例如以物体区域的图像为检索条件对DB部109的图像DB进行图像检索，从其检索结果中得到可见度高的物体图像。例如，得到广告牌的正面被高品质地拍摄为矩形的图像。AR图像生成部13使用该图像生成AR图像。AR图像生成部13也可以使用图像加工部14，实施对检索结果的图像的图像加工处理，进一步提高可见度。

图15表示屏幕5的例子。本例中，在屏幕5和图像内，在建筑物32a中的接近道路31的位置设置了广告牌45。对象物体例如设为广告牌45。广告牌45正面朝向驾驶员的视点的方向，但位于比较远的位置，处于记载字符难以辨认的状态。

AR图像55A表示关于广告牌45的AR图像的第一显示例。AR图像55A由AR图像55A1和AR图像55A2构成。AR图像55A以固定位置方式在底边区域R3内的位置显示。AR图像55A1是基于从物体区域直接得到的信息的AR图像。AR图像55A1是为了使广告牌45的记载字符易于辨认、而对物体区域实施放大处理等作为加工处理得到的AR图像。本例中，使用通过OCR处理从广告牌45的物体区域中提取出的字符信息生成了AR图像55A1。广告牌45的记载字符例如是“OPEN10：00～21：00现在OPEN”，是包括开店时间、闭店时间、当前的开店状态等信息的情况。

AR图像55A2是基于物体的相关信息的AR图像。AR图像55A2在例如得到字符信息“餐厅XYZ”作为广告牌45的相关信息的情况下，使用该字符信息，生成可见度高的图像。该相关信息表示设置广告牌45的店铺的种类是餐厅和该店铺的名称“XYZ”。

AR图像55B表示关于广告牌45的AR图像的第二显示例。AR图像55B由AR图像55B1和AR图像55B2构成。AR图像55B以近邻位置方式在广告牌45的近邻的位置(例如左侧)附加引出线地显示。AR图像55B1是基于从物体区域直接得到的信息的AR图像。AR图像55B1是为了使广告牌45的记载字符易于辨认而对物体区域实施放大处理等作为加工处理得到的AR图像。AR图像55B2与AR图像55A2同样是基于物体的相关信息的AR图像。本例中，AR图像55B2在AR图像55B1的下方，显示为虚线框的区域。这些AR图像都是背景透射的区域。

如上所述，根据实施方式4的AR显示装置，能够包括物体的相关信息地，将更详细的信息作为易于辨认的AR图像提示，能够提高驾驶员的AR使用的便利性、附加值。另外，实施方式4中，也能够使用图像检索，使用相对于原本的可见度低的物体不同的、独立的可见度高的图像，生成并显示可见度高的AR图像。因此，即使在难以通过图像加工处理得到可见度高的图像的情况下，也能够提示适当的AR图像。

另外，图像检索时，可以使用Web上的一般的图像检索服务，但如果预先在DB部109的图像DB中维护了可见度高的物体图像，则能够进行高速的处理和适当的AR图像提示。进而，作为变形例，也可以在DB部109的图像DB中，登记对于对象物体预先在各种条件下拍摄到的多个图像。例如，是摄像机镜头性能、拍摄距离、天气等条件不同的图像。在图像DB中，预先关联地登录关于对象物体的可见度不好的状况下的低品质图像、可见度良好的状况下的高品质图像和其他物体信息。由此，能够实现与AR使用时的各种状况对应的适当的AR显示。即使是拍摄状况不好时的低品质图像，也能够通过检索得到高品质图像。

另外，在图像选择部11中从图像中提取物体的判断时，也可以使用信息检索部18的图像检索功能。即，信息检索部18以物体区域的图像为检索条件进行从图像DB的图像检索(换言之是与其他图像组的图像匹配)。图像选择部11能够从该图像检索结果中提取规定的物体(例如广告牌)。

[变形例(1)]

作为实施方式4的变形例能够如下所述。HUD装置1使用图像内的物体的相关信息，判断图像内是否存在与该物体(例如广告牌)关联的空间内的其他物体(例如建筑物)。HUD装置1在能够识别空间内的其他物体的情况下，也可以将这些物体(广告牌和建筑物)关联地提示AR图像。例如，作为与图15的广告牌45关联的建筑物，认为位于其周边的建筑物32a和建筑物32b是候选。例如，信息检索部18也可以从DB中检索位于空间内的以广告牌45的位置信息为中心点的规定半径距离的范围内的建筑物，将检索结果的建筑物作为候选。

进而，信息检索部18也可以使用候选的建筑物的位置信息，从DB中检索该建筑物的信息，判断是否与对象的广告牌关联的建筑物。例如，假设判断广告牌45与建筑物32a关联。

HUD装置1在识别出与广告牌45关联的建筑物32a的情况下，作为该广告牌45的AR图像，生成并显示包括关联的建筑物32a的信息的AR图像。或者，HUD装置1也可以生成关于该建筑物32a的另外的AR图像，将广告牌45的AR图像与建筑物32a的AR图像用引出线等关联地显示。

[变形例(2)]

作为实施方式4的变形例能够如下所述。该变形例中，具有对于DB部109的DB的信息进行维护更新的功能。假设DB部109的DB设置在外部的通信网络上、例如数据中心的DB服务器中。运营商管理该DB。多辆汽车的用户使用同一服务，车载系统100以共用该同一DB的方式进行访问。该DB基于根据用各用户的汽车拍摄到的图像得到的物体的信息，将物体的图像和信息更新为最新状态。

例如，广告牌存在设置位置改变的情况，也存在记载内容改变的情况。另外，建筑物也存在建设中等、外观的状态改变的情况。车辆导航部106的DB的地图信息等，在登录内容尚未更新的情况下，不能实时地得到现实的最新的物体的信息。于是，该变形例中，具有为了尽快地应对物体的外观变化、而将DB部109的DB的信息内容更新为最新状态的功能。由此，各用户在使用AR功能时，可以得到最新状态的物体的信息作为AR图像，便利性提高。与此同时，运营商的DB的维护作业也变得容易。

在数据中心的DB部109的DB中，关联地登录位置和方向的信息、物体的外观是否变更和变更日期时间等信息、物体的外观变更时的最新的物体区域的图像等，作为物体的信息和图像。另外，在DB中，也可以预先登录关于物体图像的摄像机2的拍摄方向等信息。也可以预先登录从各方向拍摄同一物体的多个物体图像。

HUD装置1从摄像机2的图像中提取最新状态的物体区域。信息检索部18使用该物体区域的图像和信息，经由通信部104检索DB部109的DB。信息检索部18对数据中心的服务器发送物体的最新状态的信息。数据中心的服务器接收该信息，确认DB的登记信息，在判断发生物体的外观等的变更的情况下，将DB的登记信息更新为最新状态。

在AR提示时，能够使用从DB中取得的物体信息和物体图像，显示可见度高的最新状态的AR图像。另外，在使用拍摄方向不同的多个物体图像的情况下，能够生成与从本车到物体的方向相应的适当的AR图像。

[变形例(3)]

作为实施方式4的变形例能够如下所述。该变形例中，能够以在DB109的DB的地图信息中反映的方式登记实际空间内的移动物体的变动的位置，在自己或包括自己的多个用户之间共享。作为移动物体，例如能够将驾驶员的家人和认识的人等人驾驶的其他汽车设定为对象。对象的车辆或人能够预先以图像形式设定。另外，作为应用例，也能够用于车辆或人的搜索。另外，作为应用例，也能够用于天气和拥堵等状况的登录。

HUD装置1检测关于用摄像机2拍摄到的图像内的物体的空间内的位置。例如，能够基于本车的位置信息与图像内的物体的位置的关系，以一定程度的精度计算物体的位置。另外，如果使用地图上的已知的物体的位置，则能够高精度地检测对象物体的位置。

HUD装置1例如访问外部的数据中心的DB109的DB的地图信息。然后，HUD装置1将包括本车的位置、检测出的物体的位置、外观的图像、传感器信息等的信息登录在DB的地图信息中。数据中心的服务器进行该DB的信息的登记和更新、状况的统计等。各用户的车载系统100能够访问使用更新后的DB的地图信息。各用户可以得到其他人的车辆等的最新信息作为AR图像。

以上，基于实施方式具体地说明了本发明，但本发明不限定于上述实施方式，能够在不脱离其主旨的范围内进行各种变更。能够进行实施方式的构成要素的追加和删除、分离和合并、置换、组合等。实施方式的具体例的数值等是一例。对于实施方式的功能等，可以用集成电路等硬件实现一部分或全部，也可以用软件程序处理实现。各软件可以在产品出厂时预先保存在装置内，也可以在产品出厂后从外部装置经由通信取得。本发明不限于车载系统，能够应用于各种用途。

附图标记说明

1…HUD装置(AR显示装置)，2…摄像机，3…摄像机，5…屏幕，9…挡风玻璃，10…控制部，11…图像选择部，12…可见度判断部，13…AR图像生成部，14…图像加工部，15…AR显示部，20…显示部，21…显示驱动电路，22…显示元件，23…光源，24…光学系统，100…车载系统，101…ECU，102…车外拍摄部，103…影像数据存储部，104…通信部，105…GPS接收器，106…车辆导航部，107…驾驶员拍摄部，108…传感器部，109…DB部。

Claims (15)

1.一种具有AR功能的AR显示装置，其中所述AR功能是在能够透射外界的实景的屏幕上重叠显示增强现实的图像信息的功能，所述AR显示装置的特征在于，包括：

输入由摄像机拍摄到的图像，并从所述图像中选择规定的物体的区域而将其提取出的图像选择部；

基于指标值判断用户对所述提取出的所述物体的区域的可见度的可见度判断部；

AR图像生成部，其基于所述物体的区域的可见度，实施用于提高对所述物体的区域的所述可见度的图像加工处理，来生成作为关于所述物体的所述增强现实的图像信息的AR图像；和

在透射所述外界的实景的屏幕上重叠显示所述AR图像的AR显示部，

进行控制，以使得与所述可见度相应地改变所述AR图像显示与否和所述图像加工处理的内容。

2.如权利要求1所述的AR显示装置，其特征在于：

按照所述可见度的所述指标值的大小将所述物体分为第一类和第二类的至少2类，

对于所述第一类的所述物体，进行控制，以使得所述AR图像不显示或者不实施所述物体的区域的所述图像加工处理而生成并显示所述AR图像，

对于所述第二类的所述物体，进行控制，以使得实施所述物体的区域的所述图像加工处理而生成并显示所述AR图像。

3.如权利要求1所述的AR显示装置，其特征在于：

按照所述可见度的所述指标值的大小将所述物体分为第一类、第二类和第三类的至少3类，

对于所述第一类的所述物体，进行控制，以使得所述AR图像不显示或者不实施所述物体的区域的所述图像加工处理而生成并显示所述AR图像，

对于所述第二类的所述物体，进行控制，以使得实施所述物体的区域的第一加工处理而生成并显示所述AR图像，

对于所述第三类的所述物体，进行控制，以使得实施所述物体的区域的第二加工处理而生成并显示所述AR图像。

4.如权利要求1所述的AR显示装置，其特征在于：

使用所述摄像机或所述用户的视点与所述物体的距离、所述图像内的所述物体的大小、以及位置中的至少一者来计算所述可见度的所述指标值。

5.如权利要求1所述的AR显示装置，其特征在于：

在所述屏幕内设有中央区域，

在所述屏幕内的所述中央区域的外侧的位置，以附加将所述物体的区域与所述AR图像连结的线的形式显示所述AR图像。

6.如权利要求1所述的AR显示装置，其特征在于：

所述图像加工处理包括将所述物体的区域的图像放大的放大处理、对所述物体的区域的图像进行锐化的锐化处理、对比度变更处理和色调变更处理中的至少一者。

7.如权利要求1所述的AR显示装置，其特征在于：

所述图像加工处理包括使用从所述物体的区域的图像中提取出的字符信息来生成字符图像的OCR处理。

8.如权利要求1所述的AR显示装置，其特征在于：

所述图像加工处理包括将所述物体的区域的图像的姿态变换为从所述用户的视点来看成为正面的状态的姿态变更处理。

9.如权利要求1所述的AR显示装置，其特征在于：

判断在所述图像内所述物体的区域移动时的移动速度，与所述移动速度相应地进行控制，以使得所述AR图像的显示位置成为静止位置。

10.如权利要求1所述的AR显示装置，其特征在于：

具有视线追踪部，其追踪所述用户的视线，以注视点为中心来设定视线中心范围，所述注视点是所述视线的前方与所述屏幕的交点，

所述图像选择部从所述视线中心范围提取所述物体的区域。

11.如权利要求1所述的AR显示装置，其特征在于：

具有信息检索部，其能够对登记有关于所述物体的基本信息和相关信息的DB进行检索，

基于从所述图像中提取出的所述物体的区域的信息来检索所述DB，并使用检索结果信息来生成包括所述物体的所述基本信息或所述相关信息的所述AR图像。

12.如权利要求11所述的AR显示装置，其特征在于：

在所述DB中还登记有所述物体的物体图像，

基于从所述图像中提取出的所述物体的区域的图像来对所述DB进行图像检索，并使用检索结果的所述物体图像来生成所述AR图像。

13.如权利要求1所述的AR显示装置，其特征在于：

其是能够搭载于车载系统的平视显示装置，

具有对形成在汽车的挡风玻璃上的所述屏幕进行投影显示的显示部。

14.如权利要求1所述的AR显示装置，其特征在于：

所述物体包括广告牌。

15.一种具有AR功能的AR显示装置中的AR显示方法，其中所述AR功能是在能够透射外界的实景的屏幕上重叠显示增强现实的图像信息的功能，所述AR显示方法的特征在于，包括：

输入由摄像机拍摄到的图像，并从所述图像中选择规定的物体的区域而将其提取出的图像选择步骤；

基于指标值判断用户对所述提取出的所述物体的区域的可见度的可见度判断步骤；

AR图像生成步骤，基于所述物体的区域的可见度，实施用于提高对所述物体的区域的所述可见度的图像加工处理，来生成作为关于所述物体的所述增强现实的图像信息的AR图像；和

在透射所述外界的实景的屏幕上重叠显示所述AR图像的AR显示步骤，

进行控制，以使得与所述可见度相应地改变所述AR图像显示与否和所述图像加工处理的内容。