CN102365187B

CN102365187B - 信息显示装置

Info

Publication number: CN102365187B
Application number: CN201080014283.5A
Authority: CN
Inventors: 佐藤裕司; 石川健
Original assignee: Aisin AW Co Ltd; Equos Research Co Ltd
Current assignee: Aisin AW Co Ltd; Equos Research Co Ltd
Priority date: 2009-03-30
Filing date: 2010-03-26
Publication date: 2014-08-06
Anticipated expiration: 2030-03-26
Also published as: JP2010256878A; CN102365187A; US20120050138A1; US8558758B2; WO2010113788A1; EP2415625A1; EP2415625A4

Abstract

本发明提供一种能够提高重叠显示的位置精度的信息显示装置。在本导航装置中，利用位置关系检测部10d，获取重叠显示的对象物在风景中应该存在的实际位置与车辆的位置的关系的位置信息，利用车辆姿态检测ECU40，获取车辆的姿态信息，利用脸部朝向识别ECU30获取驾驶员的脸部朝向信息。利用显示位置确定部10f，基于位置信息、姿态信息和脸部朝向信息，确定HMD17和HUD18中的对象物的显示位置，利用显示图像生成部10g，在HMD17等中进行控制，在该显示位置处显示对象物。这样，基于该对象物在风景中的存在位置P，包括驾驶员的脸部朝向和车辆的姿态，确定对象物的显示位置，因此即使由于例如车辆跳跃，从驾驶员处观察的车辆外的风景发生变化，也能够追踪风景变化，进行重叠显示，从而提高重叠显示的位置精度。

Description

信息显示装置

技术领域

本发明涉及一种将表示规定信息的信息像与从驾驶员处观察到的车辆外的风景重叠在一起进行显示的信息显示装置。

背景技术

以前，作为将表示规定信息的信息像与从驾驶员处观察到的车辆外的风景重叠在一起进行显示的信息显示装置，存在例如下面专利文献1公布的“车上显示装置”。在该技术中，在图像上识别出2台车载摄像机拍摄的驾驶员的脸部，检测出视点位置，相对于视点的位置变化，移动显示信息的位置，调整其大小。这样，即使驾驶员的姿态发生变化，也可以防止重叠显示的信息中出现位置偏移。

[专利文献1]日本专利特开平6-247184号公报

发明内容

但是，该公开技术没有考虑到该车辆的动作和姿态。因此，例如当行驶中的路面上存在凹凸等时，该车辆上下移动或者跳跃，车辆外的风景会发生变化。此时，一般来说，由于车载摄像机也会与驾驶员一起上下运动，因此难以防止重叠显示的信息出现位置偏移。

还有，当该车辆在坡度(倾斜)较大的坡路上上坡或下坡时，由于车辆的前方部分本身会上下移动，前方风景大幅度变化，从而显示信息的位置与重叠的风景中的显示位置的位置关系也可能变动。这样，如果只是单纯地基于驾驶员的视点的位置变化，移动显示信息的位置，或者调整其大小，则很难追踪这种风景变化进行重叠显示。

即，在上述专利文献1所公布的“车上显示装置”中，如果考虑到该车辆的动作、姿态或重叠的风景中的显示位置的变动等，则难以提高重叠显示的位置精度。

本发明的目的在于解决上述问题，提供能够提高重叠显示的位置精度的信息显示装置。

解决问题的手段

为了实现上述目的，采用本发明之一的技术方案。根据该方案，利用位置信息获取机构，作为位置信息获取重叠显示的信息像在风景中应该存在的实际位置与该车辆的位置的关系，利用姿态信息获取机构，获取车辆的姿态信息，利用脸部朝向信息获取机构，获取驾驶员的脸部朝向信息。并且，利用显示位置确定机构，基于位置信息、姿态信息和脸部朝向信息，确定通过显示机构显示的信息像的显示位置，利用显示控制机构，在显示机构中对在通过显示位置确定机构所确定的显示位置处显示信息像进行控制。这样，对于通过显示机构所显示的信息像，基于信息像在风景中应该存在的实际位置，包括驾驶员的脸部朝向和车辆的姿态，确定其显示位置，因此即使由于例如该车辆上下移动或跳跃，从驾驶员处观察到的车辆外的风景发生变化，也能够追踪该风景变化，进行重叠显示。

还有，采用本发明之二的技术方案。根据该方案，位置信息获取机构基于构成风景的道路、信号机、标识、建筑物、河川、以及其它包含在地图信息中的信息，或者路径引导地点、目的地地点、以及其它的上述车辆的路径引导信息，获取位置信息。这样，对于这些信息，可以在不利用车载摄像机、毫米波传感器、或者超声波传感器等检测机构的情况下，获得位置信息。作为地图信息的具体例，可以举出例如构成搭载在车辆上的类型(以下“车载型”)的导航装置的地图数据库、从信息中心发送来的地图数据等。还有，作为路径引导信息，可以举出利用这种导航装置搜索的、从该车辆的出发地(或者该车辆的现在地)至目的地的最短距离或最短时间能够到达的路径、即关于最短距离路径或最短时间路径的引导数据，例如行进方向箭头或目的地地点标记等。

还有，采用本发明之三的技术方案。根据该方案，显示控制机构能够利用信息像配置机构在虚拟空间中配置信息像，利用显示对象选择机构，通过包围小于虚拟空间的区域、可以设定在虚拟空间内的任意位置处的显示框，将该框内存在的信息像输出到显示机构。并且，基于利用显示位置确定机构所确定的显示位置，确定显示框的位置。这样，如果将信息像暂且配置到虚拟空间，作为之后的处理，只要基于利用显示位置确定机构得到的显示位置变更显示框的位置即可。

发明效果

在本发明之一的发明中，通过显示机构所显示的信息像基于该车辆的姿态和信息像在风景中应该存在的实际位置，包括驾驶员的脸部朝向和车辆的姿态，确定其显示位置，因此即使由于例如该车辆上下移动或跳跃，从驾驶员处观察到的车辆外的风景发生变化，也能够追踪该风景变化，进行重叠显示。所以，能够提高重叠显示的位置精度。

在本发明之二的发明中，对于道路、信号机、标识、建筑物、河川、以及其它包含在地图信息中的信息，可以在不利用车载摄像机、毫米波传感器、或者超声波传感器等检测机构的情况下，获得位置信息。所以，通过从构成导航装置等的地图数据库获取这些信息，能够简化装置结构。

在本发明之三的发明中，如果将信息像暂且配置到虚拟空间，作为之后的处理，只要基于利用显示位置确定机构得到的显示位置，变更显示框的位置即可，因此，与不利用该虚拟空间、而是基于显示位置确定机构得到的显示位置、判断每个信息像是否进入显示框的情况相比，能够简化与显示控制机构相关的算法。

附图说明

图1是表示与本发明的实施形态有关的导航装置(以下“本导航装置”)的结构例的说明图。

图2是表示本导航装置的重叠显示功能的概念等的说明图。

图3是表示重叠显示处理的流程的流程图。

图4是表示图3所示的显示图像生成处理的流程的流程图。

图5是表示本导航装置的重叠显示例等的说明图。

图6是说明对象物的输出目的地为HMD时的显示位置确定处理的处理例的说明图。

图7是说明对象物的输出目的地为HUD时的显示位置确定处理的处理例的说明图。

图8是说明作为脸部朝向信息考虑了驾驶员的视点的位置变化的显示位置确定处理的其它处理例的说明图。

图9是表示图8所示的显示位置确定处理的其它信息处理例的流程的流程图。

实施方式

以下，基于各图，对在车辆搭载型的导航装置的显示器及其显示控制中应用本发明的信息显示装置的实施方式进行说明。首先，参照图1，说明本导航装置的结构例。

如图1所示，本导航装置以导航ECU10为中心，由输入装置11、GPS12和车速传感器13等的各种传感器、HMD17、地图数据库20、脸部朝向识别ECU30、车辆姿态检测ECU40、监视器ECU50等构成。

导航ECU10是由CPU、半导体存储器、输出输入接口、LAN接口等(以下“CPU等”)构成的电子控制装置，具有控制导航装置整体的功能。基本的功能为引导地理最短路径的功能，即导航功能，通过导航部10a和车辆位置检测部10b来实现。另外，该导航部10a和车辆位置检测部10b通过将规定的程序加载到半导体存储器中并让CPU进行运行来发挥功能。

即，在导航部10a中，基于从地图数据库20获得的地图数据，搜索从利用车辆位置检测部10b获得的该车辆的现在位置(出发地)至利用输入装置11输入的目的地的最短距离路径，然后将该最短路径和其引导信息输出到监视器50。这样，该车辆的驾驶员通过监视器50的监视器图像或合成声音，接收从现在地至目的地的路径引导。另外，也可以利用输入装置11输入出发地。

本导航装置除了这样的导航ECU10的基本功能，还具有例如将行驶中的路面的道路标示或利用导航功能的引导显示等(表示规定信息的信息像)与驾驶员观察到的车辆外的风景重叠在一起进行显示的功能(以下“重叠显示功能”)。该功能与导航部10a一样，通过将与车辆位置检测部10b、显示信息获取部10c、位置关系检测部10d、3D图像变换部10e、显示位置确定部10f和显示图像生成部10g对应的各种程序分别加载到半导体存储器中并让CPU进行运行来实现。

GPS12具有利用由纬度和经度构成的绝对座标值检测该车辆的现在位置的功能，为利用人造卫星的全球定位系统。还有，车速传感器13按照与该车辆的速度(车速)成正比的周期，输出车速脉冲，从而检测自车的车速。陀螺仪传感器14具有检测角速度的功能，当不能利用GPS12时，可以检测自车的行进方向。也可以采用检测地磁场从而检测行进方向的地磁场传感器。另外，这些装置经由基于例如CAN等的规定的通信协议的车载LAN，向导航ECU10传送数据。

后部摄像机15用于拍摄该车辆的后方图像，即自车正在行驶的道路，通过向车辆位置检测部10b输出该影像中所包含的车道标志(车道边界线)的图像信息，能够确定自车的行驶车道(车线)位置。该后部摄像机15也经由车载LAN，与导航ECU10进行数据通信。另外，利用后部摄像机15的行驶车道的图像识别技术为众所周知的技术，对于其具体结构，省略说明。

HMD17为可以安装在该车辆的驾驶员的头部的头部安装式显示器。在本实施方式中，采用以眼镜型向驾驶员的一只眼睛的视网膜上投影直接成像的视网膜投影类型。只要是头部安装式显示器，也可以采用以眼镜型利用小型的半反射镜等投影虚像的虚像投影类型。

HUD18是可以将影像投影到该车辆的前挡风玻璃上的构成在仪表盘上部的平视显示器。在本实施形态中，可以在驾驶员的视野(车辆前方视野)的大致全面范围内，重叠在车外的风景上进行显示(重叠显示)。

另外，HMD17、HUD18通常是二者选一。在该车辆上设置其中某一个。还有，HMD17或HUD18本身均由众所周知的技术所构成，省略其结构等的说明。这些装置与导航ECU10之间通过例如专用的高速串行数据总线连接在一起，从而可以高速传送大容量的图像数据。

地图数据库20为CD或DVD等构成的较大容量的磁性或光的信息存储介质，存储着导航部10a的路径搜索或路径引导所需的地图数据。在本实施形态中，存储着例如道路、信号机、标识(包括在步行天桥或建筑物等上设置的道路标识)、标示(包括在路面上显示的道路表示)、建筑物、河川、以及其它的信息。另外，作为关于道路的信息，也包括道路种类(高速道路、主要干线道路、细街道路等)、道路宽度、车道数量、倾斜角度、限制速度、通行方向限制、通行限制时间带等，还有信号机或标识的高度，另外还有大厦或铁塔等建筑物的高度信息。

还有，在本实施形态中，作为道路的车道信息，在地图数据库20中存储着在路面标示的由线的纬度、经度构成的绝对座标值、车线颜色(白色、黄色等)、车线种类(虚线、实线、双线等)等。地图数据库20通过例如并行数据总线，与导航ECU10连接。

脸部朝向识别ECU30是具有多台能够以脸部(头部)为中心对驾驶员的上半身进行拍摄的图中未显示的车载摄影机的电子控制装置，与导航ECU10一样，具有CPU等。并且，利用规定的图像处理程序，基于所拍摄的图像信息，将驾驶员的双眼间的中心作为视点，基于该视点的移动方向(角度)、速度，检测该驾驶员的脸部的朝向(脸部朝向)。另外，脸部朝向识别ECU30可以相当于权利要求书所记载的“脸部朝向信息获取机构”。

在本实施形态中，作为检测脸部朝向的要素，采用例如头部的3种转动量(横摆、俯仰、侧摆)、和头部的3种移动量(不伴随转动的前后方向、左右方向、上下方向的平行移动量)。即，利用后述的6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数，检测驾驶员的脸部朝向信息。

车辆姿态检测ECU40是具有多个能够检测该车辆的动作的图中未显示的传感器的电子控制装置，与导航ECU10一样，具有CPU等。在本实施形态中，作为传感器，采用陀螺仪传感器、G传感器、横摆速率传感器等能够检测该车辆的转动量和移动量的传感器。通过检测该车辆的动作，其结果，检测该车辆的姿态信息。即，与上述的驾驶员的脸部朝向一样，利用6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数，检测车辆的姿态信息。后面将叙述这些内容。另外，车辆动作检测ECU40可以相当于权利要求书所记载的“姿态信息获取机构”。

监视器ECU50是具有能够显示经由车载LAN输入的图像信息的图中未显示的监视器画面(液晶显示器或等离子体显示器)的电子控制装置，与导航ECU10一样，具有CPU等。在本实施形态中，接收从导航ECU10输出的路径引导信息，将最短路径或其引导信息向驾驶员进行显示，让其能够辨认。

这里，参照图2，说明利用本导航装置的重叠显示功能，同时说明实现本功能的车辆位置检测部10b、显示信息获取部10c、位置关系检测部10d、3D图像变换部10e、显示位置确定部10f以及显示图像生成部10g的概要。

如图2(A)-图2(C)所示，在本实施形态的重叠显示功能中，基于重叠显示的对象物(信息像)J在该车辆K的风景中应该存在的实际位置P，包含驾驶员D的脸部朝向和车辆K的姿态来确定重叠显示的位置。因此，作为重叠显示的对象物J在风景中应该存在的实际位置P与该车辆的位置Q的位置关系，获取由二者之间的相隔距离L、高低差V和左右差H构成的位置信息，并且获取驾驶员D的脸部朝向信息和车辆K的姿态信息，基于这些位置信息、姿态信息和脸部朝向信息，确定HMD17和HUD18中的对象物J的显示位置。另外，高低差V是相对于行进方向基准轴X的垂直面(X-Z平面)内的偏离量。左右差H是相对于行进方向基准轴X的水平面(X-Y平面)内的偏离量。

这样，通过HMD17等显示的对象物J基于对象物J在风景中应该存在的实际位置，包含驾驶员D的脸部朝向和车辆K的姿态来确定其显示位置，因此即使当例如该车辆K上下移动或跳跃，使得从驾驶员D处观察的车辆外的风景出现变化，也能够追踪这种风景变化，进行重叠显示。本实施形态中，为了能够进行这种重叠显示，在导航ECU10中，装备有车辆位置检测部10b、显示信息获取部10c、位置关系检测部10d等。

车辆位置检测部10b具有确定自车位置的功能。例如，基于从地图数据库20获取的地图信息、和从GPS12获取的纬度、经度的绝对座标值信息、取得该车辆K正在行驶的道路信息、相对于某个基准点的前后方向位置(例如，从自车的位置至前方交叉点的距离)，同时比较该道路信息中包含的车道信息(路面上标示的线的绝对座标值、线色、线种等)与从后部摄像机15获得的车道的图像信息，确定该车辆K的左右方向位置(行驶车道位置)。这样，可以确定例如自车K正在距前方的交叉点多少米的哪条车道上行驶。

显示信息获取部10c具有从地图数据库20或外部获取重叠显示的对象物J的功能。对象物J中，除了从地图数据库20获取的信息，还包含有例如利用上述导航部10a生成的图像或文字的引导信息(例如，表示推荐路径的行驶方向的箭头标志或文字等)、从车载摄像机、毫米波传感器或超声波传感器等获得的前方的车辆或行人的位置信息。另外，通过从地图数据库20获取有关对象物J的信息，与另外设置车载摄像机等的情况相比，可以简化装置结构。

位置关系检测部10d具有作为位置信息获取重叠显示的对象物J在车辆外的风景中应该存在的实际位置与自车位置(该车辆K的位置)的关系的功能。例如，如图2(A)所示，作为在该车辆K的前方风景中，对象物J应该存在的实际位置P与该车辆的位置Q的位置关系，获取位置信息(间隔距离L、高低差V、左右差H)。另外，高低差V因例如道路坡度(倾斜角度)所产生，作为该车辆K的相对于行进方向基准轴X的垂直面(X-Z平面)内的偏离量而被把握，因此可以将其作为从设定在该车辆K上的基准点观察的角度θv来得到。另外，位置关系检测部10d可以相当于权利要求书所记载的“位置信息获取机构”。

由地图数据库20、导航部10a来确定对象物J在前方风景中应该存在的实际位置。例如，从地图数据库20中，获取构成前方风景的道路、信号机、标识、建筑物、河川、以及其它包含在地图信息中的信息，因此可以基于这些信息确定实际位置。还有，从导航部10a中，获取上述的最短路径的引导信息(表示行驶方向的箭头标志的地点(路径引导地点)或表示目的地标志的地点(目的地地点))，因此，由此来确定实际位置。另外，在地图信息中，有的自身包含有高度信息，同样，在引导信息中，对于象目的地标志那样在目的地建筑物的侧面进行显示或者将目的地建筑物包围起来进行显示的情况，也具有高度信息。还有，也可以从地图数据库20和导航部10a二者中获取这些信息，确定实际位置。即，可以由地图数据库20和导航部10a的至少一方，确定前方风景中的实际位置。

3D图像变换部10e具有的功能可以基于从显示信息获取部10c输出的重叠显示的对象物J的信息，将该对象物J变换成三维图象，或者生成二维图像本身，以使从驾驶员D的视线观察到立体(三维)形状。即，对于对象物J来说，没有高度的物体(例如，路面标示等)通常作为二维信息存储在地图数据库20中，因此基于该信息，生成相当的二维图像。还有，即使存在高度信息，但是如“远景小看上去为平面的，近景变大看上去为立体的”那样，根据间隔距离L的大小，使得从驾驶员D能够辨认的大小和视觉印象出现不同，因此即使是二维图像，也可以基于间隔距离L进行三维图象变换处理。另外，由于该三维图像变换处理采用众所周知的方法，因此省略信息处理的详细内容。

显示位置确定部10f具有基于位置信息、姿态信息和脸部朝向信息，确定HMD17等中的对象物J的显示位置的功能。这里，驾驶员D的“脸部朝向信息”利用从上述脸部朝向识别ECU30输出的6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数，检测驾驶员D的脸部朝向，因此参照图2(B)说明这些参数。另外，显示位置确定部10f可以相当于权利要求书所记载的“显示位置确定机构”。

如图2(B)所示，当驾驶员D的脸部正面朝着车辆K的前方时，规定通过连接驾驶员D的两肩的直线的中点的车辆前后方向为X轴，通过该中心的车辆左右方向为Y轴，通过该中心的车辆高度方向为Z轴。这样，分别定义(1)头部的横摆转动量为绕Z轴(X-Y平面)的转动量，(2)头部的俯仰转动量为绕Y轴(X-Z平面)的转动量，(3)头部的侧摆转动量为绕X轴(Y-Z平面)的转动量。还有，作为分别相对于XYZ的3轴的平行移动，分别定义(4)头部的前后移动量为X轴方向的移动量，(5)头部的左右移动量为Y轴方向的移动量，(6)头部的上下移动量为Z轴方向的移动量。通过这样定义3种转动量和3种移动量共计6种参数，可以准确地获取驾驶员D的脸部朝向信息。另外，由于即使只有横摆、俯仰、侧摆的转动量，也可以获取驾驶员D的脸部朝向信息，因此当希望简化信息处理优先而不是精度优先时，也可以只用3种转动量来获取驾驶员D的脸部朝向信息。

还有，对于该车辆K的“姿态信息”，利用上述的车辆姿态检测ECU40输出的也是6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)的参数，进行检测。

即，如图2(C)所示，规定以车辆K停在道路的中心(如果有道路边界线L时，则为左右的道路边界线L的中心)时的侧倾中心为X轴，与路面水平地通过X轴(例如，在X轴上的前后方向重心位置)且与道路边界线L垂直的线段为Y轴，通过X轴与Y轴的交点的垂直于路面的线段为Z轴。这样，分别定义(1)车辆的横摆转动量为绕Z轴(X-Y平面)的转动量，(2)车辆的俯仰转动量为绕Y轴(X-Z平面)的转动量，(3)车辆的侧摆转动量为绕X轴(Y-Z平面)的转动量，(4)车辆的前后移动量为X轴方向的移动量，(5)车辆的左右移动量为Y轴方向的移动量，(6)车辆的上下移动量为Z轴方向的移动量。与驾驶员D的“脸部朝向信息”一样，通过这样定义3种转动量和3种移动量共计6种参数，可以准确地获取车辆K的姿态信息。另外，由于即使只有横摆、俯仰、侧摆的转动量，也可以获取车辆K的姿态信息，因此当希望简化信息处理优先而不是精度优先时，也可以只用3种转动量来获取车辆K的姿态信息。

显示图像生成部10g具有在HMD17等中进行控制，以在显示位置确定部10f所确定的对象物J的显示位置处显示对象物J的动能。对于该功能，有2种方式，后面将参照图4详细叙述。另外，显示图像生成部10g可以相当于权利要求书所记载的“显示控制机构”。

通过这样构成导航装置，如图3所示，可以利用导航ECU10进行重叠显示处理。该处理在例如接通导航ECU10的电源之后，与上述的导航部10a同时进行启动，进行规定的初始化处理，对由半导体存储器确保的工作区域和寄存器的标志等进行清除，然后按照例如100毫秒的间隔，循环进行下面说明的步骤S101-S119的处理。

如图3所示，在重叠显示处理中，首先进行步骤S101的车辆位置检测处理。该处理为确定自车位置，利用上述的车辆位置检测部10b来进行。在本实施形态中，利用车辆K的前后方向位置和左右方向位置，确定自车的现在的绝对座标值和现在正在行驶的道路的车道位置。

在步骤S103，进行显示信息获取处理。该处理利用上述的显示信息获取部10c，从地图数据库20等获取重叠显示的对象物J的信息(规定信息)。当作为对象物J从地图数据库20获取该车辆K现在行驶的路面上的路面标示(例如，斑马线(行人横道线))时，基于在步骤S101获得的自车位置，获取在自车的前方附近存在的该斑马线的纬度、经度的绝对座标值信息。

在下一个步骤S107，进行显示器类型判定处理。该处理根据预先在系统中设定的导航ECU10的硬件构成信息，判断与该导航ECU10连接的显示器是否是HMD或HUD。如果连接的是HMD17或HUD18(S107；是)，由于需要进行脸部朝向检测处理，则转移到下面的步骤S109的处理。

与此对应，如果与该导航ECU10连接的既不是HMD17也不是HUD18(S107；否)，由于输出到导航ECU10的监视器ECU50，不需要进行步骤S109的脸部朝向检测处理，因此跳过该步骤，转移到步骤S111的处理。

这里，假定HMD17与导航ECU10连接，利用步骤S109进行脸部朝向检测处理。该处理利用脸部朝向识别ECU30进行，如上所述，利用6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数，作为脸部朝向信息，检测驾驶员D的脸部朝向。这里，假设驾驶员D的脸部朝向为向上转动10°(俯仰转动量为+10°)。另外，该步骤S109可以相当于权利要求书所记载的“脸部朝向信息获取机构”。

接着，在步骤S111，进行车辆姿态检测处理。该处理利用车辆姿态检测ECU40进行。如上所述，利用6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数，作为姿态信息，检测该车辆K的动作。这里，假设车辆K为在前方向下转动5°(俯仰转动量为-5°)。另外，该步骤S111可以相当于权利要求书所记载的“姿态信息获取机构”。

接着，在步骤S113，进行位置关系检测处理。该处理利用上述的位置关系检测部10d，作为位置信息获取对象物J在车辆外的风景中应该存在的实际位置与自车位置(该车辆K的位置)的关系。在前面的例中，作为对象物J与该车辆K的位置Q的位置关系，假定例如间隔距离L为50m，道路的倾斜角度θv为上坡3°，则存在该倾斜角度部分的高低差V。还有，相对于车辆K的行进方向(上述X轴)位于正面，左右差H为0m。另外，该步骤S113可以相当于权利要求书所记载的“位置信息获取机构”。

在步骤S114，进行3D图像变换处理。该处理利用上述的3D图像变换部10e进行，基于自车位置与对象物J的间隔距离L，进行图像变换，使得从驾驶员D的视线观察为立体形状。在前面的斑马线的例中，基于间隔距离L(例如50m)，将平面的矩形形状的斑马线变换为从驾驶员D的视线观察为梯形形状的三维图像。

在步骤S115，进行显示位置确定处理。该处理利用显示位置确定部10f进行，如图1所示，基于脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，确定变换为三维图像的对象物J的显示位置。具体来说，对于6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数的每个，分别进行加法运算。另外，对前后移动量加上间隔距离L，对左右移动量加上左右差H。还有，作为距离获得高低差V时，要加到上下移动量。作为倾斜角度获得高低差V时，要加到俯仰转动量。

例如，在前面的情况中，驾驶员D的脸部朝向为向上转动10°(俯仰转动量为+10°)，车辆K为在前方向下转动5°(俯仰转动量为-5°)，另外，作为对象物J与车辆K的位置关系，道路的倾斜角度θv为上坡3°，因此，围绕Y轴(俯仰)的转动量共计为+8°(＝10+(-5)+3)，围绕X轴(侧摆)和Z轴(横摆)的转动量均为0°。因此，确定对象物J在HMD17的显示位置为围绕Y轴(俯仰)+8°的向上转动的位置。在该例中，为了容易理解，将驾驶员D的脸部朝向的偏移方向与车辆K的姿态的偏移方向设定为相同的围绕Y轴(俯仰)的方向。

接着，在步骤S117，进行显示图像生成处理。该详细内容在图4中详细记载，这里参照图4和图5进行说明。另外，该步骤S117和下面的步骤S119可以相当于权利要求书所记载的“显示控制机构”。

如图4(A)所示，在显示图像生成处理中，首先利用步骤S201、S203，将从驾驶员处观察的该车辆K的前方风景中所包含的能够作为重叠显示的对象的对象全部配置在虚拟空间VA内。该虚拟空间VA为在例如导航ECU10的半导体存储器的工作区域内确保的用于信息处理的存储区域。例如，作为虚拟空间VA的概念，如图5(A)、图5(B)所示。

另外，图5(C)所示的虚拟空间VA内的对象物J和风景并不意味着全部配置在虚拟空间VA内，而是假定进入了虚拟空间VA的内容全部被显示出来的说明图，是表示虚拟空间VA的范围的尺度。该步骤S201可以相当于权利要求书所记载的“信息像配置机构”。

结束了步骤S201的配置后(S203；是)，接着利用步骤S205，获取显示框DW的位置。该显示框DW包围小于虚拟空间VA的区域，可以设定于虚拟空间VA内的任意位置。这里，该显示框DW的位置为上述步骤S115所确定的对象物J的显示位置，基于此，利用步骤S207变更显示框DW的设定位置。另外，步骤S207将该显示框DW内的对象物J作为步骤S119的输出到显示器的对象，从这一点来说，该步骤S207可以相当于权利要求书所记载的“显示对象选择机构”。

例如，在前面的情况中，由于对象物J在HMD17中的显示位置被确定为围绕Y轴(俯仰)+8°的向上转动的位置，因此显示框DW的位置从图5(A)所示的显示框DW的位置变更为向上方向转动8°的位置(图5(B))。即，驾驶员D的视线移动到向上方向转动8°的位置，其结果，对象物J(斑马线)感觉上更靠近该车辆K。另外，图5(A)、图5(B)所示的虚拟空间VA内的虚线是为了方便表示车辆K正在行驶的道路的两侧位置，而不是作为对象物J而被显示的内容。

结束该处理后，转移到图3所示的步骤S119的处理，将该显示框DW内的对象物J输出到HMD17或HUD18。这样，在HMD17中，路面的假想的道路标示等(对象物J)在实际的存在位置P处与周围的风景重叠显示，因此该车辆K的驾驶员D在由于例如夜间行驶等前方视野不好的情况时，也能够辨认这些道路标示等(对象物J)。还有，除了路面的假想的道路标示等之外，对于利用导航ECU10的导航部10a引导的路径引导显示(例如，表示推荐路径的行驶方向的箭头标示和文字信息)，同样重叠显示在驾驶员D的视野范围内，因此在驾驶员D的注意力不需要集中到监视器ECU50的监视器画面的情况下，就可以告知其内容。

另外，通过步骤S107的显示器类型判定处理，当HMD17或HUD18没有与导航ECU10连接时，利用该步骤S119，将该显示框DW内的对象物J输出到监视器ECU50。另外，此时，需要利用图中未显示的车载摄像机拍摄图5(C)所示的车辆K的前方风景并将其反映在该监视器ECU50的监视器画面上，对象物J与其重叠地被显示。

如上说明，本导航装置中，利用位置关系检测部10d，获取重叠显示的对象物J(信息像)在风景中应该存在的实际位置P与该车辆K的位置Q的关系的位置信息(间隔距离L、高低差V(或者倾斜角θv)和左右差H)，利用车辆姿态检测ECU40，获取车辆K的姿态信息(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)，利用脸部朝向识别ECU30获取驾驶员D的脸部朝向信息(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)。并且，利用显示位置确定部10f，基于位置信息、姿态信息和脸部朝向信息，确定HMD17和HUD18中的对象物J的显示位置。利用显示图像生成部10g，在HMD17等中进行控制，在由显示位置确定部10f确定的显示位置处显示对象物J。

这样，对于通过HMD17等显示的对象物J来说，基于该对象物J在风景中应该存在的实际位置P，包括驾驶员D的脸部朝向和车辆K的姿态来确定其显示位置，因此即使由于例如该车辆K上下移动或跳跃，从驾驶员D处观察的车辆外的风景发生变化，也能够追踪这种风景变化，进行重叠显示。所以，能够提高重叠显示的位置精度。

另外，作为图3所示的步骤S117的显示图像生成处理的例子，通过采用图4(A)所示的结构，显示图像生成部10g利用虚拟空间配置处理(S201)将对象物J配置到虚拟空间VA，利用显示框位置设定处理(S207)，确定显示框DW的位置，以使显示框DW内存在的对象物J在HMD17等中进行显示。这样，如果在虚拟空间VA中配置好对象物J，作为之后的处理，只要基于显示位置确定部10f所确定的显示位置，变更显示框DW的位置即可。因此，与不采用这样的虚拟空间VA而是基于显示位置确定部10f所确定的显示位置、针对每个对象物J判断其是否进入显示框DW的情况(图4(B))相比，可以简化与显示图像生成部10g相关的算法。

另外，作为图3所示的步骤S117的显示图像生成处理的其它例，也可以采用图4(B)所示的结构。即，利用步骤S301，获取显示框DW的位置，接着判断对象物J的显示位置是否在显示框DW内。即，针对每个对象物J判断其是否进入显示框DW。并且，如果对象物J的显示位置是在显示框DW内(S303；是)，接着在步骤S305，将相应的对象物J配置在该显示框DW内。如果不在显示框DW内(S303；否)，则不配置在显示框DW内。

并且，循环进行步骤S301、S303、S305的处理(S307；否)，直至作为对象的对象物J的配置全部完成(S307；是)。这样，由于只将进入显示框DW的物体配置到该显示框DW内，与将所有的对象物J暂且配置到虚拟空间VA内的情况(图4(A))相比，可以加快显示图像生成部10g的处理速度。即，即使对象物J的总数很多，当配置到显示框DW内的对象物J较少时，该算法能够实现处理的高速化。

另外，在上述说明的实施方式中，举例说明了对于从驾驶员D处观察的该车辆K的前方风景进行重叠显示的例子，但本发明并不局限于此，例如，对于从驾驶员D处观察的该车辆K的侧方风景或后方风景，也可以同样适用，可以获得与上述内容相同的作用效果。还有，在上述例中，虽然以驾驶员D为对象进行了说明，但只要是安装了HMD17或HUD18的人员，都可以获得与上述内容相同的作用效果。

上述实施方式中，假设HMD17与导航ECU10连接在一起的情况，进行了说明。但是在HUD18与导航ECU10连接在一起的情况下，还基于驾驶员D的视点的位置变化，获取脸部朝向信息，由此能够进一步提高重叠显示的位置精度。另外，所谓视点，如上所述，指的是驾驶员D的双眼间的中心。

如前面说明，在外部的风景上作为虚像重叠显示的对象物J的输出目的地是HMD17时，如图6(A)所示，HMD17安装在驾驶员D的头部。因此，经由随着头部一起发生位置变化的HMD17，驾驶员D看到在车辆K外的风景上重叠显示的对象物J。另外，从图6-图8所示的驾驶员D、D’、D”的头部向车辆K的前方延伸的虚线上或者点线上表示的纵长状的矩形表示HMD17或HUD18的“虚像”。

因此，例如，如图6(B)所示，驾驶员D’的头部向俯仰方向转动时，由于HMD17也随着头部一起向俯仰方向转动，因此利用上述的显示位置确定处理(S115)，进行俯仰转动量θpit的加法处理。这样，当驾驶员D’的头部向下转动时，通过让转动前的显示框DW(参照图5)在俯仰方向上向下方转动角度θpit，从而在准确的位置上向驾驶员D’重叠显示对象物J。另外，虽然没有在图6中表示，参照图5的说明，该显示框DW包围小于虚拟空间VA的区域、且可以设定于虚拟空间VA内的任意位置(以下相同。还有，图7和图8中也相同)。

还有，如图6(C)所示，驾驶员D”的头部沿Z轴方向移动时，由于HMD17也随着头部一起沿Z轴方向上下移动，因此利用上述的显示位置确定处理(S115)，进行上下移动量Δz的加法处理。这样，当驾驶员D”的头部变为下降的姿态时，通过让移动前的显示框DW向下方沿Z轴方向移动Δz，从而在准确的位置上向驾驶员D”重叠显示对象物J。

另外，该显示框DW均通过上述的步骤S115的显示位置确定处理，确定其显示位置。

与此对应，如图7(A)所示，在外部的风景上作为虚像重叠显示的对象物J的输出目的地是HUD18时，HUD18安装在仪表盘上，从而能够将对象物J投影到车辆K的前挡风玻璃上。因此，HUD18与HMD17不同，不会随着驾驶员D的头部一起转动或移动。即，驾驶员D在车辆K外的风景上重叠地看到与自己的头部位置无关而投影在前挡风玻璃上的对象物J。

这样，例如，图7(B)所示，即使驾驶员D’的头部沿俯仰方向转动，由于HUD18自身并不转动，所以对象物J的显示位置不发生变化，观察前方风景的驾驶员D’的视点Ep也不怎么变化。即，即使在头部沿俯仰方向转动时，也基本上不需要改变从驾驶员D’处观察的对象物J的重叠位置，因此，不需要进行HMD17的情况下必须的显示位置确定处理(S115)的俯仰转动量的加法处理。

另一方面，如图7(C)所示，驾驶员D”的头部沿Z轴方向移动时，虽然HUD18自身不会上下移动，但驾驶员D”观看投影在车辆的前挡风玻璃上的对象物J时，会变成从下方向上看的视点Ep”或从上方向下看的视点。因此，除了显示框DW的Z轴方向的上下移动带来的加法处理，还需要进行俯仰转动量的加法处理，让显示框DW沿俯仰方向转动一个由于视点Ep”的偏移带来的角度θpit。

即，对于沿Z轴方向上下移动的显示框DW，还要进行俯仰转动量的加法处理。即，当向上观察对象物J时，转动显示框DW，使其拉向车辆K的后方(近处)。当向下观察对象物J时，转动显示框DW，使其推向车辆K的前方(深处)。这样，即使驾驶员D”的视点Ep”的位置发生变化，除了Z轴方向的移动外，还利用俯仰方向的转动进行对象物J的形状修正，因此驾驶员D”观看在准确位置上重叠显示的对象物J时，不会有不协调的感觉。

这样，当HUB18与导航ECU10连接时，作为显示框DW的转动量，需要对驾驶员D的视点Ep的位置变化进行运算处理，这里参照图8，对这种运算处理的内容进行说明。

如图8(A)所示，驾驶员D的头部沿Z轴方向移动时的视点Ep的位置变化可以通过驾驶员D’的头部的转动量θpit来表示。即，当从驾驶员D、D’的视点Ep、Ep’至HUD18的虚像之间的水平距离为M，该虚像离地面的高度为h3时，转动量θpit可以被求得为驾驶员D的头部沿Z轴方向移动之前的显示框DW的转动量θpit1＝arctan((h1-h3)/M)和驾驶员D’的头部沿Z轴方向移动之后的显示框DW的转动量θpit2＝arctan((h2-h3)/M)之间的差，即θpit＝θpit2-θpit1。这里，h1是上下移动之前从地上至视点Ep的高度，h2是上下移动之后从地上至视点Ep的高度。

另一方面，如图8(B)所示，驾驶员D的头部沿Y轴方向左右移动时的视点Ep的位置变化可以通过驾驶员D”的头部的转动量θyaw来表示。即，当从驾驶员D、D”的视点Ep、Ep”至HUD18的虚像之间的水平距离为M时，转动量θyaw可以被求得为驾驶员D的头部沿Y轴方向移动之前的显示框DW的转动量θyaw1＝arctan(y1/M)和驾驶员D”的头部沿Y轴方向移动之后的显示框DW的转动量θyaw2＝arctan(y2/M)之间的差，即θyaw＝θyaw2-θyaw1。这里，y1是左右移动之前从垂直于HUD18的正面的中心轴I(图8(B)所示的点线)至视点Ep的距离，y2是左右移动之后从中心轴I至视点Ep”的距离。

这样，在对象物J的输出目的地为HUD18的情况下，当驾驶员D的头部沿Z轴方向或Y轴方向移动时，需要在上下方向或左右方向求得显示框DW的平行移动量，另外还要利用上述运算处理，求得θpit和θyaw，转动显示框DW。因此，自此参照图9，说明具体的信息处理的流程。另外，该处理作为图3所示的显示位置确定处理(S115)的其它的信息处理例，进行说明。

如图9所示，在显示位置确定处理中，首先利用步骤S501进行数据获取处理。该处理分别从脸部朝向识别ECU30、车辆姿态检测ECU40或位置关系检测部10d中，获取利用步骤S109的脸部朝向检测处理所检测的脸部朝向信息(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)、利用步骤S111的车辆姿态检测处理所检测的车辆K的姿态信息(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)、利用步骤S113的位置关系检测处理所检测的位置信息(对象物J实际应该存在的位置与自车位置的位置关系)。

接着，在步骤S503，判断显示器是否为HMD17。该处理基于预先在系统中设定的导航ECU10的硬件构成信息来判断。当在步骤S503判断为连接的是HMD17时(S503；是)，如参照图6的说明那样，由于此时不需要特别的处理，与上述的步骤S115的显示位置确定处理一样，进行步骤S515的最终转动量运算处理、步骤S517的最终移动量运算处理。

即，基于在步骤S501获取的脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，分别按照6种(横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)参数的每个进行加法运算，对变换成三维图象的对象物J的显示位置进行确定。还有，间隔距离M加到前后移动量，左右差H加到左右移动量。作为距离获得高低差V时，要加到上下移动量。作为倾斜角度获得高低差V时，要加到俯仰转动量。

与此对应，当在步骤S503判断为连接的不是HMD17时(S503；否)，接着，在步骤S505，基于导航ECU10的硬件构成信息，判断是否连接着HUD18。并且，当判断连接着HUD18时(S505；是)，接着转移到步骤S507的处理。当没有判断为连接着HUD18时(S505；否)，由于输出到监视器ECU50的监视器画面，因此结束本显示位置确定处理，转移到图3所示的步骤S117，进行显示图象生成处理。

在下一个步骤S507，进行初始化处理。在该处理中，为了前次的处理时没有进行脸部朝向引起的转动量的修正而进行该处理，将构成脸部朝向信息的横摆转动量、侧摆转动量和俯仰转动量分别设定为0。还有，获取预先存储在导航ECU10等中的“从驾驶员D的视点Ep至HUD18的虚像之间的水平距离M”和“该虚像离地面的高度h3”。另外，该虚像离地面的高度h3为驾驶员D的座高的高度加上规定值，虽然由于存在个人差的驾驶员D的座高而发生变动，但座高可以作为驾驶席的高度调整值直接或间接地进行检测，因此也可以获取该虚像离地面的高度h3。

接着，在步骤S509，进行显示框DW的前次转动量获取处理。该处理中，作为前次转动量(θyaw1、θrol1、θpit1)，获取前次进行该显示位置确定处理时计算的并在步骤S513存储的前次的显示框DW的转动量(横摆转动量、侧摆转动量和俯仰转动量)，基于上述转动量，进行接下来的脸部朝向变化量计算处理。

在步骤S511，进行脸部朝向变化量计算处理。该处理中，基于驾驶员的头部的移动方向，分别按照各移动方向(X轴(前后)方向、Y轴(左右)方向、Z轴(上下)方向、)，利用参照图8说明的运算处理，计算显示框DW的转动量和脸部朝向变化量，按照各移动方向，分别在3个步骤S511a、S511b、S511c进行。另外，在这些步骤S511a-S511c中，基于在步骤S501获取的脸部朝向信息(头部的横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量)，进行是否有各方向的移动的判断。

在步骤S511a，当驾驶员D的头部沿X轴方向、即沿车辆K的前后方向移动时(检测到头部的前后移动量时)，该移动量作为X轴方向的移动量，直接应用于后述的步骤S517中。另外，头部的X轴方向的移动与在该显示位置确定处理中计算的头部和显示框DW的转动量没有直接关系。

在步骤S511b，当驾驶员D的头部沿Y轴方向、即沿车辆K的车宽度方向移动时(检测到头部的左右移动量时)，该移动量作为Y轴方向的移动量，直接应用于后述的步骤S517中。

还有，根据从利用脸部朝向检测处理(S109)检测的脸部朝向信息中获取的本次的Y轴方向的脸部位置(从HUD18的中心轴I至视点Ep的距离y2)、和从驾驶员D的视点Ep至HUD18的虚像之间的水平距离M，计算本次的显示框DW的转动量θyaw2＝arctan(y2/M)，从本次的转动量θyaw2减去上次的计算结果、即上次的转动量θyaw1，求得本次的头部的横摆方向的转动量θyaw(＝θyaw2-θyaw1)。即，将其作为脸部朝向的横摆方向的变化量。

另外，在步骤S511c，当驾驶员D的头部沿Z轴方向、即沿车辆K的上下方向移动时(检测到头部的上下移动量时)，该移动量作为Z轴方向的移动量，直接应用于后述的步骤S517中。

还有，根据从利用脸部朝向检测处理(S109)检测的脸部朝向信息中获取的本次的Z轴方向的脸部位置(从地上至视点Ep的高度h2)、HUD18的虚像离地面的高度h3、和从驾驶员D的视点Ep至HUD18的虚像之间的水平距离M，计算本次的显示框DW的转动量θpit2＝arctan((h2-h3)/M)，从本次的转动量θpit2减去上次的计算结果、即上次的转动量θpit1，求得本次的头部的俯仰方向的转动量θpit(＝θpit2-θpit1)。即，将其作为脸部朝向的俯仰方向的变化量。

接着，在步骤S513，将步骤S511(S511a、S511b、S511c)求得的本次的显示框DW的转动量(横摆转动量、侧摆转动量、俯仰转动量)作为本次转动量(θyaw1、θrol1、θpit1)进行存储，在下次进行该显示位置确定处理时，利用上次转动量获取处理(S509)，将其读出。

接着，在步骤S515，进行最终转动量计算处理。该处理基于脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，分别按照3种(横摆转动量、侧摆转动量、俯仰转动量)参数，对变换成三维图象的显示框DW的显示位置进行加法运算，同时，将这些量与在步骤S511获得的本次的头部的横摆方向的转动量θyaw(＝θyaw2-θyaw1)和俯仰方向的转动量θpit(＝θpit2-θpit1)进行加法运算。

接着，在步骤S517，进行最终移动量计算处理。该处理基于脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，分别按照3种(前后移动量、左右移动量和上下移动量)参数，对变换成三维图象的显示框DW的显示位置进行加法运算，同时，将这些量与在步骤S511获得的本次的头部的X轴方向、Y轴方向和Z轴方向的各移动量进行加法运算。该处理结束后，转移到图3所示的步骤S117的处理，进行显示图像生成处理。

这样，根据参照图9说明的显示位置确定处理的其它的信息处理例，当在外部的风景上作为虚像重叠显示的对象物J的输出目的地是HUD18时(S505；是)，根据本次的Y轴方向的脸部位置(从HUD18的正面起的距离y2)、和从驾驶员D的视点Ep至HUD18的虚像之间的距离M，计算本次的显示框DW的转动量θyaw2＝arctan(y2/M)，从本次的转动量θyaw2减去上次的转动量θyaw1，求得本次的头部的横摆方向的转动量θyaw，将其作为脸部朝向的横摆方向的变化量。还有，根据本次的Z轴方向的脸部位置(从地上至视点Ep的高度h2)、HUD18的虚像离地面的高度h3、和从驾驶员D的视点Ep至HUD18的虚像之间的距离M，计算本次的显示框DW的转动量θpit2＝arctan((h2-h3)/M)，从本次的转动量θpit2减去上次的转动量θpit1，求得本次的头部的俯仰方向的转动量θpit，将其作为脸部朝向的俯仰方向的变化量。还有，利用步骤S515，将该脸部朝向的横摆方向的变化量和俯仰方向的变化量加到脸部朝向的转动量(横摆转动量、侧摆转动量、俯仰转动量)上。

这样，由于基于驾驶员D的头部沿Y轴方向或Z轴方向变动时引起的视点的位置变化，获得脸部朝向信息，对于沿Z轴方向上下移动的显示框DW，还可以进行俯仰转动量的加法处理，即，当例如驾驶员D向上观看对象物J时，转动显示框DW，使其拉向车辆K的后方(近处)。当向下观察对象物J时，转动显示框DW，使其推向车辆K的前方(深处)。这样，即使驾驶员D的视点的位置发生变化，除了Z轴方向的移动外，还利用俯仰方向的转动进行对象物J的形状修正，因此驾驶员D观看在准确位置上重叠显示的对象物J时，不会有不协调的感觉。所以，通过基于驾驶员D的视点的位置变化获取脸部朝向信息，可以进一步提高重叠显示的位置精度。

另外，作为图3所示的S117的显示图像生成处理的其它例，在采用图4(B)所示的结构时，转动对象物J而不是显示框DW。因此，在参照图6-图8说明的显示位置的确定方法和图9所示的显示位置确定处理中，将“显示框DW”置换成“对象物J”，再将“加法处理”置换成“减法处理”，就可以说明采用图4(B)所示的结构时的显示位置的确定方法(图6-图8)和显示位置确定处理(图9)。

即，在图9所示的显示位置确定处理的最终转动量计算处理(S515)中，基于脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，分别按照3种(横摆转动量、侧摆转动量、俯仰转动量)的参数，对变换成三维图象的对象物J的显示位置进行减法运算，同时，将这些量与在步骤S511获得的本次的头部的横摆方向的转动量θyaw(＝θyaw2-θyaw1)和俯仰方向的转动量θpit(＝θpit2-θpit1)进行减法运算。

还有，在最终移动量计算处理(S517)中，基于脸部朝向识别ECU30(S109)的脸部朝向信息、车辆姿态检测ECU40(S111)的姿态信息和位置关系检测部10d(S113)的位置信息，分别按照3种(前后移动量、左右移动量和上下移动量)的参数，对变换成三维图象的对象物J的显示位置进行减法运算，同时，将这些量与在步骤S511获得的本次的头部的X轴方向、Y轴方向和Z轴方向的各移动量进行减法运算。

另外，在对上下移动量和左右移动量进行减法运算时，需要按照在这些移动量上乘以(水平距离M/间隔距离L)而变换后的变换后移动量，进行上下或左右移动。另外，水平距离M为从驾驶员D的视点Ep(Ep’、Ep”)至HUD18的虚像之间的水平距离(参照图8)，还有，间隔距离L为对象物J在风景中应该存在的实际位置P与该车辆K的位置Q之间的间隔距离(参照图2)。

这样，作为图3所示的步骤S117的显示图像生成处理的其它例，在采用图4(B)所示的结构时，由于基于驾驶员D的头部沿Y轴方向或Z轴方向变动时引起的视点的位置变化，获得脸部朝向信息，对于沿Z轴方向上下移动的对象物J，还可以进行俯仰转动量的减法处理，即，当例如驾驶员D向上观看对象物J时，转动对象物J，使其推向车辆K的前方(深处)。当向下观察对象物J时，转动对象物J，使其拉向车辆K的后方(近处)。这样，即使驾驶员D的视点的位置发生变化，除了Z轴方向的移动外，还利用俯仰方向的转动进行对象物J的形状修正，因此驾驶员D观看在准确位置上重叠显示的对象物J时，不会有不协调的感觉。所以，通过基于驾驶员D的视点的位置变化获取脸部朝向信息，可以进一步提高重叠显示的位置精度。

另外，如果抽出在上述的显示位置确定处理的其它信息处理例中所包含的技术思想的创作，可以进行如下的表达。

[1]

一种信息显示装置，其特征在于，

具有

能够将表示规定信息的信息像与从驾驶员处观察到的车辆外的风景重叠在一起进行显示的显示机构，

作为位置信息获取重叠显示的上述信息像在上述风景中应该存在的实际位置与该车辆的位置的关系的位置信息获取机构，

获取上述车辆的姿态信息的姿态信息获取机构，

获取上述驾驶员的脸部朝向信息的脸部朝向信息获取机构，

基于上述位置信息、上述姿态信息和上述脸部朝向信息，确定上述显示机构中的上述信息像的显示位置的显示位置确定机构，和

在上述显示机构中对在通过上述显示位置确定机构所确定的上述显示位置处显示上述信息像进行控制的显示控制机构，

显示位置确定机构根据基于上述脸部朝向信息的上述驾驶员的头部的位置信息、基于上述姿态信息的上述车辆的动作信息、和关于上述信息像与上述车辆的位置关系的上述位置信息，确定上述信息像的显示位置。

这样，利用显示机构所显示的信息像根据基于脸部朝向信息的驾驶员的头部的位置信息、基于姿态信息的车辆的动作信息、和关于信息像与车辆的位置关系的位置信息，确定其显示位置，因此即使由于例如该车辆上下移动或跳跃，从驾驶员处观察的车辆外的风景发生变化，也能够追踪这种风景变化，进行重叠显示。所以，能够提高重叠显示的位置精度。

[2]

一种信息显示装置，其特征在于，

在上述[1]所记载的技术思想中，

当上述显示机构为被构成为安装在该车辆的驾驶员的头部的头部安装式显示器时，

显示位置确定机构基于作为上述驾驶员的头部的位置信息的包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的信息、作为上述车辆的动作信息的包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的信息、和作为上述位置信息的上述信息像与上述车辆的距离信息，确定上述信息像的显示位置。

这样，当显示机构为头部安装式显示器时，基于包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的头部的位置信息、包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的车辆的动作信息、和信息像与车辆的距离信息，确定信息像的显示位置。所以，即使由于该车辆上下移动或跳跃，从驾驶员处观察的车辆外的风景发生变化，也能够追踪这种风景变化，进行重叠显示。所以，能够提高重叠显示的位置精度。

[3]

一种信息显示装置，其特征在于，

在上述[1]所记载的技术思想中，

当上述显示机构为被构成为可以将影像投影到该车辆的前挡风玻璃上的平视显示器时，

显示位置确定机构基于作为上述驾驶员的头部的位置信息的包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的信息、作为上述车辆的动作信息的包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的信息、和作为上述位置信息的上述信息像与上述车辆的距离信息、

还有、基于上述头部的左右移动量的该头部的横摆转动量、基于上述头部的上下移动量的该头部的俯仰转动量，确定上述信息像的显示位置。

这样，当显示机构为平视显示器时，基于包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的头部的位置信息、包括横摆转动量、侧摆转动量、俯仰转动量、前后移动量、左右移动量和上下移动量的车辆的动作信息、信息像与车辆的距离信息、以及基于头部的左右移动量的该头部的横摆转动量、基于头部的上下移动量的该头部的俯仰转动量，确定信息像的显示位置。所以，即使驾驶员的视点的位置沿上下方向变化，也可以除了上下移动量之外还利用俯仰转动量进行信息像修正，即使驾驶员的视点的位置沿左右方向变化，也可以除了左右移动量之外还利用横摆转动量进行信息像修正，因此，驾驶员观看在准确位置上重叠显示的信息像时，不会有不协调的感觉。所以，能够进一步提高重叠显示的位置精度。

符号说明

10…导航ECU，10a…导航部，10b…车辆位置检测部，10c…显示信息获取部，10d…位置关系检测部(位置信息获取机构)，10e…3D图像变换部，10f…显示位置确定部(显示位置确定机构)，10g…显示图像生成部(显示控制机构)，17…HMD(显示机构)，18…HUD(显示机构)，20…地图数据库，30…脸部朝向识别ECU(脸部朝向信息获取机构)，40…车辆姿态识别ECU(姿态信息获取机构)，50…监视器ECU(显示机构)，D…驾驶员，DW…显示框，Ep…视点，J…对象物(信息像)，K…车辆，P…对象物在风景中应该存在的实际位置，Q…车辆位置，VA…虚拟空间

Claims

1.一种信息显示装置，其特征在于，

具有

获取相对于上述车辆停在道路的中心时的侧倾中心的转动量以及移动量的参数作为上述车辆的姿态信息的姿态信息获取机构，

获取相对于上述驾驶员的脸部正面朝着上述车辆的前方时的转动量以及移动量的参数作为上述驾驶员的脸部朝向信息的脸部朝向信息获取机构，

基于上述位置信息、上述姿态信息和上述脸部朝向信息，确定上述显示机构中的上述信息像的显示位置的显示位置确定机构，以及

上述车辆的姿态信息的参数与上述驾驶员的脸部朝向信息的参数种类相同且数量相同。

2.根据权利要求1所述的信息显示装置，其特征在于：

上述位置信息获取机构基于构成上述风景的道路、信号机、标识、建筑物、河川、以及其它包含在地图信息中的信息，或者路径引导地点、目的地地点、以及其它的上述车辆的路径引导信息，获取上述位置信息。

3.根据权利要求1或2所述的信息显示装置，其特征在于：

上述显示控制机构具有

在虚拟空间中配置上述信息像的信息像配置机构，以及

利用包围小于上述虚拟空间的区域、可以设定在上述虚拟空间内的任意位置处的显示框，在上述显示机构中显示该框内存在的上述信息像的显示对象选择机构，

上述显示控制机构基于利用上述显示位置确定机构所确定的上述显示位置，确定上述显示框的位置。