CN101300459B

CN101300459B - 信息显示装置

Info

Publication number: CN101300459B
Application number: CN200680040831.5A
Authority: CN
Inventors: 秋田贵志; 工藤贵弘; 金铜刚史
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Automotive Electronic Systems Co ltd; Panasonic Holdings Corp
Priority date: 2005-11-01
Filing date: 2006-10-12
Publication date: 2011-09-07
Anticipated expiration: 2026-10-12
Also published as: US20090262145A1; JP2007127437A; JP4246195B2; CN101300459A; EP1953500A1; WO2007052458A1; EP1953500A4

Abstract

本发明的目的在于提供一种向用户呈现实际风景中的位置和地图图像之间的对应关系的信息显示装置。在信息显示装置(IDA、IDAr)中，实拍图像取得部(1)取得实拍图像(IC)，地图信息存储部(4)存储地图信息(IG)并生成地图图像(IM)，图像显示部(7、8)显示实拍图像(IC)和地图图像(IM)，输入部(6)根据用户的动作，指定在实拍图像(IC)和地图图像(IM)中的某一方上显示的至少一个构造物(Rc/Rg)，构造物对应关系取得部(5)取得显示在实拍图像(IC)上的构造物和显示在地图图像(IM)上的构造物之间的对应关系(ICb)。

Description

信息显示装置

技术领域

本发明涉及一种通过显示实拍图像和地图图像之间的对应关系来向用户告知地理信息的信息显示装置。

背景技术

以往，作为向用户告知与当前位置及其周边相关的地理信息的系统的代表性示例，各种汽车导航装置正在广泛普及。在以往的汽车导航装置中，通过在显示器上显示周边信息来向用户告知周边的地理信息，所述周边信息关于与同地图图像一起存储在HDD(硬盘装置)或DVD等记录介质中的地图上的车辆位置。

并且，近年来，为了使用户能够更直观地理解周边信息，提出了利用实拍图像向用户告知周边的地理信息的检索型景观标示装置(参照专利文献1)。该检索型景观标示装置通过在实拍图像上重叠显示构造物的名称等地理信息来向用户告知周边信息。

为此，检索型景观标示装置在拍摄实拍图像作为景观图像时，取得摄像机的位置、角度、焦距以及图像尺寸等摄影条件信息。然后，根据得到的摄影条件信息，生成在计算机上的三维地图空间内根据实际风景摄影时的位置、摄像机的角度以及焦距眺望时的CG图像，由此进行景观图像中的构造物和CG图像中的构造物的对应，在景观图像的构造物上附加地理信息。

专利文献1：日本特开平11-66350号公报

在上述汽车导航系统中，非常希望用户能够容易地识别实际风景的构造物和地图上显示的构造物之间的对应关系。具体而言，驾驶汽车的驾驶员比较从眼前看到的实际风景得到的目视信息、和由地图图像得到的道路或大楼等构造物的相对位置信息，掌握实际风景上的构造物和地图上的构造物之间的对应关系，由此容易地驾驶到预定的目的地。

但是，在组装有检索型景观标示装置的汽车导航系统中，用户很难正确地识别二维地图图像上的任意位置、和作为三维图像的实际风景中的任意对象物之间的关系。并且，在地图图像和实际风景随着车辆移动而逐次变化的状态下，正在实际驾驶车辆的驾驶员或同乘者要进行该识别则更加困难。

发明内容

鉴于上述问题，本发明的目的在于提供一种向用户呈现实际风景中的位置和地图图像之间的对应关系的信息显示装置。

为了达到上述目的，本发明的车载导航系统的特征在于，具有：实拍图像取得部，取得实拍图像；位置信息取得部，取得实拍图像取得部取得实拍图像时的位置；地图信息存储部，存储包括构造物的信息的地理信息；图像显示部，显示由实拍图像取得部取得的实拍图像和预先取得的地图图像；输入部，根据用户的操作，指定在实拍图像和地图图像中的某一方上显示的至少一个构造物；以及构造物对应关系取得部，基于由位置信息取得部取得的位置、存储在地图信息存储部的地理信息、及由输入部指定的构造物，对实拍图像上显示的构造物与地图图像上显示的构造物进行对应；当由输入部指定实拍图像和地图图像中的某一方上显示的构造物时，图像显示部强调显示在另一方上显示的构造物内、由构造物对应关系取得部使之对应于该指定的构造物的构造物。

在本发明涉及的信息显示装置中，若用户指定实拍图像和地图图像中的某一方的构造物，则强调显示另一方的图像中对应的构造物。结果，用户能够容易地理解拍摄实际风景而成的实拍图像上的构造物和地图图像上的构造物之间的对应关系、即实际风景和地图之间的对应关系。

附图说明

图1是表示本发明的第一实施方式涉及的信息显示装置的结构的框图。

图2是表示在图1所示的信息显示装置中显示在图像显示部上的地图图像和实拍图像的一例的说明图。

图3是表示在图2所示的信息显示装置中指定了显示在实拍图像上的构造物时，在地图图像IM上强调显示对应构造物的情况的说明图。

图4是表示在图1所示的信息显示装置中按照显示在实拍图像上的构造物的指定，在地图图像IM上强调显示对应构造物的动作的流程图。

图5是图4所示的第一构造物确定例程中的动作的说明图。

图6是表示图1所示的信息显示装置的第一变形例中的构造物的强调显示动作的流程图。

图7是表示图1所示的信息显示装置的第二变形例中的构造物的强调显示动作的流程图。

图8是表示在图1所示的信息显示装置的第三变形例中，显示在图像显示部上的地图图像和实拍图像的一例的说明图。

图9是表示在本发明的第二实施方式涉及的信息显示装置中，指定了显示在地图图像上的构造物时，在实拍图像上强调显示对应构造物的情况的说明图。

图10是表示本发明的第二实施方式涉及的信息显示装置中的构造物的强调显示动作的流程图。

图11是表示在本发明的第二实施方式涉及的信息显示装置的第一变形例中，指定了显示在地图图像上的构造物时，在实拍图像上强调显示对应构造物的情况的说明图。

图12是表示本发明的第三实施方式涉及的信息显示装置中的构造物的强调显示动作的流程图。

图13是表示本发明的第四实施方式涉及的信息显示装置中的构造物的强调显示动作的流程图。

符号说明

IDA、IDAr：信息显示装置

1：实拍图像取得部

2：位置信息取得部

3：摄像机属性信息取得部

4：地图信息存储部

5：构造物对应关系取得部

6：输入部

7：图像显示部

IC：实拍图像

IM：地图图像

U：用户

具体实施方式

以下，参照附图说明本发明的实施方式涉及的信息显示装置。另外，考虑到可视性，在各个附图中省略对本发明的实施不是特别重要的要素。另外，在具体说明信息显示装置之前，先说明本发明的基本概念。在本发明中，通过呈现分别显示在利用摄像机等实际拍摄的实拍图像和预先取得的地图图像上的任意部分的对应关系，从而有助于用户能够容易地理解实际风景和地图之间的对应关系。另外，在将本发明应用于汽车导航系统的情况下，指定的任意部分是指建筑物、道路等构造物或者其位置。

(第一实施方式)

如图1所示，本发明的第一实施方式涉及的信息显示装置IDA包括实拍图像取得部1、位置信息取得部2、摄像机属性信息取得部3、地图信息存储部4、构造物对应关系取得部5、输入部6、图像显示部7以及控制部8。实拍图像取得部1包括拍摄实际风景来生成实拍图像数据DIc的摄像机。拍摄的图像既可以是静止图像也可以是动态图像。在本实施方式中，假定摄像机安装成能够拍摄汽车前方。另外，由摄像机拍摄到的实际风景图像作为实拍图像数据DIc输出。另外，为了方便起见，将实拍图像数据DIc表示的实拍风景图像称作实拍图像IC。

位置信息取得部2是取得实拍图像取得部1取得实拍图像时的摄像机位置的例如GPS接收机。即，摄像机位置是表示安装在正在道路等上移动或者停止的车辆上的摄像机的实际位置的摄像机位置信息IPc。另外，也可以根据GPS接收机和摄像机之间的位置关系，校正由GPS接收机得到的位置信息来作为摄像机位置信息IPc。

摄像机属性信息取得部3取得摄像机属性信息IAc，该摄像机属性信息IAc是确定实拍图像取得部1拍摄实际风景的拍摄方向和拍摄范围的参数。摄像机属性信息IAc包括摄像机角度(水平角、仰角)、焦距以及图像尺寸。另外，如果确定拍摄方向和拍摄范围，也可以根据视场角等其他参数来换算摄像机属性信息IAc。此外，摄像机属性信息IAc既可以取得设定在摄像机中的值，也可以通过安装在摄像机上的三维罗盘取得。

地图信息存储部4在例如HDD、DVD等介质中存储预先准备的表示道路、设施的位置及名称等的地理信息IG。另外，地理信息IG还包括具有构造物的高度信息的三维地图数据DMt。

构造物对应关系取得部5根据经由控制部8输入的摄像机位置信息IPc、摄像机属性信息IAc、地理信息IG以及用户指示信息IIu，将实拍图像中的构造物和地图图像中的构造物相对应，生成构造物对应关系信息ICb。另外，后面参照图4详细说明构造物对应关系取得部5。

输入部6包括受理用户操作的例如触摸面板或遥控器构成。输入部6还根据受理的用户操作来生成表示用户的输入指示的用户指示信息IIu。

图像显示部7是根据经由控制部8提供的图像数据DI来显示地图图像IM和实拍图像IC的例如显示器。图像显示部7显示的地图图像IM既可以是2D(二维)地图也可以是3D(三维)地图。此外，上述输入部6由设置在图像显示部7的显示面上的触摸面板构成。

如图2所示，图像显示部7的画面优选的是一分为二地分别显示地图图像IM和实拍图像IC。如上所述，实拍图像IC是由安装在用户搭乘的车辆上的信息显示装置IDA的实拍图像取得部1拍摄到的行进方向前方的实际风景。并且，在实拍图像IC的左下部可看到与相对于行进方向向左侧延伸的道路Rc之间的丁字路口。

另外，在地图图像IM中，符号C表示安装有信息显示装置IDA的本车，符号Rg表示与实拍图像IC中的道路Rc对应的道路。另外，观察图2可知，在实拍图像IC中被前面的建筑物等隐蔽起来的构造物等也显示在地图图像IM上。

返回图1，控制部8根据从实拍图像取得部1、位置信息取得部2、摄像机属性信息取得部3、地图信息存储部4、构造物对应关系取得部5以及输入部6输入的实拍图像数据DIc、摄像机位置信息IPc、摄像机属性信息IAc、地理信息IG、构造物对应关系信息ICb以及用户指示信息IIu，控制信息显示装置IDA整体的动作。控制部8例如由CPU构成。

接着，参照图4和图5，说明信息显示装置IDA强调显示与用户指定相对应的地图图像IM上的构造物时的动作。另外，本动作在用户操作输入部6而从显示在图像显示部7的实拍图像IC上的构造物中指定了想要确认地图图像IM上的位置的构造物的时刻开始。并且，经过图4所示的处理，通过闪烁等向用户显示地图图像IM上对应的构造物的图像。

如图3所示，在本示例中，通过触摸实拍图像IC上的道路Rc的部分，选择在图图像IM上使对应部分显示的对象。然后，根据该选择，通过使地图图像IM上的道路Rg闪烁等来显示相对应的情况。另外，在图3中，由于作图上的原因，道路Rg以涂黑的状态表示。即，通过用户触摸实拍图像IC的道路Rc的图像，构造物对应关系取得部5进行构造物(道路Rc)的确定，强调显示地图图像IM上的道路Rg。由此，用户能够容易地识别实拍图像IC中的构造物和地图图像IM中的构造物之间的对应关系(实拍中拍摄到的构造物相当于地图上的哪个构造物)。

参照图4说明信息显示装置IDA中对应的构造物的强调显示处理。

如上所述，在通过用户U触摸实拍图像IC上的任意部分而做出选择的时刻，开始强调显示处理。另外，在本示例中，作为输入部6使用触摸面板，但是只要是用户能够确定实拍图像IC上的任意位置的机构，也可以是遥控器等机构。

在步骤S2中，对应用户触摸触摸面板(输入部6)的实拍图像IC上的任意部分，从输入部6向控制部8输出用户指示信息IIu。然后，控制进入接下来的步骤S4。

在步骤S4中，构造物对应关系取得部5根据从控制部8输入的用户指示信息IIu、摄像机属性信息IAc(摄像机角度、焦距以及图像尺寸)以及摄像机位置信息IPc，在根据地理信息IG求出的三维地图空间上，求出摄像机位置和与用户指示的点对应的方向(以下称作“指示方向矢量”)。然后，控制进入接下来的步骤S6。

在步骤S6中，构造物对应关系取得部5确定用户在实拍图像IC上指示的构造物，生成构造物对应关系信息ICb。另外，在上述步骤S4和S6中，构成第一构造物确定例程#10A。然后，控制进入接下来的步骤S8。

在步骤S8中，控制部8根据构造物对应关系信息ICb生成图像数据DI，以便强调显示表示地图图像IM上确定的构造物的部分。图像显示部7根据图像数据DI，使与用户在实拍图像IC上确定的构造物相对应的地图图像IM上的特定部分闪烁。然后，控制结束。另外，作为强调显示，除了闪烁以外，只要是显示颜色或亮度等的变化、轮廓的强调、对象物构造物的名称等的重叠显示、反转、彩色以及照度的增减这样的在光学上引起用户注意的方法即可。即，不限于此，只要用户能够识别出与实拍图像IC上指定的构造物相对应的部分，也可以采用其他任意的手段。只要是反转、彩色以及照度的增减这样的在光学上引起注意的方法即可。

参照图5具体说明通过上述第一构造物确定例程#10A(步骤S4和S6)实现的构造物的确定方法。在该图中，符号Q表示用户指定的现实的构造物(在本示例中是道路)，符号Sc表示实拍图像取得部1的摄像机画面，并且，符号E表示摄像机位置即视点。在该图所示的三维地图空间中，求出从视点E沿着摄像机角度方向前进焦距f后的点F，设定在该处相当于图像尺寸的横x纵y的平面(摄像机画面Sc)与连接视点E和点F而成的基准矢量V垂直。

然后，例如在用户指示了摄像机画面Sc上的点P时，求出连接视点E到点P的指示方向矢量Vi在三维地图空间中是指哪个构造物，从而确定用户指示的构造物Q。

<第一变形例>

接下来，参照图6说明上述第一实施方式涉及的信息显示装置IDA的第一变形例。在本示例中，仅构造物确定方法与上述第一实施方式涉及的信息显示装置IDA不同。在图6所示的流程图中，用步骤S3、S5、S7以及S16置换图4所示的流程图中的步骤S4和S6。即，步骤S3、S5、S7以及S16构成第二构造物确定例程#10B。

具体而言，按照如下方式执行第二构造物确定例程#10B。即，在步骤S3中，将从图5所示的视点E连接摄像机画面的四个顶点的射线所成的三维空间设定为视场空间。另外，视场空间在理论上延伸到无限远，但也可以在从视点离开适当距离之处中断。然后，控制进入接下来的步骤S5。

在步骤S5中，在三维地图空间中，求出存在于视场空间内的构造物。然后，控制进入接下来的步骤S7。

在步骤S7中，执行将求出的构造物投影到图5所示的摄像机画面Sc上的处理。在进行投影处理时，考虑到从视点E观察时的构造物的重叠来进行隐藏面处理，分成从视点E能够看到的部分和被其他构造物遮挡而看不到的部分。隐藏面处理可采用Z缓冲法、扫描线法以及光线跟踪法等公知的方法。另外，投影处理也可以不对整个视场空间进行，而仅以用户指定的位置附近为对象来进行。然后，控制进入接下来的步骤S16。

在步骤S16中执行匹配处理，使显示在实拍图像IC上的构造物和将视场空间内的构造物投影到摄像机画面Sc上而成的图像(以下称作“CG图像”)上的构造物相对应。在匹配处理中，在实拍图像IC和CG图像中，分别进行分割成按照构造物区分的区域的区域分割处理，接下来使用例如模板匹配法使两个区域相对应。另外，实拍图像IC的区域分割可采用边缘检测或标示处理等公知的图像处理技术来进行。

CG图像是根据存储在地图信息存储部4中的三维地图数据即地理信息IG而生成的，因此，已知CG图像上的各个区域对应哪个构造物。因此，通过匹配处理，能够将实拍图像IC中的构造物和CG图像中的构造物对应起来，由此确定实拍图像IC中的构造物。

即，通过能够求出用户指定的实拍图像IC上的位置属于哪个区域，能够确定用户指定的构造物。由此，生成构造物对应关系信息ICb。另外，在上述示例中，实拍图像IC和CG图像都进行区域分割处理，但为了减轻处理负荷，也可以将在CG图像中进行的区域分割结果直接分配给实拍图像IC。

<第二变形例>

参照图7说明本发明的第一实施方式涉及的信息显示装置的第二变形例。图7所示的流程图按照如下方式构成：在图6所示的流程图中，将步骤S2移动到步骤S10之前，删除步骤S8，在步骤S2和第二构造物确定例程#10B之间新追加在实拍图像上重叠辅助显示的步骤S17。

在本变形例中，不执行用户对实拍图像IC上的对象物的指定(步骤S2)，而是执行第二构造物确定例程#10B。在该时刻，确定用户在实拍图像IC上可指定的构造物。然后，控制进入步骤S17。

在步骤S17中，针对已确定的构造物在实拍图像IC上重叠强调轮廓等的辅助显示，表示可指定的情况。由此，用户能够容易地进行在实拍图像IC上指定构造物的操作。即，在用户指定构造物的时刻，由于已经确定存在构造物的区域，因此，不仅可采用如上述实施方式所示指定画面上的点这样的构造物指定方法，还可采用按照每个区域赋予序号并由用户指定该序号、或者利用遥控器等选择区域这样的构造物指定方法。然后，控制进入接下来的步骤S2。

在步骤S2中，当用户在实拍图像IC上指定构造物时(S13)，由于构造物的对应建立已经完成，因此，不需要上述构造物对应关系信息生成步骤S8的处理，在步骤S10中，强调显示相应的地图图像IM上的构造物。

此外，在用户指定实拍图像IC中的构造物时，对于实拍图像IC中被其他构造物隐蔽一部分或整体的构造物，也可以在实拍图像IC上重叠表示存在相应构造物的辅助显示。在该情况下，也在用户指定构造物之前进行与第二构造物确定例程#10B(步骤S3～S16)相同的处理。但是，对于在投影处理的隐藏面处理中一部分或整体位于其他构造物背后的构造物，通过轮廓(skeleton)显示等辅助显示来表示在实拍图像IC上存在该构造物的情况。

例如，通过与辅助显示对应地设置对应构造物指定用的按钮，用户可对其进行选择。由此，对于被其他构造物隐蔽起来而看不到的构造物，用户也能够容易地选择。

并且，也可以具有检测前方车辆那样的没有存储在三维地图中的构造物的障碍物检测单元。在该情况下，利用图像识别或其他公知的障碍物检测单元来检测障碍物的方向、距离、形状，通过将其投影到摄像机画面上，求出障碍物在实拍图像IC上的范围。另外，障碍物检测也可以使用由实拍图像取得部1取得的图像来进行。在该情况下，不需要将检测到的障碍物投影到摄像机画面上的处理。

<第三变形例>

接下来，参照图8和图9说明第一实施方式涉及的信息显示装置的第三变形例。在本变形例中，在显示在图像显示部7上的实拍图像IC中，通过对被障碍物隐蔽起来而实际上无法目视的构造物进行轮廓显示等辅助显示，表示在实拍图像IC上存在该构造物的情况，从而用户能够容易地进行识别。为此，设有检测障碍物的单元。

图8与图2同样，在图像显示部7的画面上分别显示地图图像IM和实拍图像IC。但是，在实拍图像IC中，本来可目视的建造物Bc、前面的构造物以及行驶中的道路被正在道路Rc中通行的车辆Vc遮挡而无法显示。为此，如虚线所示，在车辆Vc中轮廓显示建造物Bc、前面的构造物以及行驶中的道路。结果，用户能够识别被车辆Vc遮挡的建造物的存在。

并且，例如通过用户触摸建造物Bc的轮廓显示，强调显示地图图像IM上的建造物Bg。这样，对于被前方车辆等没有存储在地图中的障碍物隐蔽起来的构造物，用户也能够容易地在实拍图像IC上进行选择。

(第二实施方式)

以下，参照图9和图10说明本发明的第二实施方式涉及的信息显示装置。在上述第一实施方式涉及的信息显示装置IDA中，响应对显示在图像显示部7中的实拍图像IC上的构造物的指定，强调显示地图图像IM上对应的构造物。但是，在本实施方式涉及的信息显示装置IDAr(未图示)中，响应用户对地图图像IM上的构造物的指定，强调显示实拍图像IC上的构造物。另外，信息显示装置IDAr基本上与信息显示装置IDA同样地构成。

在图9中，用户、即搭载有信息显示装置IDAr的车辆基本上处于与上述图2(和图3)所示相同的状况。由此，显示在图像显示部7上的地图图像IM和实拍图像IC也与图2中的相同。不过，如图9所示，在本示例中，通过用户触摸地图图像IM上的道路Rg的部分，选择作为使实拍图像IC上的对应部分显示的对象。然后，根据该选择，通过闪烁等表示对应实拍图像IC上的道路Rc的情况。另外，在图9中，由于作图上的原因，在道路Rc的上下分别附加3条斜线来表示是强调显示状态。

即，通过触摸地图图像IM的道路Rg的图像，构造物对应关系取得部5进行构造物(道路Rg)的确定，强调显示实拍图像IC上的道路Rc。由此，用户能够容易地识别地图图像IM中的构造物和实拍图像IC中的构造物之间的对应关系(地图上的构造物相当于在实拍图像IC上拍摄到的哪个构造物)。

参照图10说明信息显示装置IDAr中对应的构造物的强调显示处理。图10所示的流程图按照如下方式构成：在上述图6所示的流程图中将步骤S2、第二构造物确定例程#10B、步骤S8以及步骤S10分别置换成步骤S102、第三构造物确定例程#10C以及步骤S108。另外，第三构造物确定例程#10C除了将步骤S16置换成步骤S116这一点以外，与图6所示的第二构造物确定例程#10B相同。

即，在步骤S102中，对应于用户触摸触摸面板(输入部6)的地图图像IM上的特定部分，从输入部6向控制部8输出用户指示信息IIu。然后，控制进入第三构造物确定例程#10C。

在第三构造物确定例程#10C中，如上所述经过步骤S3、S5以及S7，在步骤S116中，执行基本上与上述步骤S16相同的处理。但是，在本步骤中，对于用户在地图图像IM上指定的构造物，通过匹配处理进行区域的对应建立。然后，确定用户在地图图像IM上指定的构造物存在于实拍图像IC上的哪里。

构造物对应关系取得部5确定用户在地图图像IM上指定的构造物，生成构造物对应关系信息ICb。然后，控制进入接下来的步骤S108。

在步骤S108中，控制部8根据构造物对应关系信息ICb生成图像数据DI，以使表示实拍图像IC上的特定构造物的部分强调显示。图像显示部7根据图像数据DI，使与用户在地图图像IM上确定的构造物相对应的实拍图像IC上的特定部分闪烁。然后，控制结束。

<第一变形例>

参照图11说明第二实施方式涉及的信息显示装置IDAr的第一变形例。在本示例中，如图11所示，当用户在地图图像IM上指定的构造物在实拍图像IC中被其他构造物隐蔽一部分或整体的情况下，重叠显示表示在实拍图像IC上存在该构造物的辅助显示(例如轮廓显示)。具体而言，在图11中，用户、即搭载有信息显示装置IDAr的车辆基本上处于与上述图9所示相同的状况。即，在显示在图像显示部7上的实拍图像IC中，与图9所示的相同，本来可目视的建造物Bc、前面的构造物以及行驶中的道路被正在道路Rc中通行的车辆Vc遮挡而无法显示。如虚线所示，在车辆Vc中轮廓显示建造物Bc

这样，当信息显示装置IDAr具有检测前方车辆那样的没有存储在三维地图中的构造物的障碍物检测单元的情况下，用户在地图图像IM上指定的构造物在实拍图像IC中被障碍物隐蔽起来时，也能够通过轮廓显示等来表示在实拍图像IC上存在对应的构造物的情况。

即，当用户触摸地图图像IM上的建造物Bg的部分时，构造物对应关系取得部5确定其存在于实拍图像IC上的哪里。并且，构造物对应关系取得部5检测建造物Bg在实拍图像IC上的位置(建造物Bc)位于障碍物检测单元检测到的实拍图像IC上的障碍物(前方车辆Vc)的范围内的情况，在实拍图像IC上轮廓显示建造物Bc。

由此，对于被前方车辆等障碍物隐蔽起来而看不到的构造物，用户也能够掌握在实拍图像IC上的位置。另外，能够利用图10所示的流程图中的步骤S7中的投影处理(隐藏面处理)，来计算出用户在地图图像IM上指定的构造物在实拍图像IC中是否被其他构造物隐蔽起来。由此，对于被其他构造物隐蔽起来而看不到的构造物，用户也能够掌握在实拍图像IC上的位置。

另外，在上述示例中，说明了其他构造物被前方车辆那样的没有存储在三维地图中的构造物隐蔽起来的情况，但即使在其他构造物被存储在三维地图中的构造物隐蔽起来的情况下，同样也可通过进行轮廓显示来掌握被隐蔽的构造物在实拍图像IC上的位置。

此外，在用户指定地图图像IM中的构造物时，也可以在地图图像IM上重叠用于表示用户可选择的构造物的辅助显示。在该情况下，在用户指定构造物之前，与上述第三构造物确定例程#10C中的处理同样，在三维地图空间中求出存在于摄像机的视野空间内的构造物，并且通过进行投影处理和匹配处理，使实拍图像IC中的构造物和地图图像IM中的构造物相对应。

由此，确定用户在地图图像IM上可指定的构造物。并且，通过将已确定的构造物在地图图像IM上强调轮廓等，来表示可指定的情况，由此，用户能够容易地进行在地图图像IM上指定构造物的操作。

(第三实施方式)

接下来，参照图12说明本发明的第三实施方式涉及的信息显示装置IDArr(未图示)。在上述实施方式及其变形例中，在用户指定了实拍图像IC或者地图图像IM中的构造物时，通过强调显示另一个图像中对应的构造物，用户能够容易地理解拍摄实际风景而成的实拍图像IC上的构造物和地图图像IM上的构造物之间的对应关系。另外，在用户指定实拍图像IC中的构造物和指定地图图像IM中的构造物这两种情况下，作为有效的手段，也可以按照用户指定的顺序来改变构造物的强调方法。

参照图12说明本实施方式涉及的信息显示装置IDArr的动作。另外，图12所示的流程图除了将步骤S102、第三构造物确定例程#10C以及步骤S108分别变更成步骤S202、第四构造物确定例程#10D以及步骤S208这点以外，与上述图10所示的流程图同样地构成。另外，第四构造物确定例程#10D除了将步骤S116变更成步骤S216这点以外，与第三构造物确定例程#10C同样地构成。

首先，在步骤S202中，对应于用户触摸触摸面板(输入部6)的实拍图像IC上的特定部分，从输入部6向控制部8输出用户指示信息IIu。即，当用户从显示在实拍图像IC上的构造物中选择多个想要确认地图图像IM上的位置的构造物、或者从显示在地图图像IM上的构造物中选择多个想要确认实拍图像IC上的位置的构造物时，据此生成用户指示信息IIu。然后，控制进入第四构造物确定例程#10D。

在第四构造物确定例程#10D中，经过上述步骤S3、S5以及S7，在步骤S216中，使实拍图像IC上的构造物和地图图像IM上的构造物之间相对应。然后，在地图图像IM上确定用户指定的多个实拍图像IC上的构造物，生成构造物对应关系信息ICb。或者，在实拍图像IC上确定用户指定的多个地图图像IM上的构造物，生成构造物对应关系信息ICb。另外，构造物对应关系信息ICb中包括用户指定多个构造物的顺序的信息。然后，控制进入接下来的步骤S208。

在步骤S208中，利用图像显示部7以指定的顺序在地图图像IM或者实拍图像IC上强调显示用户指定的多个构造物。作为强调显示的一个例子，按照指定的顺序使颜色改变，将用户第一个指定的构造物显示为红，将第二个指定的构造物显示为黄，将第三个指定的构造物显示为蓝。这样，通过以用户指定的顺序改变构造物的强调方法，即使在指定了多个构造物的情况下，用户也能够容易地理解实拍图像IC上的构造物和地图图像IM上的构造物之间的对应关系。

另外，强调显示的方法不限于通过颜色进行关联，此外，也可以改变强调显示的大小或者形状，还可以使用文字信息等，此外，也可以用线等连接实拍图像IC上和地图图像IM上对应的构造物之间来进行显示。

此外，除了按照用户指定的顺序以外，也可以按照构造物的属性来改变构造物的强调方法。在该情况下，特别是在用户指定了多个构造物的情况下，用户也能够容易地理解实拍图像IC上的构造物和地图图像IM上的构造物之间的对应关系。另外，在指定多个构造物的情况下，为了防止在画面上强调显示的构造物过分增加反而导致可视性恶化，例如加入不进行一定数量以上的强调显示、用户利用输入结束强调显示等处理是有用的。

此外，也可以设定地图显示范围，使得位于实拍图像IC的视场空间内的构造物显示在上述地图图像IM上。例如，在用户指定了实拍图像IC上的构造物时，摄像机的视场空间和地图显示范围错开从而对应的构造物没有显示在地图图像IM上的情况下、或者地图显示范围过大而地图图像IM上的构造物不能以适当的大小显示的情况下，在将地图设定成适当的比例尺、显示范围后，强调显示对应的构造物。

此外，也可以在用户想要在地图图像IM上指定构造物时(例如按下了“构造物指定”按钮时)，将地图设定成适当的比例尺、显示范围。由此，用户能够容易地在地图画面上指定位于摄像机的视场空间内的构造物，此外，在地图画面上强调显示用户在实拍图像IC上指定的构造物时的视觉识别性提高。

此外，也可以根据构造物的属性而使输入方法不同。例如在指定道路时进行描绘道路的操作、在指定建筑物时在建筑物上进行长按等，根据构造物的属性改变输入方法。由此，能够降低用户输入错误的可能性。

此外，也可以双画面显示实拍图像IC和地图图像IM，在用户指定实拍图像IC和地图图像IM的任意一个图像中的构造物的期间，强调显示另一个图像中的对应构造物。例如，在用户触摸实拍图像IC中的构造物的期间持续强调地图图像IM中的对应构造物，根据用户停止触摸，结束强调显示。由此，用户的操作和显示的联动性进一步提高，从而用户能够更容易地理解实拍图像IC上的构造物和地图图像IM上的构造物之间的对应关系。

(第四实施方式)

接下来，参照图13说明第四实施方式涉及的信息显示装置。在本实施方式中，可变更地构成摄像机的拍摄方向和拍摄倍率。由此，例如当用户在地图图像IM中指定了没有位于实拍图像IC的视场空间内的构造物的情况下，可通过变更摄像机的拍摄方向来强调显示对应构造物。

参照图13所示的流程图说明本实施方式中的构造物的强调显示方法。另外，图13按照如下方式构成：在图10所示的流程图中，在步骤S102和第三构造物确定例程#10C之间追加步骤S103和S104。

即，在步骤S102中检测到用户指定地图图像IM上的构造物时，在步骤S103中，构造物对应关系取得部5在三维地图空间内，判断用户指定的构造物是否在实拍图像IC的视场空间内。

在所指定的地图图像IM上的构造物没有在实拍图像IC上的视场空间内的情况下，在步骤S104中，变更摄像机拍摄方向使得用户指定的构造物进入视场空间内。结果，在用户指定的构造物进入视场空间内的时刻，在步骤S103中判断为“是”，控制进入第三构造物确定例程#10C，实施上述处理，在实拍图像IC上强调显示选择出的构造物。

通过这样地变更摄像机拍摄方向，可对更宽范围的构造物识别实拍图像IC上的构造物和地图图像IM上的构造物之间的对应关系。另外，在上述示例中，根据用户指定地图上的构造物而变更摄像机的拍摄方向，但也可以由用户变更摄像机的拍摄方向来指定进入摄像机的视场空间的构造物。此外，也可以变更拍摄倍率来代替变更拍摄方向。

另外，在此前所述的示例中，图像显示部7在1个显示器上双画面显示实拍图像IC和地图图像IM，但也可以在2个显示器上分别显示实拍图像IC和地图图像IM。此外，也可以不同时显示实拍图像IC和地图图像IM。在该情况下，例如先在显示器上只显示地图图像IM，在用户指定构造物时，画面切换到实拍图像IC，强调显示对应构造物。此外，也可以在用户指定构造物后，切换到地图图像IM和实拍图像IC的双画面显示。以上在先显示实拍图像IC再从中指定构造物的情况下也同样。

这样，在用户指定构造物时，通过显示实拍图像IC或者地图图像IM的某一方，与在1个显示器上进行双画面显示的情况相比能够以较大的尺寸显示图像，从而易于指定构造物。

此外，在上述示例中，摄像机被安装在汽车上，但不限于此，也可以安装在移动电话或船舶、飞机等移动体上，还可以附着在构造物等上。此外，摄像机和显示器也可以存在于相分离的场所。

以上详细地说明了本发明，但上述说明在所有方面仅是本发明的示例，并不限定其范围。显然，不脱离本发明的范围即可进行各种改善和变形。

工业实用性

本发明的信息显示装置作为设置在车辆内的车辆导航装置、车载信息终端以及显示器等影像显示装置等是有用的。此外，也可以作为步行者携带的移动电话、船舶、航空器等移动体中的导航装置使用。

Claims

1.一种车载导航系统，其特征在于，具有：

实拍图像取得部，取得实拍图像；

位置信息取得部，取得上述实拍图像取得部取得实拍图像时的位置；

地图信息存储部，存储包括构造物的信息的地理信息；

图像显示部，显示由上述实拍图像取得部取得的实拍图像和预先取得的地图图像；

输入部，根据用户的操作，指定在上述实拍图像和上述地图图像中的某一方上显示的至少一个构造物；以及

构造物对应关系取得部，基于由上述位置信息取得部取得的位置、存储在上述地图信息存储部的地理信息、及由上述输入部指定的构造物，对上述实拍图像上显示的构造物与上述地图图像上显示的构造物进行对应；

当上述由输入部指定上述实拍图像和上述地图图像中的某一方上显示的构造物时，上述图像显示部强调显示在另一方上显示的构造物内、由上述构造物对应关系取得部使之对应于该指定的构造物的构造物。

2.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部同时显示上述实拍图像和上述地图图像。

3.根据权利要求1所述的车载导航系统，其特征在于，

当构造物被上述输入部指定时，上述图像显示部显示上述实拍图像和上述地图图像中的至少一方，当强调显示与该指定的构造物相对应的构造物时，上述图像显示部显示该实拍图像和该地图图像内的至少显示该被强调显示的构造物的图像。

4.根据权利要求1所述的车载导航系统，其特征在于，

上述输入部是触摸面板，

当显示在上述实拍图像和上述地图图像中的某一方上的构造物被触摸时，上述图像显示部强调显示在另一方上显示的构造物内与该被触摸的构造物相对应的构造物。

5.根据权利要求1所述的车载导航系统，其特征在于，

上述实拍图像取得部具有拍摄上述实拍图像的摄像机，

上述构造物对应关系取得部根据拍摄上述实拍图像时的位置、以及作为决定拍摄方向和拍摄范围的参数的摄像机属性，对显示在上述实拍图像上的构造物和显示在上述地图图像上的构造物进行对应。

6.根据权利要求5所述的车载导航系统，其特征在于，

上述摄像机属性是拍摄上述实拍图像时的上述摄像机的摄像机角度、焦距和图像尺寸。

7.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部在上述实拍图像和上述地图图像上重叠用于表示用户可指定的构造物的辅助显示。

8.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部对于在上述实拍图像中被其他构造物隐蔽至少其一部分的构造物，在该实拍图像上重叠表示存在该被隐蔽的构造物的辅助显示。

9.根据权利要求8所述的车载导航系统，其特征在于，

还具有障碍物检测部，该障碍物检测部检测在上述实拍图像的视场空间内的障碍物，

上述图像显示部在该实拍图像上重叠辅助显示，该辅助显示表示在上述实拍图像中存在被由上述障碍物检测部检测出的障碍物隐蔽至少其一部分的构造物。

10.根据权利要求1所述的车载导航系统，其特征在于，

在上述实拍图像和上述地图图像中的某一方的图像中显示的构造物被指定的期间，上述图像显示部强调显示在另一方上显示的构造物之中与该指定的构造物相对应的构造物。

11.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部根据指定上述构造物的顺序和上述构造物的属性中的某一方，改变与该指定的构造物相对应的构造物的强调显示方法。

12.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部将在上述实拍图像和上述地图图像中的某一方中指定的构造物和在另一方中与该指定的构造物相对应的构造物一起强调显示。

13.根据权利要求12所述的车载导航系统，其特征在于，

上述图像显示部将在上述实拍图像和上述地图图像中的某一方中指定的构造物和在另一方中与该指定的构造物相对应的构造物相关联地强调显示。

14.根据权利要求1所述的车载导航系统，其特征在于，

上述图像显示部设定地图显示范围，使得在上述实拍图像的视场空间内的构造物显示在上述地图图像上。

15.根据权利要求1所述的车载导航系统，其特征在于，

上述输入部根据构造物的属性而指定方法不同。

16.根据权利要求5所述的车载导航系统，其特征在于，

上述实拍图像取得部能够变更上述实拍图像的拍摄方向和拍摄倍率中的至少一方。

17.根据权利要求16所述的车载导航系统，其特征在于，

当在上述地图图像中指定了不在上述实拍图像的视场空间内的构造物时，上述实拍图像取得部变更上述拍摄方向和上述拍摄倍率中的至少一方。