CN103443839A

CN103443839A - 图像显示装置

Info

Publication number: CN103443839A
Application number: CN2012800156428A
Authority: CN
Inventors: 西村健二; 五条梓
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Automotive Electronic Systems Co ltd
Priority date: 2011-03-28
Filing date: 2012-03-08
Publication date: 2013-12-11
Anticipated expiration: 2032-03-08
Also published as: DE112012001464T5; US20130321688A1; JPWO2012132257A1; JP6089337B2; WO2012132257A1; CN103443839B; US9066018B2

Abstract

本发明公开了提供一种在画面上分割地显示三维的写实图像及其拍摄位置的二维的地图图像的情况下，能够一目了然地理解写实图像与地图图像的整体的对应关系的图像显示装置的技术，根据该技术，在图像显示部（33）的画面上分割地显示由照相机（13）拍摄的写实图像和照相机（13）的拍摄位置的地图图像的情况下，地图描绘部（24）从位置传感器（21）及方位传感器（22）分别读入照相机的位置信息（x，y）及照相机的方位角度

，并且读入积存在视角控制部（11）中的照相机的视角θ，使用照相机的位置信息（x，y）从地图数据保存部（23）读入照相机的拍摄范围周边的地图数据，使用视角θ及方位角度

以与照相机所拍摄的写实图像的视角θ及方位角

一致的方式加工地图图像进行描绘。

Description

图像显示装置

技术领域

本发明涉及分割画面来显示写实图像及其拍摄位置的地图图像的图像显示装置，特别是涉及如下的图像显示装置，即：通过明确在画面上被分割显示的写实图像与地图图像的对应关系，从而对提高了可视性的图像进行显示，由此，用户能够更直观地理解地理信息。

背景技术

作为为用户指点地理信息的显示装置，广泛地普及有车载或者便携式的汽车导航装置。进而，近年来，作为导航装置，已知如下的导航装置，即：以用户能够更直观地理解用户的周边信息的方式，例如画面分为左右两部分来显示由车载照相机对实际的风景进行拍摄的写实图像和导航地图图像，当画面上写实图像上的构造物与地图图像上的构造物的一方被用户指定的情况下，对另一方的构造物进行强调显示（例如，参照下述的专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2007-127437号公报（权利要求1、图2）。

发明内容

然而，在现有的显示装置中，在写实图像上的构造物与地图图像上的构造物的一方被用户指定的情况下，因为仅对另一方的构造物进行强调显示，所以在视觉上写实图像为三维图像、地图图像为二维图像，因此，对于用户而言，存在难以一目了然地理解写实图像与地图图像的整体的对应关系的问题。

本发明鉴于上述现有例子的问题，其目的在于，提供一种在画面上分割地显示三维的写实图像及其拍摄位置的二维的地图图像的情形，能够一目了然地理解写实图像与地图图像的整体的对应关系的图像显示装置。

为了达成上述目的，本发明提供了一种图像显示装置，在画面上分割地显示由拍摄单元拍摄的写实图像和地图图像，所述图像显示装置采用具备以下部分的结构：取得所述拍摄单元的视角、拍摄位置及拍摄方位的单元；以及以所述取得的拍摄位置附近的地图图像的方向与所述取得的拍摄方位一致的方式而且以所述地图图像的视角与所述取得的所述拍摄单元的视角一致的方式，加工所述地图图像的单元。

根据该结构，在画面上分割地显示三维的写实图像及其拍摄位置的二维的地图图像的情形，因为写实图像与地图图像的方位及视角一致地进行显示，故能够一目了然地理解写实图像与地图图像的整体的对应关系。

根据本发明，在画面上分割地显示三维的写实图像及其拍摄位置的二维的地图图像的情形，能够一目了然地理解写实图像与地图图像的整体的对应关系。

附图说明

图1是本发明实施方式中的图像显示装置的框图。

图2是示出本发明实施方式中的图像显示装置的视角的说明图。

图3是示出本发明实施方式中的图像显示装置的写实图像与地图图像的显示区域的说明图。

图4是示出本发明实施方式中的图像显示装置的照相机的拍摄方向的方位角的说明图。

图5是示出本发明实施方式中的图像显示装置的照相机的拍摄范围周边地图与地图图像的保存区域的说明图。

图6是示出本发明实施方式中的图像显示装置的写实图像与地图图像的合成图像的说明图。

图7是用于说明本发明实施方式中的图像显示装置的处理的流程图。

具体实施方式

以下，一边参照附图一边对本发明实施方式中的图像显示装置进行说明。图1是本发明实施方式中的图像显示装置的框图。在图1中，视角控制部11为了使分割为上下两部分显示在图像显示部33的显示区域的写实图像与地图图像的视角一致，对照相机13和地图描绘部24一同设定水平方向的视角θ。显示区域控制部12为了将窗口（window）区域（宽度w，高度h1）、（宽度w，高度h2）分别分配给写实图像及地图图像，而分别在写实图像缩放部15和地图图像缩放部26设定窗口区域（w，h1）、（w，h2），其中该窗口区域是将图像显示部33的显示区域（宽度w，高度h＝h1+h2）分割为上下两部分而成的。

照相机13调整焦点距离以拍摄与水平方向的视角θ对应的写实图像，写实图像存储器部14保存由照相机13拍摄的写实图像。写实图像缩放部15以与显示区域控制部12所设定的上侧的窗口区域（w，h1）一致的方式对该写实图像进行放大缩小，并输出到图像合成部31。

位置传感器21测量由照相机13所在的纬度x及经度y构成的位置信息（x，y），此外，方位传感器22测量照相机13的透镜中心的光轴所指的方位角

。地图数据保存部23保存为了描绘地图而需要的地图数据，地图描绘部24基于位置信息（x，y）读出照相机13的拍摄范围周边的地图数据，进而使用视角θ及方位角

，以与照相机13所拍摄的写实图像的视角θ及方位角

一致的方式加工地图图像进行描绘。地图图像存储器部25保存由地图描绘部24描绘的地图数据。地图图像缩放部26以与显示区域控制部12所设定的下侧的窗口区域（w，h2）一致的方式截取该地图图像，进行放大缩小，并输出到图像合成部31。图像合成部31沿上下连结这些写实图像和地图图像而制作合成图像，将合成图像保存于合成图像存储器部32，图像显示部33显示该合成图像。

以下，详细地进行说明。视角控制部11是如下的ROM等存储装置，即：积存一个以上的预先确定的角度来作为确定照相机13的拍摄范围的参数即水平方向的视角θ，用户能够通过刻度盘操作等从积存的多个视角之中选择一个视角θ进行指定。图2是示出本发明实施方式中的图像显示装置100的视角θ的图。在图2中，在水平地摆放照相机13的情况下，照相机透镜中央的光轴的朝向即拍摄方向112两侧的拍摄范围113的等腰三角形的顶角角度为视角θ。在此，视角θ的范围是0＜θ＜180°。

显示区域控制部12是如下的ROM等存储装置，即：为了将图像显示部33的显示区域分割为上下两部分并将各个分割区域分配到写实图像及地图图像的显示区域，而积存预先确定的各分割区域的横和纵的像素数。图3是示出本发明实施方式中的图像显示装置100的写实图像与地图图像的显示区域的图。在此，在图3中，将整体显示区域121分割为上下两部分，上侧设为写实图像显示区域122、下侧设为地图图像显示区域123，整体显示区域121的横向和纵向的像素数分别设为w和h（＝h1+h2），上侧的写实图像显示区域122的纵向的像素数设为h1、下侧的地图图像显示区域123的纵向的像素数设为h2。

照相机13是所谓的带缩放功能的数字照相机，读入积存在视角控制部11中的视角θ，以视角成为θ的方式调整透镜的焦点距离，每隔预先确定的固定时间将用CCD等拍摄元件拍摄的写实图像变换为RGB数据，并写入到写实图像存储器部14中。写实图像存储器部14是积存写实图像的DRAM等存储装置，以RGB数据的形式对拍摄的写实图像进行一次保存。

写实图像缩放部15从显示区域控制部12读入写实图像显示区域122的尺寸，并且，从写实图像存储器部14读入写实图像，制作以与写实图像显示区域122的尺寸一致的方式进行放大缩小的写实图像的RGB数据。例如，在作为写实图像的尺寸，横向为W[像素]、纵向为H[像素]，作为写实图像显示区域122的尺寸，横向为w[像素]、纵向为h1[像素]的情况下，使写实图像在横向上为（w/W）倍、在纵向上为（h1/H）倍。

位置传感器21是如下的传感器装置，即：利用GPS（Global Positioning System：全球定位系统）每隔预先确定的固定时间连续地测量纬度经度数据，将照相机13的位置信息（x，y）用串行通信（serial communication）等对外部进行通信。方位传感器22是如下的传感器装置，即：利用电子指南针（compass）每隔预先确定的固定时间连续地测量以北为基准的方位角度，将照相机13的透镜中心的光轴所指的拍摄方向的方位角度用串行通信等对外部进行通信。图4是示出本发明实施方式中的图像显示装置100的照相机13的拍摄方向的方位角

的图，照相机13的拍摄方向112与正北方向（N）133所成的角度是方位角。

地图数据保存部23是积存为了描绘地图而需要的地图数据的闪速存储器（flash memory）等存储装置。地图描绘部24经由串行通信从位置传感器21及方位传感器22分别读入照相机13的位置信息（x，y）及照相机13的方位角度，并且读入在视角控制部11中积存的视角θ。然后，地图描绘部24根据照相机13的位置信息（x，y）、方位角度

及视角θ，从地图数据保存部23读入照相机13的拍摄范围周边的地图数据，使用视角θ及方位角度，以与照相机13所拍摄的写实图像的视角θ及方位角

一致的方式加工地图图像进行描绘。地图图像存储器部25是积存地图图像的DRAM等存储装置，以RGB数据的形式对描绘的地图图像进行一次保存。

图5是示出本发明实施方式中的图像显示装置100的照相机13的拍摄范围周边地图145与地图图像的保存区域146的图。在图5中，在将根据照相机13的位置信息（x，y）即纬度经度数据而计算出的地图上的照相机13的位置设为照相机位置O，以照相机13的拍摄方向112成为地图的正上方的方式放置照相机13的情况下，在视角θ的情况下的地图上的拍摄范围是113、在方位角

的情况下的地图上的正北方向是133、以照相机位置O为中心旋转方位角的地图是拍摄范围周边地图145，将拍摄范围113的边界上的任意的点A与关于拍摄方向132与点A对称的点B作为顶点，在边上具有照相机位置O的矩形区域为地图图像的保存区域146。地图描绘部24将该图像保存区域146的地图图像变换为RGB数据，并写入到地图图像存储器部25。

地图图像缩放部26从显示区域控制部12读入地图图像显示区域123的尺寸，从地图图像存储器部25读入地图图像，制作以与地图图像显示区域123的尺寸一致的方式进行放大缩小的地图图像的RGB数据。例如，在作为地图图像的尺寸，横向为M[像素]、纵向为N[像素]，地图图像显示区域123的尺寸是横向为w[像素]、纵向为h2[像素]的情况下，使写实图像在横向上为（w/M）倍、在纵向上为（h2/N）倍。

图像合成部31分别读入在写实图像缩放部15制作的写实图像的RGB数据和在地图图像缩放部26制作的地图图像的RGB数据，沿上下进行连结来制作合成图像，以RGB数据的形式写入到合成图像存储器部32。合成图像存储器部32是积存合成图像的DRAM等存储装置，以RGB数据的形式对制作的合成图像进行一次保存。图像显示部33是显示图像的液晶监视器等显示器，每隔固定时间读入积存在合成图像存储器部32中的合成图像的RGB数据来进行显示。

图6是示出本发明实施方式中的图像显示装置100的写实图像与地图图像的合成图像的图。在图6中，整体显示区域121沿上下连结写实图像显示区域122和地图图像显示区域123来进行制作。在地图图像显示区域123显示有表示地图上的照相机位置的照相机图像13a、处于照相机的拍摄范围113的照相机拍摄方向112上的塔165、处于与拍摄方向112不同的方向上的建筑物166，并且显示有示出建筑物166的方向的辅助线164。

在此，当将写实图像与地图图像的边界线的端点设为A、B、将辅助线164与边界线AB的交点设为C时，在A、B上写实图像与地图图像的视角θ一致，因此，即使在边界线AB上的点C处，写实图像与地图图像的外观的方位角也一致。因此，在写实图像显示区域122，在拍摄方向112的延长线上显示有与地图上的塔165对应的写实图像上的塔167。此外，在交点C上，显示有与地图上的建筑物166对应的写实图像上的建筑物168。

对于像以上那样构成的图像显示装置，以下说明其处理工作。图7是本发明实施方式中的图像显示装置100的处理的流程图。首先，在步骤S101中，照相机13及地图描绘部24分别从视角控制部11读入视角θ。进而，地图描绘部24从位置传感器21读入纬度经度数据作为照相机的位置信息（x，y），此外，从方位传感器22读入方位角

。

接着，在步骤S102中，将照相机13以视角θ拍摄的写实图像写入到写实图像存储器部14。此后，在步骤S103中，写实图像缩放部15从显示区域控制部12读入横纵的像素数w及h1作为写实图像显示区域122的尺寸。进而，在步骤S104中，写实图像缩放部15从写实图像存储器部14读入写实图像，以横、纵的像素数与w、h1一致的方式对写实图像进行放大缩小。

此外，在步骤S105中，地图描绘部24从地图数据保存部23读入地图数据，以与照相机的视角θ、拍摄方向112、拍摄范围113一致的方式加工拍摄范围周边地图145进行描绘，将图像保存区域146的地图图像写入到地图图像存储器部25。此后，在步骤S106中，地图图像缩放部26从显示区域控制部12读入横纵的像素数w及h2作为地图图像显示区域123的尺寸。进而，在步骤S107中，地图图像缩放部26从地图图像存储器部25读入地图图像，以横、纵的像素数与w、h2一致的方式对地图图像进行放大缩小。

在步骤S108中，图像合成部31在写实图像显示区域122读入在步骤S104中制作的写实图像，在地图图像显示区域123读入在步骤S107中制作的地图图像，在整体显示区域制作合成图像，写入到合成图像存储器部32。接着，在步骤S109中，图像显示部33从合成图像存储器部32读入合成图像，更新显示器的显示。最后，在步骤S110中进行结束确认，在未结束的情况下返回到步骤S101。

像以上那样，根据本实施方式，因为使三维的写实图像与二维的地图图像的视角一致地加工成具有连续性的图像进行显示，所以用户不进行指定任意的构造物的操作，也能够一目了然地理解写实图像与地图图像的整体的对应关系。另外，在上述的实施方式中，虽然在地图描绘部24进行使地图图像的视角与写实图像一致的加工，但是，也可以取而代之而在地图图像缩放部26进行。

另外，在上述实施方式的说明中使用的各功能模块典型地作为是集成电路的LSI来实现。它们可以个别地进行单芯片化，也可以以包括一部分或全部的方式进行单芯片化。在此，虽然设为LSI，但是根据集成度的不同，有时也称为IC、系统LSI、超大规模（super）LSI、特大规模（ultra）LSI。此外，集成电路化的方法不限于LSI，也可以采用专用电路或通用处理器来实现。也可以在制造LSI后采用可编程的FPGA（Field Programmable Gate Array：现场可编程门阵列）、或采用能够对LSI内部的电路单元的连接、设定进行再构成的可重构处理器（reconfigurable processor）。进而，如果由于半导体技术的进步或派生的其它技术而出现可替换LSI的集成电路化的技术，当然，也可以使用该技术进行功能模块的集成化。例如，可能会应用生物技术等。

产业上的可利用性

本发明的图像显示装置具有在画面上分割地显示三维的写实图像及其拍摄位置的二维的地图图像的情况下，能够一目了然地理解写实图像与地图图像的整体的对应关系的效果，在车载的汽车导航装置、用于步行者的导航装置、车载的信息终端装置、便携式的信息终端装置的设计、制造的领域能够加以利用。

Claims

1.一种图像显示装置，在画面上分割地显示由拍摄单元拍摄的写实图像和地图图像，所述图像显示装置具备：

取得所述拍摄单元的视角、拍摄位置及拍摄方位的单元；以及

以所述取得的拍摄位置附近的地图图像的方向与所述取得的拍摄方位一致的方式而且以所述地图图像的视角与所述取得的所述拍摄单元的视角一致的方式，加工所述地图图像的单元。

2.根据权利要求1所述的图像显示装置，其特征在于，

沿上下方向将所述画面分为两部分，在上侧的分割区域显示所述写实图像，并在下侧的分割区域显示所述被加工的地图图像，进而将所述拍摄单元的视角与所述被加工的地图图像一起显示在所述下侧的分割区域。