CN103914876A

CN103914876A - 用于在3d地图上显示视频的方法和设备

Info

Publication number: CN103914876A
Application number: CN201410008287.2A
Authority: CN
Inventors: 金圣德
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanhua Vision Co ltd
Priority date: 2013-01-08
Filing date: 2014-01-08
Publication date: 2014-07-09
Anticipated expiration: 2034-01-08
Also published as: US20140192055A1; US9361731B2; CN103914876B; KR101932537B1; KR20140090022A

Abstract

提供了一种用于在3D地图上显示视频的方法和设备。示例性实施例公开了一种将图像投射到三维（3D）电子地图的表面上的方法。所述方法包括：提取关于虚拟拍摄设备的位置的多个虚拟视角矢量中的每个与构成3D电子地图的多个多边形的最近的交点；将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较，以选择在所提取的最近的交点的坐标范围之内的像素；将所选择的像素的3D坐标转换为二维2D坐标，以在2D显示器上显示所选择的像素；将输入图像添加到所选择的像素之上，以实时输出添加的图像。

Description

用于在3D地图上显示视频的方法和设备

本申请要求于2013年1月8日提交到韩国知识产权局的10-2013-0002224号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。

技术领域

示例性实施例涉及一种将图像投射到三维地图（3D地图）的表面上的方法。更具体地讲，示例性实施例涉及一种将通过对预定区域进行捕捉而获得的图像实时投射到3D地图上的方法。

背景技术

参照图1，在现有技术中，当在地图上显示通过对预定区域101进行捕捉而获得的监控图像110时，总是将监控图像110以二维（2D）方式投射在地图上的预定位置上，而不考虑地图是2D还是三维（3D）。

其结果是，很难准确地确定地图100的哪部分与被投射的图像110相对应。此外，图像110与地图100之间的连通性低。因此，很难确定地图100的哪部分与监控图像110相对应。所以，降低了监控的有效性。

发明内容

示例性实施例可涉及一种用于通过将捕捉到的监视图像投射到三维（3D）地图中的对应部分来在3D地图上显示捕捉到的图像的方法和设备。因此，增加了地图与监视图像之间的连通性。

示例性实施例还可涉及一种用于通过将捕捉到的图像投射到3D地图的对应部分来在3D地图上显示捕捉到的图像的方法和设备。因此，将3D地图与监视图像相结合。

根据示例性实施例的一方面，提供一种在三维（3D）电子地图上显示捕捉到的图像的方法，所述方法包括：确定与真实拍摄设备在真实世界环境中所安装的位置相对应的虚拟拍摄设备在3D电子地图中的位置；提取被定位于多个虚拟视角矢量上的最近的交点，并且所述交点中的每个与构成3D电子地图的多个多边形中的一个在真实拍摄设备或虚拟拍摄设备周围的区域内相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；通过将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较来选择在所提取的最近的交点的坐标范围之内的像素；将所选择的像素的3D坐标转换为二维（2D）坐标，以便在2D显示器上显示所选择的像素；使用所选择的像素的经转换的2D坐标，将由真实拍摄设备捕捉到的图像添加到所选择的像素之上；以及将包括添加的图像的3D电子地图实时输出到2D显示器上。

根据示例性实施例的另一方面，提供一种用于在三维（3D）电子地图上显示捕捉到的图像的设备，包括：参考设置装置，被配置为确定与真实拍摄设备在真实世界环境中所安装的位置相对应的虚拟拍摄设备在3D电子地图中的位置；交点提取装置，被配置为提取被定位于多个虚拟视角矢量中的每个上的最近的交点，所述交点中的每个与构成3D电子地图的多个多边形中的一个在真实拍摄设备或虚拟拍摄设备周围的区域内相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；选择装置，被配置为通过将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较来选择在所提取的最近的交点的坐标范围之内的像素；转换装置，被配置为将所选择的像素的3D坐标转换为所选择的像素的二维（2D）坐标，以便在2D显示器上显示所选择的像素；图像添加装置，被配置为将由真实拍摄设备捕捉到的图像添加到所选择的像素之上，其中，所述添加装置使用所选择的像素的经转换的2D坐标；以及输出装置，被配置为将包括添加的图像的3D电子地图实时输出到2D显示器上。

根据示例性实施例的另一方面，提供一种用于在三维（3D）电子地图上显示捕捉到的图像的系统，包括：地图服务器，被配置为存储3D电子地图的数据，其中3D电子地图包括多个多边形；真实拍摄设备，被配置为拍摄监视区域；以及图像添加设备，被配置为将由真实拍摄设备捕捉到的图像添加到3D电子地图的上的位置，其中，图像添加设备包括：参考设置装置，被配置为确定与真实拍摄设备在真实世界环境中所安装的位置相对应的虚拟拍摄设备在3D电子地图中的位置；交点提取装置，被配置为提取被定位于多个虚拟视角矢量上的最近的交点，并且所述交点中的每个与各个多个多边形相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；选择装置，被配置为通过将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较来选择在所提取的最近的交点的坐标范围之内的像素；转换装置，被配置为将所选择的像素的3D坐标转换为所选择的像素的二维（2D）坐标，以便在2D显示器上显示所选择的像素；图像添加装置，被配置为将由真实拍摄设备捕捉到的图像添加到所选择的像素之上，其中，所述添加装置使用所选择的像素的经转换的2D坐标；以及输出装置，被配置为将包括添加的图像的3D电子地图实时输出到2D显示器上。

附图说明

通过参照附图来详细描述本发明的示例性实施例，示例性实施例的以上和其它特征和优点将变得更加清楚，在附图中：

图1示出根据现有技术的监视图像；

图2示出根据实施例的相互结合的监视图像和地图；

图3和4示出根据实施例的设置最近的交点的操作；

图5示出根据实施例的将在图4的操作中被选择的三维（3D）像素的坐标修改至二维（2D）坐标的操作；

图6是根据实施例的在3D电子地图上显示捕捉到的图像的系统的结构图；

图7至10示出根据实施例的使用输出单元来输出包括添加的图像的3D电子地图的操作；

图11是示出根据实施例的在3D电子地图上显示捕捉到的图像的方法的流程图。

具体实施方式

在下文中，将参照附图来详细描述示例性实施例。在附图中，即使当在不同的附图上示出相似的元件时，所述元件也由相似的标号来标示。

在示例性实施例的描述中，当认为现有技术的特定的详细解释会不必要地模糊示例性实施例的实质时，省略所述详细解释。

此外，应注意到为使本公开关于实施例是彻底的，在不脱离示例性实施例的范围的情况下，本领域的普通技术人员可对示例性实施例的实施例进行修改。

图1示出根据现有技术的监视图像110。

根据现有技术，每次在地图100上显示通过对预定区域101进行捕捉而获得的监视图像110时，总是将监控图像110以二维（2D）方式显示在地图上的预定位置上。因此，很难定位地图100的哪部分正显示在显示图像110中。

图2示出根据示例性实施例的相互结合的监视图像210和三维（3D）地图200。

根据示例性实施例，在图2中解决了图1中难以确定地图的哪部分与监视图像相对应的问题。此外，如图2所示，示例性实施例可提供一种将在预定点或由用户设置的点201上捕捉到的监视图像210投射到3D地图200的对应位置上的方法。

图3和4示出根据示例性实施例的设置最近的交点的操作。

为了在3D电子地图上的对应位置上显示使用真实拍摄设备捕捉到的图像，提取捕捉到的图像与构成3D电子地图的多边形之间的交点。

参照图3，确定虚拟拍摄设备301在3D电子地图中的位置。可将虚拟拍摄设备301在3D电子地图中的位置实现为与真实拍摄设备在由3D电子地图建模的真实世界环境中的位置相对应的位置。

可经由全球定位系统（GPS）来实时确定真实拍摄设备的位置。如果改变了拍摄点或者如果更改了真实拍摄设备的位置，则也会相应地更改虚拟拍摄设备301的位置。

当确定了虚拟拍摄设备301的位置时，也确定了四个虚拟视角矢量S310、S320、S330和S340与构成3D电子地图的各个多边形之间的交点。

将四个虚拟视角矢量S310、S320、S330和S340实现为与真实拍摄设备的每个视角边缘的视角信息相对应。可将由生产商预先设置的视角信息用作真实拍摄设备的视角信息。可选地，用户可设置真实拍摄设备的视角信息。

参照图3，第一虚拟视角矢量S310与构成3D电子地图的3D多边形之间的交点是点311。第二虚拟视角矢量S320与构成3D电子地图的多边形之间的交点是点321、322和323。第三虚拟视角矢量S330与构成3D电子地图的多边形之间的交点是点331、332和333。第四虚拟视角矢量S340与构成3D电子地图的多边形之一之间的交点是点341。

根据当前实施例，从沿着第一至第四虚拟视角矢量S310、S320、S330和S340中的每一条并与构成虚拟拍摄设备301中的3D电子地图的每个多边形相交的交点之中，确定第一至第四虚拟视角矢量S310、S320、S330和S340中每条矢量的最近的交点。用于确定最近的交点的视角矢量与真实拍摄装置301有关，如虚拟拍摄装置301在3D电子地图中所呈现的那样。

参照图3，第一虚拟视角矢量S310与构成3D电子地图的多边形之间的最近的交点是点311。第二虚拟视角矢量S320与构成3D电子地图的多边形之间的最近的交点是点321。第三虚拟视角矢量S330与构成3D电子地图的多边形之间的最近的交点是点331。第四虚拟视角矢量S340与构成3D电子地图的多边形之间的最近的交点是点341。

图4示出根据示例性实施例的最近的交点411、421、431和441。

根据当前实施例，仅选择在最近的交点411、421、431和441的坐标的范围之内的像素。

具体而言，将最近的交点411、421、431和441的3D坐标与构成多边形（其构成3D地图）的像素的3D坐标进行比较。作为比较的结果，选择在最近的交点411、421、431和441的坐标的范围之内的像素450，以便将其显示在3D地图上。

图5示出根据示例性实施例的将在图4的操作中选择的3D像素的坐标修改至2D坐标的操作。

将在图4中的3D电子地图上选择的像素标记为3D坐标，但是为了在2D显示器上显示这些3D坐标，2D坐标是必需的。对于2D坐标，可使用图5中示出的网格的坐标。可选地，可使用本领域中已知的其他方法来修改2D坐标。

根据示例性实施例，3D坐标和通过修改3D坐标而获得的2D坐标可相对于彼此被链接并且被存储在存储单元中。

在将所选择的像素的3D坐标修改为2D坐标之后，使用所选择的像素的2D坐标将使用真实拍摄设备捕捉到的图像实时添加到所选择的像素上。执行捕捉到的图像的添加，从而对输入图像的每一帧的纹理（texture）进行转换，以便与所选择的像素的2D坐标相对应。根据当前实施例，为了将捕捉到的图像添加到所选择的像素的2D坐标上，可使用图像添加技术（诸如在现有技术中广为人知的Direct X）。随后，在将捕捉到的图像添加到3D电子地图上之后，将3D电子地图实时输出到显示器上。

图6是根据实施例的在3D电子地图上显示捕捉到的图像的系统的结构图。

用于在3D电子地图上显示捕捉到的图像的系统包括图像添加设备600、地图服务器610和真实拍摄设备620。

地图服务器610存储由多边形所形成的3D电子地图的数据。真实拍摄设备620是捕捉监视区域的图像的设备，并且可以是图像捕捉设备，诸如相机、智能电话、摄像机、膝上型计算机或手持式设备。

通过使用图像添加设备600，将使用真实拍摄设备620捕捉到的图像添加到3D电子地图的对应位置上。可实现图像添加设备600，使得3D电子地图的数据从地图服务器610输入并被存储在内部缓冲器中。图像添加装置600的示例包括相机、移动电话、智能电话、平板PC、膝上型计算机、计算机和移动终端。

图像添加设备600包括参考设置单元601、交点提取单元602、选择单元603、转换单元604、图像添加单元605和输入单元606。图像添加设备还可包括存储单元607。

参考设置单元601确定虚拟拍摄设备的位置。虚拟拍摄设备与真实拍摄装置相对应。可将虚拟拍摄装置在3D电子地图中的位置实现为与真实拍摄装置在由3D电子地图建模的真实世界环境中的位置相对应的位置。

基于虚拟拍摄设备的位置，交点提取单元602提取四条虚拟视角矢量中每条矢量关于构成3D电子地图的多边形的最近的交点。关于交点提取单元602的操作可参照图3和4。

选择单元603将最近的交点的3D坐标与构成多边形（其构成3D地图）的像素的3D坐标进行比较，以仅选择在最近的交点的坐标的范围之内的像素。参照图4，仅选择在最近的交点411、421、431、441的范围之内的这些像素。

转换单元604将由选择单元603选择的像素的3D坐标转换为用于2D显示器的3D坐标。例如，转换单元604可通过经由3D屏幕上的视图矩阵对3D坐标进行转换来获得2D输出坐标。

图像添加单元605将拍摄设备620的输入图像添加到通过使用2D坐标来选择的像素上，其中，所述2D坐标是由选择单元603选择的像素的2D坐标。在这种情况下，通过根据使用转换单元604对3D坐标进行转换而获得的2D输出坐标对拍摄设备620的输入图像的纹理图像进行转换，来获得最终的输出图像，并且可将此最终的输出图像添加到所选择的像素上。在这种情况下，可在对应的内建3D多边形上显示捕捉到的图像的同时添加输入图像，如图2所示，所述3D多边形已经是3D地图的一部分。

输出单元606将包括添加的图像的3D电子地图实时输出到显示器上。如图7至9所示，通过使用输出单元606而输出的3D电子地图的输出范围可根据用户输入630而变化。用户输入630的示例包括键盘、鼠标、触控笔和手指。

存储单元607可存储用于3D电子地图的3D坐标信息和通过转换3D坐标信息而获得的2D坐标的信息，以便在2D显示器上显示3D坐标信息。

图7至10示出根据示例性实施例的使用输出单元来输出包括添加的图像的3D电子地图的操作。

图7示出由用户指定为多边形形状710的输出范围。图8示出被指定为预定部分810、820和830的输出范围。图9示出被划分为多个部分910、920、931、932、933、941、942和943的显示屏幕，从而用户可观看多个期望的部分。

此外，输出单元605可实时将添加的图像输出到显示器上，以使仅添加的图像在3D电子地图中被突出显示。例如，如图10所示，可使与添加的图像不对应的区域变暗或半透明，以使添加区域被突出显示。

图11是示出一种根据示例性实施例的在3D电子地图上显示捕捉到的图像的方法的流程图。在操作S1110中，参考设置单元确定与真实拍摄设备在由3D电子地图建模的真实世界环境中的位置相对应的虚拟拍摄设备的位置。

在操作S1120中，针对虚拟拍摄设备的位置，交点提取单元提取基于虚拟拍摄设备的视角信息而产生的虚拟视角矢量与构成3D地图的各个多边形之间的最近的交点。

在操作S1130中，选择单元将最近的交点的3D坐标与构成多边形（其构成3D地图）的像素的3D坐标进行比较，以仅选择在最近的交点的坐标的范围之内的像素。

在操作S1140中，转换单元将所选择的像素的3D坐标转换为2D坐标，以在2D显示器上将3D坐标呈现为2D坐标。

在操作S1150中，图像添加单元使用所选择的像素的2D坐标来将真实拍摄设备的捕捉到的图像实时添加到所选择的像素之上。在操作S1160中，输出单元将包括添加的图像的3D电子地图实时输出到显示器上。

由于近期的3D技术，地图上的地理特征和各种对象的呈现已经变得更加逼真。根据实施例，监视区域的地图和监视图像可彼此紧密耦合，从而提高监视的有效性。

此外，可将示例性实施例实施为不同的结构配置。例如，在图6中，参考设置单元601、交点提取单元602、选择单元603、转换单元604、图像添加单元605和输出单元606中的任何可包括至少一个处理器、电路或硬件模块。

还可将示例性实施例实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储此后可由计算机系统读取的数据的任何数据存储装置。

计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光数据存储装置等（诸如通过互联网的数据传输）。计算机可读记录介质还可分布在联网的计算机系统中，以便计算机可读代码以分布方式存储和执行。

尽管已经具体地显示和描述了示例性实施例，但本领域的普通技术人员将理解，在不脱离由所附权利要求限定的示例性实施例的精神和范围的情况下，可在形式和细节上做出各种改变。所述示例性实施例应仅被认为具有描述性意义，而不是为了限制的目的。

因此，示例性实施例的范围不由示例性实施例的详细描述而是由权利要求来限定，而且在所述范围之内的所有差异将被理解为被包括在示例性实施例中。

Claims

1.一种在三维3D电子地图上显示捕捉到的图像的方法，所述方法包括：

确定与真实拍摄设备在真实世界环境中所安装的位置相对应的虚拟拍摄设备在3D电子地图中的位置；

提取被定位于多个虚拟视角矢量上的最近的交点，并且所述交点中的每个与构成3D电子地图的多个多边形中的一个在真实拍摄设备或虚拟拍摄设备周围的区域内相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；

通过将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较来选择在所提取的最近的交点的坐标范围之内的像素；

将所选择的像素的3D坐标转换为二维2D坐标，以在2D显示器上显示所选择的像素；

使用所选择的像素的经转换的2D坐标，将由真实拍摄设备捕捉到的图像添加到所选择的像素之上；

将包括添加的图像的3D电子地图实时输出到2D显示器上。

2.如权利要求1所述的方法，其中，所述最近的交点被定位于虚拟视角矢量上，并且与构成3D电子地图的多边形之中最接近于真实拍摄设备或虚拟拍摄设备的所选择的多边形相交。

3.如权利要求1所述的方法，其中，多个虚拟视角矢量用于3D电子地图之内而且由四个矢量形成，并且多个虚拟视角矢量中的每个都具有与真实拍摄设备的视角相对应的视角。

4.如权利要求1所述的方法，其中，将2D坐标信息和3D坐标信息预先存储在存储单元中，而且所存储的2D坐标信息用于转换，其中，2D坐标信息和3D坐标信息是指通过将用于3D电子地图的3D坐标信息转换为2D坐标信息以在2D显示器上显示3D坐标信息而获得的坐标信息。

5.如权利要求1所述的方法，其中，由用户来指定添加的图像的部分。

6.如权利要求1所述的方法，其中，在输出的步骤中，将3D电子地图实时输出到2D显示器上，以使只有添加的图像在3D电子地图中被突出显示。

7.如权利要求5所述的方法，其中，使3D电子地图中与添加的图像不对应的区域变暗或半透明，以使添加区域被突出显示。

8.一种用于在三维3D电子地图上显示捕捉到的图像的设备，包括：

参考设置装置，被配置为确定与真实拍摄设备在真实世界环境中所安装的位置相对应的虚拟拍摄设备在3D电子地图中的位置；

交点提取装置，被配置为提取被定位于多个虚拟视角矢量中的每个上的最近的交点，所述交点中的每个与构成3D电子地图的多个多边形中的一个在真实拍摄设备或虚拟拍摄设备周围的区域内相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；

选择装置，被配置为通过将所提取的最近的交点的3D坐标与构成多个多边形的多个像素的3D坐标进行比较来选择在所提取的最近的交点的坐标范围之内的像素；

转换装置，被配置为将所选择的像素的3D坐标转换为所选择的像素的二维2D坐标，以便在2D显示器上显示所选择的像素；

图像添加装置，被配置为将由真实拍摄设备捕捉到的图像添加到所选择的像素之上，其中，所述添加装置使用所选择的像素的经转换的2D坐标；

输出装置，被配置为将包括添加的图像的3D电子地图实时输出到2D显示器上。

9.如权利要求8所述的设备，其中，所述交点被定位于虚拟视角矢量上，并且与构成3D电子地图的多边形之中最接近于真实拍摄设备或虚拟拍摄设备的所选择的多边形相交。

10.如权利要求8所述的设备，还包括存储2D坐标信息和用于3D电子地图的3D坐标信息的存储单元，其中，通过对3D坐标信息进行转换以在2D显示器上显示3D坐标信息来获得2D坐标信息。

11.如权利要求8所述的设备，其中，虚拟拍摄设备的位置是3D电子地图之内与真实拍摄设备的位置相对应的位置，其中，由全球定位系统GPS来确定真实拍摄设备的位置。

12.如权利要求8所述的设备，其中，多个虚拟视角矢量用于3D电子地图而且由四个矢量形成，而且多个虚拟视角矢量中的每个都具有与真实拍摄设备的视角相对应的视角。

13.一种用于在三维3D电子地图上显示捕捉到的图像的系统，包括：

地图服务器，被配置为存储3D电子地图的数据，其中，3D电子地图包括多个多边形；

真实拍摄设备，被配置为拍摄监视区域；

图像添加设备，被配置为将由真实拍摄设备捕捉到的图像与3D电子地图的上的位置进行添加，

其中，图像添加设备包括：

交点提取装置，被配置为提取被定位于多个虚拟视角矢量上的最近的交点，并且所述交点中的每个与各个多个多边形相交，其中，基于虚拟拍摄设备的视角信息和虚拟拍摄设备的位置产生所述多个虚拟视角矢量；

图像添加装置，被配置为将由真实拍摄设备捕捉到的图像添加到所选择的像素上，其中，所述添加装置使用所选择的像素以及所选择的像素的经转换的2D坐标；

14.如权利要求13所述的设备，其中，所述交点被定位于虚拟视角矢量上，并且与构成3D电子地图的多边形之中最接近于真实拍摄设备或虚拟拍摄设备的所选择的多边形相交。

15.如权利要求13所述的设备，其中，虚拟拍摄设备的位置是3D电子地图之内与真实拍摄设备的位置相对应的位置，其中，由全球定位系统GPS来确定真实拍摄设备的位置。

16.如权利要求13所述的设备，其中，多个虚拟视角矢量用于3D电子地图而且由四个矢量形成，并且多个虚拟视角矢量中的每个都具有与真实拍摄设备的视角相对应的视角。