CN102157011A - 利用移动拍摄设备进行动态纹理采集及虚实融合的方法 - Google Patents

Abstract

本发明公开了一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，属于人机交互、虚拟现实、计算机图形学和计算机视觉等技术领域。该方法包括：a)移动拍摄设备获取拍摄地点的位置和方向；b)移动拍摄设备根据所述位置和方向以及移动拍摄设备中的拍摄参数在屏幕中呈现虚拟影像；c)移动拍摄设备进行影像取景，将真实影像和虚拟影像同时呈现于屏幕，调整真实视点和虚拟视点中的一个或两个，使真实视点和虚拟视点重合；d)将真实影像上传至数据服务器，数据服务器融合影像并更新虚拟场景的影像数据。本发明可用于虚拟现实系统。

Description

利用移动拍摄设备进行动态纹理采集及虚实融合的方法

技术领域

本发明涉及虚拟现实，尤其涉及一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，属于人机交互、虚拟现实、计算机图形学和计算机视觉等技术领域。

背景技术

移动互联网已经成为比当前互联网更大的互联网，具有广阔的应用发展前景。但是当前的手机仅仅局限于电话短信或者拍摄等有限的几个功能，尤其是如何发挥手机及其它移动摄像设备的图像或者视频拍摄功能，使得用户可以随时随地把真实世界中的图像或者视频数据及时传输到相应的虚拟场景中的指定位置上，并完成虚拟场景与真实影像采集数据的融合，这方面的技术和系统，未见于公开报道。

另一方面，传统的虚拟场景中基于图像的纹理数据的更新由于受采集设备和数据处理方法的限制，无法满足虚拟场景纹理实时更新的需求，从而使得虚拟现实系统的真实感和沉浸感受到很大的制约。Google公司推出的街景服务，可以使用户在相应的虚拟场景中进行交互漫游，但是没有进行场景与采集影像数据的匹配，也无法在街景中查询当前位置场景对象的相关信息，而且这些街景信息都是事先处理完成的，无法做到街景图像的实时更新。微软在2010年上半年尝试利用定制的手机针对街景图像数据指定的位置和朝向进行动态视频远程传输的演示，但有关这方面的技术文献和演示系统并未见诸公开文献或报道。此项技术目前仍处于空白。

发明内容

本发明的目的在于针对当前虚拟现实中的局部场景真实感不足的缺点，提出一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法。

为了实现技术目的，本发明采用如下技术方案：

一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，所述方法包括：

a)移动拍摄设备获取拍摄地点的位置和方向，也就是真实影像的视点；

b)移动拍摄设备安装有呈现虚拟场景的虚拟现实系统客户端，移动拍摄设备根据所述位置和方向以及移动拍摄设备中的拍摄参数(比如分辨率，焦距和景深)在屏幕中呈现虚拟场景的虚拟影像；

c)移动拍摄设备对真实场景进行影像取景，将真实影像和虚拟影像同时呈现于所述屏幕，调整真实场景的视点和虚拟场景的视点中的一个或两个，使所述真实场景的视点和虚拟场景的视点重合；

d)通过虚拟现实系统的客户端将移动拍摄设备拍摄的真实影像上传至数据服务器，所述数据服务器融合所述影像并更新虚拟场景的影像数据。数据服务器也可将更新后的数据分发给包括移动拍摄设备中的虚拟现实系统客户端在内的虚拟现实系统客户端，实现客户端数据的及时更新。

优选地，在步骤c)中，将真实影像和虚拟影像重叠呈现于所述屏幕，所述真实影像位于底层，所述虚拟影像位于顶层并具有设定的透明度(比如半透明)；或者，所述虚拟影像位于底层，所述真实影像位于顶层并具有设定的透明度(比如半透明)。

优选地，在步骤c)中，通过调整拍摄地点的位置和方向中的一项或两项，使所述真实场景的视点和虚拟场景的视点重合。

优选地，在步骤c)之后，将所述屏幕中的虚拟影像和真实影像放大至真实分辨率，若两者不重叠，则调整在真实分辨率下重复步骤c)，即更加细微地调整真实场景的视点和虚拟场景的视点之一或者两者同时调整，使得真实影像和虚拟影像重叠，即真实场景的视点和虚拟场景的视点重合。

优选地，安装在移动拍摄设备内的虚拟现实系统客户端可以对虚拟场景中的场景特征进行语义查询和语义编辑及更新，数据服务器再将更新后的数据分发给包括移动拍摄设备的虚拟显示系统客户端在内的各个虚拟现实系统客户端。

下面从几个方面对本发明方法作具体说明。

在本发明方法中，移动拍摄设备(比如手机，相机，摄像机，或者其它专用拍摄设备等等)拍摄的影像(在本发明中，影像包括动态的视频或者静态的图像(照片))具备位置和方向属性，并上传到虚拟场景系统中进行场景影像纹理的融合处理，使得虚拟场景中的局部纹理的生成具有动态、实时等特点，提高虚拟场景的真实感。同时，利用移动拍摄设备屏幕显示的虚拟场景，通过交互拾取虚拟场景对象查询相关的各种属性信息，从而可以加快真实感虚拟场景的构建速度和构建质量，同时可以增加用户查询场景对象相关信息时的直观性和便捷性，也可以通过真实场景拍摄的影像对虚拟场景对象的轮廓形状进行有效校验，进而提高虚拟场景对象的三维构建精度。

在本发明方法中，移动拍摄设备应具有定位功能(比如在室外采用设备内的GPS定位装置进行定位，如果在室内，则可以利用无线网络发射节点之间的三角测量交叉定位功能进行定位)和定向功能。也就是说，设备可以获取拍摄地点和方位朝向，这样的技术条件在现有的中高端手机上已经普及，其中的定位和定向的精度，还可以通过设备的增强和定位定向的相关算法改进得到保证，目前已有成熟的解决方案。

利用移动拍摄设备进行拍摄之前，需要预先读取当前位置的虚拟场景。也就是说，拍摄者所在位置周围的真实场景应当经过相应的虚拟场景构建，并且可以通过移动拍摄设备的屏幕呈现当前位置和朝向的三维虚拟场景。移动拍摄设备屏幕同时也呈现其镜头对准的真实场景景象。为此，虚拟场景或者拍摄景象之一可以按一定的透明度呈现，便于用户通过屏幕同时观测到虚拟影像和真实影像。

一般而言，由于移动拍摄设备的定位精度和定向精度存在一定误差，因此移动拍摄设备确定的位置和方向未必是移动拍摄设备所在的真实位置和方向，因此移动拍摄设备根据其确定的位置和方向得到的虚拟影像和真实拍摄到的真实影像之间会存在不一致的情况。为了解决这一问题，在本发明方法中，通过调整移动拍摄设备的位置和方向，或者通过调节虚拟场景的视点位置和方向，使得真实场景影像与虚拟场景影像重叠一致，此时虚拟场景中的虚拟相机具有与真实的移动拍摄设备几乎完全相同的空间位置、朝向和拍摄参数(包括投影类型，观察参考点，观察平面法向，观察正向，投影参考点，相机焦距和景深等)，从而确定拍摄的真实影像作为此位置和方向上的三维虚拟场景的纹理图像或者视频纹理。

以上过程完成了移动拍摄设备的各项参数与虚拟场景摄像机的各项相应参数的匹配，随后在移动拍摄设备的移动过程中，虚拟场景的虚拟摄像机也随着移动拍摄设备的位置、方向和拍摄参数的改变而改变。也就是说，可以把移动拍摄设备的镜头与虚拟场景中的虚拟摄像头完全结合起来，从而通过移动拍摄设备的网络传输功能，把拍摄到的相应真实影像纹理数据传输到虚拟场景的数据服务器中，通过更新数据服务器相应位置的场景数据，使得拍摄的真实影像纹理在虚拟场景中得到呈现，实现虚拟场景的虚实融合。

和现有技术相比，本发明的优势体现在：

1.移动拍摄设备在定位定向功能的辅助下，通过调整移动设备的位置和朝向，或者调整移动设备上的虚拟现实场景中的视点位置和朝向，利用真实影像与虚拟影像的重叠显示，使得动态纹理影像与虚拟场景影像进行有效的一致性叠加；

2.在真实分辨率条件下对真实影像和虚拟影像进行一致性叠加；

3.真实影像纹理具有与虚拟场景相同的摄像机参数。

4.利用移动设备的定位定向功能的辅助，移动设备上的虚拟现实系统客户端具有场景位置的语义查询和编辑功能。

附图说明

图1表示虚拟影像的示意图；

图2表示真实影像的示意图；

图3表示实施例方法流程示意图。

具体实施方式

下面通过具体实施例结合附图对本发明作进一步说明。

本实施例按照数据采集和场景生成流程，可以通过以下几个步骤分步实施：

1手机的地理位置和姿态的初始化定位

手机在室外使用时，其地理位置直接由手机中的GPS模块测量定位得到。如果在室内，则通过无线网络WLAN的无线发射器之间的三角测量原理与发射器的频率强度场的变化值确定手机的地理位置初始值。这两项技术都已经有了成熟的解决方案。当然也可以通过手机通信网络的定位方法确定地理位置，也已经有成熟的解决方案。手机的朝向初始值，可以通过手机自身所具备的测量传感器测量所得。从而得到手机的位置和方向初始值。见图3步骤(1)，(2)。

2虚拟场景在手机移动下的视点改变呈现

传统的虚拟场景的浏览，通过第一人称视点或者第三人称视点交互调整虚拟场景的朝向和位置，比如通过键盘的方向键或者鼠标滑动改变虚拟摄像机的视点位置和朝向。本实施例采用具有定位定向功能的手机，因此视点的位置和朝向直接通过设备传感器的参数获得，通过手机的位置和朝向的变化，改变虚拟场景中虚拟视点的位置和朝向，从而改变虚拟场景的虚拟影像。如上所述，由于定位定向设备和计算方法所带来的测量传感器误差，同时由于虚拟场景构建的计算误差，因此存在虚拟视点变化的精度问题。对于浏览场景而言，虚拟视点的精度误差是可以接受的，但是对于本实施例中的定位和定向，需要进行误差校正。具体的视点纠正方法可以是：通过手机定位和姿态传感器获得位置与姿态参数，计算虚拟空间的概略视点，使用手机获得真实影像与虚拟空间视点临近区域的虚拟影像进行基于局部区域和基于特征的匹配，通过匹配获得虚拟空间视点与真实视点之间的差异，进而修正虚拟场景的视点参数，同时，也可依据虚拟场景的视点位置，进一步修正手机的定位、定向参数。

3通过手机拍摄真实影像

手机通过自身携带的摄像头，对真实场景进行影像拍摄，由于手机具备定位和定向的功能，因此所拍摄的影像都具备当前位置和朝向等参数值。同时，可以从手机的硬件参数中及时确定景象的景深、焦距以及分辨率等拍摄参数。因此，拍摄的影像具有摄像机的内外参数值。

4手机位置和姿态的动态调整

由于GPS和手机姿态传感器带来的测量误差，拍摄的真实影像与虚拟影像不能完全重叠，真实视点与虚拟视点不一致。为了便于讨论，此处假设场景建筑物的位置和朝向是精确确定的，即使与真实的场景有一定误差，也以虚拟场景建筑物的位置和方向为准，这样的假设对本实施例的方法和实现流程没有影响。

如果真实影像与虚拟影像不重叠(此时，把虚拟影像设定为半透明，或者把真实影像设定为半透明)，则通过调整手机的位置和姿态使得虚拟场景的视点向真实视点位置移动。不断调整虚拟场景视点，使得虚拟场景与真实场景出现重叠一致，从而可以得到此位置的虚拟场景所需要的动态纹理图像或者视频，如图1，2所示。记录此动态纹理的相关摄像机参数(位置、朝向和分辨率等参数)。

在重叠性调整过程中，由于手机的摄像头分辨率与手机屏幕的显示分辨率不同，因此仅仅在手机屏幕分辨率下上进行简单的重叠性判断可能存在精度误差，需要在调整重叠场景后，对拍摄的真实影像与虚拟影像在手机屏幕上的图像进行放大对比，只有在手机摄像头真实分辨率显示的条件下进行虚实影像的一致性重叠性迭代判断，才能使得两者之间的相机参数保持一致。因此如果在虚实影像放大到真实分辨率的情况下，出现不重叠的情形(如果重叠的话，则这一步可以省略)，则再局部调整虚拟场景的视点位置，使得虚拟影像与真实影像在局部场景中重叠，并对虚拟场景中具有明显几何特征的点或者图像特征点进行手工标定，一般标定点在3-5个点，由此计算得到的虚拟场景视点参数值就是真实景象的视点参数值。见图3步骤(6)。

5动态纹理的上传与虚拟融合

将拍摄得到的三维真实场景中当前位置和姿态下的真实影像作为动态纹理上传到虚拟现实系统的数据服务器中，等待对这些数据进行处理和融合，以及网络分发。由于动态纹理生成过程可能被不同用户、不同角度和位置以不同分辨率的手机设备重复生成，而且由于手机拍摄质量、手机摄像头的分辨率以及光照等因素影响，即使同一场景同一角度所拍摄的动态纹理质量可能有所不同，因此需要融合不同分辨率、不同光照条件下拍摄的场景纹理信息。通过一定的视觉和图像处理算法(这些算法已经有成熟的方法)，把这些拍摄图像或者视频进行数据校正融合，生成同一视角下的纹理图像，并通过一定的数据组织，存储在虚拟现实数据服务器中，经过虚拟场景数据融合后进行更新数据的及时分发，包括移动拍摄设备中的虚拟现实系统客户端在内的虚拟现实系统客户端可以通过网络得到更新后的三维虚拟场景影像数据。见图3步骤(8)，(10)，(11)。

对于动态视频纹理，可以通过保存视频纹理的视点、分辨率等参数，直接在虚拟场景相应位置上进行播放。

6相关属性信息的查询

用户通过真实影像中相关场景对象的位置和朝向计算，查询虚拟场景(对象)相关的各种属性信息。用户在一定权限条件下，对其中的虚拟场景信息进行编辑修改(例如查询修改场景中某建筑物的用途、现状描述，某一座桥梁的结构、载荷、桥面铺设材料、建桥历史背景等)，见图3步骤(9)。从而，虚拟现实系统就成为一个能够提供高真实感三维虚拟场景体验同时可以查询真实场景中各种相关场景信息的实用系统。见图3步骤(3)、(7)。

Claims (9)

1.一种利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，所述方法包括：

a)移动拍摄设备获取拍摄地点的位置和方向；

b)移动拍摄设备安装有呈现虚拟场景的虚拟现实系统客户端，移动拍摄设备根据所述位置和方向以及移动拍摄设备中的拍摄参数在屏幕中呈现虚拟场景的虚拟影像；

c)移动拍摄设备对真实场景进行影像取景，将真实影像和虚拟影像同时呈现于所述屏幕，调整真实场景的视点和虚拟场景的视点中的一个或两个，使所述真实场景的视点和虚拟场景的视点重合；

d)将移动拍摄设备拍摄的真实影像通过虚拟现实系统的客户端上传至数据服务器，所述数据服务器融合所述影像并更新虚拟场景的影像数据。

2.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，在步骤c)中，将真实影像和虚拟影像重叠呈现于所述屏幕，所述真实影像位于底层，所述虚拟影像位于顶层并具有设定的透明度。

3.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，在步骤c)中，将真实影像和虚拟影像重叠呈现于所述屏幕，所述虚拟影像位于底层，所述真实影像位于顶层并具有设定的透明度。

4.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，在步骤c)中，通过调整拍摄地点的位置和方向中的一项或两项，使所述真实场景的视点和虚拟场景的视点重合。

5.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，在步骤c)之后，将所述屏幕中的虚拟影像和真实影像放大至真实分辨率，若两者不重叠，则在真实分辨率下重复步骤c)。

6.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，虚拟场景的客户端对虚拟场景中的场景特征进行语义查询和语义编辑及更新。

7.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，所述数据服务器向虚拟场景的客户端分发更新数据。

8.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，所述移动拍摄设备是具有定位和定向功能的手机、相机或摄像机。

9.如权利要求1所述的利用移动拍摄设备进行动态纹理采集及虚实融合的方法，其特征在于，步骤b)所述拍摄参数包括分辨率，焦距和景深。

Images