CN109727314A

CN109727314A - 一种增强现实场景融合及其展示方法

Info

Publication number: CN109727314A
Application number: CN201811565581.8A
Authority: CN
Inventors: 王宇舟
Original assignee: Momenta Suzhou Technology Co Ltd
Current assignee: Momenta Suzhou Technology Co Ltd
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2019-05-07

Abstract

本发明提供了一种增强现实场景融合及其展示方法，可用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。该方法包括以下步骤：S1摄像机标定：根据真实图像获得摄像机的内外参数配置；S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3场景融合：将虚拟场景与真实场景进行融合。通过本发明的增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。

Description

一种增强现实场景融合及其展示方法

技术领域

本发明涉及计算机科学与技术领域中的虚拟现实融合领域、计算机三维建模领域、模式识别领域、网络应用技术领域，特别地，涉及一种增强现实场景融合及其展示方法。

背景技术

虚拟现实(virtual reality)，又称虚拟实境，是伴随着计算机图形学技术与模式识别技术发展诞生的一项研究领域，其主要特点与用途是由计算机模拟真实环境中出现的视觉、听觉等信号，并通过各种传感器将这些模拟信号展示给受众，使受众产生身临其境的感觉。增强现实(augmented reality)技术，是虚拟现实的一项现实应用，是指通过技术手段将虚拟的视觉、听觉等信号与现实环境的真实信号进行融合，生成虚拟与现实结合的场景，达到对现实场景增强的目的。随着技术的成熟，增强现实技术越来越应用于社会的方方面面。

机动车自动驾驶系统是近年来工业界研究的热门领域。随着人民生活水平的提高，小轿车等交通工具成为人们主要的代步工具，而交通工具的智能化，将越来越简化出行，为大众提供更多的生活便利。通常情况下，自动驾驶系统的开发需要经历漫长的开发、测试、验证、应用过程，这一过程通常是及其复杂和反复的，如果训练自动驾驶系统所需要的大量的训练数据全部从真实环境中采集，将耗费大量的人力、财力、物力。而虚拟仿真作为一种低成本、快速迭代、可复现的测试方法，为自动驾驶系统验证提供了一种良好的替代手段。通过增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。本申请提出一种增强现实场景融合及其展示方法，该方法不仅可以用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。

发明内容

本发明的第一个方面，是提供一种用于自动驾驶仿真的增强现实场景融合方法，该方法包括下列步骤：

S1摄像机标定：根据真实图像获得摄像机的内外参数配置；

S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；

S3场景融合：将虚拟场景与真实场景进行融合。

本发明的第二个方面，是提供一种增强现实场景融合及其展示方法，该方法包括下列步骤：

S1摄像机标定：根据真实图像获得摄像机的内外参数配置；

S3场景融合：将虚拟场景与真实场景进行融合，所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。

优选的，所述步骤3)的场景融合包括：

S31初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；

S32根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；

S33建立t时刻的虚拟场景环境，包括虚拟目标物及其特征；

S34重建t时刻的真实场景环境，通过步骤S2)的方法获得真实目标物及其特征；

S35根据步骤S33和S34的结果，生成t时刻的融合场景；所述虚拟目标物通过融合引擎生成，所述真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同。

优选的，其中步骤S32中的所述目标物包括目标物的种类、数量、纹理，初始时刻t1的运动特征；

优选的，其中所述运动特征包括目标物的坐标、朝向、运动方式。

优选的，所述融合方法还包括：

S36根据需要，生成融合场景的渲染图像。

S37如果已是最后时刻，则退出。否则，更新虚拟场景的设定数据，设置时刻t＝t2并返回S33。

本发明的第三方面，是提供一种增强现实融合场景的展示方法，该方法包含如下步骤：

1)确定虚拟场景预设定数据；所述预设定数据包括场景的类型，目标物的种类、数量；

2)设置展示速度；所述展示速度是指将融合场景以视频方式展示给终端用户时，视频播放时长相对于真实场景时长的倍数。

3)开启在线展示；根据上述的增强现实场景融合方法，生成融合后的场景，并将融合场景转换成视频，通过视频播放终端传递给终端用户；

4)关闭在线展示。

优选的，在线展示期间，终端用户可以重新按照所述步骤2)更新展示速度，并可以按照步骤1)更新虚拟场景设定数据；所述虚拟场景设定数据更改后，所述虚拟场景中目标物的特征随之更改。

本发明的发明点包括但不限于以下几点：

本发明将虚拟场景与真实场景进行融合，可以为自动驾驶、无人驾驶提供数据采集用环境；其中将二维图像坐标反推三维世界坐标，从而恢复三维场景用到了互相关匹配公式进行对应点计算，提高了仿真环境的逼真度。

本发明提供了场景融合方法及系统；其中生成t时刻的融合场景；该融合场景将虚拟目标物通过融合引擎生成，真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同，这保证了某些特殊场合例如对自动驾驶算法的正确性与性能进行验证的需要。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明的与现实场景结合的增强现实场景融合方法流程图；

图2是针孔摄像机模型中不同坐标系关系示意图；

图3是双目摄像机模型的外极线约束示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

实施例1所述的一种与现实场景结合的增强现实场景融合方法，用于建立与真实环境相符的虚拟场景三维模型，并将虚拟场景与真实场景融合。下面结合图1进行具体说明。

该方法包含下面3个关键步骤：

1)摄像机标定：根据真实图像获得摄像机的内外参数配置，以便使虚拟生成的三维场景与现实环境无缝融合。

2)场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别等特征进行标注。

3)场景融合：将虚拟场景与真实场景进行融合。

摄像机标定是确定真实场景中摄像机内参数和外参数的过程。摄像机的内参数包括焦距、畸变因子等，外参数包括旋转矩阵和平移矩阵。摄像机标定的主要目的是保证真实场景与虚拟场景的几何一致性。无论是自动驾驶算法还是真正的人，终端用户能看到的都是二维图像，而二维图像是三维世界通过摄像机模型的映射，因此如果要保证虚拟物体与真实物体的几何一致，就必须要保证虚拟摄像机模型与真实摄像机模型的一致。摄像机标定就是为了获取真实的摄像机模型。

摄像机模型可以由针孔模型描述。引入三个坐标系统：世界坐标系、摄像机坐标系和图像坐标系。其关系如图2所示。图中C1为世界坐标系；C2为图像坐标系；C3为摄像机坐标系。假设三维世界中的一点X，其在真实或者虚拟世界坐标系中的坐标为(Xw,Yw,Zw)，在对应的摄像机坐标系中的坐标为(Xc,Yc,Zc)，在二维图像中的坐标为(u,v)。坐标系OwXwYwZw表示世界坐标系，是系统中的绝对坐标系，世界坐标系用来定义客观世界中物体的绝对坐标。坐标系OcXcYcZc表示摄像机坐标系，该坐标系以摄像机光心为原点，以摄像机光轴为Z轴建立，表示客观世界中的物体相对于摄像机本身的坐标。图像坐标系Oouv是位于成像平面内的二维坐标系，与摄像机光轴OcZc垂直，表示图像空间中的像素相对于图像原点的坐标偏移。

无论是真实世界还是虚拟世界，物体的三维坐标是(Xw,Yw,Zw)，而其在融合图像中的坐标是(u,v)。因此摄像机模型便是(Xw,Yw,Zw)到(u,v)的映射。这一映射可以由如下两个式子描述：

式子(1)中R,t分别为旋转矩阵和平移矩阵，是摄像机外参数；式子(2)中f为摄像机焦距，s为畸变因子，r是二维图像水平与垂直方向比值，(u0,v0)是摄像机光心在图像平面上的投影坐标，上述参数是摄像机内参数。

由此可见，摄像机外参数与世界坐标系的参考点选取有关，如果将真实世界与虚拟世界的世界坐标系原点都选取在摄像机光心，那么外参数自然重合。因此只需要保证内参数一致即可。

通过三维几何模型建立的场景是不包含纹理的。为了使融合场景更加逼真，还需要进行纹理映射，将物体表面的真实纹理映射到融合场景中，这是本发明的创新点之一。

对于三维世界中的平面，映射到二维图像上将会产生透视畸变，如图3所示。

场景重建是通过摄像机等传感器对周围环境进行信号采集，并通过算法还原真实环境信息的过程。在场景重建的过程中，通常是以摄像机为主，激光测距仪、扫描仪，各种标定设备为辅，采集还原环境信息所需要的原始信号。环境信息包括：摄像机(可以认为是增强现实系统的使用者)在真实环境中的相对位置坐标，环境中可识别目标的类型、位置和尺寸等。

下面给出一个通过摄像机重建场景的示例。

根据前文描述，三维世界坐标与二维图像坐标存在映射关系，因此可以从二维图像坐标反推三维世界坐标，从而恢复三维场景。要恢复场景的三维结构至少需要两台摄像机。因此，如果要通过摄像机视觉系统重建三维环境，核心是要解决多幅图像的配准问题。

图像配准方法在业界已有较为丰富的研究，可以采用SIFT算子等方法提取出特征点，再利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。

外极线约束可以描述如下。

如图3，摄像机光心分别为Oc1和Oc2，空间一点P在两个成像平面的投影分别为p1和p2。摄像机Oc1和Oc2的成像平面分别记为Π1和Π2。平面Π1与平面Π的交线记作l1，平面Π2与平面Π的交线记作l2。连接两摄像机光心，与平面Π1和平面Π2分别相交于两点，记作e1和e2。由几何关系可知，p1与e1在直线l1上，且p2与e2在直线l2上。因此可以得知：像点p1在另一幅图像中的对应像点p2一定在一条直线(l2)上，该约束条件又被称为外极线约束。

互相关匹配方法叙述如下。

给定参考区域(模板)R以及待匹配图像I，区域匹配的目的是从I中寻找一个点(i,j)，使得以该点为中心的区域与模板R之间的归一化互相关度量最大，其中归一化互相关度量定义如下：

其中，NCC(I,j)表示以图像中以坐标(I,j)为中心的邻域与模板R之间的互相关度量。E(R)表示模板R的期望值(灰度平均值)，E(I)表示以(I,j)为中心的邻域内的灰度平均值，I(I,j)表示像素(I,j)的灰度值。E表示数学期望。使用该归一化互相关度量，能够满足在特殊环境例如自动驾驶算法的正确性与性能进行验证的需要。这是本发明的创新点之一。

场景融合是将自定义的虚拟场景与前述获得的真实场景相融合的过程。该部分可以细分为如下步骤。

i)初始化融合引擎。融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，是将虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件。虚拟场景管理模块的主要作用是生成虚拟摄像机和虚拟目标物，如第ii步所述；真实场景管理模块的主要作用如步骤2)所述，主要是用来重建真实场景，并对场景中的目标物作标注；融合计算模块的作用是综合虚拟场景管理模块与真实场景管理模块的输出，根据真实物体与虚拟物体之间的相对坐标、视角遮挡情况等约束，渲染生成融合场景。融合引擎还提供了实时获取目标物参数的接口。

ii)根据步骤1)的标定结果，设定虚拟摄像机的参数。根据来自步骤2的设定数据，初始化虚拟场景中需要设置的目标物，包括目标物的种类、数量、纹理，初始时刻t1的运动特征。运动特征包括目标物的坐标、朝向、运动方式等。初始化时刻t＝t1。

iii)建立t时刻的虚拟场景环境，包括虚拟目标物和它们的特征。

iv)重建t时刻的真实场景环境，通过步骤2)的方法获得真实目标物和特征。

v)根据iii和iv的结果，生成t时刻的融合场景。虚拟目标物是融合引擎生成的，真实目标物是通过计算机视觉方法从真实图像中提取出来的，但描述它们所用到的特征是一致的，而且必须一致，这样才能置于同样的融合场景中，这是本发明的创新点之一。

vi)根据需要，生成融合场景的渲染图像(步骤2中的在线展示模式用到)。

vii)如果已是最后时刻，则退出。否则，更新虚拟场景的设定数据，设置时刻t＝t2并返回iii。

这里的虚拟场景可以定义为包括以下几个方面：

场景设定：包括地图描述，这里的地图描述可以包括地库道路，停车位，车道线、车位线、障碍物、地库路牌标识等；

事件：在某条件(例如达到的时间，达到的地点)下进行某动作(例如生成障碍物，移动障碍物)。例如第5秒在十字路口出现一个行人；

任务：由多个条件组成，条件可对应不同分数，如：自车通过十字路口的耗时，不同耗时对应不同分数。

实施例2

实施例2所述的一种增强现实融合场景的展示方法，主要用途是将融合场景直观的展示给自然人用户，包含如下步骤：

2.1)确定虚拟场景预设定数据。预设定数据包括场景的类型，目标物的种类、数量等。

2.2)设置展示速度。展示速度是指将融合场景以视频方式展示给终端用户时，视频播放时长相对于真实场景时长的倍数。

2.3)开启在线展示。根据步骤1中所述增强现实场景融合方法，生成融合后的场景，并将融合场景转换成视频，通过视频播放终端传递给终端用户。在线展示期间，终端用户可以重新按照2.2步骤更新展示速度，并可以按照2.1)步骤更新虚拟场景设定数据。虚拟场景设定数据更改后，虚拟场景中目标物的特征亦随之更改。

2.4)关闭在线展示。在线展示开启后，可以随时关闭。使用该展示方法可将上述的融合场景后的情景展示充分。

Claims

1.一种用于自动驾驶仿真的与现实场景结合的增强现实场景融合方法，该方法包括以下步骤：

S1.摄像机标定：根据真实图像获得摄像机的内外参数配置；

S2.场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；

S3.场景融合：将虚拟场景与真实场景进行融合。

2.一种与现实场景结合的增强现实场景融合方法，该方法包括以下步骤：

S1.摄像机标定：根据真实图像获得摄像机的内外参数配置；

S3.场景融合：将虚拟场景与真实场景进行融合；所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。

3.根据权利要求1或2所述的融合方法，所述步骤3)的场景融合包括：

S31.初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；

S32.根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；

S33.建立t时刻的虚拟场景环境，包括虚拟目标物及其特征；

S34.重建t时刻的真实场景环境，通过步骤S2)的方法获得真实目标物及其特征；

S35.根据步骤S33和S34的结果，生成t时刻的融合场景；所述虚拟目标物通过融合引擎生成，所述真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同。

4.根据权利要求1-3中任一项所述的融合方法，其中步骤S32中的所述目标物包括目标物的种类、数量、纹理，初始时刻t1的运动特征。

5.根据权利要求1-4中任一项所述的融合方法，其中所述运动特征包括目标物的坐标、朝向、运动方式。

6.根据权利要求1-5中任一项所述的融合方法，所述融合方法还包括：

S36.生成融合场景的渲染图像。

S37.如果已是最后时刻，则退出；否则，更新虚拟场景的设定数据，设置时刻t＝t2并返回S33。

7.一种增强现实融合场景的展示方法，包含如下步骤：

3)开启在线展示；根据权利要求1-6中任一项所述增强现实场景融合方法，生成融合后的场景，并将融合场景转换成视频，通过视频播放终端传递给终端用户；

4)关闭在线展示。

8.根据权利要求7所述的展示方法，在线展示期间，终端用户可以重新按照所述步骤2)更新展示速度，并可以按照步骤1)更新虚拟场景设定数据；所述虚拟场景设定数据更改后，所述虚拟场景中目标物的特征随之更改。

9.一种与现实场景结合的增强现实场景融合系统，其采用权利要求1-6中任一项所述的场景融合方法实现。

10.一种增强现实融合场景的展示系统，其采用权利要求7-8中任一项所述的展示方法展示。