CN104183014A - 一种面向城市增强现实的高融合度信息标注方法 - Google Patents

Abstract

本发明公开了一种面向城市增强现实的高融合度信息标注方法，该方法包括建立虚实融合场景、生成信息依附面、多元信息标注和场景语义组织四个步骤，本发明将信息提示由屏幕空间转移到三维场景空间，通过对场景进行解析，提取出适合于作为信息载体的场景结构，并将提示信息与场景结构相关联，最终实现提示信息与场景的高度融合，达到使对于城市场景的增强现实提示更加清楚容易理解的目的。

Description

一种面向城市增强现实的高融合度信息标注方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种面向城市增强现实的高融合度信息标注方法。

背景技术

为现实场景叠加虚拟提示信息是增强现实的核心内容之一。提示信息通常是对于场景中某个特定物体的相关属性，如名称、特点、用途等，使用文字、图像等媒体进行进一步的描述。将提示信息叠加到真实场景可以有效地辅助用户理解场景。而要实现提示信息的叠加，则首先必须完成信息标注。将虚拟的信息注册到真实的物体上，这个过程被称之为信息标注。信息标注是提示信息叠加与呈现的必要前期工作，只有预先进行信息标注，建立物体与提示信息之间的联系，才能在后期的在线阶段将提示信息以所期望的方式呈现给用户。通过信息标注，增强现实系统可以在各种场景中对目标物体进行信息提示。目前，自动化的信息标注工具还不成熟，仍需借助人工交互来完成信息标注。

城市增强现实是当前增强现实的应用热点，在城市增强现实中往往使用提示信息来为用户做出与城市内建筑景物等相关的提示，并进行适当的位置引导。用户可以通过浏览提示信息来对城市场景进行更深层次的认识，同时获得更多相关信息。因此，目前有许多针对提示信息叠加特别是针对城市场景提示的研究。提示信息叠加到真实场景的方式对于解释城市场景有着重要的作用。

然而，目前对于提示信息的呈现大多在屏幕空间进行且提示信息以文字为主。它们层叠式地堆积在屏幕空间，一般只是简单地和所提示的建筑物有一个位置上的模糊对应。虽然这种方式在实现上比较简单易行，但是当处理类似建筑群等空间关系比较复杂的场景时，位于屏幕空间的提示信息会因为缺少深度信息且无法准确的反映提示对象的位置关系，从而使用户在观看时产生疑惑。因此对于城市增强现实而言，位于屏幕空间的叠加方式一般无法很好地达到辅助用户理解的目的。

位于屏幕空间的信息提示本质上是一种由高维空间到低维空间的映射，维度缺失必可避免地造成信息显示不准确、用户理解困难等问题。因此，具有高融合度的信息提示方法受到了研究人员的关注。但是现有的呈现方式绝大多数需要依赖可穿戴设备和标记物。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向城市增强现实的高融合度信息标注方法。

本发明的目的是通过以下技术方案来实现的：一种面向城市增强现实的高融合度信息标注方法，包括以下步骤：

(1)建立虚实融合场景：利用摄像设备拍摄需要处理的城市建筑真实场景视频流，从记录城市建筑真实场景的视频流中提取出三维稀疏特征点集合，三维稀疏特征点的位置即为真实场景的世界坐标系位置，借助三维数字内容创作工具建立实景三维模型，使用实景三维模型和三维稀疏特征点集合同时来描述真实场景；得到同时具有世界坐标以及建筑物外形结构的虚实融合场景；所述虚实融合场景的构建包括以下子步骤：

(1.1)使用运动信息中恢复三维场景结构(Structure from Motion，简称SfM)方法处理城市建筑真实场景视频流，得到两个文件：帧序列以及act文件；其中，帧序列为使用SfM方法处理城市建筑真实场景视频流得到的适用于重建的图像序列，图像序列中每帧图像具有按序依次递增1的序号，称为帧序号；act文件具体内容如下：

A.帧序列中每一帧图像所对应的相机外参以及相机焦距；每一组相机外参以及相机焦距以帧序号作为索引，其值由SfM方法求得；

B.三维稀疏特征点集合中每个特征点的世界坐标系位置以及出现该特征点的帧的帧序号；

(1.2)对act文件进行解析，具体包括以下子步骤：

(1.2.1)对于步骤1.1中得到的帧序列中任意一帧i，绘制帧i，记录帧序号i；

(1.2.2)解析文件，得到帧i上出现的所有特征点的世界坐标；按照世界坐标绘制解析得到的特征点；特征点以具有较小半径的圆形表示；

(1.2.3)查找act文件，通过帧序号i索引找到其对应的相机外参和相机焦距；使用相机外参计算得到与相机有关参数：相机位置、相机朝向、相机顶部位置，计算方法如下：

Camera＝[R_3*3 T_3*1]

R^-1＝R^T

Eye＝-T^T*R^T

Center＝[0,0,1]*R^-1+Eye＝[0,0,1]*R^T+Eye

Up＝[0,-,0]*R^-1＝[0,-1,0]*R^T

其中，Camera是一个3*4的矩阵，R3*3是摄像机的旋转矩阵，为一正交矩阵，T 3*1是摄像机的平移向量；Eye表示摄像机在世界坐标系的位置；Center表示摄像机镜头朝向；Up表示摄像机顶部的朝向；通过Eye、Center、Up三个参数和相机焦距值，恢复真实世界中相机视角；

(1.2.4)对于全部帧序列中的图像重复步骤1.2.1-1.2.3，以此方式将所有真实场景以特征点的方式重现，并且明确特征点所对应的真实场景；

(1.3)将步骤1中所述实景三维模型与步骤1.2中绘制好的特征点进行匹配，具体方法如下：

(1.3.1)根据帧序列选择待处理的平面区域，选择该平面区域对应的所有特征点，利用选择的所有特征点使用最小二乘法拟合生成平面；

(1.3.2)以步骤1.3.1中生成的平面作为参考平面，通过改变实景三维模型的位置将实景三维模型上对应于参考平面的区域与参考平面相重合，并根据帧序列进行调整；

(2)生成信息依附面：根据步骤1建立的虚实融合场景，在待标注的区域生成信息依附面；信息依附面用来建立多元提示信息与真实场景结构的联系、记录虚拟信息的中介物；具体生成方法如下：根据帧序列及实景三维模型，对于待标注的区域，在该区域上选择三个以上的点；利用选中的点，使用最小二乘法拟合生成一个平面，即为信息依附面；

(3)多元信息标注：将不同媒体形式的提示信息依附在信息依附面上，具体依附方式如下：

(3.1)建立提示信息代理：对于文本、图片、视频类型的提示信息，生成一个平面结构，将上述三种提示信息作为此平面结构的纹理信息，称此平面结构为提示信息代理；对于声音以及模型，直接进行后续的依附工作；

(3.2)调整提示信息：对于文本、图片、视频类型的提示信息，调整提示信息代理的位置、大小和方向；对于模型，直接调整模型本身使之适于显示；声音无需调整；

(3.3)将步骤2中生成的信息依附面设置为提示信息代理或提示信息本身的父节点；将不同媒体形式的提示信息以此方式依附在信息依附面上；根据以上方法将多元信息标注到待标注区域；

(4)场景语义组织：根据真实场景层次结构建立场景结构图，以场景名称作为输入，将所有较大场景单位作为较小场景单位的父亲，将信息依附面作为虚拟结构置于场景结构的底端，并将信息依附面作为提示信息的父亲，得到组织后的具有标注信息的场景结构描述文件。

与现有技术相比，本发明的有益效果是：将信息提示由屏幕空间转移到三维场景空间，通过对场景进行解析，提取出适合于作为信息载体的场景结构，并将提示信息与场景结构相关联，最终实现提示信息与场景的高度融合，达到使对于城市场景的增强现实提示更加清楚容易理解的目的。

附图说明

图1为系统流程图；

图2为模型融合示意图；

图3为使用信息依附面连接场景与虚拟信息流程图；

图4为多元信息与信息依附面关系图；

图5为场景语义组织示意图。

具体实施方式

下面结合附图对本发明进行详细的描述。

如图1所示，本发明一种面向城市增强现实的高融合度信息标注方法，包括以下步骤：

(1)建立虚实融合场景：利用摄像设备拍摄需要处理的城市建筑真实场景视频流，从记录城市建筑真实场景的视频流中提取出三维稀疏特征点集合，三维稀疏特征点的位置即为真实场景的世界坐标系位置，借助三维数字内容创作工具，如Maya、3DMax等建立实景三维模型，使用实景三维模型和三维稀疏特征点集合同时来描述真实场景；得到同时具有世界坐标以及建筑物外形结构的虚实融合场景；所述虚实融合场景的构建包括以下子步骤：

(1.1)使用运动信息中恢复三维场景结构(Structure from Motion，简称SfM)方法处理城市建筑真实场景视频流，得到两个文件：帧序列以及act文件；其中，帧序列为使用SfM方法处理城市建筑真实场景视频流得到的适用于重建的图像序列，图像序列中每帧图像具有按序依次递增1的序号，称为帧序号，使用帧序列可以使得在进行后续方法时可以直观地看出三维稀疏特征点与城市建筑真实场景的关系；act文件具体内容如下：

A.帧序列中每一帧图像所对应的相机外参以及相机焦距；每一组相机外参以及相机焦距以帧序号作为索引，其值由SfM方法求得；

B.三维稀疏特征点集合中每个特征点的世界坐标系位置以及出现该特征点的帧的帧序号；

(1.2)对act文件进行解析，具体包括以下子步骤：

(1.2.1)对于步骤1.1中得到的帧序列中任意一帧i，绘制帧i；在此，可以令显示窗口的长宽比与帧的长宽比相等，这样做可以使得显示不会变形，但不这样做并不会影响本方法的实施和结果，记录帧序号i；

(1.2.2)解析文件，得到帧i上出现的所有特征点的世界坐标；按照世界坐标绘制解析得到的特征点；特征点以具有较小半径的圆形表示；

(1.2.3)查找act文件，通过帧序号i索引找到其对应的相机外参和相机焦距；使用相机外参计算得到与相机有关参数：相机位置、相机朝向、相机顶部位置，计算方法如下：

Camera＝[R_3*3 T_3*1]

R^-1＝R^T

Eye＝-T^T*R^T

Center＝[0,0,1]*R^-1+Eye＝[0,0,1]*R^T+Eye

Up＝[0,-,0]*R^-1＝[0,-1,0]*R^T

其中，Camera是一个3*4的矩阵，R3*3是摄像机的旋转矩阵，为一正交矩阵，T 3*1是摄像机的平移向量；Eye表示摄像机在世界坐标系的位置；Center表示摄像机镜头朝向；Up表示摄像机顶部的朝向；通过Eye、Center、Up三个参数和相机焦距值，恢复真实世界中相机视角，即在窗口中可以看到所有帧对应的特征点且绘制的特征点与帧i图像内容是正确匹配的；

(1.2.4)对于全部帧序列中的图像重复步骤1.2.1-1.2.3，以此方式将所有真实场景以特征点的方式重现，并且明确特征点所对应的真实场景；

(1.3)将步骤1中所述实景三维模型与步骤1.2中绘制好的特征点进行匹配，具体方法如下：

(1.3.1)根据帧序列选择待处理的平面区域，选择该平面区域对应的所有特征点，利用选择的所有特征点使用最小二乘法拟合生成平面；

(1.3.2)以步骤1.3.1中生成的平面作为参考平面，通过改变实景三维模型的位置将实景三维模型上对应于参考平面的区域与参考平面相重合，并根据帧序列进行调整，具体地，可通过直接改变三维模型的位置的相关坐标值或设计拖拽改变位置的UI来进行操作；通过以上步骤，建立了虚实融合场景，以稀疏特征点集合的方式将建筑真实场景重建，同时匹配建筑真实场景模型，因此从虚实融合场景中，既可以获得场景的世界坐标信息，又可以获得场景完整的外形信息，为进行高融合度信息标注做准备，融合示意图及结果如图2所示；

(2)生成信息依附面：根据步骤1建立的虚实融合场景，在待标注的区域生成信息依附面；信息依附面用来建立多元提示信息与真实场景结构的联系、记录虚拟信息的中介物，其作用如图3所示；具体生成方法如下：根据帧序列及实景三维模型，对于待标注的区域，在该区域上选择三个以上的点；利用选中的点，使用最小二乘法拟合生成一个平面，即为信息依附面；使用信息依附面，可以建立真实场景与虚拟信息的联系，根据其生成方法可知，信息依附面同时具有真实场景位置信息与标注表面外形信息，通过信息依附面，可以将提示信息标注到合适的位置，同时使提示信息与建筑表面结构相关联，从而达到高融合度的目的；

(3)多元信息标注：将不同媒体形式的提示信息依附在信息依附面上，具体依附方式如下：

(3.1)建立提示信息代理：对于文本、图片、视频类型的提示信息，生成一个平面结构，将上述三种提示信息作为此平面结构的纹理信息，称此平面结构为提示信息代理，如图4所示，提示信息代理可以使抽象的提示信息具象化，从而可以对其进行调整；对于声音以及模型，直接进行后续的依附工作；

(3.2)调整提示信息：对于文本、图片、视频类型的提示信息，调整提示信息代理的位置、大小和方向；对于模型，直接调整模型本身使之适于显示；声音无需调整；

(3.3)将步骤2中生成的信息依附面设置为提示信息代理或提示信息本身的父节点；将不同媒体形式的提示信息以此方式依附在信息依附面上；根据以上方法将多元信息标注到待标注区域；以此方式完成信息标注，使得虚拟的提示信息与真实场景的结构紧密相关，从而达到使对于城市场景的增强现实提示更加清楚容易理解的目的；

(4)场景语义组织：根据真实场景层次结构建立场景结构图，以场景名称作为输入，将所有较大场景单位作为较小场景单位的父亲，将信息依附面作为虚拟结构置于场景结构的底端，并将信息依附面作为提示信息的父亲，得到组织后的具有标注信息的场景结构描述文件，如图5所示，图中点云即为稀疏特征点集合；使用场景语义组织得到的场景结构描述文件，可以使得在绘制虚拟信息的时候，更加快捷地找到所需的提示信息。

Claims (1)

1.一种面向城市增强现实的高融合度信息标注方法，其特征在于，包括以下步骤：

(1)建立虚实融合场景：利用摄像设备拍摄需要处理的城市建筑真实场景视频流，从记录城市建筑真实场景的视频流中提取出三维稀疏特征点集合，三维稀疏特征点的位置即为真实场景的世界坐标系位置，借助三维数字内容创作工具建立实景三维模型，使用实景三维模型和三维稀疏特征点集合同时来描述真实场景；得到同时具有世界坐标以及建筑物外形结构的虚实融合场景；所述虚实融合场景的构建包括以下子步骤：

(1.1)使用SfM方法处理城市建筑真实场景视频流，得到两个文件：帧序列以及act文件；其中，帧序列为使用SfM方法处理城市建筑真实场景视频流得到的适用于重建的图像序列，图像序列中每帧图像具有按序依次递增1的序号，称为帧序号；act文件具体内容如下：

A.帧序列中每一帧图像所对应的相机外参以及相机焦距；每一组相机外参以及相机焦距以帧序号作为索引，其值由SfM方法求得；

B.三维稀疏特征点集合中每个特征点的世界坐标系位置以及出现该特征点的帧的帧序号；

(1.2)对act文件进行解析，具体包括以下子步骤：

(1.2.1)对于步骤1.1中得到的帧序列中任意一帧i，绘制帧i，记录帧序号i；

(1.2.2)解析文件，得到帧i上出现的所有特征点的世界坐标；按照世界坐标绘制解析得到的特征点；特征点以具有较小半径的圆形表示；

(1.2.3)查找act文件，通过帧序号i索引找到其对应的相机外参和相机焦距；使用相机外参计算得到与相机有关参数：相机位置、相机朝向、相机顶部位置，计算方法如下：

Camera＝[R_3*3 T_3*1]

R^-1＝R^T

Eye＝-T^T*R^T

Center＝[0,0,1]*R^-1+Eye＝[0,0,1]*R^T+Eye

Up＝[0,-,0]*R^-1＝[0,-1,0]*R^T

其中，Camera是一个3*4的矩阵，R3*3是摄像机的旋转矩阵，为一正交矩阵，T 3*1是摄像机的平移向量；Eye表示摄像机在世界坐标系的位置；Center表示摄像机镜头朝向；Up表示摄像机顶部的朝向；通过Eye、Center、Up三个参数和相机焦距值，恢复真实世界中相机视角；

(1.2.4)对于全部帧序列中的图像重复步骤1.2.1-1.2.3，以此方式将所有真实场景以特征点的方式重现，并且明确特征点所对应的真实场景；

(1.3)将步骤1中所述实景三维模型与步骤1.2中绘制好的特征点进行匹配，具体方法如下：

(1.3.1)根据帧序列选择待处理的平面区域，选择该平面区域对应的所有特征点，利用选择的所有特征点使用最小二乘法拟合生成平面；

(1.3.2)以步骤1.3.1中生成的平面作为参考平面，通过改变实景三维模型的位置将实景三维模型上对应于参考平面的区域与参考平面相重合，并根据帧序列进行调整；

(2)生成信息依附面：根据步骤1建立的虚实融合场景，在待标注的区域生成信息依附面；信息依附面用来建立多元提示信息与真实场景结构的联系、记录虚拟信息的中介物；具体生成方法如下：根据帧序列及实景三维模型，对于待标注的区域，在该区域上选择三个以上的点；利用选中的点，使用最小二乘法拟合生成一个平面，即为信息依附面；

(3)多元信息标注：将不同媒体形式的提示信息依附在信息依附面上，具体依附方式如下：

(3.1)建立提示信息代理：对于文本、图片、视频类型的提示信息，生成一个平面结构，将上述三种提示信息作为此平面结构的纹理信息，称此平面结构为提示信息代理；对于声音以及模型，直接进行后续的依附工作；

(3.2)调整提示信息：对于文本、图片、视频类型的提示信息，调整提示信息代理的位置、大小和方向；对于模型，直接调整模型本身使之适于显示；声音无需调整；

(3.3)将步骤2中生成的信息依附面设置为提示信息代理或提示信息本身的父节点；将不同媒体形式的提示信息以此方式依附在信息依附面上；根据以上方法将多元信息标注到待标注区域；

(4)场景语义组织：根据真实场景层次结构建立场景结构图，以场景名称作为输入，将所有较大场景单位作为较小场景单位的父亲，将信息依附面作为虚拟结构置于场景结构的底端，并将信息依附面作为提示信息的父亲，得到组织后的具有标注信息的场景结构描述文件。