CN108564662A - 一种远距离场景下进行增强现实数字文化内容显示的方法及装置 - Google Patents

Abstract

本发明公开了一种远距离场景下进行增强现实AR数字文化内容显示的方法及移动增强现实MAR装置，在远距离场景下，当识别出的物质文化载体在图像中所占位置太小，则通过无线传感模块接收到文化标签，再通过文化标签获取与该文化标签对应的非物质文化遗产ICH数字化内容，并叠加融合到采集的图像上进行显示，解决了现有技术远距离场景下AR数字文化内容显示不出的问题，提高了AR识别率及准确率，提升了用户体验。

Description

一种远距离场景下进行增强现实数字文化内容显示的方法及 装置

技术领域

本发明属于增强现实(Augmented Reality,AR)技术领域，具体地，涉及一种远距离场景下进行增强现实数字文化内容显示的方法及装置。

背景技术

增强现实(Augmented Reality,AR)是近几年发展起来的计算机图形学领域的研究热点，它能将计算机生成的虚拟数字信息叠加在现实环境之中，并将这种虚拟数字信息与现实环境融为一体，通过显示设备将这种虚实融合的场景加以呈现，从而使现实环境呈现出信息增强的效果。这种增强信息的呈现，使体验者不仅能感知真实世界的信息，还能同时感知真实世界以外的虚拟数字信息，从而能有效增强体验者对真实世界环境的感知。随着计算机科学技术的发展，AR技术的研究也从早期的军事、航空等高端领域的应用研究转向了教育、娱乐、文化、旅游等众多领域的应用开发研究。

非物质文化遗产(Intangible Cultural Heritage,ICH)不同于物质文化遗产,它是一种极为重要的文化遗产形态，被喻为是代表我国民族特色传统文化多样性的文化基因。ICH看不见、摸不着、难以体验，且越来越匮乏，如何保护好ICH是国内外专家研究的一个重点。

目前，我国丰富的ICH与AR技术相结合，能充分凸显和发挥二者之间的优势互补关系，能促进ICH的有效诠释、展示与传播，最终实现ICH的合理开发利用与保护。

现有技术中，针对AR与文化旅游产业的应用出现了不少实体化应用，例如博物馆的AR导览、圆明园等历史古迹的AR场景还原等，给用户耳目一新的感觉，例如在CN104778654A提及的非物质文化保护遗产的AR应用中，采用了二维绘本进行文化标签识别，并将ICH文化呈现在二维图像上，例如黄鹤楼的三维模型呈现等。但是，在远距离的场景下，拍摄的物质文化载体往往小而模糊，不容易识别，故无法在远距离场景下进行AR数字文化内容的显示，导致AR识别率低，用户体验低。

发明内容

本发明提供了一种远距离场景环境下进行AR数字文化内容显示的方法及一种移动增强现实(Mobile Augmented Reality,MAR)装置，解决了现有技术远距离场景下AR数字文化内容显示不出的问题。

为了实现上述目的，本发明实施例提供了一种远距离场景下进行增强现实AR数字文化内容显示的方法，所述方法包括：

移动终端采集物质文化载体的图像，将所述图像发送给云服务器；

所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

当所述物质文化载体轮廓所占面积小于预设阈值时，移动终端获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述云处理器；

所述云服务器获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至移动终端；

所述移动终端显示所述融合叠加后的图像。

可选地，所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓，包括：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。

可选地，所述云服务器将与所述信号中文化标签信息对应的ICH数字化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。

可选地，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述文化标签信息包括文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。

可选地，所述方法还包括：

当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合。

本发明实施例还提供一种远距离场景下进行增强现实AR数字文化内容显示的移动增强现实MAR装置，所述MAR装置包括：

图像采集模块，用于采集物质文化载体的图像，将所述图像发送给处理模块；

所述处理模块，用于对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

获取模块，用于当所述物质文化载体轮廓所占面积小于预设阈值时，获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述处理模块；

所述处理模块，还用于获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至显示模块；

所述显示模块，用于显示所述融合叠加后的图像。

可选地，所述处理模块对所述图像进行识别，获取所述图像中的物质文化载体轮廓，包括：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。

可选地，所述处理模块将与所述信号中文化标签信息对应的ICH数字化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。

可选地，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述文化标签信息包括文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。

可选地，所述处理模块还用于：

当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合。

本发明实施例的方法及装置具有下列优点：

本发明实施例中，在远距离场景下，当识别出的物质文化载体在图像中所占位置太小，则通过无线传感模块接收到文化标签，再通过文化标签获取与该文化标签对应的数字化内容，并叠加融合到采集的图像上进行显示，解决了现有技术远距离场景下AR数字文化内容显示不出的问题，提高了AR识别率及准确率，提升了用户体验。

附图说明

图1是本发明实施例中远距离场景下进行AR数字文化内容显示的方法流程示意图；

图2是本发明实施例中远距离场景下进行AR数字文化内容显示的MAR组成结构图；

图3是本发明实施例中三维注册跟踪技术流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

为达到以上目的，如图1所示，本发明公开了一种远距离场景下进行AR显示数字化内容的方法，包括：

S101、移动终端采集物质文化载体的图像，将所述图像发送给云服务器；

移动终端可以是常用的移动终端，如个人电脑、智能手机及平板电脑等。

物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等ICH资源的手工艺品、纪念品、民族特色产品等；二是ICH博物馆的展览品，包括各种文物、字画、绘本、古典建筑模型等；三是ICH生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。

S102、所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

其中，所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓，具体可以为：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。

更具体地，所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，包括以下步骤：

首先，使用自适应阈值算法将采集的图像转换为黑白二值图像。自适应阈值算法的判断依据为：

其中

其中，v为像素的灰度值，N(v)为v附近的像素集合，C是预先设置的的阈值，v’代表领域N(v)里面的像素点。

其次，对该结果进行二值轮廓提取，即对二值图像中的连通区域进行扫描，得到区域的轮廓线条、区域的面积、周长等数据。

再次，进行轮廓筛选，即对上一步提取的轮廓进行快速几何形态分析，仅保留形似物质文化载体的轮廓，以减少后续步骤的处理时间。具体而言，首先使用局部平均的方法对轮廓线进行一次平滑，然后使用近邻差分法计算轮廓线上每个点的切向量，最后使用分级聚类方法对所有的切向量坐标进行分析。

进一步地，对上一步处理结果进行多边拆分，基于上一步的聚类分析结果，将多个显著聚类对应的轮廓点坐标提取到多个集合中，对应为多边形多条边的拟合数据。

进一步地，对上一步的拟合数据进行最小二乘拟合。上一步生成的多条边的数据可分别进行直线拟合从而得到多条边的方程，本发明中使用最小二乘算法来进行直线拟合，优化目标为：

完成四条边的拟合之后即可确定该物质文化载体在图像中的具体位置。

最后，根据该具体位置，计算出该物质文化载体在图像中的面积大小，并计算出该物质文化载体面积与整个图像区域面积的比率大小。若该面积过于小(如该面积小于某一阈值，或者与整个图像面积比例小于某一阈值)，则确定拍摄的图像属于远距离场景拍摄(远距离拍摄时，该物质文化载体在图像中占的比例较小)，则触发无线传感器进行文化标签接收与发送机制。

S103、当所述物质文化载体轮廓所占面积小于预设阈值时，移动终端获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述云处理器；

移动终端接收无线传感器发送的文化标签信息，可选地，在无线传感器发送文化标签之前，该无线传感器还接收无线网络节点发送的文化标签，所述无线网络节点固定放置，所述无线传感器置于所述无线网络节点的发送范围内。

需要说明的是，该无线传感器包括但不限于Zigbee、WIFI、蓝牙、NFC等无线传感模块。在本发明实施例中，根据场景的不同，其采用的无线传感模块也不相同，例如，在近距离(10米以内)通信范围内，可采用NFC和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用Zigbee、WIFI等通信方式。

其中，在本发明实施例中优选Zigbee模块作为无线传感器，该Zigbee器可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。

无线网络节点可固定放置在特定位置处，无线网络节点用于与无线传感模块进行通信，以Zigbee为例，无线网络节点在通信范围内获取到Zigbee的信息，采用Zigbee传输协议与Zigbee模块进行握手，完成信令交互，并将内部存储的文化标签信息及当前无线网络节点位置处物质文化载体的信息发送至该Zigbee模块。

物质文化载体中可包含文化标签，文化标签信息是一种用于表示ICH的具体标签，对于ICH而言，其标签决定了ICH的种类、内容及展现形式，同时，文化标签也可以是一个触发机制，在接收到该文化标签后触发相应的AR元素(例如后面提及的数字化内容)加载到采集的图像上。此外，文化标签还可以是一种标记物，可分为人工标记的黑白识别物(Marker)，和无人工标记的自然图像特征图形的识别物(Markerless)，该标记物是根据ICH文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。如CN104778654A所述，文化标签可以是二维绘本，也可以是三维物体的轮廓。当远距离场景下拍摄物质文化载体图像时，在现实识别过程中易发生文化标签识别不准的问题，即认定文化标签提取或解析失败，无法进行下一步骤以获取ICH数字文化内容。整个AR识别显示过程失败。在本发明实施例中，文化标签信息可以是文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。文化标签信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感器与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感器中，无线传感器通过对该信号进行解码，提取出其中的文化标签信息，并将该文化标签信息转发至移动终端。可选地，文化标签也可以是QR码等，本发明对文化标签具体的表现形式并无限制。

需要说明的是，本发明实施例设置了一个文化标签接受与否的触发条件，即当且仅当在识别出物质文化载体属于远距离拍摄场景下，触发无线传感器接收该与物质文化载体对应的文化标签，并将该文化标签转发至移动终端，通过移动终端与云服务器的交互，实现ICH内容的叠加。

S104、所述云服务器获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至移动终端；

其中，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，具体可以为：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。其中，所述处理模块采用计算机图形图像CG技术制作与所述文化标签对应的数字三维模型。

S105、所述移动终端显示所述融合叠加后的图像。

需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，本方法还包括：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现ICH与历史古迹的完美融合。

本发明实施例在远距离场景下AR识别失败时，创造性地提出了一种基于无线传感技术与AR技术结合的方案，通过无线传感模块接收无线网络节点将当前区域范围内的文化标签发送给无线传感模块，并转发至云服务器，当用户使用移动终端采集物质文化载体的图像时，云服务器根据识别出的该图像及文化标签信息，将该文化标签信息对应的ICH数字化内容叠加在该图像特定位置处，实现AR虚实叠加。采用本发明实施例提供的方案，提高了AR的识别率及稳定性，可实现产业化应用，从而实现商业上的成功。

实施例二

本发明实施例还提供一种远距离场景下进行AR数字显示的MAR装置21，该装置21包括：

图像采集模块22，用于采集物质文化载体的图像，将所述图像发送给处理模块；

图像采集模块可以是单独的摄像头或由多个不同角度的摄像头组成的摄像头阵列，也可以是包含有摄像头的移动终端，移动终端可以是常用的移动终端，如个人电脑、智能手机及平板电脑等。

物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等ICH资源的手工艺品、纪念品、民族特色产品等；二是ICH博物馆的展览品，包括各种文物、字画、绘本、古典建筑模型等；三是ICH生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。

处理模块可以是移动终端的处理模块，也可以是服务器，由于处理模块要进行大量的数据处理，故本发明实施例处理模块优选为云服务器。

所述处理模块23，用于对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

其中，所述处理模块对所述图像进行识别，获取所述图像中的物质文化载体轮廓，具体为：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。更具体的技术方案可参考实施例一相关部分，这里不再累述。

获取模块24，用于当所述物质文化载体轮廓所占面积小于预设阈值时，获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述处理模块；

获取模块24接收无线传感器发送的文化标签信息，可选地，在无线传感器发送文化标签之前，该无线传感器还用于：接收无线网络节点发送的文化标签，所述无线网络节点固定放置，所述无线传感器置于所述无线网络节点的发送范围内。

需要说明的是，该无线传感器包括但不限于Zigbee、WIFI、蓝牙、NFC等无线传感模块。在本发明实施例中，根据场景的不同，其采用的无线传感模块也不相同，例如，在近距离(10米以内)通信范围内，可采用NFC和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用Zigbee、WIFI等通信方式。

其中，在本发明实施例中优选Zigbee模块作为无线传感器，该Zigbee器可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。

无线网络节点可固定放置在特定位置处，无线网络节点用于与无线传感模块进行通信，以Zigbee为例，无线网络节点在通信范围内获取到Zigbee的信息，采用Zigbee传输协议与Zigbee模块进行握手，完成信令交互，并将内部存储的文化标签信息及当前无线网络节点位置处物质文化载体的信息发送至该Zigbee模块。

物质文化载体中可包含文化标签，文化标签信息是一种用于表示ICH的具体标签，对于ICH而言，其标签决定了ICH的种类、内容及展现形式，同时，文化标签也可以是一个触发机制，在接收到该文化标签后触发相应的AR元素(例如后面提及的数字化内容)加载到采集的图像上。此外，文化标签还可以是一种标记物，可分为人工标记的黑白识别物(Marker)，和无人工标记的自然图像特征图形的识别物(Markerless)，该标记物是根据ICH文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。如CN104778654A所述，文化标签可以是二维绘本，也可以是三维物体的轮廓。当远距离场景下拍摄物质文化载体图像时，在现实识别过程中易发生文化标签识别不准的问题，即认定文化标签提取或解析失败，无法进行下一步骤以获取ICH数字文化内容。整个AR识别显示过程失败。在本发明实施例中，文化标签信息可以是文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。文化标签信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感器与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感器中，无线传感器通过对该信号进行解码，提取出其中的文化标签信息，并将该文化标签信息转发至移动终端。可选地，文化标签也可以是QR码等，本发明对文化标签具体的表现形式并无限制。

所述处理模块23，还用于获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至显示模块；

其中，所述处理模块将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，具体为：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型(例如黄鹤楼的三维模型)，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。

三维跟踪注册是指装置在运行过程中，需要实时地检测、识别现实环境的图像特征，根据获取的现实环境视频图像帧的特征确定三维空间中摄像头相对于真实环境的位置和方向，从而将虚拟对象准确地放置在现实场景中的正确位置。要实现虚拟对象与现实场景的无缝融合，三维跟踪注册技术是AR装置最核心的关键技术。

三维跟踪注册技术(3D Registration)的实现一般可分为三种途径：基于计算机视觉的三维跟踪注册技术、基于硬件设备的三维跟踪注册技术和混合三维跟踪注册技术。

基于计算机视觉的三维跟踪注册技术：主要通过识别现实场景中图像的特征来确定摄像机的位置与姿态，这种注册方法可分为基于人工标记物(Marker)的方法和基于自然图像特征的方法两种。装置通过实时识别现实场景中标记物的平行线、垂直线、平面物体、角点、纹理特征等方法，获取摄像机内、外部参数。基于Marker的方法的优点是现实场景特征明显，具有较高鲁棒性和运算速度快，但需要人为事先在场景中设置黑白标记物，会影响场景的美观，基于自然图像特征的方法能克服人工标记物的上述缺点。

基于硬件设备的三维跟踪注册技术：主要是利用信号发射装置和感应装置，获取相关数据，计算三维注册所需要的位置和姿态信息。常用的有电磁式跟踪装置、光学式跟踪装置、超声波式跟踪装置、GPS定位装置、惯性导航、电子罗盘等硬件设备。电磁式跟踪装置是利用线圈信号发射器，根据磁发射信号与磁感应信号之间的耦合互动关系来确定现实场景中目标对象的相对位置与姿态信息。光学式跟踪装置是通过摄像设备或光敏元器件，根据接收的光源信息或反射球发出的光，通过获取的图像、光源信息与传感器的三维空间位置信息来确定目标对象的六自由度信息。超声波式跟踪装置是根据不同声源发出的超声波到达现实场景特定的目标对象所产生的时间差、相位差和声压来进行三维注册。通过GPS定位、惯性导航、电子罗盘等硬件装置来确定现实场景目标对象相对位置信息常用于基于位置服务的增强现实信息服务装置。

混合三维跟踪注册技术：在某些特定的应用中，综合上述多种三维跟踪注册方法来确定虚拟对象相对于真实场景的位置信息，实现装置的三维跟踪注册功能。

本发明实施例中，利用三维跟踪注册技术来实现ICH与现实场景的叠加：通过视频图像中的坐标信息，进行世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换计算，实现ICH数字化内容对象与现实场景精准叠加。为实现虚拟对象与现实场景的完美融合与配准，MAR装置需要实时地检测和计算移动终端摄像头的位置和方向，根据摄像机外部参数实时计算ICH数字化内容与现实场景之间的映射关系，以实现将文化数字化内容对象准确地“放置”在目标对象所在的现实场景视频图像的正确位置上；此外，MAR装置还需要通过对数字三维模型、数字动画、数字影视、声音、图片、文本等ICH数字化内容对象进行实时绘制渲染，并根据MAR装置实时获取的虚拟对象在现实场景中的映射关系，将这些计算机产生的虚拟图像与现实场景视频图像融合，实现对现实场景信息的增强效果，即在现实场景视频图像基础上获得增强ICH数字文化信息的视频图像。

具体而言，本发明实施例中，装置通过移动终端上的摄像头捕获现实环境视频图像序列帧，识别出现实环境中的目标对象，进一步确定智能终端摄像机相对于现实环境中目标对象的位姿关系，装置根据获取的摄像机位姿数据信息和从真实场景获得的定位数据信息，确定虚拟对象(即与文化标签对应的ICH数字化的数字三维模型、数字动画、视频、音频、图形、数字文本等一种或多种数字文化内容)在现实环境中的准确位置，最终在现实环境中完成虚拟对象的实时绘制与生成，将虚拟对象与现实环境融合显示在移动终端上，形成虚实融合的新场景，完成三维跟踪注册的过程，从而达到对现实环境文化信息增强的目的。

在MAR装置的这一运行过程中，一方面，移动终端摄像头的位姿信息处于动态变化的状态，装置必须实时准确地获取摄像机相对于真实环境中目标对象的位置信息，才能完成后续精准的三维注册任务，另一方面，装置必须能实时地检测、识别、跟踪现实环境中的文化标签信息，才能快速地获取摄像机的位姿数据信息，三维空间环境下对目标对象(文化标签)的实时检测、识别、跟踪并实时完成虚实场景配准。基于计算机视觉的三维跟踪注册技术是装置在现实场景的视频图像序列帧中，以包含目标对象的图像帧为定位基准，通过对目标对象图像帧的特征点检测、识别匹配与实时跟踪的方法来实时获取摄像机与现实环境的位姿关系，并实时地更新虚拟对象到现实环境中目标对象的坐标转换关系，进而对虚实融合的场景进行实时地更新，完成三维注册的任务。基于计算机视觉的三维跟踪注册过程，主要包括图像特征点检测、识别匹配、目标对象的实时跟踪与虚实融合四个环节。

在MAR装置中，三维跟踪注册是确保虚拟对象准确叠加、融合在现实环境中的关键性技术，这一过程中，装置是通过摄像头捕获的现实场景视频图像来获取真实场景的数据信息，三维跟踪注册的数据直接来源于摄像机捕获的图像信息，如果摄像机的内部参数不准确，将会严重影响三维注册精度，甚至导致注册失败。因此，增强现实装置需要进行摄像机标定(Camera Calibration)来确定摄像机相关参数，摄像机参数包括内部参数与外部参数，内部参数是指与摄像机本身的几何、光学特性相关的参数，外部参数是指摄像机相对于某一世界坐标系中的三维空间位置和方向，MAR装置进行摄像机标定的过程就是确定摄像机内、外部参数的过程。增强现实装置三维跟踪注册过程如图3所示。此外，三维跟踪注册中的坐标变换三维跟踪注册过程的本质涉及到世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，通过这四个坐标系之间的转换矩阵的确定，MAR装置就能将虚拟对象准确地叠加在现实环境的场景之中三维跟踪注册过程主要包括摄像机标定、实时跟踪与三维场景绘制融合三个方面的主要内容。摄像机标定的目的在于帮助装置确定摄像机内部参数与外部参数，获取真实世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换关系，为后续的虚拟对象准确叠加在现实场景中提供数据信息。实时跟踪过程包括对现实场景目标对象的实时检测与跟踪，通过对现实场景中目标对象的实时检测、识别匹配与跟踪，获取摄像机相对于真实世界坐标系的位置与方向，以确定真实世界坐标系与摄像机坐标系之间的转换矩阵。三维场景绘制融合主要通过装置获取的世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，利用计算机图形图像绘制生成技术，将虚拟对象叠加在现实场景的目标对象区域之中，形成虚实融合的新场景。

需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，处理模块23还用于：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现ICH与历史古迹的完美融合。

所述显示模块25，用于显示所述融合叠加后的图像。

移动增强现实MAR的开发应用主要有两种模式，一种是基于位置服务LBS(Location Based Service,LBS)的MAR装置，主要通过移动智能终端的GPS定位、电子罗盘和重力加速度计等设备确定智能终端的位置与姿态，在用户的智能终端中叠加用户周围环境兴趣点POI(Point of Interest,POI)的相关信息，如对用户周围的酒店、导航、主要公共设施等进行的标注信息。另一种是基于自然图像特征的计算机视觉跟踪注册方法的移动增强现实装置应用，主要通过移动智能终端摄像头识别用户周围目标对象的特征来确定智能终端相对于目标对象的位置与姿态，在用户的智能终端中叠加与目标对象相关的信息。在目前的MAR这两种应用模式中，前者主要是标注用户周围一定距离范围内的POI信息，一般叠加的信息属于二维的文字、图片等信息，不太适合通过有形化、情境化等较丰富的数字化信息叠加来实现对目标对象的详细诠释与展示。而本发明实施例创造性地提出了一种在远距离场景下基于无线传感技术与AR技术结合的方案，在AR识别失效的情况下，通过无线传感模块接收无线网络节点将当前区域范围内的文化标签发送给接收模块，并转发至处理模块，处理模块根据识别出的该图像及文化标签信息，将该文化标签信息对应的ICH数字化内容叠加在该图像特定位置处，实现AR虚实叠加。采用本发明实施例提供的方案，不仅能够更提高AR的识别率，还可实现产业化应用，从而实现商业上的成功。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种远距离场景下进行增强现实AR数字文化内容显示的方法，其特征在于，所述方法包括：

移动终端采集物质文化载体的图像，将所述图像发送给云服务器；

所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

当所述物质文化载体轮廓所占面积小于预设阈值时，移动终端获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述云处理器；

所述云服务器获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至移动终端；

所述移动终端显示所述融合叠加后的图像。

2.根据权利要求1所述的方法，其特征在于，所述云服务器对所述图像进行识别，获取所述图像中的物质文化载体轮廓，包括：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。

3.根据权利要求1所述的方法，其特征在于，所述云服务器将与所述信号中文化标签信息对应的ICH数字化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。

4.根据权利要求1所述的方法，其特征在于，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述文化标签信息包括文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合。

6.一种远距离场景下进行增强现实AR数字文化内容显示的移动增强现实MAR装置，其特征在于，所述MAR装置包括：

图像采集模块，用于采集物质文化载体的图像，将所述图像发送给处理模块；

所述处理模块，用于对所述图像进行识别，获取所述图像中的物质文化载体轮廓；

获取模块，用于当所述物质文化载体轮廓所占面积小于预设阈值时，获取无线传感器发送的文化标签，并将所述文化标签信息发送至所述处理模块；

所述处理模块，还用于获取与所述文化标签信息对应的非物质文化遗产ICH数字文化内容，将所述ICH数字化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至显示模块；

所述显示模块，用于显示所述融合叠加后的图像。

7.根据权利要求6所述的装置，其特征在于，所述处理模块对所述图像进行识别，获取所述图像中的物质文化载体轮廓，包括：

将所述物质文化载体图像进行二值化处理、几何形态分析及聚类分析处理，识别出所述物质文化载体轮廓，并计算所述物质文化载体轮廓与整个图像的所占面积比例。

8.根据权利要求6所述的装置，其特征在于，所述处理模块将与所述信号中文化标签信息对应的ICH数字化内容融合叠加至所述图像上，包括：

采用三维跟踪注册技术对所述ICH数字化内容及所述采集图像进行虚实配准处理；

将所述ICH数字化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ICH数字化内容在现实场景中的映射关系，将所述ICH数字化内容与所述物质文化载体图像进行叠加融合，

其中，所述ICH数字化内容包括ICH数字三维模型，以及ICH数字动画、ICH数字影视、ICH数字声音、ICH数字图片及ICH数字文本的其中一种或多种的组合。

9.根据权利要求6所述的装置，其特征在于，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述文化标签信息包括文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。

10.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：

当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；

获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；

确定所述移动终端的姿态位置信息，将所述展品对应的ICH数字化内容与所述展品图像进行虚实融合。