CN109118591A - 一种基于增强现实技术的文物云识别与交互系统及方法 - Google Patents

Abstract

本发明公开了一种基于增强现实技术的文物云识别与交互系统及方法，系统包括增强现实场景模块、文物特征提取模块、文物识别模块、特征匹配模块、模型控制模块、文物模型模块和模型反馈模块；增强现实场景模块通过调用手机相机功能向使用者提供周围真实场景；文物特征提取模块，利用照相机拍摄文物正面照片，上传到云空间中，提取文物照片的特征点并降维得到特征数据；文物识别模块，通过手机相机对当前场景每隔1秒进行拍照，并上传至云空间中，进行特征提取并降维，随后与云空间存储的特征数据进行特征匹配；文物模型模块用于调整文物模型大小，使之与真实文物模型相同大小，保证使用者的体验感。

Description

一种基于增强现实技术的文物云识别与交互系统及方法

技术领域

本发明涉及计算机增强现实技术领域，更具体的说，是涉及一种基于增强现实技术的文物云识别与交互系统及方法。

背景技术

随着科技进步和发展，人类希望通过增强现实技术，将真实世界信息和虚拟世界信息“无缝”集成，使真实的环境和虚拟的物品实时地叠加到同一个画面存在。

这样的需求促成了增强现实技术的出现，这对人类生活、生产都产生了积极的影响。增强技术已经被运用在方方面面。在维修和建设领域，增强现实技术可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。进入数字化的今天，过去传统的仿真技术已经逐渐不能满足这种实时交互与虚实结合的诉求，以增强现实技术为代表的实时交互技术应用越来越广泛。

Artec 3D扫描仪的使用可以为文物构建数字化信息库，基于数字化信息库，我们将收集到的文物信息分类并提取其特征点保留，用于文物特征匹配。

目前我们在现实中参观博物馆文物时，只能在远处观看，但是通过增强现实技术，在识别文物后，人们可以与文物进行实时交互，对文物数字化模型进行旋转、放大等操作。相比于远距离参观文物，基于增强现实技术的文物识别与展示系统具有一定的科研及产业价值。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于增强现实技术的文物云识别与交互系统及方法。

本发明的目的是通过以下技术方案实现的：

一种基于增强现实技术的文物云识别与交互系统，包括增强现实场景模块、文物特征提取模块、文物识别模块、特征匹配模块、模型控制模块、文物模型模块和模型反馈模块；

所述增强现实场景模块，通过调用手机相机功能向使用者提供周围真实场景；

所述文物特征提取模块，利用照相机拍摄文物正面照片，上传到云空间中，提取文物照片的特征点并降维得到特征数据，其中特征数据以矩阵方式进行存储；

所述文物识别模块，通过手机相机对当前场景每隔1秒进行拍照，并上传至云空间中，进行特征提取并降维，随后与云空间存储的特征数据进行特征匹配；

所述特征匹配模块在文物识别模块运行中被调用，将特征数据与云空间存储的所有特征数据依次进行特征匹配，匹配方式为两组特征点的欧式距离是否小于预定阈值，若欧式距离小于预定阈值，则匹配成功，反之，匹配失败；

所述模型控制模块用于对文物模型进行放大、旋转操作；

所述文物模型模块用于调整文物模型大小，使之与真实文物模型相同大小，保证使用者的体验感；

所述模型反馈模块用于通过按钮显示及介绍文物。

进一步的，文物识别模块中进行特征匹配时，若匹配不成功，则判断下一张图片与当前图片是否相似，若相似，则跳过，继续选取下一张图片计算相似度，直至两张图片不相似为止，然后对不相似的图片进行特征提取和降维，并进行特征匹配；若匹配成功，则加载模型并显示在手机屏幕中。

一种基于增强显示技术的文物云识别与交互方法，基于所述文物云识别与交互系统，包括以下步骤：

(1)利用Artec 3D扫描仪为文物构建3D模型，并获取文物的长宽高，选取重心为中心点；

(2)用相机从文物正面进行拍照，将照片上传至云空间中，利用SIFI算法对文物照片进行特征提取并降维，以特征矩阵的形式保存在云空间，同时将文物3D模型保存在云空间，并以名称命名；

(3)用户使用手机对准博物馆文物正面，通过手机相机获取的画面进行特征提取并降维，并在云空间进行特征匹配，匹配方式为判断两组特征点的欧式距离是否小于预定阈值，当匹配成功时，返回文物名称，然后通过云空间加载文物模型到手机中显示。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明实现了基于增强现实技术的文物识别与交互系统及方法，实现了增强现实技术及3D建模设备在文物领域的结合，可扩展至其它多项领域，以突破传统方法的弊端。在文物方面，尤其是对想全面了解文物的用户，文物的样子起初只能隔着玻璃去观看，该系统可以提供一种更为生动、有趣的观看方式，并由用户自主操控模型进行观察，能够增加用户兴趣，更加愿意了解中华传统文化。

附图说明

图1为本发明系统流程图；

图2为本发明文物云识别与交互系统的功能模块示意图；

图3为文物识别模块流程图；

图4为模型控制模块流程图；

图5为特征匹配模块流程图；

图6为模型反馈模块流程图；

具体实施方式

下面结合附图对本发明作进一步的描述。

本发明是利用增强现实技术及相关外部设备形成一个文物云识别与交互系统，图1为系统流程图，系统整体模块构成如图2所示。需要利用Artec 3D扫描仪构建好3D文物模型，并通过文物识别将虚拟世界与现实世界相叠加，使文物模型呈现在手机屏幕中。本系统为参观博物馆增加了可操作性，增强了趣味性。具体实现流程为：用户打开手机软件，将手机相机对准文物实体；通过对手机相机对当前场景每隔1秒拍照上传至云空间，随后进行特征提取并降维，计算两组特征点的欧式距离；匹配成功后，加载文物模型并返回文物名称，将文物模型展示在手机屏幕中；通过双指控制，能够进行放大、缩小操作；通过单指点击文物模型，显示文物信息介绍。

并记录物体真实的长宽高，将计算出来的重心作为中心点，通过Maya软件修改文物模型中心点坐标，然后利用相机拍摄文物正面照片，通过SIFT算法提取文物特征点，将文物特征数据放在云空间保存，并以文物名称命名。

本发明的上述流程可以归纳为以下功能模块：

(1)增强现实场景模块，整个系统的基础模块，向用户提供周围的真实世界场景。

(2)文物特征提取模块，利用照相机拍摄文物正面照片，在云空间中通过SIFT算法提取照片中文物的特征点并降维，以特征矩阵的形式存储在云空间中。

(3)文物识别模块，通过手机相机对当前场景每隔1秒进行拍照，并上传至云空间中，进行特征提取并降维，随后与云空间存储的特征数据进行特征匹配。若匹配不成功，则判断下一张图片与当前图片是否相似，若相似，则跳过，继续选取下一张图片计算相似度，直至两张图片不相似为止，然后对不相似的图片进行特征提取和降维，并进行特征匹配；若匹配成功，则加载模型并显示在手机屏幕中。

(4)特征匹配模块，将特征矩阵与云空间存储的所有特征矩阵依次进行特征匹配，匹配方式为两组特征点的欧式距离是否小于预定阈值，若欧式距离小于预定阈值，则匹配成功，反之，匹配失败。

(5)模型控制模块，通过判断在屏幕上的接触点有几个，来实现单指点击文物模型、单指旋转文物模型、双指放大和缩小模型的操作。

(6)文物模型模块，利于Artec 3D扫描仪构建3D文物模型，并获取文物的长宽高信息，然后通过文物的长宽高信息来计算文物的重心位置，将重心作为文物的中心点。运用相机拍摄文物正面照片，与文物模型保存在同一文件中。

(7)模型反馈模块，判断手机屏幕与手指的接触个数以及接触位置，来实现单指点击文物后，加载文物信息介绍，并显示在手机屏幕中。

上述模块的具体实现方法详细描述如下：

1、增强现实场景模块，该模块不需要人为设计，保证手机摄像头能够正常拍摄周围场景，对周围环境的光线有一定要求，在太暗的环境下，无法正常识别文物模型，在自然光或灯光条件下即可。

2、文物特征提取模块，该模块需要前期拍摄文物正面照片，然后利用SIFT算法提取特征点并降维，然后将文物名称、介绍及其特征矩阵存储在云空间中，按照文物的朝代和类型进行存储。提取特征点利用的是传统的SIFT算法，产生128维特征向量，降维利用的是PCA算法降维，将n个128维特征向量降维成n个64维特征向量。

3、文物识别模块，通过手机摄像头每间隔1秒对当前场景进行拍照，不断将照片上传至云空间，利用SIFT算法对第一张上传至云空间的图片进行特征提取并降维，然后调用特征匹配模块，若匹配成功，则加载文物模型，使文物模型的中心点与手机画面中文物的中心点重合，并显示在手机屏幕中。若匹配不成功，则对下一张图片(设为图片B)与当前图片(设为图片A)利用PHA(感知哈希算法)进行相似度计算。若相似，则跳过这张图片，继续对下一张图片(设为图片C)与当前图片(即图片A)进行相似度计算，直至下一张图片(设为图片D)与当前图片(即图片A)不相似，然后对图片D进行特征提取并降维，接着进行特征匹配。以此类推，直到匹配成功，停止拍照并加载模型至手机屏幕中。

伪代码简要描述流程如下(如图3所示)：

4、特征匹配模块，将特征矩阵与云空间存储的所有特征矩阵依次进行特征匹配，匹配方式为两组特征点的欧式距离是否小于预定阈值，若欧式距离小于预定阈值，则匹配成功，反之，匹配失败。(流程图如图5所示)

5、文物控制模块：该模块是对手指触碰到屏幕的位置和手指个数的判断，通过判断来实现单指旋转和双指放大、缩小操作。

伪代码简要描述流程(如图4所示)：

6、文物模型模块：该模块通过Artec 3D扫描仪对文物构建3D模型，并简化模型到10M以下，提升模型加载速度。记录文物模型的长宽高，计算重心，将重心作为模型中心点。

7、文物反馈模块，该模块的处理依赖于手指与屏幕的触碰效果，如果单指触碰到文物模型，则向云空间发送文物名称，加载文物介绍并显示在手机屏幕中。

伪代码简要描述流程(如图6所示)：

运行实例：将开发好的程序打包导出为Android平台可运行的APK文件。调试好手机设备，启动程序，对准真实世界文物模型，显示虚拟文物模型，可以进行单指或双指操作。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于增强现实技术的文物云识别与交互系统，其特征在于，包括增强现实场景模块、文物特征提取模块、文物识别模块、特征匹配模块、模型控制模块、文物模型模块和模型反馈模块；

所述增强现实场景模块，通过调用手机相机功能向使用者提供周围真实场景；

所述文物特征提取模块，利用照相机拍摄文物正面照片，上传到云空间中，提取文物照片的特征点并降维得到特征数据，其中特征数据以矩阵方式进行存储；

所述文物识别模块，通过手机相机对当前场景每隔1秒进行拍照，并上传至云空间中，进行特征提取并降维，随后与云空间存储的特征数据进行特征匹配；

所述特征匹配模块在文物识别模块运行中被调用，将特征数据与云空间存储的所有特征数据依次进行特征匹配，匹配方式为两组特征点的欧式距离是否小于预定阈值，若欧式距离小于预定阈值，则匹配成功，反之，匹配失败；

所述模型控制模块用于对文物模型进行放大、旋转操作；

所述文物模型模块用于调整文物模型大小，使之与真实文物模型相同大小，保证使用者的体验感；

所述模型反馈模块用于通过按钮显示及介绍文物。

2.根据权利要求1所述一种基于增强现实技术的文物云识别与交互系统，其特征在于，文物识别模块中进行特征匹配时，若匹配不成功，则判断下一张图片与当前图片是否相似，若相似，则跳过，继续选取下一张图片计算相似度，直至两张图片不相似为止，然后对不相似的图片进行特征提取和降维，并进行特征匹配；若匹配成功，则加载模型并显示在手机屏幕中。

3.一种基于增强显示技术的文物云识别与交互方法，基于权利要求1所述文物云识别与交互系统，其特征在于，包括以下步骤：

(1)利用Artec 3D扫描仪为文物构建3D模型，并获取文物的长宽高，选取重心为中心点；

(2)用相机从文物正面进行拍照，将照片上传至云空间中，利用SIFI算法对文物照片进行特征提取并降维，以特征矩阵的形式保存在云空间，同时将文物3D模型保存在云空间，并以名称命名；

(3)用户使用手机对准博物馆文物正面，通过手机相机获取的画面进行特征提取并降维，并在云空间进行特征匹配，匹配方式为判断两组特征点的欧式距离是否小于预定阈值，当匹配成功时，返回文物名称，然后通过云空间加载文物模型到手机中显示。