CN106097425A - 基于增强现实技术的电力设备信息提取与展示方法及系统 - Google Patents

Abstract

本发明提供一种基于增强现实技术的电力设备信息提取与展示方法，包括以下步骤：建立电力设备模型数据库；移动终端设备的摄像头，对准想要识别的电力实体设备。程序以数据帧的方式采集摄像头回传的图片信息，并提取特征与数据库以存储识别目标特征比对。如匹配则返回所对应的设备信息；在移动端将保留对以匹配模型的图像位置信息，并在此位置基础上通过3D渲染，将匹配后所获得的模型以及相关信息展示到屏幕上，并保持跟随状态，即当挪动移动设备时会重新计算模型所在位置。由于采用上述技术方案，可以通过移动端设备扫描电力设备模型快速并生动的展示其相关信息。极大地方便了维护人员对设备的了解，进一步降低设备维护的成本。

Description

基于增强现实技术的电力设备信息提取与展示方法及系统

技术领域

本发明属于电力新能源设备信息管理与信息化领域，尤其是涉及电力设备信息提取与展示的方法及系统。

背景技术

在新电力新能源设备管理及信息化相关工作时，常常需要及时的了解某一电力设备的工作状态，使用年限及相关参数等信息，大多数情况下，操作人员只能通过实施单位提供的说明书或是通过桌面系统进行对照查询，而且查询出来的信息呆板生硬不易于理解。不能及时方便快捷准确生动的得到设备的相关信息，这就亟需一种可以快速生动的基于增强现实技术的电力设备信息提取与展示的方法。

发明内容

本发明提供了一种基于增强现实技术的电力设备信息提取与展示的方法及系统，可以快速提取设备信息并生动有效的进行展示。

本发明的技术方案是这样实现的：

一种基于增强现实技术的电力设备信息提取与展示的方法，包括以下步骤：

1)建立电力设备模型数据中心，录入电力设备模型与相关参数信息，以及该设备的识别目标图片的图片特征；

2)移动终端通过摄像头采集想要识别的电力实体设备的图片信息，并提取图片特征；

3)移动终端连接电力设备模型数据中心，将提取的图片特征与数据中心存储的识别目标特征比对，如匹配则返回所对应的设备信息；

4)移动终端保留对已匹配模型的图像位置信息，并在此位置基础上通过3D渲染，将匹配后所获得的模型以及相关信息展示到屏幕上，并保持跟随状态。

进一步的，步骤1)中，使用Autodesk Maya专业3D建模软件，根据电力设备CAD图纸生成3D模型，将电力设备模型与相关参数信息录入到数据库表中。

进一步的，步骤1)中，将电力设备的正面图片作为该设备的识别目标，通过OpenCv提取图片特征存储到XML文件中，并添加到数据库中。

进一步的，步骤2)中，移动终端以数据帧的方式采集摄像头回传的图片信息并提取图片特征。

进一步的，步骤3)中，移动终端通过无线网络连接电力设备模型数据中心。

进一步的，步骤4)中，所述跟随状态为：所述跟随状态为：挪动移动终端时会重新计算摄像头的视角，从而调整所展示模型的角度，大小。

本发明的另一方面，一种基于增强现实技术的电力设备信息提取与展示系统，包括数据中心及移动终端，所述数据中心包括数据存储模块、3D模型建立模块、特征提取模块，所述数据存储模块用于存储设备模型以及相关信息；所述3D模型建立模块模块用于为电力设备建立3D模型；所述特征提取模块模块用于提取设备正面图的特征点；

所述移动终端设有图像采集模块、特征匹配模块、信息提取模块和3D模型展示模块，所述图像采集模块用于以数据帧的方式提取摄像头回传数据；所述特征匹配模块模块用于比对摄像头采集图像与数据库中存储模型特征点；所述信息提取模块用于将匹配后的模型数据以及相关信息反馈给移动设备；所述3D模型展示模块用于显示提取后的设备模型与相关信息。

进一步的，所述3D模型建立模块链接Autodesk Maya提供处理工具及接口。

进一步的，所述特征提取模块链接OpenCv提供处理工具及接口。

本发明具有的优点和积极效果是：由于采用上述技术方案，可以通过移动端设备扫描电力设备模型快速并生动的展示其相关信息。极大地方便了维护人员对设备的了解，进一步降低设备维护的成本。

附图说明

图1是本发明的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，在本发明的描述中，需要理解的是，

增强现实技术：增强现实(Augmented Reality，简称AR)增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

MySQL：是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle旗下公司。MySQL最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System，关系数据库管理系统)应用软件之一。

Autodesk Maya：是美国Autodesk公司出品的世界顶级的三维动画软件，应用对象是专业的影视广告，角色动画，电影特技等。Maya功能完善，工作灵活，易学易用，制作效率极高，渲染真实感极强，是电影级别的高端制作软件。

OpenCv：的全称是：Open Source Computer Vision Library。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

一种基于增强现实技术的电力设备信息提取与展示的方法，包括以下步骤：

1)、建立电力设备模型数据库(MySQL)。

2)、使用Autodesk Maya专业3D建模软件，根据电力设备CAD图纸生成3D模型。

3)、将电力设备模型与相关参数信息录入到数据库表中，模型是一个*.fbx文件，只需要将文件转成数据流模式存入数据库。参数包括：生产日期，生产单位，设备运行参数，使用说明，以及最后维护日期人员。

4)、根据电力设备的正面图片作为该设备的识别目标，通过OpenCv提取图片特征存储到*.XML文件中，并添加到数据库中。

5)、上述步骤得到电力设备的模型，参数信息以及对应的识别目标的数据库。通过计算机程序语言将提取模型信息程序编译成移动端可运行程序，安装到移动端设备。

6)、启动移动端设备的摄像头，对准想要识别的电力实体设备。程序以数据帧的方式采集摄像头回传的图片信息，并提取特征与数据库以存储识别目标特征比对。如匹配则返回所对应的设备信息，包括：生产日期，生产单位，设备运行参数，使用说明，以及最后维护日期人员。

7)、在移动端将保留对已匹配模型的图像位置信息，所述图像位置信息是指：通过对摄像头对现实场景进行扫描，程序通过数据帧收集并返回图片帧。进行实时的识别过程，也就是说程序会对每一帧返回的图像做特征匹配，并不是全图对比而是区域特征点的提取对比。也就是说特征图存在于回传图的某个位置上，对匹配特征匹配成功的图像后，停止识别过程。匹配成功后特征点的位置就是匹配成功的位置。

保留图像位置信息后，并在此位置基础上通过3D渲染，将匹配后所获得的模型以及相关信息展示到屏幕上，并保持跟随状态，所述跟随状态是指：模型以通过上述的步骤渲染到了屏幕上，并且出现在屏幕的和识别目标特征点匹配的位置。这样的一个3D场景当中。利用3D引擎(3D引擎指的是程序开发所用到的类库以及方法由开发工具自带提供)所提供的方法构建3D空间，把手机摄像头做成第三人称视角，当移动设备的时候就会重新计算视角。调整看到模型的角度，大小。

在实际测试过程中发现该方法能够快速有效的通过移动端扫描获取电力设备特征点并能生动的展示对应的3D模型以及相关的设备信息及运行参数，最终得到令操作员满意的结果。

本发明的系统结构如图1所示。

本发明提出了一种基于增强现实技术的电力设备信息提取与展示的方法及系统。本发明利用新能源电力设备的特性以及操作人员对快速有效的获取相关参数信息的需求，对电力设备进行了3D建模，信息采集，特征提取，实时扫描，特征比对，3D展示。大大提高了操作人员工作效率并写更加生动有效的反馈给操作人员设备必要的参数信息，并可推广到建筑设计与医疗器械管理等多个领域。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (9)

1.一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，包括以下步骤：

1)建立电力设备模型数据中心，录入电力设备模型与相关参数信息，以及该设备的识别目标图片的图片特征；

2)移动终端通过摄像头采集想要识别的电力实体设备的图片信息，并提取图片特征；

3)移动终端连接电力设备模型数据中心，将提取的图片特征与数据中心存储的识别目标特征比对，如匹配则返回所对应的设备信息；

4)移动终端保留对已匹配模型的图像位置信息，并在此位置基础上通过3D渲染，将匹配后所获得的模型以及相关信息展示到屏幕上，并保持跟随状态。

2.根据权利要求1所述的一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，步骤1)中，使用Autodesk Maya专业3D建模软件，根据电力设备CAD图纸生成3D模型，将电力设备模型文件转成数据流模式与相关参数信息一起录入到数据库表中。

3.根据权利要求1或2所述的一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，步骤1)中，将电力设备的正面图片作为该设备的识别目标，通过OpenCv提取图片特征存储到XML文件中，并添加到数据库中。

4.根据权利要求1所述的一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，步骤2)中，移动终端以数据帧的方式采集摄像头回传的图片信息并提取图片特征。

5.根据权利要求1所述的一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，步骤3)中，移动终端通过无线网络连接电力设备模型数据中心。

6.根据权利要求1所述的一种基于增强现实技术的电力设备信息提取与展示的方法，其特征在于，步骤4)中，所述跟随状态为：挪动移动终端时会重新计算摄像头的视角，从而调整所展示模型的角度，大小。

7.一种基于增强现实技术的电力设备信息提取与展示系统，包括数据中心及移动终端，所述数据中心包括数据存储模块、3D模型建立模块、特征提取模块，所述数据存储模块用于存储设备模型以及相关信息；所述3D模型建立模块模块用于为电力设备建立3D模型；所述特征提取模块模块用于提取设备正面图的特征点；

所述移动终端设有图像采集模块、特征匹配模块、信息提取模块和3D模型展示模块，所述图像采集模块用于以数据帧的方式提取摄像头回传数据；所述特征匹配模块模块用于比对摄像头采集图像与数据库中存储模型特征点；所述信息提取模块用于将匹配后的模型数据以及相关信息反馈给移动设备；所述3D模型展示模块用于显示提取后的设备模型与相关信息。

8.根据权利要求7所述的一种基于增强现实技术的电力设备信息提取与展示系统，其特征在于，所述3D模型建立模块链接Autodesk Maya提供处理工具及接口。

9.根据权利要求7所述的一种基于增强现实技术的电力设备信息提取与展示系统，其特征在于，所述特征提取模块链接OpenCv提供处理工具及接口。