CN106682652B - 基于增强现实的结构表面病害巡检和分析方法 - Google Patents

Abstract

本发明揭示了一种基于增强现实的结构表面病害巡检和分析方法，所述方法包括：步骤1：获取隧道管片环号；步骤2：从数据库中获取对应隧道管片环号隧道管片的病害信息；步骤3：使用移动设备的摄像头捕获视频流；步骤4：识别隧道管片上的病害类型；步骤5：将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标，显示病害信息。本发明提出的基于增强现实的结构表面病害巡检和分析方法及系统，可有效且直观的复现隧道病害的历史信息。

Description

基于增强现实的结构表面病害巡检和分析方法

技术领域

本发明属于图像识别技术领域，涉及一种巡检方法，尤其涉及一种基于增强现实的结构表面病害巡检和分析方法。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。

由于智能移动终端的高速普及与发展，用户对智能设备的依赖变得越来越大，对智能设备的功能需求也是从原来的简单使用发展到如今的多样化。增强现实(AugmentedReal ity，简称AR)技术是在虚拟现实技术的基础上发展起来的一种新兴的人机交互技术，它借助于可视化技术，将虚拟现实信息应用到现实世界，把不能直接在现实世界获取的虚拟现实信息叠加到现实世界的画面上，并使用户可以与增强现实应用进行互动，扩大了用户对真实世界的感知。在隧道中，一般都是通过人肉眼识别病害，在复检的时候大多是校对之前的病害信息，从而进行对比，这样做并不直观，信息容易遗漏。因此，在此功能上拓展也深受用户的关注。面前市面上并没有相关软件。

基于图像处理的增强现实主要有如下几种实现方式：

1)自动图像识别系统的过程分为五部分：图像输入、图像处理、特征点提取、分类和匹配，图像输入通过智能终端摄像头，扫描设备输入，图像处理和特征提取数字处理技术实现，即通过计算机对图像进行去噪声、增强、复原、分割、提取特征等处理方法和技术，分类和匹配即图像配准。

2)特征提取时，基于灰度图的信息最主要的特点是实现简单，但是对视频流中的每一帧图片进行处理需要很大的内存空间需求和比较长的时间要求，所以主要方法有两种：一类根据视频的时序属性来分割运动目标，主要有光流法、相邻帧差法、背景差分法和统计模型分类法。而另一类方法是根据视频的时序属性来分割运动目标，主要有光流法、相邻帧差法、背景差分法和统计模型分类法。

4)通过全球定位系统(GPS)、地磁传感器和加速度传感器来确定用户终端的地理位置、朝向以及倾斜角度等，然后根据所确定的位置信息来获取相关信息后叠加显示。

5)预先保存标记(marker)图像的信息，然后通过图像识别技术，在当前图像中查找并识别标记图像，然后在标记图像上叠加相关信息。

6)对摄影图像进行解析，识别出风景、物体和空间，然后叠加相关信息。

7)AR与VR结合，借助VR让AR所反馈出来的增强信息实时地出现在用户所聚焦的物体旁边，得到该物体的详细信息。在所提及的实现方式之中，通过对标记进行识别来实现信息叠加的技术被越来越广泛地使用。这种实现方式能够通过使用摄像机对真实图像中的标记进行识别来加入虚拟的3D物件，从而造成虚实结合的视觉效果。

由于智能移动终端的高速普及与发展，用户对智能设备的依赖变得越来越大，对智能设备的功能需求也是从原来的简单使用发展到如今的多样化。在隧道中，一般都是通过人肉眼识别病害，在复检的时候大多是校对之前的病害信息，从而进行对比，这样做并不直观，信息容易遗漏。因此，在此功能上拓展也深受用户的关注。面前市面上并没有相关软件。

目前国内外关于隧道结构病害分析和增强现实技术还存在着不少有待解决的问题：

1)图像识别方面：狭窄空间中，狭窄空间中的病害识别存在低识别度。

2)增强现实方面：对于隧道中光线较弱的问题，目前没有同类效果良好的软件。

3)隧道结构病害分析方面：大多采用人工进行病害分析，效率较低；而通过文字形式展现，直观度不够。

有鉴于此，如今迫切需要设计一种结构表面病害的巡检和分析方法，以便克服现有系统的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种基于增强现实的结构表面病害巡检和分析方法，可有效且直观的复现隧道病害历史信息。

为解决上述技术问题，本发明采用如下技术方案：

一种基于增强现实的结构表面病害巡检和分析方法，所述方法包括：

步骤1：获取隧道内某一环管片的编号，即环号；

步骤2：根据环号从数据库中获取对应隧道管片环号隧道管片的病害信息；

步骤3：使用移动设备的摄像头捕获视频流；

步骤4：识别隧道管片上的病害类型；

步骤5：将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标，显示病害信息。

作为本发明的一种优选方案，步骤1中，通过扫描隧道管片上的二维码获取隧道管片环号；

步骤2中，根据扫描二维码获取的隧道管片环号，调用本地病害数据库，读取数据库中的病害信息，包括病害位置坐标，病害类型，病害日期和病害历史，以结构体数组的形式缓存在本地。本地数据库中的病害信息在每次进入隧道前下载到手机app中，确保该病害信息是最新的。

作为本发明的一种优选方案，步骤3中，Android系统提供了两种使用手机相机资源实现拍摄功能的方法，一种是直接通过I ntent调用系统相机组件，这种方法快速方便，适用于直接获得照片的场景。另一种是使用相机API来定制自定义相机，这种方法适用于需要定制相机界面或者开发特殊相机功能的场景。由于在本实施例中，相机另有图像处理，坐标定位的功能，选择使用相机API定制自定义相机。创建一个类，用于绘制相机预览图像的类，提供给用户实时的预览图像，编写一个抽象接口控制机预览类,该接口能够控制相机拍摄的尺寸和格式，修改拍摄的像素，监视相机的状态变化等等。然后编写方法使图像预览类通过该方法获得图像实例。在隧道中，打开该自定义相机，即可进行相机预览，捕获视频流。

作为本发明的一种优选方案，步骤4中，在已有的相机实例中，添加方法得到当前时刻的bitmap，并将它显示在屏幕上，完成视频流转化为bmp格式的过程。将当前图像进行灰度化处理，考虑到隧道环境特点以及灰度化过程不能丢失重要信息的要求，采用国际标准符合肉眼习惯的灰度图来进行处理，对灰度图像进行灰度拉伸，将无效信息屏蔽，并使病害区域和边界处灰度区分更加明显，有助于后续病害提取。然后对灰度图设置阙值，进行二值分割。由于隧道管片图像中存在着大量不同种类，不同形状，且分布无规律的噪声，这些噪声严重影响了隧道病害的检测，因此需要将图像中复杂的噪声去除，确定病害区域。为了确定病害位置，使用Canny算子作为边缘检测算法提取管片边缘，确定病害位置，同时将渗漏水区域的信息，包括病害类型，病害位置等存储方便后续处理。

作为本发明的一种优选方案，步骤5中，将得到的病害类型以及病害位置以数组的形式保存下来，与该隧道环面数据库中记录的病害类型逐一匹配，即通过循环判断其中的每个病害是否在该隧道环面数据库中有记录，若匹配成功，即数据库中已有该病害，获取该病害在数据库中的病害信息，以newBitmap创建Canvas类，Canvas类相当于一个画布，使用该类即可将当前图片设置为画布，在调用paint类，paint类相当于画笔，可以在画布上绘制图形、着色等。在本发明中，使用paint类将代表病害类型的病害标签叠加在使用canvas类创建的画布上，并根据病害位置的信息，将病害位置相对于相机的坐标确定下来，即可完成在摄像图像上叠加病害标签。并在标签上添加监听器，通过intent实现病害历史界面的跳转，I ntent机制能够协助不同应用间的交互与通讯；若数据库没有该病害，则将该病害定义为新病害，在病害上叠加提示符号，并进入手动添加病害模块将病害图标贴在摄像图像上，并将病害信息，包括病害类型，病害坐标，发现日期等同步到数据库。

一种基于增强现实系统结构表面病害的巡检和分析系统，其特征在于，所述系统包括：

二维码模块，用于获取目标管片的隧道管片环号；

病害信息模块，用于获取病害数据库中相应的病害信息；

图像处理模块，用于在视频流中识别目标管片上的病害类型；

病害显示模块，对目标图片做增强实现。

作为本发明的一种优选方案，在隧道管片上设置二维码标签，二维码标签内储存该管片的隧道管片环号，二维码模块通过解析二维码获得管片隧道管片环号；

所述病害信息模块根据获得的隧道管片环号调用数据库，获取病害数据库中相应的病害信息，并将该病害信息缓存在本地；

所述图像处理模块识别输入视频中的管片病害类型，；

所述病害显示模块在输入视频上叠加病害标签，显示病害的历史信息。

本发明的有益效果在于：本发明提出的基于增强现实的结构表面病害巡检和分析方法，可有效且直观的复现隧道病害历史信息。

传统的无标识的增强现实技术大多是基于关键帧匹配的跟踪定位算法，或者是基于模型的跟踪定位算法。前者的核心是选择与当前帧视点最接近的关键帧，利用当前帧和关键帧图像间的特征匹配计算进行模型叠加，该方法对于图像匹配的计算量较大；而后者要求对目标物体或者场景事先建模，根据每帧中得到的目标特征2D投影图像与其在空间中的3D坐标间的对应，求解目标或者摄像机的姿态，该算法建模工作量大且繁琐。不同于传统的无标识增强现实技术，本发明中，增强现实技术直接使用图像识别技术检测出隧道管片上的特征点从而识别出病害类型，之后与数据库进行匹配，然后进行叠加，因此无需事先建模或者计算特征匹配，大大减少了前期工作量以及处理器的计算量。此外，本发明中，对于新出现的病害设置了病害提示符号，让用户对实时病害进行检测，并将新病害添加到数据库中进行数据更新，相比于传统的增强现实技术，更强调即时性和完整性。

附图说明

图1为本发明基于增强现实的结构表面病害巡检和分析方法的流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图1，本发明揭示了一种基于增强现实的结构表面病害巡检和分析方法，所述方法包括：

【步骤1】获取隧道管片环号；

本实施例中，通过扫描二维码的方式获取隧道管片环号；

【步骤2】从数据库中获取对应隧道管片环号隧道管片的病害信息；

本实施例中，根据扫描二维码获取的隧道管片环号，读取病害数据库中的病害信息，包括病害位置坐标，病害类型，病害日期和病害描述，以结构体数组的形式缓存在本地。

【步骤3】使用移动设备的摄像头捕获视频流；

本实施例中，使用相机API定制自定义相机。创建一个类，用于绘制相机预览图像的类，提供给用户实时的预览图像，编写一个抽象接口控制机预览类,该接口能够控制相机拍摄的尺寸和格式，修改拍摄的像素，监视相机的状态变化等等。然后编写方法使图像预览类通过该方法获得图像实例。在隧道中，打开该自定义相机，即可进行相机预览，捕获视频流。

【步骤4】识别隧道管片上的病害类型；

本实施例中，在已有的相机实例中，添加方法得到当前时刻的bitmap，并将它显示在屏幕上，完成视频流转化为bmp格式的过程。将当前图像进行灰度化处理，考虑到隧道环境特点以及灰度化过程不能丢失重要信息的要求，采用国际标准符合肉眼习惯的灰度图来进行处理，对灰度图像进行灰度拉伸，将无效信息屏蔽，并使病害区域和边界处灰度区分更加明显，有助于后续病害提取。然后对灰度图设置阙值，进行二值分割。由于隧道管片图像中存在着大量不同种类，不同形状，且分布无规律的噪声，这些噪声严重影响了隧道病害的检测，因此需要将图像中复杂的噪声去除，确定病害区域。为了确定病害位置，使用Canny算子作为边缘检测算法提取管片边缘，确定病害位置，同时将渗漏水区域的信息，包括病害类型，病害位置等存储方便后续处理。

【步骤5】扫描到的病害与数据库中的病害数据进行匹配，并叠加图标，显示病害信息；

本实施例中，将得到的病害类型以及病害位置以数组的形式保存下来，与该隧道环面数据库中记录的病害类型逐一匹配，即通过循环判断其中的每个病害是否在该隧道环面数据库中有记录，若匹配成功，即数据库中已有该病害，获取该病害在数据库中的病害信息，以newBitmap创建Canvas类，Canvas类相当于一个画布，使用该类即可将当前图片设置为画布，在调用paint类，paint类相当于画笔，可以在画布上绘制图形、着色等。在本发明中，使用paint类将代表病害类型的病害标签叠加在使用canvas类创建的画布上，并根据病害位置的信息，将病害位置相对于相机的坐标确定下来，即可完成在摄像图像上叠加病害标签。并在标签上添加监听器，通过intent实现病害历史界面的跳转，I ntent机制能够协助不同应用间的交互与通讯；若数据库没有该病害，则将该病害定义为新病害，在病害上叠加提示符号，并进入手动添加病害模块将病害图标贴在摄像图像上，并将病害信息，包括病害类型，病害坐标，发现日期等同步到数据库。

本发明还揭示一种基于增强现实系统结构表面病害的巡检和分析系统，所述系统包括：二维码模块、病害信息模块、图像处理模块、病害显示模块。

二维码模块用于获取目标管片的隧道管片环号；在隧道管片上设置二维码标签，二维码标签内储存该管片的隧道管片环号，通过解析二维码获得管片隧道管片环号；

病害信息模块，用于获取病害数据库中相应的病害信息；根据获得的隧道管片环号调用数据库，获取病害数据库中相应的病害信息，并将该病害信息缓存在本地；

图像处理模块，用于在视频流中识别目标管片上的病害类型；

病害显示模块，对目标图片做增强实现；在输入视频上叠加病害标签，显示病害的历史信息。

综上所述，本发明提出的基于增强现实的结构表面病害巡检和分析方法及系统，可有效且直观的复现隧道病害信息。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (7)

1.一种基于增强现实的结构表面病害巡检和分析方法，其特征在于，所述方法包括：步骤1：获取隧道内某一隧道管片的环号；

步骤2：根据环号从数据库中获取环号对应的隧道管片的病害信息；

步骤3：使用移动设备的摄像头捕获隧道中的视频流；

步骤4：识别视频流当前帧图像中隧道管片上的病害类型；

步骤5：将识别到的病害类型与数据库中的病害数据进行匹配，并叠加病害标签，显示病害信息；具体包括：将得到的病害类型与在数据库中记录的该隧道管片的病害类型逐一匹配，若数据库中已有该病害，获取该病害在数据库中的病害信息，并根据病害坐标在摄像图像上叠加病害标签，并在病害标签上添加监听器，点击病害标签跳转到病害历史界面；若数据库没有该病害，则将该病害定义为新病害，在病害上叠加提示符号，并进入手动添加病害模块将病害标签贴在摄像图像上，并将病害信息同步到数据库。

2.根据权利要求1所述的基于增强现实的结构表面病害巡检和分析方法，其特征在于：

步骤1中，通过扫描二维码的方式获取隧道管片环号；

步骤2中，根据扫描二维码获取的隧道管片环号，读取病害数据库中对应隧道管片环号的隧道管片病害信息，包括病害位置坐标，病害类型，病害日期和病害历史信息，将病害信息以数组的形式缓存在本地。

3.根据权利要求1所述的基于增强现实的结构表面病害巡检和分析方法，其特征在于：

步骤3中，使用相机API定制自定义相机，创建相机预览类，编写接口控制所述相机预览类,并实时对于相机界面的变化进行检测和通知，当相机预览发生变化，相机预览类通过特定的方法获得图像实例；通过完成自定义相机，使其结合隧道内增强现实的功能，然后初始化摄像头参数，设置相机预览功能。

4.根据权利要求1所述的基于增强现实的结构表面病害巡检和分析方法，其特征在于：

步骤4中，把摄像头捕获的视频流转化为bmp格式的比特数据；将当前图像进行灰度化处理，然后对灰度图进行阈值分割，根据阈值提取特征识别病害类型，再用边缘检测算子进行管片边缘提取，获取病害的大致位置，然后将病害信息存储起来方便后续处理。

5.根据权利要求1所述的基于增强现实的结构表面病害巡检和分析方法，其特征在于：

步骤5中，病害信息包括病害类型，病害坐标，发现日期。

6.根据权利要求5所述的基于增强现实的结构表面病害巡检和分析方法，其特征在于：

为了实现病害标签叠加，以newBitmap创建Canvas类，Canvas类相当于一个画布，使用该类将当前图片设置为画布，再调用paint类，paint类相当于画笔，在画布上绘制图形、着色；使用paint类将代表病害类型的病害标签叠加在使用canvas类创建的画布上，并根据病害位置的信息，将病害位置相对于相机的坐标确定下来，即可完成在摄像图像上叠加病害标签；并在标签上添加监听器，通过intent实现病害历史界面的跳转，Intent机制能够协助不同应用间的交互与通讯。

7.一种基于增强现实系统结构表面病害的巡检和分析系统，其特征在于，所述系统包括：

二维码模块，用于获取目标管片的隧道管片环号；

病害信息模块，用于从病害数据库中获取对应隧道管片环号隧道管片相应的病害信息；

图像处理模块，用于在视频流中识别隧道管片上的病害类型；

病害显示模块，对视频流中隧道管片的图片做增强现实；

在隧道管片上设置二维码标签，二维码标签内储存该隧道管片的隧道管片环号，二维码模块通过解析二维码获得隧道管片环号；所述病害信息模块根据获得的隧道管片环号调用数据库，获取病害数据库中相应的病害信息，并将该病害信息缓存在本地；所述图像处理模块识别输入视频中的目标管片上的病害类型；所述病害显示模块在输入视频上叠加病害标签，显示病害的历史信息。

Images