CN115755978A - 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法 - Google Patents

Abstract

本发明公开了一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，包括以下步骤：采集排水沟渠的图像数据，传输到地面站；地面站对所述图像数据进行解压，并基于数据库文件对解压后的图像数据进行加载，进而进行图像预处理，图像定位和图像对比，获得异常点数据并进行标记；对标记数据进行纠正，获得纠正后的图像数据并存储在所述数据库文件中，对所述数据库文件进行更新，基于更新后的数据库文件对排水沟渠进行巡检。本发明采用无人机的远程控制，搭载边缘计算装置结合机器视觉智能识别技术，实现矿区排水沟渠无死角，高效，低风险智能巡检，数据连续可追溯，质量可靠，成本降低。

Description

一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法

技术领域

本发明属于无人机视觉应用领域，特别是涉及一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法。

背景技术

矿区地表水往往含有高浓度的污染物，因此，在生产过程中会根据环保要求在矿区内布设大量的排水沟渠和污水收集装置，将矿区所有的地表水收集在一起，然后通过处理达到排放要求，或者在矿区内循环使用。在收集地表水过程中，要时刻保证排水沟渠畅通，是极其重要的，但是很多矿区都在大山深处，周边的泥石流、塌方、碎石、杂草枯枝、动物等都会造成沟渠的堵塞，从而导致污水不能顺利排到收集装置中而大面积排到矿区界线之外，造成严重污染。因此，在降雨前后，水排水沟渠巡检就成为一项重要的工作。但是由于矿区沟渠的地形和地表覆盖较为复杂，给巡检工作造成困难，且成本较高。

目前，矿区内沟渠巡检工作主要依靠人工现场巡查和处理，少数情况下采用无人机辅助巡检。总体上还存在很多的不足：(1)人工巡查时间较长，成本较高，效率低下；(2)在部分人无法到达的区域还存在盲点，不能有效地解决矿区沟渠巡检的根本问题；(3)目前辅助的无人机也主要依靠人的操作，在人无法达到的地方辅助巡检，最终还需要人进行对图像画面进行识别和判断；(4)矿区人工现场巡检存在一定的安全风险，尤其在雨后山陡路滑，滚石散落的情况下；(5)巡检结果主要依靠人工描述和部分现场照片，数据不连续，对比性不强。因此，亟需提出一种矿区内沟渠的智能巡检方法。

发明内容

本发明的目的是提供一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，通过对巡检路线进行规划设计，结合无人机的远程控制技术，搭载边缘计算装置，结合识别样本对比库，实现矿区排水沟渠快速智能巡检，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，包括以下步骤：

采集排水沟渠的图像数据，传输到地面站；地面站对所述图像数据进行解压，并基于数据库文件对解压后的图像数据进行加载，进而进行图像预处理，图像定位和图像对比，获得异常点数据并进行标记；对标记数据进行纠正，获得纠正后的图像数据并存储在所述数据库文件中，对所述数据库文件进行更新，基于更新后的数据库文件对排水沟渠进行巡检。

可选的，所述排水沟渠数据的采集过程包括：在多旋翼无人机上搭载红外面阵相机和图像数据处理器；基于所述红外面阵相机预设无人机GPS飞行轨迹参数，获取排水沟渠的图像数据，并基于所述图像数据处理器对所述图像数据进行转换和压缩；其中，所述图像数据格式为非阵列图片数据格式。

可选的，所述图像数据格式包括单色格式和彩色格式；

所述单色格式包括数据头和数据，所述数据头依次包括：起始符、行方向、图像行数，所述数据依次包括：灰度数据起始位置、灰度数据长度、图像像素灰度数据；

所述彩色格式包括数据头和数据，所述数据头依次包括：起始符、行方向、图像行数，所述数据依次包括：灰度数据起始位置、灰度数据长度、图像第一通道灰度数据、图像第二通道灰度数据、图像第三通道灰度数据。

所述第一行数据和第二行数据均包括多行数据。

可选的，所述数据库文件包括：非阵列图片提取、转换及压缩用位置码数据列表，无人机GPS飞行轨迹及角度高度数据，图像对比用数据列表，图像对比用块模板数据列表，每次矿区排水沟渠巡查结果数据，无人机GPS飞行轨迹及角度高度修正数据，人工纠正数据；其中，所述图像对比用数据列表包括地点系数数据列表，地球自转变量数据列表，地球偏转变量数据列表。

可选的，对所述图像数据进行解压的过程包括：基于三通道非阵列图片数据对所述图像数据进行解压，使得解压后的图像的行方向长度为最大灰度数据起始位置值与预设长度值之和，与图片行方向垂直方向上的长度为图像行数。

可选的，进行图像定位的过程包括：基于无人机的IMU模块航向角、GPS模块位置和飞行高度数据对图像进行粗定位后，基于所述图像数据的轮廓特征和单一圆型定位点，对图像定位进行修正，获得图像的精确定位。

可选的，进行图像对比的过程包括：从所述数据库文件中加载图像对比用块模板数据列表，与进行图像预处理后的图像数据进行DNCC图像对比，并基于所述数据库文件，引入地点系数和阴影系数对获得的图像对比值进行修正，当所述图像对比值大于等于预设阈值时，沟渠状态为正常，当所述图像对比值小于预设阈值时，沟渠状态为异常。

可选的，所述阴影系数基于地球自转变量和地球偏转变量获得，所述地球自转变量为沟渠正常状态下夏至晴天当地时间十二时沟渠图像对比值与冬至晴天当地时间十二时沟渠图像对比值的差值；所述地球偏转变量为沟渠正常状态下夏至晴天当地最早或最晚一束太阳光沟渠图像对比值与冬至晴天当地时间十二时沟渠图像对比值的差值。

本发明的技术效果为：

本发明主要通过对巡检路线进行规划设计，结合无人机的远程控制技术，搭载边缘计算装置，结合识别样本的数据库文件，实现矿区排水沟渠快速智能巡检。解决现有技术中存在的以下缺点和不足：(1)取代人工现场巡检，实现远程控制；(2)可以实现全沟渠无死角巡检；(3)可以实现沟渠非正常状态的智能识别；(4)降低风险，提高效率；(5)巡检数据连续，质量可靠，成本低。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中系统工作流程图；

图2为本发明实施例中复杂型沟渠示意图；

图3为本发明实施例中简单弧型沟渠示意图；

图4为本发明实施例中类直线型沟渠示意图；

图5为本发明实施例中图像为简单类型定位示意图；

图6为本发明实施例中简单弧型沟渠定位示意图；

图7为本发明实施例中截图范围示意图；

图8为本发明实施例中图像单色数据加载在20*10(宽*高)图像空间效果图；

图9为本发明实施例中图像彩色数据加载在20*10(宽*高)图像空间效果示意图；

图10为本发明实施例中对比用块模板示意图；

图11为本发明实施例中截取对比用块模板位置示意图；

图12为非阵列图片数据编码和解码示意图；

其中：1-沟渠，2-模板线a，3-非关注区，4-模板线b，5-下边线，6-点a，7-上边线，8-点b，9-定位圆点，10-块模板，11-屏蔽区，12-透明区，13-块图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-11所示，本实施例中提供一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，通过多旋翼无人机搭载彩色和红外面阵相机，二十四小时间隔沟渠1低空航拍，图像数据经过提取、转换和压缩后，通过无线数据传输设备，传回地面站，地面站再经过图像解压，数据库文件加载，图像预处理，图像定位，图像对比，计算异常点并标记，标记点纠正，具体为,人工复查异常点图片，沟渠标记点确实为非异常点，人工删除该异常点标记，否则保留异常点,并修正地点系数D和无人机飞行高度和位置数据，数据库文件修正，完成整个巡查工作。

无人机自主采图，是一种搭载有可变焦的红外、可见光波段面阵相机以及图像数据处理器的自返航充电多旋翼无人机，可以通过预设飞行GPS轨迹参数，进行二十四小时间隔低空照相；图像提取转换和压缩，是无人机上微型图像数据处理器完成的，相机图像抓取转换和压缩功能；无线数据传输，是一种5G设备，负责与地面站传递数据；地面站数据处理及控制，一种软件智能系统，实现5G设备回传来的图像数据解压，数据库文件加载，图像预处理，图像定位，图像对比，计算异常点并标记，标记点纠正，更新数据库，用于优化下一次飞行检测。

进一步的，图像数据的提取、转换和压缩，采用非阵列图片数据格式；采用非阵列图片数据格式，是源于无人机采用彩色面阵相机与红外面阵相机混合采图，图像数据量，视角都很大，关注点沟渠1部分却占比小，并且成丝带分布，提取图像关注点沟渠1部分，需要特殊的图像数据格式，方便图像的提取、转换和压缩；图像数据格式具体分单色和彩色两款；单色图像数据格式，由数据头和数据行两部分组成：数据头依次包含有，起始符、行方向、图像行数；行数据依次包含有，灰度数据起始位置、灰度数据长度、图像像素灰度数据；起始符为一个字节，具体数值为十进制“55”；行方向数据为一个字节，设置值为十进制“66”为单色横向，设置值为十进制“77”为单色纵向；图像行数为两个字节，设置值十进制范围为0～64999；灰度数据起始位置为两个字节，设置值十进制范围为0～64999；灰度数据长度两个字节，设置值十进制范围为0～64999；图像像素灰度数据为一个字节，设置值十进制范围为0～255。其中，图像单色数据的格式如表1所示，并对图像的单色数据进行了举例说明，如表2所示。

表1

表2

彩色图像数据格式，由数据头和数据行两部分组成：数据头依次包含有，起始符、行方向、图像行数；行数据依次包含有，灰度数据起始位置、灰度数据长度、图像R通道灰度数据、图像G通道灰度数据、图像B通道灰度数据；起始符为一个字节，具体数值为十进制“55”；行方向数据为一个字节，设置值为十进制“88”为彩色横向，设置值为十进制“99”为彩色纵向；图像行数为两个字节，设置值十进制范围为0～64999；灰度数据起始位置为两个字节，设置值十进制范围为0～20999；灰度数据长度两个字节，设置值十进制范围为0～20999；图像R通道灰度数据、G通道灰度数据和B通道灰度数据的图像像素，灰度数据为一个字节，设置值十进制范围为0～255；采用本图像数据格式轻松提取图像沟渠部分图像数据，降低了数据图像容量，间接提高了转换、压缩和传输效率，并且没有任何有用信息的损耗。其中，图像彩色数据的格式如表3所示，并对图像的彩色数据进行了举例说明，如表4所示。

表3

表4

需要指出的是，非阵列图片数据格式行方向，取横向，数据起始位置也就是边线A5位置，同一水平上，灰度数据长度＝上边线7的点b8-下边线5上的6点a。

进一步的，图像解压的关键点在于使用非阵列图片数据格式解压图片，解压后的图片，行方向长度＝最大灰度数据长度+4；与图片行垂直方向上的长度等于图像行数；解压还原后的图像，只会呈现沟渠部分的图像，非关注区3为黑色。如图12所示，源图像为20*10(宽*高)单色图像，每一空代表一个像素点；填充部分像素点灰值为255，不填充部分为0，设置行方向为横向，依次从源图像中提取一行数据按照图像对应位置码信息进行取值处理，依次排列成非阵列图片数据队列，完成关注区数据的无损提取压缩；非阵列图片数据，按照图像对应位置码信息依次还原图像数据，完成图像解压过程；解压后的图像，宽度等于最大灰度值数据起始位置与灰度数据长度之和，高度等于非阵列图片数据行数。

进一步的，数据库文件；包含有非阵列图片提取、转换及压缩用位置码数据列表，无人机GPS飞行轨迹及角度高度数据，每次矿区排水沟渠巡查结果数据，图像对比用数据列表包括地点系数D数据列表，地球自转变量H数据列表，偏转变量P数据列表；图像对比用块模板10数据列表，图像对比用块模板10取至该段正常沟渠1块图13；具体为，模板线a与模板线b之间取块模板10；无人机GPS飞行轨迹及角度高度修正数据，人工纠正数据；其中，位置码数据列表的格式如表5所示，位置码数据列表的举例如表6所示，其中，起始符为一个字节，具体数值为十进制“55”；行方向数据为一个字节，设置值为十进制“66”为单色横向，设置值为十进制“77”为单色纵向；设置值为十进制“88”为彩色横向，设置值为十进制“99”为彩色纵向；图像行数为两个字节，设置值十进制范围为0～64999；灰度数据起始位置为两个字节，设置值十进制范围为0～20999；灰度数据长度两个字节，设置值十进制范围为0～20999。

表5

表6

进一步的，图像定位采用无人机IMU模块航向角及GPS模块位置和高度数据参与图像粗定位，之后采用沟渠1图像本身轮廓特征和图像中单一圆型定位点，即定位圆点9，修正图像进行精确定位；

进一步的，图像对比从数据库中加载到的块模板10与采集来的经过图像预处理后得到的块图13进行NCCD对比计算，计算结果值大于等于0.6，判断为正常，其它判定为异常。利用NCCD进行对比计算的过程如下：

NCCD＝NCC+D+Y

Y＝D+H+P+W

其中,

块模板10中的源图像中H点坐标x,y与块图13中的匹配模板图像中t点坐标x,y对应；源图像与匹配模板图进行对比；两图进行归一化，灰度值从0～255转换为-1～1之间；两图对比，完全相同值为1；完全不同为-1。其中：n-1是自由度；f(x,y)是P点灰度值；μ_f为源图像M所有灰度平均值；σ_f为源图像M灰度值标准方差；t(x,y)是h点灰度值；μ_t为匹配模板图像m所有灰度平均值；σ_t为匹配模板图像m灰度值标准方差；其中，地点系数D,阴影系数Y,地球自转变量H,偏转变量P,纬度常数W。

NCCD在经典NCC图像数据对比公式基础上引入地点系数D和阴影系数Y，地点系数D取值范围-0.5～0.5；阴影系数Y取值范围-0.5～0.5；阴影系数Y由地球自转变量H和偏转变量P组成，引入阴影系数Y是源于白天晴天沟渠1拍摄图像会受到太阳高度偏转影响，出现相对规律性影响；引入了地点系数D，是源于沟渠1每一段的都有一些除太阳因素外其它干扰因素；引入了地点系数D和阴影系数Y，是使图像匹配更加精准；地球自转变量H和偏转变量P为试验取值；每一段沟渠1的地球自转变量H＝沟渠正常状态下选择夏至晴天当地时间十二时沟渠1图像对比值-沟渠1正常状态下选择冬至晴天当地时间十二时沟渠图像对比值；每一段沟渠1的偏转变量P＝沟渠1正常状态下选择夏至晴天当地最早或最晚一束太阳光沟渠1图像对比值-沟渠1正常状态下选择冬至晴天当地时间十二时沟渠1图像对比值；地点系数D为地球自转变量H和偏转变量P确定后图像对比值修正用，确保图像对比值大于等于0.6。

需要指出的是，块模板10，整体呈内圆外方型，由屏蔽区11和透明区12两部分组成；屏蔽层11是为了掩膜掉沟渠1以外的部分，只留下中间透明层12，透明层12为圆形是为了规避沟渠弯曲带来的沟渠1边缘图像干扰，影响块模板10与块图13的对比。

进一步的，本实施例的系统工作流程包括：流程有首先是进行硬件检查，有故障，报警提示，无故障进入三个工作模式，分别是学习模式、巡查模式、待机模式；学习模式工作过程依次是：加载GPS飞行轨迹及角度高度数据，无人机按照航拍数据飞行拍照，图像数据提取、转换、压缩，无线数据传输设备将图像数据回传地面站，图像数据解压，人工确认图像降噪、调亮、对比度、二值化预处理参数并标记沟渠1位置、大小、方向，最后是，生成，地球自转变量H，偏转变量P，图像对比用块模板10，图片位置码，学习结束；巡查模式有两种工作方式：有人工纠正数据的巡查模式，具体工作过程依次是：加载，图片位置码数据，飞行轨迹及角度高度数据，地点系数D数据，地球自转变量H数据，偏转变量P数据，图像对比用块模板10，无人机按照航拍数据飞行拍照，图像数据提取、转换、压缩，无线数据传输设备将图像数据回传地面站，图像数据解压，图像降噪、调亮、调对比度、二值化预处理，图像定位，图像对比，计算异常点并标注，人工纠正地点系数D、飞行修正数据，更新巡查结果，巡查模式结束；无人工纠正数据的巡查模式，具体工作过程依次是：加载，图片位置码数据，飞行轨迹及角度高度数据，地点系数D数据，地球自转变量H数据，偏转变量P数据，图像对比用块模板10，无人机按照航拍数据飞行拍照，图像数据提取、转换、压缩，无线数据传输设备将图像数据回传地面站，图像数据解压，图像降噪、调亮、调对比度、二值化预处理，图像定位，图像对比，计算异常点并标注，更新巡查结果，巡查模式结束；待机模式，系统不间断查询是否工作条件，满足条件，就回到学习模式和巡查模式。

矿区内沟渠巡检工作依靠人工现场巡查和处理，人工巡查时间较长，成本较高，效率低下，在部分人无法到达的区域还存在盲点，并且存在一定的安全风险；目前辅助的无人机也主要依靠人的操作，在人无法达到的地方辅助巡检，最终还需要人进行对图像画面进行识别和判断，结果也依靠部分现场照片和人工描述，数据不连续，对比性不强。而本实施例采用无人机的远程控制，搭载边缘计算装置结合机器视觉智能识别技术，实现矿区排水沟渠无死角，高效，低风险智能巡检，数据连续可追溯，质量可靠，成本降低。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，包括以下步骤：

采集排水沟渠的图像数据，传输到地面站；地面站对所述图像数据进行解压，并基于数据库文件对解压后的图像数据进行加载，进而进行图像预处理，图像定位和图像对比，获得异常点数据并进行标记；对标记数据进行纠正，获得纠正后的图像数据并存储在所述数据库文件中，对所述数据库文件进行更新，基于更新后的数据库文件对排水沟渠进行巡检。

2.根据权利要求1所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

所述排水沟渠数据的采集过程包括：在多旋翼无人机上搭载红外面阵相机和图像数据处理器；基于所述红外面阵相机预设无人机飞行轨迹参数，获取排水沟渠的图像数据，并基于所述图像数据处理器对所述图像数据进行转换和压缩；其中，所述图像数据格式为非阵列图片数据格式。

3.根据权利要求2所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

所述图像数据格式包括单色图像数据格式和彩色图像数据格式；

所述单色图像数据格式包括第一数据头和第一行数据，所述第一数据头依次包括：第一起始符、第一行方向、第一图像行数，所述第一行数据依次包括：第一灰度数据起始位置、第一灰度数据长度、图像像素灰度数据；

所述彩色图像数据格式包括第二数据头和第二行数据，所述第二数据头依次包括：第二起始符、第二行方向、第二图像行数，所述第二行数据依次包括：第二灰度数据起始位置、第二灰度数据长度、图像第一通道灰度数据、图像第二通道灰度数据、图像第三通道灰度数据；

所述第一行数据和第二行数据均包括多行数据。

4.根据权利要求1所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

所述数据库文件包括：非阵列图片提取、转换及压缩用位置码数据列表，无人机GPS飞行轨迹及角度高度数据，图像对比用数据列表，图像对比用块模板数据列表，每次矿区排水沟渠巡查结果数据，无人机GPS飞行轨迹及角度高度修正数据，纠正数据；其中，所述图像对比用数据列表包括地点系数数据列表，地球自转变量数据列表，地球偏转变量数据列表。

5.根据权利要求1所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

对所述图像数据进行解压的过程包括：基于三通道非阵列图片数据对所述图像数据进行解压，使得解压后的图像的行方向长度为最大灰度数据起始位置值与预设长度值之和，与图片行方向垂直方向上的长度为图像行数。

6.根据权利要求1所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

进行图像定位的过程包括：基于无人机的IMU模块航向角、GPS模块位置和飞行高度数据对图像进行粗定位，基于所述图像数据的轮廓特征和单一圆型定位点，对图像定位进行精确定位。

7.根据权利要求1所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

进行图像对比的过程包括：从所述数据库文件中加载图像对比用块模板数据列表，与进行图像预处理后的图像数据进行DNCC图像对比，并基于所述数据库文件，引入地点系数和阴影系数对获得的图像对比值进行修正，当所述图像对比值大于等于预设阈值时，沟渠状态为正常，当所述图像对比值小于预设阈值时，沟渠状态为异常。

8.根据权利要求7所述的基于多旋翼无人机的矿区排水沟渠快速智能巡查方法，其特征在于，

所述阴影系数基于地球自转变量和地球偏转变量获得，所述地球自转变量为沟渠正常状态下夏至晴天当地时间十二时沟渠图像对比值与冬至晴天当地时间十二时沟渠图像对比值的差值；所述地球偏转变量为沟渠正常状态下夏至晴天当地最早或最晚一束太阳光沟渠图像对比值与冬至晴天当地时间十二时沟渠图像对比值的差值。

Images