CN107657623A

CN107657623A - 一种用于无人机的河道线检测系统与方法

Info

Publication number: CN107657623A
Application number: CN201710749900.XA
Authority: CN
Inventors: 张文利; 史云; 颜啸
Original assignee: Beijing University of Technology; Institute of Agricultural Resources and Regional Planning of CAAS
Current assignee: Beijing University of Technology; Institute of Agricultural Resources and Regional Planning of CAAS
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2018-02-02

Abstract

本发明公开了一种用于无人机的河道线检测系统与方法，属于无人机配送技术领域。系统实现分为两种，一种是依靠无人机与地面站进行交互控制的模式，另一种是仅依靠无人机进行控制输出的模式，两种模式是并列的技术方案。第一种形式是无人机将图像传输至地面站，由地面站进行图像处理工作，地面站再将处理结果通过数据传输装置，回传给无人机的飞控，从而完成功能；第二种形式是在无人机上加设一块图像处理芯片(DSP芯片)，由无人机完成图像采集、处理、数据交互工作。本发明中无人机可以实现自主巡航功能，不需要人工进行任何操作；本发明中算法根据河道实际情况进行巡航，不会出现飞离河道的情况；本发明中算法比GPS导航更加精确。

Description

一种用于无人机的河道线检测系统与方法

技术领域

本发明涉及一种河道线检测系统与方法，尤其涉及一种适用于无人机配送的电子装置以及在这个电子装置上搭载的河道线检测的系统及方法，属于无人机配送技术领域。

背景技术

无人机是现代的新兴产业，应用于各种领域。从军用到民用，从平原到山区，从陆路到水路，无人机可以完成很多人类难以完成甚至不可能完成的任务。这就使得无人机应用行业得到了前所未有的发展。

无人机在农业方面的应用主要体现在植保方面，无论是病虫害的筛查，还是为农作物喷药，都有很多的公司工厂在发展这方面的应用。而在河流方面，无人机的应用还有很大的空缺。

在专利基于偏度分析的黄河主溜线检测方法(申请号201010292860.9)中，使用了Canny边缘检测算法检测河道线，然后对河水进行分段检测。该专利的主要研究对象是河水，只是对河岸线进行了粗提取，将边缘检测的结果存入数组，用来确定图像处理时的敏感区域。该方法由于只能对河道线进行粗提取，当需要细致的河岸信息时，该方法就不能达到要求了。

在专利基于无人机网络的河道巡航系统与巡航方法(申请号201610333740.6)中，无人机使用GPS进行定位，按照给定好的路线巡航，并将图像采集装置采集到的河岸的图像回传给地面站。首先，该方法使用GPS进行定位，由于GPS等导航系统存在较大误差，所以该方法不能实现无人机始终飞行于河道中央；其二，该方法中，无人机的飞行轨迹是预先设定好的，不能根据河道情况进行实时调整；其三，该方法中，只有无人机单方向的向地面站传输数据，没有地面站与无人机的交互。

发明内容

为了完成无人机河道巡航检测系统，本发明提供了一种河道线检测方法以及实现地面站与无人机之间数据交互的系统。系统实现分为两种，一种是依靠无人机与地面站进行交互控制的模式，另一种是仅依靠无人机进行控制输出的模式，两种模式是并列的技术方案。

本发明采用的技术方案为一种用于无人机的河道线检测系统，本系统有两种形式：第一种形式是无人机将图像传输至地面站，由地面站进行图像处理工作，地面站再将处理结果通过数据传输装置，回传给无人机的飞控，从而完成功能；第二种形式是在无人机上加设一块图像处理芯片(DSP芯片)，由无人机完成图像采集、处理、数据交互工作。

第一种形式的系统包括无人机10A、数据传输模块20A、图像传输模块30A和地面站40A，无人机10A通过数据传输模块20A与地面站40A进行交互，地面站40A通过图像传输模块30A与无人机10A进行交互。

无人机10A包括飞行控制模块11A和图像采集模块12A，飞行控制模块11A与数据传输模块20A相交互，图像采集模块12A与图像传输模块30A相交互；飞行控制模块11A的作用是控制无人机飞行姿态，图像采集模块12A的作用是通过摄像头采集图像。

数据传输模块20A的作用是将地面站所产生的参数通过射频无线通信得到方式发送给无人机的飞行控制模块11A。

图像传输模块30A的作用是将无人机图像采集模块12A采集到的图像传输给地面站40A，地面站40A即为PC端。

地面站40A包括图像处理模块42A和参数计算模块41A，参数计算模块41A与数据传输模块20A相交互，图像处理模块42A与图像传输模块30A相交互；参数计算模块41A的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值。图像处理模块42A的作用是处理图像传输模块回传的图像数据，确定河道线的位置。

由无人机10A架设的图像采集模块12A对河道图像进行采集，获取原始图像R，然后通过图像传输模块30A将采集到的图像R发送到地面站40A。再由地面站的图像处理模块42A对图像R进行图像处理操作，然后将处理后的图像在参数计算模块41A中进行无人机偏差值的计算。最后由数据传输模块20A将无人机偏差值的数据回传到无人机10A的飞行控制模块11A，该模块中的算法根据返回值调整无人机飞行姿态，从而完成无人机自动调整至河道中心的功能。

一种用于无人机的河道线检测方法，该方法的实施流程如下：

S1、从地面站接收端40A接收到无人机回传的原始图像R，图像宽度为W，图像高度为H，对图像进行二值化处理得到二值化图像R1；

S2、针对上述二值化图像R1进行边缘检测处理；边缘检测处理使用Canny或LOG等方法，Canny边缘检测的具体操作如下：

S2.1、将二值化图像R1与高斯平滑滤波器进行卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

在(1)式中，S为二值化图像与高斯平滑滤波器卷积后的图像矩阵，G为高斯平滑滤波矩阵，I为二值化图像矩阵；i，j分别为矩阵的行号和列号，即S[i，j]为S矩阵中第i行第j列的元素；σ为高斯平滑滤波器的宽度参数，σ越大其作用域就越宽，即平滑窗口越大，因而平滑的力度就越大，其结果使得图象变得越模糊。

S2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

在(2)式中，P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵，S为(1)式中的运算结果，即二值化图像与高斯平滑滤波器卷积后的图像矩阵；i，j分别为矩阵的行号和列号。

S2.3、幅值和方位角；

在(3)式中，M为像素点的梯度值矩阵，θ为像素点的梯度方向矩阵，P、Q为(2)式中的结果，即P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵。

S2.4、非极大值抑制(NMS)：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点。将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

在(4)式中，ξ为新的梯度方向矩阵，Sector函数的功能是根据参数矩阵元素的大小，形成一个元素数量相同，但是只有四种取值的矩阵，θ为(3)式中的结果，即为像素点的梯度方向矩阵。

S2.5、用双阈值算法检测和连接边缘；

上述Canny算法中减少假边缘数量的方法是采用双阈值法。选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，未解决这样一个问题采用了另外一个低阈值。在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。

上述边缘检测处理步骤422A结束后，得到边缘特征图像R2；

S3、对边缘检测结果图像R2进行邻域扩充步骤423A；

由于河道线经常是参差不齐的，并且伴有不规则的干涸的河床或者是浮草，使得河岸线的直线特征不明显(如图4)，导致河道线边缘检测结果经常是不连续的。

为了方便后续河道线抽取处理，采取将不连续或者直线特征不明显的边缘部分扩充的方法来补充河道线。具体步骤为：

针对对上述边缘特征图像R2进行24邻域扩充操作，将检测出来的边缘点周围24个像素点进行填充，使得边缘检测结果看起来更加完整。如图4，邻域扩充后的图像存在更多更好的直线特征。

邻域扩充选择8、24等邻域进行扩充：扩充邻域的原则为(2n-1)^2-1，n＝2,3,4……，确保对边缘进行均匀扩充，选择使用24邻域扩充进行展示。由于邻域扩充不会给直线河道线带来负面影响，所以直线河道也进行邻域扩充。最后，得到24领域扩充后的边缘特征图像R3；

S4、针对图像R3进行霍夫变换；

S4.1、预处理

针对上述边缘特征图像R3。首先设定图像空间，I(x,y)作为图像空间的载体，进行图像预处理。图像边缘用白色像素表示，然后遍历图像中的每一个像素点；

S4.2、霍夫变换

图像空间中，将每个像素的x和y坐标转换为x cosθ+ysinθ＝ρ，θ为0到180范围内任意整数角度值，通过对每个θ值的遍历，计算出相对应的ρ值，此时将图像空间的像素x,y参数转换成θ、ρ值存放于参数空间；

S4.3、参数空间累加

建立细分后的参数空间用矩阵Hough[ρ][θ]代表。ρ是图像空间中直线到原点的截距，r是图像空间对角线上的像素数，所以ρ范围应在[0，r]之间。θ取[0，180]且为整数。Hough[ρ][θ]是一个大小为r×180的二维矩阵，经过变换后的每个参数空间对应点都对应一个Hough[P][θ]，然后让Hough[P][θ]++；

S4.4、检索极值

累加完成后，通过对Hough[ρ][θ]的所有点进行比较。获取最大值，并且记录相应的ρ和θ值，这里选择的点就位于与图像空间的大量像素点形成的直线上。然后设置一个阈值，判断是否有足够的像素在该条直线上；

S4.5、反馈信息

通常完成检测后，把检测得到的直线θ和ρ值用来构成方程后，得到最终直线方程，然后绘制到原图像中。这样可以更方便及时的检查结果的正确性和精度；

最后得到霍夫变换后的图像R4；

S5、确定河道线

从图像R4中的直线候补信息中，确定代表河道线的直线。河道线霍夫变换的特征如图5所示，在图5中可以看出，最接近中间虚线的两条线是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的。最后，得到两条河道线所对应的直线line1和line2。

S6、参数计算模块41A工作原理：

根据上述直线line1和line2的γ和θ参数，确定两条直线对应的方程式；

γ＝xcosθ+ysinθ (5)

在(5)式中，γ为霍夫变换产生的截距，θ为霍夫变换产生的倾斜角，x为在图像上的横坐标，y为在图像上的纵坐标。

y值为图像R3的高度，即y＝H，根据这三个已知信息得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river＝(x1+x2)/2。因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

无人机上架设的摄像头是架设在无人机正下方的云台上的，所以在图像获取时没有考虑震动等问题。根据这个特点，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA，即UVA＝W/2。用河道坐标river与无人机坐标UVA做差，求得无人机相对河道中心位置的偏差值，即偏差值deviation＝river-UVA。如果deviation为负，则无人机相对河道中心偏右；反之，无人机相对河道中心偏左。由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值可以作为无人机的引航坐标，使得无人机可以自动调整至河道中心飞行。

如图2所示，第二种形式的系统的无人机10B包括飞行控制模块14B、图像采集模块11B、图像处理模块12B和参数计算模块13B，飞行控制模块14B、图像采集模块11B和图像处理模块12B连接，图像处理模块12B和参数计算模块13B连接，参数计算模块13B和飞行控制模块14B连接；图像采集模块11B的作用是通过摄像头采集图像。图像处理模块12B的作用是处理图像采集模块采集的图像数据，确定河道线的位置。参数计算模块13B的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值。飞行控制模块14B的作用是控制无人机飞行姿态。

由无人机10B架设的图像采集模块11B进行图像采集，然后将采集到的图像由图像传输数据线发送给图像处理模块12B。图像处理模块12B由DPS芯片组成。在图像处理模块12B对图像进行预处理后，由参数计算模块13B完成无人机偏差值的计算，并将计算结果直接传输到飞行控制模块14B中。最终，由飞行控制模块14B根据偏差值自动调整无人机的飞行姿态，完成自动调整至河道中心的功能。

S1、由图像采集模块11B采集原始图像R，原始图像R的图像宽度为W、高度为H，对图像进行二值化处理，得到二值化图像R1；

S2、针对上述二值化图像R1进行边缘检测处理；边缘检测方法使用Canny或LOG方法，Canny边缘检测具体操作如下：

S2.1、求图像与高斯平滑滤波器卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

S2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

S2.3、幅值和方位角；

S2.4、非极大值抑制：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点。将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

S2.5、用双阈值算法检测和连接边缘；

上述边缘检测处理结束后，得到边缘特征图像R2；

S3、对边缘检测结果图像R2进行邻域扩充；

为了方便后续河道线抽取处理，本实施例采取将不连续或者直线特征不明显的边缘部分扩充的方法来补充河道线。具体步骤为：

针对对上述边缘特征图像R2进行24邻域扩充操作，将检测出来的边缘点周围24个像素点进行填充，使得边缘检测结果看起来更加完整。如图4，可知：邻域扩充后的图像存在更多更好的直线特征。

邻域扩充可以选择8、24等邻域进行扩充，扩充邻域的原则：(2n-1)²-1，n＝2,3,4……，确保对边缘进行均匀扩充，中选择使用24邻域扩充进行展示。由于邻域扩充不会给直线河道线带来负面影响，所以直线河道进行邻域扩充。最后，得到24领域扩充后的边缘特征图像R3；

S4、针对图像R3进行霍夫变换；

S4.1、预处理

S4.2、霍夫变换

图像空间中，将每个像素的x和y坐标转换为xcosθ+ysinθ＝ρ，θ为0到180范围内任意整数角度值，通过对每个θ值的遍历，计算出相对应的ρ值，此时将图像空间的像素x,y参数转换成θ、ρ值存放于参数空间；

S4.3、参数空间累加

建立细分后的参数空间用矩阵Hough[ρ][θ]代表。ρ是图像空间中直线到原点的截距，r是图像空间对角线上的像素数，所以ρ范围应在[0，r]之间。θ取[0，180]中的整数。所以Hough[ρ][θ]是一个大小为r×180的二维矩阵，经过变换后的每个参数空间对应点都对应一个Hough[P][θ]，然后让Hough[P][θ]++；

S4.4、检索极值

S4.5、反馈信息

最后得到霍夫变换后的图像R4；

S5、确定河道线

从上述图像R4中的直线候补信息中，确定代表河道线的直线。在图像处理中，坐标系原点为图像左上角，横向为x轴，右侧为正方向，竖向为y轴，下方为正方向，以下参数计算均在此坐标系下完成。由于河道内没有霍夫变换产生的直线，所以最靠近图像中心的两条线就是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的。最后，得到两条河道线所对应的直线line1和line2。

S6、参数计算模块13B工作过程如下：

γ＝xcosθ+ysinθ (5)

y值为图像R3的高度，根据这三个已知信息得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river((x1+x2)/2，y)。因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

无人机上架设的摄像头是架设在无人机正下方的云台上的，所以在图像获取时没有考虑震动等问题。根据这个特点，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA(W/2，y)。由于无人机与河道中心左边y值一样，所以无人机相对河道中心的偏差值直接用两者的x坐标做差即可，即偏差值deviation＝(x1+x2)/2-W/2。如果deviation为负，则无人机相对河道中心偏右；反之，如果deviation为正，无人机相对河道中心偏左。由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值可以作为无人机的引航坐标，使得无人机可以自动调整至河道中心飞行。

无人机与河道中心的坐标示意图如图5所示。

与现有技术相比较，本发明具有如下有益效果。

1、本发明中无人机可以实现自主巡航功能，不需要人工进行任何操作；

2、本发明中算法根据河道实际情况进行巡航，不会出现飞离河道的情况；

3、本发明中算法比GPS导航更加精确；

附图说明

图1实施例一。

图2实施例二。

图3图像处理模块及参数计算模块流程图。

图4无邻域扩充与24邻域扩充的对比。

图5无人机与河道中心的坐标坐标示意图。

具体实施方式

实施例一

系统架构：

如图1所示，无人机10A包括飞行控制模块11A和图像采集模块12A，其中飞行控制模块11A的作用是控制无人机飞行姿态，图像采集模块12A的作用是通过摄像头采集图像。

图像传输模块30A的作用是将无人机图像采集模块12A采集到的图像传输给地面站(PC端)40A。

地面站40A包括图像处理模块42A和参数计算模块41A，其中参数计算模块41A的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值。图像处理模块42A的作用是处理图像传输模块回传的图像数据，确定河道线的位置。

由无人机10A架设的图像采集模块12A对河道图像进行采集，获取原始图像R，然后通过图像传输模块30A将采集到的图像R发送到地面站(PC)40A。再由地面站的图像处理模块42A对图像R进行图像处理操作，然后将处理后的图像在参数计算模块41A中进行无人机偏差值的计算。最后由数据传输模块20A将无人机偏差值的数据回传到无人机10A的飞行控制模块11A，该模块中的算法根据返回值调整无人机飞行姿态，从而完成无人机自动调整至河道中心的功能。

方法实施：

如图3所示，图像处理模块42A及参数计算模块41A工作步骤：

1、从地面站接收端40A接收到无人机回传的原始图像R(图像宽度为W，

图像高度为H)，对图像进行二值化处理步骤421A，得到二值化图像R1；

2、针对上述二值化图像R1进行边缘检测处理步骤422A；边缘检测方法可以使用Canny和LOG等方法，本实施例以Canny边缘检测为例说明；

Canny边缘检测的具体操作：

2.1、求图像与高斯平滑滤波器卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

2.3、幅值和方位角；

2.4、非极大值抑制(NMS)：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点。将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

2.5、用双阈值算法检测和连接边缘；

上述边缘检测处理步骤422A结束后，得到边缘特征图像R2；

3、对边缘检测结果图像R2进行邻域扩充步骤423A；

邻域扩充可以选择8、24等邻域进行扩充(扩充邻域的原则：(2n-1)^2-1，n＝2,3,4……，确保对边缘进行均匀扩充)，本文中选择使用24邻域扩充进行展示。由于邻域扩充不会给直线河道线带来负面影响，所以直线河道也可以进行邻域扩充。最后，得到24领域扩充后的边缘特征图像R3；

4、针对上述图像R3进行霍夫变换步骤424A；

4.1、预处理

4.2、霍夫变换

4.3、参数空间累加

4.4、检索极值

4.5、反馈信息

最后得到霍夫变换后的图像R4；

5、确定河道线步骤425A

从上述图像R4中的直线候补信息中，确定代表河道线的直线。河道线霍夫变换的特征如图5所示，在图中可以看出，最接近中间虚线的两条线是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的。最后，得到两条河道线所对应的直线line1和line2。

6、参数计算模块41A工作原理：

γ＝xcosθ+ysinθ (5)

y值为图像R3的高度，即y＝H，根据这三个已知信息可以得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river＝(x1+x2)/2。因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

一般情况下，无人机上架设的摄像头是架设在无人机正下方的云台上的，所以在图像获取时没有考虑震动等问题。根据这个特点，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA，即UVA＝W/2。用河道坐标river与无人机坐标UVA做差，求得无人机相对河道中心位置的偏差值，即偏差值deviation＝river-UVA。如果deviation为负，则无人机相对河道中心偏右；反之，无人机相对河道中心偏左。由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值可以作为无人机的引航坐标，使得无人机可以自动调整至河道中心飞行。

实施例二

系统架构：

如图2所示，无人机10B包括飞行控制模块、图像采集模块、图像处理模块和参数计算模块，其中图像采集模块11B的作用是通过摄像头采集图像。图像处理模块12B的作用是处理图像采集模块采集的图像数据，确定河道线的位置。参数计算模块13B的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值。飞行控制模块14B的作用是控制无人机飞行姿态。

由无人机10B架设的图像采集模块11B进行图像采集，然后将采集到的图像由图像传输数据线(HDMI等)发送给图像处理模块12B。图像处理模块一般由DPS芯片组成。在图像处理模块12B对图像进行预处理后，由参数计算模块13B完成无人机偏差值的计算，并将计算结果直接传输到飞行控制模块14B中。最终，由飞行控制模块14B根据偏差值自动调整无人机的飞行姿态，完成自动调整至河道中心的功能。

方法实施：

图像处理模块12B和参数计算模块13B的算法原理同实施例一。

如图3所示，图像处理模块12B以及参数计算模块13B工作步骤：

1、由图像采集模块11B采集原始图像R(图像宽度为W，图像高度为H)，对图像进行二值化处理步骤121B，得到二值化图像R1；

2、针对上述二值化图像R1进行边缘检测处理步骤122B；边缘检测方法可以使用Canny和LOG等方法，本实施例以Canny边缘检测为例说明；

Canny边缘检测的具体操作：

2.1、求图像与高斯平滑滤波器卷积；

S[i,j]＝G[i,j；σ]*I[i,j](1)

2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

2.3、幅值和方位角；

2.5、用双阈值算法检测和连接边缘；

上述边缘检测处理步骤122B结束后，得到边缘特征图像R2；

3、对边缘检测结果图像R2进行邻域扩充步骤123B；

邻域扩充可以选择8、24等邻域进行扩充(扩充邻域的原则：(2n-1)²-1，n＝2,3,4……，确保对边缘进行均匀扩充)，本文中选择使用24邻域扩充进行展示。由于邻域扩充不会给直线河道线带来负面影响，所以直线河道也可以进行邻域扩充。最后，得到24领域扩充后的边缘特征图像R3；

4、针对上述图像R3进行霍夫变换步骤124B；

4.1、预处理

4.2、霍夫变换

4.3、参数空间累加

4.4、检索极值

4.5、反馈信息

最后得到霍夫变换后的图像R4；

5、确定河道线步骤125B

6、参数计算模块13B工作原理：

γ＝xcosθ+ysinθ(5)

y值为图像R3的高度，根据这三个已知信息可以得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river((x1+x2)/2，y)。因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

一般情况下，无人机上架设的摄像头是架设在无人机正下方的云台上的，所以在图像获取时没有考虑震动等问题。根据这个特点，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA(W/2，y)。由于无人机与河道中心左边y值一样，所以无人机相对河道中心的偏差值直接用两者的x坐标做差即可，即偏差值deviation＝(x1+x2)/2-W/2。如果deviation为负，则无人机相对河道中心偏右；反之，如果deviation为正，无人机相对河道中心偏左。由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值可以作为无人机的引航坐标，使得无人机可以自动调整至河道中心飞行。

无人机与河道中心的坐标示意图如图5所示。

方案对比

方案一和方案二在算法原理方面没有本质的不同，区别在于图像处理是在无人机上进行还是在地面站进行，两者的应用场景略有区别。方案一存在无人机与地面站之间的数据传输问题，无人机的飞行距离受到一定程度的限制，但是同时，地面站也可以对无人机进行实时的观察与控制。所以，方案一更适用于河道分流比较多的地方，无人机自动调整与地面站调整相结合，可以更好的应对复杂的河道分流状况。而方案二更适用于长距离的单线河道，没有河道分流的干扰，无人机可以更好更远的对河道进行巡航。

Claims

1.一种用于无人机的河道线检测系统，无人机将图像传输至地面站，由地面站进行图像处理工作，地面站再将处理结果通过数据传输装置，回传给无人机的飞控，从而完成功能；其特征在于：该系统包括无人机(10A)、数据传输模块(20A)、图像传输模块(30A)和地面站(40A)，无人机(10A)通过数据传输模块(20A)与地面站(40A)进行交互，地面站(40A)通过图像传输模块(30A)与无人机(10A)进行交互；

无人机(10A)包括飞行控制模块(11A)和图像采集模块(12A)，飞行控制模块(11A)与数据传输模块(20A)相交互，图像采集模块(12A)与图像传输模块(30A)相交互；飞行控制模块(11A)的作用是控制无人机飞行姿态，图像采集模块(12A)的作用是通过摄像头采集图像；

数据传输模块(20A)的作用是将地面站所产生的参数通过射频无线通信得到方式发送给无人机的飞行控制模块(11A)；

图像传输模块(30A)的作用是将无人机图像采集模块(12A)采集到的图像传输给地面站(40A)，地面站(40A)即为PC端；

地面站(40A)包括图像处理模块(42A)和参数计算模块(41A)，参数计算模块(41A)与数据传输模块(20A)相交互，图像处理模块(42A)与图像传输模块(30A)相交互；参数计算模块(41A)的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值；图像处理模块(42A)的作用是处理图像传输模块回传的图像数据，确定河道线的位置；

由无人机(10A)架设的图像采集模块(12A)对河道图像进行采集，获取原始图像R，然后通过图像传输模块(30A)将采集到的图像R发送到地面站(40A)；再由地面站的图像处理模块(42A)对图像R进行图像处理操作，然后将处理后的图像在参数计算模块(41A)中进行无人机偏差值的计算；最后由数据传输模块(20A)将无人机偏差值的数据回传到无人机(10A)的飞行控制模块(11A)，该模块中的算法根据返回值调整无人机飞行姿态，从而完成无人机自动调整至河道中心的功能。

2.利用权利要求1所述检测系统进行的一种用于无人机的河道线检测方法，其特征在于：该方法的实施流程如下：

S1、从地面站接收端即地面站(40A)接收到无人机回传的原始图像R，图像宽度为W，图像高度为H，对图像进行二值化处理得到二值化图像R1；

S2、针对上述二值化图像R1进行边缘检测处理；边缘检测处理使用Canny方法，Canny边缘检测的具体操作如下：

S2.1、将二值化图像R1与高斯平滑滤波器进行卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

在(1)式中，S为二值化图像与高斯平滑滤波器卷积后的图像矩阵，G为高斯平滑滤波矩阵，I为二值化图像矩阵；i，j分别为矩阵的行号和列号，即S[i，j]为S矩阵中第i行第j列的元素；σ为高斯平滑滤波器的宽度参数，σ越大其作用域就越宽，即平滑窗口越大，因而平滑的力度就越大，其结果使得图象变得越模糊；

S2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

在(2)式中，P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵，S为(1)式中的运算结果，即二值化图像与高斯平滑滤波器卷积后的图像矩阵；i，j分别为矩阵的行号和列号；

S2.3、幅值和方位角；

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>M</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>=</mo> <msqrt> <mrow> <mi>P</mi> <msup> <mrow> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>Q</mi> <msup> <mrow> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&theta;</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>=</mo> <mi>arctan</mi> <mrow> <mo>(</mo> <mi>Q</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>/</mo> <mi>P</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

在(3)式中，M为像素点的梯度值矩阵，θ为像素点的梯度方向矩阵，P、Q为(2)式中的结果，即P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵；

S2.4、非极大值抑制(NMS)：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点；将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>&xi;</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>=</mo> <mi>S</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>&theta;</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>N</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>=</mo> <mi>N</mi> <mi>M</mi> <mi>S</mi> <mrow> <mo>(</mo> <mi>M</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>,</mo> <mi>&xi;</mi> <mo>&lsqb;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&rsqb;</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

在(4)式中，ξ为新的梯度方向矩阵，Sector函数的功能是根据参数矩阵元素的大小，形成一个元素数量相同，但是只有四种取值的矩阵，θ为(3)式中的结果，即为像素点的梯度方向矩阵；

S2.5、用双阈值算法检测和连接边缘；

上述Canny算法中减少假边缘数量的方法是采用双阈值法；选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，未解决这样一个问题采用了另外一个低阈值；在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合；

上述边缘检测处理步骤422A结束后，得到边缘特征图像R2；

S3、对边缘检测结果图像R2进行邻域扩充步骤423A；

由于河道线经常是参差不齐的，并且伴有不规则的干涸的河床或者是浮草，使得河岸线的直线特征不明显，导致河道线边缘检测结果经常是不连续的；

为了方便后续河道线抽取处理，采取将不连续或者直线特征不明显的边缘部分扩充的方法来补充河道线；具体步骤为：

针对对上述边缘特征图像R2进行24邻域扩充操作，将检测出来的边缘点周围24个像素点进行填充，使得边缘检测结果看起来更加完整；邻域扩充后的图像存在更多更好的直线特征；

邻域扩充选择8、24等邻域进行扩充：扩充邻域的原则为(2n-1)^2-1，n＝2,3,4……，确保对边缘进行均匀扩充，选择使用24邻域扩充进行展示；由于邻域扩充不会给直线河道线带来负面影响，所以直线河道也进行邻域扩充；最后，得到24领域扩充后的边缘特征图像R3；

S4、针对图像R3进行霍夫变换；

S4.1、预处理

针对上述边缘特征图像R3；首先设定图像空间，I(x,y)作为图像空间的载体，进行图像预处理；图像边缘用白色像素表示，然后遍历图像中的每一个像素点；

S4.2、霍夫变换

S4.3、参数空间累加

建立细分后的参数空间用矩阵Hough[ρ][θ]代表；ρ是图像空间中直线到原点的截距，r是图像空间对角线上的像素数，所以ρ范围应在[0，r]之间；θ取[0，180]且为整数；Hough[ρ][θ]是一个大小为r×180的二维矩阵，经过变换后的每个参数空间对应点都对应一个Hough[P][θ]，然后让Hough[P][θ]++；

S4.4、检索极值

累加完成后，通过对Hough[ρ][θ]的所有点进行比较；获取最大值，并且记录相应的ρ和θ值，这里选择的点就位于与图像空间的大量像素点形成的直线上；然后设置一个阈值，判断是否有足够的像素在该条直线上；

S4.5、反馈信息

通常完成检测后，把检测得到的直线θ和ρ值用来构成方程后，得到最终直线方程，然后绘制到原图像中；这样可以更方便及时的检查结果的正确性和精度；

最后得到霍夫变换后的图像R4；

S5、确定河道线

从图像R4中的直线候补信息中，确定代表河道线的直线；河道线霍夫变换的特征中，最接近中间虚线的两条线是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的；最后，得到两条河道线所对应的直线line1和line2；

S6、参数计算模块(41A)工作原理：

γ＝xcosθ+ysinθ (5)

在(5)式中，γ为霍夫变换产生的截距，θ为霍夫变换产生的倾斜角，x为在图像上的横坐标，y为在图像上的纵坐标；

y值为图像R3的高度，即y＝H，根据这三个已知信息得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river＝(x1+x2)/2；因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

3.根据权利要求1所述的一种用于无人机的河道线检测方法，其特征在于：无人机上架设的摄像头是架设在无人机正下方的云台上的，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA，即UVA＝W/2；用河道坐标river与无人机坐标UVA做差，求得无人机相对河道中心位置的偏差值，即偏差值deviation＝river-UVA；如果deviation为负，则无人机相对河道中心偏右；反之，无人机相对河道中心偏左；由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值作为无人机的引航坐标，使得无人机自动调整至河道中心飞行。

4.一种用于无人机的河道线检测系统，在无人机上加设一块图像处理芯片，由无人机完成图像采集、处理、数据交互工作；

其特征在于：系统的无人机(10B)包括飞行控制模块(14B)、图像采集模块(11B)、图像处理模块(12B)和参数计算模块(13B)，飞行控制模块(14B)、图像采集模块(11B)和图像处理模块(12B)连接，图像处理模块(12B)和参数计算模块(13B)连接，参数计算模块(13B)和飞行控制模块(14B)连接；图像采集模块(11B)的作用是通过摄像头采集图像；图像处理模块(12B)的作用是处理图像采集模块采集的图像数据，确定河道线的位置；参数计算模块(13B)的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值；飞行控制模块(14B)的作用是控制无人机飞行姿态；

由无人机(10B)架设的图像采集模块(11B)进行图像采集，然后将采集到的图像由图像传输数据线发送给图像处理模块(12B)；图像处理模块(12B)由DPS芯片组成；在图像处理模块(12B)对图像进行预处理后，由参数计算模块(13B)完成无人机偏差值的计算，并将计算结果直接传输到飞行控制模块(14B)中；最终，由飞行控制模块(14B)根据偏差值自动调整无人机的飞行姿态，完成自动调整至河道中心的功能。

5.利用权利要求4所述系统进行的一种用于无人机的河道线检测方法，其特征在于：该方法的实施流程如下：

S1、由图像采集模块(11B)采集原始图像R，原始图像R的图像宽度为W、高度为H，对图像进行二值化处理，得到二值化图像R1；

S2、针对上述二值化图像R1进行边缘检测处理；边缘检测方法使用Canny方法，Canny边缘检测具体操作如下：

S2.1、求图像与高斯平滑滤波器卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

S2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

S2.3、幅值和方位角；

S2.4、非极大值抑制：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点；将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

S2.5、用双阈值算法检测和连接边缘；

上述边缘检测处理结束后，得到边缘特征图像R2；

S3、对边缘检测结果图像R2进行邻域扩充；

为了方便后续河道线抽取处理，本实施例采取将不连续或者直线特征不明显的边缘部分扩充的方法来补充河道线；具体步骤为：

邻域扩充可以选择8、24等邻域进行扩充，扩充邻域的原则：(2n-1)²-1，n＝2,3,4……，确保对边缘进行均匀扩充，中选择使用24邻域扩充进行展示；由于邻域扩充不会给直线河道线带来负面影响，所以直线河道进行邻域扩充；最后，得到24领域扩充后的边缘特征图像R3；

S4、针对图像R3进行霍夫变换；

S4.1、预处理

S4.2、霍夫变换

S4.3、参数空间累加

建立细分后的参数空间用矩阵Hough[ρ][θ]代表；ρ是图像空间中直线到原点的截距，r是图像空间对角线上的像素数，所以ρ范围应在[0，r]之间；θ取[0，180]中的整数；所以Hough[ρ][θ]是一个大小为r×180的二维矩阵，经过变换后的每个参数空间对应点都对应一个Hough[P][θ]，然后让Hough[P][θ]++；

S4.4、检索极值

S4.5、反馈信息

最后得到霍夫变换后的图像R4；

S5、确定河道线

从上述图像R4中的直线候补信息中，确定代表河道线的直线；在图像处理中，坐标系原点为图像左上角，横向为x轴，右侧为正方向，竖向为y轴，下方为正方向，以下参数计算均在此坐标系下完成；由于河道内没有霍夫变换产生的直线，所以最靠近图像中心的两条线就是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的；最后，得到两条河道线所对应的直线line1和line2；

S6、参数计算模块(13B)工作过程如下：

γ＝xcosθ+ysinθ (5)

y值为图像R3的高度，根据这三个已知信息得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river((x1+x2)/2，y)；因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。

6.根据权利要求5所述的一种用于无人机的河道线检测方法，其特征在于：无人机上架设的摄像头是架设在无人机正下方的云台上的，确认无人机在图像中的坐标是图像的正中，也就是图像宽度的一半，为无人机的坐标UVA(W/2，y)；由于无人机与河道中心左边y值一样，所以无人机相对河道中心的偏差值直接用两者的x坐标做差即可，即偏差值deviation＝(x1+x2)/2-W/2；如果deviation为负，则无人机相对河道中心偏右；反之，如果deviation为正，无人机相对河道中心偏左；由于河道中心坐标是无人机前方将要到达的河道的中心位置，所以此偏差值可以作为无人机的引航坐标，使得无人机可以自动调整至河道中心飞行。