CN113655803A - 基于视觉的隧道环境下旋翼无人机航向校准系统及方法 - Google Patents

Abstract

基于视觉的隧道环境下旋翼无人机航向校准系统及方法，包括可见光摄像头、航向校准标志物和飞控计算机，可见光摄像头安装在旋翼无人机正下方，飞控计算机搭载在旋翼无人机内部；旋翼无人机起飞后，由飞控计算机控制可见光摄像头对准航向校准标志物进行图像采集，飞控计算机基于视觉识别算法识别所采集的图像，并基于飞控算法控制可见光摄像头的视场中线对准航向校准标志物。在狭窄的隧道环境下，仅需要测量位于隧道中央的高反差标识线条，通过实时的简单的图像处理，实时修正飞行器航线，对准隧道长度方向；实施简单，容易标定，能够准确保证无人机的安全飞行。

Description

基于视觉的隧道环境下旋翼无人机航向校准系统及方法

技术领域

本发明涉及视觉测量技术领域，更具体地，涉及基于视觉的隧道环境下旋翼无人机航向校准系统及方法。

背景技术

近年来，旋翼无人机得到了快速的发展，由于其飞行稳定、易操控、低噪声、安全危害性小等特点，在电力巡检，尤其是电缆隧道环境下的巡检中的应用越来越多。

现有技术中，对于隧道环境下的旋翼无人机的航向校准无法使用惯性组件和卫星进行实现，而且依靠磁罗盘进行航向感知，在电缆隧道环境内极易受到干扰将严重影响无人机的悬停及机动飞行的轨迹控制精度，导致严重事故。

现有技术中，利用机器视觉为旋翼无人机进行定位，特别是采用人工标志物的方式进行相对位置的判定，具有定位精确、易实现、功耗低、价格便宜的优点。通过摄像头获取标志物的图像，通过图像分析获得无人机与标志物的相对位置，从而辅助无人机定位定向，方便无人机对附近区域进行拍照等作业。

中国发明专利(CN104298248B)“旋翼无人机精确视觉定位定向方法”中公开了通过安装标志物和标定摄像头，建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物尺寸的比例映射关系，设定无人机与标志物的保持距离，从而引导无人机的航向。但是该专利技术需要先对标志物和摄像头进行准确标定，实施过程复杂。

中国发明专利申请(CN106153008A)公开了“一种基于视觉的旋翼无人机三维目标定位方法”，利用搭载在无人机上的摄像机拍摄图像，并将图像回传到地面站，从回传的图像中选择具有清洗轮廓的静态物体作为标志物，并对标志物进行视觉识别，利用视觉识别的结果对标志物进行多点视觉测量，利用双目视觉模型计算无人机相对于标志物的高度，根据相对高度运用线性回归的方法计算航向偏差，进而实现航向校准。但是该专利技术需要将图像传回地面站，且双目视觉模型计算复杂，难以实时计算并控制飞机的姿态。

中国专利申请(CN201310444134.8)“一种四旋翼无人机的超声波定位装置及方法”公开了一种四旋翼无人机的超声波定位装置及方法，通过为无人机安装一组多个超声波模块，利用超声波测距获得与障碍物间的距离，并利用多个模块同时测距，从而得到无人机的相对位置信息。该方法采用超声波传感器测距，超声波传感器测距范围有限、而且容易受到干扰，该定位装置及方法应用场景有限，存在一定不足。

综上，需要研究一种隧道环境下旋翼无人机航向校准方法，通过实时的简单的图像处理，实时修正飞行器航线，对准隧道长度方向，保证飞行。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于视觉的隧道环境下旋翼无人机航向校准方法及系统。

本发明采用如下的技术方案。

基于视觉的隧道环境下旋翼无人机航向校准系统包括：可见光摄像头、航向校准标志物和飞控计算机。

航向校准标志物沿着隧道径向，设置于隧道地面的正中央位置；

可见光摄像头安装在旋翼无人机正下方，飞控计算机搭载在旋翼无人机内部；

旋翼无人机起飞后，由飞控计算机控制可见光摄像头对准航向校准标志物进行图像采集，飞控计算机基于视觉识别算法识别所采集的图像，并基于飞控算法控制可见光摄像头的视场中线对准航向校准标志物。

优选地，飞控计算机包括NPU(Nucleus processing unit，神经网络处理)单元；NPU单元基于视觉识别算法从所采集的图像中提取出航向校准线条。

优选地，飞控计算机基于飞控算法控制旋翼无人机的航向，使得航向校准线条与可见光摄像头视场中线的夹角修正为0。

优选地，NPU单元包括ARM单元和神经网络单元；

ARM单元用于数据读取；神经网络单元用于执行二值化以及目标识别。

优选地，可见光摄像头在旋翼无人机正下方的安装位置可以调整；可见光摄像头的输出视频信号与NPU单元的输入视频信号直接互联。

优选地，航向校准标志物是高反差标识线条，宽度不小于5厘米，长度与隧道径向长度一致。

基于视觉的隧道环境下旋翼无人机航向校准方法包括：

步骤1，在隧道内部布置航向校准标志物。

步骤2，利用可见光摄像头采集航向校准标志物的图像，并进行视场校准；

步骤3，基于视觉识别算法识别所采集的航向校准标志物的图像，获得航向校准标志物的视觉图像；

步骤4，对视觉图像进行二值化处理，得到航向校准线条；

步骤5，计算航向校准线条与可见光摄像头视场中线的夹角；

步骤6，调整航向，使得夹角修正为0。

优选地，步骤2中，视场校准包括：将航向校准标志物放置于正北朝向的水平地面上，无人机保持在航向校准标志物的正上方，并且无人机距离地面高度不小于1.5米，保持磁罗盘的读数为0时，调整可见光摄像头的安装位置，使航向校准标志物位于可见光摄像头视场的正中间。

优选地，步骤3包括：

步骤3.1，基于视觉识别算法，对航向校准标志物中的不同颜色的高反差标识线条进行颜色识别，满足如下关系式：

式中，R、G、B分别表示每一个输入像素中的红、绿、蓝三色分量，R′、G′、B′分别表示每一个输入像素中的红、绿、蓝三色识别结果，其中，R、G、B的取值范围均为[0,255]；

步骤3.2，利用每一个输入像素中的颜色识别结果，确定航向校准标志物的颜色阈值Δ，满足如下关系式：

Δ＝C_max-C_min

式中，

C_max＝max(R′,G′,B′)

C_min＝min(R′,G′,B′)

步骤3.3，利用颜色识别结果和颜色阈值，得到图像的HSV(Hue SaturationValue)参数，满足如下关系式：

V＝C_max

式中，H为图像的色调，S为图像的饱和度，V为图像的明度；

步骤3.4，根据图像的HSV参数构建航向校准标志物的视觉图像。

优选地，步骤4包括：

步骤4.1，计算视觉图像的每一个像素的HSV颜色，将同时满足0<H<15、160<S<255、50<V<255的像素用数值255进行标识，其他像素用数值0进行标识，得到视觉图像的二值化的图像像素；

步骤4.2，对二值化的图像像素进行侵蚀处理，即将待操作的二值图像像素与侵蚀矩阵相乘，侵蚀矩阵Q满足如下关系式：

步骤4.3，若经过侵蚀处理后的图像像素小于255×4，则将中心像素设置为0；若经过侵蚀处理后的图像像素等于255×4，则将中心像素设置为255；

步骤4.4，利用经过处理后的图像像素构成航向校准线条。

本发明的有益效果在于，与现有技术相比，在狭窄的隧道环境下，仅需要测量位于隧道中央的高反差标识线条，通过实时的简单的图像处理，实时修正飞行器航线，对准隧道长度方向；实施简单，容易标定，能够准确保证无人机的安全飞行。

附图说明

图1为本发明基于视觉的隧道环境下旋翼无人机航向校准系统的结构示意图；

图2为本发明一实施例中航向校准标志物示意图；

其中附图标记说明如下：

Perception-可见光摄像头的视场；

C-可见光摄像头的视场中线；

L-航向校准标志物；

α-可见光摄像头的视场中线与航向校准标志物的夹角；

图3为本发明基于视觉的隧道环境下旋翼无人机航向校准方法的流程框图。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1，基于视觉的隧道环境下旋翼无人机航向校准系统包括：可见光摄像头、航向校准标志物和飞控计算机。

航向校准标志物沿着隧道径向，设置于隧道地面的正中央位置；如图2，航向校准标志物L是高反差标识线条，宽度不小于5厘米，长度与隧道径向长度一致。

值得注意的是，本发明优选实施例中的采用的航向校准标志物的尺寸是一种非限制性的较优选择，所属领域技术人员可以根据隧道内应用需要采用不同尺寸的航向校准标志物。

可见光摄像头安装在旋翼无人机正下方，飞控计算机搭载在旋翼无人机内部；可见光摄像头与飞控计算机均设置在旋翼无人机上，有效减少图像传输过程的时延，提高了图像采集与处理的实时性，从而提升无人机航向控制的实时性。

旋翼无人机起飞后，由飞控计算机控制可见光摄像头对准航向校准标志物进行图像采集，飞控计算机基于视觉识别算法识别所采集的图像，并基于飞控算法控制可见光摄像头的视场中线C对准航向校准标志物L。

值得注意的是，本发明的优选实施例中，视觉识别算法包括但不限于GoogLeNet算法、ResNet算法、DenseNet算法，所属领域技术人员可以根据算法精度要求、拟合特性、泛化性能以及硬件内存等相关指标，选择不同的视觉识别算法，本发明优选实施例中是一种非限制性的较优选择。

本发明优选实施例中，采用的是飞行控制PID算法，利用PID控制器，根据给定值和实际输出值构成控制偏差，然后利用偏差给出合理的控制量。对于旋翼无人机，在姿态信息和螺旋桨转速之间建立比例、积分和微分的关系，通过调节各个环节的参数大小，使旋翼系统控制达到动态响应迅速、既不过冲、也不欠缺的现象。

值得注意的是，飞行控制PID算法包括但不限于比例控制算法、微分控制算法、积分控制算法，所属领域技术人员可以根据算法精度要求以及硬件内存等相关指标，选择不同的飞控算法，本发明优选实施例中是一种非限制性的较优选择。

优选地，飞控计算机包括NPU单元；NPU单元基于视觉识别算法从所采集的图像中提取出航向校准线条。

优选地，飞控计算机基于飞控算法控制旋翼无人机的航向，使得航向校准线条与可见光摄像头视场中线的夹角α修正为0。

优选地，NPU单元包括ARM单元和神经网络单元；

ARM单元用于数据读取；神经网络单元用于执行二值化以及目标识别。

优选地，可见光摄像头在旋翼无人机正下方的安装位置可以调整；可见光摄像头的输出视频信号与NPU单元的输入视频信号直接互联。

如图3，基于视觉的隧道环境下旋翼无人机航向校准方法包括：

步骤1，在隧道内部布置航向校准标志物。

步骤2，利用可见光摄像头采集航向校准标志物的图像，并进行视场校准。

优选地，步骤2中，视场校准包括：将航向校准标志物放置于正北朝向的水平地面上，无人机保持在航向校准标志物的正上方，并且无人机距离地面高度不小于1.5米，保持磁罗盘的读数为0时，调整可见光摄像头的安装位置，使航向校准标志物位于可见光摄像头视场的正中间。

步骤3，基于视觉识别算法识别所采集的航向校准标志物的图像，获得航向校准标志物的视觉图像。

优选地，步骤3包括：

步骤3.1，基于视觉识别算法，对航向校准标志物中的不同颜色的高反差标识线条进行颜色识别，满足如下关系式：

式中，R、G、B分别表示每一个输入像素中的红、绿、蓝三色分量，R′、G′、B′分别表示每一个输入像素中的红、绿、蓝三色识别结果，其中，R、G、B的取值范围均为[0,255]；

步骤3.2，利用每一个输入像素中的颜色识别结果，确定航向校准标志物的颜色阈值Δ，满足如下关系式：

Δ＝C_max-C_min

式中，

C_max＝max(R′,G′,B′)

C_min＝min(R′,G′,B′)

步骤3.3，利用颜色识别结果和颜色阈值，得到图像的HSV参数，满足如下关系式：

V＝C_max

式中，H为图像的色调，S为图像的饱和度，V为图像的明度；

步骤3.4，根据图像的HSV参数构建航向校准标志物的视觉图像。

步骤4，对视觉图像进行二值化处理，得到航向校准线条。

优选地，步骤4包括：

步骤4.1，计算视觉图像的每一个像素的HSV颜色，将同时满足0<H<15、160<S<255、50<V<255的像素用数值255进行标识，其他像素用数值0进行标识，得到视觉图像的二值化的图像像素；

步骤4.2，对二值化的图像像素进行侵蚀处理，即将待操作的二值图像像素与侵蚀矩阵相乘，侵蚀矩阵Q满足如下关系式：

步骤4.3，若经过侵蚀处理后的图像像素小于255×4，则将中心像素设置为0；若经过侵蚀处理后的图像像素等于255×4，则将中心像素设置为255；

步骤4.4，利用经过处理后的图像像素构成航向校准线条。

经过二值化处理以及侵蚀化处理后，有效提高航向校准线条的精度，去除边缘毛刺。

步骤5，计算航向校准线条与可见光摄像头视场中线的夹角α。

步骤6，调整航向，使得夹角α修正为0。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述系统包括：可见光摄像头、航向校准标志物和飞控计算机；

所述航向校准标志物沿着隧道径向，设置于隧道地面的正中央位置；

所述可见光摄像头安装在旋翼无人机正下方，所述飞控计算机搭载在旋翼无人机内部；

旋翼无人机起飞后，由飞控计算机控制可见光摄像头对准航向校准标志物进行图像采集，所述飞控计算机基于视觉识别算法识别所采集的图像，并基于飞控算法控制可见光摄像头的视场中线对准航向校准标志物。

2.根据权利要求1所述的基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述飞控计算机包括NPU单元；所述NPU单元基于视觉识别算法从所采集的图像中提取出航向校准线条。

3.根据权利要求2所述的基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述飞控计算机基于飞控算法控制旋翼无人机的航向，使得航向校准线条与可见光摄像头视场中线的夹角修正为0。

4.根据权利要求2所述的基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述NPU单元包括ARM单元和神经网络单元；

所述ARM单元用于数据读取；所述神经网络单元用于执行二值化以及目标识别。

5.根据权利要求2所述的基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述可见光摄像头在旋翼无人机正下方的安装位置可以调整；可见光摄像头的输出视频信号与NPU单元的输入视频信号直接互联。

6.根据权利要求1至5中任一项所述的基于视觉的隧道环境下旋翼无人机航向校准系统，其特征在于，

所述航向校准标志物是高反差标识线条，宽度不小于5厘米，长度与隧道径向长度一致。

7.利用权利要求1至6任一项所述的基于视觉的隧道环境下旋翼无人机航向校准系统而实现的航向校准方法，其特征在于，

所述航向校准方法包括：

步骤1，在隧道内部布置航向校准标志物；

步骤2，利用可见光摄像头采集航向校准标志物的图像，并进行视场校准；

步骤3，基于视觉识别算法识别所采集的航向校准标志物的图像，获得航向校准标志物的视觉图像；

步骤4，对所述视觉图像进行二值化处理，得到航向校准线条；

步骤5，计算航向校准线条与可见光摄像头视场中线的夹角；

步骤6，调整航向，使得所述夹角修正为0。

8.根据权利要求7所述的基于视觉的隧道环境下旋翼无人机航向校准方法，其特征在于，

步骤2中，所述视场校准包括：将航向校准标志物放置于正北朝向的水平地面上，无人机保持在航向校准标志物的正上方，并且无人机距离地面高度不小于1.5米，保持磁罗盘的读数为0时，调整可见光摄像头的安装位置，使所述航向校准标志物位于可见光摄像头视场的正中间。

9.根据权利要求7所述的基于视觉的隧道环境下旋翼无人机航向校准方法，其特征在于，

步骤3包括：

步骤3.1，基于视觉识别算法，对航向校准标志物中的不同颜色的高反差标识线条进行颜色识别，满足如下关系式：

式中，R、G、B分别表示每一个输入像素中的红、绿、蓝三色分量，R′、G′、B′分别表示每一个输入像素中的红、绿、蓝三色识别结果，其中，R、G、B的取值范围均为[0，255]；

步骤3.2，利用每一个输入像素中的颜色识别结果，确定航向校准标志物的颜色阈值Δ，满足如下关系式：

Δ＝C_max-C_min

式中，

C_max＝max(R′，G′，B′)

C_min＝min(R′，G′，B′)

步骤3.3，利用颜色识别结果和颜色阈值，得到图像的HSV参数，满足如下关系式：

V＝C_max

式中，H为图像的色调，S为图像的饱和度，V为图像的明度；

步骤3.4，根据图像的HSV参数构建航向校准标志物的视觉图像。

10.根据权利要求9所述的基于视觉的隧道环境下旋翼无人机航向校准方法，其特征在于，

步骤4包括：

步骤4.1，计算视觉图像的每一个像素的HSV颜色，将同时满足0＜H＜15、160＜S＜255、50＜V＜255的像素用数值255进行标识，其他像素用数值0进行标识，得到视觉图像的二值化的图像像素；

步骤4.2，对二值化的图像像素进行侵蚀处理，即将待操作的二值图像像素与侵蚀矩阵相乘，所述侵蚀矩阵Q满足如下关系式：

步骤4.3，若经过侵蚀处理后的图像像素小于255×4，则将中心像素设置为0；若经过侵蚀处理后的图像像素等于255×4，则将中心像素设置为255；

步骤4.4，利用经过处理后的图像像素构成航向校准线条。

Images