CN117814209A - 一种基于视觉的超声波定向驱鸟无人机装置及其驱鸟方法 - Google Patents

Abstract

本发明公开了一种基于视觉的超声波定向驱鸟无人机装置及其驱鸟方法。超声波定向驱鸟无人机装置，包括四旋翼无人机以及安装于无人机上的视觉检测定向驱鸟模块；视觉检测定向驱鸟模块包括主控模块、云台模块、云台姿态测量模块、视觉检测模块、超声波模块和运算处理模块；利用上述装置进行驱鸟的方法，在获取鸟类图像后，对获取的图像进行卷积神经网络处理，区分出有害鸟类和无害鸟类，获取鸟类的特征点；通过将二维平面的特征点映射到三维空间，估计出鸟类在三维空间中的坐标；通过鸟类的三维坐标的变化规律，对鸟类的运动进行估计解算；得到鸟类的飞行轨迹后，对云台模块进行操控，使云台模块能够正对准鸟类的运动方向，并进行超声波发射的操作。

Description

一种基于视觉的超声波定向驱鸟无人机装置及其驱鸟方法

技术领域

本发明属于超声波驱鸟技术领域，涉及一种基于视觉的超声波定向驱鸟无人机装置及其驱鸟方法。

背景技术

随着社会经济的不断发展，鸟类对农田的问题也越来越不容小视，据国际生物学规划组织(IBP)“食谷鸟类工作组”的调查，全世界的山鸟在一年内能够吞食1500万食物,足可以养活世界9000万的人口。

驱鸟的历史也是源远流长，经典驱鸟方法主要有声音驱赶、形象驱赶。常见的有以下几种：

1.人工驱鸟：鸟类在清晨、中午、黄昏三个时段危害较严重，可提前到达田间，及时把鸟赶走，15分钟后应再检查、驱赶一次，每个时段一般需驱赶3-5次。这种方法较为耗时、耗工。

2.音响驱鸟：将敲打声、鞭炮声、鹰叫声、鸟的惊叫声等录下来，农田内不定时地大音量放音，以随时驱鸟。声音设施应放置在作物的周边和鸟类的入口处，以利用风向和回声增大声音。但对周围居民将会有较大的噪声影响。

3.置物驱鸟：在田中放置假人、假鹰等。短期内防止害鸟入侵，但长期内将会变得形同虚设。

专利公开号CN107372455A的“一种农业驱鸟机械”仅仅利用原地的驱鸟机械，只能将周围的鸟进行驱赶，很难将范围内的鸟进行驱赶。

专利公开号CN112640884A的“一种机场驱鸟装置及其驱鸟方法”，采用人工遥控无人机，发现鸟后使用网弹驱鸟法，网弹形式容易对鸟类造成伤害，且每次使用完还需补充弹药，不能持续驱鸟。

发明内容

本发明的目的为提供一种基于视觉的超声波定向驱鸟空中机器人，用于解决城市遗迹等相关建筑群的维护、对相关电力设施设备的保护、农业等有关驱鸟需求的工作场景，并减少对鸟类的生理伤害。

本发明的第一方面，提供了一种基于视觉的超声波定向驱鸟无人机装置，包括四旋翼无人机以及安装于所述无人机上的视觉检测定向驱鸟模块；所述视觉检测定向驱鸟模块包括主控模块、云台模块、云台姿态测量模块、视觉检测模块、超声波模块和运算处理模块；

所述云台模块，连接于主控模块；能够实现俯仰和偏航的运动；

所述云台姿态测量模块，连接于运算处理模块，用于准确定位云台模块的朝向；

所述视觉检测模块，连接于运算处理模块，用于捕捉处于高速运动的鸟类的图片并对鸟类进行距离估计，准确获取鸟类在相机坐标系下的位置；

所述超声波模块，连接于主控模块，用于定向驱鸟。

本发明的第二方面，提供了一种利用上述装置进行驱鸟的方法，包括如下步骤：

步骤1：四旋翼无人机在工作人员经过指定的路线规划后，在指定高度进行定速巡航；

步骤2：云台模块有规律地在限定范围内进行俯仰和偏航，用于扩大视觉检测模块能够识别的范围；

步骤3：在获取鸟类图像后，对获取的图像进行卷积神经网络处理，区分出有害鸟类和无害鸟类，获取鸟类的特征点；

通过将二维平面的特征点映射到三维空间，估计出鸟类在三维空间中的坐标；

通过鸟类的三维坐标的变化规律，对鸟类的运动进行估计解算；

得到鸟类的飞行轨迹后，对云台模块进行操控，使云台模块能够对准鸟类的运动方向，并进行超声波发射的操作。

本发明的有益效果为：

相对传统驱鸟方式的盲目性，本发明利用视觉检测技术对不同种类的鸟类进行有效准确地区分，识别出目标鸟类，无人机搭载的二轴云台根据目标鸟类飞行轨迹结对准鸟类运动方向进行定向超声波驱赶目标，提高工作效率和质量。相比于传统驱赶方式，该方案利用超声波引发鸟类的防御反应达到驱赶效果，几乎不会对环境造成破坏，环保高效；视觉检测技术的引入，能区分目标鸟类、估算鸟类飞行轨迹并为超声波驱鸟提供鸟类运动坐标，有效提高了驱赶效率和效果，是一种具体可行的环保鸟类驱赶手段。

附图说明

图1为本发明的超声波定向驱鸟无人机装置；

图2为本发明的无人机飞控流程图；

图3为视觉检测模块获取的特征点在图像上的坐标；

图4为本发明的驱鸟方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请实施例提供一种基于视觉的超声波定向驱鸟无人机装置，包括：

四旋翼无人机，安装于所述无人机上的视觉检测定向驱鸟模块。

本实施例中的无人机整体采用高强度、轻量化的碳纤维组成，主体与停机支架、机翼碳管1之间用合金装置连接，与驱鸟云台之间用铝柱连接组装中结合螺栓套组与榫卯相嵌。

进一步说，所述四旋翼无人机包括飞行控制系统、移动模块、定位巡逻模块。

飞行控制系统，与移动模块，定位巡逻模块相连接，用于通过飞控控制各个模块正常工作。

移动模块，与飞行控制模块连接，即动力系统2，用于通过电机带动螺旋桨进行移动。

定位巡逻模块，内置于飞行控制模块，用于通过定位器和惯导系统对无人机位置进行定位和令无人机按照指定路线巡逻。

在某一优选示例中，所述的视觉检测定向驱鸟模块包括主控模块、云台模块、云台姿态测量模块、视觉检测模块、超声波模块、运算处理模块，其中：

主控模块连接云台模块、超声波模块、运算处理模块，通过主控板控制各个模块正常运行。

云台模块，连接于主控模块，为双轴云台5，包括两个运动电机，能够令云台实现俯仰和偏航的运动。

其中的转角电机由电控程序限位和结构机械限位，共同双向确定其工作视角区域：+15°到－45°，该视角范围可以很好的兼顾视野图像需求和空中机器人整体自身的安全空间，不至于让其过于注重下倾斜视角或上扬高角而忘乎自身所处环境，造成不可逆的损失。

主控模块通过虚拟串口持续高频接收运算处理模块方传送来的标志位指令，确保能够在识别到鸟类时驱动电机对准鸟类，驱动超声波模块。

进一步说：

在未接收到标志位指令时，主控模块控制云台模块在2秒内，云台能够有规律地在限位之内的进行俯仰和偏航，力求扩大摄像头能够识别的范围，让鸟类进入摄像头视野的可能性增加。

在接收到标志位指令时，运算处理模块将解算的结果发送给主控模块，主控模块得到目标的俯仰角度和偏航角度，将期望的俯仰角度和偏航角度与实际电机转动的俯仰角度和偏航角度进行对比计算，将该次的误差值放入到位置环的控制器中，计算得到期望的电机转动速度，再将期望的电机转动速度与实际的电机转动速度进行对比计算，将计算得到的误差放入速度环的控制器，生成相对应的PWM波，令云台模块驱动电机，以此到达目标的俯仰角度和偏航角度，即云台模块能够以期望的速度转动到期望的位置对准目标，从而实现驱鸟效果。

运算处理模块，连接云台姿态测量模块、视觉图像模块、主控模块，为工控主板，即具有核心显卡的轻量级电脑或者搭配独立显卡的专用边缘计算设备，用来进行图像处理，完成边缘计算。

云台姿态测量模块，连接于运算处理模块，为惯性测量单元，云台上搭载一个高精度的惯性测量单元，运算处理模块获取惯性测量单元的数据来准确定位超声波发射云台的朝向。

视觉检测模块，连接于运算处理模块，驱鸟机器人的视觉图像获取设备是配备高分辨率与较高拍摄频率的双目立体深度摄像头4。该设备用于捕捉处于高速运动的鸟类的图片。通过该模块视觉图像获取设备，可对鸟类进行距离估计，准确获取鸟类在相机坐标系下的位置。

超声波模块连接于主控模块，为蜂鸣器和紧连的外扩型的聚音喇叭组成的定向区域驱鸟结构装备3，在接受主控指令后完成精确的定向驱鸟。

主控板驱动蜂鸣器，按照2秒工作1秒停止的时间规律工作。每分钟频率从11kHz到25kHz不断变化，并随机选择一个频点，在1分钟内保持不变。当驱鸟器正常工作时，蜂鸣器会发出强烈的声音来驱赶鸟类，使其远离超声波覆盖的区域。

如图2所示，本发明实施例还提供一种基于视觉的超声波定向驱鸟无人机装置的驱鸟方法，采用上述驱鸟装置执行所述驱鸟方法，包括：

步骤1：该无人机在工作人员经过指定的路线规划后，在指定高度进行定速巡航。

步骤2：同时无人机搭载的云台，云台能够有规律地在限位之内完全地进行俯仰和偏航，力求扩大摄像头能够识别的范围，让鸟类进入摄像头视野的可能性增加。

步骤3：在拍摄时，使用一个具有较高拍摄频率和较高拍摄像素的全局曝光式的视觉图像获取模块进行鸟类图像获取。通过无人机搭载的工控主板来对获取的图像进行卷积神经网络(CNN)处理，区分出有害鸟类和无害鸟类并且获取鸟类的特征点。

通过将二维平面的特征点映射到三维空间，估计出鸟类在三维空间中的坐标。通过鸟类的三维坐标的变化规律，对鸟类的运动进行估计解算。得到鸟类的飞行轨迹后，工控主板通过USB传输数据，对云台进行操控，使云台能够正对准鸟类的运动方向，并告知控制执行平台进行超声波发射的操作。

还进一步包括步骤4：通过PID双环控制云台以期望的速度和角度旋转到期望的俯仰角和偏移角，同时驱动蜂鸣器，以指定的频率和周期进行驱鸟。

本实施例中的鸟类视觉识别包含“获取图片数据”、“将数据放入推理引擎”以及“匹配特征点”三流程。

通过视觉检测模块拍摄，将当前相机视野范围内的环境信息以图像形式记录，且图片数量与相机拍摄帧率匹配，将视觉检测模块获取的图片传输给运算处理模块，然后获取其特征点在图片上的坐标(这里我们选用的特征点为图3所示红色矩形框的几何中心)。

如图4所示，本实施例在中国观鸟记录中心获取的鸟类图片数据进行标注。将鸟类划分为食用谷物和不食用谷物的鸟类，即分为对谷物有害的鸟类和对谷物无害的鸟类两大类，制作为类，分为[injurious,benefit]，得到鸟类的类标签的格式为[class,x,y,w,h]的数据，将数据集输入到成熟的CNN模型，本例中优选yolov5s模型。

进一步，yolov5s模型的处理流程涉及深度卷积神经网络的前向传播。

首先，输入图像通过图像预处理，即对图像进行坐标归一化和调整图像尺寸与模型训练尺寸相匹配，进行图像预处理后，将图像放入CSPDarknet53骨干网络来提取图像的高级语义特征。

随后，特征金字塔网络将来自骨干网络的不同尺度地特征融合，以便有效地捕获不同尺寸目标的信息。检测头由一系列卷积层组成，负责生成目标检测的预测结果，包括目标边界框的坐标、目标类别的概率分数等。

在训练阶段，YOLOv5s模型使用锚框聚类来学习适应于数据集的锚框，这些锚框用于生成模型的预测。推理阶段，模型通过非极大值抑制(NMS)来消除几余的检测结果，确保每个目标只被标记次，并根据检测置信度对结果进行排序。

最终，模型输出目标检测结果，每个结果包含目标类别、边界框的坐标以及检测的置信度分数。

整个过程在单一前向传播中完成，实现了端到端的目标检测任务。

进一步，yolov5s模型的输入端通过mosaic算法的图像预处理(即将多张图片随机裁剪并合并为一张图片)，mosaic算法增加了图片背景的复杂度，增强了原本数据集的多样性，使网络参数更具鲁棒性。

更进一步，yolov5s模型的网络主干通过focus图片下采样，减少了通常图片下采样所带来的精度损失，提高了鸟类这种小目标的识别准确率。

该模型还采用CSPDarknet53主干网终结构。CSPDarknet53是为目标检测任务设计的一种强大的主干网络，通过引入CSP结构、跨阶段连接和通道注意力机制，提高了模型对不同尺度和级别特征的表达能力，从而在目标检测任务中得到良好的性能。

yolov5s在小计算量和高准确率中取得了不错的均衡，合适的模型规模能让较低硬件性能的边缘推理设备取得不错的计算处理频率，并保持不错的识别准确率。通过yolov5s模型，无人驱鸟机上搭载的轻量化边缘推理设备可以保证识别准确率的情况下，准确地获取鸟类的中心点，并将特征点(鸟的中心)代入接下来的坐标估计解算。

在本实施例中的坐标估计解算包含“估计特征点深度”和“得到鸟类的坐标”两流程。

在使用双目相机进行特征点三维坐标计算时，首先对双目相机进行标定，进行标定后可以获取相机的内部参数和外部参数和畸变参数。其中，内参包括焦距、主点等相机内部参数；外参包括相机的位置和朝向，外部参数在结合了陀螺仪传感器的多模态情况下有校准价值；畸变参数可以去除图像的畸变。

随后，进行立体匹配，通过算法寻找图像中对应的特征点对，即在两幅图像中表示同一实际点的像素点，这通常涉及到视差计算，即同一实际点在两图像中的像素坐标差异，在计算之后从而获取深度信息。

接下来，利用相机的几何关系和视差-深度关系，通过三角测量方法计算出特征点的三维坐标。三维坐标(X,Y,Z)可通过以下关系得到：

Z＝f·T/d

其中，Z为特征点的深度，f为相机的焦距，T为相机的基线长度，d为视差。这一过程实质上是利用相似三角形原理，将图像空间的视差关系映射到实际物体的深度。

最后，由于计算得到的三维坐标通常位于相机坐标系下，可能需要进行坐标系转换，即将其转换到世界坐标系或其他所需坐标系。这包括考虑相机的外参信息，即相机在世界坐标系中的位置和朝向。

该步骤即为无人驱鸟机通过对yolov5s推理得到的预测框几何中心点作为特征点，计算两幅图的特征点的视差，估计相机到鸟类的距离。

在本实施例中的鸟的飞行轨迹预测包含“对坐标进行卡尔曼滤波”和“计算鸟类运动轨迹”这两步骤。

由于传感器精度和传感器噪声等问题，获取与解算的数据带有十分严重的噪音，但是该噪音符合正态分布，且因为虽然鸟类的飞行运动是无规则的，但却不会在很短的时间内突然改变方向，所以可以通过高频率计算，使用一阶线性卡尔曼滤波将鸟的位置信息收敛至一个最优值，使用鸟类的最优估计位置作为最后的可信任数据。

观测矩阵为双目相机通过视差估计深度后得到坐标转为世界坐标的矩阵。

鸟的飞行轨迹预测是通过识别到鸟后所得到的信息变化，例如鸟在世界坐标系中的位置变换，推理出鸟在之后的飞行轨迹。

卡尔曼滤波过程如下：

(1)状态转移方程：

x_k＝Ax_k-1+U_k

其中，x_k与x_k-1是鸟在双目相机下的像素坐标；A为状态转移矩阵，可以取一个单位阵来近似估计。

由于使用卡尔曼状态估计器是用于滤波，所以控制量U_k为零向量。

(2)观测方程：

z_k＝Hx_k+V_k

其中，z_k为鸟在世界坐标系下的坐标。H为卡尔曼滤波的观测矩阵。V_k为观测方程与控制量有关的向量。

设图像坐标系到相机坐标系的投影矩阵为相机坐标系到世界坐标系的齐次变换矩阵为/>则有观测矩阵

其中，V_k与控制量有关，所以选取零向量。

观测方程将像素坐标系投影到世界坐标系上。

(3)预测误差协方差计算：

其中，Q为过程噪声矩阵；P_k为预测误差的协方差。

(4)卡尔曼增益计算：

R矩阵为系统噪声，通过调整R矩阵来模拟现实的传感器的噪声。

(5)更新状态估计：

(6)更新误差协方差：

(7)选取最优估计作为状态输出：

(8)鸟的速度向量由差分方程得出：

v_k＝y_k-y_k-1

(9)鸟的速度向量方向：

(10)鸟的速度大小：

|vk|

至此，本申请已经使用了卡尔曼状态估计器来完全估计了鸟类在世界坐标系下的运动状态，即速度的大小和方向。

鸟在下一时刻的预测特征点可以表示为：

其中，为鸟在下一时刻在世界坐标系下的位置，/>为鸟这一时刻在世界坐标系下的位置，T为超声波的飞行时间，与计算机处理时间估计之和，H^-1为观测矩阵的逆矩阵。

本实例中“与云台通信”部分包括给云台控制量和发射标志位：

运算处理模块解算的结果通过虚拟串口传递给云台模块，让单片机转到特定角度。

获取视觉检测模块的视场角包括水平视场角FOV_Horizontal和垂直视场角FOV_vertical。

云台的运动角度由如下线性变换近似表达：

ΔYaw＝FOV_Horizontal·x_correct/width

ΔPitch＝FOV_vertical·y_correct/height

其中，ΔYaw与ΔPitch为驱鸟无人机基于当前的云台角度到预测点的旋转角度，以弧度制为单位；x_correct、y_correct为预测特征点在图像坐标原点校正到图片中心点后的特征点坐标；width、height为图像宽和高。图像的坐标系统通常以图像的左上角为原点，水平向右为x轴正方向，垂直向下为y轴正方向。在一些图形学的场景中，坐标系统以图像中心为原点，水平向右为x轴正方向，垂直向上为y轴正方向。要将图像坐标原点到图像中心的转换，可以使用平移矩阵R_correct，其可以表示为：

对于任意二维坐标点(x,y)，可以使用齐次坐标的形式，将其转换为新的坐标系:

当运算处理模块认为可以发射超声波，给云台传输标志位，让云台开启超声波驱赶鸟类。

以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。

Claims (8)

1.一种基于视觉的超声波定向驱鸟无人机装置，其特征在于：包括四旋翼无人机以及安装于所述无人机上的视觉检测定向驱鸟模块；所述视觉检测定向驱鸟模块包括主控模块、云台模块、云台姿态测量模块、视觉检测模块、超声波模块和运算处理模块；

所述云台模块，连接于主控模块；能够实现俯仰和偏航的运动；

所述云台姿态测量模块，连接于运算处理模块，用于准确定位云台模块的朝向；

所述视觉检测模块，连接于运算处理模块，用于捕捉处于高速运动的鸟类的图片并对鸟类进行距离估计，准确获取鸟类在相机坐标系下的位置；

所述超声波模块，连接于主控模块，用于定向驱鸟。

2.根据权利要求1所述的一种基于视觉的超声波定向驱鸟无人机装置，其特征在于：所述的主控模块通过虚拟串口持续高频接收运算处理模块传送来的标志位指令，确保能够在识别到鸟类时驱动云台模块对准鸟类，同时驱动所述超声波模块。

3.根据权利要求2所述的一种基于视觉的超声波定向驱鸟无人机装置，其特征在于：在接收到标志位指令时，运算处理模块将相对于鸟类的俯仰角度和偏航角度发送给主控模块，主控模块通过pid控制所述云台模块。

4.根据权利要求1或2所述的一种基于视觉的超声波定向驱鸟无人机装置，其特征在于：所述超声波模块为蜂鸣器和紧连的外阔型的聚音喇叭组成的定向区域驱鸟结构装备，在接受主控模块的指令后，完成精确的定向驱鸟。

5.利用权利要求1至4中任一项所述的装置进行驱鸟的方法，其特征在于：

步骤1：四旋翼无人机在工作人员经过指定的路线规划后，在指定高度进行定速巡航；

步骤2：云台模块有规律地在限定范围内进行俯仰和偏航，用于扩大视觉检测模块能够识别的范围；

步骤3：在获取鸟类图像后，对获取的图像进行卷积神经网络处理，区分出有害鸟类和无害鸟类，获取鸟类的特征点；

通过将二维平面的特征点映射到三维空间，估计出鸟类在三维空间中的坐标；

通过鸟类的三维坐标的变化规律，对鸟类的运动进行估计解算；

得到鸟类的飞行轨迹后，对云台模块进行操控，使云台模块能够正对准鸟类的运动方向，并进行超声波发射的操作。

6.利用权利要求4所述的方法，其特征在于：所述的卷积神经网络采用yolov5s模型。

7.利用权利要求4所述的方法，其特征在于：所述的估计出鸟类在三维空间中的坐标，具体是：

对视觉检测模块中的双目相机进行标定；

进行立体匹配，寻找图像中对应的特征点对，即在两幅图像中表示同一实际点的像素点，从而获取深度信息；

利用相机的几何关系和视差-深度关系，通过三角测量法计算出特征点的三维坐标；

将相机坐标系下的三维坐换到世界坐标系。

8.利用权利要求7所述的方法，其特征在于：所述的对鸟类的运动进行估计解算，具体是：通过识别鸟类在世界坐标系中的位置变换，推理出鸟类在之后的运动轨迹，使用一阶线性卡尔曼滤波将鸟的位置信息收敛至一个最优值，使用鸟类的最优估计位置作为最后的可信任数据。