CN112493228A - 一种基于三维信息估算的激光驱鸟方法及系统 - Google Patents

Abstract

本发明公开了驱鸟技术领域的一种基于三维信息估算的激光驱鸟方法及系统，能自动搜索鸟类活动踪迹并进行精确识别鸟类目标，进行针对性驱鸟，无需人工参与，提高了驱鸟效率。在可移动平台上设置云台，云台上设置双目相机和激光器，包括：采集设定环境内的左目图像和右目图像；基于Fast R‑CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟。

Description

一种基于三维信息估算的激光驱鸟方法及系统

技术领域

本发明属于驱鸟技术领域，具体涉及一种基于三维信息估算的激光驱鸟方法及系统。

背景技术

近些年来我国生态环境的保护工作更加完善、系统，鸟类繁殖的速度明显提升，许多地区的鸟类数量大幅增加，活动范围加大，导致鸟害问题的发生频率不断升高。鸟害问题具有极强的地域性，发生鸟害的地区多为鸟类动物聚集区，这些地方人烟罕至、森林茂密，附近往往有河流、鱼塘、水库等资源分布。

传统的驱鸟方式主要为人工驱鸟，工作量较大，且人工费用较高；人们还采取了其他各种各样的驱鸟措施，如炮竹弹、爆音驱鸟、煤气炮、驱鸟剂、驱鸟枪等，在一些地方定时启动驱鸟设备，不管是否有鸟情，隔一段时间启动一次驱鸟设备。这些手段在应用初期效果明显，但随着时间延长，鸟类逐渐适应了这种环境，驱鸟效果渐渐降低，直到无驱鸟效果。这些现有的驱鸟方式存在很多不足之处，如：需要配备专门的巡查人员和车辆，采用轮班制，人力、物力成本比较高；驱鸟设备启动存在时间间隔，因此无法实现全时覆盖，驱鸟效率不高；对于不管是否存在鸟情，均定时启动驱鸟设备方法，不仅没有驱鸟的效率，更多时候白白浪费了资源，却没有效果；驱鸟记录通过人工记录，再输入系统，甚至未被输入系统，没有鸟情的详细数据及视频资料，导致无法提供鸟情数据总体分析及利用，无法得出鸟类出没的准确规律。

发明内容

为解决现有技术中的不足，本发明提供一种基于三维信息估算的激光驱鸟方法及系统，能够自动搜索鸟类活动踪迹并精确识别鸟类目标，进行针对性驱鸟，无需人工参与，提高了驱鸟效率。

为达到上述目的，本发明所采用的技术方案是：一种基于三维信息估算的激光驱鸟方法，在可移动平台上设置云台，所述云台上设置双目相机和激光器，所述双目相机包括左目相机和右目相机，包括：a、采集设定环境内的左目图像和右目图像；b、基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；c、根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；d、根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；e、根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟。

进一步地，所述可移动平台包括无人机和地面可移动机器人。

进一步地，所述激光器设置在所述左目相机和右目相机之间，且激光器的中心、左目相机的中心和右目相机的中心位于同一水平线上。

进一步地，所述步骤b具体包括：

b1、基于Fast R-CNN构建鸟类目标检测模型，具体包括：

b11、获取鸟类图片集作为训练集，并对训练集设定标签；

b12、对训练集进行候选目标的提取；其中候选目标的提取采用选择性搜索方法；

b13、选定VGG16网络结构，利用VOC数据集进行预训练，得到预训练模型；

b14、将训练集对应的标签以及提取的候选目标作为输入，通过Fast R-CNN对预训练模型进行二次训练，得到最终的鸟类目标检测模型；

b2、将采集的左目图像作为输入，通过构建的鸟类目标检测模型检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息，并使用矩形框标识左目图像中的鸟类目标；

进一步地，所述VGG16采用softmax分类器做训练，激活函数使用线性整流函数，采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay为0.0001，批量标准化的衰减速率为0.997，池化层采用最大池化方式，同时将最大池化的Padding的模式设为SAME。

进一步地，所述矩形框的位置为[(u₁,v₁),(u₁+m,v₁+n)]，尺寸为m*n；其中，u₁表示矩形框左上角点的横坐标，v₁表示矩形框左上角点的纵坐标，m表示矩形框的长，n表示矩形框的宽。

进一步地，所述步骤c具体包括：

c1、根据左目图像中的鸟类目标的位置信息确定该鸟类目标在右目图像中的搜索区域；

c2、基于标识鸟类目标的矩形框尺寸构建滑动窗，滑动窗在右目图像中的搜索区域中滑动；

c3、计算滑动窗所在区域的右目图像与左目图像中鸟类目标矩形框的差异度s(i,v₁)，其计算公式具体如下：

其中，T(m,n)表示左目图像中驱逐目标矩形框中各点的像素值，m表示矩形框的宽，n表示矩形框的高，I(i+m,v₁+n)表示右目图像中从坐标(i,v₁)到(i+m,v₁+n)像素区域的像素值；

滑动窗遍历整个搜索区域，获取右目图像中差异度最小的像素原点坐标(u_min,v_min)，则匹配出的右目图像中驱逐目标的位置为[(u_min,v_min),(u_min+m,v_min+n)]，其中v_min＝v₁。

进一步地，所述步骤d具体包括：

d1、在左目与右目图像中驱逐目标矩形框中选取九组对应点；

左目图像中九点坐标分别为

右目图像中九点坐标分别为

按顺序分别记为(x_Ri,y_Ri)和(x_Li,y_Li)，i＝1,2,…,9；

d2、计算每组对应点的视差值disparity_i＝x_Ri-x_Li；

d3、分别计算九组对应点的实际三维坐标，计算公式为：

其中，disparity_i表示鸟类目标的视差值，B表示相机标定得到的基距，f表示相机标定得到的相机焦距；

d4、距离相机的候选实际距离d_i，计算公式为：

计算出的九个候选实际距离d_i中，选择出现概率最高的距离作为实际距离d_s,对应的三维坐标为(x_s,y_s,z_s)。

进一步地，所述步骤e具体为：

e1、根据鸟类目标的三维位置信息计算激光器所需转动的角度，

水平转动角度为：

垂直转动角度为：

e2、根据计算所得的水平转动角度和垂直转动角度调整激光器的方位并发射激光进行驱鸟。

一种基于三维信息估算的激光驱鸟系统，采用前述的基于三维信息估算的激光驱鸟方法，包括：可移动平台，用于搭载双目相机和激光器并按照设定路径进行巡航；双目相机，用于获取设定路径所处环境的左目图像和右目图像；第一模块，用于基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；第二模块，用于根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；第三模块，根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；云台，用于根据鸟类目标的三维位置信息调整激光器的方位；激光器，用于发射激光进行驱鸟。

与现有技术相比，本发明所达到的有益效果：

(1)本发明采用云台搭载双目视觉相机和激光器，利用双目立体视觉技术，自动巡查监测区域的鸟类踪迹，无需人工参与，提高了驱鸟效率；

(2)根据鸟情定位位置，实时、定点启动驱鸟设备，高效、准确的处置鸟情；根据发现的鸟情使用驱鸟设备定向驱鸟，提高有效驱鸟率，节省资源；

(3)避免了激光的随意照射，从而避免激光器对人和过往车辆的干扰，而且对鸟类定位精准，采用低功率的激光器进行驱赶，降低成本；

(4)不会对鸟类造成严重伤害，也避免了由于鸟类对驱鸟装置的适应而导致的驱鸟效果下降。

附图说明

图1是本发明实施例提供的一种基于三维信息估算的激光驱鸟方法的流程图；

图2是云台转动前鸟类目标在左目图像中的位置；

图3是云台转动后鸟类目标在左目图像中的位置。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

一种基于三维信息估算的激光驱鸟方法，在可移动平台上设置云台，云台上设置双目相机和激光器，双目相机包括左目相机和右目相机，包括：a、采集设定环境内的左目图像和右目图像；b、基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；c、根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；d、根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；e、根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟。

本实施例中，可移动平台包括无人机和地面可移动机器人；激光器设置在左目相机和右目相机之间，且激光器的中心、左目相机的中心和右目相机的中心位于同一水平线上。

步骤一：采集设定环境内的左目图像和右目图像；可移动平台载着云台、双目相机和激光器按照设定路径在需要驱鸟的范围内自动巡航，同时启动双目相机，双目相机(双目可见光相机)按照设置帧率实时采集场景内的可见光图像，包括左目图像和右目图像，图像大小为w*h，w为图像的宽，h为图像的长，并利用图传模块传输至数据处理中心进行处理。

步骤二：基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；

数据处理中心首先采用Fast R-CNN检测左目图像中是否存在鸟类目标，获取鸟类目标的位置信息，具体包括：

b11、获取鸟类图片集作为训练集，并对训练集设定标签；

b12、对训练集进行候选目标的提取；其中候选目标的提取采用选择性搜索方法；

b13、选定VGG16网络结构，利用VOC数据集进行预训练，得到预训练模型；VGG16采用softmax分类器做训练，激活函数使用线性整流函数，采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay为0.0001，批量标准化的衰减速率为0.997，池化层采用最大池化方式，同时将最大池化的Padding的模式设为SAME。

b14、将训练集对应的标签以及提取的候选目标作为输入，通过Fast R-CNN对预训练模型进行二次训练，得到最终的鸟类目标检测模型；

b2、将采集的左目图像作为输入，通过构建的鸟类目标检测模型检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息，并使用矩形框标识左目图像中的鸟类目标；

若左目图像中不存在鸟类目标，则可移动平台继续按照设置路径运动，双目可见光相机继续按照设置帧率捕捉场景图像；若左目图像中存在多个鸟类目标，则随机选取其中一个鸟类目标作为驱逐目标，其余忽略，继续进行下一步；若左目图像中仅存在一个鸟类目标，则该鸟类目标为驱逐目标，继续进行下一步；驱逐目标矩形框的位置为[(u₁,v₁),(u₁+m,v₁+n)]，尺寸为m*n，其中，u₁表示矩形框左上角点的横坐标，v₁表示矩形框左上角点的纵坐标，m表示矩形框的长，n表示矩形框的宽。

步骤三：根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息，具体包括：

c1、根据左目图像中的鸟类目标的位置信息确定该鸟类目标在右目图像中的搜索区域；由于两个相机已经校正极线平行，两条光轴方向也平行，左目与右目图像的中心处于同一水平线上，右目图像中鸟类目标的位置与在左目图像中该鸟类目标的位置在水平方向上是一致的，确认该鸟类目标在右目图像中的搜索区域为[(1,v₁),(w,v₁+n)]；

c2、基于标识鸟类目标的矩形框尺寸m*n构建滑动窗，滑动窗在右目图像中的搜索区域中左右滑动；

c3、计算滑动窗所在区域的右目图像与左目图像中鸟类目标矩形框的差异度s(i,v₁)，其计算公式具体如下：

其中，T(m,n)表示左目图像中驱逐目标矩形框中各点的像素值，m表示矩形框的宽，n表示矩形框的高，I(i+m,v₁+n)表示右目图像中从坐标(i,v₁)到(i+m,v₁+n)像素区域的像素值；

滑动窗遍历整个搜索区域，获取右目图像中差异度最小的像素原点坐标(u_min,v_min)，则匹配出的右目图像中驱逐目标的位置为[(u_min,v_min),(u_min+m,v_min+n)]，其中v_min＝v₁。

步骤四：根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息，具体包括：

d1、在左目与右目图像中驱逐目标矩形框中选取九组对应点；

左目图像中九点坐标分别为

右目图像中九点坐标分别为

按顺序分别记为(x_Ri,y_Ri)和(x_Li,y_Li)，i＝1,2,…,9；

d2、计算每组对应点的视差值disparity_i＝x_Ri-x_Li；

d3、分别计算九组对应点的实际三维坐标，计算公式为：

其中，disparity_i表示鸟类目标的视差值，B表示相机标定得到的基距，f表示相机标定得到的相机焦距；

d4、距离相机的候选实际距离d_i，计算公式为：

计算出的九个候选实际距离d_i中，选择出现概率最高的距离作为实际距离d_s,对应的三维坐标为(x_s,y_s,z_s)。

步骤五：根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟，具体包括，

e1、根据计算出的鸟类目标的三维位置信息(x_s,y_s,z_s)计算双目相机以及激光器所需转动的角度，

水平转动角度为：

垂直转动角度为：

e2、根据计算所得的水平转动角度和垂直转动角度调整激光器的方位并发射激光进行驱鸟；由于激光器中心与左目相机、右目相机的中心位于同一水平线上，云台转动后启动激光器，激光器将准确击中确定的鸟类驱逐目标。图2所示为云台转动前待驱逐的鸟类目标在左目图像中的位置，云台转动后待驱逐的鸟类目标在左目图像中的位置如图3所示。

图1所示是本实施例的主要流程图；驱鸟动作完成后，按照图1所示流程继续循环运行，移动平台继续按照设置路径运动，双目可见光相机继续按照设置帧率实时采集场景可见光图像，对设定路径附近的鸟类进行驱逐。

本实施例采用云台搭载双目视觉相机和激光器，利用双目立体视觉技术，自动巡查监测区域的鸟类踪迹，无需人工参与，提高了驱鸟效率；根据鸟情定位位置，实时、定点启动驱鸟设备，高效、准确的处置鸟情；根据发现的鸟情使用驱鸟设备定向驱鸟，提高有效驱鸟率，节省资源；避免了激光的随意照射，从而避免激光器对人和过往车辆的干扰，而且对鸟类定位精准，采用低功率的激光器进行驱赶，降低成本；不会对鸟类造成严重伤害，也避免了由于鸟类对驱鸟装置的适应而导致的驱鸟效果下降。

实施例二：

基于实施例一所述的基于三维信息估算的激光驱鸟方法，本实施例提供一种基于三维信息估算的激光驱鸟系统，包括：可移动平台、双目相机、数据处理中心、云台、激光器，所述可移动平台包括无人机和地面可移动机器人，所述双目相机包括左目相机和右目相机，所述数据处理中心包括第一模块、第二模块、第三模块、存储模块和通讯模块，

可移动平台，用于搭载双目相机和激光器并按照设定路径进行巡航；

双目相机，用于获取设定路径所处环境的左目图像和右目图像；

第一模块，用于基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；

第二模块，用于根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；

第三模块，根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；

云台，用于根据鸟类目标的三维位置信息调整激光器的方位；

激光器，用于发射激光进行驱鸟；

存储模块，用于记录并保存驱鸟系统的运行参数，包括驱鸟的时间、坐标、驱鸟次数以及捕获的鸟类图像等；

通讯模块，用于与控制中心进行通讯，以便于控制中心对移动平台的运行以及驱鸟过程进行实时监控。

本实施例可以在给定的区域内自动搜索鸟类目标，并可以精确识别，当发现鸟类目标后进行自动追踪，并调整激光器的角度对鸟类目标进行有针对性的驱离，驱鸟动作执行准确，驱鸟效率高，避免了在无鸟类活动的情况下进行的无效的重复驱鸟动作，可以节省资源，同时整个驱鸟过程可以自动记录，工作过程具有可追溯性，保存下来的驱鸟记录可以供研究人员进行分析研究，总结鸟类活动规律，指定更有效和节能的驱鸟策略，具有科研价值。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于三维信息估算的激光驱鸟方法，其特征是，在可移动平台上设置云台，所述云台上设置双目相机和激光器，所述双目相机包括左目相机和右目相机，包括：

a、采集设定环境内的左目图像和右目图像；

b、基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；

c、根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；

d、根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；

e、根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟。

2.根据权利要求1所述的基于三维信息估算的激光驱鸟方法，其特征是，所述可移动平台包括无人机和地面可移动机器人。

3.根据权利要求1所述的基于三维信息估算的激光驱鸟方法，其特征是，所述激光器设置在所述左目相机和右目相机之间，且激光器的中心、左目相机的中心和右目相机的中心位于同一水平线上。

4.根据权利要求1所述的基于三维信息估算的激光驱鸟方法，其特征是，所述步骤b具体包括：

b1、基于Fast R-CNN构建鸟类目标检测模型，具体包括：

b11、获取鸟类图片集作为训练集，并对训练集设定标签；

b12、对训练集进行候选目标的提取；其中候选目标的提取采用选择性搜索方法；

b13、选定VGG16网络结构，利用VOC数据集进行预训练，得到预训练模型；

b14、将训练集对应的标签以及提取的候选目标作为输入，通过Fast R-CNN对预训练模型进行二次训练，得到最终的鸟类目标检测模型；

b2、将采集的左目图像作为输入，通过构建的鸟类目标检测模型检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息，并使用矩形框标识左目图像中的鸟类目标；

5.根据权利要求4所述的基于三维信息估算的激光驱鸟方法，其特征是，所述VGG16采用softmax分类器做训练，激活函数使用线性整流函数，采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay为0.0001，批量标准化的衰减速率为0.997，池化层采用最大池化方式，同时将最大池化的Padding的模式设为SAME。

6.根据权利要求5所述的基于三维信息估算的激光驱鸟方法，其特征是，所述矩形框的位置为[(u₁,v₁),(u₁+m,v₁+n)]，尺寸为m*n；其中，u₁表示矩形框左上角点的横坐标，v₁表示矩形框左上角点的纵坐标，m表示矩形框的长，n表示矩形框的宽。

7.根据权利要求4所述的基于三维信息估算的激光驱鸟方法，其特征是，所述步骤c具体包括：

c1、根据左目图像中的鸟类目标的位置信息确定该鸟类目标在右目图像中的搜索区域；

c2、基于标识鸟类目标的矩形框尺寸构建滑动窗，滑动窗在右目图像中的搜索区域中滑动；

c3、计算滑动窗所在区域的右目图像与左目图像中鸟类目标矩形框的差异度s(i,v₁)，其计算公式具体如下：

其中，T(m,n)表示左目图像中驱逐目标矩形框中各点的像素值，m表示矩形框的宽，n表示矩形框的高，I(i+m,v₁+n)表示右目图像中从坐标(i,v₁)到(i+m,v₁+n)像素区域的像素值；

滑动窗遍历整个搜索区域，获取右目图像中差异度最小的像素原点坐标(u_min,v_min)，则匹配出的右目图像中驱逐目标的位置为[(u_min,v_min),(u_min+m,v_min+n)]，其中v_min＝v₁。

8.根据权利要求1所述的基于三维信息估算的激光驱鸟方法，其特征是，所述步骤d具体包括：

d1、在左目与右目图像中驱逐目标矩形框中选取九组对应点；

左目图像中九点坐标分别为

右目图像中九点坐标分别为

按顺序分别记为(x_Ri,y_Ri)和(x_Li,y_Li)，i＝1,2,…,9；

d2、计算每组对应点的视差值disparity_i＝x_Ri-x_Li；

d3、分别计算九组对应点的实际三维坐标，计算公式为：

其中，disparity_i表示鸟类目标的视差值，B表示相机标定得到的基距，f表示相机标定得到的相机焦距；

d4、距离相机的候选实际距离d_i，计算公式为：

计算出的九个候选实际距离d_i中，选择出现概率最高的距离作为实际距离d_s,对应的三维坐标为(x_s,y_s,z_s)。

9.根据权利要求8所述的基于三维信息估算的激光驱鸟方法，其特征是，所述步骤e具体为：

e1、根据鸟类目标的三维位置信息计算激光器所需转动的角度，

水平转动角度为：

垂直转动角度为：

e2、根据计算所得的水平转动角度和垂直转动角度调整激光器的方位并发射激光进行驱鸟。

10.一种基于三维信息估算的激光驱鸟系统，其特征是，采用权利要求1～9任一项所述的基于三维信息估算的激光驱鸟方法，包括：

可移动平台，用于搭载双目相机和激光器并按照设定路径进行巡航；

双目相机，用于获取设定路径所处环境的左目图像和右目图像；

第一模块，用于基于Fast R-CNN检测左目图像中是否存在鸟类目标，获取左目图像中的鸟类目标的位置信息；

第二模块，用于根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息；

第三模块，根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值，并根据鸟类目标的视差值获取该鸟类目标的三维位置信息；

云台，用于根据鸟类目标的三维位置信息调整激光器的方位；

激光器，用于发射激光进行驱鸟。

Images