CN112560619A - 一种基于多聚焦图像融合的多距离鸟类精准识别方法 - Google Patents

Abstract

本发明涉及一种基于多聚焦图像融合的多距离鸟类精准识别方法，其采用云台放置双目可见光相机，实时获取可见光的左目和右目相机图像。左目和右目相机针对不同距离鸟类进行聚焦，对获取的左目和右目鸟类图像利用AKAZE算法获得图像的特征点和特征描述子，通过特征匹配和坐标变换，获得双目图像重叠区域图像坐标，并分别将左目和右目图像的该区域分割，对分割的图像进行多聚焦融合，并对输出的融合图像利用CenterNet进行鸟类识别。该方法鸟类识别的准确率较高。

Description

一种基于多聚焦图像融合的多距离鸟类精准识别方法

技术领域

本发明涉及鸟类识别领域，特别涉及一种基于多聚焦图形融合的多距离鸟类图形清晰化的精准识别方法。

背景技术

目前，随着我国电力行业的飞速发展，电网覆盖面积逐渐地扩大，同时随着人们对自然环境认识的提高，不断加强对水土环境的保护，因此鸟类的数量逐年增多，活动的范围也在逐渐扩大，不可避免地为架空输电线路造成了极大地危害，这些危害统称为鸟害事故。经有关部门统计，鸟类活动对输电线路故障的影响仅次于雷击与外力破坏。鸟害越来越威胁着国家电网的正常运行并造成了严峻的局面，因此采取一定的措施减少鸟害故障成为当前的重要任务，然而现有驱鸟设施因结构、工作原理等原因，存在着鸟类的识别的准确率较低的问题，从而存在较大的安全隐患。

中国专利说明书CN201911061559.4提供了一种基于边缘计算的视频监控-激光驱鸟一体化装置及方法，其中的智能控制单元分别与监控摄像头和供电系统连接，但是其摄像头由单目相机组成，焦距固定，获得的鸟类图像清晰度不高，会降低鸟类的识别的准确率。

中国专利说明书CN201922219520.2提供了一种智能视频驱鸟装置及系统，通过拾音器和多普勒雷达探测器单一或者组合进行鸟类识别，由于实际环境的复杂性，可能会将其它物体错判断成鸟类。

中国专利说明书CN201921531497.4提供了一种输电线路综合驱鸟装置，其中的监测模块包括通过电动机连接在蓄电池上的升降轴，以及设置在升降轴上的全景摄像头、红外摄像仪、多普勒雷达。但由于全景摄像头获得的不同距离处鸟类图像清晰度不同，对于清晰度不高的鸟类图像，会降低鸟类识别的准确率。

发明内容

本发明要解决的技术问题是提供一种鸟类识别的准确率较高的基于多聚焦图像融合的多距离鸟类精准识别方法，利用双目相机将不同距离处的鸟类聚焦图像进行融合，从而获得鸟类清晰图像并进行准确识别。

实现本发明目的的技术方案是提供一种基于多聚焦图像融合的多距离鸟类精准识别方法，包括以下步骤：

1)采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像。

2)利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对。

3)通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵。确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像。

4)对步骤3获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合。

5)对步骤4的输出图像利用CenterNet进行鸟类识别。

进一步的，所述步骤1)，采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像，其具体步骤为：

设计云台载体，在云台上放置双目可见光相机，双目可见光相机包括左目相机和右目相机，放置的左目相机和右目相机的中心在同一水平线上，使得获取的左目图像和右目图像大小相等且水平对应；对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像。

进一步的，所述的步骤2)，利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对，其具体步骤为：

2.1)快速显示非线性扩散滤波：通过提升尺度参数作为热扩散函数的散度因子来控制扩散过程描述图像亮度的演化，采用偏微分方程进行求解，通过图像亮度的扩散来构建尺度空间；利用非线性扩散方程表示该过程：

其中L为图像亮度矩阵，div和

分别代表散度和梯度的求解运算，x、y表示图像像素点坐标，t对应尺度因子，通过图像大小梯度控制，t越大，图像的表示越简单；通过在扩散方程中引入传导函数C，可以自适应图像局部结构特性并进行扩散；传导函数的公式定义为

是图像经过高斯函数平滑后的图像梯度；对图像区域扩散平滑引出传导核函数：

其中的参数λ用来控制非线性扩散的程度，决定边缘区域要进行增强且平坦区域滤波的对比度因子；利用快速显示扩散数学框架FED来快速求解偏微分方程；求解过程利用矢量化矩阵进行表示为：

A(Lⁱ)是对图像编码的传导矩阵，τ为显示扩散求解过程中一个恒定的步长，在显式求解的方法中，不断进行循环的n次显示扩散，L⁽ⁱ⁺¹⁾的解将通过前面图像演化Lⁱ与图像的传导函数A(Lⁱ)直接计算出来：

L^(i+1，j+1)＝(I+τ_jA(Lⁱ))L^(i+1，j)|j＝0，1，2，...n-1，

i为当前滤波图像，i+1为上一滤波图像，在整个FED循环中，矩阵A(Lⁱ)始终保持不变；当FED循环结束，算法将会重新计算矩阵A(Lⁱ)的值；

2.2)经过FED策略流程算法后构建非线性尺度空间：设置尺度空间层数O和塔数S参数，不同的层数和塔数用序号o和s表示，通过如下表达式与尺度参数σ对应：

σ_i(o，s)＝σ₀2^o+s/S，o∈[0，...，O-1]，s∈[0，...，T-1]，i∈[0，...，N]，

σ₀表示尺度参数的初始基准值，N表示尺度空间包含的图像总数；尺度空间的每一个尺度参数σ_i都是以像素为单位，需转换至时间单位，通过扩散函数依据时间t_i来进行尺度空间的构建；转换表达式如下：

t_i表示进化时间，利用转化表达式的映射获取一组进化时间值，并通过这些时间值来构造非线性尺度空间；标准差为σ的高斯卷积核和原始图像进行卷积所得的图像与进化时间t_i对应的滤波图像在非线性尺度空间中没有直接联系，需要设置传导函数g₂恒等于1，使得非线性尺度空间就等同于高斯尺度空间；除图像边缘像素外，大部分像素对应的传导函数值随着尺度层级的提升趋于常量；对经过高斯滤波平滑的输入图像，自动计算图像梯度直方图获得对比子λ，一般为70％比例的梯度直方图，再根据一组进化时间，利用FED得到非线性尺度空间的所有图像：

L^(i+1，j+1)＝(I+(t_i+1-t_i)A(Lⁱ))L^(i+1，j)|j＝0，1，2，...n-1，

2.3)特征点提取：通过寻找不同尺度归一化后的Hessian局部极大值点实现；Hessian矩阵的计算公式定义如下：

其中σ是尺度参数σ_i的整数值；L_xx，L_yy表示二阶水平导数和二阶垂直导数，L_xy表示二阶交叉导数；对当前尺度、上一尺度和下一尺度上的滤波图像设置3个大小为σ_i×σ_i的矩形窗口，将一个像素点和它所有的相邻点比较，但为了加快搜索速度可设置窗口大小固定为3×3，搜索空间转换为边长为3像素的立方体，将窗口中间检测点和它同尺度的8个相邻点，以及和上下相邻尺度各对应的9个点一共26个点比较，当其大于它的图像域和尺度域的所有相邻点时，即为极值点；

2.4)特征点描述：

特征点的描述采用M-SURF描述；首先根据特征点的局部图像结构来确定特征点主方向；特征点的尺度参数为σ_i，设置搜索半径为6σ_i，对搜素半径内的所有邻点的计算x方向和y方向的一阶微分，并通过高斯加权，使得越靠近特征点的领点贡献越大；在以6σ_i的搜半径内，以一个角度为60°的扇形滑动窗口内对点集进行矢量求和运算，选取最长矢量作为主方向；以梯度图像特征点为中心在其24σ_i×24σ_i大小的窗口邻域内计算x方向和y方向的偏导数，并将窗口划分成4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域存在2σ_i的交叠带；每一个子区域都用σ₁＝2.5σ_i的高斯核进行加权，可以计算出一个4维的子区域描述向量：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|)，

再通过另一个σ₁＝1.5σ_i的窗口大小为4×4的高斯核，对每个子区域描述向量再进行加权，最后经过归一化处理后，形成一个64维的特征点描述向量；

2.5)对双目相机的左目和右目图像分别进行特征点的提取和描述，选取左目图像中的一个特征点为T，该特征点的M-SURF描述向量为t_i，选取右目图像的一个特征点R，该特征点的M-SURF描述向量为r_i，获得两点的欧式距离：

遍历右目图像的所有特征点，找到与左目图像中特征点T欧氏距离最小的点a和第二小的点b，与特征点T的欧式距离分别为c和d，当c、d的距离比值满足

T取值设置为0.4到0.6之间，满足该关系则可判断特征点a和特征点T为匹配点，利用该方法找出左目和右目图像的所有匹配点对；再利用RANSAC算法剔除外点对应的的误匹配点对，筛选出内点对应的匹配点对。

进一步的，所述的步骤3)通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵。确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像，其具体步骤为：

3.1)根据左目图像和右目图像的特征匹配点对计算得到左目特征点集和右目特征点集对应的仿射变换矩阵Z，Z初始设置为3×3的投影变换矩阵，由于设置的左目相机和右目相机的中心在同一水平线上，得到的双目图像大小相等，对应水平，因此变换矩阵Z设置为包含6个自由度的仿射变换矩阵：

其中h1、h5为x方向和y方向的尺度变换参数，h2、h4为旋转变换参数，h3、h6为平移变换参数；

3.2)以右目图像的特征点集和对应的左目图像特征点集为输入的观测点集，随机选取4对匹配点，设定其为内点，用来计算Z的参数；利用Z测试其余匹配点，若满足该矩阵，并且经过矩阵变换后的对应点与原始匹配点之间的欧式距离小于设定的阈值t，则认为是内点；若得到的内点的数量大于设定的数量阈值d，则认为该仿射变换矩阵合理；重复上述步骤K次进行迭代，K定义为：

p表示迭代过程中从数据集内随机选取出的点均为局内点的概率，即仿射变换矩阵成功的概率，w表示得到的内点数目和整个观测点集的比值；

3.3)最终将得到的内点数量最多的模型定义为最终的仿射变换矩阵Z，得到的变换关系为：

其中x_r、y_r表示右目图像的特征点，x_l、y_l表示左目图像对应的特征点；

3.4)双目相机的左目图像和右目图像存在较大区域的公共部分G，对右目图像该部分每个像素点利用变换矩阵Z可以得到左目图像该部分对应的每个像素点；原始左目图像和右目图像的大小为M×N，将右目图像的图像坐标为(0，0)的像素点代入Z得到左目图像对应像素点B，得到该点对应的图像矩阵坐标为(1，x_b)，则图像公共部分G的宽为(N-x_b)，高为M；得到左目图像公共部分G四个顶点坐标为(1，x_b)、(M，x_b)、(1，N)、(M，N)，右目图像公共部分G四个顶点坐标为(1，1)、(1，N-x_b)、(M，1)、(M，N-x_b)，分割左目图像和右目图像的公共部分，得到同一场景下的不同距离的鸟类聚焦图像；图像大小定义为m×n。

进一步的，所述的步骤4)对步骤3)获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合，其具体步骤为：

4.1)上述得到的两张同一场景下的5米处和10米处的的鸟类聚焦图像分别进行8x8的图像分块，每张图片由64个图像块组成，得到的每一个的图像块的大小为，将两张图像的64个图像块分别存储在相同大小的矩阵E_l和矩阵E_r中，并设置同样大小的空矩阵E_t存放输出图像的图像块；

4.2)分别计算矩阵E_l和矩阵E_r中每一个图像块的空间分辨率SF的值，计算公式定义如下：

RF和CF分别是图像块的列频率和行频率，F表示某一点的像素值；空间分辨率反映图像的清晰程度，SF值越大，图像越清晰；

4.3)比较左目图像和右目图像对应图像块的SF值，取较大SF值对应的图像块作为输出融合图像的图像块，并将该图像块存储在矩阵E_t的对应位置中，若SF值相等，对左目和右目图像块求和取均值作为输出；将左目图像和右目图像共64对对应图像块进行比较，按上述选择规范输出对应图像块作为输出图像图像块，并显示输出最终的多聚焦鸟类融合图像。

进一步的，所述的步骤5)对步骤4)的输出图像利用CenterNet进行鸟类识别，其具体步骤为：

5.1)CenterNet目标识别：以物体中心点作为关键点，中心点看成一个形状未知的anchor，用来预测待识别物体矩形区域的宽和高，对图像中鸟类物体的识别；因此需要先完成关键点预测网络的训练；

标注大量的鸟类图像作为输入的训练集，{(X_n，Y_n)，n＝1，...，N}为标注的鸟类图像关键点坐标位置，鸟类的每个真实关键点p∈R²，R为输出对应的原图的步长，默认采用R的值为4；先计算标注关键点经过四倍下采样得到的低分辨率对应点

通过全卷积网络得到关键点热力图：

C为关键点类型，本方法是对单类鸟类的检测，C设置为1；

并将输入图像的所有真实关键点通过高斯核投射到热力图

上，高斯核公式为：

其中σ_p表示目标尺度自适应的标准方差，关键点训练的损失函数设置为：

其中α和β为目标函数的超参数，设置为2和4，N表示图像关键点的个数；由于输出步长的离散化损失，对每个关键点附加预测局部偏移

该局部偏移的损失函数设置为：

将输入鸟类图像通过该关键点预测网络，得到的热力图峰值坐标即对应鸟类目标的中心在进行鸟类检测时当

表示在当前坐标点(x，y)处检测到了鸟，当

表示在当前坐标点处未检测到鸟；

5.2)尺度预测：(x1，y1，x2，y2)为图像中鸟类的检测框左上角点和右下角点坐标位置，则鸟类中心点位置为：

鸟类的目标大小为：

S_k＝(x2-x1，y2-y1)，

使用单个尺度预测：

对该尺度预测设置的损失函数设置为：

5.3)利用常数平衡各训练函数，得到整体过程的损失函数为：

L_det＝L_k+λ_sizeL_size+λ_offL_off，

λ_size设置为0.1，λ_off设置为1；将步骤5)得到输出图形作为鸟类识别的输入图像，输入图像通过该网络，得到鸟类的中心点和预测宽高，便可得到鸟类目标的位置和图像中的尺寸大小。

本发明具有积极的效果：(1)本发明利用云台装载双目相机，设置左目相机和右目相机中心在同一水平线上，以获得相同大小且图像水平对应的两张图片，便于后续的图像处理操作。

(2)本发明对双目相机进行分别对焦，获得5米处和10米处鸟类的清晰聚焦图像，提高了输入图像中鸟类区域的清晰度。

(3)本发明利用AKAZE算法对左目图像和右目图像进行特征点的检测，利用FED来建立非线性尺度空间要比当下其它的非线性模式建立尺度空间都要快，同时比KAZE方法采用的AOS(加性算子分裂)更加准确。

(4)本发明对左目图像和右目图像的相同区域分割并进行多聚焦图像融合，将5米处和10米处鸟类的聚焦图像融合在一张图片上，获得多距离鸟类的清晰图像并提高了鸟类识别效率和识别准确率。

(5)本发明利用Centernet进行鸟类识别的所有检测的中心点是由热力图的峰值得到的，不需要经过耗时的NMS(非极大值抑制)处理，提高了识别速率。

附图说明

图1为本发明的一种基于多聚焦图像融合的多距离鸟类精准识别方法的流程图；

图2为本发明的云台上设置5米处和10米处鸟类的清晰聚焦图像说明；

图3为本发明的多聚焦图像融合图像块的选择示例；

图4为本发明的CenterNet利用中心点预测鸟类图像区域宽和高的图形说明。

具体实施方式

(实施例1)

本发明的一种基于多聚焦图像融合的多距离鸟类精准识别方法实际流程图如图1所示，具体步骤包括：

步骤1.采用云台为载体，云台上放置双目可见光相机，双目可见光相机包括左目相机和右目相机，两相机参数相同，放置左目相机和右目相机中心设置在同一水平线上，相机距离设置为4～8cm，左目相机和右目相机获得的图像大小均为M×N，且图像水平对应。对双目相机左目和右目相机分别进行调焦，获得5米处和10米处鸟类的清晰聚焦图像，如图2所示。

步骤2.利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对。

2.1)快速显示非线性扩散滤波。通过提升尺度参数作为热扩散函数的散度因子来控制扩散过程描述图像亮度的演化，采用偏微分方程进行求解，通过图像亮度的扩散来构建尺度空间。利用非线性扩散方程表示该过程：

其中L为图像亮度矩阵，div和

分别代表散度和梯度的求解运算，x、y表示图像坐标，t对应尺度因子，通过图像大小梯度控制，t越大，图像的表示越简单。通过在扩散方程中引入传导函数C，可以自适应图像局部结构特性并进行扩散。传导函数的公式定义为

是图像经过高斯函数平滑后的图像梯度。对图像区域扩散平滑引出传导核函数：

其中的参数λ用来控制非线性扩散的程度，决定边缘区域要进行增强且平坦区域滤波的对比度因子。其值越大，保留的边缘信息越少。利用快速显示扩散数学框架FED来快速求解偏微分方程。求解过程利用矢量化矩阵进行表示为：

A(Lⁱ)是对图像编码的传导矩阵，τ为显示扩散求解过程中一个恒定的步长，在显式求解的方法中，不断进行循环的n次显示扩散，L⁽ⁱ⁺¹⁾的解将通过前面图像演化Lⁱ与图像的传导函数A(Lⁱ)直接计算出来：

L^(i+1，j+1)＝(I+τ_jA(Lⁱ))L^(i+1，j)|j＝0，1，2，...n-1，

i为当前滤波图像，i+1为上一滤波图像，在整个FED循环中，矩阵A(Lⁱ)始终保持不变。当FED循环结束，算法将会重新计算矩阵A(Lⁱ)的值。

2.2)经过FED策略流程算法后构建非线性尺度空间。设置尺度空间层数O和塔数S参数，不同的层数和塔数用序号o和s表示，通过如下表达式与尺度参数σ对应：

σ_i(o，s)＝σ₀2^o+s/S，o∈[0，...，O-1]，s∈[0，...，T-1]，i∈[0，...，N]，

σ₀表示尺度参数的初始基准值，N表示尺度空间包含的图像总数。尺度空间的每一个尺度参数σ_i都是以像素为单位，需转换至时间单位，通过扩散函数依据时间t_i来进行尺度空间的构建。转换表达式如下：

t_i表示进化时间，利用转化表达式的映射获取一组进化时间值，并通过这些时间值来构造非线性尺度空间。标准差为σ的高斯卷积核和原始图像进行卷积所得的图像与进化时间t_i对应的滤波图像在非线性尺度空间中没有直接联系，需要设置传导函数g₂恒等于1，使得非线性尺度空间就等同于高斯尺度空间。除图像边缘像素外，大部分像素对应的传导函数值随着尺度层级的提升趋于常量。对经过高斯滤波平滑的输入图像，自动计算图像梯度直方图获得对比子λ，一般为70％比例的梯度直方图，再根据一组进化时间，利用FED得到非线性尺度空间的所有图像：

L^(i+1，j+1)＝(I+(t_i+1-t_i)A(Lⁱ))L^(i+1，j)|j＝0，1，2，..n-1，

2.3)特征点提取。通过寻找不同尺度归一化后的Hessian局部极大值点实现。Hessian矩阵的计算公式定义如下：

其中σ是尺度参数σ_i的整数值。L_xx，L_yy表示二阶水平导数和二阶垂直导数，L_xy表示二阶交叉导数。对当前尺度、上一尺度和下一尺度上的滤波图像设置3个大小为σ_i×σ_i的矩形窗口，将一个像素点和它所有的相邻点比较，但为了加快搜索速度可设置窗口大小固定为3×3，搜索空间转换为边长为3像素的立方体，将窗口中间检测点和它同尺度的8个相邻点，以及和上下相邻尺度各对应的9个点一共26个点比较，当其大于它的图像域和尺度域的所有相邻点时，即为极值点。

2.4)特征点描述。

特征点的描述采用M-SURF描述。首先根据特征点的局部图像结构来确定特征点主方向。特征点的尺度参数为σ_i，设置搜索半径为6σ_i，对搜素半径内的所有邻点的计算x方向和y方向的一阶微分，并通过高斯加权，使得越靠近特征点的领点贡献越大。在以6σ_i的搜半径内，以一个角度为60°的扇形滑动窗口内对点集进行矢量求和运算，选取最长矢量作为主方向。以梯度图像特征点为中心在其24σ_i×24σ_i大小的窗口邻域内计算x方向和y方向的偏导数，并将窗口划分成4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域存在2σ_i的交叠带。。每一个子区域都用σ₁＝2.5σ_i的高斯核进行加权，可以计算出一个4维的子区域描述向量：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|)，

再通过另一个σ₁＝1.5σ_i的窗口大小为4×4的高斯核，对每个子区域描述向量再进行加权，最后经过归一化处理后，形成一个64维的特征点描述向量。

2.5)对双目相机的左目和右目图像分别进行特征点的提取和描述，选取左目图像中的一个特征点为T，该特征点的M-SURF描述向量为t_i，选取右目图像的一个特征点R，该特征点的M-SURF描述向量为r_i，获得两点的欧式距离：

遍历右目图像的所有特征点，找到与左目图像中特征点T欧氏距离最小的点a和第二小的点b，与特征点T的欧式距离分别为c和d，当c、d的距离比值满足

T取值设置为0.4到0.6之间，满足该关系则可判断特征点a和特征点T为匹配点，利用该方法找出左目和右目图像的所有匹配点对。再利用RANSAC算法剔除外点对应的的误匹配点对，筛选出内点对应的匹配点对。

步骤3.通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵。确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像。

3.1)根据左目图像和右目图像的特征匹配点对计算得到左目特征点集和右目特征点集对应的仿射变换矩阵Z，Z初始设置为3×3的投影变换矩阵，由于设置的左目相机和右目相机的中心在同一水平线上，得到的双目图像大小相等，对应水平，因此变换矩阵Z设置为包含6个自由度的仿射变换矩阵：

其中h1、h5为x方向和y方向的尺度变换参数，h2、h4为旋转变换参数，h3、h6为平移变换参数。

3.2)以右目图像的特征点集和对应的左目图像特征点集为输入的观测点集，随机选取4对匹配点，设定其为内点，用来计算Z的参数。利用Z测试其余匹配点，若满足该矩阵，并且经过矩阵变换后的对应点与原始匹配点之间的欧式距离小于设定的阈值t，则认为是内点。若得到的内点的数量大于设定的数量阈值d，则认为该仿射变换矩阵合理。重复上述步骤K次进行迭代，K定义为：

p表示迭代过程中从数据集内随机选取出的点均为局内点的概率，即仿射变换矩阵成功的概率，w表示得到的内点数目和整个观测点集的比值。

3.3)最终将得到的内点数量最多的模型定义为最终的仿射变换矩阵Z，得到的变换关系为：

其中x_r、y_r表示右目图像的特征点，x_l、y_l表示左目图像对应的特征点。

3.4)双目相机的左目图像和右目图像存在较大区域的公共部分G，对右目图像该部分每个像素点利用变换矩阵Z可以得到左目图像该部分对应的每个像素点。原始左目图像和右目图像的大小为M×N，将右目图像的图像坐标为(0，0)的像素点代入Z得到左目图像对应像素点B，得到该点对应的图像矩阵坐标为(1，x_b)，则图像公共部分G的宽为(N-x_b)，高为M。得到左目图像公共部分G四个顶点坐标为(1，x_b)、(M，x_b)、(1，N)、(M，N)，右目图像公共部分G四个顶点坐标为(1，1)、(1，N-x_b)、(M，1)、(M，N-x_b)，分割左目图像和右目图像的公共部分，得到同一场景下的不同距离的鸟类聚焦图像。图像大小定义为m×n。

步骤4.对上述步骤获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合。

4.1)上述得到的两张同一场景下的5米处和10米处的的鸟类聚焦图像分别进行8x8的图像分块，每张图片由64个图像块组成，得到的每一个的图像块的大小为，将两张图像的64个图像块分别存储在相同大小的矩阵E_l和矩阵E_r中，并设置同样大小的空矩阵E_t存放输出图像的图像块。

4.2)分别计算矩阵E_l和矩阵E_r中每一个图像块的空间分辨率SF的值，计算公式定义如下：

RF和CF分别是图像块的列频率和行频率，F表示某一点的像素值。空间分辨率反映图像的清晰程度，SF值越大，图像越清晰。

4.3)比较左目图像和右目图像对应图像块的SF值，取较大SF值对应的图像块作为输出融合图像的图像块，并将该图像块存储在矩阵E_t的对应位置中，若SF值相等，对左目和右目图像块求和取均值作为输出，如图2所示。将左目图像和右目图像共64对对应图像块进行比较，按上述选择规范输出对应图像块作为输出图像图像块，并显示输出最终的多聚焦鸟类融合图像。

步骤5.对上述步骤的输出图像利用CenterNet进行鸟类识别。

5.1)CenterNet目标识别以物体中心点作为关键点，中心点看成一个形状未知的anchor，用来预测待识别物体矩形区域的宽和高，对图像中鸟类物体的识别如图3所示。因此需要先完成关键点预测网络的训练。

标注大量的鸟类图像作为输入的训练集，{(X_n，Y_n)，n＝1，...，N}为标注的鸟类图像关键点坐标位置，鸟类的每个真实关键点p∈R²，R为输出对应的原图的步长，默认采用R的值为4。先计算标注关键点经过四倍下采样得到的低分辨率对应点

通过全卷积网络得到关键点热力图：

C为关键点类型，本方法是对单类鸟类的检测，C设置为1。

并将输入图像的所有真实关键点通过高斯核投射到热力图

上，高斯核公式为：

其中σ_p表示目标尺度自适应的标准方差，关键点训练的损失函数设置为：

其中α和β为目标函数的超参数，设置为2和4，N表示图像关键点的个数。由于输出步长的离散化损失，对每个关键点附加预测局部偏移

该局部偏移的损失函数设置为：

将输入鸟类图像通过该关键点预测网络，得到的热力图峰值坐标即对应鸟类目标的中心在进行鸟类检测时当

表示在当前坐标点(x，y)处检测到了鸟，当

表示在当前坐标点处未检测到鸟。

5.2)尺度预测。(x1，y1，x2，y2)为图像中鸟类的检测框左上角点和右下角点坐标位置，则鸟类中心点位置为：

鸟类的目标大小为：

S_k＝(x2-x1，y2-y1)，

使用单个尺度预测：

对该尺度预测设置的损失函数设置为：

5.3)利用常数平衡各训练函数，得到整体过程的损失函数为：

L_det＝L_k+λ_sizeL_size+λ_offL_off，

λ_size设置为0.1，λ_off设置为1。将步骤5得到输出图形作为鸟类识别的输入图像，输入图像通过该网络，得到鸟类的中心点和预测宽高，便可得到鸟类目标的位置和图像中的尺寸大小。

显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (6)

1.一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于，包括以下步骤：

1)采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像；

2)利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对；

3)通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵；确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像；

4)对步骤3)获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合；

5)对步骤4)的输出图像利用CenterNet进行鸟类识别。

2.根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述步骤1)，采用云台放置双目可见光相机，对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像，其具体步骤为：

设计云台载体，在云台上放置双目可见光相机，双目可见光相机包括左目相机和右目相机，放置的左目相机和右目相机的中心在同一水平线上，使得获取的左目图像和右目图像大小相等且水平对应；对左目和右目相机分别进行调焦，获得5米处和10米处的聚焦图像，双目相机实时拍摄图像。

3.根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述的步骤2)，利用AKAZE算法对获取的双目相机图像进行特征点的检测和特征点的描述，匹配特征点对，其具体步骤为：

2.1)快速显示非线性扩散滤波：通过提升尺度参数作为热扩散函数的散度因子来控制扩散过程描述图像亮度的演化，采用偏微分方程进行求解，通过图像亮度的扩散来构建尺度空间；利用非线性扩散方程表示该过程：

其中L为图像亮度矩阵，div和

分别代表散度和梯度的求解运算，x、y表示图像像素点坐标，t对应尺度因子，通过图像大小梯度控制，t越大，图像的表示越简单；通过在扩散方程中引入传导函数C，可以自适应图像局部结构特性并进行扩散；传导函数的公式定义为

是图像经过高斯函数平滑后的图像梯度；对图像区域扩散平滑引出传导核函数：

其中的参数λ用来控制非线性扩散的程度，决定边缘区域要进行增强且平坦区域滤波的对比度因子；利用快速显示扩散数学框架FED来快速求解偏微分方程；求解过程利用矢量化矩阵进行表示为：

A(Lⁱ)是对图像编码的传导矩阵，τ为显示扩散求解过程中一个恒定的步长，在显式求解的方法中，不断进行循环的n次显示扩散，L⁽ⁱ⁺¹⁾的解将通过前面图像演化Lⁱ与图像的传导函数A(Lⁱ)直接计算出来：

L^(i+1，j+1)＝(I+τ_jA(Lⁱ))L^(i+1，j)|j＝0，1，2，...n-1，

i为当前滤波图像，i+1为上一滤波图像，在整个FED循环中，矩阵A(Lⁱ)始终保持不变；当FED循环结束，算法将会重新计算矩阵A(Lⁱ)的值；

2.2)经过FED策略流程算法后构建非线性尺度空间：设置尺度空间层数O和塔数S参数，不同的层数和塔数用序号o和s表示，通过如下表达式与尺度参数σ对应：

σ_i(o，s)＝σ₀2^o+s/S，o∈[0，...，O-1]，s∈[0，...，T-1]，i∈[0，...，N]，

σ₀表示尺度参数的初始基准值，N表示尺度空间包含的图像总数；尺度空间的每一个尺度参数σ_i都是以像素为单位，需转换至时间单位，通过扩散函数依据时间t_i来进行尺度空间的构建；转换表达式如下：

t_i表示进化时间，利用转化表达式的映射获取一组进化时间值，并通过这些时间值来构造非线性尺度空间；标准差为σ的高斯卷积核和原始图像进行卷积所得的图像与进化时间t_i对应的滤波图像在非线性尺度空间中没有直接联系，需要设置传导函数g₂恒等于1，使得非线性尺度空间就等同于高斯尺度空间；除图像边缘像素外，大部分像素对应的传导函数值随着尺度层级的提升趋于常量；对经过高斯滤波平滑的输入图像，自动计算图像梯度直方图获得对比子λ，一般为70％比例的梯度直方图，再根据一组进化时间，利用FED得到非线性尺度空间的所有图像：

L^(i+1，j+1)＝(I+(t_i+1-t_i)A(Lⁱ))L^(i+1，j)|j＝0，1，2，...n-1，

2.3)特征点提取：通过寻找不同尺度归一化后的Hessian局部极大值点实现；Hessian矩阵的计算公式定义如下：

其中σ是尺度参数σ_i的整数值；L_xx，L_yy表示二阶水平导数和二阶垂直导数，L_xy表示二阶交叉导数；对当前尺度、上一尺度和下一尺度上的滤波图像设置3个大小为σ_i×σ_i的矩形窗口，将一个像素点和它所有的相邻点比较，但为了加快搜索速度可设置窗口大小固定为3×3，搜索空间转换为边长为3像素的立方体，将窗口中间检测点和它同尺度的8个相邻点，以及和上下相邻尺度各对应的9个点一共26个点比较，当其大于它的图像域和尺度域的所有相邻点时，即为极值点；

2.4)特征点描述：

特征点的描述采用M-SURF描述；首先根据特征点的局部图像结构来确定特征点主方向；特征点的尺度参数为σ_i，设置搜索半径为6σ_i，对搜素半径内的所有邻点的计算x方向和y方向的一阶微分，并通过高斯加权，使得越靠近特征点的领点贡献越大；在以6σ_i的搜半径内，以一个角度为60°的扇形滑动窗口内对点集进行矢量求和运算，选取最长矢量作为主方向；以梯度图像特征点为中心在其24σ_i×24σ_i大小的窗口邻域内计算x方向和y方向的偏导数，并将窗口划分成4×4个子区域，每个子区域大小为9σ_i×9σ_i，相邻的子区域存在2σ_i的交叠带；每一个子区域都用σ₁＝2.5σ_i的高斯核进行加权，可以计算出一个4维的子区域描述向量：

d_v＝(∑L_x，∑L_y，∑|L_x|，∑|L_y|)，

再通过另一个σ₁＝1.5σ_i的窗口大小为4×4的高斯核，对每个子区域描述向量再进行加权，最后经过归一化处理后，形成一个64维的特征点描述向量；

2.5)对双目相机的左目和右目图像分别进行特征点的提取和描述，选取左目图像中的一个特征点为T，该特征点的M-SURF描述向量为t_i，选取右目图像的一个特征点R，该特征点的M-SURF描述向量为r_i，获得两点的欧式距离：

遍历右目图像的所有特征点，找到与左目图像中特征点T欧氏距离最小的点a和第二小的点b，与特征点T的欧式距离分别为c和d，当c、d的距离比值满足

T取值设置为0.4到0.6之间，满足该关系则可判断特征点a和特征点T为匹配点，利用该方法找出左目和右目图像的所有匹配点对；再利用RANSAC算法剔除外点对应的的误匹配点对，筛选出内点对应的匹配点对。

4.根据根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述的步骤3)通过特征点坐标变换得到左目图像和右目图像匹配特征点的仿射变换矩阵；确定左目图像和右目图像重叠区域坐标，并分别对左目图像和右目图像的该区域进行分割，获得同一场景下的5米处和10米处鸟类聚焦图像，其具体步骤为：

3.1)根据左目图像和右目图像的特征匹配点对计算得到左目特征点集和右目特征点集对应的仿射变换矩阵Z，Z初始设置为3×3的投影变换矩阵，由于设置的左目相机和右目相机的中心在同一水平线上，得到的双目图像大小相等，对应水平，因此变换矩阵Z设置为包含6个自由度的仿射变换矩阵：

其中h1、h5为x方向和y方向的尺度变换参数，h2、h4为旋转变换参数，h3、h6为平移变换参数；

3.2)以右目图像的特征点集和对应的左目图像特征点集为输入的观测点集，随机选取4对匹配点，设定其为内点，用来计算Z的参数；利用Z测试其余匹配点，若满足该矩阵，并且经过矩阵变换后的对应点与原始匹配点之间的欧式距离小于设定的阈值t，则认为是内点；若得到的内点的数量大于设定的数量阈值d，则认为该仿射变换矩阵合理；重复上述步骤K次进行迭代，K定义为：

p表示迭代过程中从数据集内随机选取出的点均为局内点的概率，即仿射变换矩阵成功的概率，w表示得到的内点数目和整个观测点集的比值；

3.3)最终将得到的内点数量最多的模型定义为最终的仿射变换矩阵Z，得到的变换关系为：

其中x_r、y_r表示右目图像的特征点，x_l、y_l表示左目图像对应的特征点；

3.4)双目相机的左目图像和右目图像存在较大区域的公共部分G，对右目图像该部分每个像素点利用变换矩阵Z可以得到左目图像该部分对应的每个像素点；原始左目图像和右目图像的大小为M×N，将右目图像的图像坐标为(0，0)的像素点代入Z得到左目图像对应像素点B，得到该点对应的图像矩阵坐标为(1，x_b)，则图像公共部分G的宽为(N-x_b)，高为M；得到左目图像公共部分G四个顶点坐标为(1，x_b)、(M，x_b)、(1，N)、(M，N)，右目图像公共部分G四个顶点坐标为(1，1)、(1，N-x_b)、(M，1)、(M，N-x_b)，分割左目图像和右目图像的公共部分，得到同一场景下的不同距离的鸟类聚焦图像；图像大小定义为m×n。

5.根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述的步骤4)对步骤3)获得的两张同一场景下的5米处和10米处的鸟类聚焦图像进行多焦距融合，其具体步骤为：

4.1)上述得到的两张同一场景下的5米处和10米处的的鸟类聚焦图像分别进行8x8的图像分块，每张图片由64个图像块组成，得到的每一个的图像块的大小为，将两张图像的64个图像块分别存储在相同大小的矩阵E_l和矩阵E_r中，并设置同样大小的空矩阵E_t存放输出图像的图像块；

4.2)分别计算矩阵E_l和矩阵E_r中每一个图像块的空间分辨率SF的值，计算公式定义如下：

RF和CF分别是图像块的列频率和行频率，F表示某一点的像素值；空间分辨率反映图像的清晰程度，SF值越大，图像越清晰；

4.3)比较左目图像和右目图像对应图像块的SF值，取较大SF值对应的图像块作为输出融合图像的图像块，并将该图像块存储在矩阵E_t的对应位置中，若SF值相等，对左目和右目图像块求和取均值作为输出；将左目图像和右目图像共64对对应图像块进行比较，按上述选择规范输出对应图像块作为输出图像图像块，并显示输出最终的多聚焦鸟类融合图像。

6.根据权利要求1所述的一种基于多聚焦图像融合的多距离鸟类精准识别方法，其特征在于：所述的步骤5)对步骤4)的输出图像利用CenterNet进行鸟类识别，其具体步骤为：

5.1)CenterNet目标识别：以物体中心点作为关键点，中心点看成一个形状未知的anchor，用来预测待识别物体矩形区域的宽和高，对图像中鸟类物体的识别；因此需要先完成关键点预测网络的训练；

标注大量的鸟类图像作为输入的训练集，{(X_n，Y_n)，n＝1，...，N}为标注的鸟类图像关键点坐标位置，鸟类的每个真实关键点p∈R²，R为输出对应的原图的步长，默认采用R的值为4；先计算标注关键点经过四倍下采样得到的低分辨率对应点

通过全卷积网络得到关键点热力图：

C为关键点类型，本方法是对单类鸟类的检测，C设置为1；

并将输入图像的所有真实关键点通过高斯核投射到热力图

上，高斯核公式为：

其中σ_p表示目标尺度自适应的标准方差，关键点训练的损失函数设置为：

其中α和β为目标函数的超参数，设置为2和4，N表示图像关键点的个数；由于输出步长的离散化损失，对每个关键点附加预测局部偏移

该局部偏移的损失函数设置为：

将输入鸟类图像通过该关键点预测网络，得到的热力图峰值坐标即对应鸟类目标的中心在进行鸟类检测时当

表示在当前坐标点(x，y)处检测到了鸟，当

表示在当前坐标点处未检测到鸟；

5.2)尺度预测：(x1，y1，x2，y2)为图像中鸟类的检测框左上角点和右下角点坐标位置，则鸟类中心点位置为：

鸟类的目标大小为：

S_k＝(x2-x1，y2-y1)，

使用单个尺度预测：

对该尺度预测设置的损失函数设置为：

5.3)利用常数平衡各训练函数，得到整体过程的损失函数为：

L_det＝L_k+λ_sizeL_size+λ_offL_off，

λ_size设置为0.1，λ_off设置为1；将步骤5)得到输出图形作为鸟类识别的输入图像，输入图像通过该网络，得到鸟类的中心点和预测宽高，便可得到鸟类目标的位置和图像中的尺寸大小。

Images