CN114494403A - 一种基于深度学习的贝类目标尺寸快速测量方法 - Google Patents

Abstract

一种基于深度学习的贝类目标尺寸快速测量方法，首先，设计了一种带有不少于四个标识特征点的平面容器，在采集的图像中检测到平面容器的标识特征点后，根据平面投影的单应性，建立其和实际物理标识特征点的映射关系，得到像素坐标转换为实际物理坐标的单应矩阵；其次，采用目标检测的方法得到单个测量目标的矩形框，并根据得到的单应矩阵，可将矩形框的像素坐标转换为实际测量坐标，从而得到单个测量目标的实际尺寸,本发明采用深度学习的方法对角点和测量目标进行检测定位，具有很好的鲁棒性，同时本方法可以移植到手机、平板等移动设备上，通过随意拍摄，就可对目标尺寸、数量进行客观地测量和统计，有效地克服人工测量统计速度慢效率低的不足。

Description

一种基于深度学习的贝类目标尺寸快速测量方法

技术领域

本发明涉及贝类尺寸测量技术领域，具体涉及一种基于深度学习的贝类目标尺寸快速测量方法。

背景技术

贝类海产品使人们比较喜爱的食物之一，随着生活水平的提高，其需求量日益增大，为了提高养殖的质量和产量，养殖人员需要从幼苗到成品，定期对贝类海产品的尺寸进行测量和统计，目前贝类养殖均采用人工测量的统计方法，由于贝类形状及其不规则，手工测量只能近似取其直径进行测量和统计，准确率比较低，同时不能同时对大量的目标进行测量和统计，因此急需一种高效、使用的目标尺寸测量方法。

发明内容

针对上述问题，本发明提供一种基于深度学习的贝类目标尺寸快速测量方法，通过将待测量目标放置在平面容器中，借助平面容器中的标识特征点的物理坐标与采集到图像中的标识特征点像素坐标，得到一个平面到平面透视投影的单应矩阵，根据计算到的单应矩阵，就能够将目标的像素尺寸转化为实际的物理尺寸。

本发明的技术方案如下：

一种基于深度学习的贝类目标尺寸快速测量方法，包括：

步骤1：将待测量的目标放置在平面容器上，使用图像采集设备对平面容器进行图像采集工作；

步骤2：根据采集到的图像进行标识特征点检测，利用图像中平面容器标识特征点的像素坐标与实际平面容器标识特征点的物理坐标之间的关系确定图像平面映射到实际物理平面的单应矩阵；

步骤3：通过定位检测网络对测量目标进行识别以及数量检测，结合单应矩阵以及测量目标的矩形框实现对测量目标的物理尺寸估计。

优选的，所述平面容器为带有若干个标识特征点的平面盘子，进一步的，所述标识特征点的数量不小于4个，标识特征点为带有明显特征的易检测标识。

作为一种优选的方式，所述标识特征点可以为所述固定在所述平面盘子上的角点，且角点的数量选择为4个。

进一步的，所述平面容器边缘为深色边框，所述平面容器中央为有强对比度的浅色区域，所述浅色区域中放置测量目标，通过在平面容器上设置有比较明显的对比区域，更易于放置待测目标，同时可以更加精准快速定位图像中容器标识特征点坐标，有利于后期对测量目标的数量统计与尺寸测量。

如上所述的一种基于深度学习的贝类目标尺寸快速测量方法，所述标识特征点检测算法采用深度学习框架，通过Sigmoid非线性激活函数得到值在0-1之间的热图，所述热图能够展现标识特征点判断的概率。

具体的：在步骤2中，标识特征点检测网络的损失函数采用加权Hausdorff距离，能够保证反向传播过程中损失函数的可微性，具体公式如下：

其中：Ω是真实坐标空间与预测坐标空间内所有的点的合集；

Y是检测目标的实际坐标集合；

P是网络计算得到概率热图；

S＝∑_x∈Ωp_x；

ε＝10^-6；

p_x∈[0,1]是坐标点x处输出的概率值。

一种基于深度学习的贝类目标尺寸快速测量方法，所述步骤3中包括测量目标定位和测量目标尺寸计算，具体的说：

步骤3-1：通过对测量目标定位的方法对目标进行统计测量，获得单个测量目标矩形框的像素坐标；

步骤3-2：通过所述单应矩阵能够将测量目标矩形框的像素坐标转换为实际物理坐标，从而得到单个测量目标的物理估计尺寸。

进一步的，所述步骤3-1中定位检测网络采用联合目标定位检测与数量统计模型，在模型中采用的损失函数定义为：

Loss_Total＝L_heatmap+λ_sizeL_size+λ_ctL_ct

其中,L_heatmap、L_size、、L_ct为三个输出的损失函数，每个损失函数的定义如下：

其中：N为目标中心点的数量；

Y_xyc为测量目标真实值；

为测量目标预测概率；

在Y_xyc、

中xy为测量目标坐标，c为测量目标的类别；

α＝2；

β＝4；

其中：

定义为第k个测量目标的宽和高，

是预测测量目标的宽和高；

L_ct＝|C-C_P|

其中：C、C_p分别为预测的实际和预测的目标数量。

本发明的有益效果在于：

本发明提供了一种基于深度学习的贝类目标尺寸快速测量方法：

(1)在本发明中，根据机器视觉中平面与平面之间映射的单应性，通过检测到的图像像素标识特征点坐标和实际物体标识特征点的物理坐标，计算得到一个平面到平面透视投影的单应矩阵，能够根据测量目标的像素尺寸联合单应矩阵得到测量目标实际的物理尺寸。

(2)在本发明中设计有一个带有4个或4个以上明显特征的标识特征点的平面容器，通过设计的平面容器，可以减少目标随意放置时产生的堆叠，同时在平面容器的边缘和内部采用对比度大的颜色，可以精准快速的定位容器标识特征点和内部放置的测量目标，有助于后续将像素坐标转换为实际物理坐标。

(3)在本发明中，将深度学习网络引入检测平面容器的标识特征点，通过训练模型使标识特征点检测具有较强的稳定性，同时提出一种联合目标定位检测与数量统计的深度学习模型，通过训练取得了较强的稳定性，具备良好的检测效果。

附图说明

通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

在附图中：

图1为本发明中目标尺寸测量方法的流程图；

图2为本发明中目标尺寸检测方法的结构图；

图3为本发明中标识特征点检测网络结构概略图；

图4为本发明中目标检测网络结构概略图；

图5为本发明中目标尺寸计算方法示意图；

图6为本发明中标识特征点检测结果示意图；

图7为本发明中目标检测结果示意图。

具体实施方式

下面将结合附图更详细地描述本公开的示例性实施方式。需要说明，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员，可以以各种形式实现本公开，而不应被这里阐述的实施方式所限制。

本发明中提及的方位“前后”、“左右”等，仅用来表达相对的位置关系，而不受实际应用中任何具体方向参照的约束。

参见图1和图2，一种基于深度学习的贝类目标尺寸快速测量方法，包括：

步骤1：将待测量的目标，放置在平面容器中，通过图像采集设备进行图像采集，采集设备可以为工业摄像机，也可以为便携式设备，例如手机或平板；

在本实施例中，所述平面容器为带有4个标识特征点的平面盘子，其中标识特征点为固定在平面容器四周的角点，所述平面容器边缘为深色边框，所述平面容器中央为有强对比度的浅色区域，所述浅色区域中放置测量目标，通过在平面容器的边缘与内部采用对比度比较大的颜色，更易于检测到放置的测量目标，同时可以更加精准快速定位图像中容器角点坐标，有利于后期对测量目标的数量统计与尺寸测量。

步骤2：根据采集到的图像进行角点检测，利用图像中角点的像素坐标与实际物理角点之间的关系确定图像平面映射到实际物理平面的单应矩阵，其中角点为带有明显特征的易检测标识；

步骤3：根据步骤2得到的单应矩阵，对测量目标进行定位，实现测量目标的尺寸估计。

参见图3，在所述角点检测中，通过角点检测算法，检测采集图像中所述平面容器中的4个角点，结合实际的物理角点，计算相应的单应矩阵。

具体的，假定采集图像中平面容器的四个角点的像素坐标为(u,v)，平面容器的实际物理角点坐标为(x,y)，平面容器的Z坐标可设为O，单应矩阵H定义为：

估计上述矩阵，单应矩阵H有8个自由度，实际上，h₃₃可设为1，但变换时，坐标第3项可能不为1，只需将变换结果各项除第3项，转换为齐次坐标即可，这也是定义公式中有常数c的原因。因此，只需4组对应的点便可计算出单应矩阵，因此在本实施例中角点的数量选择为4个，通过角点检测算法，检测出采集图像中平面容器的4个角点，结合实际的物理角点坐标，计算出单应矩阵，即可将图像平面映射到实际的物理平面，得到目标的物理尺寸。

进一步的，在本实施例中没有考虑相机的畸变系数，但对于近似估算目标的尺寸完全可以满足实际需要，因此不必固定相机的放置距离和焦距，只需在容器上方随意拍摄图像即可，因此本发明可以移植到手机、平板等便携设备上，非常便捷。

进一步的，所述角点检测算法采用深度学习框架，通过Sigmoid非线性激活函数得到值在0-1之间的热图，所述热图能够展现角点判断的概率。

参加图4，所述角点检测网络的损失函数采用加权Hausdorff距离，能够保证反向传播过程中损失函数的可微性，具体公式如下：

其中：Ω是真实坐标空间与预测坐标空间内所有的点的合集；

Y是检测目标的实际坐标集合；

P是网络计算得到概率热图；

S＝∑_x∈Ωp_x；

ε＝10^-6；

p_x∈[0,1]是坐标点x处输出的概率值。

所述步骤3中采用联合目标定位检测与数量统计模型，具体的来说，模型采用深度学习模型作为基础网络，进一步经卷积操作后输出：

1)单通道的热力图用于确定目标的中心点；

2)双通道特征图用于预测目标的宽和高；

3)目标数量。

其中，目标数量的基于对热力图的进一步卷积操作，后经全连接映射卷积生成128维的特征向量，并最终用于目标数量估计。

本模型中采用的损失函数定义为：

Loss_Total＝L_heatmap+λ_sizeL_size+λ_ctL_ct

其中,L_heatmap、L_size、、L_ct为三个输出的损失函数，每个损失函数的定义如下：

其中：N为目标中心点的数量；

Y_xyc为目标真实值；

为目标预测概率；

在Y_xyc、

中xy为测量目标坐标，c为测量目标的类别，以测量目标为贝壳和蛤蜊为例，规定贝壳的类别为1，蛤蜊的类别为2，若测量目标为贝壳时，则c＝1，若测量目标为蛤蜊时，则c＝2。

α＝2；

β＝4；

其中：

定义为第k个目标的宽和高，

是预测的宽和高；

L_ct＝|C-C_P|

其中：C、C_p分别为实际的目标数量和预测的目标数量。

参见图5，在目标实际尺寸计算中，将检测定位的矩形框的4个中点坐标A,B,C,D，使用前述得到的单应矩阵转换到实际物理坐标(单位：mm)，由此可得到目标的最大和最小直径，将其平均得到最终估计的目标尺寸。

以下内容仅为在本实施例中对角点检测网络和测量目标检测网络进行训练的一个实例，不同情况还需具体分析，具体配置：

(1)数据集的设置

采集图像的平面容器尺寸设计为140mm*140mm,测量目标为随机选取的不同大小的扇贝，并在容器上随机放置，摆放形态随意，可以相互相邻接，数据集采用手机进行拍摄，共采集150幅图像，原始分辨率为3024*3024，训练时图像分辨转变为512*512。

在150幅图像中，其中120幅用于训练，30幅用于测试，操作系统为Ubuntu20.04.3，硬件配置为：

CPU Intel Xeon Silver 4210R；

GPU NVIDIA GeForce GTX 3080Ti 12G显存；

RAM 32G；

编程语言为Python，搭建的环境为Pytorch 1.2；

在训练网络模型时，为了加快网络训练速度，本发明采用的网络均先加载主干网络的训练结果参数，并在前50次冻结其更新，随后进行全网络迭代更新。

(2)角点检测

角点检测网络的训练参数如下：批处理大小设为8，采用Adam优化器，初始学习率设置为0.001，每100次epoch更新一次学习率，学习率调整为上一次训练数值的0.5倍，共进行1000回合的训练。

附图6中给出了三组角点检测的样例效果，并在上表中给出了标注角点坐标和预测角点坐标的对比结果。实验结果证明，本发明可以稳定地检测图像角点，并且检测的角点误差在3个像素距离以内，角点检测与手工标注具有较高的一致性。

(3)目标检测与尺寸计算

目标检测网络的参数设置如下：批处理大小设为12。采用Adam优化器，初始学习率设置为0.001，分别在100、200、300、600、800次epoch完成后将学习率调整为原数值的0.5倍，共进行1200回合的训练。为了使矩形框更加贴合目标位置，在训练中加大了目标定位时损失函数λ_size的权重，将其设置为2，λ_ct设为1。

附图7中给出3个样例的目标检测效果图，可以证明本发明能够稳定检测多个测量目标，并且在测量目标相互粘连或少许重叠时，仍然能够准确地定位测量目标和估算测量目标的数量。

	预估尺寸	实际测量[平均值]
			目标1	66.9	68.0×64.0[66.0]
目标2	53.7	57.0×51.0[54.0]
			目标3	45.2	47.0×43.0[45.0]
目标4	58.7	61.0×57.0[59.0]
			目标5	52.6	55.0×50.0[52.5]
目标6	49.3	50.0×47.0[48.5]

表中为在数据集中随机选取一副图像中的目标图像尺寸与人工测量目标大小的结果比对，可以看出测量尺寸的大小几乎都在实际测量的范围内，可以很准确得出测量目标的尺寸大小。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或增减替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习的贝类目标尺寸快速测量方法，其特征包括：

步骤1：将待测量的目标放置在带有不少于4个标识特征点的平面容器上，使用图像采集设备对平面容器进行图像采集工作；

步骤2：通过深度学习网络，对采集到的图像进行标识特征点检测，利用图像中平面容器标识特征点的像素坐标与实际平面容器标识特征点的物理坐标之间的关系确定图像平面映射到实际物理平面的单应矩阵；

步骤3：通过定位检测深度学习网络对测量目标进行识别以及数量检测，结合单应矩阵以及测量目标的矩形框实现测量目标的物理尺寸估计。

2.根据权利要求1所述的一种基于深度学习的贝类目标尺寸快速测量方法，其特征在于，所述平面容器为带有不少于4个标识特征点的盘子，具体地，标识特征点就是易分辨的标识，结合平面映射的单应性，就可将图像中待测量目标的像素坐标转换为实际物理坐标。

3.根据权利要求1所述的一种基于深度学习的贝类目标尺寸快速测量方法，其特征在于，在步骤2中，利用深度学习网络进行标识特征点检测，标识特征点检测网络的损失函数采用加权Hausdorff距离，具体公式如下：

其中：Ω是真实坐标空间与预测坐标空间内所有的点的合集；

Y是检测目标的实际坐标集合；

P是网络计算得到概率热图；

S＝∑_x∈Ωp_x；

ε＝10^-6；

p_x∈[0,1]是坐标点x处输出的概率值。

4.根据权利要求1所述的一种基于深度学习的贝类目标尺寸快速测量方法，其特征在于，所述步骤3中包括测量目标定位和测量目标尺寸计算，具体的说：

步骤3-1：通过对测量目标定位的方法对目标进行统计测量，获得单个测量目标矩形框的像素坐标；

步骤3-2：通过所述单应矩阵能够将像素坐标转换为实际物理坐标，得到单个测量目标的物理估计尺寸。

5.根据权利要求4所述的一种基于深度学习的贝类目标尺寸快速测量方法，其特征在于，所述步骤3-1中包括定位检测网络，采用联合目标定位检测与数量统计模型，本模型中采用的损失函数定义为：

Loss_Total＝L_heatmap+λ_sizeL_size+λ_ctL_ct

其中，L_heatmap、L_size、、L_ct为三个输出的损失函数，每个损失函数的定义如下：

其中：N为目标中心点的数量；

Y_xyc为目标真实值；

为目标预测概率；

Y_xyc、

中xy为测量目标坐标，c为测量目标的类别；

α＝2；

β＝4；

其中：

定义为第k个测量目标的宽和高，

是预测的宽和高；

L_ct＝|C-C_P|

其中：C、C_p分别为实际目标数量和预测的目标数量。

Images