CN114677322A - 基于注意力引导点云特征学习的奶牛体况自动评分方法 - Google Patents

Abstract

本发明涉及奶牛体况自动评分方法技术领域，具体为基于注意力引导点云特征学习的奶牛体况自动评分方法，在数据采集过程中，从两个牧场随机选取奶牛进行背部数据的采集，采集背部深度图像，利用采集到的深度图像中所包含的深度信息，即深度帧数据，结合相机内置参数，生成奶牛背部点云。该基于注意力引导点云特征学习的奶牛体况自动评分方法，将奶牛背部后躯区域作为感兴趣区域进行提取，进行归一化、降采样与特征放大处理，最后，利用注意力引导的点云特征提取网络进行感兴趣区域的特征提取，并完成奶牛的体况评分，本发明能够更好的提取作为奶牛体况评分感兴趣区域的三维特征，并提升奶牛体况评分的精度。

Description

基于注意力引导点云特征学习的奶牛体况自动评分方法

技术领域

本发明涉及奶牛体况自动评分方法技术领域，具体为基于注意力引导点云特征学习的奶牛体况自动评分方法。

背景技术

体况评分(Body Condition Score,BCS)可以反映作为能量储备的奶牛皮下脂肪的相对含量，其评估通常基于牛背部组织覆盖和骨盆骨突出的外观。在现代牧场经营过程中，BCS可以判断奶牛营养分配是否合理，还可以评价产奶量、繁殖性能和健康状况等。BCS一般采用5分制，增量为0.25，其中BCS 为1分表示奶牛极度瘦弱，BCS为5分表示奶牛严重肥胖。

随着智能传感技术和计算机视觉技术的发展，非接触式奶牛体况自动评分方法得到了研究，在评分的自动化程度与精度上都有所提升。

国内外关于非接触式奶牛体况自动评分方法的现有研究，数据形式有二维形式与三维形式，特征提取方式有传统人工特征提取与深度学习两种。对于手工提取二维图像特征方法，Bewley等使用2D相机进行数据的采集，从捕获到的图像中手动标记解剖点以描述奶牛轮廓，并从中获得钩角，尾部凹陷等体况评分所需的重要指标，使用回归机对各参数进行拟合进行BCS的估计，对于手工提取三维特征方法，Thi等使用3D相机，将图像处理技术和回归模型引入到评分系统中，在奶牛背部设置两个感兴趣区域，在两区域分别提取不同指标构建回归模型，以上方法虽有较高的准确率，但特征的设置与提取均由人工参与进行，导致其在复杂场景下鲁棒性不高，对于深度学习自动提取二维图像特征的方法，Juan等在获取深度图像的边缘并对深度图像进行傅里叶变换后，将二者与深度图像叠加作为网络的输入，使用轻量级神经网络 SqueezeNet进行训练，得出体况自动评分模型，但二维图像不能很好的表示作为奶牛体况自动评分感兴趣区域的三维信息，也不能更好的提取三维特征。

发明内容

为实现上述目的，本发明提供如下技术方案。

基于注意力引导点云特征学习的奶牛体况自动评分方法，包括以下

步骤：

S1：数据采集：

从两个牧场随机选取奶牛进行背部数据的采集，采集奶牛背部深度图像。

S2：点云数据转化：

利用采集到的深度图像中所包含的深度信息，即深度帧数据，结合相机内置参数，生成奶牛背部点云，并进行保存。

S3：感兴趣区域的提取：

依次遍历点云数据内的点，获取到X轴方向的最大值与最小值的两点，利用两点连线将奶牛前躯部分去除，从而获取到作为感兴趣区域的奶牛背部后躯区域。

S4：点云数据归一化：

依据点云XYZ三方向的最小值进行平移，并将点云归一化至以原点为中心的边长为1的立方体中。

S5：降采样：

为输入点云创建3D体素网格，在每个体素中计算体素内所有点的质心，用质心代替同一个体素内的所有点。

S6：特征放大：

将Z轴坐标值放大1.25倍。

S7：法向量计算：

使用基于局部表面拟合的方法进行法向量的估计，并将X,Y,Z三方向的法向量加入到每个点的特征中。

优选的，步骤S1中，在数据采集过程中，本实验数据采集设备使用具有彩色，红外和深度三个摄像头的深度传感器，相机深度摄像头分辨率为 1280*720p，工作高度范围为1.5m～5m。

优选的，步骤S2中，在数据处理过程中，采用半径滤波方法，通过设置给定半径邻域内包含点的个数作为阈值进行滤波操作。

优选的，步骤S3中，在感兴趣区域提取过程中，将奶牛后躯区域作为感兴趣区域并进行提取，而奶牛背部前后躯以髋关节连线为明显的界限。

优选的，步骤S4中，在感兴趣区域点云处理过程中将奶牛背部后躯点云进行平移与归一化处理。

优选的，步骤S5中，在降采样过程中，采用体素栅格滤波对后躯点云进行降采样。

优选的，步骤S6中，通过放大Z轴坐标值凸显奶牛的背部凹凸特征。

优选的，步骤S7中，使用基于局部表面拟合的方法进行法向量的估计，基于某一个点的k个近邻点计算一个最小二乘意义上的局部平面XOY，平面 XOY的法向量n_i可视为该点的法向量。

与现有技术相比，本发明提供了基于注意力引导点云特征学习的奶牛体况自动评分方法，具备以下有益效果：

1、该基于注意力引导点云特征学习的奶牛体况自动评分方法，将奶牛背部后躯区域作为感兴趣区域进行提取，进行归一化、降采样与特征放大处理，最后，利用注意力引导的点云特征提取网络进行特征提取，并完成奶牛的体况评分模型的构建，本发明能够更好的提取作为奶牛体况评分感兴趣区域的三维特征，并提升奶牛体况评分的精度。

2、该基于注意力引导点云特征学习的奶牛体况自动评分方法，与图像相比，通过利用点云直接记录目标表面各个位置的坐标值，能够更加直接表达出研究对象的三维信息对物体的表示，简单，稀疏且准确，并且弥补了图像对曲面变换特征的缺失，通过利用奶牛背部感兴趣区域的三维点云表示作为输入，使用注意力引导的点云特征提取网络对奶牛背部的特征进行提取，提升奶牛体况自动评分的精度。

3、该基于注意力引导点云特征学习的奶牛体况自动评分方法，本方法采用的数据为点云数据，一种三维数据的表示形式，目前尚未被应用在奶牛体况自动评分的研究上，通过滤波，平移，下采样与感兴趣区域的提取等数据处理操作后，构建体况评分模型训练所需的数据集。

4、该基于注意力引导点云特征学习的奶牛体况自动评分方法，相比于手工特征提取的方法，深度学习的评分方法无需手动设计图像特征，而是通过神经网络对特征进行自动提取，无需人工干预。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为本发明流程总图；

图2为本发明半径滤波原理示意图；

图3为本发明由深度图转换生成的点云图；

图4为本发明滤波结果图；

图5为本发明感兴趣区域定位示意图；

图6为本发明感兴趣区域示意图；

图7为本发明平移处理结果图；

图8为本发明降采样结果图；

图9为本发明法向量计算示意图；

图10为本发明PointNet++网络结构示意图；

图11为本发明注意力引导计算过程示意图；

图12为本发明PointNet层网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1-12，基于注意力引导点云特征学习的奶牛体况自动评分

方法，包括以下步骤：

S1：数据采集：

从两个牧场随机选取奶牛进行背部数据的采集，采集背部深度图像。

S2：点云数据转化：

利用采集到的深度图像中所包含的深度信息，即深度帧数据，结合相机内置参数，生成奶牛背部点云，并进行保存。

S3：感兴趣区域的提取：

依次遍历点云内的点，在获取到X坐标最大和最小的两个点后，利用两点连线将奶牛前躯部分去除，从而获取到作为感兴趣区域的奶牛背部后躯区域

S4：点云数据归一化：

依据点云XYZ三方向的最小值进行平移，并将点云归一化至以原点为中心的边长为1的立方体中。

S5：降采样：

为输入点云创建3D体素网格，在每个体素中计算体素内所有点的质心，用质心代替同一个体素内的所有点。

S6：特征放大：

将Z轴坐标值放大1.25倍。

S7：法向量计算：

将点云中点的X,Y,Z三方向的法向量加入到每个点的特征中，使用基于局部表面拟合的方法进行法向量的估计。

步骤S1中，在数据采集过程中，本实验数据采集设备使用具有彩色，红外和深度三个摄像头的深度传感器，相机深度摄像头分辨率为1280*720p，适用高度范围为1.5m～5m，采集的奶牛数量为512头，采集背部深度图像共计 3660张，步骤S2中，在数据转化过程中，采用半径滤波方法，通过设置给定半径邻域内包含点的个数作为阈值进行滤波操作，生成奶牛背部点云，并以.pcd格式进行保存，步骤S3中，在感兴趣区域提取过程中，将奶牛后躯区域作为感兴趣区域并进行提取，而奶牛背部前后躯以髋关节连线为明显的界限，步骤S4中，在感兴趣区域点云处理过程中将奶牛背部后躯点云进行平移与归一化处理，步骤S5中，在降采样过程中，采用体素栅格滤波对后躯点云进行降采样，步骤S6中，通过放大Z轴坐标值体现奶牛的背部凹凸特征，步骤S7中，在法向量计算过程中，使用基于局部表面拟合的方法进行法向量的估计，基于某一个点的k个近邻点计算一个最小二乘意义上的局部平面XOY，平面XOY的法向量n_i可视为该点的法向量。

本发明选择点云特征提取网络PointNet++进行三维特征的提取， PointNet++网络引入了层级结构，由一系列Set Abstraction Levels组成， Set Abstraction Levels又由Sampling layer,Grouping layer和PointNet layer三层组成，PointNet++的网络结构如图6所示。

其中，Sampling layer使用最远点采样法选择每一个区域的中心点，可以保证对样本的均匀采样，最远点采样法的实现，首先是对于一个有N个点的输入点云，从中选取点P₀作为初始点构建采样集合S＝{P₀}；通过计算除P₀外的点到P₀点的距离，选择距离P₀最大值的点作为P₁加入采样集合S中， S＝{P₀,P₁}；再计算剩余的点与点集中点的距离，取最小值作为该该点到点集的距离，计算出所有点到点集的距离后，取距离最大的点P₂加入采样集合中， S＝{P₀,P₁,P₂}，重复本步骤，直到采样到目标数量的点，在选择好中心点后，Grouping layer使用ball query得到以该点为中心的区域点集。

PointNet Layer使用PointNet网络对该感兴趣区域内的区域进行特征提取，网络结构如图所示。由于点云数据具有无序性以及旋转性，故传统二维图像的卷积方法对点云数据来说并不适用，为解决点云的两个特性所带来的问题，PointNet使用空间变换网络(STN，Spacial Transform Network)学习点云本身的位置信息得到一个有利于分类的旋转矩阵来解决旋转问题，通过使用MaxPooling对称函数来解决无序性的问题，PointNet主要通过多层感知机与最大池化提取特征，首先，将点云输入到一个T-Net网络中进行空间变换解决旋转问题，输出的点云利用多层感知机(MLP,Multi-Layer Perceptron)将点云特征维度升至64，再进行一次空间变换与两个MLP层升至1024，使用Max Pooling进行全局特征的提取。

注意力机制可以从大量信息中筛选出重要信息，并可以在训练时聚焦在这些重要的信息上，在计算机视觉领域，注意力机制有不同形式的实现，现有的注意力机制方法可大致分为两种：Soft attention与Hard attention， Hard attention对于输入数据，指定部分区域是否被关注，关注给定权重为 1，否则为0；而本发明选择的Soft attention本质上是一个[0,1]间的连续分布问题，根据受关注的程度对不同区域赋予[0,1]区间内不同的权重值。

注意力机制的计算过程可分为两步，首先进行权重系数计算，其次根据权重系数对每个点进行加权，其中第一步可分为两个阶段，相似性计算与归一化，本发明选择点积注意力进行注意力机制的计算，首先通过点积方法来计算两点之间的相似性，实现过程下式所示。

Similarity(p_i，p_j)＝p_i·p_j/L

其中，p_i和p_j为点云中的点(i，j＝1,2，…，N)，L为缩放因子，其目的消除在点积增大时Softmax函数被推入梯度极小的区域效果，在得到p_i与p_j (i，j＝1,2，…，N)的相似性后，利用Softmax函数将其转化为概率分布，即权重值，最后将权重值与输入进行相乘，如下式所示。

最后利用注意力引导的点云特征提取网络提取奶牛背部三维特征并构建奶牛体况自动评分模型。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素，在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：包括以下步骤：

S1：数据采集：

从两个牧场随机选取奶牛进行背部数据的采集，采集奶牛背部深度图像；

S2：点云数据转化：

利用采集到的深度图像中所包含的深度信息，即深度帧数据，结合相机内置参数，生成奶牛背部点云，并进行保存；

S3：感兴趣区域的提取：

依次遍历点云内的点，在获取到X坐标最大和最小的两个点后，利用两点连线将奶牛前躯部分去除，从而获取到作为感兴趣区域的奶牛背部后躯区域；

S4：点云数据归一化：

依据点云X,Y,Z三方向坐标的最小值进行平移，并将点云归一化至以原点为中心的边长为1的立方体中；

S5：降采样：

为输入点云创建3D体素栅格，在每个体素栅格中计算体素栅格内所有点的质心，用质心代替体素内所有点；

S6：特征放大：

将Z轴坐标值放大1.25倍；

S7：法向量计算：

使用基于局部表面拟合的方法进行法向量的估计，将点云中点的X,Y,Z三方向法向量加入到每个点的特征中。

2.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S1中，在数据采集过程中，本实验数据采集设备使用具有彩色，红外和深度三个摄像头的深度传感器，相机深度摄像头分辨率为1280*720p，工作范围为1.5m～5m。

3.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S2中，通过深度图像转换生成的点云，因牛舍内的复杂环境，存在较多噪声点，此处采用半径滤波方法，通过设置给定半径邻域内包含点的个数作为阈值进行滤波操作，以去除噪声点。

4.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S3中，在感兴趣区域提取过程中，将奶牛后躯区域作为感兴趣区域并进行提取，而奶牛背部前后躯以髋关节连线为明显的界限。

5.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S4中，在感兴趣区域数据的处理过程中，依据X,Y,Z三方向坐标最小值对点云进行平移。并将奶牛背部后躯点云进行归一化处理。

6.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S5中，在降采样过程中，采用体素栅格滤波对后躯点云进行降采样。

7.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S6中，Z轴坐标值体现凹陷特征，将奶牛背部感兴趣区域的Z轴坐标值放大1.25倍。

8.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S7中，使用基于局部表面拟合的方法进行法向量的估计，基于某一个点的k个近邻点计算一个最小二乘意义上的局部平面XOY，平面XOY的法向量n_i可视为该点的法向量。

Images