CN114998195A - 基于深度回归网络的猪b超图像脂肪含量检测方法 - Google Patents

Abstract

本发明提出了一种基于深度回归网络的猪B超图像脂肪含量检测方法，包括以下步骤：S1，采集若干猪B超图像，然后将所述图像的宽度和高度缩放到一个统一的值从而得到样本；S2，图像增强：基于限制对比度的自适应直方图均衡化进行图像增强；S3，增加样本：通过平移、旋转、镜像、锐化、改变像素值和亮度之一或者任意组合来扩展数据集；S4，将样本输入网络模型进行训练，得到训练好的网络模型；S5，将待测的猪B超图像输入网络训练，得到脂肪含量结果。本发明能够简化检测过程，降低人工成本，节省检测时间，降低检测成本，提高检测精度，提高育种效果。它将对畜牧生产和人类生活具有重要意义。

Description

基于深度回归网络的猪B超图像脂肪含量检测方法

技术领域

本发明涉及动物活体检验技术领域，特别是提出一种基于深度回归网络的猪B超图像脂肪含量检测方法。

背景技术

随着物质生活的极大改善，人们对猪肉品质的要求也在迅速提高。由于猪肉脂肪含量及其分布的均匀与否，决定了肉的品质，影响了其品种的品质，因此带来了猪肉脂肪含量检测的重大课题。其检测对生猪育种的科学研究具有重要意义。

在传统的养殖过程中，除了有经验的畜牧业人员通过外观观察外，还要求技术人员在屠宰生猪后进行逐层检测。这个过程需要一个封闭的专业环境。屠宰场、存储场必须与实验室紧密联系，不得有差错。一旦样品在采集过程中被污染，样品随即失效。这种传统的屠宰后再经人工或理化检测的方法破坏性强，技术要求高，无法在活体状态评价猪的肉质性状。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度回归网络的猪B超图像脂肪含量检测方法。

为了实现本发明的上述目的，本发明提供了一种基于深度回归网络的猪B超图像脂肪含量检测方法，包括以下步骤：

S1，采集若干猪B超图像，然后将所述图像的宽度和高度缩放到一个统一的值从而得到样本；

S2，图像增强：基于限制对比度的自适应直方图均衡化进行图像增强；图像增强有助于使图像灰度范围变化更加均匀，减少噪声，提高对比度。

S3，增加样本：通过平移、旋转、镜像、锐化、改变像素值和亮度之一或者任意组合来扩展数据集；增加样本有助于减少过拟合。

S4，将样本输入网络模型进行训练，得到训练好的网络模型；

S5，将待测的猪B超图像输入网络训练，得到脂肪含量结果。

进一步地，所述猪B超图像为猪眼肌图像。

进一步地，所述网络模型包括：

残差块、混合域注意力层、特征融合层、全局平均池层和全连接层。残差块、混合域注意力层、特征融合层、全局平均池层和全连接层的数目分别为5层、5层、5层、1层和2层；

在残差块和特征融合层之间添加CBAM模块。CBAM特征提取模块设置在每个残差块和特征融合层之间，不仅可以突出猪B超图像脂肪信息特征，而且能将猪B超图像脂肪特征与非脂肪特征之间的差异性放大，有利于更好地预测猪肉脂肪的含量。

输入的特征图经过5次特征提取阶段，所述特征提取阶段包括残差块，CBAM模块，特征融合层，即通过残差块，CBAM模块，特征融合层的联合作用。残差块的数据输出端与CBAM模块的数据输入端相连，CBAM模块的数据输出端与特征融合层的数据输入端相连；

特征融合模块具有特征提取与加强特征学习的作用，特征融合模块将下采样后的小特征图再上采样并与原特征图融合。这种设计将赋予待学习的特征图具有浅层与深层双重特征，强化模型的泛化能力。

然后经过全局平均池化层，再经过全连接层、ReLU激活函数和Dropout，最后经过全连接层进行输出。

所述网络模型是基于VGG16和ResNet进行改进的，将VGG16卷积中的最后两阶段原本的三个卷积操作减少为两个连续的卷积，使得网络结构在保持简洁高效的基础上降低参数量，加速网络训练。由于猪脂肪特征区分并不明显，而特征提取与参数学习时可能出现网络退化尤其是网络参数学习中出现梯度消失或者梯度爆炸等极端情况，我们在随后的网络模块设计中都添加了残差连接以有效避免上述情况。

为了进一步提高网络性能，采用了DO-Conv代替传统卷积操作。同时为了获取更加重要的猪B超图像脂肪特征信息，该模型加入了CBAM特征提取模块。在网络训练中，将小特征图再上采样并与原特征图融合，这种设计将赋予待学习的特征图具备浅层与深层双重特征，强化模型的泛化能力。

而且为了在一定程度上降低数据的过拟合，使用了ACON自适应激活函数、L²正则化、Dropout等算法。

进一步地，所述残差块包括两个DO-Conv卷积，每个卷积后均有自适应激活函数ACON，最终得到新输出结果，并且将得到新输出与来自上一层的输入进行残差连接，得到最终的数据输出；所述上一层的输入为执行第一个DO-Conv卷积之前的输入。ACON既具有ReLU激活函数的优点，又克服了ReLU存在训练脆弱性的问题。

进一步地，所述特征融合层包括：

最大池化之后进行上采样，并与最大池化之前的特征映射进行通道维度上的拼接，再一起通过最大池化。

进一步地，所述特征融合层输出的维度应满足以下式子：

其中W^i-1表示前一卷积层输入到本层的特征映射图的宽度；

H^i-1表示前一卷积层输入到本层的特征映射图的高度；

R表示给当前特征映射图添加的边界宽度；

F为当前卷积层卷积核的大小；

S为池化层的步长；

Wⁱ表示当前层的特征映射图经过池化后输出的特征映射图的宽度；

Hⁱ表示当前层的特征映射图经过池化后输出的特征映射图的高度。

进一步地，所述模型进行训练还包括：采用损失函数估计预测结果与正确标签之间的距离；

所述正确标签是通过采用索氏提取法测定和分析猪眼肌脂肪含量，形成的脂肪含量预处理标签。

进一步地，所述损失函数为Huber损失，Huber损失包括：

其中

表示

y表示实际标签；

表示预测结果；

δ是一个参数；

|·|表示绝对值；

for表示对于；

otherwise表示其它情况。

进一步地，所述Huber损失的约束项为L²正则化，L²正则化包括：

其中||·||₂表示二范数；

表示预测结果；

表示第i个测量样本的预测结果；

|·|表示绝对值；

n表示测量样本的总数；

y_i表示第i个测量样本的实际标签。

L²正则化在不同的框架下，实现的位置是不同的。常见的框架有Keras、PyTorch等，例如在keras框架下，L²正则化的位置为全连接层与ReLU激活函数之间。

损失函数可以估计预测结果与正确标签之间的距离。损失函数值越小，模型预测效果越好。损失函数的选择需要根据具体的网络和需要解决的问题来确定。

Huber融合了MSE和MAE的优点，对异常值具有很强的抗干扰能力。同时，它是连续可导的，这更有利于模型训练时进行参数更新。

综上所述，由于采用了上述技术方案，本发明能够简化检测过程，降低人工成本，节省检测时间，降低检测成本，提高检测精度，提高育种效果。它将对畜牧生产和人类生活具有重要意义。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明HAFFNet整体架构示意图。

图2是本发明带DO-Conv的残差块的训练过程示意图。

图3是本发明混合域注意力机制示意图。

图4是本发明特征融合模块示意图。

图5是本发明图像增强效果对比示意图。

图5中a为图像增强前示意图；图5中b为图像增强后示意图。

图6是本发明灰度直方图变化的对比示意图。

图7是本发明图像增强和数据增强的示意图。

图7中a为图像增强示意图；图7中b为数据增强示意图。

图8是本发明三种损失函数的损失值变化对比示意图。

图9是本发明三种损失函数的准确度变化对比示意图。

图10是本发明R²的变化示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

2国内外研究进展

2.1猪肉活体脂肪检测技术

与传统的检测技术相比，活体检测技术更具科学性。目前，广泛使用的活体检测方法是超声检测法。因为猪的肥膘与瘦肉间的阻值有着显著的差异，形成的反射波会有明显的不同，利用超声检测我们可以获取有效的活体猪的脂肪含量、背膘厚度、眼肌面积等相关性状指标参数。但该技术主要存在图像噪声明显、透射显示失真等问题，仅靠超声技术无法获得准确的脂肪含量。

为了实现更有效的无损检测，许多学者进行了相关的研究。有学者提出了一种基于统计分析的预测模型。然而，该方法仅选取猪眼肌面积、背膘厚度、眼肌深度等几个参数建立脂肪含量的线性模型，不能有效利用B超图像的完整特征。其决定系数R²(通常为0～1，越接近1表明拟合程度越高)仍处于较低水平，精度不高，对实际应用效果有很大限制。除了基于一些参数对猪肉脂肪含量进行预测外，一些学者还基于猪的整体性状对猪肉脂肪含量进行了分析。例如，研究基于形状检测猪肉脂肪含量，但他们的研究需要依赖于多种测量参数，如体长、体高、胸深、腹长、臀宽、腰宽等。由于取样过程复杂，测定难免存在误差，因此不能称为理想的方法。

2.2机器学习方法的应用

有学者提出了一种基于支持向量机(SVM)的B超图像的猪脂肪含量检测技术。支持向量机是一种较好的有监督学习模型，能够有效地处理高维数据集。该方法可用于猪B超图像中脂肪的分类，但该模型的一个重要不足是不能直接提供概率估计。另外，支持向量机的特征提取规则是手工设置的，较难应用于规模较大数据的特征提取。在实际应用中，数据量过小不具有代表性，不能使模型得到充分的学习。如果大量的数据只期望手工提取特征变量，工作量又太大，没有实际意义。

2.3深度学习方法的应用

目前，计算机视觉中的图像预测方法大致可分为两类：基于传统机器学习的特征手动提取方法和基于深度学习的卷积神经网络方法。传统的方法通常依靠手工提取特征，如尺度不变特征变换(SIFT)、方向梯度直方图(HOG)，然后通过传统的神经网络或支持向量机分类器来完成分类目的。然而此类算法正如先前所分析的对人工提取特征的依赖性非常强，且往往较难处理更深层次信息更为丰富的来自图像上的信息，由此其主要困难往往表现为识别准确率较低。

卷积神经网络(Convolutional Neural Networks,CNN)是一种具有卷积计算和深层结构的前馈神经网络，是深度学习的代表性算法之一。卷积神经网络的研究始于上世纪80年代和90年代，LeNet-5是实际应用最早的卷积神经网络。21世纪以后，随着深度学习理论的提出和数值计算设备的不断完善，CNN得到了迅速发展。

近年来，深度学习方法在计算机视觉领域得到了广泛的应用。AlexNet在2012年ImageNet大型视觉识别挑战赛(ILSVRC12)中获得冠军。Top-5错误率仅为15.3％，与大赛排名后者的26.2％相比有显著提高。此后，GoogLeNet、VGG和ResNet等多种先进的卷积神经网络结构被提出，在计算机视觉领域的相关任务方面取得了很大的进展。一些学者已经利用深度学习方法对猪体尺寸检测进行了研究。可以看到，在数据规模较大的情况下，基于深度学习的方法能够自动学习图像特征。

针对支持向量机等方法检测猪脂肪含量的局限性，本项目将应用深度学习方法检测B超图像中猪脂肪含量。与传统机器学习相比，CNN具有深层网络结构，特征表达丰富，不需要大量人工信息提取。它借助于前向和向后传播，从数据集中自动学习图像特征，并在网络结构的基础上，获得更精确、更高维、更抽象的特征。这些特征将更有利于提高对猪脂肪含量值回归预测的准确性。

3整体架构

3.1深度回归网络结构

CNN在结构上主要分为卷积层、池化层和全连接层。每一层作用不同，其中卷积层通过卷积操作从图像中提取特征。池化层通过“最大池化”、“平均池化”等操作减少输入特征映射的大小，加快计算速度，降低过度拟合的概率。全连接层连接经过卷积层和池化层学习的所有特征并将它们映射到标记空间。全连接最后的结点为单一神经元时，可得到一个具体数值的预测值，即“回归值”。在此基础上，我们提出了一种深度回归网络模型HAFFNet(Hybrid Attention Feature Fusion Network)。

该模型是基于VGG16和ResNet进行改进，特别是将VGG16卷积中的最后两阶段原本的三个卷积操作减少为两个连续的卷积，使得网络结构在保持简洁高效的基础上降低参数量，加速网络训练。由于猪脂肪特征区分并不明显，而特征提取与参数学习时可能出现网络退化尤其是网络参数学习中出现梯度消失或者梯度爆炸等极端情况，我们在随后的网络模块设计中都添加了残差连接以有效避免上述情况。为了进一步提高网络性能，HAFFNet采用了深度超参数化卷积层DO-Conv代替传统卷积操作。同时为了突出更加重要的猪B超图像脂肪特征信息，本模型加入了CBAM混合域注意力特征提取模块。在网络训练中，我们提出了将下采样后的小特征图再上采样并与原特征图融合的特征融合模块，这种设计将赋予待学习的特征图具有浅层与深层双重特征，强化模型的泛化能力。而且为了在一定程度上降低数据的过拟合，使用了ACON自适应激活函数、L²正则化、Dropout等算法。

由于图像原始分辨率是245像素×309像素，考虑到在下采样和上采样过程中奇数值引起的特征图大小不一致，同时为了减轻网络学习的压力，我们采用OpenCV将图像的宽度和高度缩放到一个统一的值。最终确定B超图像的尺寸为224×224×3。在模型中使用的残差块Residual Module、混合注意力层CBAM、特征融合层Concatenate、全局平均池化层GlobAvgPooling和全连接层FC的数目分别为5层、5层、5层、1层和2层。每个残差块包含两个DO-Conv操作，在卷积后进行残差连接将残差块前的输入连接到残差块后的输出。在残差块和特征融合层之间增加CBAM模块。激活函数ACON将添加到第三个残差块中。最后一个特征融合后接一个全局平均池化层。同时在第一个全连接层后面添加L²正则化、ReLU和Dropout，因最后输出时无需获得更多特征信息，故采用ReLU激活函数即可满足需求。最后通过全连接Out输出猪B超图像中预测的脂肪含量。HAFFNet的总体模型结构如图1所示。

3.2带DO-Conv的残差块

经典网络VGG的结构设计之所以对计算机视觉中分类等任务行之有效，正是由于卷积神经网络总层数不断增加，使网络特征提取的能力得到了显著地加强。但是对于我们的任务来说，一味地增加网络层数，使得网络可能出现训练后期脂肪含量预测准确率不升反降的严重退化问题，且网络层数的简单增加，网络的计算量陡然提升，训练速度将受到极大的影响。

为了克服这些困难，在新设计的残差模块中，我们不仅加入残差连接防止网络退化，而且用DO-Conv代替传统卷积滤波器，使网络收敛速度更快，收敛误差更低。

过度参数化是加速深度线性网络训练的手段，并通过经验证明它也可以加速深度非线性网络的训练。DO-Conv通过额外的深度卷积这种过度参数化方式来增强卷积层。输入特征映射的大小为W×H×C输出特征映射的大小保持不变，其中W表示特征映射的宽度，H表示特征映射的高度，C表示通道数。在我们的残差块中有两个连续的DO-Conv模块。DO-Conv有两种等价的训练方法，我们使用计算量较小的“kernel composition”模式，如图2所示。在这个过程中，o代表深度卷积，*代表传统卷积，D代表深度卷积可训练核，K表示传统的卷积可训练核，P表示应用于特征映射相应大小的卷积区域。D_mul通常被称为深度乘数。在“kernel composition”中，通过深度卷积得到新的复合卷积核K'＝(D^TοK)，然后通过传统卷积过程得到输出特征映射O＝(K'*P)，·T表示矩阵的转置。

3.3混合域注意力机制CBAM

3.2部分是特征提取最主要的部分，它将进行猪B超图像全局特征与局部特征的提取。但VGG、ResNet等典型结构中并不进行特征重要性筛选。因此我们创造性地加入了能够进行特征筛选的混合域注意力机制。

CBAM是一种混合域注意力机制，它主要模仿人类在视觉系统中的选择性注意的重要特征，使网络更加关注目标区域的识别。考虑到猪的B超图像中脂肪含量的复杂性，我们添加了CBAM混合域注意力模块，混合域是指通道域和空间域的结合，为每个通道和每个像素分配重要性权重用以筛选网络特征图中更加重要的脂肪特征，而过滤那些不重要的背景特征，如图3所示。在通道维度中，用一个权重来表示下一步中通道的重要性，然后在空间维度中，再一个权重来表示空间中一个像素的重要性。这两个步骤可以帮助残差模块甄别更重要的特征信息。

我们将CBAM特征提取模块设置在每个残差块和特征融合层之间，不仅可以突出猪B超图像脂肪信息特征，而且能将猪B超图像脂肪特征与非脂肪特征之间的差异性放大，有利于更好地预测猪肉脂肪的含量。

在CBAM中，输入特征F映射的维度为H×W×C，输出特征F₂映射的维度是W'×H'×C'。他们在数值上保持不变。对于F，两个1×1×C特征分别通过全局平均池化和最大池化来获得。然后，分别将它们传入到具有两层的神经网络中。

第一层神经元数量为C/r，其中r是还原比，第二层为C，C表示通道数。ReLU是激活函数。神经网络是共享的。然后，再将得到的两个特征相加后经过Sigmoid得到权重系数Mc。最后，拿权重系数和特征F相乘即可得到缩放后的新特征F₁。

对于H×W×C的特征F₁，我们先分别进行一个通道维度的平均池化和最大池化得到两个H×W×1的特征，并将这两个特征按照通道拼接在一起。然后，进行一7×7的卷积，再经过Sigmoid，得到权重系数Ms。最后，用Ms和特征F相乘即可得到缩放后的新特征F₂。

3.4多重特征融合

为了加强特征学习，我们提出特征融合模块。前5个特征提取阶段中，在进行DO-Conv卷积、CBAM特征提取和最大池化之后，对下采样后的小特征映射进行上采样，并与最大池化之前的特征映射进行融合，如图4所示。这种设计将赋予待学习的特征图具备浅层与深层双重特征，强化模型的泛化能力。

下采样前的特征图尺寸若为H×W×C，则下采样后为H/2×W/2×C，再上采样后，其尺寸将恢复为H×W×C，但此时的特征为深层特征，与下采样前的浅层特征在通道维度上进行融合后，特征图尺寸变为H×W×2C，此时的特征图就具有浅层与深层双重特征，网络学习的特征更加丰富。其中最大池化为下采样的一种，因需提取特征图的最主要特征，故采用最大池化。其中小特征映射为最大池化后的特征图，尺寸会缩小二分之一，因此称相比于下采样前的特征图为小特征映射或称小特征图。

3.5自适应激活函数

激活函数分为饱和活化函数如Sigmoid、tanh和不饱和活化函数如ReLU及其变体。非饱和激活函数(如ReLU)将矩阵中的所有负数都设为0，在一定程度上解决了梯度消失问题，加快了收敛速度，因此得到了广泛的应用。

虽然ReLU是常用的，但是ReLU存在训练脆弱性的问题。当一个较大的梯度流过一个ReLU神经元，并且参数被更新时，神经元的梯度总是为零，神经元将不再激活任何数据。为了避免这一问题，同时提高网络的非线性表达能力，我们尝试用自适应激活函数ACON代替传统的ReLU提高模型非线性能力，增强泛化能力，提高准确率。ACON的表达如(1)所示。

(p₁－p₂)x·σ(β(p₁－p₂)x)+p₂x (1)

其中，x表示输入的特征图，p₁和p₂是用于自适应调整的两个可学习随机参数。参数β控制神经元是否被激活(β＝0，即未激活)。σ表示Sigmoid激活函数。

3.6Dropout算法

Dropout能够在一定程度上减少网络计算量，提升网络预测猪B超图像脂肪含量的效率。该算法的具体内容是让网络中的神经元以一定概率在此次训练过程中停止工作。但在下次样本输入的时候，由于神经元是以一定的概率停止工作，上次暂时不工作的神经元在此次的训练过程中可能又开始工作。所以样本的每次输入，相当于从原始的网络中随机选取部分组合成不同的网络进行训练。因此Dropout可以通过取均值或多数取胜的方法，在一定程度上降低过拟合的概率。本模型在每次训练时让每个神经网络单元有50％的几率暂时不工作，这样可以让一个神经元的出现不依赖于另一个神经元，进一步提高网络的泛化能力。

3.7HAFFNet的参数设置

模型参数配置如表1所示。I(Data)层是输入层。它将为整个网络准备224像素和224像素的三通道彩色图像。Conv1_1是第一个Residual Module层，由32个特征映射组成，其卷积核大小为3×3。Conv1_2是第二个连接的Residual Module层，卷积核大小仍为3×3，卷积核数量为32，由于输出通道数与卷积核数一致，因此输出为224×224×32的特征映射。对于添加的第一个CBAM模块，由于CBAM处理的输出维度与输入维度一致，因此输出的也是224×224×32的特征映射。Concat1表示第一个特征融合层，输出的维度应满足(2)中描述的逻辑关系，Concat2～Concat5同理，也需满足(2)中描述的逻辑关系。FC和Out是全连接层。最后，HAFFNet将Out作为输出的一维向量来预测猪B超图像中的脂肪含量。

在该表达式中，(W^i-1，H^i-1)表示前一卷积层输入到本层的特征映射图，R表示给当前特征映射图添加的边界宽度，F为当前卷积层卷积核的大小，S为池化层的步长，(Wⁱ，Hⁱ)表示当前层的特征映射经过池化层后输出的特征映射。

表1网络模型结构参数配置

层名称	类型	核大小	步长	卷积核数量	输出维度
						I(Data)	Input
Conv1_1	Residual Module	3×3	1	32	224×224×32
						Conv1_2	Residual Module	3×3	1	32	224×224×32
CBAM					224×224×32
						Concat1	Concatenate				112×112×64
Conv2_1	Residual Module	3×3	1	64	112×112×64
						Conv2_2	Residual Module	3×3	1	64	112×112×64
CBAM					112×112×64
						Concat2	Concatenate				56×56×128
Conv3_1	Residual Module	3×3	1	128	56×56×128
						Conv3_2	Residual Module	3×3	1	128	56×56×128
CBAM					56×56×128
						Concat3	Concatenate				28×28×256
Conv4_1	Residual Module	3×3	1	256	28×28×256
						Conv4_2	Residual Module	3×3	1	256	28×28×256
CBAM					28×28×256
						Concat4	Concatenate				14×14×512
Conv5_1	Residual Module	3×3	1	512	14×14×512
						Conv5_2	Residual Module	3×3	1	512	14×14×512
CBAM					14×14×512
						Concat5	Concatenate				7×7×1024
GAP	GlobAvgPooling				1024
						FC	Fully connection				1024
Out	Fully connection				1

其中Out为单个神经元，其也是属于全连接层。

3.8模型优化

理想情况下，人们希望自己的模型能够快速修正错误，得到更准确的结果，但在实践中往往难以达到预期的效果。损失函数可以估计预测结果与正确标签之间的距离。损失函数值越小，模型预测效果越好。损失函数的选择需要根据具体的网络和需要解决的问题来确定。

均方误差(MSE)是估计值和正确值之间的平方距离的平均值，如(3)。在(3)中，

是网络结构模型的实际输出，y是期望输出(即标签)。但是，MSE会使错误的值变为平均值，降低网络模型的整体性能。

其中n表示测量样本的总数；

y_i表示第i个测量样本的实际标签；

表示第i个测量样本的预测结果；

平均绝对误差(MAE)如(4)中所示，作为另一个回归损失函数，用于测量样本的预测标签f(x)和实际标签y之间距离的平均值。与MSE相比，MAE对于数据受损或采样错误的异常值更具包容性。然而，由于不可微尖点的存在，MAE不利于函数的收敛和模型的训练。

其中n表示测量样本的总数；

y_i表示第i个测量样本的实际标签；

f(x_i)表示第i个测量样本的预测标签

|·|表示绝对值。

在HAFFNet中，我们选择了Huber损失，如(5)。δ是一个参数，通常为0.1或1。Huber融合了MSE和MAE的优点，对异常值具有很强的抗干扰能力。同时，它是连续可导的，这更有利于模型训练时进行参数更新。

4实验结果及分析

4.1数据集

原始数据集共有130组猪眼肌B超图像，用动物全数字B超仪采集。猪将在B超图像采集后24小时内被屠宰。屠宰后，采集每头试验猪10～12胸椎的眼肌样本，并将猪数、测量时间、地点等数据进行标注，送往动物科学研究院。采用索氏提取法测定和分析猪眼肌脂肪含量，形成脂肪含量标签。

对采集的B超图像样本进行分析表明，由于图像灰度范围小，原始数据具有噪声或低对比度。为了解决这些问题，我们首先使用了OpenCV中一种图像增强方法，即基于限制对比度的自适应直方图均衡化。

图5的a部分是猪B超图像数据集的原始图像之一，其b部分是图像增强中限制对比度的自适应直方图均衡化之后的图像，图像增强有利于提高图像质量，具体效果有降低噪点，增强对比度等。图6是灰度直方图的变化。结果表明，处理后灰分范围变大，从0～100变为0～150，中部区域也更加分散、均匀。同时图像对比度更明显，图像更清晰。图5印证了我们的分析。

由于卷积神经网络结构复杂，需要大量的训练数据来支持其训练，以避免过拟合。然而，在实际应用中很难获得大量的图像数据，因此数据增强作为获取大量数据的有效方法应运而生。目前，数据增强是提高鲁棒性和减少过拟合的一种非常普遍和有效的方法。我们通过平移、旋转、镜像、锐化、改变像素值和亮度来扩展数据集，以避免因原始数据量不够，网络训练过早拟合的情况，示例如图7所示。

每种图像增强方法都可以将原始数据集的每幅图像加倍。如果原始图像有130组图像数据，经过图像增强后再经过5次随机平移、5次随机旋转、5次随机镜像、5次随机锐化、5次随机改变像素值、5次随机改变亮度6种图像增强步骤，130组数据，将扩展到130+130×5×6＝4030组图像数据。另外，我们将数据集按6:2:2的比例分为训练、验证和测试三部分，即训练集中2580张图像，验证集中806张图像，测试集中806张图像。

4.2损失函数对比试验

为了实现算法之间的公平比较，防止网络达到错误阈值并提前结束训练，网络损失函数的最小值应设置为0，更新的小批量大小可以为32张图片。有500个训练时间段(即有500epochs)，以便更好地观察不同损失函数的损失值随时间段数增加的变化。本文将MSE、MAE和Huber添加到HAFFNet中进行对比实验，结果如图8和图9所示。结合图8和图9中损失值和精度的变化，MSE、MAE和Huber的损失值随训练时间的增加而减小。图8显示Huber的损失值迅速降低，第125个epoch后损失值趋于零，网络迅速收敛。然而，其他两个函数的损失值在200个epoch后仍有波动。再看精度变化情况，对Huber网络进行训练，训练集的预测精度可达98.34％，验证集的预测精度可达96.49％。实验显示，Huber更适合HAFFNet。

4.3对比试验及分析

选择目前主流的深度学习网络VGG、ResNet、DenseNet和HAFFNet对预测精度进行比较。VGG的结构以简洁明了著称，超参数少。由于网络结构的深化，性能得到提高。ResNet通过堆叠大量残差结构来保持性能。DenseNet使用级联(Concatenation)来学习巨量的特征以换取性能的提升。

在回归损失函数的基础上，增加了正则化，进一步降低了过度拟合的风险。这里我们采用了L²正则化，计算如(6)所示。

其中||·||₂表示二范数；

表示预测结果；

表示第i个测量样本的预测结果；

|·|表示绝对值；

n表示测量样本的总数；

y_i表示第i个测量样本的实际标签；

本项目所采用的优化算法是Adam(Adaptive Moment Estimation)，而不是传统的随机梯度下降法。它可以根据训练数据迭代更新神经网络的权值。Adam的实质是利用梯度的一阶和二阶矩阵估计，动态调整各参数的学习速率。其主要优点是经过偏差校正后，每个迭代学习速率都有一个范围，使参数没有大的冲击，变化更稳定。

决定系数(R²)是主要评价标准。R²是回归分析中一种常见的统计方法，常被用作衡量模型预测能力的标准。R²的范围通常从0到1，其公式如(7)所示，表明预测值与目标实际值之间的平方相关百分比。但训练开始时R²可能为负，如果直接计算，预测可能不如平均值。

其中n表示测量样本的总数；

y_i表示第i个测量样本的实际标签；

表示第i个测量样本的预测结果。

表示到第i个测量样本时的平均预测结果。

在相同的训练次数下，学习率设置为1e^-4，Dropout设置为0.5。使用NVIDIA3070GPU来加速训练。图10和表2显示了300、400和500个epoch后每个网络具体预测精度变化情况。相比之下，模型训练中虽然都存在波动，但是我们的模型在准确性和稳定性方面都更好。我们的模型是目前的最佳选择。

表2 3种迭代次数下在验证集中R²对比表(R²越接近1，表明拟合程度越好)

迭代次数	VGG16	ResNet	DenseNet	HAFFNet
					300	0.9370	0.9174	0.9184	0.9597
400	0.9357	0.8970	0.9236	0.9710
					500	0.9361	0.8983	0.9177	0.9649
平均值	0.9362	0.9042	0.9139	0.9652

经过4折交叉验证后，在使用HAFFNet的测试数据上，R²的平均值达到0.9382，最佳值达到0.9629。MSE(值越低表明拟合程度越好，最低为0)的平均值为0.3937，最佳值为0.2382。MAE(值越低表明拟合程度越好，最低为0)平均值为0.2489，最佳值为0.2223。结果表明，我们的模型在各种评价指标上都表现良好。

基于表3中FLOPs和参数量的对比可以看出，HAFFNet的参数量显著低于VGG16和ResNet50。虽然HAFFNet的计算时间成本并不是最好的控制方案，但它可以尽可能地提高预测精度。总体而言，HAFFNet的整体效果更好。

表3不同模型下的计算时间代价

模型	总参数量	FLOPs
			HAFFNet	7.48M	8.48G
VGG16	38.53M	30.8G
			ResNet50	22.50M	7.7G
DenseNet121	6.71M	5.7G

比较本文的方法与猪脂肪含量检测方法近年来，如表4所示，就相关系数作为评价指标而言，可以发现本文的方法是活体检测任务上一个很好的补充，本文的方法可以实现一个相对理想的效果。虽然多元散射校正(Multivariate Scattering Correction,MSC)和竞争性自适应重加权采样(Competitive Adaptive Reweighed Sampling,CARS)，结合质量更好的高光谱图像可以得到0.96的决定系数，但是缺乏价格优势的高光谱设备目前还不举办大规模推广和普及的优势。相比之下，在使用B超声设备进行取样的基础上进行研究的经济效益更高。

表4不同检测策略的比较

脂肪含量检测策略	R<sup>2</sup>
		B超+深度学习(HAFFNet)	0.93(交叉验证值)
CT+PLSR(2019年方法)	0.83(该法最优值)
		高光谱图像+MLR(2017年方法)	0.87(交叉验证值)
高光谱图像+MSC+CARS+PLSR(2021年方法)	0.96(该法最优值)

其中CT表示CT设备，MLR(Multiple Linear Regression)表示多元线性回归分析，PLSR(Partial Least Square Regression)表示偏最小二乘回归。

4.4消融实验

为了验证各个部分对整体模型性能的影响，我们设计了消融实验。如表5和表6所示。为了设置基准线，我们将Residual Module中的DO-Conv恢复为普通卷积并取消残差连接，暂时屏蔽CBAM，不进行特征融合。激活函数统一为ReLU。

为了简化描述，用A表示Residual Module，B表示混合域特征提取CBAM模块，C表示特征融合模块，D表示自适应激活函数。考虑单个因素对测试集的影响，可见B的影响最为明显。与A+B和A+C相比，B和C的联合作用使网络性能有较大提高。A+B+C也能促进整体性能。当然我们观察到最后一列的整体效果是最好的。

表5消融实验的参数控制(A)

表6消融实验的参数控制(B)

5总结与展望

本文结合B超图像上自定义的深度学习模型，实现了一种方便、经济、易于普及的猪肉脂肪含量检测方法。通过VGG16、ResNet50和DenseNet121等多种网络结构的对比试验，验证了HAFFNet在预测猪B超图像脂肪含量方面的优势。通过消融实验，发现不同的模块对整个网络的影响不同。灵活使用多个模块可以使整个模型具有较好的收敛性，提高模型的精度。在今后的研究中，可以在HAFFNet网络模型的基础上提高网络层次，改进网络结构，提取更丰富、更具代表性的猪B超图像脂肪特征，进一步提高预测精度。然而，这意味着网络更复杂，参数更多，因此优化算法，提高处理速度，也是需要解决的难题。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，包括以下步骤：

S1，采集若干猪B超图像，然后将所述图像的宽度和高度缩放到一个统一的值从而得到样本；

S2，图像增强：基于限制对比度的自适应直方图均衡化进行图像增强；

S3，增加样本：通过平移、旋转、镜像、锐化、改变像素值和亮度之一或者任意组合来扩展数据集；

S4，将样本输入网络模型进行训练，得到训练好的网络模型；

S5，将待测的猪B超图像输入网络训练，得到脂肪含量结果。

2.根据权利要求1所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述猪B超图像为猪眼肌图像。

3.根据权利要求1所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述网络模型包括：

残差块、特征融合层、全局平均池化层和全连接层，残差块、特征融合层、全局平均池化层和全连接层的数目分别为5层、5层、1层和2层，在残差块和特征融合层之间还包括CBAM模块；

输入的特征图将经过5次特征提取阶段，所述特征提取阶段包括残差块，CBAM模块，特征融合层，残差块的数据输出端与CBAM模块的数据输入端相连，CBAM模块的数据输出端与特征融合层的数据输入端相连；

然后经过全局平均池化层，再经过全连接层、ReLU激活函数和Dropout，最后经过全连接层得到输出。

4.根据权利要求3所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述残差块包括两个DO-Conv卷积，每个卷积后均有自适应激活函数ACON，最终得到新输出结果，并且将得到新输出与来自上一层的输入进行残差连接，得到最终的数据输出；所述上一层的输入为执行第一个DO-Conv卷积之前的输入。

5.根据权利要求3所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述特征融合层包括：

最大池化之后进行上采样，并与最大池化之前的特征映射进行通道维度上的拼接，再一起通过最大池化。

6.根据权利要求3所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述特征融合层输出的维度应满足以下式子：

其中W^i-1表示前一卷积层输入到本层的特征映射图的宽度；

H^i-1表示前一卷积层输入到本层的特征映射图的高度；

R表示给当前特征映射图添加的边界宽度；

F为当前卷积层卷积核的大小；

S为池化层的步长；

Wⁱ表示当前层的特征映射图经过池化后输出的特征映射图的宽度；

Hⁱ表示当前层的特征映射图经过池化后输出的特征映射图的高度。

7.根据权利要求1所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述模型进行训练还包括：采用损失函数估计预测结果与正确标签之间的距离；

所述正确标签是通过采用索氏提取法测定和分析猪眼肌脂肪含量，形成的脂肪含量预处理标签。

8.根据权利要求7所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述损失函数为Huber损失，Huber损失包括：

其中

表示y与

的Huber损失；

y表示实际标签；

表示预测结果；

δ是一个参数；

|·|表示绝对值；

for表示对于；

otherwise表示其它情况。

9.根据权利要求8所述的一种基于深度回归网络的猪B超图像脂肪含量检测方法，其特征在于，所述Huber损失的约束项为L²正则化，L²正则化包括：

其中||·||₂表示二范数；

表示预测结果；

表示第i个测量样本的预测结果；

|·|表示绝对值；

n表示测量样本的总数；

y_i表示第i个测量样本的实际标签。

Images