CN117237990A - 群养猪只体重的估测方法、装置、电子设备及存储介质 - Google Patents
群养猪只体重的估测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117237990A CN117237990A CN202311287505.6A CN202311287505A CN117237990A CN 117237990 A CN117237990 A CN 117237990A CN 202311287505 A CN202311287505 A CN 202311287505A CN 117237990 A CN117237990 A CN 117237990A
- Authority
- CN
- China
- Prior art keywords
- pig
- image
- detected
- weight estimation
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 241000282887 Suidae Species 0.000 claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 80
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 26
- 244000144980 herd Species 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000037396 body weight Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 16
- 241000282898 Sus scrofa Species 0.000 description 195
- 230000036544 posture Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229940108461 rennet Drugs 0.000 description 1
- 108010058314 rennet Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种群养猪只体重的估测方法、装置、电子设备及存储介质，涉及数据识别技术领域，方法包括：获取相同场景下拍摄的彩色图像和深度图像；彩色图像和深度图像均包括多个待测猪只；基于实例分割算法对彩色图像中的多个待测猪只进行识别分割，得到多个图像掩膜；将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像；将四通道图像输入猪只体重估测模型，得到猪只体重估测模型输出的每一待测猪只的体重估计值。通过上述方式，避免了基于单一类型的图像进行图像识别导致大量数据信息丢失的可能，提高了后续模型估测的准确度，进而提高测量精度，实现对多姿态群养猪只图像的图像识别，进而进行体重估测。
Description
技术领域
本发明涉及数据识别技术领域，尤其涉及一种群养猪只体重的估测方法、装置、电子设备及存储介质。
背景技术
目前，测量猪只体重的方案包括直接测量和无接触式的间接测量。
直接测量是通过人工驱赶猪只进入称重设备，进而测得体重的方式，但是直接测量不仅费时费力，还会对猪只造成不良影响，带来巨大的经济损失。无接触的间接测量是对猪只进行无接触识别与检测的方式，通过摄像设备获取猪只的图像，基于图像识别技术估测出猪只的体重。间接测量的优点是能够实时迅速地获取猪只的体重，且不会对猪只造成不良影响，但是间接测量的测量精度与直接测量的测量精度相比还有待提高。
由于用于采集猪只图像的摄像设备视野有限，无法同时对大型养殖场内所有的群养猪只进行拍摄，而增加摄像设备的数量又会大大增加养殖场的成本，因此现有的基于图像识别技术估测猪只体重的方法一般仅能对包含单一待测猪只的图像进行图像识别和体重估测，且采集的图像一般为单一类型的图像，例如3D点云数据图像、RGB图像、深度图像等。
现有技术仅能对包含单一待测猪只的图像进行图像识别，进而估测该待测猪只的体重，而在群养状态下，由于群养猪只数量众多且猪只的姿态不一，往往难以采集到合适的图像进行图像识别，进而进行体重估测，且基于单一类型的图像进行图像识别和体重估测，容易丢失大量的数据信息，导致测量精度低。
发明内容
本发明提供一种群养猪只体重的估测方法、装置、电子设备及存储介质，用以解决现有技术中难以对群养猪只图像进行图像识别，进而进行体重估测，且基于单一类型的图像进行图像识别和体重估测，容易丢失大量的数据信息，导致测量精度低的缺陷。
本发明提供一种群养猪只体重的估测方法，包括：获取相同场景下拍摄的彩色图像和深度图像；彩色图像和深度图像均包括多个待测猪只；基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜；其中待测猪只和图像掩膜一一对应；将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像；将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值；其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
根据本发明提供的一种群养猪只体重的估测方法，实例分割算法基于实例分割模型实现；基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，包括：将彩色图像输入至实例分割模型的主干网络，得到主干网络输出的彩色图像的特征图；其中，实例分割模型是以Mask R-CNN网络框架为基础，主干网络为SwinTransformer的CNN模型将特征图输入至实例分割模型的区域候选网络，得到区域候选网络输出的包括多个预选锚的共享特征图；每个预选锚对应彩色图像中的一个待测猪只；将共享特征图输入至实例分割模型的头部；头部对共享特征图中每个预选锚对应的待测猪只进行分类识别，以确定每一待测猪只的位置信息和分类结果信息，基于位置信息和分类结果信息生成并输出对应每一待测猪只的图像掩膜。
根据本发明提供的一种群养猪只体重的估测方法，将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像，包括：将彩色图像的像素点和深度图像的像素点一一对齐，得到对齐后的彩色图像和深度图像；将每一待测猪只的图像掩膜与对齐后的彩色图像和深度图像进行拼接融合，生成四通道的群养猪只图像。
根据本发明提供的一种群养猪只体重的估测方法，猪只体重估测模型用于提取四通道图像中每一待测猪只的多尺度特征，并根据多尺度特征确定每一待测猪只对应的体重估计值；多尺度特征包括猪只轮廓、猪只体积和猪只姿态；猪只姿态包括站立姿态、侧卧姿态和趴卧姿态。
根据本发明提供的一种群养猪只体重的估测方法，基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜之前，还包括：获得初始化实例分割模型；基于包含多个待测猪只的彩色图像样本和彩色图像样本对应的图像掩膜训练初始化实例分割模型；在初始化实例分割模型的训练过程中，基于对应的验证集数据确定初始化实例分割模型的平均精度均值；若平均精度均值高于第一预设阈值，则完成训练，得到实例分割模型。
根据本发明提供的一种群养猪只体重的估测方法，将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值之前，还包括：获得初始化猪只体重估测模型；基于四通道图像样本和四通道图像样本对应的每一待测猪只的体重估计值训练初始化猪只体重估测模型；在初始化猪只体重估测模型的训练过程中，基于对应的验证集数据确定初始化猪只体重估测模型的拟合优度值、平均绝对误差值和均方根误差值；若拟合优度值高于第二预设阈值、平均绝对误差值低于第三预设阈值、均方根误差值低于第四预设阈值，则完成训练，得到猪只体重估测模型。
根据本发明提供的一种群养猪只体重的估测方法，拟合优度值R2的计算公式为：
平均绝对误差值MAE的计算公式为：
均方根误差值RMSE的计算公式为：
其中，n表示样本数量；yi表示第i个样本的真实值；表示第i个样本的预测值；/>表示样本真实值的平均值。
本发明还提供一种群养猪只体重的估测装置，包括：获取模块，用于获取相同场景下拍摄的彩色图像和深度图像；彩色图像和深度图像均包括多个待测猪只；实例分割模块，用于基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜；其中待测猪只和图像掩膜一一对应；拼接融合模块，用于将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像；体重估测模块，用于将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值；其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述群养猪只体重的估测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述群养猪只体重的估测方法。
本发明提供的群养猪只体重的估测方法、装置、电子设备及存储介质，获取相同场景下拍摄的彩色图像和深度图像，彩色图像和深度图像均包括多个待测猪只；基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，其中待测猪只和图像掩膜一一对应；将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像，通过拼接融合彩色图像、深度图像和待测猪只对应的图像掩膜生成数据信息更丰富的四通道图像，避免了基于单一类型的图像进行图像识别导致大量数据信息丢失的可能，提高了后续模型估测的准确度，进而提高测量精度；将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值，其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型，通过上述方式实现对包含多个待测猪只的群养猪只图像的图像识别，进而进行体重估测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的群养猪只体重的估测方法的流程示意图；
图2是本发明提供的群养猪只的图像采集装置的示意图；
图3是本发明提供的群养猪只体重的估测装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的群养猪只体重的估测方法的流程示意图，在本实施例中，群养猪只体重的估测方法具体包括步骤S110至步骤S140，各步骤具体如下：
S110：获取相同场景下拍摄的彩色图像和深度图像。
彩色图像和深度图像均包括多个待测猪只。
彩色图像为三通道的RGB图像，基于彩色图像可提取出猪只色彩特征、猪只轮廓特征、猪只纹理特征等。
深度图像(Depth image)为一通道的图像，包含与视点的场景对象的表面的距离有关的信息，基于深度图像可提取出猪只体积特征、猪只姿态特征等。
在本实施例中，彩色图像和深度图像是在相同场景下拍摄的，因此彩色图像和深度图像是配准的，即彩色图像和深度图像的像素点可一一对应，便于后续的拼接融合。
S120：基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜。
其中，待测猪只和图像掩膜一一对应。
在群养状态下，不同的待测猪只之间会经常出现拥挤粘连、相互遮挡等的情况。
在采集的图像中，相互粘连或相互遮挡的多个待测猪只可能会被误认为是一个待测猪只，影响图像的识别，进而影响后续基于图像估测的猪只体重，因此需要对彩色图像中的多个待测猪只进行识别和分割，以区别相互粘连或相互遮挡的多个待测猪只。
具体地，基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，每个待测猪只都有对应的图像掩膜。
图像掩膜用于选定彩色图像中的待测猪只，确定每个待测猪只的真实边界，从而区别相互粘连或相互遮挡的多个待测猪只，进而便于估测不同待测猪只个体的体重，每个图像掩膜对应一个实例，即一个待测猪只。
S130：将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像。
一般地，彩色图像和深度图像包含的信息不同，基于彩色图像提取的特征和基于深度图像提取的特征也不同。但是将三通道的彩色图像和一通道的深度图像进行拼接融合后，可以获得数据信息更丰富的四通道图像，即RGB-D图像。
具体地，由于图像掩膜与彩色图像中的待测猪只一一对应，且彩色图像和深度图像是配准的，因此可以将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道的RGB-D图像。
可以理解地，四通道的RGB-D图像包括多个待测猪只。
S140：将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值。
其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
猪只体重估测模型的输入数据为由RGB图像、深度图像和图像掩膜生成的四通道图像，猪只体重估测模型是以Rensnet18网络为基础的CNN模型。
现有的基于Rensnet18网络的猪只体重估测模型仅能处理三通道的RGB图像或者一通道的深度图像。为了实现四通道数据的处理，需要对现有的Rensnet18网络进行改进。
具体地，将现有的Rensnet18网络的第一卷积层改为四通道输入，并在Rensnet18网络的最后一层后再增加一层只有一个节点的全连接层(Fully Connected Layers)，用于输出体重估计值，其余网络结构与现有的Rensnet18网络保持一致，得到改进后的猪只体重估测模型。
本实施例提供的群养猪只体重的估测方法，获取相同场景下拍摄的彩色图像和深度图像，彩色图像和深度图像均包括多个待测猪只；基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，其中待测猪只和图像掩膜一一对应；将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像，通过拼接融合彩色图像、深度图像和待测猪只对应的图像掩膜生成数据信息更丰富的四通道图像，避免了基于单一类型的图像进行图像识别导致大量数据信息丢失的可能，提高了后续模型估测的准确度，进而提高测量精度；将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值，其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型，通过上述方式实现对包含多个待测猪只的群养猪只图像的图像识别，进而进行体重估测。
在一些实施例中，实例分割算法基于实例分割模型实现。
基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，包括：将彩色图像输入至实例分割模型的主干网络，得到主干网络输出的彩色图像的特征图；将特征图输入至实例分割模型的区域候选网络，得到区域候选网络输出的包括多个预选锚的共享特征图；每个预选锚对应彩色图像中的一个待测猪只；将共享特征图输入至实例分割模型的头部；头部对共享特征图中每个预选锚对应的待测猪只进行分类识别，以确定每一待测猪只的位置信息和分类结果信息，基于位置信息和分类结果信息生成并输出对应每一待测猪只的图像掩膜。
其中，实例分割模型是以Mask R-CNN网络框架为基础，主干网络为SwinTransformer的CNN模型。
Mask R-CNN网络框架是成熟的CNN(Convolutional neural network，卷积神经网络)网络框架，现有的基于Mask R-CNN网络框架构建的实例分割模型是一种标准的CNN模型，其主干网络为标准的CNN网络，通常为VGGNet或ResNet。
Mask R-CNN网络框架的整体结构主要包括主干网络(backbone)、区域候选网络(Region Proposal Network，RPN)以及头部(head)。主干网络用于对输入的图像进行特征提取，以生成对应的特征图；区域候选网络用于生成包括多个预选锚的共享特征图；头部主要包括全卷积神经网络(Fully Convolutional Nets,FCN)和全连接层(Fully ConnectedLayers，FCLayers)，用于将实例分割的结果以掩膜(Mask)的形式输出。
由于标准的CNN模型需要通过增加卷积网络层数的方式来处理更长的序列或者图像，模型的计算复杂度和存储复杂度高，尤其是在处理高分辨率的图像时往往需要更多的算力资源和存储资源，因此直接基于Mask R-CNN网络框架构建的实例分割模型对彩色图像中的多个待测猪只进行识别和分割需要耗费大量的计算机资源，从而增加体重估测的成本。
为了在确保实例分割模型性能的前提下降低体重估测的成本，可以对现有的MaskR-CNN网络框架进行改进，进而基于改进后的Mask R-CNN网络框架构建实例分割模型。
具体地，以Mask R-CNN网络框架为基础，将Mask R-CNN网络框架中的主干网络替换为Swin Transformer，其余结构与现有的Mask R-CNN网络框架保持一致，得到改进后的Mask R-CNN网络框架，并基于改进后的Mask R-CNN网络框架构建实例分割模型。
实例分割模型是以Mask R-CNN网络框架为基础，主干网络为Swin Transformer的CNN模型。
进一步地，将RGB图像，即彩色图像，输入至实例分割模型的主干网络，主干网络可对彩色图像进行特征提取，生成彩色图像的特征图(Feature Maps)，特征图可作为区域候选网络的输入数据，以使区域候选网络可基于特征图生成包括多个预选锚(ROI)的共享特征图。
需要说明的是，与传统的基于CNN的主干网络不同，Swin Transformer具有更好的长距离依赖建模能力，能够通过分层的窗口机制，在不同的网络层级上建模以获得不同尺度的特征，使得生成的特征图可以包括多个维度的信息。此外，由于Swin Transformer引入了层次化网络结构与滑窗操作，能够在减少计算量的同时提高特征识别和提取的效率，降低了计算和存储的复杂度。
进一步地，将特征图输入至实例分割模型的区域候选网络，区域候选网络可在特征图上生成多个预选锚，每个预选锚对应彩色图像中的一个待测猪只，特征图与特征图上的多个预选锚共同构成共享特征图，共享特征图可作为实例分割模型的头部的输入数据，以使头部基于共享特征图生成并输出对应每一待测猪只的图像掩膜。
预选锚通常是矩形的预选边框(Proposals)，每个矩形的边框内包括彩色图像中的一个待测猪只。
进一步地，将共享特征图输入至实例分割模型的头部，头部可对共享特征图中每个预选锚对应的待测猪只进行分类识别，以确定每一待测猪只的位置信息和分类结果信息。
具体地，头部可基于预选锚在共享特征图中的位置信息，例如预选锚的坐标、预选锚的中心点和边框范围等，确定共享特征图中每个预选锚对应的待测猪只的位置信息。在确定共享特征图中预选锚对应的待测猪只的位置信息后，可对该位置对应的待测猪只进行分类识别，以确定该待测猪只的类别。
可以理解地，部分大型养殖场内可能混养多种不同类别的猪只，例如根据猪只的生长周期可将猪只划分为仔猪、保育猪、育肥猪等不同类别，这些不同类别的猪只可能被混养，而不同生长周期的猪只的体重存在差异，因此需要对待测猪只进行分类识别。
进一步地，基于位置信息和分类结果信息生成并输出对应每一待测猪只的图像掩膜。
具体地，头部包括分类、回归和掩膜三个分支，其中分类分支和回归分支可对每个预选锚内对应的待测猪只进行分类识别，掩膜分支可对每个预选锚内对应的待测猪只进行分割，并生成对应的图像掩模。
本实施例提供的群养猪只体重的估测方法，改进了现有的Mask R-CNN网络框架，将其主干网络替换为Swin Transformer，由于Swin Transformer具有更好的长距离依赖建模能力，能够通过分层的窗口机制，在不同的网络层级上建模以获得不同尺度的特征，使得生成的特征图可以包括多个维度的信息，避免数据信息的丢失，确保了实例分割模型的性能；另外，由于Swin Transformer引入了层次化网络结构与滑窗操作，能够在减少计算量的同时提高特征识别和提取的效率，降低了计算和存储的复杂度。
在一些实施例中，将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像，包括：将彩色图像的像素点和深度图像的像素点一一对齐，得到对齐后的彩色图像和深度图像；将每一待测猪只的图像掩膜与对齐后的彩色图像和深度图像进行拼接融合，生成四通道的群养猪只图像。
由于彩色图像和深度图像是在相同场景下拍摄的，因此彩色图像和深度图像是配准的，即彩色图像和深度图像的像素点可一一对应。将彩色图像的像素点和深度图像的像素点一一对齐，可得到对齐后的彩色图像和深度图像。
进一步地，将每一待测猪只的图像掩膜与对齐后的彩色图像和深度图像进行拼接融合，生成四通道的群养猪只图像，即RGB-D图像。
本实施例提供的群养猪只体重的估测方法，基于彩色图像、深度图像和图像掩膜拼接融合生成的四通道的图像包含更丰富的特征信息，能更真实地反映待测猪只的实际情况，可提高后续体重识别的精度。
在一些实施例中，猪只体重估测模型用于提取四通道图像中每一待测猪只的多尺度特征，并根据多尺度特征确定每一待测猪只对应的体重估计值。
多尺度特征包括猪只轮廓、猪只体积和猪只姿态。
为了保证测量的准确性，现有的基于图像识别技术估测猪只体重的方法通常仅能对处于站立姿态下的待测猪只进行测量，因为处于站立姿态下的待测猪只的猪只轮廓特征和猪只体积特征易于被模型提取识别。
但在群养状态下，不同待测猪只的姿态不同，难以保证图像中所有的待测猪只均能处于站立姿态。因此在提取待测猪只的多尺度特征时，还需要考虑猪只的姿态。
具体地，猪只体重估测模型可提取四通道图像中每一待测猪只的猪只轮廓、猪只体积和猪只姿态，并根据提取的特征确定每一待测猪只对应的体重估计值。
其中，猪只姿态可以包括站立姿态、侧卧姿态和趴卧姿态。
若待测猪只的腰背笔直、四肢直立且四脚着地，则确认该待测猪只处于站立姿态；若待测猪只的四肢伸直或弯曲、腹部外露且身体一侧与地面接触，则确认该待测猪只处于侧卧姿态；若待测猪只的四肢弯曲、腹部面向地面且与地面接触，则确认该待测猪只处于趴卧姿态。
请参阅图2，图2是本发明提供的群养猪只的图像采集装置的示意图。如图2所示，群养猪只的图像采集装置包括工控机210，显示器220和摄像设备230。
摄像设备230设置于群养猪只猪圈的上方，用于采集相同场景下拍摄的彩色图像和深度图像。
可选地，摄像设备230可以是DK相机，即深度实感相机，DK相机可用于拍摄彩色图像和深度图像。
具体地，摄像设备230可以采集群养猪只猪圈中不同待测猪只在站立姿态、侧卧姿态和趴卧姿态下的图像。
摄像设备230通过线缆与工控机210连接；工控机210用于接收摄像设备230采集的相同场景下拍摄的彩色图像和深度图像，对接收到的彩色图像和深度图像进行处理并输出图像中每一待测猪只的体重估计值。
显示器220用于显示每一待测猪只的体重估计值。
本实施例提供的群养猪只体重的估测方法，猪只体重估测模型提取的多尺度特征包括猪只轮廓、猪只体积和猪只姿态，可实现猪只在不同姿态下的体重测量。
在一些实施例中，基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜之前，还包括：获得初始化实例分割模型；基于包含多个待测猪只的彩色图像样本和彩色图像样本对应的图像掩膜训练初始化实例分割模型；在初始化实例分割模型的训练过程中，基于对应的验证集数据确定初始化实例分割模型的平均精度均值；若平均精度均值高于第一预设阈值，则完成训练，得到实例分割模型。
平均精度均值(mean Average Precision，mAP)是用于评价实例分割模型的指标，综合考虑了精确率(Precision)和召回率(Recall)，可以反映出模型在检测目标时的整体表现，可评估模型的准确性。
其中，精确率用于衡量模型在预测为正样本的样本中的正确率，召回率用于衡量模型正确检测出的正样本占所有正样本的比例。
一般地，精确率和召回率之间具有一定的关联，而模型需要平衡精确率和召回率。
具体地，在初始化实例分割模型的训练过程中，可基于对应的验证集数据确定初始化实例分割模型的精确率和召回率，基于精确率和召回率确定初始化实例分割模型的精确率-召回率曲线(Precision-Recall Curve)，其中，在精确率-召回率曲线的图像中，通常以召回率为横轴，精确率为纵轴。在精确率-召回率曲线中，若精确率高，则召回率低；若精确率低，则召回率高。基于精确率-召回率曲线的形状可以确定模型在不同精确率和召回率之间的平衡点。
进一步地，计算平均精度(Average Precision，AP)，平均精度为精确率-召回率曲线下的面积(AUC)，即精确率-召回率曲线与坐标轴之间所围成的图形的面积。
可以理解地，初始化实例分割模型可用于对待测猪只进行分类识别，当待测猪只中存在多个类别时，为了更准确地评价模型对不同类别的待测猪只的识别的准确性，可以分别计算模型对每个类别的图像识别和目标检测的精确率和召回率。
进一步地，对于每一类别，都需要将模型对验证集数据中每一样本的预测结果按照置信度排序，基于预测结果确定每一类别对应的精确率-召回率曲线；基于精确率-召回率曲线上不同的阈值确定多个精确率-召回率值，计算多个精确率-召回率值的平均值，作为平均精度均值。
进一步地，若平均精度均值高于第一预设阈值，则完成训练，得到实例分割模型。
一般地，平均精度均值的取值范围在0到1之间，平均精度均值越接近1，则说明模型的准确性更高。
优选地，第一预设阈值为0.898。
本实施例提供的群养猪只体重的估测方法，采用平均精度均值作为实例分割模型的评价指标，平均精度均值综合考虑了每一类别中每一待测猪只个体的目标检测和分割识别情况，在平均精度均值高于第一预设阈值时完成训练，得到实例分割模型，可确保实例分割模型的准确性。
在一些实施例中，将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值之前，还包括：获得初始化猪只体重估测模型；基于四通道图像样本和四通道图像样本对应的每一待测猪只的体重估计值训练初始化猪只体重估测模型；在初始化猪只体重估测模型的训练过程中，基于对应的验证集数据确定初始化猪只体重估测模型的拟合优度值、平均绝对误差值和均方根误差值；若拟合优度值高于第二预设阈值、平均绝对误差值低于第三预设阈值、均方根误差值低于第四预设阈值，则完成训练，得到猪只体重估测模型。
拟合优度值R2是描述模型拟合程度的指标，其取值范围在0到1之间，R2等于1则说明模型可完美拟合数据，而R2等于0则说明模型对数据的解释能力为0，即模型的预测结果与随机预测结果相同，无法较好地拟合数据。
平均绝对误差值MAE是用于衡量模型中预测值和真实值之间的误差大小的一种指标，是对预测误差的平均误差的度量，其表示预测值与真实值之差的绝对值的平均值。
均方根误差值RMSE也是用于衡量模型中预测值和真实值之间的误差大小的一种指标，是对预测误差的平均误差的度量，其表示预测值与真实值之差的平方和的平均值的平方根。均方根误差RMSE越小，则说明模型的预测越准确，均方根误差RMSE越大，则说明模型的预测越不准确。
具体地，在初始化猪只体重估测模型的训练过程中，基于对应的验证集数据确定初始化猪只体重估测模型的拟合优度值、平均绝对误差值和均方根误差值；若拟合优度值高于第二预设阈值、平均绝对误差值低于第三预设阈值、均方根误差值低于第四预设阈值，则完成训练，得到猪只体重估测模型。
本实施例提供的群养猪只体重的估测方法，综合考虑了拟合优度值、平均绝对误差值和均方根误差值三个评价指标，以确保猪只体重估测模型的识别精度。
在一些实施例中，拟合优度值R2的计算公式为：
平均绝对误差值MAE的计算公式为：
均方根误差值RMSE的计算公式为：
其中，n表示样本数量；yi表示第i个样本的真实值；表示第i个样本的预测值；/>表示样本真实值的平均值。
本发明还提供了一种群养猪只体重的估测装置，请参阅图3，图3是本发明提供的群养猪只体重的估测装置的结构示意图，在本实施例中，群养猪只体重的估测装置包括获取模块310、实例分割模块320、拼接融合模块330和体重估测模块340。
获取模块310，用于获取相同场景下拍摄的彩色图像和深度图像；彩色图像和深度图像均包括多个待测猪只。
实例分割模块320，用于基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜。
其中待测猪只和图像掩膜一一对应。
拼接融合模块330，用于将彩色图像、深度图像和待测猪只对应的图像掩膜进行拼接融合，生成四通道图像。
体重估测模块340，用于将四通道图像输入至猪只体重估测模型中，得到猪只体重估测模型输出的对应每一待测猪只的体重估计值。
其中，猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
在一些实施例中，实例分割算法基于实例分割模型实现。
实例分割模块320，用于将彩色图像输入至实例分割模型的主干网络，得到主干网络输出的彩色图像的特征图；其中，实例分割模型是以Mask R-CNN网络框架为基础，主干网络为Swin Transformer的CNN模型；将特征图输入至实例分割模型的区域生成网络，得到区域生成网络输出的包括多个预选锚的共享特征图；每个预选锚对应彩色图像中的一个待测猪只；将共享特征图输入至实例分割模型的头部；头部对共享特征图中每个预选锚对应的待测猪只进行分类识别，以确定每一待测猪只的位置信息和分类结果信息，基于位置信息和分类结果信息生成并输出对应每一待测猪只的图像掩膜。
在一些实施例中，拼接融合模块330，用于将彩色图像的像素点和深度图像的像素点一一对齐，得到对齐后的彩色图像和深度图像；将每一待测猪只的图像掩膜与对齐后的彩色图像和深度图像进行拼接融合，生成四通道的群养猪只图像。
在一些实施例中，猪只体重估测模型用于提取四通道图像中每一待测猪只的多尺度特征，并根据多尺度特征确定每一待测猪只对应的体重估计值；多尺度特征包括猪只轮廓、猪只体积和猪只姿态；猪只姿态包括站立姿态、侧卧姿态和趴卧姿态。
在一些实施例中，实例分割模块320，用于获得初始化实例分割模型；基于包含多个待测猪只的彩色图像样本和彩色图像样本对应的图像掩膜训练初始化实例分割模型；在初始化实例分割模型的训练过程中，基于对应的验证集数据确定初始化实例分割模型的平均精度均值；若平均精度均值高于第一预设阈值，则完成训练，得到实例分割模型。
在一些实施例中，体重估测模块340，用于获得初始化猪只体重估测模型；基于四通道图像样本和四通道图像样本对应的每一待测猪只的体重估计值训练初始化猪只体重估测模型；在初始化猪只体重估测模型的训练过程中，基于对应的验证集数据确定初始化猪只体重估测模型的拟合优度值、平均绝对误差值和均方根误差值；若拟合优度值高于第二预设阈值、平均绝对误差值低于第三预设阈值、均方根误差值低于第四预设阈值，则完成训练，得到猪只体重估测模型。
在一些实施例中，拟合优度值R2的计算公式为：
/>
平均绝对误差值MAE的计算公式为：
均方根误差值RMSE的计算公式为：
其中，n表示样本数量；yi表示第i个样本的真实值；表示第i个样本的预测值；/>表示样本真实值的平均值。
本发明还提供一种电子设备，图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行群养猪只体重的估测方法。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的群养猪只体重的估测方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种群养猪只体重的估测方法，其特征在于，包括：
获取相同场景下拍摄的彩色图像和深度图像；所述彩色图像和所述深度图像均包括多个待测猪只；
基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜；其中所述待测猪只和所述图像掩膜一一对应；
将所述彩色图像、所述深度图像和所述待测猪只对应的图像掩膜进行拼接融合，生成四通道图像；
将所述四通道图像输入至猪只体重估测模型中，得到所述猪只体重估测模型输出的对应每一待测猪只的体重估计值；
其中，所述猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
2.根据权利要求1所述的群养猪只体重的估测方法，其特征在于，所述实例分割算法基于实例分割模型实现；
所述基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜，包括：
将所述彩色图像输入至所述实例分割模型的主干网络，得到所述主干网络输出的所述彩色图像的特征图；其中，所述实例分割模型是以Mask R-CNN网络框架为基础，主干网络为Swin Transformer的CNN模型；
将所述特征图输入至所述实例分割模型的区域候选网络，得到所述区域候选网络输出的包括多个预选锚的共享特征图；每个所述预选锚对应彩色图像中的一个待测猪只；
将所述共享特征图输入至所述实例分割模型的头部；
所述头部对所述共享特征图中每个所述预选锚对应的待测猪只进行分类识别，以确定每一所述待测猪只的位置信息和分类结果信息，基于所述位置信息和所述分类结果信息生成并输出对应每一所述待测猪只的图像掩膜。
3.根据权利要求1所述的群养猪只体重的估测方法，其特征在于，所述将所述彩色图像、所述深度图像和所述待测猪只对应的图像掩膜进行拼接融合，生成四通道图像，包括：
将所述彩色图像的像素点和所述深度图像的像素点一一对齐，得到对齐后的彩色图像和深度图像；
将每一所述待测猪只的图像掩膜与所述对齐后的彩色图像和深度图像进行拼接融合，生成四通道的群养猪只图像。
4.根据权利要求1所述的群养猪只体重的估测方法，其特征在于，所述猪只体重估测模型用于提取所述四通道图像中每一待测猪只的多尺度特征，并根据所述多尺度特征确定每一待测猪只对应的体重估计值；
所述多尺度特征包括猪只轮廓、猪只体积和猪只姿态；所述猪只姿态包括站立姿态、侧卧姿态和趴卧姿态。
5.根据权利要求2所述的群养猪只体重的估测方法，其特征在于，所述基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜之前，还包括：
获得初始化实例分割模型；
基于包含多个待测猪只的彩色图像样本和所述彩色图像样本对应的图像掩膜训练所述初始化实例分割模型；
在所述初始化实例分割模型的训练过程中，基于对应的验证集数据确定所述初始化实例分割模型的平均精度均值；
若所述平均精度均值高于第一预设阈值，则完成训练，得到所述实例分割模型。
6.根据权利要求1所述的群养猪只体重的估测方法，其特征在于，所述将所述四通道图像输入至猪只体重估测模型中，得到所述猪只体重估测模型输出的对应每一待测猪只的体重估计值之前，还包括：
获得初始化猪只体重估测模型；
基于四通道图像样本和所述四通道图像样本对应的每一待测猪只的体重估计值训练所述初始化猪只体重估测模型；
在所述初始化猪只体重估测模型的训练过程中，基于对应的验证集数据确定所述初始化猪只体重估测模型的拟合优度值、平均绝对误差值和均方根误差值；
若所述拟合优度值高于第二预设阈值、所述平均绝对误差值低于第三预设阈值、所述均方根误差值低于第四预设阈值，则完成训练，得到所述猪只体重估测模型。
7.根据权利要求6所述的群养猪只体重的估测方法，其特征在于，
所述拟合优度值R2的计算公式为：
所述平均绝对误差值MAE的计算公式为：
所述均方根误差值RMSE的计算公式为：
其中，n表示样本数量；yi表示第i个样本的真实值；表示第i个样本的预测值；/>表示样本真实值的平均值。
8.一种群养猪只体重的估测装置，其特征在于，包括：
获取模块，用于获取相同场景下拍摄的彩色图像和深度图像；所述彩色图像和所述深度图像均包括多个待测猪只；
实例分割模块，用于基于实例分割算法对彩色图像中的多个待测猪只进行识别和分割，得到多个图像掩膜；其中所述待测猪只和所述图像掩膜一一对应；
拼接融合模块，用于将所述彩色图像、所述深度图像和所述待测猪只对应的图像掩膜进行拼接融合，生成四通道图像；
体重估测模块，用于将所述四通道图像输入至猪只体重估测模型中，得到所述猪只体重估测模型输出的对应每一待测猪只的体重估计值；
其中，所述猪只体重估测模型是以Rensnet18网络为基础，第一层卷积层为四通道输入，最后一层全连接层为一个节点输出体重估计值的神经网络模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述群养猪只体重的估测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述群养猪只体重的估测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311287505.6A CN117237990A (zh) | 2023-10-07 | 2023-10-07 | 群养猪只体重的估测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311287505.6A CN117237990A (zh) | 2023-10-07 | 2023-10-07 | 群养猪只体重的估测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237990A true CN117237990A (zh) | 2023-12-15 |
Family
ID=89082442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311287505.6A Pending CN117237990A (zh) | 2023-10-07 | 2023-10-07 | 群养猪只体重的估测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237990A (zh) |
-
2023
- 2023-10-07 CN CN202311287505.6A patent/CN117237990A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN104599287B (zh) | 对象跟踪方法和装置、对象识别方法和装置 | |
| CN109190446A (zh) | 基于三元组聚焦损失函数的行人再识别方法 | |
| CN111914642B (zh) | 一种行人重识别方法、装置、设备及介质 | |
| CN109141248A (zh) | 基于图像的猪体重测算方法及系统 | |
| CN105096307A (zh) | 在成对的立体图像中检测物体的方法 | |
| CN108830856B (zh) | 一种基于时间序列sd-oct视网膜图像的ga自动分割方法 | |
| CN111079518B (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN111597933B (zh) | 人脸识别方法和装置 | |
| CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN108960142B (zh) | 基于全局特征损失函数的行人再识别方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| CN110287907A (zh) | 一种对象检测方法和装置 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN112862757A (zh) | 一种基于计算机视觉技术的重量评估系统及实现方法 | |
| CN111126116A (zh) | 无人船河道垃圾识别方法及系统 | |
| CN113706472B (zh) | 公路路面病害检测方法、装置、设备及存储介质 | |
| CN113435355A (zh) | 多目标奶牛身份识别方法及系统 | |
| CN110307903A (zh) | 一种家禽特定部位无接触温度动态测量的方法 | |
| CN116071424A (zh) | 基于单目视觉的果实空间坐标定位方法 | |
| CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
| CN111461222A (zh) | 目标物轨迹相似度的获取方法、装置及电子设备 | |
| CN111047553B (zh) | 一种面向非接触式人体参数测量的特征点定位方法 | |
| CN102148919A (zh) | 一种球类检测的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |