CN116091786A - 猪只估重的全息体尺自编码方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提出了猪只估重的全息体尺自编码方法、系统、设备及存储介质，包括：获取包含有猪只信息的原始数据集，并且对原始数据集进行标注；训练自编码特征提取器，自编码特征提取器包括编码器和解码器，原始数据集的图像矩阵输入至编码器，编码器将图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间；以及将特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将潜在向量输入线性层，最终获得线性回归预测出的猪只体重。能够兼容传感器的不同角度、距离，不同猪只大小、猪只类型、猪只形态状态下对重量结果估计可靠性的影响。

Description

猪只估重的全息体尺自编码方法、系统、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及猪只估重的全息体尺自编码方法、系统、设备及存储介质。

背景技术

现如今，规模化生猪养殖厂为了更好地管理和调整养殖计划，提高生猪的生长效率和质量，通常使用两种方法来解决生猪重量的获取问题。

首先是通过直接方法，使用电子称重系统来解决给生猪估重的问题。电子称重系统通常是安装在养殖场的进出口处或者养殖栏的底部，当生猪进入称重系统时，它们的重量会被自动记录并储存到数据库中。如此，养殖场的管理员可以随时通过计算机或智能手机查看生猪的体重，并对其进行管理。使用电子称重系统进行生猪估重的主要弊端是需要人工将生猪引导到称重系统上进行称重，会造成一定的人工成本和工作量。此外，在生猪的生长过程中，体重的变化很大，而且生猪的体型和身材也不尽相同，因此在称重时需要对每头生猪进行单独的称重，这也会增加称重的时间和难度。最关键的，赶猪上秤会引起猪只的强烈反应，轻则影响数天内的猪只正常生长，应激严重时则直接引起猪只死亡。

其次是采用间接的方法来获取生猪重量。现代化的生猪养殖厂使用其他技术来监测生猪的体重和生长情况：例如，使用无线传感器网络和物联网技术，将传感器放置在生猪的喂食槽、饮水槽和运动区域，以收集生猪的活动、摄食和喝水数据。通过对这些数据进行分析，可以对生猪的健康和生长情况进行监测和评估，以便更好地管理和调整养殖计划。间接测量法主要的弊端在于需要进行大量的数据收集、数据预处理、模型训练和优化等过程，投入大量的人力和物力。另外间接测量法通常面对一些技术上的挑战，例如模型的可解释性、泛化能力、模型的鲁棒性和稳定性等，更多此方面的研究还处于研究和尝试阶段。

针对上述问题，本申请提出了猪只估重的全息体尺自编码方法、系统、设备及存储介质，通过处理三通道的融合数据对猪只进行间接估重，避免引起猪只应激的同时，大幅度提高传统非接触式测重的准确度。

发明内容

为了解决现有传统测量估重成本过大、容易导致猪只受惊甚至引起死亡，基于传统视觉模型或传统机器学习回归模型的估重难以准确等问题，本申请提供猪只估重的全息体尺自编码方法、系统、设备及存储介质，以解决上述技术缺陷问题。

根据本发明的一个方面提出了一种猪只估重的全息体尺自编码方法，该方法包括以下步骤：

S1、获取包含有猪只信息的原始数据集，并且对原始数据集进行标注，其中原始数据集包括彩色图像、深度图像、热分布图像；

S2、训练自编码特征提取器，自编码特征提取器包括编码器和解码器，原始数据集的图像矩阵输入至编码器，编码器将图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间；

S3、将步骤S2获得的特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

在具体的实施例中，在步骤S2中，训练自编码特征提取器包括以下子步骤：

S21、将原始数据集按比例划分为训练集和测试集，训练集的图像矩阵作为编码器的输入；

S22、编码器将输入的图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间，其中特征向量作为步骤S3中特征聚合器的输入；

S23、通过最小化重构误差完成自编码特征提取器的训练，获取自编码特征提取器的参数，使解码器生成与原始输入相似的输出；

S24、使用MSE回归损失函数优化自编码特征提取器，使用Adam优化器进行参数更新，并且通过步骤S21中的测试集验证自编码特征提取器的性能。

通过训练得到自编码特征提取器的参数，从而学习到数据的特征表示，该特征表示可以在后续的回归组合阶段使用。

在具体的实施例中，将步骤S2获得的特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重包括以下子步骤：

S31、基于特征向量的提取顺序，对特征向量进行位置编码；

S32、基于预先训练好的特征聚合器，对经过位置编码的特征向量进行逐层特征聚合，利用多头注意力机制捕捉不同位置特征的相关性，使用全局注意力机制捕捉全局相关性，获得潜在向量；

S33、将经过多头注意力机制处理后的潜在向量输入至线性层，最后输出线性回归预测出的猪只体重。

在具体的实施例中，在步骤S32中，基于预先训练好的特征聚合器，对经过位置编码的特征向量进行逐层特征聚合，利用多头注意力机制捕捉不同位置特征的相关性，使用全局注意力机制捕捉全局相关性，获得潜在向量，还包括以下子步骤：

S321、将自编码特征提取器提取到的特征向量经傅里叶变换表示为4维度频域向量[e1, e2, e3, e4]，其中e1-e4 均为4维的单位向量；

S322、基于特征聚合器对4维度频域向量序列分别进行三次线性变换，得到查询向量Q、键向量K和值向量V：

Q = Wq * [e1, e2, e3, e4]

K = Wk * [e1, e2, e3, e4]

V = Wv * [e1, e2, e3, e4]

其中，Wq、Wk、Wv 分别为权重矩阵；

S323、计算查询向量Q和键向量K之间的相似度获得自注意力矩阵，计算表达式为：

＝ Softmax（ Q*K ^T / ）

将计算得到的自注意力矩阵进行拼接操作，经线性变换形成多头自注意力，计算表达式为：

其中，Attention( )表示自注意力计算函数，T表示转置，表示归一化因子，表示键向量K的维度，其中，MultiHead（）表示多头自注意力函数，表示线性变换操作，上标O表示注意力的个数，中的h表示h组不同的线性投影。

在具体的实施例中，在步骤S1中，该方法还包括：

对原始数据集进行数据增强处理以扩充原始数据集，数据增强包括几何变换、图像增强、图像加云；

对原始数据集进行预处理以符合步骤S2中自编码特征提取器的输入要求，预处理包括尺寸调整、剪切和归一化。

在具体的实施例中，在步骤S1中，对原始数据集进行猪只体重的数据标注，形成猪只图片与体重相对应的数据对，猪只信息包括猪的品种、大小、年龄和性别信息。

在具体的实施例中，在步骤S1中，原始数据集通过三通道传感器获得，获取原始数据集前，先校准三通道传感器使得RGB通道、深度通道、温度通道处于对齐状态。

第二方面，本申请提供了一种猪只估重的全息体尺自编码系统，该系统包括：

获取模块，配置用于获取包含有猪只信息的原始数据集，并且对原始数据集进行标注，其中原始数据集包括彩色图像、深度图像、热分布图像；

特征提取模块，配置用于训练自编码特征提取器，自编码特征提取器包括编码器和解码器，原始数据集的图像矩阵输入至编码器，编码器将图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间；

特征聚合模块，配置用于将特征提取模块获得的特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

第三方面，本申请提供了一种设备，包括处理器、存储器以及存储在存储器内的计算机程序，计算机程序被处理器执行以实现如上述中任意一项的一种猪只估重的全息体尺自编码方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述介质中存储有计算机程序，在所述计算机程序被处理器执行时，实施如上述中任意一项所述的一种猪只估重的全息体尺自编码方法的步骤。

与现有技术相比，本发明的有益成果在于：

本申请基于Transformer和自监督学习方法，构建了一个用于猪只估重的全息体尺自编码模型，向该模型输入一张猪的图像，模型首先会基于图像提取猪的体貌特征，随后分析提取到的特征，通过特征的回归组合，最终输出这头猪的预测重量。具体的，在训练阶段，提取特征的阶段是通过类似自监督的方法来训练得到的；而分析特征的阶段是通过类似Transformer和注意力机制得到的。以上方法属于间接式无接触猪只测重方法，避免直接法猪只应激弊端的同时，克服了间接法不准确、不可靠性。最终使得算法能够兼容传感器的不同角度、距离、不同的猪只大小、猪只类型、猪只形态（如爬、站等）状态下对重量结果估计可靠性的影响，取得了良好的的效果。

附图说明

通过阅读参照以下附图，所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的猪只估重的全息体尺自编码方法的流程图；

图2-a是根据本申请的校准示例原图；

图2-b是根据本申请的校准示例RGB通道对齐状态示意图；

图2-c是根据本申请的校准示例深度通道对齐状态示意图；

图2-d是根据本申请的校准示例温度通道对齐状态示意图；

图3-a是根据本申请的猪后身角度的深度图像示意图；

图3-b是根据本申请的猪后身角度的热分布图像示意图；

图4是根据本申请的自编码特征提取器和特征聚合器的结构示意图；

图5是根据本申请的猪只估重的全息体尺自编码系统的结构图；

图6是根据本申请的猪只实际重量与预估重量的对比结果图；

图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请的猪只估重的全息体尺自编码方法流程图，请参考图1，该方法包括以下步骤：

S1、获取包含有猪只信息的原始数据集，并且对原始数据集进行标注，其中原始数据集包括彩色图像、深度图像、热分布图像。

在本实施例中，通过三通道传感器获取原始数据集，可将该三通道传感器安装在猪舍或者猪经常活动的区域。图2-a示出了本申请的校准示例原图，图2-b示出了本申请的校准示例RGB通道对齐状态示意图；图2-c示出了本申请的校准示例深度通道对齐状态示意图；图2-d示出了本申请的校准示例温度通道对齐状态示意图，如图2-a至2-d所示，在获取原始数据集前，需先校准三通道传感器使得RGB通道、深度通道、温度通道处于对齐状态。

将三通道传感器对准需要估重的任意猪只，需要注意的是该猪需不被遮挡、完全可见，但形态（趴着、躺着）不受限制。图3-a示出了本申请的猪后身角度的深度图像示意图，图3-b示出了本申请的猪后身角度的热分布图像示意图；如图3-a至3-b所示，采集到猪后身角度的深度图像、热分布图像。

对获取到的包含有猪只信息的图片进行体重数据标注，其中猪只信息包括猪的品种、大小、年龄和性别信息。在标注数据时，需要将每张图片和对应的体重进行匹配，以便后续作为模型训练的数据对。

为了减少过拟合，本申请对原始数据集进行了数据增强处理以扩充原始数据集，其中，数据增强包括几何变换（例如：翻转、旋转、缩放）、图像增强（例如：灰度变换、直方图增强、空间域滤波、频率域滤波）、图像加云。并且在将图像传入模型之前，还对其进行预处理以符合步骤S2中自编码特征提取器的输入要求，具体预处理方法如调整大小、剪切和归一化。

继续参考图1，本申请提供的全息体尺自编码方法还包括：

S2、训练自编码特征提取器，自编码特征提取器包括编码器和解码器，原始数据集的图像矩阵输入至编码器，编码器将图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间。

图4示出了自编码特征提取器和特征聚合器的结构示意图，结合参考图1和图4，在本实施例中，训练自编码特征提取器包括以下子步骤：

S21、将原始数据集按比例划分为训练集和测试集，训练集的图像矩阵作为编码器的输入，即将原始彩色图像矩阵、温度图像矩阵、深度图像矩阵作为编码器的输入，以尝试通过解码器重构输出与输入图像相匹配。应当理解的是，采集得到的原始数据就是图像矩阵，例如RGB相机得到的就是3 x W x H 的图像矩阵，即为图像每一个像素点的数值，其他同理。

S22、编码器将输入的图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间，其中特征向量作为步骤S3中特征聚合器的输入，即仅使用图4中PVAE模型（PVAEformer）的中间编码量“E”作为后续聚合器的输入。

S23、通过最小化重构误差完成自编码特征提取器的训练，获取自编码特征提取器的参数，使解码器生成与原始输入相似的输出。

自编码特征提取器的训练过程通过最小化重构误差来完成，即最小化原始数据与重构数据之间的差距。通过训练得到自编码器的参数，从而学习到数据的特征表示，该特征表示可以在后续的回归组合阶段使用。

S24、使用MSE回归损失函数优化自编码特征提取器，使用Adam优化器进行参数更新，并且通过步骤S21中的测试集验证自编码特征提取器的性能。

本申请提供的自编码特征提取器是一种自监督的神经网络，是通过训练数据本身来学习有效的特征表示。本申请图4中将自编码特征提取器重命名为PVAE，即Pig-Variational-Auto-Encoder。自编码特征提取器包含一个编码器和一个解码器，其中编码器将输入的“类图像”数据映射到低维空间E（三个通道的图像矩阵都会输入，故名为“类图像”），解码器则将低维表示映射回原始数据空间，即“恢复图像”。

继续参考图1，本申请提供的全息体尺自编码方法还包括：

S3、将步骤S2获得的特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

在本实施例中，结合参考图1和图4，将特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重包括以下子步骤：

S31、基于特征向量的提取顺序，对特征向量进行位置编码。

如图4中特征提取器和特征聚合器相连处的E：即Input Embedding是上游“源特征嵌入序列”，即自编码特征提取器中提取出的特征按照顺序排列，顺序为从底向上。输出映射output map后续将按顺序进行输入Transformer的编码器网络，逐层得到潜在向量。而特征聚合器中的“Position Encoding”部分则是为了保留位置信息，应用位置编码并与嵌入输出相加。

S32、基于预先训练好的特征聚合器，对经过位置编码的特征向量进行逐层特征聚合，利用多头注意力机制捕捉不同位置特征的相关性，使用全局注意力机制捕捉全局相关性，获得潜在向量；

S33、将经过多头注意力机制处理后的潜在向量输入至线性层，最后输出线性回归预测出的猪只体重。

图4中特征聚合器中的“Nx”部分是指逐层进行输入特征的聚合，本申请沿用经典Transformer模型的潜在向量维度d=512，即每次聚合后，都产生一个维度为512的潜在向量，将输出映射output map逐步进行深层编码。本申请使用一个含有点积评分器的“多头注意力”形成multi-head attention模块，来重复进行多次编码。其中，多头自注意力机制是Transformer主要组件。

特征聚合器中的结构将输入的编码表示视为一组包含查询的键值对(Q,K,V)。工作方式为：“将一个查询Q和一组键K-值V对映射到一个输出Output”，它们均是维度为d的向量。输出Output被计算为值V的加权和，其中分配给每个值V的权重W由“查询Q与相应键K的兼容性函数”计算，随后归一化以确保它们加起来等于一。这种机制允许模型权重集中关注输入中最相关的部分。

将自编码特征提取器提取到的特征向量E（其维度为提取器输出的特征图的W*H*N，N为特征个数）经过傅里叶变换表示为4维度频域向量[e1, e2, e3, e4]，其中e1-e4均为4维的单位向量。随后transformer结构对这个向量序列分别进行三次线性变换，得到查询向量 Q、键向量 K 和值向量 V：

Q = Wq * [e1, e2, e3, e4]

K = Wk * [e1, e2, e3, e4]

V = Wv * [e1, e2, e3, e4]

其中，Wq、Wk、Wv 分别为权重矩阵。计算查询向量Q和键向量K之间的相似度得到注意力分布，具体的计算方法是：

＝ Softmax（ Q*K ^T / ）

其中，T表示转置，表示一个归一化因子，表示键向量K的维度。后续层的查询Q、键K和值V通常来自神经网络的前一层，注意力函数将它们映射到一个输出向量Output。另外，多头机制不是只计算一次注意力，而是多次并行运行缩放的点积注意力。这个机制允许模型关注来自不同位置的不同表示潜在空间的信息。如果仅仅使用单个注意力头，这些多层信息就会被平均抑制多图的表达为：

其中，MultiHead（）表示多头自注意力函数，表示线性变换操作，上标O表示注意力的个数，中的h表示h组不同的线性投影，。

步骤S33中将经过多头注意力机处理后的潜在向量输入至线性层，最后输出线性回归预测出的猪只体重。应当注意的是虽然通常回归层不使用激活函数，因为预测的值往往是任意实数。但考虑到使用激活函数可以引入更多非线性变换，因此本申请可以在Linear上附加ReLU激活处理，这并不是为了限制输出的范围。

优选的，在模型训练时可以使用已标注的数据对模型进行训练，并采用常见的损失函数（例如均方误差）进行优化。具体的，使用MSE等回归损失函数来优化模型，并使用Adam优化器进行参数更新，以及分别通过训练集和验证集监控模型的性能。在模型训练完毕后，再通过额外的测试集对模型进行实测评估，得到模型的预测结果，并与真实值进行比较，确认了模型准确性，并且具有泛化能力。

最终在模型优化阶段，考虑到部署推理效率、功耗等问题，对模型进行进一步的优化和调参，包括使用相关技术微调模型的架构和超参数，例如层数、节点数、学习率等，以获得更好的模型性能。并且基于英伟达Jetson进行tensorrt推理端的改造，以便可以用更低的代价运行整个流程。

自编码特征提取器和特征聚合器两部分对应两种典型的神经网络结构，在训练时采用“feature based approach”基于稳定特征的方法，即两部分独立进行训练：在训练其中一部分时，另一部分保持不动。特别地，本申请先训练1）自编码特征提取器；随后再训练2）特征聚合器；最终使用时串联在一起使用即可。

本申请中所谓的“自编码”，是参考VAE中的Auto-encoder中的说法，指的是在多通道特征提取阶段采用类似于自编码机的方式进行自监督训练；而“全息体尺”则指不拘泥于任何猪的单一体征（如头的大小、身体的长度等），而是从全局的全身特征出发，依赖Transformer架构重构这些特征，从而回归得到最终的预测体重。

进一步参考图5，作为对上述方法的实现，本申请提供了猪只估重的全息体尺自编码系统的一个实施例，该系统实施例与图1所示的方法实施例相对应，该系统具体可以应用于各种电子设备中。该系统500包括以下模块：

获取模块510，配置用于获取包含有猪只信息的原始数据集，并且对原始数据集进行标注，其中原始数据集包括彩色图像、深度图像、热分布图像；

特征提取模块520，配置用于训练自编码特征提取器，自编码特征提取器包括编码器和解码器，原始数据集的图像矩阵输入至编码器，编码器将图像矩阵映射到低维空间获得特征向量，解码器将低维表示映射回原始数据空间；

特征聚合模块530，配置用于将特征提取模块获得的特征向量输入至特征聚合器中，利用多头注意力机制对特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过多头注意力机制处理的潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

启动本申请提供的全息体尺自编码系统，系统先加载所需算法模型、加载传感器访问所需的驱动，随后等待传感器数据输入。当三通道传感器输入数据传给全息体尺自编码模型，进行推理，两通道数据分别被模型编码成为特征，并通过自注意力头完成特征融合。

经特征聚合器融合后的特征后续回归得到猪的重量，在具体的实施例中，可以使用追踪模块记录猪只的唯一id，作为独立个体。全息体尺自编码系统持续输入某只猪的传感器数据，则持续重复三通道传感器输入数据、进行特征提取、特征融合、融合后回归猪只体重以及追踪记录猪只id的过程，等待中止信号，待全息体尺自编码系统收到外部中止信号，停止采集，后续推理流程也将自动停止。全息体尺自编码系统输出观测时间段内的真实的各id猪只的真实重量，图6示出了猪只实际重量与预估重量的对比结果，其中横轴为实际重量，纵轴为预估重量。

本申请基于Transformer和自监督学习方法，构建了一个给猪只估重的神经网络视觉算法。该模型的目标是：输入一张猪的图像，模型首先会基于图像提取猪的体貌特征，随后会分析提取到的特征，通过特征的回归组合，最终输出这头猪的预测重量。具体的，在训练阶段，提取特征的阶段是通过类似自监督的方法来训练得到的；而分析特征的阶段是通过类似Transformer和注意力机制得到的。以上方法属于间接式无接触猪只侧重方法，避免直接法猪只应激弊端的同时，克服了间接法不准确、不可靠性。最终使得算法能够兼容传感器的不同角度、距离、同的猪只大小、猪只类型、猪只形态（如爬、站等）状态下对重量结果估计可靠性的影响，取得了良好的的效果。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机系统900的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统900包括中央处理单元（CPU）901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元（CPU）901执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元、第二确定单元、生成单元、第一提取单元和第一存储单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一确定单元还可以被描述为“确定预设的事件信息列表中是否存在新增的事件信息的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：确定预设的事件信息列表中是否存在新增的事件信息，其中，事件信息列表中的每个事件信息包括事件描述信息；响应于确定存在，将新增的事件信息确定为目标事件信息；识别目标事件信息的事件描述信息，生成目标事件信息的标签；从目标事件信息中提取要素信息集合；将目标事件信息、要素信息集合、标签关联存储到预设的事件信息库中。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种猪只估重的全息体尺自编码方法，其特征在于，包括以下步骤：

S1、获取包含有猪只信息的原始数据集，并且对所述原始数据集进行标注，其中所述原始数据集包括彩色图像、深度图像、热分布图像；

S2、训练自编码特征提取器，所述自编码特征提取器包括编码器和解码器，所述原始数据集的图像矩阵输入至所述编码器，所述编码器将所述图像矩阵映射到低维空间获得特征向量，所述解码器将低维表示映射回原始数据空间；

S3、将步骤S2获得的所述特征向量输入至特征聚合器中，利用多头注意力机制对所述特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过所述多头注意力机制处理的所述潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

2.根据权利要求1所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S2中，训练所述自编码特征提取器包括以下子步骤：

S21、将所述原始数据集按比例划分为训练集和测试集，所述训练集的图像矩阵作为所述编码器的输入；

S22、所述编码器将输入的所述图像矩阵映射到低维空间获得所述特征向量，所述解码器将低维表示映射回原始数据空间，其中所述特征向量作为步骤S3中特征聚合器的输入；

S23、通过最小化重构误差完成所述自编码特征提取器的训练，获取所述自编码特征提取器的参数，使所述解码器生成与原始输入相似的输出；

S24、使用MSE回归损失函数优化所述自编码特征提取器，使用Adam优化器进行参数更新，并且通过步骤S21中的所述测试集验证所述自编码特征提取器的性能。

3.根据权利要求1所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S3中，将步骤S2获得的所述特征向量输入至特征聚合器中，利用多头注意力机制对所述特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过所述多头注意力机制处理的所述潜在向量输入线性层，最终获得线性回归预测出的猪只体重包括以下子步骤：

S31、基于所述特征向量的提取顺序，对所述特征向量进行位置编码；

S32、基于预先训练好的特征聚合器，对经过位置编码的特征向量进行逐层特征聚合，利用多头注意力机制捕捉不同位置特征的相关性，使用全局注意力机制捕捉全局相关性，获得潜在向量；

S33、将经过所述多头注意力机制处理后的潜在向量输入至所述线性层，最后输出线性回归预测出的猪只体重。

4.根据权利要求3所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S32中，基于预先训练好的特征聚合器，对经过位置编码的特征向量进行逐层特征聚合，利用多头注意力机制捕捉不同位置特征的相关性，使用全局注意力机制捕捉全局相关性，获得潜在向量，还包括以下子步骤：

S321、将所述自编码特征提取器提取到的特征向量经傅里叶变换表示为4维度频域向量[e1, e2, e3, e4]，其中e1-e4 均为4维的单位向量；

S322、基于所述特征聚合器对所述4维度频域向量序列分别进行三次线性变换，得到查询向量Q、键向量K和值向量V：

Q = Wq * [e1, e2, e3, e4]

K = Wk * [e1, e2, e3, e4]

V = Wv * [e1, e2, e3, e4]

其中，Wq、Wk、Wv 分别为权重矩阵；

S323、计算所述查询向量Q和所述键向量K之间的相似度获得自注意力矩阵，计算表达式为：

＝Softmax（Q*K ^T / ）

将计算得到的自注意力矩阵进行拼接操作，经线性变换形成多头自注意力，计算表达式为：

其中，Attention( )表示自注意力计算函数，T表示转置，表示归一化因子，表示键向量K的维度，其中，MultiHead（）表示多头自注意力函数，表示线性变换操作，上标O表示注意力的个数，中的h表示h组不同的线性投影。

5.根据权利要求1所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S1中，还包括：

对所述原始数据集进行数据增强处理以扩充所述原始数据集，所述数据增强包括几何变换、图像增强、图像加云；

对所述原始数据集进行预处理以符合步骤S2中所述自编码特征提取器的输入要求，所述预处理包括尺寸调整、剪切和归一化。

6.根据权利要求1所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S1中，对所述原始数据集进行猪只体重的数据标注，形成猪只图片与体重相对应的数据对，所述猪只信息包括猪的品种、大小、年龄和性别信息。

7.根据权利要求1所述的猪只估重的全息体尺自编码方法，其特征在于，在步骤S1中，所述原始数据集通过三通道传感器获得，获取所述原始数据集前，先校准所述三通道传感器使得RGB通道、深度通道、温度通道处于对齐状态。

8.一种猪只估重的全息体尺自编码系统，其特征在于，所述系统包括：

获取模块，配置用于获取包含有猪只信息的原始数据集，并且对所述原始数据集进行标注，其中所述原始数据集包括彩色图像、深度图像、热分布图像；

特征提取模块，配置用于训练自编码特征提取器，所述自编码特征提取器包括编码器和解码器，所述原始数据集的图像矩阵输入至所述编码器，所述编码器将所述图像矩阵映射到低维空间获得特征向量，所述解码器将低维表示映射回原始数据空间；

特征聚合模块，配置用于将特征提取模块获得的所述特征向量输入至特征聚合器中，利用多头注意力机制对所述特征向量进行分析和聚合以捕捉不同位置特征的相关性，获得潜在向量，将经过所述多头注意力机制处理的所述潜在向量输入线性层，最终获得线性回归预测出的猪只体重。

9.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7任意一项所述的一种猪只估重的全息体尺自编码方法的步骤。

10.一种计算机可读存储介质，所述介质中存储有计算机程序，在所述计算机程序被处理器执行时，实施如权利要求1至7中任意一项所述的一种猪只估重的全息体尺自编码方法的步骤。

Images