CN111783751A - 基于枪球联动与bim的养殖舍仔猪异常预警方法 - Google Patents

Abstract

本发明公开了一种基于枪球联动与BIM的养殖舍仔猪异常预警方法，该方法包括：构建养殖舍建筑信息模型；将养殖舍图像投影到养殖舍建筑信息模型坐标系；结合枪型摄像机与球型摄像机采集的图像，与养殖舍建筑信息模型中的相关信息进行比较，判断猪只变化，并根据猪栏褥草情况、声音检测结果综合判断仔猪被压风险。本发明适合在大的养殖舍推广应用，成本低、检测结果准确，分析不同的风险等级。

Description

基于枪球联动与BIM的养殖舍仔猪异常预警方法

技术领域

本发明涉及人工智能、智慧畜牧技术领域，具体涉及一种基于枪球联动与BIM的养殖舍仔猪异常预警方法。

背景技术

在猪养殖过程中，仔猪被压致死经常发生，严重影响养殖效益。一些方法通过检测猪的姿态，比较坐卧前后的猪只个数来判断是否存在仔猪被压。这种方法的缺点是，如果坐卧前图像中猪相互遮挡，很有可能出现猪只个数不变，但是仔猪被压的情况。一些方法通过检测大猪与小猪的重叠面积，来判断仔猪是否被压。上述两类方法的缺点显而易见，根据成像原理，猪只之间相互遮挡时，重叠面积很大，会被误判为仔猪被压。而且，以上两种方法未考虑仔猪猪栏环境的特殊性，图像采集方法不灵活，难以在大范围养殖舍推广应用，系统信息集成能力、可视化效果也不好。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于枪球联动与BIM的养殖舍仔猪异常预警方法。

一种基于枪球联动与BIM的养殖舍仔猪异常预警方法，该方法包括：

构建养殖舍建筑信息模型，养殖舍建筑信息模型包括猪栏分布信息、各猪栏感兴趣区域信息、各猪栏内的猪只个数信息；

将枪型摄像机采集的养殖舍图像进行拼接，得到养殖舍全景图像，透视变换到养殖舍建筑信息模型的地面坐标系上；

枪型摄像机端加载训练好的猪姿态检测深度神经网络，对采集的图像进行姿态检测，当检测到有大猪发生坐卧动作时，将发生坐卧的大猪的坐标变换到养殖舍建筑信息模型的地面坐标系；

将发生坐卧的大猪的坐标与建筑信息模型中的各猪栏感兴趣区域信息比较，判断得到发生坐卧的大猪所在猪栏；

将发生坐卧的大猪所在猪栏位置信息发送至对应球型摄像机，球型摄像机端根据猪栏位置进行位姿调整、聚焦并采集图像；

对球型摄像机采集的图像，执行猪头部检测深度神经网络推理，输出猪头部关键点热力图；

对猪头部关键点热力图进行后处理，得到猪头部关键点坐标，将猪头部关键点坐标投影变换到养殖舍建筑信息模型地面坐标系，判断猪头部关键点坐标系是否位于该猪栏感兴趣区域，统计位于该猪栏感兴趣区域的猪头部关键点个数，作为猪只个数；

比较猪只个数与养殖舍建筑信息模型中对应猪栏的猪只个数是否相等，如果不相等，对球机采集的图像执行褥草检测深度神经网络推理输出褥草检测结果，同时调用音频异常检测模块得到声音检测结果；

如果声音异常，判定存在仔猪被压，输出重度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏无褥草或有少量褥草，有仔猪被压不能发声的概率，输出中度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏有大量褥草，判定仔猪藏于褥草中，有被压风险，则输出轻度危险级预警至养殖舍建筑信息模型；

结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行实时可视化，多种信息包括：养殖舍全景图像、危险级预警信息。

所述猪姿态检测深度神经网络包括：

猪姿态估计编码器，对输入的图像进行特征提取；

猪姿态估计解码器，猪姿态估计编码器输出的特征进行上采样还原，输出多通道猪关键点热力图、每一通道关键点热力图对应的猪身份图。

根据猪关键点热力图中每一类关键点的语义以及猪身份图匹配得到每只猪的姿态。

所述猪头部检测深度神经网络包括：

猪头部关键点提取编码器，用于对输入的图像进行特征提取；

猪头部关键点提取解码器，用于对猪头部关键点提取编码器的输出进行上采样还原，输出猪头部关键点热力图。

所述后处理包括：回归猪头部关键点热力图热斑的最大值位置，得到猪头部关键点坐标。

褥草检测深度神经网络包括：

褥草感知编码器，用于对输入的图像进行特征提取；

第一全连接网络，用于对褥草感知编码器的输出进行加权分类，输出分类结果，分类结果包括：无褥草、少量褥草、大量褥草。

音频异常检测模块包括：

降噪单元，对声音传感器采集的音频数据降噪处理；

分帧单元，对降噪后的音频数据进行分帧、重采样，得到音频序列；

MFCC特征提取单元，用于提取音频序列的MFCC特征；

第二全连接网络，用于对MFCC特征向量进行分类，输出声音是否异常的检测结果。

该方法还包括：

所述声音传感器采集音频数据的时间窗口的起始时刻应在检测到有大猪发生坐卧动作之前。

声音异常具体为猪叫声异常。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合建筑信息模型技术，构建养殖舍建筑信息模型，该模型整合了养殖舍各种信息，信息集成能力强，而且与WebGIS技术结合能够得到良好的可视化效果，方便监管人员随时查看。

2.本发明对摄像机实时采集的图像进行拼接，投影到养殖舍建筑信息模型进行可视化，能够让监管人员实时观察到养殖舍全景图像，而不用调用每个摄像头分别查看。

3.本发明利用枪型摄像机采集养殖舍大范围图像，进行猪姿态分析，能够监控到大范围的猪姿态信息。将发生坐卧的大猪的坐标与建筑信息模型中的相关信息比较，得到发生坐卧的猪所在猪栏，能够为球机提供更为准确的位姿调整信息。

4.本发明利用球型摄像机采集发生坐卧的猪栏图像，与枪型摄像机结合，能够有效降低摄像机配置数量，降低成本，而且球型摄像机可以采集小范围细节图像，有助于提高检测准确率。仔猪头部被压风险最高，对球型摄像机采集的图像利用神经网络检测猪头部，一方面检测效率高，一方面结合球机技术抗遮挡效果好。

5.本发明结合猪栏建筑信息模型中的猪栏感兴趣区域信息，相比于传统的统计方法，能够准确统计特定猪栏内的猪只个数。

6.仔猪生长过程中往往需要褥草来保温，现有技术无法检测到仔猪藏于褥草之中被压的情况，本发明结合建筑信息模型中的猪只个数，不仅能够检测仔猪藏于褥草之中的个数变化，而且对球机采集的图像进行褥草检测，结合褥草检测结果、声音检测结果能够综合分析得出仔猪被压的风险等级。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于枪球联动与BIM的养殖舍仔猪异常预警方法。图1为本发明的流程图。下面通过具体实施例来进行说明。

实施例1：

构建养殖舍建筑信息模型，养殖舍建筑信息模型包括猪栏分布信息、各猪栏感兴趣区域信息、各猪栏内的猪只个数信息。

养殖舍建筑信息模型指以养殖舍信息数据为基础，建立起三维的养殖舍模型，并包含猪栏分布信息、各猪栏感兴趣区域信息、各猪栏内的猪只个数信息，可通过Revit软件进行BIM建模与设计。

信息交换模块是一种基于BIM的数据交换平台。信息交换需要符合描述建筑信息模型标准，此标准必须能够描述养殖舍生命周期各阶段所涵盖的信息，并且受到各BIM系统的支持。信息交换模块是BIM与外部进行数据交换的数据接口。通过信息交换模块，养殖舍建筑信息模型可以实时获得枪机拍摄的养殖舍图像，实时接收仔猪被压的分析结果，也可以提供猪栏感兴趣区域信息、各猪栏内的猪只个数信息。本发明以养殖舍BIM为基础，通过WebGIS技术将养殖舍场景展现在Web中，该系统可调用信息交换模块以展现最新的养殖舍模型和内部信息。

本发明主要针对养殖舍仔猪进行监测，防止仔猪被压死带来经济损失。

将枪型摄像机采集的养殖舍图像进行拼接，得到养殖舍全景图像，透视变换到养殖舍建筑信息模型的地面坐标系上。

在养殖舍内顶部墙壁或天花板处部署枪型摄像头，实现对养殖舍的俯视拍摄。部署摄像头的数目，实施者可根据摄像头拍摄范围的大小及养殖舍的大小来决定。所有摄像头拍摄的范围要能覆盖到养殖舍地面整个区域，且两个相邻的摄像头要有重合区域，以更好地进行图像拼接。

养殖舍图像拼接首先要提取特征点。图像的特征有许多种，如AKAZE、BRISK等，都可以用来做图像拼接中图像特征点提取的工作。具体使用哪种特征，实施者可以根据应用要求来选择。

然后进行图像配准，就是采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。即这一步要对养殖舍内每两个相邻位置的摄像头拍摄的图像进行图像配准。匹配策略如通过进行相似性度量找到匹配的特征点。

然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其求解方法是周知的，如RANSAC算法，这里不再赘述。为了提高图像变换单应性矩阵的准确性，可在场景中添加控制板以增加匹配点数和准确性。

进一步地，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。

最终，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍地面环境图像。融合的方法有多种，如羽化(feathering)融合算法、金字塔(pyramid)融合算法等，这里不再一一赘述。

至此，即得到了拼接重构的养殖舍全景图像，然后将其投影到BIM养殖舍地面上。

投影即进行透视变换操作，需要计算拼接重构的养殖舍地面图像到BIM养殖舍地面的单应性矩阵。求解至少需要4组坐标点，即至少需要拼接重构的养殖舍地面图像中的4个角点及BIM养殖舍地面中的4个角点，其求解过程是周知的，这里不再赘述，其中角点建议人为选择，以便得到更精确的结果，并且两图像间的角点要一一对应。得到拼接重构的养殖舍全景图像后，通过上述计算得到的单应性矩阵进行投影，将图像投影到BIM养殖舍地面上。同样地，后续猪的位姿信息也可以投影到BIM上。

枪型摄像机端加载训练好的猪姿态检测深度神经网络，对采集的图像进行姿态检测，当检测到有大猪发生坐卧动作时，将发生坐卧的大猪的坐标变换到养殖舍建筑信息模型的地面坐标系。猪姿态检测深度神经网络包括：猪姿态估计编码器，对输入的图像进行特征提取；猪姿态估计解码器，猪姿态估计编码器输出的特征进行上采样还原，输出多通道猪关键点热力图、每一通道关键点热力图对应的猪身份图。

猪姿态检测深度神经网络需要进行训练。首先，构建训练数据集。利用枪型摄像头对养殖舍内的猪进行拍摄，采集图像数据，构成训练数据集。然后，对图像数据进行标注，分为两步，第一步进行猪的关节关键点标注，即X,Y的坐标，本实施例包括猪头中心点、猪颈椎中心点、猪尾椎中心点及猪脚点(4个)，总共7个关键点，因此总的关键点类别为7类，即每张图像其生成的标签热力图为7个，最终Concatenate一起，形成7通道的关键点热力图，每一通道代表一种类型的关键点；第二步，将标注的猪关节关键点散点图与高斯核卷积得到关键点热力图。因为要区分图像内的不同猪，结合Associative embedding技术，生成猪身份图，即同一个猪的所有关键点标签值要相同，不同猪之间的标签值要不同。因此，为每一个通道的关键点热力图生成对应的猪身份图，即在关键点对应位置利用标签值标注该关键点对应的猪身份，得到与关键点热力图等大的该通道的猪身份图。然后将原始图像数据与标签数据送入到网络中(猪姿态估计编码器、猪姿态估计解码器)进行训练。

猪姿态估计网络训练的细节如下：训练数据集要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过训练数据集和标注的标签数据，端到端地训练猪姿态估计编码器、猪姿态估计解码器。猪姿态估计编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map1；猪姿态估计解码器是对Feature map1进行上采样并最终生成猪关键点热力图及猪身份图，其输入为猪姿态估计编码器产生的Feature map1，输出为猪关键点热力图及猪身份图。损失函数采用Heatmaps Loss与Grouping Loss的加权和。

其中，P_cij代表类别C的猪关键点在位置(i,j)处的得分，得分越高就越可能是猪的关键点。y_cij表示真值热力图中对应位置的像素值。N代表真值热力图中的关键点数量。α、β为超参数，需要人为设定。

n表示第n个猪，k表示第k个关键点，X_nk为第n个对象的第k个关键点的真值位置，h_k表示第k个猪关键点的身份标签，

表示第n只猪的参考身份标签。n^′为除第n只猪之外的其他猪，δ是人为设定的参数值。分组loss函数中前半段就是把输入同一个猪的关键点的身份标签值尽量拉近，而公式的后半段就是把不同的猪个体身份标签值相互拉开。

总的损失为：

γ,

同样是人为设定，是为了让两个损失的值比较接近，以更好地判断模型的收敛情况。

由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。热力图的后处理方法即如何得到关键点，是周知的，寻找最大值即可。猪身份图中各个关键点的身份标签值越接近的，分为一组，即判断关键点属于哪个猪实例。由于不同通道关键点代表不同语义，例如第一通道关键点热力图代表猪头中心点，根据猪身份图将猪的各个关节关键点进行连接即可得到猪的姿态。根据关节点在空间的位置关系，通过猪位姿信息判断猪是否躺卧信息；根据头部关节关键点与尾椎之间的距离判断是大猪还是仔猪。如果检测到有大猪发生坐卧动作时，将发生坐卧的大猪的坐标变换到养殖舍建筑信息模型的地面坐标系。

将发生坐卧的大猪的坐标与养殖舍建筑信息模型中的各猪栏感兴趣区域信息比较，判断得到发生坐卧的大猪所在猪栏。将发生坐卧的大猪所在猪栏位置信息发送至对应球型摄像机，球型摄像机端根据猪栏位置进行位姿调整、聚焦并采集图像。本发明利用养殖舍建筑信息模型可以为球型摄像机提供更加准确的位姿调整信息，而且球机采集的图像更加清晰、范围确定，可以达到更好的抗遮挡效果。

对球型摄像机采集的图像，执行猪头部检测深度神经网络推理，输出猪头部关键点热力图。猪头部检测深度神经网络包括：猪头部关键点提取编码器，用于对输入的图像进行特征提取；猪头部关键点提取解码器，用于对猪头部关键点提取编码器的输出进行上采样还原，输出猪头部关键点热力图。猪头部检测深度神经网络的训练采用球机采集的小范围细节图像构建样本集。然后，对图像数据进行标注，进行猪的关节关键点标注，即X,Y的坐标，本实施例包括猪头中心点，对得到的关键点进行高斯模糊，即可得到猪头部关键点热力图标签数据。猪头部检测深度神经网络训练的细节如下：训练数据集要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过训练数据集和标注的标签数据，端到端地训练猪头部关键点提取编码器、猪头部关键点提取解码器。猪头部关键点提取编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map2；猪头部关键点提取解码器是对Feature map2(经过flatten展开)进行上采样并最终生成猪头部关键点热力图。

对猪头部关键点热力图进行后处理，得到猪头部关键点坐标，将猪头部关键点坐标投影变换到养殖舍建筑信息模型地面坐标系，判断猪头部关键点坐标系是否位于该猪栏感兴趣区域，统计位于该猪栏感兴趣区域的猪头部关键点个数，作为猪只个数。本实施例中，后处理为利用NMS或softargmax寻找局部最大值点作为猪头部关键点坐标。本发明利用养殖舍建筑信息模型中的猪栏感兴趣区域，将该猪栏外的猪头关键点提出，仅统计该猪栏内的猪只个数，可以获得更加准确的猪只个数统计结果。在仔猪藏于褥草中时，也能检测到猪只个数变化。

比较猪只个数与养殖舍建筑信息模型中对应猪栏的猪只个数是否相等，如果不相等，对球机采集的图像执行褥草检测深度神经网络推理输出褥草检测结果，同时调用音频异常检测模块得到声音检测结果。本发明利用养殖舍建筑信息模型中存储的猪只个数与检测的猪只个数进行比较，相比于传统的将坐卧前后的猪只个数进行比较，能够有效检测到猪只个数变化。当检测到的猪的头部关键点个数与BIM中存储得到该区域的猪的个数匹配时，认定无仔猪被压，无风险。

当检测到的猪的头部关键点个数与BIM中存储得到该区域的猪的个数不匹配时，认定有仔猪被压，同时执行褥草检测深度神经网络、音频异常检测模块推理，输出猪栏褥草状况的分类结果及猪栏音频是否异常的结果。

通常养殖户在冬季为了保持猪舍的干燥、温暖，会为猪舍配备褥草、干细沙、红黏土等物品，使得猪躺卧在上面能感到暖和、舒服。然而仔猪通常比较瘦小，可能会存在褥草覆盖仔猪的现象，因此为了减少误检本发明采用DNN推理判断褥草情况。

褥草检测深度神经网络具体的形态为编码器+全连接网络的形式，褥草检测深度神经网络包括：褥草感知编码器，用于对输入的图像进行特征提取；第一全连接网络，用于对褥草感知编码器的输出进行加权分类，输出分类结果，分类结果包括：无褥草、少量褥草、大量褥草。输入数据为球机拍摄图像，训练时对样本集进行标注的标签为少量(通常来说少量褥草不会造成误检)或无褥草(数字0代替)、大量褥草(数字1代替)，损失函数为交叉熵，最终输出猪栏褥草状况的分类结果。

音频异常检测模块包括：降噪单元，对声音传感器采集的音频数据降噪处理；分帧单元，对降噪后的音频数据进行分帧、重采样，得到音频序列；MFCC特征提取单元，用于提取音频序列的MFCC特征；第二全连接网络，用于对MFCC特征向量进行分类，输出声音是否异常的检测结果。声音传感器采集音频数据的时间窗口的起始时刻应在检测到有大猪发生坐卧动作之前。声音异常具体为猪叫声异常。声音检测模块使用声音传感器来采集声音数据，对仔猪叫声进行检测，以判断是否异常。

第一步进行音频的降噪处理，具体的算法很多，如自适应滤波器、谱减法、维纳滤波法，实施者可根据养殖舍的平均统计信噪比来选择。然后对降噪处理后的音频提取单声道，再进行分帧，即每3秒一个序列，然后将该序列进行重采样。由于仔猪叫声比较单一，因此采样频率建议为8kHZ，即每秒对声音信号的采集次数为8000，三秒序列进行重采样后的形状为[1，24000]，1代表1个音频序列，24000即声音采样点数。进一步的，提取序列的MFCC(梅尔频率倒谱系数)特征，得到一个特征向量。然后将特征向量送入第二全连接网络中进行分类，判断是否异常。其训练细节如下：将音频数据进行分帧处理，每三秒一个音频序列，并针对每一个序列提取MFCC特征，得到特征向量，然后对读取的MFCC特征向量进行归一化，主要目的是为了加快收敛，提高效果和减少干扰。将归一化的MFCC特征向量送入第二全连接网络FC2中进行训练，最终通过softmax输出为是否异常的概率。是否异常通过人为判断上标签。本实施中，猪叫声异常为声音异常，其他为声音正常。损失函数采用交叉熵。FC2输出为概率，后经过softmax输出是否异常信息。

当猪栏褥草状况为少量或无褥草时，如果声音异常，则判断存在仔猪被压，输出高度危险报警；如果声音正常，认定为中度危险报警(可能为仔猪被压不能发声，需要人迅速前去查看)。当猪栏褥草状况为大量褥草时，如果声音异常，则判断存在仔猪被压，输出高度危险报警；如果声音正常，认定仔猪位于褥草堆中，输出低度危险报警。即如果声音异常，判定存在仔猪被压，输出重度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏无褥草或有少量褥草，有仔猪被压不能发声的概率，输出中度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏有大量褥草，判定仔猪藏于褥草中，有被压风险，则输出轻度危险级预警至养殖舍建筑信息模型。

结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行实时可视化，多种信息包括：养殖舍全景图像、危险级预警信息。

为了直观地呈现养殖舍仔猪情况，本发明结合WebGIS技术，将上述养殖舍BIM模型集成到WebGIS所开发的系统中，通过调用信息交换模块实时更新养殖舍空间三维模型，并在Web端进行数据可视化、展示养殖舍各个区域猪的位姿、个数、大小信息、危险级预警信息。枪型摄像头拍摄图像拼接得到的全景图像与猪的位姿图像分别占WebGIS中的一个图层，这样可以实现选择性可视化，从而更方便管理。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于枪球联动与BIM的养殖舍仔猪异常预警方法，其特征在于，该方法包括：

构建养殖舍建筑信息模型，养殖舍建筑信息模型包括猪栏分布信息、各猪栏感兴趣区域信息、各猪栏内的猪只个数信息；

将枪型摄像机采集的养殖舍图像进行拼接，得到养殖舍全景图像，透视变换到养殖舍建筑信息模型的地面坐标系上；

枪型摄像机端加载训练好的猪姿态检测深度神经网络，对采集的图像进行姿态检测，当检测到有大猪发生坐卧动作时，将发生坐卧的大猪的坐标变换到养殖舍建筑信息模型的地面坐标系；

将发生坐卧的大猪的坐标与建筑信息模型中的各猪栏感兴趣区域信息比较，判断得到发生坐卧的大猪所在猪栏；

将发生坐卧的大猪所在猪栏位置信息发送至对应球型摄像机，球型摄像机端根据猪栏位置进行位姿调整、聚焦并采集图像；

对球型摄像机采集的图像，执行猪头部检测深度神经网络推理，输出猪头部关键点热力图；

对猪头部关键点热力图进行后处理，得到猪头部关键点坐标，将猪头部关键点坐标投影变换到养殖舍建筑信息模型地面坐标系，判断猪头部关键点坐标系是否位于该猪栏感兴趣区域，统计位于该猪栏感兴趣区域的猪头部关键点个数，作为猪只个数；

比较猪只个数与养殖舍建筑信息模型中对应猪栏的猪只个数是否相等，如果不相等，对球机采集的图像执行褥草检测深度神经网络推理输出褥草检测结果，同时调用音频异常检测模块得到声音检测结果；

如果声音异常，判定存在仔猪被压，输出重度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏无褥草或有少量褥草，有仔猪被压不能发声的概率，输出中度危险级预警至养殖舍建筑信息模型；如果声音正常、猪栏有大量褥草，判定仔猪藏于褥草中，有被压风险，则输出轻度危险级预警至养殖舍建筑信息模型；

结合WebGIS技术对养殖舍建筑信息模型中的多种信息进行实时可视化，多种信息包括：养殖舍全景图像、危险级预警信息。

2.如权利要求1所述的方法，其特征在于，所述猪姿态检测深度神经网络包括：

猪姿态估计编码器，对输入的图像进行特征提取；

猪姿态估计解码器，猪姿态估计编码器输出的特征进行上采样还原，输出多通道猪关键点热力图、每一通道关键点热力图对应的猪身份图。

3.如权利要求1所述的方法，其特征在于，该方法还包括：根据猪关键点热力图中每一类关键点的语义以及猪身份图匹配得到每只猪的姿态。

4.如权利要求1所述的方法，其特征在于，所述猪头部检测深度神经网络包括：

猪头部关键点提取编码器，用于对输入的图像进行特征提取；

猪头部关键点提取解码器，用于对猪头部关键点提取编码器的输出进行上采样还原，输出猪头部关键点热力图。

5.如权利要求1所述的方法，其特征在于，所述后处理包括：回归猪头部关键点热力图热斑的最大值位置，得到猪头部关键点坐标。

6.如权利要求1所述的方法，其特征在于，所述褥草检测深度神经网络包括：

褥草感知编码器，用于对输入的图像进行特征提取；

第一全连接网络，用于对褥草感知编码器的输出进行加权分类，输出分类结果，分类结果包括：无褥草、少量褥草、大量褥草。

7.如权利要求1所述的方法，其特征在于，音频异常检测模块包括：

降噪单元，对声音传感器采集的音频数据降噪处理；

分帧单元，对降噪后的音频数据进行分帧、重采样，得到音频序列；

MFCC特征提取单元，用于提取音频序列的MFCC特征；

第二全连接网络，用于对MFCC特征向量进行分类，输出声音是否异常的检测结果。

8.如权利要求1所述的方法，其特征在于，该方法还包括：

所述声音传感器采集音频数据的时间窗口的起始时刻应在检测到有大猪发生坐卧动作之前。

9.如权利要求1所述的方法，其特征在于，所述声音异常具体为猪叫声异常。

Images