CN111783691A - 基于畜类图像语义感知的养殖舍影像大数据采集分析方法 - Google Patents

Abstract

本发明公开了一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法。包括：构建起养殖舍建筑信息模型；训练畜类关键点提取网络；将连续帧的畜类关键点热力图进行叠加，对相加的热力图结果进行阈值化处理、占比分析，输出相机实时刷新率等级，根据该等级实时调整摄像头刷新率并图像采集，进行图像拼接，在Web页面上对建筑信息模型进行可视化显示。利用本发明，实现了智能化的畜牧图像采集，不仅提高了畜类动物检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

Description

基于畜类图像语义感知的养殖舍影像大数据采集分析方法

技术领域

本发明涉及人工智能、智慧畜牧、BIM技术领域，具体涉及一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法。

背景技术

随着科技水平的提高，越来越多的科技产品应用到畜牧业中，如各式各样的传感器、监控摄像头等，为养殖环境、畜类行为的检测提供了基础。

然而在养殖环境的检测中，养殖舍的监控摄像头会带来巨大的数据量，监控视频的存储会有许多冗余数据，同时摄像头不能针对环境进行自适应的调整刷新率等，使得监控的成本会比较高。另一方面，现有的畜牧成像往往没有全局视角，而且畜牧养殖监控中各种信息较为分散。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，实现了智能化的畜牧图像采集，不仅提高了畜类动物检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，该方法包括：

步骤一，以养殖舍信息数据为基础，建立三维养殖舍模型，构建起养殖舍建筑信息模型及其信息交换模块；

步骤二，利用布设在养殖舍内顶部墙壁或天花板的摄像头采集大量畜类图像，构成畜类图像训练集；

步骤三，对畜类图像训练集的图像进行畜类关键点标注，标注在每个畜牧动物的中心位置，将标注的畜类动物中心散点图与高斯核卷积得到畜类关键点热力图；

步骤四，将畜类图像训练集以及其对应的畜类关键点热力图标签数据输入畜类关键点提取网络，训练畜类关键点检测编码器、畜类关键点检测解码器；

步骤五，将摄像头实时采集的畜类图像输入训练好的畜类关键点提取网络，得到畜类关键点热力图；

步骤六，将连续帧的畜类关键点热力图进行叠加，对相加的热力图进行阈值化处理，大于或等于阈值的像素值设为255，小于阈值的像素值设为0；

步骤七，统计像素值为255的像素点在图像中的占比，并根据该占比与划分的占比区间的关系，输出相机实时刷新率等级；

步骤八，根据相机实时刷新率等级实时调整摄像头刷新率并进行图像采集；同时将各个摄像头拍摄的图像以及叠加的热力图进行拼接，形成完整的养殖舍图像、热力图图像，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；

步骤九，养殖舍建筑信息模型中添加摄像头图像图层、叠加热力图图像图层，利用信息交互模块获取完整的养殖舍图像、热力图图像，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。

畜类关键点检测编码器对畜类图像进行特征提取，输入为图像数据，输出为特征图；

畜类关键点检测解码器对特征图进行上采样并最终生成关键点热力图，其输入为畜类关键点检测编码器产生的特征图，输出为畜类关键点热力图。

步骤四中训练时采用的损失函数：

其中，P_ij代表畜类关键点在位置(i,j)处的得分，得分越高就越可能是畜类关键点，N代表真值热力图中的关键点数量，α、β为超参数。

相机实时刷新率等级包括：0级表征畜类基本无走动，1级表征畜类小幅度走动，2级表征畜类大量走动，划分的占比区间包括：0级：[0,0.2)，1级：[0.2,0.4)，2级：[0.4,0.6)。

根据相机实时刷新率等级实时调整摄像头刷新率包括：相机实时刷新率0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

将各个摄像头拍摄的图像进行拼接，形成完整的养殖舍图像、热力图图像包括：

提取养殖舍内相邻位置摄像头拍摄的待拼接摄像头图像的特征点；

进行图像配准，采用一定的匹配策略，找出待拼接摄像头图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接摄像头图像、待拼接热力图图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接摄像头图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍图像，将待拼接热力图图像的重合区域进行融合得到拼接重构的热力图图像。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合计算机视觉技术与深度学习技术对进行摄像头实时采集的图像分析，得到畜类检测结果，深度学习使用大量样本，泛化能力强，鲁棒性好，提高了畜类检测的准确率。

2.本发明对畜类关键点热力图进行叠加，进而进行占比分析，从而为后续刷新率调节提供依据，计算方法简单，计算效率高，而且表征畜类走动的效果好。

3.养殖舍摄像头持续采集图像功耗较高，本发明根据实时的畜类动物活动情况调整相机刷新率，降低采集图片的频率，可有效降低监控视频的帧数，从而间接地降低了监控视频所占的空间大小，降低摄像头存储负担，且相机的功耗也会因刷新率而调整，为养殖舍的监控降低了成本。

4.本发明结合建筑信息模型，建立建筑信息模型作为智慧畜牧的三维数字空间模型，该模型可以集成多种分散的数据，提高了智慧畜牧数据模型的数据集成能力。在建筑信息模型中添加拼接的相机图像图层、热力图图层，并结合WebGIS技术进行实时展示，能够可以更好地实现对养殖舍畜类动物的实时成像，方便监管人员实时监管。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法。对养殖舍摄像头拍摄的画面进行畜类关键点检测，并将得到的关键点热力图进行叠加，然后阈值化处理，最终根据处理结果进行分级，实现对相机刷新率的自动调整。将各个相机得到的图像进行拼接，透视变换到养殖舍BIM中，实现实时成像。图1为本发明的流程图。下面通过具体实施例来进行说明。

实施例1：

为了实现本发明方法，需要先构建养殖舍BIM模型及信息交换模块的内部关系。

养殖舍BIM模型指以养殖舍信息数据为基础，建立起三维的养殖舍模型，并包含内部设施、传感器等信息，可通过Revit软件进行BIM建模与设计。

信息交换模块是一种基于BIM的数据交换平台，包含养殖舍生命周期各阶段所涵盖的信息。信息交换需要符合描述建筑信息模型标准，此标准必须能够描述养殖舍生命周期各阶段所涵盖的信息，并且受到各BIM系统的支持。

本方法以养殖舍BIM模型为基础，通过WebGIS技术将养殖舍场景展现在Web中，该方法可调用信息交换模块以展现最新的养殖舍模型和内部信息。

本发明主要针对养殖舍畜类活动进行监测，并对养殖舍各个摄像头及检测的热力图叠加结果进行成像，投影到BIM养殖舍地面上，可以更好地实现对养殖舍畜类活动的可视化。养殖舍这里主要指猪舍、牛舍等。

首先在养殖舍内顶部墙壁或天花板处部署摄像头，实现对养殖舍的俯视拍摄。部署摄像头的数目，实施者可根据摄像头拍摄范围的大小及养殖舍的大小来决定。所有摄像头拍摄的范围要能覆盖到养殖舍地面整个区域，且两个相邻的摄像头要有重合区域，以更好地进行图像拼接。同时摄像头的规格最好统一。

然后利用摄像头对养殖舍内的畜类进行拍摄，采集畜类图像数据，构建畜类图像训练集。对图像数据进行标注，分为两步，第一步进行畜类关键点标注，标记在每个畜类的中心位置，即X,Y的坐标；第二步，将标注的畜类动物中心散点图与高斯核卷积得到畜类关键点热力图。具体的细节如高斯核大小的选取不在本发明讨论范围。因为摄像头是俯视，如果畜类处在站立状态，可标注在畜类躯干顶部中心点位置。

将畜类图像训练集与标注数据送入神经网络进行训练，其训练的流程如下：摄像头采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过采集的图像和热力图标签数据，端到端地训练畜类关键点检测编码器Encoder和畜类关键点检测解码器Decoder。Encoder对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map；Decoder是对Feature map进行上采样与特征提取，其输入为Encoder产生的Feature map，输出为畜类关键点热力图(Heatmap)。Loss函数采用Heatmaps Loss，其数学公式为：

其中，P_ij代表畜类中心点在位置(i,j)处的得分，得分越高就越可能是畜类的中心点。y_ij表示ground truth heatmap真值热力图在位置(i,j)处的像素值。N代表groundtruth heatmap真值热力图中的关键点数量。α、β为超参数，需要人为设定。

至此，即可完成对畜类关键点的提取。

热力图的后处理方法即如何得到关键点，是周知的，这里不再赘述。

需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。

将摄像头实时采集的畜类图像输入训练好的畜类关键点提取网络，得到畜类关键点热力图。

然后将热力图进行叠加即像素值的加法运算，每张热力图以队列的方式相加。叠加的热力图帧数需要人为经验设定，如将每60帧的热力图进行叠加，则其叠加后的值域在[0-60]之间内。

进一步的，对相加的热力图结果进行阈值化处理，该阈值同样根据人为经验确定。

如阈值设置为36，则相加的热力图结果中像素值大于或等于36的值变为255，反之则变为0，最终形成的图像为二值化图像。

然后统计二值比例(二种像素值的数目的比例)，即像素值为255、0的像素个数，由于摄像头是俯视，因而直接进行统计，但二值的像素数目会受到养殖舍摄像头拍摄范围内的畜类数目、标签热力图生成时高斯核的大小、阈值因素的影响。

假设热力图大小为512*512，经过阈值化处理后，像素值为255的有512*128个像素，即像素值为255的占该热力图总像素个数的25％，即0.25，然后通过占比的区间来判断具体的等级。

如占比在0～0.2为0级，0.2～0.4为1级，0.4～0.6为2级，以此类推。最大占比不会超过1。

由于热力图可反映出畜类的走动情况，因而相机刷新率等级按以下含义进行分级。

相机刷新率等级，如0级：基本无走动，1级：小幅度走动，2级：大量走动。级别越高，相机的刷新率越高，每个等级对应一个刷新率。具体的，分多少等级，建议参考实际的养殖舍畜类情况。

然后根据相机刷新率等级调整相机的刷新率。如按0级30hz刷新率，1级45hz刷新率，2级60hz等。

编码器-解码器的设计有许多种，本发明建议畜类关键点检测Encoder、Decoder套用常见的预训练骨干网络进行提取，如HRNet等，同时这样也更利于网络的收敛。最终训练完毕后，建议采用模型压缩与优化加速技术降低网络参数冗余，提高网络的计算效率。有助于模型的应用部署。

进一步的将摄像头拍摄的图像与热力图叠加结果分别进行图像拼接并透视变换到养殖舍BIM地面上。

以摄像头拍摄图像为例，图像拼接首先要提取特征点。图像的特征有许多种，如AKAZE、BRISK等，都可以用来做图像拼接中图像特征点提取的工作。具体使用哪种特征，实施者可以根据应用要求来选择。

然后进行图像配准，就是采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。即这一步要对养殖舍内每两个相邻位置的摄像头拍摄的图像进行图像配准。匹配策略如通过进行相似性度量找到匹配的特征点。

然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其求解方法是周知的，如RANSAC算法。为了提高图像变换单应性矩阵的准确性，可在场景中添加控制板以增加匹配点数和准确性。

至此即完成了图像的配准。

进一步的，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。

最终，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍地面环境图像。融合的方法有多种，如羽化(feathering)融合算法、金字塔(pyramid)融合算法等，这里不再一一赘述。

至此，即得到了拼接重构的养殖舍地面图像，然后将其投影到BIM养殖舍地面上。

投影即进行透视变换操作，需要计算拼接重构的养殖舍地面图像到BIM养殖舍地面的单应性矩阵。求解至少需要4组坐标点，即至少需要拼接重构的养殖舍地面图像中的4个角点及BIM养殖舍地面中的4个角点，其求解过程是周知的，这里不再赘述，其中角点建议人为选择，以便得到更精确的结果，并且两图像间的角点要一一对应。

得到拼接重构的养殖舍地面图像后，通过计算得到的单应性矩阵进行投影，将图像投影到BIM养殖舍地面上。

叠加的热力图结果图像拼接与投影原理同上，根据摄像头图像拼接关系进行相应热力图图像拼接即可。

由于每个摄像头拍摄的图像与热力图是相同相机位姿的，因此热力图可通过摄像头拍摄的图像求得的各个变换矩阵进行变换，无需重新计算。其中，热力图的叠加结果建议实施者进行膨胀操作后，再投影到BIM内，可以扩大热力图范围，增强可视化效果。

最终，为了直观地呈现养殖舍环境，本发明结合WebGIS技术，将养殖舍BIM模型集成到WebGIS所开发的系统中，养殖舍建筑信息模型中添加摄像头图像图层、叠加热力图图像图层，通过调用信息交换模块获取完整的养殖舍图像、热力图图像，实时更新养殖舍空间三维模型，并在Web端进行数据可视化、展示养殖舍畜禽的走动情况。其中摄像头拍摄的图像与叠加的热力图图像分别占WebGIS中的一个图层，这样可以实现选择性可视化，从而更方便管理。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，其特征在于，该方法包括：

步骤一，以养殖舍信息数据为基础，建立三维养殖舍模型，构建起养殖舍建筑信息模型及其信息交换模块；

步骤二，利用布设在养殖舍内顶部墙壁或天花板的摄像头采集大量畜类图像，构成畜类图像训练集；

步骤三，对畜类图像训练集的图像进行畜类关键点标注，标注在每个畜牧动物的中心位置，将标注的畜类动物中心散点图与高斯核卷积得到畜类关键点热力图；

步骤四，将畜类图像训练集以及其对应的畜类关键点热力图标签数据输入畜类关键点提取网络，训练畜类关键点检测编码器、畜类关键点检测解码器；

步骤五，将摄像头实时采集的畜类图像输入训练好的畜类关键点提取网络，得到畜类关键点热力图；

步骤六，将连续帧的畜类关键点热力图进行叠加，对相加的热力图进行阈值化处理，大于或等于阈值的像素值设为255，小于阈值的像素值设为0；

步骤七，统计像素值为255的像素点在图像中的占比，并根据该占比与划分的占比区间的关系，输出相机实时刷新率等级；

步骤八，根据相机实时刷新率等级实时调整摄像头刷新率并进行图像采集；同时将各个摄像头拍摄的图像以及叠加的热力图进行拼接，形成完整的养殖舍图像、热力图图像，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；

步骤九，养殖舍建筑信息模型中添加摄像头图像图层、叠加热力图图像图层，利用信息交互模块获取完整的养殖舍图像、热力图图像，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。

2.如权利要求1所述的方法，其特征在于，所述畜类关键点检测编码器对畜类图像进行特征提取，输入为图像数据，输出为特征图；

所述畜类关键点检测解码器对特征图进行上采样并最终生成关键点热力图，其输入为畜类关键点检测编码器产生的特征图，输出为畜类关键点热力图。

3.如权利要求1所述的方法，其特征在于，所述步骤四中训练时采用的损失函数：

其中，P_ij代表畜类关键点在位置(i,j)处的得分，得分越高就越可能是畜类关键点，N代表真值热力图中的关键点数量，α、β为超参数。

4.如权利要求1所述的方法，其特征在于，相机实时刷新率等级包括：0级表征畜类基本无走动，1级表征畜类小幅度走动，2级表征畜类大量走动，划分的占比区间包括：0级：[0,0.2)，1级：[0.2,0.4)，2级：[0.4,0.6)。

5.如权利要求1所述的方法，其特征在于，根据相机实时刷新率等级实时调整摄像头刷新率包括：相机实时刷新率0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

6.如权利要求1所述的方法，其特征在于，所述将各个摄像头拍摄的图像进行拼接，形成完整的养殖舍图像、热力图图像包括：

提取养殖舍内相邻位置摄像头拍摄的待拼接摄像头图像的特征点；

进行图像配准，采用一定的匹配策略，找出待拼接摄像头图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接摄像头图像、待拼接热力图图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接摄像头图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍图像，将待拼接热力图图像的重合区域进行融合得到拼接重构的热力图图像。

Images