CN111931631A - 基于bim和人工智能的猪饮用水检测成像方法 - Google Patents

Abstract

本发明公开了一种基于BIM和人工智能的猪饮用水检测成像方法，包括：对猪舍样本图像集进行自动标注，训练饮水器目标检测网络；对猪舍图像进行拼接、融合得到猪舍全景图像；对猪舍全景图像进行饮水器检测；对检测到的饮水器进行脏污检测；将一段时间的脏污热力图进行热图叠加；将叠加结果输入饮水器脏污分析网络，得到饮水器脏污等级，并生成清洁信号；对猪舍建筑信息模型中的多种信息进行可视化。利用本发明，实现了自动化、智能化的猪舍饮水器清洁情况监控，检测效率高、检测准确率高，结果更具实时性、客观性，方便猪舍管理。

Description

基于BIM和人工智能的猪饮用水检测成像方法

技术领域

本发明属于人工智能、BIM、智慧养殖技术领域，具体涉及一种基于BIM和人工智能的猪饮用水检测成像方法。

背景技术

在规模化的养殖场内，科学有效的实时监督生猪的生长坏境十分必要。在养殖场内，自动饮水器包括常见的饮水碗，是猪场必不可少的设备，减少了养殖场的污水排放量。但是在实际使用过程中，一方面嘴上的饲料可能会粘连到饮水器中，另一方面其他的漂浮物落入碗中，都会造成猪饮用水污染。如果长时间不清洁饮水器，猪的饮水质量不能得到保证，直接影响猪的健康状况。虽然养殖场管理员会定期巡视猪圈以及饲料槽饮水碗清洁，但是若粘连较厚，长时间不清理或者清洁不到位，管理员不能及时发现，仍然起不到清洁的作用，残留的脏污腐败变质，从而影响饮水质量。因此，在养殖场猪饮用水检测领域，存在不能智能化、高效、准确获得猪饮水器清洁情况的问题。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于BIM和人工智能的猪饮用水检测成像方法。

一种基于BIM和人工智能的猪饮用水检测成像方法，该方法包括：

步骤1，构建猪舍区域建筑信息模型以及信息交换模块；

步骤2，对猪舍样本图像集进行自动标注：

步骤2a，对猪舍样本图像进行自商滤波；

步骤2b，对自商滤波结果进行中值滤波，基于大津阈值法对中值滤波结果进行阈值分割；

步骤2c，采用轮廓查找方法获取阈值分割结果中的饮水器轮廓；

步骤2d，计算饮水器轮廓的最小外接矩形作为饮水器包围框，得到饮水器包围框信息作为猪舍样本图像的标注信息；

步骤3，基于猪舍样本图像集及其标注信息训练饮水器目标检测网络；

步骤4，将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像，并将猪舍全景图像投影变换至猪舍建筑信息模型；

步骤5，基于饮水器目标检测网络对猪舍全景图像进行饮水器检测，得到饮水器包围框信息；

步骤6，根据饮水器包围框信息对猪舍全景图像进行裁剪截取，得到饮水器感兴趣区域图像；

步骤7，基于脏污热力图检测网络对每个饮水器感兴趣区域图像进行脏污检测，得到脏污热力图；

步骤8，针对每个饮水器，将一段时间内脏污热力图进行逐像素叠加，得到该饮水器的脏污累积热度图像；

步骤9，将饮水器的脏污累积热度图像输入饮水器脏污分析网络，得到饮水器内脏污等级；

步骤10，若脏污等级大于设定阈值，根据该饮水器在猪舍区域建筑信息模型中的坐标位置，生成清洁信号，利用信息交换模块将清洁信号发送至猪舍区域建筑信息模型。

该方法还包括：结合WebGIS技术对猪舍区域建筑信息模型中的多种信息进行可视化，多种信息包括：猪舍区域三维空间模型、猪舍全景图像、饮水器内脏污等级、清洁信号。

将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像包括：

提取待拼接猪舍图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到猪舍全景图像。

饮水器目标检测网络包括：

饮水器目标检测编码器，对输入的图像进行编码、提取特征，得到特征图；

第一全连接网络，对特征图进行分析，得到饮水器包围框锚点与饮水器包围框宽、高。

脏污热力图检测网络包括：

脏污关键点检测编码器，对饮水器感兴趣区域图像进行特征提取，得到特征图；

脏污关键点检测解码器，对特征图进行上采样重构，得到脏污热力图，其中的热斑表征脏污关键点置信度。

饮水器脏污分析网络包括：

饮水器脏污分析编码器，对脏污累积热度图进行特征提取；

第三全连接网络，用于对饮水器脏污分析编码器的输出特征进行加权分类，得到饮水器脏污等级结果。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合视频图像处理技术与深度学习技术，实现了智能化的猪饮水器清洁情况监测，相比于人工定时巡视清洁，不仅节省了人力，而且监测结果更具实时性、客观性。

2.本发明对摄像头实时采集的猪舍图像进行拼接、融合后的猪舍全景图像进行分析，避免了重复检测，节省了系统资源，提高了饮水器清洁程度检测的效率。

3.本发明对猪舍样本图像集设计了自动标注方法，降低了标注工作量，而且相比于人工标注更加准确，有利于提高饮水器目标检测网络输出结果的准确性。

4.本发明首先利用饮水器目标检测网络识别所有饮水器，然后根据神经网络输出的包围框信息截取饮水器图像，进而对每个饮水器的脏污情况进行分析，提高了每个饮水器清洁状况监测的准确率。

5.本发明采用热度叠加的方法对脏污热力图进行叠加，得到饮水器的脏污累积热度图像，一方面区分短暂停留的异物信息，以免为管理员的清洁造成负担；另一方面，无需判断相应位置是否存在饮水器，而且，热度叠加方法计算效率高，而且表征能力强，使用时序上的检测结果来进行脏污分析更加合理。

6.本发明设计了饮水器脏污分析网络对脏污累积热度图像进行分析，能够自动获得饮水器清洁情况分析结果，无需人工进行统计分析，避免了人工统计分析主观因素的影响，而且提高了本发明方法的智能化程度、客观程度。

7.本发明结合建筑信息模型，构建了猪舍建筑信息模型，猪舍建筑信息模型能够集成多种信息，方便信息管理，而且结合WebGIS技术进行可视化后，能够使监管人员更加清晰明确地了解猪舍内饮水器清洁情况。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于BIM和人工智能的猪饮用水检测成像方法。图1为本发明方法流程图。下面通过具体实施例来进行说明。

实施例一：

基于BIM和人工智能的猪饮用水检测成像方法：

步骤1，构建当前猪舍区域建筑信息模型BIM(Building Information Modeling)及其信息交换模块。

猪舍区域BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台。猪舍区域BIM包括猪舍区域的地理位置信息、猪舍区域围栏信息、猪舍区域过道信息、猪舍饮水器信息等各种用于猪舍区域BIM三维空间模型建模所需信息。猪舍区域BIM还包括当前区域内所使用的图像传感器型号、分辨率、数量及其各自在猪舍内部的编号信息。

猪舍区域BIM可以通过信息交换模块接收当前区域内所有传感器感知的数据，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。例如，猪舍区域BIM可以接受图像采集装置实时采集的图像，并通过WebGIS技术进行可视化。

猪舍区域建筑信息模型可以将收集到的数据整合，输出异常信息，并与WebGIS模块建立通信，在Web端将异常信息展示，同时发出警告信息。

本发明主要针对猪舍内饮水器的清洁程度进行监测，基于视频监控技术实现。在猪舍内顶部墙壁或猪舍中承重柱上部署摄像头，实现对猪舍的俯视拍摄。部署摄像头的数目，实施者可根据摄像头拍摄范围的大小及猪舍中猪圈的数量，饮水器数量来决定。所有摄像头拍摄的范围要能覆盖每个猪圈内的所有碗式饮水器，其拍摄角度保证能覆盖到碗内区域。且两个相邻的摄像头要有重合区域，以更好地进行图像拼接。

对于摄像头采集的猪舍图像需要进行饮水器目标检测，本发明设计饮水器目标检测网络实现。众所周知，深度神经网络需要大量的样本来拟合模型，从而使模型拥有较好的泛化能力。然而，基于人工标注的样本获取方式不但成本高昂，且效率低下，同时容易受到人主观因素的影响。因此，本发明采用自动生成样本的方法，来获取饮水器目标检测所需的大量样本。即步骤2，对猪舍样本图像集进行自动标注。

在本实施例中，猪饮水器为饮水碗。为了防止锈蚀，目前猪只饮水碗大都采用不锈钢材质制成。不锈钢在猪舍中，对比周围颜色相对暗淡的坏境，其颜色特征较为明显并突出。因此，对于猪舍样本图像集中的图像首先采用自商滤波法去除猪舍坏境光照影响，是采集的图像处在同一数据分布中。采用中值滤波算法，过滤掉坏境中的干扰点，然后并采用基于自适应阈值的大津阈值法对图像进行分割，以凸显饮水碗的特征。大津阈值法得到了二值图像信息，其中0代表背景，呈现黑色状态；1代表饮水碗区域，呈现白色。进一步的，采用轮廓查找的方式，由分割出来的图像获取饮水碗的轮廓区域。需要说明的是，饮水碗尺寸和摄像头的视野是已知的，因此其在二值图像上的面积也是已知的，据此根据轮廓的面积大小，可以过滤掉其他干扰因素，从而获取真正的饮水碗轮廓。得到饮水碗轮廓后，选取其最小外接矩形，即可得到饮水碗区域的包围框信息。其包围框信息采用[x,y,width,height]表示，其中x代表目标的左上角横坐标，y代表目标的左上角纵坐标，width代表目标的宽度，height代表目标的高度。如此可以得到猪舍样本图像的标注信息。

步骤3，基于猪舍样本图像集及其标注信息训练饮水器目标检测网络。饮水器目标检测网络包括：饮水器目标检测编码器，对输入的图像进行编码、提取特征，得到特征图，这里可以称为饮水器目标特征图；第一全连接网络，对饮水器目标特征图进行分析，得到饮水器包围框锚点与饮水器包围框宽、高。饮水器目标检测网络训练过程为：输入是猪舍图像，输出是饮水器的包围框信息。在训练时，输入的是猪舍样本图像。监督信息是上述自动标注算法得到的饮水器区域的矩形框，采用smooth_L1损失函数，对网络参数进行更新。

步骤4，将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像，并将猪舍全景图像投影变换至猪舍建筑信息模型。

需要说明的是，由于摄像头视野范围存在重合，若先检测后拼接融合，可能存在重复检测的情况，因此本发明首先将单个图像拼接成全景图像后，再进行检测。将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像，将猪舍全景图像投影变换至猪舍建筑信息模型。

具体的，首先采用特征点提取的方法，对摄像头拍摄的图像进行特征点提取，特征点提取的方式有很多，实施者可以根据现场环境，灵活采用SIFT，SURF，Harris，SUSANcorner、Kitchen-Rosenfeld等方式，完成特征点的提取操作。进一步的，对相邻图像进行特征点匹配，采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，从而确定两幅图像之间的变换关系。

选取其中置信度高的匹配点对，作为候选点，根据矩阵变换公式，计算相邻图像的仿射变换矩阵，将相邻的图像经过仿射变换后，进一步的对转换后的图片进行融合操作，从而得到平滑无缝衔接的猪舍环境图像，本发明采用加权融合的方法，得到拼接后的全景图，实时者可根据现场环境选取合适的融合方案。

将所有的摄像头信息按照上述方法拼接融合后得到猪舍全景图。将全景图按照透视变换的方法投射到与猪舍地面平行的水平面上，具体透视变换的方法是公知的。

养殖舍各个摄像头进行成像，投影到BIM养殖舍地面上，可以更好地实现对养殖舍环境的可视化。将摄像头拍摄的图像进行图像拼接并仿射变换到BIM猪舍平面上，并将检测到的饮水器脏污信息映射到拼接后的图片上。

对每个饮水器进行清洁卫生状态监测，若连续一段时间内饮水器脏污等级较高，则判定该饮水器污染严重，应发出警告信息给猪舍管理员，及时采取相应的措施，防患于未然。

步骤5，基于饮水器目标检测网络对猪舍全景图像进行饮水器检测，得到饮水器包围框信息。

采用饮水器目标检测网络，对碗式饮水器进行定位，以便于对每个饮水器进行对应的清洁状态监控。基于饮水器检测神经网络对猪舍全景图像进行饮水器检测，得到饮水器包围框信息。

具体的，如图1所示，基于饮水器目标检测神经网络，采用饮水器目标检测编码器对猪舍全景图像的特征进行提取，获得包含饮水器所在区域位置的特征图FeatureMap1，通过第一全连接网络将获得特征图展平，再通过边框回归来预测每个饮水器所在位置的坐标信息。本发明的饮水器检测神经网络基于区域建议网络。饮水器检测神经网络的输入信息是彩色三通道图像，输出是饮水器的包围框信息。每个饮水器所在位置的坐标信息采用[x,y,width,height]表示，其中x代表目标的左上角横坐标，y代表目标的左上角纵坐标，width代表目标的宽度，height代表目标的高度。

步骤6，根据饮水器包围框信息对猪舍全景图像进行裁剪截取，得到饮水器感兴趣区域图像。

根据检测到的每个饮水器的包围框信息，将猪舍全景图中将每个饮水器区域的图像中截取出来，得到每个饮水器感兴趣区域图像。得到截取后的每个饮水器图像后，需要对其清洁状态进行监测。

步骤7，基于脏污热力图检测网络对每个饮水器感兴趣区域图像进行脏污检测，得到脏污热力图。

脏污热力图检测网络包括编码器、解码器。采用脏污关键点检测编码器对饮水器感兴趣区域图像内的脏污信息进行特征提取，得到特征图，可以称为脏污特征图FeatureMap2，再通过脏污关键点检测解码器，对FeatureMap2进行解码，最后得到脏污热力图Heatmap。

脏污热力图检测网络的输入是三通道彩色图像信息，监督信息为脏污热力图。该热力图的生成方式分两步，首先采集图像数据，进行标注，标记在脏污的中心点位置，用(x,y)来表示，其中x表示关键点在图像中的横坐标，y表示关键点在图像中的纵坐标。猪舍饮水器内脏污的常见脏污类型包括饲料、干草等，应收集足够多的脏污类型图像作为训练数据集。然后将标注的脏污散点图与高斯核卷积得到脏污关键点热力图。训练过程中损失函数采用交叉熵损失函数，对网络参数进行迭代更新，最终得到当前图像中，每个脏污关键点所在的位置。

步骤8，针对每个饮水器，将一段时间内脏污热力图进行逐像素叠加，得到该饮水器的脏污累积热度图像。

需要说明的是，在实际生产过程中，一个饮水器被多只生猪使用，假若前一头猪饮水时留下残留物，而后别的猪只饮水时有可能会将之前的残留物冲洗掉，不会留下残留物，因而此种情况也不会对饮水碗的清洁卫生造成影响。另一方面，由于猪饮水时会对饮水器造成遮挡，在这种情况下，对猪舍全景图像进行分析时，检测不到饮水器。设置相应位置是否存在饮水器的判断无疑会增加系统。本发明基于上述两点考虑，采用一段时间内脏污热力图叠加的方式，一方面区分短暂停留的异物信息，以免为管理员的清洁造成负担；另一方面，无需判断相应位置是否存在饮水器，而且，使用时序上的检测结果来进行脏污分析更加合理。

具体的如图1所示，在一段时间内，统计热力图叠加的结果，具体方式为：热力图生成后，将该段时间内的热力图进行相加即像素值的加法运算，每张热力图以队列的方式相加，得到脏污累积热度图像。需要说明的是，热力图叠加的时间，实施者可根据实际场景灵活调整。

步骤9，将饮水器的脏污累积热度图像输入饮水器脏污分析网络，得到饮水器内脏污等级。

饮水器脏污分析网络包括：饮水器脏污分析编码器，对脏污累积热度图进行特征提取；第三全连接网络，用于对饮水器脏污分析编码器的输出特征进行加权分类，得到饮水器脏污等级结果。

如图1所示，采用饮水器脏污分析编码器提取热力图叠加结果脏污累积热度图的特征，得到特征图FeatureMap3，再通过第三全连接网络对特征图FeatureMap3进行加权分类，得到最终的饮水碗内的脏污等级。

本实施例将饮水碗内的脏污分为三个等级：索引0代表无脏污；索引1代表少量脏污，且停留时间较短，没有长时间附着在饮水碗壁上；索引2代表大量脏污，表示饮水碗内长时间有脏污附着。饮水器脏污分析网络输入是叠加后的热力图信息，输出为脏污等级，采用交叉熵损失函数对网络的参数进行迭代更新，最终获得碗式饮水器中的脏污等级信息。至此，完成了猪圈饮水碗内脏污信息的检测。

步骤10，若脏污等级大于设定阈值，根据该饮水器在猪舍区域建筑信息模型中的坐标位置，生成清洁信号，利用信息交换模块将清洁信号发送至至猪舍区域建筑信息模型。在本实施例中，设定阈值可以为1。当等级大于1即为2时，生成清洁信号。后续，根据该饮水器在建筑信息模型的位置，可以在建筑信息模型的可视化结果中标示出该清洁信号。

步骤11，结合WebGIS技术对猪舍建筑信息模型中的多种信息进行可视化，多种信息包括：猪舍区域三维空间模型、猪舍全景图像、饮水器内脏污等级、清洁信号。

为了直观地呈现猪舍环境，本发明结合WebGIS技术，将上述猪舍BIM模型集成到WebGIS所开发的系统中，通过调用信息交换模块实时更新猪舍空间模型并得到相应位置的传感器读数，得到猪舍全景图像，并在Web端进行数据可视化、展示猪舍每个饮水碗的脏污等级。并根据清洁信号及时发出警报提醒猪舍管理员采取相应的措施，防患于未然。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于BIM和人工智能的猪饮用水检测成像方法，其特征在于，该方法包括：

步骤1，构建猪舍区域建筑信息模型以及信息交换模块；

步骤2，对猪舍样本图像集进行自动标注：

步骤2a，对猪舍样本图像进行自商滤波；

步骤2b，对自商滤波结果进行中值滤波，基于大津阈值法对中值滤波结果进行阈值分割；

步骤2c，采用轮廓查找方法获取阈值分割结果中的饮水器轮廓；

步骤2d，计算饮水器轮廓的最小外接矩形作为饮水器包围框，得到饮水器包围框信息作为猪舍样本图像的标注信息；

步骤3，基于猪舍样本图像集及其标注信息训练饮水器目标检测网络；

步骤4，将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像，并将猪舍全景图像投影变换至猪舍建筑信息模型；

步骤5，基于饮水器目标检测网络对猪舍全景图像进行饮水器检测，得到饮水器包围框信息；

步骤6，根据饮水器包围框信息对猪舍全景图像进行裁剪截取，得到饮水器感兴趣区域图像；

步骤7，基于脏污热力图检测网络对每个饮水器感兴趣区域图像进行脏污检测，得到脏污热力图；

步骤8，针对每个饮水器，将一段时间内脏污热力图进行逐像素叠加，得到该饮水器的脏污累积热度图像；

步骤9，将饮水器的脏污累积热度图像输入饮水器脏污分析网络，得到饮水器内脏污等级；

步骤10，若脏污等级大于设定阈值，根据该饮水器在猪舍区域建筑信息模型中的坐标位置，生成清洁信号，利用信息交换模块将清洁信号发送至猪舍区域建筑信息模型。

2.如权利要求1所述的方法，其特征在于，该方法还包括：结合WebGIS技术对猪舍区域建筑信息模型中的多种信息进行可视化，多种信息包括：猪舍区域三维空间模型、猪舍全景图像、饮水器内脏污等级、清洁信号。

3.如权利要求1所述的方法，其特征在于，所述将摄像头实时采集的猪舍图像进行图像拼接、融合得到猪舍全景图像包括：

提取待拼接猪舍图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标下；进行图像融合，得到猪舍全景图像。

4.如权利要求1所述的方法，其特征在于，所述饮水器目标检测网络包括：

饮水器目标检测编码器，对输入的图像进行编码、提取特征，得到特征图；

第一全连接网络，对特征图进行分析，得到饮水器包围框锚点与饮水器包围框宽、高。

5.如权利要求4所述的方法，其特征在于，所述脏污热力图检测网络包括：

脏污关键点检测编码器，对饮水器感兴趣区域图像进行特征提取，得到特征图；

脏污关键点检测解码器，对特征图进行上采样重构，得到脏污热力图，其中的热斑表征脏污关键点置信度。

6.如权利要求1所述的方法，其特征在于，所述饮水器脏污分析网络包括：

饮水器脏污分析编码器，对脏污累积热度图进行特征提取；

第三全连接网络，用于对饮水器脏污分析编码器的输出特征进行加权分类，得到饮水器脏污等级结果。

Images