CN111783726A - 基于人工智能和bim的放牧牲畜离群视频采集方法 - Google Patents

Abstract

本发明公开了一种基于人工智能和BIM的放牧牲畜离群视频采集方法，包括：构建放牧区域建筑信息模型；将多个无人机采集的图像拼接起来得到放牧区域全景图；检测得到牲畜头部关键点热力图；将所得牲畜数量信息映射成二维矩阵，得到单通道牲畜数量图像；采用离群信息编码器提取单通道牲畜数量图像的特征，将得到的第二特征图与第一特征图融合作为全连接层的输入，得到牲畜是否离群的预测结果；结合WebGIS技术，对放牧区域建筑信息模型进行可视化。利用本发明，实现了自动化、智能化的放牧监控，离群检测效率高、检测准确率高，结果更具客观性。

Description

基于人工智能和BIM的放牧牲畜离群视频采集方法

技术领域

本发明属于人工智能、BIM、智慧畜牧技术领域，具体涉及一种基于人工智能和BIM的放牧牲畜离群视频采集方法。

背景技术

随着智慧畜牧理念的提出，一些新的放牧监督方法开始出现，替代传统的人为监督方法。一些方法通过在动物身上安装定位装置来实时监测是否有动物离群。这种方法的缺点是安装定位装置成本高，定位装置易损坏，监测精度较低。一些方法通过统计指定区域内的牲畜轮廓的数量，计算个牲畜距离相邻指定区域的距离从而判断是否有牲畜离群。这种方法的缺点是，一方面由于存在遮挡现象，统计牲畜轮廓数量的方法精度较低，另一方面，由于通过划定指定区域来判定是否离群，仍然需要技术人员根据放牧区域的变化进行指定区域的动态划定，因此智能化程度较低。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能和BIM的放牧牲畜离群视频采集方法。

一种基于人工智能和BIM的放牧牲畜离群视频采集方法，该方法包括：

步骤1，根据放牧区域地形以及地理位置信息，构建放牧区域建筑信息模型；

步骤2，利用图像拼接算法，将多个无人机采集的图像拼接起来得到放牧区域全景图，并将放牧区域全景图实时投影到放牧区域建筑信息模型；

步骤3，利用牲畜关键点检测神经网络检测得到牲畜头部关键点热力图，并对牲畜头部关键点热力图进行后处理，得到牲畜关键点坐标；

步骤4，针对每一只牲畜，以该牲畜关键点坐标为中心，划定半径为R的圆形区域，统计该区域内牲畜数量T；

步骤5，将步骤4中所得牲畜数量信息映射成二维矩阵，得到单通道牲畜数量图像；

步骤6，采用离群信息编码器提取单通道牲畜数量图像的特征，将得到的第二特征图与第一特征图融合作为全连接层的输入，得到牲畜是否离群的预测结果；

步骤7，将离群信息以及对应的坐标位置上传到放牧区域建筑信息模型，结合WebGIS技术，对放牧区域建筑信息模型进行可视化。

牲畜关键点检测神经网络包括：

牲畜关键点检测编码器，用于对输入的图像进行特征提取，得到第一特征图；

牲畜关键点检测解码器，用于对第一特征图进行上采样还原，得到牲畜头部关键点热力图。

步骤5具体为：

首先，生成一个单通道的空白图片，其尺寸大小与放牧区域全景图一致；

针对某一牲畜，将空白图片以该牲畜坐标为中心、半径为R的区域内所有元素值赋值为T，得到二维矩阵，即为单通道牲畜数量图像。

步骤6中将第一特征图与第二特征图融合得到的第三特征图展平，输入全连接层，进行加权分类，得到牲畜是否离群的预测结果。

所述图像拼接包括：

提取待拼接图像的特征点，进行特征点的匹配；

根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标系下；

进行图像融合，得到放牧区域全景图像。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合视频图像处理技术与深度学习技术，实现了智能化的放牧牲畜离群监测以及视频采集，采用牲畜关键点检测神经网络检测牲畜，具有很好的抗遮挡效果，牲畜检测精度高；采用牲畜离群预测网络输出牲畜是否离群的结果，相比于传统的固定阈值方法，不仅判断精度更高，而且无需人为调参。

2.本发明对无人机摄像头实时采集的图像进行拼接、融合后的放牧区域全景图像进行分析，避免了重复检测，节省了系统资源，提高了放牧牲畜离群检测的效率。

3.本发明根据牲畜数量信息生成单通道牲畜数量图像，并通过离群信息编码器进行特征提取，将得到的特征图与第一特征图融合，融合后的特征图不仅包括牲畜位置信息还包括牲畜数量信息，增强了网络的特征表示，通过训练，离群预测网络的输出结果精度高，而且智能化程度高。

4.本发明结合建筑信息模型，构建了放牧区域建筑信息模型，放牧区域建筑信息模型能够集成多种信息，方便信息管理，而且结合WebGIS技术进行可视化后，能够使监管人员更加清晰明确地了解放牧区域牲畜情况。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能和BIM的放牧牲畜离群视频采集方法。图1为本发明方法流程图。下面通过具体实施例来进行说明。

实施例一：

一种基于人工智能和BIM的放牧牲畜离群视频采集方法：

步骤1，根据放牧区域地形以及地理位置信息，构建放牧区域建筑信息模型。

放牧区域BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台。放牧区域BIM包括放牧区域地形以及地理位置信息等各种用于放牧区域BIM三维空间模型建模所需信息。放牧区域BIM还包括各无人机的飞行路线信息、所使用的图像传感器型号、图像分辨率、图像传感器位姿信息。

放牧区域BIM可以通过信息交换模块接收当前区域内所有传感器感知的数据，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。例如，放牧区域BIM可以接受图像采集装置实时采集的图像，并通过WebGIS技术进行可视化。

放牧区域建筑信息模型可以将收集到的数据整合，输出异常信息，并与WebGIS模块建立通信，在Web端将异常信息展示，同时发出警告信息。在本发明中，异常信息为动物离群信息。

本发明主要针对放牧过程中动物离群信息进行监测，并对放牧区域无人机的各个摄像头进行成像，实时投影到BIM地面坐标系上，可以更好地实现对放牧环境的可视化。根据无人机摄像头采集的图像信息，判断动物离群信息，并将离群信息及时反馈给放牧管理人员。

需要说明的是，放牧过程中，动物若身体出现不适，影响其行动，此种情况是动物离群的原因之一；另一方面，外部的声音干扰，会对牧群边缘处的动物造成惊吓，从而发生离群。

步骤2，利用图像拼接算法，将多个无人机采集的图像拼接起来得到放牧区域全景图，并将放牧区域全景图实时投影到放牧区域建筑信息模型。

本发明采用多个无人机对放牧区域俯视拍摄进行图像采集。采用多个无人机的原因是，单个无人机拍摄视野较小，无法覆盖所有动物。另外，相邻的无人机拍摄的图像要保证存在一定的重叠区域，便于图像拼接。具体需要采用的无人机数量，以及无人机的排列方式，实施者可根据牧群牲畜的数量以及放牧牧草分布情况灵活选择。

进一步的，需要将多个无人机图像拼接融合起来，得到当前放牧区域的全景图。

具体的，首先采用特征点提取的方法，对无人机摄像头拍摄的图像进行特征点提取，特征点提取的方式有很多，实施者可以根据现场环境，灵活采用SIFT，SURF，Harris等方式，完成特征点的提取操作。

进一步的，对相邻图像进行特征点匹配，采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，从而确定两幅图像之间的变换关系。

选取其中置信度高的匹配点对，作为候选点，根据矩阵变换公式，计算相邻图像的仿射变换矩阵。

将相邻的图像经过仿射变换后，进一步的对转换后的图片进行融合操作，从而得到平滑无缝衔接的放牧区域环境图像，本发明采用加权融合的方法，得到拼接后的全景图，实时者可根据现场环境选取合适的融合方案。

将拼接融合后的全景图按照透视变换的方法投射到放牧区域地面平行的水平面上，具体透视变换的方法是公知的。

步骤3，利用牲畜关键点检测神经网络检测得到牲畜头部关键点热力图，并对牲畜头部关键点热力图进行后处理，得到牲畜关键点坐标。牲畜关键点检测神经网络包括：牲畜关键点检测编码器，用于对输入的图像进行特征提取，得到第一特征图；牲畜关键点检测解码器，用于对第一特征图进行上采样还原，得到牲畜头部关键点热力图。

得到牧群全景图像信息后，通过关键点检测神经网络，采用关键点检测的方法，对放牧牲畜的头部关键点进行检测。具体的，如图1所示，首先采用牲畜关键点检测编码器提取放牧区域特征，得到牲畜头部关键点特征图，即第一特征图，然后采用牲畜关键点检测解码器对第一特征图进行上采样，并生成最终的牲畜头部关键点分布热力图。

最后经过后处理方法，得到牲畜头部的关键点位置。需要说明的是，通过热力图的后处理方法得到关键点的过程是周知的，即通过算法来寻找极大值。

牲畜头部关键点检测网络的输入是无人机采集的三通道彩色图像信息，监督信息为牲畜头部关键点的热力图。该热力图的生成方式分两步，首先采集图像数据，进行牲畜标注，标记在牲畜头部的中心点位置，用(x,y)来表示，其中x表示关键点在图像中的横坐标，y表示关键点在图像中的纵坐标；然后将标注的牲畜散点图与高斯核卷积得到牲畜关键点热力图。具体的过程是公知的。

训练过程中损失函数采用交叉熵损失函数，对网络参数进行迭代更新，最终得到当前图像中，每只牲畜关键点所在的位置。

至此，得到每只牲畜关键点所在的位置。

步骤4，针对每一只牲畜，以该牲畜关键点坐标为中心，划定半径为R的圆形区域，统计该区域内牲畜数量T。

众所周知，正常的放牧过程中，每只牲畜的距离都在一定范围内，不会离得很远。当牲畜离群时，以其坐标为中心的特定邻域范围内，牲畜的数量会很少，甚至为0。

因此，根据前述步骤计算出的每只牲畜的关键点坐标信息，划定以当前牲畜坐标为中心，半径为R的圆形区域，统计该区域内牲畜的总量，计为T。

若采用固定阈值的方法，将T与设定的阈值来比较，来判断牲畜离群，此种方法局限性较大，由于该阈值会随着环境的变化而发生较大范围的波动，从而导致判断错误。

因此，本发明采用DNN的方法，将一定区域内的牲畜数量信息映射成二维矩阵，从而预测牲畜离群信息。

步骤5，将步骤4中所得牲畜数量信息映射成二维矩阵，得到单通道牲畜数量图像。

具体的，首先生成一个单通道的空白图片，其尺寸大小与全景图一致。

进一步的，为该空白图片赋值，前述步骤已经计算出了，在以R为半径的圆形区域内，牲畜的数量为T。赋值的规则为：在R为半径的区域内，将空白图像的该区域内所有元素值赋值为T。于是通过该映射赋值操作就得到了一张新的单通道牲畜数量图像NewImage。

步骤6，采用离群信息编码器提取单通道牲畜数量图像的特征，将得到的第二特征图与第一特征图融合作为全连接层的输入，得到牲畜是否离群的预测结果。

采用离群信息编码器取NewImage的特征得到离群信息特征图，即第二特征图，将第二特征图和第一特征图的特征融合，目的是将第一特征图所含的关键点的位置和数量信息整合，增加了网络的特征表示。需要说明的是，特征融合是通过concat操作完成的，且第二特征图和第一特征图的宽高需要保持一致。

融合后得到第三特征图，再经过全连接层FC对特征进行展平，最终预测当前画面中是否存在牲畜的离群信息。

离群信息编码器与全连接层构成了牲畜离群预测网络，网络的输入是经过关键点后处理映射后的新的单通道牲畜数量图像，输出是离群与否的信息，采用交叉熵损失函数进行训练，最终得到当前放牧牲畜群是否有牲畜离群的信息。

步骤7，将离群信息以及对应的坐标位置上传到放牧区域建筑信息模型，结合WebGIS技术，对放牧区域建筑信息模型进行可视化。

将离群信息以及对应的坐标位置上传到放牧区域BIM的数据交换模块。为了直观地呈现放牧区域的现场环境，本发明结合WebGIS技术，将上述放牧区域BIM模型集成到WebGIS所开发的系统中，通过调用信息交换模块实时更新放牧区域空间模型，在Web端进行数据可视化，展示放牧过程中牲畜的离群信息以及全景图像。并及时发出警报提醒管理员采取相应的措施，防患于未然。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于人工智能和BIM的放牧牲畜离群视频采集方法，其特征在于，该方法包括：

步骤1，根据放牧区域地形以及地理位置信息，构建放牧区域建筑信息模型；

步骤2，利用图像拼接算法，将多个无人机采集的图像拼接起来得到放牧区域全景图，并将放牧区域全景图实时投影到放牧区域建筑信息模型；

步骤3，利用牲畜关键点检测神经网络检测得到牲畜头部关键点热力图，并对牲畜头部关键点热力图进行后处理，得到牲畜关键点坐标；

步骤4，针对每一只牲畜，以该牲畜关键点坐标为中心，划定半径为R的圆形区域，统计该区域内牲畜数量T；

步骤5，将步骤4中所得牲畜数量信息映射成二维矩阵，得到单通道牲畜数量图像；

步骤6，采用离群信息编码器提取单通道牲畜数量图像的特征，将得到的第二特征图与第一特征图融合作为全连接层的输入，得到牲畜是否离群的预测结果；

步骤7，将牲畜离群信息以及对应的坐标位置上传到放牧区域建筑信息模型，结合WebGIS技术，对放牧区域建筑信息模型进行可视化。

2.如权利要求1所述的方法，其特征在于，所述牲畜关键点检测神经网络包括：

牲畜关键点检测编码器，用于对输入的图像进行特征提取，得到第一特征图；

牲畜关键点检测解码器，用于对第一特征图进行上采样还原，得到牲畜头部关键点热力图。

3.如权利要求1所述的方法，其特征在于，所述步骤5具体为：

首先，生成一个单通道的空白图片，其尺寸大小与放牧区域全景图一致；

针对某一牲畜，将空白图片以该牲畜关键点坐标为中心、半径为R的区域内所有元素值赋值为T，得到二维矩阵，即为单通道牲畜数量图像。

4.如权利要求3所述的方法，其特征在于，步骤6中将第一特征图与第二特征图融合得到的第三特征图展平，输入全连接层，进行加权分类，得到牲畜是否离群的预测结果。

5.如权利要求1所述的方法，其特征在于，所述图像拼接包括：

提取待拼接图像的特征点，进行特征点的匹配；

根据匹配点对进行单应性矩阵的估计，将待拼接图像转换到同一坐标系下；

进行图像融合，得到放牧区域全景图像。

Images