CN111248103A - 牲畜发情检测方法、装置以及设备 - Google Patents

Abstract

本发明公开了一种牲畜发情检测方法、装置以及设备。其中方法包括：采集圈舍内牲畜的视频图像以及叫声音频；基于所述视频图像确定牲畜的动作行为；识别出所述叫声音频的发声类型；根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。本发明使得发情状态的判断更为准确可靠，并且解决了人工巡检存在的人力投入大、经验要求高的问题，也能够有效控制检测设备的成本，提升发情检测的效率和经济效益。

Description

牲畜发情检测方法、装置以及设备

技术领域

本发明涉及牲畜行为检测与声学处理技术的拓展应用领域，尤其涉及一种基于图像跟踪与声音检测的牲畜发情检测方法、装置以及设备。

背景技术

雌性牲畜担负着产仔的重任，价值巨大，其对于养殖场的重要性以及社会价值不言而喻。准确掌握牲畜发情情况并进行人工受精能够提高牲畜的年均产仔率，不仅能够增加养殖户的经济收益，并且在当今肉食供给紧张、肉价波动的市场环境下，具有切实的社会意义。

传统的检测发情检测手段通常需要专业饲养人员到圈舍中人工检查雌性牲畜状态，此举不仅会导致牲畜反感甚至产生攻击行为，如果操作人员经验不够丰富的话还存在误判等耽误牲畜受精的情形，更重要的是人工巡检方式需投入较大的人力成本，且实际效率不高；虽然近年来也发展出依靠传感技术进行发情检测的相关措施，但检测手段较为单一并且检测所需设备的成本开支也较大。

发明内容

针对上述问题，本发明考虑到将图像处理以及声学处理融合到农牧业养殖领域之中，具体是通过获取养殖环境的图像信息以及现场音频采集，共同对牲畜的发情状况进行检测。据此，本发明提供了一种牲畜发情检测方法、装置以及设备，本发明还相应提供了一种计算机可读存储介质以及一种计算机程序产品，通过以上形式，能够大幅降低人工及设备成本，并且检测维度融入声学考察层面，由此可提升检测准确度以及检测效率。

关于上述本发明采用的技术方案具体如下：

第一方面，本发明提供了一种牲畜发情检测方法，包括：

采集圈舍内牲畜的视频图像以及叫声音频；

基于所述视频图像确定牲畜的动作行为；

识别出所述叫声音频的发声类型；

根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

在其中一种可能的实现方式中，所述基于所述视频图像确定牲畜的动作行为包括：

根据所述视频图像，获取牲畜的位置信息以及运动轨迹；

根据所述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动。

在其中一种可能的实现方式中，确定所述夜间起卧频次包括：

利用夜间时段的所述视频图像中目标牲畜的位置信息，求取所述目标牲畜的身体面积；

统计所述身体面积的变化大于或等于预设的面积变化阈值的次数；

根据所述次数确定出所述夜间起卧频次；

确定所述夜间运动量包括：

利用夜间时段的所述视频图像中所有牲畜的位置信息以及运动轨迹，求取所述目标牲畜的累计运动距离以及所有牲畜的平均运动距离；

根据所述累计运动距离相对所述平均运动距离的关系，确定出所述夜间运动量；

确定所述饮食变化包括：

在所述视频图像中对牲畜的头部和食槽进行定位；

根据所述位置信息以及运动轨迹，统计牲畜的头部位于食槽上方的持续时间或累计时间；

基于所述持续时间或累计时间，与预设的喂食时间阈值的关系，确定出所述饮食变化。

在其中一种可能的实现方式中，所述异常举动包括如下一种或多种：跳栏、咬栏、身体颤抖、翘尾以及拱闻其他牲畜；

检测所述跳栏包括：

对所述视频图像进行牲畜头部以及圈舍围栏定位；

根据连续多帧图像中头部与圈舍围栏的位置关系，判断是否发生跳栏举动；

检测所述咬栏包括：

基于头部位置，对牲畜进行嘴部定位；

根据嘴部停留在圈舍围栏的时间以及嘴部与圈舍围栏的相对距离变化，判断是否发生咬栏举动；

检测所述身体颤抖包括：

在所述视频图像中的牲畜身体上设定参考点；

根据参考点的移动频率、幅度以及持续时间，判断是否发生身体颤抖；

检测所述翘尾包括：

对所述视频图像中的牲畜进行尾部定位；

检测若干组相邻帧中尾部位置的曲率变化；

结合所述位置信息以及运动轨迹，判断是否发生翘尾；

检测所述拱闻其他牲畜包括：

对所述视频图像中的牲畜进行特定区域定位；

检测目标牲畜的嘴部与其他牲畜的特定区域的间距；

根据所述间距与预设的接近阈值以及维持时间阈值的关系，判断是否发生拱闻其他牲畜的举动。

在其中一种可能的实现方式中，所述确定牲畜的发情状态包括：

根据夜间起卧频次以及夜间运动量，和/或跳栏以及咬栏举动，进行第一轮发情检测；

根据饮食变化进行第二轮发情检测；

根据身体颤抖、翘尾以及拱闻其他牲畜此三者中的一种或多种举动，进行第三轮发情检测；

根据以上三轮检测结果，确定牲畜的发情状态；且在其中一轮或多轮检测中结合所述发声类型进行发情检测。

在其中一种可能的实现方式中，所述识别出所述叫声音频的发声类型包括：

从所述叫声音频提取声学特征；

利用所述声学特征以及预先训练的叫声分类模型，确定出所述发声类型；其中，所述发声类型至少包括：发情叫声和咳喘音。

在其中一种可能的实现方式中，所述根据所述动作行为和所述发声类型，排除干扰情况包括：

根据所述动作行为以及所述咳喘音，判断牲畜是否处于疾病状态；

将所述疾病状态或处于疾病状态的牲畜作为所述干扰情况予以排除。

第二方面，本发明提供了一种牲畜发情检测装置，包括：

音视频采集模块，用于采集圈舍内牲畜的视频图像以及叫声音频；

动作行为判定模块，用于基于所述视频图像确定牲畜的动作行为；

发声类型判定模块，用于识别出所述叫声音频的发声类型；

发情状态确定模块，用于根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

在其中一种可能的实现方式中，所述动作行为判定模块包括：

定位跟踪单元，用于根据所述视频图像，获取牲畜的位置信息以及运动轨迹；

动作行为确定单元，用于根据所述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动。

在其中一种可能的实现方式中，所述动作行为确定单元包括：

夜间起卧频次确定子单元，用于确定所述夜间起卧频次，具体包括：

身体面积计算组件，用于利用夜间时段的所述视频图像中目标牲畜的位置信息，求取所述目标牲畜的身体面积；

面积变化次数统计组件，用于统计所述身体面积的变化大于或等于预设的面积变化阈值的次数；

夜间起卧频次确定组件，用于根据所述次数确定出所述夜间起卧频次；

夜间运动量确定子单元，用于确定所述夜间运动量，具体包括：

运动距离计算组件，用于利用夜间时段的所述视频图像中所有牲畜的位置信息以及运动轨迹，求取所述目标牲畜的累计运动距离以及所有牲畜的平均运动距离；

夜间运动量确定组件，用于根据所述累计运动距离相对所述平均运动距离的关系，确定出所述夜间运动量；

饮食变化确定子单元，用于确定所述饮食变化，具体包括：

第一定位组件，用于在所述视频图像中对牲畜的头部和食槽进行定位；

进食时间统计组件，用于根据所述位置信息以及运动轨迹，统计牲畜的头部位于食槽上方的持续时间或累计时间；

饮食变化确定组件，用于基于所述持续时间或累计时间，与预设的喂食时间阈值的关系，确定出所述饮食变化。

在其中一种可能的实现方式中，所述异常举动包括如下一种或多种：跳栏、咬栏、身体颤抖、翘尾以及拱闻其他牲畜；

所述动作行为确定单元还包括：

跳栏举动检测子单元，用于检测所述跳栏，具体包括：

第二定位组件，用于对所述视频图像进行牲畜头部以及圈舍围栏定位；

跳栏举动判定组件，用于根据连续多帧图像中头部与圈舍围栏的位置关系，判断是否发生跳栏举动；

咬栏举动检测子单元，用于检测所述咬栏，具体包括：

第三定位组件，用于基于头部位置，对牲畜进行嘴部定位；

咬栏举动判定组件，用于根据嘴部停留在圈舍围栏的时间以及嘴部与圈舍围栏的相对距离变化，判断是否发生咬栏举动；

身体颤抖检测子单元，用于检测所述身体颤抖，具体包括：

身体参考设定组件，用于在所述视频图像中的牲畜身体上设定参考点；

身体颤抖判定组件，用于根据参考点的移动频率、幅度以及持续时间，判断是否发生身体颤抖；

翘尾检测子单元，用于检测所述翘尾，具体包括：

第四定位组件，用于对所述视频图像中的牲畜进行尾部定位；

曲率检测组件，用于检测若干组相邻帧中尾部位置的曲率变化；

翘尾判定组件，用于结合所述位置信息以及运动轨迹，判断是否发生翘尾；

拱闻其他牲畜检测子单元，用于检测所述拱闻其他牲畜，具体包括：

第五定位组件，用于对所述视频图像中的牲畜进行特定区域定位；

间距检测组件，用于检测目标牲畜的嘴部与其他牲畜的特定区域的间距；

拱闻其他牲畜判定组件，用于根据所述间距与预设的接近阈值以及维持时间阈值的关系，判断是否发生拱闻其他牲畜的举动。

在其中一种可能的实现方式中，所述发情状态确定模块包括：

第一发情检测单元，用于根据夜间起卧频次以及夜间运动量，和/或跳栏以及咬栏举动，进行第一轮发情检测；

第二发情检测单元，用于根据饮食变化进行第二轮发情检测；

第三发情检测单元，用于根据身体颤抖、翘尾以及拱闻其他牲畜此三者中的一种或多种举动，进行第三轮发情检测；

且在其中一轮或多轮检测中结合所述发声类型进行发情检测；

发情状态确定单元，用于根据以上三轮检测结果，确定牲畜的发情状态。

在其中一种可能的实现方式中，所述发声类型判定模块包括：

特征提取模块，用于从所述叫声音频提取声学特征；

类型识别单元，用于利用所述声学特征以及预先训练的叫声分类模型，确定出所述发声类型；其中，所述发声类型至少包括：发情叫声和咳喘音。

在其中一种可能的实现方式中，所述发情状态确定模块包括：

疾病判定单元，用于根据所述动作行为以及所述咳喘音，判断牲畜是否处于疾病状态；

干扰排除单元，用于将所述疾病状态或处于疾病状态的牲畜作为所述干扰情况予以排除。

第三方面，本发明提供了一种牲畜发情检测设备，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第五方面，本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机执行时，用于执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。

综上各方面，本发明的核心构思在于以图像和声学两个层面共同作用，对牲畜的行为举止和叫声特点进行检测，并由此分析判断出牲畜是否处于发情期，其中由于涉及了视觉和听觉因素，因而还可以自动剔除一些干扰情况，使得发情状态的判断更为准确可靠。本发明解决了人工巡检存在的人力投入大、经验要求高的问题，也能够有效控制检测设备的成本，提升发情检测的效率和经济效益。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的牲畜发情检测方法的实施例的流程图；

图2为本发明提供的确定发情状态的实施例的流程图；

图3为本发明提供的牲畜发情检测装置的实施例的方框示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

传统的人工巡检方式已在前文说明，此处还需对目前利用技术手段进行发情检测的现有措施进行如下介绍。对于牲畜在发情期的动作行为的检测，现有技术中普遍采用的是阵列超声传感器、红外监测仪、温湿度传感器、设于牲畜身上的速度传感器、预制在牲畜耳标内的牲畜信息以及距离测量传感器等多传感技术。但上述判断牲畜发情方式过于简单和孤立，结果精准度不稳定。此外，多于多传感技术，需要大量布置传感设备，尤其阵列超声传感器过于昂贵，导致养殖成本增加；并且传感设备可能会对牲畜造成损伤，而且传感设备也容易受到圈舍复杂环境的影响使得检测失灵，进而也会产生较高的维护成本，总体而言，并没有为养殖户节约成本，在现实养殖业中不易广泛使用。

本发明结合图像视觉技术以及语音处理技术，对牲畜的日常行为以及叫声表现分别予以采集、处理和分析，能够自动排除干扰且准确判断出牲畜的发情状态。

具体来说，本发明提供了一种牲畜发情检测方法的实施例，如图1所示，可以包括如下步骤：

步骤S1、采集圈舍内牲畜的视频图像以及叫声音频。

这里的视频图像可以是指具备连续多帧的图像或者在一个预设的较短周期内提取的多帧图像，而采集手段则需结合实际情况进行相应设置，例如在圈舍的多个角落或者圈舍正上方布置用于拍摄圈舍情况的摄像头(正上方布置摄像头的优势在于，针对牲畜数量较少的圈舍，牲畜之间遮挡情况较少发生，正上方俯视取景可以全面覆盖当前圈舍内的牲畜活动情况，便于后续诸如目标跟踪策略的实施)，并且所拍摄图像的格式可以是普通的RGB图像、热成像或者三维成像等。

对于所称叫声音频的拾取，则可以在圈舍周边或摄像头的附件布置麦克风或者麦克风阵列等现有的音频采集设备，当然，出于音频采集的准确性优选采用具有声源定位以及降噪滤波等处理的音频采集设备，对此可借鉴现有技术，本实施例不作限定。

步骤S2、基于所述视频图像确定牲畜的动作行为。

在图像中辨识定位到牲畜，并对牲畜的动作行为进行检测，并不在本发明的侧重探讨范围内，例如在一些实施例中可以根据所述视频图像，获取牲畜的位置信息以及运动轨迹。具体来说，可以通过构建相应的牲畜数据集来训练一个针对牲畜的多目标跟踪网络，例如，首先可以基于现有的Yolo-v2网络进行参数的更改，使用牲畜数据集训练一个检测目标牲畜的网络模型，其次再对图像的连续帧中目标牲畜进行定位，获得每帧中牲畜的位置信息，利用改位置信息提取该牲畜的HOG特征、color name特征和surf特征等，之后根据这些特征来对相邻帧中的目标牲畜进行匹配，按照这样的匹配才做，最后便可以得到目标牲畜的活动轨迹。这里需说明的是，本实施例中不限定所称目标牲畜的数量，也即是在实际操作中，可以制定单一或多目标定位跟踪策略。

而本发明需要强调的是具体借由图像处理技术捕获的牲畜动作行为，需要适应大多数牲畜习性并且是在发情期更为明显和突出的动作行为。例如，可根据前述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动。可以说，夜间起卧频次、夜间运动量、饮食变化以及异常举动这四类图像采集对象，是判断牲畜发情与否的关键表征，而对于相应的日间起卧、日间运动量包括体尺数据和体重估值等因素，虽然可以辅助判定发情状态，但表征作用相对较小，因而在本实施例中仅强调前述四种图像采集对象，而对后几种参数因素不作限定。关于前述四种关键的表征因素，后文将做具体介绍，此处暂不赘述，而需要说明的是，为了高效获得上述发情期间的动作行为，可以采用异性牲畜诱引的方式，例如大多数养殖场所都会由人工将异性牲畜驱赶、带领至目标圈舍，诱使圈舍内的牲畜做出明显的发情期举动。

但是经分析，本发明认为此种诱引方法存在不足：一方面，不同性别的牲畜通常是分开养殖的，并且每个牲畜个体的发情时间也各不相同，所以对于使用异性牲畜进圈诱情，会额外增加人工成本，而且频繁牵引异性牲畜也会导致异性牲畜的举动或习性出现反常，甚至影响育种积极性和效率。因而在本发明的其他优选实施例中，为了高效且节省人工成本地获取到牲畜的行为动作，采用定期定时在圈舍内播放异性牲畜的叫声和/或向圈舍内输送包含异性牲畜气味的气体等非人工参与的诱引措施。

步骤S3、识别出所述叫声音频的发声类型。

本步骤的构思在于，从声学角度结合前述影像角度，综合此两个维度对牲畜的发情状态进行检测。这里提及的识别发声类型，其思想是将语音识别技术转用到辨识特定牲畜的叫声类型，而本发明所称叫声并不是特指牲畜由发声器官叫出的声音，而是泛指牲畜由嘴部发出的所有声音，例如在一些具体的实施例中，可以通过预先在圈舍采集牲畜的发情叫声、咳嗽声、喘息声、呼噜声、进食声、嘶叫声、嚎叫声等多种声音形成一个涵盖牲畜声音的声音数据集，并据此搭建一个叫声分类模型，例如但不限于例如LSTM+CTC的网络结构，然后将声音数据集中各类叫声进行标注以及特征提取等操作得到其声学特征，该声学特征作为LSTM+CTC模型的输入并开展训练，最终便可以得到一个能够识别牲畜各种叫声类型的分类模型，该模型的主要作用即是从多种牲畜叫声中甄别出发情叫声、进食声、呼噜声等与前述动作行为相应的特定叫声；当然，这里需要指出的是，在一些实施例中进行叫声采集、类型识别的处理过程中也可以结合前文提及的自动诱引措施，而当采用异性牲畜叫声进行诱引时，还可以通过前期的模型训练，使该叫声分类模型可以辨识出异性牲畜叫声和目标牲畜叫声，从而可以排除诱引叫声的干扰。

步骤S4、根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

当由以上步骤获得了目标牲畜的动作行为和发声类型后，便可以结合不同牲畜的习性和生理特点，进行发情与否的判别，例如结合行为出现的频率、周期或者程度，并考察叫声类型及其变化规律，从而制定出判别发情状态的策略，例如各因素的阈值策略、多种特定因素同时出现的个数或时长等等，对此本发明后文将做说明。而此处需要特别指出的是，本步骤中强调了排除干扰情况，原因是本实施例的构思中结合了视觉和听觉两个维度的信息，所以相对单一维度而言，可以更为可靠地剔除一些影响判定发情与否准确度的因素，前述排除异性牲畜叫声干扰便是其一，此外还可以考虑根据前述动作行为以及发声类型，判断牲畜是否处于疾病状态，并将疾病状态或者处于疾病状态的牲畜作为前述干扰情况予以排除。比如，在某些牲畜的发情期其食欲会有所下降，但如果仅凭借进食动作反映出饮食量下降就认为是发情则有可能出现误判，因为当进食减少且伴随着剧烈频繁的咳喘音时，则认为该牲畜大概率上并不是处于发情状态，反而患病的几率可能很大。此为示意性举例，但能凸显出本发明上述构思的优势。

关于前文提及的多种动作行为的检测方式，下文中将结合本发明某些实施方案进行举例说明。

(1)确定牲畜的夜间起卧频次

当牲畜发情时，在夜间的起卧次数会比往常增加很多。由于摄像头通常是由上至下拍摄圈舍和牲畜情况，因而可以认为得到的视频基本上是俯拍视角。当牲畜在夜间睡眠时通常是卧在地上的，那么从夜间时段的视频图像中便可以锁定牲畜位置，并将牲畜的肚子、腿部和侧脸等拍下，此时检测到的牲畜面积较大，而当牲畜站起后从图像上看则只能看到其背部和头部等，因而检测到的面积会变小。利用这个身体面积的变化规律便可以统计出牲畜起卧次数。具体在实际操作中，可以对各帧图像中的目标牲畜进行定位，并针对各目标牲畜所处位置设定其外接包络框，再采用边缘检测算法对牲畜的边缘轮廓进行检测，然后计算该边缘所包围的连通域的面积也就获得了牲畜的身体面积，然后通过这个面积的变化(微小的面积变化可忽略不计，对此可利用预设阈值面积的方式筛选出有效变化)来得到牲畜的起卧次数，最后根据统计出的起卧次数确定出所述夜间起卧频次。当然，在某些实施方式中可将常态下的夜间起卧次数设为次数比较的参考阈值，对此本发明不做限定。

(2)确定牲畜的夜间运动量

与上述原理相同，通常在发情期的牲畜其夜间多会出现躁动，随着夜间起卧次数增加，发情牲畜的夜间运动量也会比常态时增加很多。因此，可以利用夜间时段的视频图像中所有牲畜的位置信息以及运动轨迹，得到目标牲畜的累计运动距离，然后将圈舍内所有牲畜的累计运动距离相加再除以牲畜总数，就可以得到当前圈舍中所有牲畜的平均运动距离，那么便可以根据所述累计运动距离相对所述平均运动距离的关系，确定出所述夜间运动量，例如可以将上述平均运动距离作为动态阈值，如果检测出某些牲畜的运动量超过了该阈值，则说明该牲畜的夜间活动明显高于其他睡眠牲畜的运动量。

(3)确定牲畜的饮食变化

当牲畜发情时食欲会下降甚至出现绝食情况。因此，在视频图像中可以对牲畜的头部和食槽进行定位，在根据牲畜的位置以及运动轨迹，统计牲畜的头部位于食槽上方的持续时间或累计时间，再基于持续时间或累计时间，与预设的喂食时间阈值的关系，确定出牲畜的饮食变化。例如可以设定牲畜的头部在食槽位置保持20秒(s)以上，就认为牲畜正在进行进食活动，而持续时间越长或者统计出一天的进食活动的累计时间，如果上述时间大于预设的预设标准则说明进食量越多，也即是食欲正常或更佳，那么反之则说明进食量减少，由此便可以反映出牲畜的饮食变化情况。这其中涉及到的用于比对的时间阈值可通过常态下牲畜进食时间进行设定，对此本发明不做限定。

而关于前文提及的异常举动，根据不同的牲畜种类可能会表现不同，例如但不限于如下一种或多种：跳栏、咬栏、身体颤抖、翘尾以及拱闻其他牲畜等。下述实施例将以猪只养殖以及母猪发情的角度进行实现方案的介绍，但本领域技术人员均知晓，下文并非限定而仅仅是启示性的说明，对于其他牲畜种类也可以借鉴。

(4)检测母猪的跳栏和咬栏举动

当母猪发情时会不自觉地出现跳栏和/或咬栏等异常举动。母猪跳栏一般是指发情母猪用前蹄扒着栏杆要从圈舍中跳出去；母猪咬栏一般是指猪圈采用栏杆式围栏时，发情母猪会用嘴咬扯栏杆。这两种异常举动的发生可以利用视频图像中获得的母猪的头部位置与圈舍围栏的关系进行检测

具体来说，可以预先从视频图像覆盖的全部母猪中提取头部特征，然后训练一个检测头部的模型，利用当前视频图像的母猪的位置信息，输入至构建好的头部检测模型定位出母猪的头部所在，然后利用预先标定的圈舍围栏位置(围栏通常在图像中是固定的)，判定母猪的头部位置与圈舍围栏的空间和/或时间关系。

例如跳栏：在得到每个母猪的头部位置信息后，将其与标定的圈舍围栏进行比较，当检测到有连续多帧图像中母猪的头部有超过设定阈值(例如头部的2/3)处在圈舍围栏以外时，则可以判定母猪正在进行跳栏动作。

例如咬栏：在检测到母猪的位置以及头部位置后，可以将嘴部位置定义为头部区域的1/3且偏于头部的一侧。这样，当检测到嘴部在圈舍围栏上持续停留超过时间阈值(例如3s以上)且伴随着相对距离的变化，则可以判定母猪正在咬栏。这里提及相对距离是考虑到当母猪出现扯咬围栏举动时，嘴或者头是存在移动的，该相对距离即是要区分出一般的嘴部依靠围栏和咬栏的差异，而该相对距离的计算在其他实施例中，可以是当检测到嘴部停留在围栏之后，开始计算每帧图像中嘴部的中心点与围栏的距离，然后将相邻帧的该距离做差，就可以得到距离变化值，该变化值需至少大于零(且同时持续一定时间)，才说明有扯咬动作的发生。

(5)检测母猪身体颤抖

发情状态下的母猪会出现身体抖动的现象，尤其当采用公猪诱引措施时，颤抖更为剧烈、明显。因此，可以在视频图像中的母猪身体上设定参考点，然后根据参考点的移动频率、幅度以及持续时间，判断母猪是否发生身体颤抖。具体来说，前文已经介绍了，可以通过视频图像以及边缘检测算法获得母猪的边缘轮廓，因而在一些实施方式中可以将母猪轮廓的中心点作为所述参考点。当猪只发生颤抖时，该中心点的位置会不停地左右或上下移动并且移动的幅度会限定在一定区间内，此时可通过计算母猪身体的中心点的移动幅度、移动频次以及持续时长确定出母猪身体的颤抖情况，例如在符合幅度条件的前提下，求取出15s内中心点的移动频率，将其与设定的抖动频次阈值进行比较，从而便可以判定猪只是否发生身体颤抖行为。

(6)检测母猪翘尾举动

正常情况下母猪的尾巴处于趴伏状态或者蜷缩着，当母猪发情时尾巴则会翘起，尤其当采用公猪诱引措施时，该表现更为明显，例如出现倾向竖直的翘起。基于该特点，可以结合曲率的性质，即图像某点的曲率越大，则曲线在该点的弯曲程度越大，从所述视频图像中定位出尾部所在，具体而言，尾部通常是牲畜身上除头部外弯曲程度最大的部位，通过前文介绍可以得到母猪的身体位置以及头部位置，将头部位置去除后，可以计算出剩余的躯体轮廓的平均曲率(轮廓上各个点的曲率相加除以点数得到平均曲率)，而猪尾所在的位置则可以由一系列相互邻近的点组成，该组点的曲率必然会大于平均曲率，通过这个规律则可以定位到尾部所在。曲率的计算方式可参考：K＝|Δα/ΔS|，其中Δα表征出一段弧的切线转角与该点的斜率存在关联，其可以用最小二乘法计算；ΔS则表征出弧长可用两点间的距离计算得出，那么通过以上公式就能够计算出点的曲率了。

这样，当尾巴翘起时，相对于尾巴的平常状态，此时的尾巴位置的点有相当大的移动且整个形状也有变化，进而会导致曲率产生明显的变化，因此可以检测若干组相邻图像帧中尾部位置的曲率变化，并与前述位置信息以及运动轨迹进行综合考察，从而判断出母猪是否发生翘尾举动。这里考虑将牲畜的位置信息以及运动轨迹融合考虑，是因为单一检测到相邻帧的尾巴位置的曲率有明显的变大，并不能准确判断出现翘起，因而当猪只移动或牲畜轰赶蚊虫时身躯及尾部的摆动，也可能出现尾部曲率变大的情况，因而借由前述位置信息以及运动轨迹确定出猪只未发生明显的位移变化(即基本不动)，则可以更为准确地认定牲畜的尾巴翘起了。

(7)检测母猪拱闻其他母猪的举动

根据经验发现，牲畜在发情时也会出现闻嗅和或轻微拱撞其他牲畜特定部位的情况，例如母猪会闻拱其他母猪的后腹部和后肋部的举动，后腹部和后肋部是指母猪的后腿前侧的一块区域。因此，可以对所述视频图像中的牲畜进行该特定区域的定位，例如可以将猪只身体的后半部位同时与头部存在一定距离位置关系的区域定义为该特定区域(该区域与猪的头部距离一般是猪头部长度的两倍)，在前文介绍中已经得到母猪的身体和头部位置，因此便可以锁定到该特定区域；同时基于头部位置又可以得到嘴部位置，因而可以计算出母猪的嘴部的边缘点与其他母猪的该特定区域的中心点之间的欧式距离，再根据该欧式距离与预设的接近阈值以及维持时间阈值的关系，判断出母猪是否发生拱闻其他母猪的举动。在实际操作中，可以构建一个随时采集前述欧式距离的集合A，并设定其他母猪的后腹/肋部区域的宽度为D、长度为L，那么，当连续5s以上这个距离集合A内的平均间距数值在小于D和大于L的区间内变动时，则可以说明目标母猪正在闻/拱其他母猪。

以上七种视觉检测对象以及实现手段仅是一种示意，具体操作中可进行增减或调整，但需说明的是，越多的考察因素则会使得检测结果更为准确，因此可以依据不同牲畜种类以及先验知识(上述因素在牲畜发情表现的重要性)对上述考察因素以及叫声因素一并考察并进行权重分配。此外，如前文提及的，当借由上述视觉和听觉的考察因素确定发情状态时，可以采用不同的策略，例如80％以上的上述情况出现并被检测到时，则可以判定出牲畜正在发情；或者也可以参考图2所示的实施例进行发情状态的确定，其中包括如下步骤：

步骤S41、根据夜间起卧频次以及夜间运动量，和/或跳栏以及咬栏举动，进行第一轮发情检测；

步骤S42、根据饮食变化进行第二轮发情检测；

步骤S43、根据身体颤抖、翘尾以及拱闻其他牲畜此三者中的一种或多种举动，进行第三轮发情检测；

步骤S44、根据以上三轮检测结果，确定牲畜的发情状态。

对于图2示例需说明的是，在其中的一轮或多轮检测中可结合前文提及的发声类型共同进行发情检测，对此这里不再赘述。而需要指出的则是，利用三轮检测的构思，一方面是指可以考虑上述动作行为因素的检测次序，先以表现更为突出的、权重值最高的行为动作做为第一轮检测手段，当满足第一轮检测条件后再逐次进一步判定后轮检测结果，最终汇总并由最后一轮的检测结果确定发情状态；另一方面，也可以是对三轮检测独立或成组地进行结果考核，依据其中一轮或多轮的检测分数，判断牲畜是否出现发情状态。对于上述策略均可以依据实际情况进行选择或调整，本发明对此不作限定。

综上所述，本发明的核心构思在于以图像和声学两个层面共同作用，对牲畜的行为举止和叫声特点进行检测，并由此分析判断出牲畜是否处于发情期，其中由于涉及了视觉和听觉因素，因而还可以自动剔除一些干扰情况，使得发情状态的判断更为准确可靠。本发明解决了人工巡检存在的人力投入大、经验要求高的问题，也能够有效控制检测设备的成本，提升发情检测的效率和经济效益。

相应于上述各实施例及优选方案，本发明还提供了一种牲畜发情检测装置的实施例，如图3所示，具体可以包括如下部件：

音视频采集模块10，用于采集圈舍内牲畜的视频图像以及叫声音频；

动作行为判定模块20，用于基于所述视频图像确定牲畜的动作行为；

发声类型判定模块30，用于识别出所述叫声音频的发声类型；

发情状态确定模块40，用于根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

在其中一种可能的实现方式中，所述动作行为判定模块包括：

定位跟踪单元，用于根据所述视频图像，获取牲畜的位置信息以及运动轨迹；

动作行为确定单元，用于根据所述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动。

在其中一种可能的实现方式中，所述动作行为确定单元包括：

夜间起卧频次确定子单元，用于确定所述夜间起卧频次，具体包括：

身体面积计算组件，用于利用夜间时段的所述视频图像中目标牲畜的位置信息，求取所述目标牲畜的身体面积；

面积变化次数统计组件，用于统计所述身体面积的变化大于或等于预设的面积变化阈值的次数；

夜间起卧频次确定组件，用于根据所述次数确定出所述夜间起卧频次；

夜间运动量确定子单元，用于确定所述夜间运动量，具体包括：

运动距离计算组件，用于利用夜间时段的所述视频图像中所有牲畜的位置信息以及运动轨迹，求取所述目标牲畜的累计运动距离以及所有牲畜的平均运动距离；

夜间运动量确定组件，用于根据所述累计运动距离相对所述平均运动距离的关系，确定出所述夜间运动量；

饮食变化确定子单元，用于确定所述饮食变化，具体包括：

第一定位组件，用于在所述视频图像中对牲畜的头部和食槽进行定位；

进食时间统计组件，用于根据所述位置信息以及运动轨迹，统计牲畜的头部位于食槽上方的持续时间或累计时间；

饮食变化确定组件，用于基于所述持续时间或累计时间，与预设的喂食时间阈值的关系，确定出所述饮食变化。

在其中一种可能的实现方式中，所述异常举动包括如下一种或多种：跳栏、咬栏、身体颤抖、翘尾以及拱闻其他牲畜；

所述动作行为确定单元还包括：

跳栏举动检测子单元，用于检测所述跳栏，具体包括：

第二定位组件，用于对所述视频图像进行牲畜头部以及圈舍围栏定位；

跳栏举动判定组件，用于根据连续多帧图像中头部与圈舍围栏的位置关系，判断是否发生跳栏举动；

咬栏举动检测子单元，用于检测所述咬栏，具体包括：

第三定位组件，用于基于头部位置，对牲畜进行嘴部定位；

咬栏举动判定组件，用于根据嘴部停留在圈舍围栏的时间以及嘴部与圈舍围栏的相对距离变化，判断是否发生咬栏举动；

身体颤抖检测子单元，用于检测所述身体颤抖，具体包括：

身体参考设定组件，用于在所述视频图像中的牲畜身体上设定参考点；

身体颤抖判定组件，用于根据参考点的移动频率、幅度以及持续时间，判断是否发生身体颤抖；

翘尾检测子单元，用于检测所述翘尾，具体包括：

第四定位组件，用于对所述视频图像中的牲畜进行尾部定位；

曲率检测组件，用于检测若干组相邻帧中尾部位置的曲率变化；

翘尾判定组件，用于结合所述位置信息以及运动轨迹，判断是否发生翘尾；

拱闻其他牲畜检测子单元，用于检测所述拱闻其他牲畜，具体包括：

第五定位组件，用于对所述视频图像中的牲畜进行特定区域定位；

间距检测组件，用于检测目标牲畜的嘴部与其他牲畜的特定区域的间距；

拱闻其他牲畜判定组件，用于根据所述间距与预设的接近阈值以及维持时间阈值的关系，判断是否发生拱闻其他牲畜的举动。

在其中一种可能的实现方式中，所述发情状态确定模块包括：

第一发情检测单元，用于根据夜间起卧频次以及夜间运动量，和/或跳栏以及咬栏举动，进行第一轮发情检测；

第二发情检测单元，用于根据饮食变化进行第二轮发情检测；

第三发情检测单元，用于根据身体颤抖、翘尾以及拱闻其他牲畜此三者中的一种或多种举动，进行第三轮发情检测；

且在其中一轮或多轮检测中结合所述发声类型进行发情检测；

发情状态确定单元，用于根据以上三轮检测结果，确定牲畜的发情状态。

在其中一种可能的实现方式中，所述发声类型判定模块包括：

特征提取模块，用于从所述叫声音频提取声学特征；

类型识别单元，用于利用所述声学特征以及预先训练的叫声分类模型，确定出所述发声类型；其中，所述发声类型至少包括：发情叫声和咳喘音。

在其中一种可能的实现方式中，所述发情状态确定模块包括：

疾病判定单元，用于根据所述动作行为以及所述咳喘音，判断牲畜是否处于疾病状态；

干扰排除单元，用于将所述疾病状态或处于疾病状态的牲畜作为所述干扰情况予以排除。

应理解以上图3所示的牲畜发情检测装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种牲畜发情检测装置设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或等效实施方式的步骤/功能。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的牲畜发情检测方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文再做补充说明，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种牲畜发情检测方法，其特征在于，包括：

采集圈舍内牲畜的视频图像以及叫声音频；

基于所述视频图像确定牲畜的动作行为；

识别出所述叫声音频的发声类型；

根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

2.根据权利要求1所述的牲畜发情检测方法，其特征在于，所述基于所述视频图像确定牲畜的动作行为包括：

根据所述视频图像，获取牲畜的位置信息以及运动轨迹；

根据所述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动。

3.根据权利要求2所述的牲畜发情检测方法，其特征在于，

确定所述夜间起卧频次包括：

利用夜间时段的所述视频图像中目标牲畜的位置信息，求取所述目标牲畜的身体面积；

统计所述身体面积的变化大于或等于预设的面积变化阈值的次数；

根据所述次数确定出所述夜间起卧频次；

确定所述夜间运动量包括：

利用夜间时段的所述视频图像中所有牲畜的位置信息以及运动轨迹，求取所述目标牲畜的累计运动距离以及所有牲畜的平均运动距离；

根据所述累计运动距离相对所述平均运动距离的关系，确定出所述夜间运动量；

确定所述饮食变化包括：

在所述视频图像中对牲畜的头部和食槽进行定位；

根据所述位置信息以及运动轨迹，统计牲畜的头部位于食槽上方的持续时间或累计时间；

基于所述持续时间或累计时间，与预设的喂食时间阈值的关系，确定出所述饮食变化。

4.根据权利要求2所述的牲畜发情检测方法，其特征在于，所述异常举动包括如下一种或多种：跳栏、咬栏、身体颤抖、翘尾以及拱闻其他牲畜；

检测所述跳栏包括：

对所述视频图像进行牲畜头部以及圈舍围栏定位；

根据连续多帧图像中头部与圈舍围栏的位置关系，判断是否发生跳栏举动；

检测所述咬栏包括：

基于头部位置，对牲畜进行嘴部定位；

根据嘴部停留在圈舍围栏的时间以及嘴部与圈舍围栏的相对距离变化，判断是否发生咬栏举动；

检测所述身体颤抖包括：

在所述视频图像中的牲畜身体上设定参考点；

根据参考点的移动频率、幅度以及持续时间，判断是否发生身体颤抖；

检测所述翘尾包括：

对所述视频图像中的牲畜进行尾部定位；

检测若干组相邻帧中尾部位置的曲率变化；

结合所述位置信息以及运动轨迹，判断是否发生翘尾；

检测所述拱闻其他牲畜包括：

对所述视频图像中的牲畜进行特定区域定位；

检测目标牲畜的嘴部与其他牲畜的特定区域的间距；

根据所述间距与预设的接近阈值以及维持时间阈值的关系，判断是否发生拱闻其他牲畜的举动。

5.根据权利要求4所述的牲畜发情检测方法，其特征在于，所述确定牲畜的发情状态包括：

根据夜间起卧频次以及夜间运动量，和/或跳栏以及咬栏举动，进行第一轮发情检测；

根据饮食变化进行第二轮发情检测；

根据身体颤抖、翘尾以及拱闻其他牲畜此三者中的一种或多种举动，进行第三轮发情检测；

根据以上三轮检测结果，确定牲畜的发情状态；且在其中一轮或多轮检测中结合所述发声类型进行发情检测。

6.根据权利要求1～5任一项所述的牲畜发情检测方法，其特征在于，所述识别出所述叫声音频的发声类型包括：

从所述叫声音频提取声学特征；

利用所述声学特征以及预先训练的叫声分类模型，确定出所述发声类型；其中，所述发声类型至少包括：发情叫声和咳喘音。

7.根据权利要求6所述的牲畜发情检测方法，其特征在于，所述根据所述动作行为和所述发声类型，排除干扰情况包括：

根据所述动作行为以及所述咳喘音，判断牲畜是否处于疾病状态；

将所述疾病状态或处于疾病状态的牲畜作为所述干扰情况予以排除。

8.一种牲畜发情检测装置，其特征在于，包括：

音视频采集模块，用于采集圈舍内牲畜的视频图像以及叫声音频；

动作行为判定模块，用于基于所述视频图像确定牲畜的动作行为；

发声类型判定模块，用于识别出所述叫声音频的发声类型；

发情状态确定模块，用于根据所述动作行为和所述发声类型，排除干扰情况并确定牲畜的发情状态。

9.根据权利要求8所述的牲畜发情检测装置，其特征在于，

所述动作行为判定模块包括：

定位跟踪单元，用于根据所述视频图像，获取牲畜的位置信息以及运动轨迹；

动作行为确定单元，用于根据所述位置信息以及运动轨迹确定出如下一种或多种所述动作行为：夜间起卧频次、夜间运动量、饮食变化以及异常举动；

所述发声类型判定模块包括：

特征提取模块，用于从所述叫声音频提取声学特征；

类型识别单元，用于利用所述声学特征以及预先训练的叫声分类模型，确定出所述发声类型；其中，所述发声类型至少包括：发情叫声和咳喘音。

10.一种牲畜发情检测设备，其特征在于，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如权利要求1～7任一项所述的牲畜发情检测方法。

Images