CN109711346A - 一种禽类异常识别方法及装置 - Google Patents

Abstract

本发明提供了一种禽类异常识别方法及装置，涉及视频监控技术领域。该禽类异常识别方法包括：提取监控视频中的图像信息；在所述图像信息中选取参考图像以及食槽中无饲料时的背景图像；分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值；确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将所述极大值作为添加饲料结束时的起始饲料量；基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。该方法基于采集图像确定食槽中的饲料量，基于通过图像处理获取的饲料量的变化值判断禽类是否进食异常，从而自动识别禽类异常行为。

Description

一种禽类异常识别方法及装置

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种禽类异常识别方法及装置。

背景技术

目前，禽类养殖场远程监控系统主要有两种：第一种由上位机PC和下位机PLC组成，实现养殖场现场参数如温度、湿度、氨气等的自动监控，这类系统只能对养殖场环境监测，无法监测禽类动物的异常行为。第二种是采用监控摄像头拍摄监控视频，这类系统需要由专门的值班工作人员，由工作人员从监控视频中观察畜禽的异常行为，无法自动识别禽类的反常行为，需要耗费大量人力。

发明内容

有鉴于此，本发明实施例的目的在于提供一种禽类异常识别方法及装置，以解决现有技术存在的无法基于监控图像自动识别禽类的反常行为，需要耗费大量人力的问题。

第一方面，本发明实施例提供了一种禽类异常识别方法，所述禽类异常识别方法包括：提取监控视频中的图像信息；在所述图像信息中选取参考图像；确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值；确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将所述极大值作为添加饲料结束时的起始饲料量；基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

上述实施例将监控视频中的包含食槽的多帧图像作为参考图像，基于参考图像和食槽中无饲料的背景图像进行图像处理确定两者面积差值即食槽内饲料量，并在多幅参考图像中确定面积差值的极大值作为添加饲料结束时的饲料量，提高了饲料量判定的效率、准确率和自动化程度，然后基于饲料量在对应时间内的变化量判断禽类进食是否异常，减少了人工识别和操作，使禽类异常情况识别可以通过处理设备基于监控视频自动化进行，提高了禽类异常识别的效率。

综合第一方面，所述在所述图像信息中选取参考图像，包括：每间隔时间t₁在所述图像信息中选取一帧图像I_f(k)作为饲料量检测的第k幅图像，其中，t₁＝μT₁，T₁为给食槽添加饲料所用时间，0.5≤μ≤1，k为正整数。。

上述实施例基于给食槽添加饲料所用时间设定间隔时间t₁，避免间隔时间太长选取的参考图像超过两次添加饲料间隔时间，同时避免间隔时间太短饲料减少量过少造成进食量判断准确率较低的问题，从而提高了进食异常识别的准确率。

综合第一方面，所述分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值，包括：采用两帧差法检测每幅参考图像I_f(k)和所述背景图片的对应位置所有像素的像素值变化；基于所述像素值变化分别获得每幅参考图像I_f(k)中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k。

上述实施例基于两帧差法检测获得的像素值变化确定参考图像和背景图像中表示饲料量变化的未被饲料覆盖的图像区域的面积差值，该方式基于图像处理由处理设备自动进行，避免采用个人进行识别，提高了获取饲料变化量的效率和准确率。

综合第一方面，所述确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，包括：若ΔS_k小于ΔS_k-1则k＝k-1，重复步骤“若ΔS_k小于ΔS_k-1则k＝k-1”至ΔS_k大于ΔS_k-1，确定此时的ΔS_k为所述面积差值的极大值；若ΔS_k大于ΔS_k-1则k＝k+1，重复步骤“若ΔS_k大于ΔS_k-1则k＝k+1”至ΔS_k小于ΔS_k-1，确定此时的ΔS_k-1为所述面积差值的极大值；在所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻T_e。

上述实施例里通过迭代寻找极大值来确定饲料添加结束时刻，以从饲料添加结束时刻作为计算饲料量变化基础，提高了计算饲料变化量的准确率。

综合第一方面，所述基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常，包括：初始化i＝0，j＝0；在T_e+ΔT_e时刻后，若所述极大值与T_e+ΔT_e时刻后的多幅参考图像中每幅参考图像对应的面积差值之间的差小于预设阈值，令i＝i+1，否则，令j＝j+1，计算其中，0.6T₂<ΔT_e≤T₂，T₂为两次添加饲料的时间间隔，所述多幅参考图像的采集时间大于T_e+ΔT_e并且小于T_e+T₂，所述预设阈值与参考图像的采集时间相关；若则确定禽类进食正常；若则确定禽类进食异常，其中，0.5≤γ≤1。

上述实施例采用多幅参考图像相对于添加饲料结束时刻饲料量的饲料变化量对禽类进食是否异常进行判断，在多个不同时间确定饲料量的变化出现异常且该异常概率大于预设水平时，确定禽类进食是否异常，提高了进食异常识别的准确率。

综合第一方面，所述方法还包括：提取监控视频中的音频信息；每间隔时间t₂在所述音频信息中选取参考音频，将所述参考音频分割成多个片段后提取每个片段的特征向量；将所述特征向量输入训练好的支持向量机分类器获得所述参考音频是否异常的判断结果，基于所述判断结果判断在T₃时间段内禽类是否存在异常行为。

上述实施例通过对音频的特征向量进行机器学习分类判断，确定禽类是否存在异常行为，进一步提高了禽类异常情况的判断准确率和该方法的适用范围。

综合第一方面，在所述将所述特征向量输入训练好的支持向量机分类器获得音频异常判断结果之前，所述方法还包括：对多个正常状态下的禽类进行多段音频样本采集；基于双门限法进行端点检测获得每段音频样本对应的有效音频信号；对归一化处理后的所述有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目；提取每个声音帧样本G(l)提取梅尔频率倒谱系数(MFCC)的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量；基于所述特征向量对支持向量机分类器进行训练。

综合第一方面，所述基于所述判断结果判断在T₃时间段内禽类是否存在异常行为，包括：所述判断结果表示在T₃时间段内有大于第一比例阈值、小于第二比例阈值的音频样本异常时，确定禽类存在非紧急异常行为；所述判断结果表示在T₃时间段内有大于所述第二比例阈值的音频样本异常时，确定禽类存在紧急异常行为。

上述实施例基于特定时间段内的音频异常概率将禽类异常行为分为非紧急和紧急异常行为，使用户能够通过对应报警信息采取相应措施，方便用户进行异常应对处理。

第二方面，本发明实施例提供了一种禽类异常识别装置，所述禽类异常识别装置包括：图像提取模块，用于提取监控视频中的图像信息；参考图像选取模块，用于在所述图像信息中选取参考图像；面积差值计算模块，用于确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值；极大值确定模块，用于确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将所述极大值作为添加饲料结束时的起始饲料量；进食异常判断模块，用于基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

综合第二方面，所述参考图像选取模块具体用于每间隔时间t₁在所述图像信息中选取一帧图像I_f(k)作为饲料量检测的第k幅图像，其中，t₁＝μT₁，T₁为给食槽添加饲料所用时间，0.5≤μ≤1，k为正整数。

综合第二方面，所述面积差值计算模块包括：像素值检测单元，用于采用两帧差法检测每幅参考图像I_f(k)和所述背景图片的对应位置所有像素的像素值变化；面积差值确定单元，用于基于所述像素值变化分别获得每幅参考图像I_f(k)中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k。

综合第二方面，所述极大值确定模块包括：极大值确定单元，用于在ΔS_k小于ΔS_k-1时令k＝k-1，重复步骤“在ΔS_k小于ΔT_k-1时令k＝k-1”至ΔS_k大于ΔS_k-1，确定此时的ΔS_k为所述面积差值的极大值，还用于在ΔS_k大于ΔS_k-1时令k＝k+1，重复步骤“在ΔS_k大于ΔS_k-1时令k＝k+1”至ΔS_k小于ΔS_k-1，确定此时的ΔS_k-1为所述面积差值的极大值；饲料添加结束时刻确定单元，用于在所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻T_e。

综合第二方面，所述进食异常判断模块包括：初始化单元，用于初始化i＝0，j＝0；异常率计算单元，用于在T_e+ΔT_e时刻后，若所述极大值与T_e+ΔT_e时刻后的多幅参考图像中每幅参考图像对应的面积差值之间的差小于预设阈值，令i＝i+1，否则，令j＝j+1，计算其中，0.6T₂<ΔT_e≤T₂，T₂为两次添加饲料的时间间隔，所述多幅参考图像的采集时间大于T_e+ΔT_e并且小于T_e+T₂，所述预设阈值与参考图像的采集时间相关；异常确定单元，用于在时，确定禽类进食正常；在时，确定禽类进食异常，其中，0.5≤γ≤1。

综合第二方面，所述禽类异常识别装置还包括：音频提取模块，用于提取监控视频中的音频信息；特征向量提取模块，用于每间隔时间t₂在所述音频信息中选取参考音频，将所述参考音频分割成多个片段后提取每个片段的特征向量；音频异常判断模块，用于将所述特征向量输入训练好的支持向量机分类器获得所述参考音频是否异常的判断结果，基于所述判断结果判断在T₃时间段内禽类是否存在异常行为。

综合第二方面，所述禽类异常识别装置还包括分类器训练模块，所述分类器训练模块包括：样本采集单元，用于对多个正常状态下的禽类进行多段音频样本采集；有效信号获取单元，用于基于双门限法进行端点检测获得每段音频样本对应的有效音频信号；声音帧确定单元，用于对归一化处理后的所述有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目；特征向量提取单元，用于提取每个声音帧样本G(l)提取梅尔频率倒谱系数(MFCC)的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量；训练单元，用于基于所述特征向量对支持向量机分类器进行训练。

综合第二方面，所述音频异常判断模块具体用于在述判断结果表示在T₃时间段内有大于第一比例阈值、小于第二比例阈值的音频样本异常时，确定禽类存在非紧急异常行为，在所述判断结果表示在T₃时间段内有大于所述第二比例阈值的音频样本异常时，确定禽类存在紧急异常行为。

第三方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种禽类监控系统的结构示意图；

图2为本发明第二实施例提供的一种禽类异常识别方法的流程示意图；

图3为本发明第二实施例提供的一种面积差值获取步骤的流程示意图；

图4为本发明第二实施例提供的一种音频识别步骤的流程示意图；

图5为本发明第三实施例提供的一种禽类异常识别装置20的模块示意图；

图6为本发明第四实施例提供的一种可应用于本申请实施例中的电子设备30的结构框图。

图标：20-禽类异常识别装置；21-图像提取模块；22-参考图像选取模块；23-面积差值计算模块；24-极大值确定模块；25-进食异常判断模块；30-电子设备；31-存储器；32-存储控制器；33-处理器；34-外设接口；35-输入输出单元；36-音频单元；37-显示单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一实施例

请参考图1，图1为本发明实施例提供的一种禽类监控系统的结构示意图。该禽类监控系统可以用于实施禽类异常识别方法。

禽类监控系统包括摄像头、声音传感器、处理器、云端服务器和声光报警器。

上述摄像头可以为一个或任意数量，作为一种可选的实施方式，本实施例中的摄像头，该摄像头的数量可以为是但不限于是两个，分别拍摄两侧的鸡笼监控图像，安装在鸡笼的斜上方，其安装高度和角度由鸡笼的高度和大小决定，且每个摄像头需要清晰地拍摄到每层鸡笼的食槽。该食槽的长度一般为1米至1.5米，同时对于每个鸡笼，相邻两个摄像头间的距离为2米至3米。该摄像头的种类可以是常用的监控摄像头，该监控摄像头的镜头毫米数和分辨率可以根据需要监控的禽舍面积和食槽数量进行调整。进一步地，本实施例中的摄像头可以根据禽舍的面积、构造和单个摄像头需要监控的食槽数量选取枪机、球机、半球机等类型的摄像头。

上述声音传感器的数量可以为一个或多个，作为一种可选的实施方式，在禽舍较小时可以安装单个声音传感器。声音传感器的作用相当于一个话筒(麦克风)，它用来接收声波，显示声音的振动，其工作原理是内置一个对声音敏感的电容式驻极体话筒，声波使话筒内的驻极体薄膜振动，导致电容的变化，而产生与之对应变化的微小电压，这一电压随后被转化成0-5V的电压，经过A/D转换被采集器接受并传送给对应处理器。

本实施例中的处理器可以是但不限于是树莓派微型电脑，树莓派是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100以太网接口，可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，以上部件全部整合在一张仅比信用卡稍大的主板上，具备所有PC的基本功能只需接通电视机和键盘就能执行如电子表格、文字处理、玩游戏、播放高清视频等诸多功能。具体地，本实施例中的处理器可以是3代B型树莓派，其有4个USB接口，上述摄像头、声音传感器均通过USB接口与树莓派连接，该树莓派处理器将接收的监控视频中的图像和音频信息传输至云端服务器进行处理，并基于云端服务器的传来的控制信号控制声光报警器进行报警。

由于树莓派的存储能力和处理能力有限，而图像和音频存储占用的存储空间较大，而且视觉音频处理也需要更高性能的计算机，因此可以配置PC机，如果在监控现场配置PC机，就需要监控计算机24小时不能断电，这显然给用户带来诸多不便，因此，本发明通过树莓派监控和云端服务器的通讯，传输视频音频数据，云端服务器运行异常行为识别程序，并向树莓派监控模块传送禽类异常行为识别结果。要使基于视觉音频信息的异常行为识别程序能够在后台云端服务器运行，需要在后台服务器配置程序，具体步骤如下：1)在本地PC机编写程序，并编译完成；2)生成war包上传到云服务器；3)修改server.xml文件配置程序4)重新启动环境，执行脚本文件启动程序；5)本地浏览器云服务器域名，查看运行程序。

本实施例中的声光报警器可以是报警灯和蜂鸣器组成。

第二实施例

请参考图2，图2为本发明第二实施例提供的一种禽类异常识别方法的流程示意图。应当理解的是，该禽类异常识别方法的执行主体可以是本发明第一实施例提供的禽类监控系统中的处理器。该禽类异常识别方法的具体步骤可以如下：

步骤S11：提取监控视频中的图像信息。

本实施例中的监控视频可以是禽类监控系统中的摄像头获取的包含食槽的视频信息。在其他实施例中，该监控视频还可以是其他运算设备或存储设备直接传输至禽类监控系统的处理器中的视频信息。

本实施例中将图像信息提取出来，不对音频信息进行处理，提高了基于图像处理对禽类进食异常进行判断的效率。

步骤S12：在图像信息中选取参考图像。

本步骤中的参考图像可以是每间隔一段固定时间或每间隔随机时间从图像信息中截取的当前帧图像。

应当理解的是，参考图像的数量可以是一个或多个。

步骤S13：确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与背景图像中未被饲料覆盖的图像区域之间的面积差值。

背景图像可以是从监控视频中的图像信息提取，即选取整个食槽未被饲料覆盖的图像作为背景图像，还可以在食槽中没有饲料时专门拍摄的图片。

应当理解的是，参考图像中未被饲料覆盖的图像区域与背景图像中未被饲料覆盖的图像区域之间的面积差值即为当前帧图像食槽中的饲料量。

步骤S14：确定面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将极大值作为添加饲料结束时的起始饲料量。

针对同一食槽，饲料添加过程中饲料量逐渐增加，禽类进食过程中饲料量逐渐减少，因此面积差值即饲料量的极大值即为饲料添加结束时刻该食槽的饲料量。

步骤S15：基于极大值与饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

基于极大值与参考图像对应的面积差值之间的差确定的进食量对进食异常情况进行判断时，可以选取饲料添加结束时刻后的任意数量的参考图像进行判断，以提高判断准确率。

上述实施例将监控视频中的包含食槽的多帧图像作为参考图像，基于参考图像和食槽中无饲料的背景图像进行图像处理确定两者面积差值即食槽内饲料量，并在多幅参考图像中确定面积差值的极大值作为添加饲料结束时的饲料量，提高了饲料量判定的效率、准确率和自动化程度，然后基于饲料量在对应时间内的变化量判断禽类进食是否异常，减少了人工识别和操作，使禽类异常情况识别可以通过处理设备基于监控视频自动化进行，提高了禽类异常识别的效率。

针对步骤S12，作为一种可选的实施方式，步骤S12可以包括：每间隔时间t₁在图像信息中选取一帧图像I_f(k)作为饲料量检测的第k幅图像，其中，t₁＝μT₁，T₁为给食槽添加饲料所用时间，0.5≤μ≤1，k为正整数。

进一步地，选取图像I_f(k)时还可以基于图像中食槽部分的清晰度、分辨率和是否存在遮挡等条件进行图像I_f(k)的筛选。

上述实施例基于给食槽添加饲料所用时间设定间隔时间t₁，避免间隔时间太长选取的参考图像超过两次添加饲料间隔时间，同时避免间隔时间太短饲料减少量过少造成进食量判断准确率较低的问题，从而提高了进食异常识别的准确率。

针对步骤S13，作为一种可选的实施方式，请参考图3，步骤S12可以包括如下子步骤：

步骤S13.1：采用两帧差法检测每幅参考图像I_f(k)和背景图片的对应位置所有像素的像素值变化。

本步骤中的两帧差法即帧间差分法，是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。本实施例中食槽中的饲料覆盖面积会随时间变化而变化，可以看作运动物体，因此可以采用帧间差分法对其进行检测。

步骤S13.2：基于像素值变化分别获得每幅参考图像I_f(k)中未被饲料覆盖的图像区域与背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k。

应当理解的是，本实施例求取的是参考图像与背景图像之间未被饲料覆盖的图像区域的面积差值，从而将其作为参考图像对应的食槽中的饲料量。

作为一种可选的实施方式，在本步骤进行面积差值计算时还可以运用形态学处理、空洞填充和小区域去除等图像处理技术提高面积差值的计算准确率。

本实施例中还可以在求取参考图像与背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k之前进行参考图像的筛选，在参考图像的采集时间较短(例如小于预设的进食间隔时间)或大于两次添加饲料的间隔时间时，不选取该参考图像进行面积差值ΔS_k的计算。

作为一种可选的实施方式，步骤S14可以包括如下子部骤：

步骤S14.1：若ΔS_k小于ΔS_k-1则k＝k-1，重复步骤“若ΔS_k小于ΔS_k-1则k＝k-1”至ΔS_k大于ΔS_k-1，确定此时的ΔS_k为面积差值的极大值；若ΔS_k大于ΔS_k-1则k＝k+1，重复步骤“若ΔS_k大于ΔS_k-1则k＝k+1”至ΔS_k小于ΔS_k-1，确定此时的ΔS_k-1为面积差值的极大值。

本步骤通过迭代方式确定极值点，将面积差值的极大值作为饲料添加结束时的食槽内饲料量。

应当理解的是，在某参考图像与背景图像的面积差值ΔS_k小于阈值β₁，可以判定该参考图像中的食槽未添加饲料，应当舍弃该参考图像。

步骤S14.2：在面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻T_e。

上述实施例里通过迭代寻找极大值来确定饲料添加结束时刻，以从饲料添加结束时刻作为计算饲料量变化基础，提高了计算饲料变化量的准确率。

作为一种可选的实施方式，步骤S15可以包括如下子步骤：

步骤S15.1：初始化i＝0，j＝0。

步骤S15.2：在T_e+ΔT_e时刻后，若极大值与T_e+ΔT_e时刻后的多幅参考图像中每幅参考图像对应的面积差值之间的差小于预设阈值，令i＝i+1，否则，令j＝j+1，计算其中，0.6T₂<ΔT_e≤T₂，T₂为两次添加饲料的时间间隔，多幅参考图像的采集时间大于T_e+ΔT_e并且小于T_e+T₂，预设阈值与参考图像的采集时间相关。

其中，ΔT_e时刻为可以根据禽类具体进食规律进行调整的进食间隔时间，用于避免在添加饲料结束后较短时间内进行饲料量变化的识别，以提高识别准确率。

应当理解的是，本步骤中的0.6T₂<ΔT_e≤T₂的限制条件还可以根据禽类的具体进食规律调节，例如将其调整为0.5T₂<ΔT_e≤T₂或其他合适的限制范围。

步骤S15.3：若则确定禽类进食正常；若则确定禽类进食异常，其中，0.5≤γ≤1。

应当理解的是，上述0.5≤γ≤1中γ的取值范围还可以是其他合适的取值范围。

上述步骤S15.1-S15.3为迭代执行，从而采用多幅参考图像相对于添加饲料结束时刻饲料量的饲料变化量对禽类进食是否异常进行判断，在多个不同时间确定饲料量的变化出现异常且该异常概率大于预设水平时，确定禽类进食是否异常，提高了进食异常识别的准确率。

考虑到禽类异常行为除了体现在进食速度上，往往会在禽类叫声中体现，因此本实施例还可以包括基于音频判断禽类异常行为的音频识别步骤，请参考图4，图4为本发明第二实施例提供的一种音频识别步骤的流程示意图，该步骤可以如下：

步骤S16：提取监控视频中的音频信息。

本实施例中的音频信息可以是禽类监控系统中的声音传感器获取的。在其他实施例中，该音频信息还可以是其他运算设备或存储设备直接传输至禽类监控系统的处理器中的音频信息。

作为一种可选的实施方式，音频采样的频率可以对应禽类叫声确定为大约44.1kHZ，采样位数为16位。

步骤S17：每间隔时间t₂在音频信息中选取参考音频，将参考音频分割成多个片段后提取每个片段的特征向量。

上述实施例中每段参考音频的长度可以为大约1秒，且提取特征向量的过程可以为：基于双门限法进行端点检测获得每段参考音频对应的有效音频信号；对归一化处理后的有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目；提取每个声音帧样本G(l)提取梅尔频率倒谱系数(MFCC)的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量。

进一步地，本实施例中t₂≥10l秒。

步骤S18：将特征向量输入训练好的支持向量机分类器获得参考音频是否异常的判断结果，基于判断结果判断在T₃时间段内禽类是否存在异常行为。

本步骤中“基于判断结果判断在T₃时间段内禽类是否存在异常行为”可以包括：判断结果表示在T₃时间段内有大于第一比例阈值、小于第二比例阈值的音频样本异常时，确定禽类存在非紧急异常行为；判断结果表示在T₃时间段内有大于第二比例阈值的音频样本异常时，确定禽类存在紧急异常行为。

作为一种可选的实施方式，本实施例还包括分类器训练步骤，该步骤可以如下：

步骤S19.1：对多个正常状态下的禽类进行多段音频样本采集。

其中，每段音频样本的长度可以为1秒。

步骤S19.2：基于双门限法进行端点检测获得每段音频样本对应的有效音频信号。

步骤S19.3：对归一化处理后的有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目。

步骤S19.4：提取每个声音帧样本G(l)提取梅尔频率倒谱系数的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量。

步骤S19.5：基于特征向量对支持向量机分类器进行训练。

第三实施例

为了配合本发明第二实施例提供的禽类异常识别方法，本发明第三实施例还提供了一种禽类异常识别装置20。

请参考图5，图5为本发明第三实施例提供的一种禽类异常识别装置20的模块示意图。

禽类异常识别装置20包括图像提取模块21、参考图像选取模块22、面积差值计算模块23、极大值确定模块24和进食异常判断模块25。

图像提取模块21，用于提取监控视频中的图像信息。

参考图像选取模块22，用于在图像信息中选取参考图像。

面积差值计算模块23，用于确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与背景图像中未被饲料覆盖的图像区域之间的面积差值。

极大值确定模块24，用于确定面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将极大值作为添加饲料结束时的起始饲料量。

进食异常判断模块25，用于基于极大值与饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

参考图像选取模块22具体用于每间隔时间t₁在图像信息中选取一帧图像I_f(k)作为饲料量检测的第k幅图像，其中，t₁＝μT₁，T₁为给食槽添加饲料所用时间，0.5≤μ≤1，k为正整数。

作为一种可选的实施方式，面积差值计算模块23可以包括像素值检测单元、面积差值确定单元。

像素值检测单元，用于采用两帧差法检测每幅参考图像I_f(k)和背景图片的对应位置所有像素的像素值变化。

面积差值确定单元，用于基于像素值变化分别获得每幅参考图像I_f(k)中未被饲料覆盖的图像区域与背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k。

作为一种可选的实施方式，极大值确定模块24可以包括极大值确定单元和饲料添加结束时刻确定单元。

极大值确定单元，用于在ΔS_k小于ΔS_k-1时令k＝k-1，重复步骤“在ΔS_k小于ΔS_k-1时令k＝k-1”至ΔS_k大于ΔS_k-1，确定此时的ΔS_k为面积差值的极大值，还用于在ΔS_k大于ΔS_k-1时令k＝k+1，重复步骤“在ΔS_k大于ΔS_k-1时令k＝k+1”至ΔS_k小于ΔS_k-1，确定此时的ΔS_k-1为面积差值的极大值。

饲料添加结束时刻确定单元，用于在面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻T_e。

作为一种可选的实施方式，进食异常判断模块25可以包括初始化单元、异常率计算单元和异常确定单元。

初始化单元，用于初始化i＝0，j＝0。

异常率计算单元，用于在T_e+ΔT_e时刻后，若极大值与T_e+ΔT_e时刻后的多幅参考图像中每幅参考图像对应的面积差值之间的差小于预设阈值，令i＝i+1，否则，令j＝j+1，计算其中，0.6T₂<ΔT_e≤T₂，T₂为两次添加饲料的时间间隔，多幅参考图像的采集时间大于T_e+ΔT_e并且小于T_e+T₂，预设阈值与参考图像的采集时间相关。

异常确定单元，用于在时，确定禽类进食正常；在时，确定禽类进食异常，其中，0.5≤γ≤1。

进一步地，禽类异常识别装置20还包括音频提取模块、特征向量提取模块和音频异常判断模块。

音频提取模块，用于提取监控视频中的音频信息。

特征向量提取模块，用于每间隔时间t₂在音频信息中选取参考音频，将参考音频分割成多个片段后提取每个片段的特征向量。

音频异常判断模块，用于将特征向量输入训练好的支持向量机分类器获得参考音频是否异常的判断结果，基于判断结果判断在T₃时间段内禽类是否存在异常行为。

作为一种可选的实施方式，禽类异常识别装置20还可以包括分类器训练模块，该模块包括：样本采集单元，用于对多个正常状态下的禽类进行多段音频样本采集；有效信号获取单元，用于基于双门限法进行端点检测获得每段音频样本对应的有效音频信号；声音帧确定单元，用于对归一化处理后的有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目；特征向量提取单元，用于提取每个声音帧样本G(l)提取梅尔频率倒谱系数(MFCC)的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量；训练单元，用于基于特征向量对支持向量机分类器进行训练。

本实施例中音频异常判断模块具体可用于在述判断结果表示在T₃时间段内有大于第一比例阈值、小于第二比例阈值的音频样本异常时，确定禽类存在非紧急异常行为，在判断结果表示在T₃时间段内有大于第二比例阈值的音频样本异常时，确定禽类存在紧急异常行为。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

第四实施例

请参照图6，图6为本发明第四实施例提供的一种可应用于本申请实施例中的电子设备30的结构框图。本实施例提供的电子设备30可以包括禽类异常识别装置20、存储器31、存储控制器32、处理器33、外设接口34、输入输出单元35、音频单元36、显示单元37。

所述存储器31、存储控制器32、处理器33、外设接口34、输入输出单元35、音频单元36、显示单元37各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述禽类异常识别装置20包括至少一个可以软件或固件(firmware)的形式存储于所述存储器31中或固化在禽类异常识别装置20的操作系统(operating system，OS)中的软件功能模块。所述处理器33用于执行存储器31中存储的可执行模块，例如禽类异常识别装置20包括的软件功能模块或计算机程序。

其中，存储器31可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器31用于存储程序，所述处理器33在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器33中，或者由处理器33实现。

处理器33可以是一种集成电路芯片，具有信号的处理能力。上述的处理器33可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器33也可以是任何常规的处理器等。

所述外设接口34将各种输入/输出装置耦合至处理器33以及存储器31。在一些实施例中，外设接口34，处理器33以及存储控制器32可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元35用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元35可以是，但不限于，鼠标和键盘等设备。

音频单元36向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元37在所述电子设备30与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元37可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器33进行计算和处理。

可以理解，图6所示的结构仅为示意，所述电子设备30还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供了一种禽类异常识别方法及装置，该方法将监控视频中的包含食槽的多帧图像作为参考图像，基于参考图像和食槽中无饲料的背景图像进行图像处理确定两者面积差值即食槽内饲料量，并在多幅参考图像中确定面积差值的极大值作为添加饲料结束时的饲料量，提高了饲料量判定的效率、准确率和自动化程度，然后基于饲料量在对应时间内的变化量判断禽类进食是否异常，减少了人工识别和操作，使禽类异常情况识别可以通过处理设备基于监控视频自动化进行，提高了禽类异常识别的效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种禽类异常识别方法，其特征在于，所述方法包括：

提取监控视频中的图像信息；

在所述图像信息中选取参考图像；

确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值；

确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将所述极大值作为添加饲料结束时的起始饲料量；

基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

2.根据权利要求1所述的禽类异常识别方法，其特征在于，所述在所述图像信息中选取参考图像，包括：

每间隔时间t₁在所述图像信息中选取一帧图像I_f(k)作为饲料量检测的第k幅图像，其中，t₁＝μT₁，T₁为给食槽添加饲料所用时间，0.5≤μ≤1，k为正整数。

3.根据权利要求1所述的禽类异常识别方法，其特征在于，所述分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值，包括：

采用两帧差法检测每幅参考图像I_f(k)和所述背景图片的对应位置所有像素的像素值变化；

基于所述像素值变化分别获得每幅参考图像I_f(k)中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域的面积差值ΔS_k。

4.根据权利要求3所述的禽类异常识别方法，其特征在于，所述确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，包括：

若ΔS_k小于ΔS_k-1则k＝k-1，重复步骤“若ΔS_k小于ΔS_k-1则k＝k-1”至ΔS_k大于ΔS_k-1，确定此时的ΔS_k为所述面积差值的极大值；

若ΔS_k大于ΔS_k-1则k＝k+1，重复步骤“若ΔS_k大于ΔS_k-1则k＝k+1”至ΔS_k小于ΔS_k-1，确定此时的ΔS_k-1为所述面积差值的极大值；

在所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻T_e。

5.根据权利要求4所述的禽类异常识别方法，其特征在于，所述基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常，包括：

初始化i＝0，j＝0；

在T_e+ΔT_e时刻后，若所述极大值与T_e+ΔT_e时刻后的多幅参考图像中每幅参考图像对应的面积差值之间的差小于预设阈值，令i＝i+1，否则，令j＝j+1，计算其中，0.6T₂<ΔT_e≤T₂，T₂为两次添加饲料的时间间隔，所述多幅参考图像的采集时间大于T_e+ΔT_e并且小于T_e+T₂，所述预设阈值与参考图像的采集时间相关；

若则确定禽类进食正常；若则确定禽类进食异常，其中，0.5≤γ≤1。

6.根据权利要求1所述的禽类异常识别方法，其特征在于，所述方法还包括：

提取监控视频中的音频信息；

每间隔时间t₂在所述音频信息中选取参考音频，将所述参考音频分割成多个片段后提取每个片段的特征向量；

将所述特征向量输入训练好的支持向量机分类器获得所述参考音频是否异常的判断结果，基于所述判断结果判断在T₃时间段内禽类是否存在异常行为。

7.根据权利要求6所述的禽类异常识别方法，其特征在于，在所述将所述特征向量输入训练好的支持向量机分类器获得音频异常判断结果之前，所述方法还包括：

对多个正常状态下的禽类进行多段音频样本采集；

基于双门限法进行端点检测获得每段音频样本对应的有效音频信号；

对归一化处理后的所述有效音频信号进行分帧处理，获得第l个有效音频信号的声音帧G(l)＝{X₁,X₂,…X_N}(l≤M)，其中，N为每个声音帧序列的长度，M为音频样本的数目；

提取每个声音帧样本G(l)提取梅尔频率倒谱系数的12维静态特征、12维一阶差分特征差分特征，共形成24维特征向量；

基于所述特征向量对支持向量机分类器进行训练。

8.根据权利要求6所述的禽类异常识别方法，其特征在于，所述基于所述判断结果判断在T₃时间段内禽类是否存在异常行为，包括：

所述判断结果表示在T₃时间段内有大于第一比例阈值、小于第二比例阈值的音频样本异常时，确定禽类存在非紧急异常行为；

所述判断结果表示在T₃时间段内有大于所述第二比例阈值的音频样本异常时，确定禽类存在紧急异常行为。

9.一种禽类异常识别装置，其特征在于，所述装置包括：

图像提取模块，用于提取监控视频中的图像信息；

参考图像选取模块，用于在所述图像信息中选取参考图像；

面积差值计算模块，用于确定食槽中无饲料时的背景图像，分别计算每幅参考图像中未被饲料覆盖的图像区域与所述背景图像中未被饲料覆盖的图像区域之间的面积差值；

极大值确定模块，用于确定所述面积差值为极大值的参考图像对应的时刻为饲料添加结束时刻，将所述极大值作为添加饲料结束时的起始饲料量；

进食异常判断模块，用于基于所述极大值与所述饲料添加结束时刻后参考图像对应的面积差值之间的差判断禽类进食是否异常。

10.根据权利要求9所述的禽类异常识别装置，其特征在于，所述装置还包括：

音频提取模块，用于提取监控视频中的音频信息；

特征向量提取模块，用于每间隔时间t₂在所述音频信息中选取参考音频，将所述参考音频分割成多个片段后提取每个片段的特征向量；

声音异常判断模块，用于将所述特征向量输入训练好的支持向量机分类器获得所述参考音频是否异常的判断结果，基于所述判断结果判断在T₃时间段内禽类是否存在异常行为。