CN106774540A - 一种基于视频识别的智能养殖控制系统及方法 - Google Patents

Abstract

本发明涉及一种基于视频识别的智能养殖控制系统及方法，主要实现养殖场的房间环境控制和猪的行为状况监控预警，核心部件为GPU服务器组模块和核心控制板模块，并利用高清晰摄像头模块采集视频信息，GPU服务器组模块视频识别出养殖房间环境异常和猪的异常后会自动进行异常数据分析并发送到STM32进行报警和智能控制决策，然后通过各种传感器的数据采集输入和相应控制器的数据输出进行调控，同时还会不断地将控制后的数据发回到数据中心构成闭环控制回路。与现有技术相比，本发明具有实时监测猪的身体状况和养殖场环境状况，调节和控制快速，控制成本低等优点。

Description

一种基于视频识别的智能养殖控制系统及方法

技术领域

本发明涉及农业养殖技术领域，尤其是涉及一种基于视频识别的智能养殖控制系统及方法。

背景技术

目前，随着养殖业的迅速发展，以智能控制为核心的养殖场正在改进中，同时人们对智能控制的方式和效果也提出了新的要求。但现有的国内外的智能养殖场多以德国的西门子工业控制为主，包括养殖场内温湿度的调节、粪便自动处理系统和自动投放料控制系统。这样虽然减少了人力资源的投入，并不能根据猪的日常行为做出合理的控制以达到节能的效果。而且也不能够实时的对猪的生长状况和喂养情况做出科学合理的判断，而且由于人力的减少，大型的养殖场更加不能够做到对猪进行实时的身体监测，导致一头猪生病多猪被传染的情况发生，增大了食品安全隐患和不必要的资金投入，从而降低了养殖利润和智能养殖场的效果。

因此，在国内外的大型智能养殖场急需要基于机器视频识别的智能养猪控制系统及数据分析方法。实现对猪的日常行为进行控制并判断出异常群体，对猪的健康状况进行实时监测。

中国专利CN204710141 U公布了一种智能养殖系统，该养殖系统，包括料桶一、料桶二、PLC控制器，还包括分别与所述料桶一和所述料桶二相连的称重装置一和称重装置二，分别与所述称重装置一和所述称重装置二相连的输送带，通过输送带与所述称重装置一和所述称重装置二相连的混料桶，与所述混料桶相连的阀门一，与所述阀门一相连的水泵，所述混料桶内安装有搅拌器；所述PLC控制器与所述称重装置一、所述称重装置二、所述输送带、所述搅拌器、过滤器和所述阀门一通过信号线相连。该系统仅解决了自控给料的问题，主要采用工业控制，对于猪的身体情况等没有相应的智能控制装置，无法根据猪的日常行为作出控制，也无法对养殖场内的环境进行控制。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视频识别的智能养殖控制系统及方法。这是一种基于机器学习算法来增强视频识别的智能闭环控制系统，算法本身采用的是最新的机器学习模式算法，主要是将清晰摄像头安装在每个养猪场的养殖房间内，对养殖房间进行实时的视频拍摄，并将视频传回计算机视频处理中心利用深度学习模式对视频进行特征提取和分类识别，达到对猪的养殖情况实时监控和应急处理，同时对识别出的特征数据进行数据分析辨别出行为异常的群体。然后发出异常警示并对温湿度和投水投料设备进行反馈调节。使得养殖场更加安全和智能化。

本发明的目的可以通过以下技术方案来实现：

一种基于视频识别的智能养殖控制系统，该系统包括摄像头模块、行为数据库模块、GPU服务器组模块、报警模块、核心控制板模块、传感器模块、自动控制模块，所述的GPU服务器组模块输入端分别连接摄像头模块、行为数据库模块，输出端分别连接核心控制板输入端和报警模块；核心控制板输入端还连接传感器模块，输出端分别连接自动控制模块和GPU服务器组模块输入端；

利用行为数据库模块对GPU服务器组模块进行训练，所述的摄像头模块采集视频数据并输入训练好的GPU服务器组模块，GPU服务器组模块对视频数据进行分类，识别处理和特征提取，并转化为计算机指令数据，输出至报警模块和核心控制板模块，报警模块通知饲养员牲畜异常情况，核心控制板模块则根据指令数据和传感器模块输入的数据，得到执行命令，输出至自动控制模块，自动控制模块执行养殖场环境控制。

所述的GPU服务器组模块进行异常气体识别和猪的异常体征行为识别。

所述的核心控制板模块输出端还设有与GPU服务器组连接的反馈机制。

所述的传感器模块包括温湿度传感器和有毒气体传感器。

自动控制模块包括空调控制器、换气控制器、放水控制器和投食控制器。

一种采用所述的一种基于视频识别的智能养殖控制系统的方法，该方法包括以下步骤：

S1、GPU服务器组模块完成视频训练，获得训练好的特征参数；

S2、利用每个房间的摄像头模块，每隔一段固定时间，获取视频数据，并将视频数据传输到GPU服务器组模块，GPU服务器组模块对每个房间的视频数据进行分类、特征提取和识别处理；

S3、GPU服务器组模块汇合步骤S2中特征提取和识别处理后的数据和步骤S1中训练好的特征参数，得出异常数据，转化为指令数据输出至报警模块和核心控制板模块；

S4、若指令数据为牲畜行为异常指令数据，则报警模块发出报警信号，结束程序；若指令数据为环境异常指令数据，则进行步骤S5；

S5、传感器模块获得环境数据并输入至核心控制板模块；

S6、核心控制板模块将步骤S4中的指令数据与步骤S5中传感器模块输入的环境数据进行对比后，获得控制命令，由自动控制模块执行控制命令；

S7、自动控制模块执行控制命令后，核心控制板模块再次获取传感器模块的环境数据并与设定的环境参数进行比对，若未达到则继续调节，若已达到，则结束程序-。

步骤S2中的对视频的识别处理包括养殖场的房间环境识别和牲畜的行为状况识别。

步骤S7中核心控制板模块将传感器数据与设定的环境参数的比对结果反馈至GPU服务器组模块。

步骤S5中的传感器模块获得环境的温湿度数据和有毒气体数据，步骤S6中的自动控制模块进行温度控制、换气控制、水量控制和食量控制。

步骤S1中，GPU服务器进行视频训练，训练所需图像获得方法为，采用摄像头模块获得养殖场内正常牲畜和异常牲畜的拍摄视频以及养殖房间内正常时的环境视频。

与现有技术相比，本发明具有以下优点：

1)本发明一种基于视频识别的智能养殖场控制系统和数据分析方法，算法本身具有创新性，将比较新颖的智能化算法用到了传统的养猪场控制领域，通过视频采集、机器学习的行为环境识别和自反馈智能控制方法，使得养猪场更加的科学化和现代化，大大的减少了人力和资金的投入，增大了养殖利润，提高了猪肉的安全品质。

2)本发明采用的视频识别方式包括异常气体识别和猪的异常体征行为识别方式，主要通过高清晰摄像头的视频拍摄和基于GPU服务器组的深度学习算法进行训练和特征理解识别来实现。

3)本发明采用的数据分析算法是一种基于视频数据分析的算法，在被处理后的特征信息中提取与训练参数不同的特征数据进行识别，与训练后的视频标签进行比对分析出异常视频图像的原因并针对环境的变化进行实时的预警和调节控制。

4)本发明采用了高清晰摄像头和STM32核心控制板，高清晰摄像头用来提高视频的真实度和分析结果的准确度，STM32核心控制板主要通过它的高频响应速度来达到对数据分析送达的信息进行实时快速的调节和控制，同时降低工业控制成本。

附图说明

图1为本发明基于视频识别的智能养殖场控制系统及方法的结构框图；

图2为本发明气体识别算法流程图；

图3为本发明动作识别的原理框图；

图1中：

1.高清晰摄像头模块、2.GPU服务器组模块、3.行为数据库模块、4.报警模块、5.核心控制板模块、6.传感器模块、601.温湿度传感器、602.有毒气体传感器、7.显示模块、8.自动控制模块、801.空调控制器、802.换气控制器、803.放水控制器、804.投食控制器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

基于视频识别的智能养殖控制系统主要实现养殖场的房间环境控制和猪的行为状况控制，核心部件为GPU服务器组模块2和STM32核心控制板模块，GPU服务器组模块2视频识别出养殖房间环境异常和猪的异常后会自动进行异常数据分析并发送到STM32进行智能控制决策，然后通过各种传感器的数据采集输入和各种控制器的数据输出进行调控，同时还会不断地将控制后的数据发回到数据中心构成闭环控制回路。

基于视频识别的智能养殖控制系统，如图1，包括：高清晰摄像头模块1、GPU服务器组模块2、行为数据库模块3、报警模块4、核心控制板模块5、传感器模块6、显示模块7、自动控制模块8、有线网络通讯模块，并且GPU服务器组模块2分别与高清晰摄像头模块1、行为数据库模块3、报警模块4和核心控制板相连接；核心控制板分别与传感器模块6、显示模块7、自动控制模块8相连接。

优选的，在上述的基于视频识别的智能养殖场控制系统中，高清晰摄像头模块1是指HD超过720P的摄像头。

优选的，在上述的基于视频识别的智能养殖场控制系统中，GPU服务器组模块2还包括：不同组态的高速处理器，并行架构，与高清晰摄像头模块1、行为数据库相连接。

优选的，在上述的基于视频识别的智能养殖场控制系统中，行为数据库模块3主要包括猪的生活习性和养殖房间的环境状况数据的存储，与GPU服务器组和数据分析模块相连接。

优选的，在上述的基于视频识别的智能养殖场控制系统中，报警模块4主要是对视频识别分析后养殖场里的异常行为进行预警的软件警告模块。

优选的，在上述的基于视频识别的智能养殖场控制系统中，核心控制板模块5为STM32控制器，显示模块7为LCD显示设备。

优选的，在上述的基于视频识别的智能养殖场控制系统中，自动控制模块8还包括：空调控制器801、换气控制器802、放水控制器803和投食控制器804并与STM32核心控制器相连接。

优选的，在上述的基于视频识别的智能养殖场控制系统中，通讯模块采用有线并行传输协议，主要每个养殖房间的摄像头和STM32核心控制板通过有线传输与GPU服务器组模块2相连接。

基于视频识别的智能养殖场控制系统及数据分析方法，包括如下步骤：

步骤一，首先布置GPU服务器机组达到深度学习的计算速度，深度学习模型建立的前提是必须要有海量的视频图像数据池导入到GPU服务器上的已经搭建好的深度学习平台上完成上万参数的图像DNN算法训练，而海量的视频数据就需要人为选择性的获得养殖场内的正常猪和异常猪的拍摄视频以及养殖房间内的正常时的环境视频，如果完成了该步骤中的视频参数的训练则可以执行步骤二；

步骤二，GPU服务器机主要采用HPC架构，多GPU服务器间采用Infiniband连接和MPI通信，基于多GPU实现数据并行和模型并行对CNN算法的加速，每隔半个小时通过有线通信传输方式将每个房间高清晰摄像头拍摄到的视频并行传输到服务器组态，对每个房间的视频数据按房间进行快速归类，以房间名和传输时间对视频命名，然后利用已经组装成功的GPU服务器分别对视频进行特征提取和识别处理；

步骤三，当完成步骤二中的视频特征提取和识别后，将会和已经训练好的特征参数进行比对，选择出与训练视频提取出的特征参数相同的房间，即异常房间，和有异常生活行为状况的猪，及时做出预警反应，同时会将这些异常数据进行数据分析，转化为计算机指令数据发送到所对应的养殖房间的STM32的核心控制板上，并与传感器模块6采集到的数据机型对比，然后控制和调节空调控制器、换气控制器、放水控制器和投食控制器；

步骤四，当各种调节控制器动作后，会继续将温湿度传感器601、有毒气体传感器602采集到的数据与环境参数设定值去比对，直到调节到需要的环境，然后STM32的核心控制板将信息反馈到视频识别中心，对之前得到的异常状态房间标签进行校验，并根据比对后的情况去调节预警信息；

步骤五，在对环境做出异常处理后，还会对猪本身异常行为做出识别和判断，这时一方面会发出数据分析的有效数据去控制自动放水和投料的速度和量，节省水和食料，另一方面也会将异常猪只反映给饲养员进行诊断和救治，同时在异常情况解除后通过视频识别仍然将预警解除，也构成了闭环的控制系统；

优选的，在上述的基于视频识别的智能养殖场控制系统和数据分析方法中，在步骤一至五中，视频识别和STM32核心控制板为整个核心部分，通过视频识别出养殖房间和猪的异常后会自动进行异常数据分析并发送到STM32进行智能控制决策，然后通过各种传感器的数据采集输入和各种控制器的数据输出进行调控，同时还会不断地将控制后的数据发回到数据中心构成闭环控制回路。

优选的，在上述的基于视频识别的智能养殖场控制系统和数据分析方法中，步骤一中的视频识别主要包括两部分算法：一部分为养殖场的房间环境识别，主要采用了深度学习的气体异常识别算法；一部分为猪的行为状况识别，主要采用了深度学习的行为识别算法。

(1)深度学习的气体异常识别算法，如图2，主要是通过对有微小变化的气体进行提取和辨别，主要是在提取特征的同时完成非线性的降维，然后通过化学传感器和模式识别，单独的气体样本有它的特殊的特征形式，和正常的空气特征值在颜色和清晰度上有所不同，从样本中学习到特征后，还需要使用SVM分类器进行分类，一般会加在深度网络的最后一层，提高分类的效率。分类完成后加入标签训练分类层，并且微调各层参数，当满足参数与样本训练的参数相同则结束，否则输出类别并进行前馈计算继续训练网络，通过这种方式训练后，当有毒气体浓度升高后，气体就会发生微小的特征变化，进而将被作为特殊特征被提取出来与已经训练好的做比对。

(2)深度学习的行为识别算法，如图3，主要是对猪行为识别模型的建立，识别的工作主要包括两个过程：特征表征和动作的识别及理解。特征的表征是在拍摄的高清视频数据中提取能够表征这段视频中猪的正常行为信息的特征，这个过程在整个识别过程起了关键的作用，所提取的特征必须是有明显的区分猪的正常和非正常，当猪常在卧不起或者长时间不吃的行为都必须被作为特征信息被提取出；动作的识别和理解主要是对前期深度学习训练时的过程，要将表征的特征量作为输入经过机器学习算法进行学习，并将猪日常生活的习性特征输入到已经训练好的模型进一步理解。

模式识别的过程中常采用的识别算法是支持向量机分类识别，为了验证识别模型建立的准确性，在行为识别模型建立之后需要使用其他养猪基地提供的认可的科学的视频数据进行模型输入验证，包括猪的各种姿态和生活习性的特征的视频。

优选的，在上述的基于视频识别的智能养殖场控制系统和数据分析方法中，步骤二中对视频进行分类后在对视频保存时由于清晰视频的容量较大需要对视频进行压缩，在保证维持一定质量的前提下最大化的进行视频压缩，这里采用熵编码等手段消除信号冗余，通过变换量化的有损压缩以及色彩空间变换等消除部分感知冗余，这样可以最大程度的增大压缩比。

优选的，在上述的基于视频识别的智能养殖场控制系统和数据分析方法中，步骤四中采用的空调控制器、换气控制器、放水和投料控制器均采用PID控制算法进行智能控制，主要通过调节积分系数和比例系数，作为中间控制器来连续性的控制空调机等设备工作的微调控。

优选的，在上述的基于视频识别的智能养殖场控制系统和数据分析方法中，步骤四中温湿度传感器601、有毒气体传感器602会将采集到的数据显示到LCD显示器上在仪器发生故障时可以人工通过这个数据进行手动调节控制器进行环境状况的改变，弥补智能化控制所具有的缺陷。

本实施例中，传感器模块6包括：温湿度传感器601和有毒气体传感器602，都与核心控制板5相连接。

本实施例中，GPU服务器组模块2分别与行为数据库模块3、高清晰摄像头1的待测视频和核心控制板模块5连接。

本实施例中，自动控制模块8还包括：空调控制器801、换气控制器802、放水控制器803和投食控制器804，都与核心控制板模块5相连接。

本实施例中，GPU服务器组模块2还包括：编码层模块2011和解码层模块2012，分别于归一化后的视频数据和数据分析模块相连接。

本实施例中，视频分析模块还包括：Softmax多分类算法2021和视频标签2022。

本实施例中，核心板为STM32核心控制板，显示模块7为LCD显示设备，报警模块4为屏幕显示报警。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于视频识别的智能养殖控制系统，其特征在于，该系统包括摄像头模块、行为数据库模块、GPU服务器组模块、报警模块、核心控制板模块、传感器模块、自动控制模块，所述的GPU服务器组模块输入端分别连接摄像头模块、行为数据库模块，输出端分别连接核心控制板输入端和报警模块；核心控制板输入端还连接传感器模块，输出端分别连接自动控制模块和GPU服务器组模块输入端；

利用行为数据库模块对GPU服务器组模块进行训练，所述的摄像头模块采集视频数据并输入训练好的GPU服务器组模块，GPU服务器组模块对视频数据进行分类，识别处理和特征提取，并转化为计算机指令数据，输出至报警模块和核心控制板模块，报警模块通知饲养员牲畜异常情况，核心控制板模块则根据指令数据和传感器模块输入的数据，得到执行命令，输出至自动控制模块，自动控制模块执行养殖场环境控制。

2.根据权利要求1所述的一种基于视频识别的智能养殖控制系统，其特征在于，所述的GPU服务器组模块进行异常气体识别和牲畜的异常体征行为识别。

3.根据权利要求1所述的一种基于视频识别的智能养殖控制系统，其特征在于，所述的核心控制板模块输出端还设有与GPU服务器组连接的反馈机制。

4.根据权利要求1所述的一种基于视频识别的智能养殖控制系统，其特征在于，所述的传感器模块包括温湿度传感器和有毒气体传感器。

5.根据权利要求1所述的一种基于视频识别的智能养殖控制系统，其特征在于，自动控制模块包括空调控制器、换气控制器、放水控制器和投食控制器。

6.一种采用权利要求1所述的一种基于视频识别的智能养殖控制系统的方法，其特征在于，该方法包括以下步骤：

S1、GPU服务器组模块完成视频训练，获得训练好的特征参数；

S2、利用每个房间的摄像头模块，每隔一段固定时间，获取视频数据，并将视频数据传输到GPU服务器组模块，GPU服务器组模块对每个房间的视频数据进行分类、特征提取和识别处理；

S3、GPU服务器组模块汇合步骤S2中特征提取和识别处理后的数据和步骤S1中训练好的特征参数，得出异常数据，转化为指令数据输出至报警模块和核心控制板模块；

S4、若指令数据为牲畜行为异常指令数据，则报警模块发出报警信号，结束程序；若指令数据为环境异常指令数据，则进行步骤S5；

S5、传感器模块获得环境数据并输入至核心控制板模块；

S6、核心控制板模块将步骤S4中的指令数据与步骤S5中传感器模块输入的环境数据进行对比后，获得控制命令，由自动控制模块执行控制命令；

S7、自动控制模块执行控制命令后，核心控制板模块再次获取传感器模块的环境数据并与设定的环境参数进行比对，若未达到则继续调节，若已达到，则结束程序。

7.根据权利要求6所述的一种采用权利要求1所述的一种基于视频识别的智能养殖控制系统的方法，其特征在于，步骤S2中的对视频的识别处理包括养殖场的房间环境识别和牲畜的行为状况识别。

8.根据权利要求6所述的一种采用权利要求1所述的一种基于视频识别的智能养殖控制系统的方法，其特征在于，步骤S7中核心控制板模块将传感器数据与设定的环境参数的比对结果反馈至GPU服务器组模块。

9.根据权利要求6所述的一种采用权利要求1所述的一种基于视频识别的智能养殖控制系统的方法，其特征在于，步骤S5中的传感器模块获得环境的温湿度数据和有毒气体数据，步骤S6中的自动控制模块进行温度控制、换气控制、水量控制和食量控制。

10.根据权利要求6所述的一种采用权利要求1所述的一种基于视频识别的智能养殖控制系统的方法，其特征在于，步骤S1中，GPU服务器进行视频训练，训练所需图像获得方法为，采用摄像头模块获得养殖场内正常牲畜和异常牲畜的拍摄视频以及养殖房间内正常时的环境视频。