CN103248703A - 生猪行为自动监测系统及方法 - Google Patents

Abstract

本发明公开了一种生猪行为自动监测系统及方法。所述系统包括多模态信息采集模块、多模态信息融合模块和行为识别模块：多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过传感器采集生猪个体的时序运动信息，然后将采集的多模态信息发送给多模态信息融合模块；多模态信息融合模块将视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后进行特征抽取，将每个生猪个体的多模态特征发送给行为识别模块；行为识别模块识别出每个生猪个体的静态行为或动态行为。本发明的技术方案充分利用了视频技术在宏观视觉表现的直观性及传感器技术在微观参数获取方面的灵敏性，实现了生猪行为监测的精准化和自动化。

Description

生猪行为自动监测系统及方法

技术领域

本发明涉及动物行为监测技术领域，特别涉及一种融合视频与传感器信息的生猪行为自动监测系统及方法。

背景技术

我国是世界上最大的猪肉生产国和消费国，猪肉作为人们日常生活必不可少的消费品和营养品，其产量和质量与人民的健康生活息息相关。虽然我国已基本形成高密度、集中化的养猪体系，但是仍然存在着猪肉质量不高、出栏率低、生产效率低、养猪成本居高不下等诸多问题。其主要原因在于生猪养殖过分依赖劳动密集型的粗放型经营，生产过程自动化水平低，各生产环节中处置的精准性、针对性明显不足，不能有效地察觉猪在成长过程中的生理、心理需求和变化，导致猪福利下降、猪肉营养价值不高、养殖资源大量浪费等问题。

因此，在养猪生产活动中，高效、主动的监控生猪的各种行为，主动地维护生猪的正常行为，及时准确地诊断异常行为，对于提高商品猪的养殖生产效率、维护猪的福利、提高猪肉的营养水平都有十分重要的经济意义，这也是当前精准养殖所研究的主要方向。当前，我国主要采用传统的人工观察方法对猪的行为进行观察判断，不仅费时费力、效率不高，而且由于人的时间精力限制，很容易忽视养殖过程中的一些异常的行为表现，从而造成严重的经济损失。

发明内容

（一）所要解决的技术问题

本发明的目的在于提供一种融合视频与传感器信息的生猪行为自动监测系统及方法，以解决现有生猪养殖方法中存在的人工监测费时费力、效率不高，且无法科学、准确、全面地监测生猪行为的问题。

（二）技术方案

为了解决上述技术问题，本发明提出了一种生猪行为自动监测系统，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中：

所述多模态信息采集模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，还包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；

所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

可选的，所述多模态信息采集模块包括视频信息采集子模块、传感器信息采集子模块和数据传输子模块，其中：

所述视频信息采集子模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，并将采集的视频信息传送给所述数据传输子模块；

所述传感器信息采集子模块包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，并将采集的时序运动信息传送给所述数据传输子模块；

所述数据传输子模块用于通过有线或无线的方式将接收到的多模态信息发送给所述多模态信息融合模块。

可选的，所述多模态信息融合模块包括对齐同步子模块和特征抽取子模块，其中：

所述对齐同步子模块用于接收来自所述多模态信息采集模块的多模态信息，将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，并将每个生猪个体的多模态信息传送给所述特征抽取子模块；

所述特征抽取子模块用于对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块。

可选的，所述特征抽取子模块用于从每个生猪个体的视频信息中提取生猪个体的形状特征和关键语义场景的语义特征，并从每个生猪个体的时序运动信息中提取时域特征和频域特征，然后将得到的每个生猪个体的多模态特征发送给所述行为识别模块，所述多模态特征包括生猪个体的形状特征、语义特征、时域特征和频域特征。

可选的，所述行为识别模块包括行为分类子模块、静态行为识别子模块和动态行为识别子模块，其中：

所述行为分类子模块用于接收每个生猪个体的多模态特征，并根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

所述静态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为；

所述动态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的动态行为。

基于所述的生猪行为自动监测系统，本发明同时提出了一种生猪行为自动监测方法，所述方法包括以下步骤：

S1、所述多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，然后通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

S2、所述多模态信息融合模块将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

S3、所述行为识别模块根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

可选的，步骤S2中，将所述多模态信息中的视频信息与时序运动信息进行对齐同步具体包括：

S201、采用目标跟踪算法从摄像机采集的视频信息中获取每个生猪个体的时序运动信息；

S202、分别对步骤S201得到的时序运动信息及微型传感器采集的时序运动信息进行采样和归一化处理；

S203、采用动态规划算法将步骤S201得到的时序运动信息与微型传感器采集的时序运动信息进行对齐同步，并采用欧式距离度量两条时序运动信息的相似度，当欧式距离小于预设的阈值时，判定两条时序运动信息对应于同一个生猪个体。

可选的，步骤S3具体包括：

S301、所述行为分类子模块接收到每个生猪个体的多模态特征后，根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

S302、所述静态行为识别子模块或所述动态行为识别子模块根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为或动态行为。

可选的，步骤S301具体包括：

所述行为分类子模块根据生猪个体的时域特征，采用无监督的K均值聚类算法对时域特征进行分类，K=2，并将得到的两类中心的均值作为分类阈值，大于所述分类阈值的判定为动态行为，小于所述分类阈值的判定为静态行为。

可选的，步骤S302具体包括：

所述静态行为识别子模块采用SVM统计模块为生猪的静态行为建模，并通过生猪个体的形状特征，识别出生猪个体的静态行为；

所述动态行为识别子模块采用隐马尔科夫模块为生猪的动态行为建模，并通过生猪个体的语义特征、时域特征和频域特征，识别出生猪个体的动态行为。

（三）有益效果

与现有技术相比，本发明提出的技术方案具有如下优点：

1、针对生猪个体行为的复杂性，单从传感器信息中无法识别生猪个体的行为，而单独的视频信息亦无法判断生猪个体的身份。本发明提出的技术方案通过对视频信息和传感器信息的融合分析，实现了对视频中的生猪个体的身份识别，从而能更有效地利用视频信息的宏观感知性和传感器信息的微观灵敏性对生猪个体的行为进行自动监测。

2、针对微型传感器对行为捕捉的灵敏性，本发明提出的技术方案利用传感器信息中抽取的时域特征实现了对生猪个体的动态、静态行为的分类。

3、针对生猪静态行为的外形轮廓不同，本发明提出的技术方案利用视频信息中抽取的形状特征识别生猪个体的静态行为。

4、针对生猪动态行为的复杂性，仅凭视频信息或传感器信息很难进行识别判断。本发明提出的技术方案通过融合视频信息和传感器信息中抽取的多模态特征，能够对动态行为进行更为准确的识别、监测。

附图说明

图1是本发明提出的生猪行为自动监测系统的一种具体实施方式的结构框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提出了一种生猪行为自动监测系统，如图1所示，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中：

所述多模态信息采集模块用于通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；

所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

下面结合图1，对三个模块的具体实施方式分别进行说明。

多模态信息采集模块，用于通过摄像机定时采集生猪养殖的视频信息，及通过传感器获取生猪的运动相关信息。多模态信息采集模块包括视频信息采集子模块、传感器信息采集子模块和数据传输子模块，其中：

视频信息采集子模块，可以包括一个或多个双目红外彩色摄像机，安装在养殖环境的正上方，用于采集生猪养殖活动的彩色及红外视频，并将采集的视频信息传送给数据传输子模块；

传感器信息采集子模块，包括多个微型传感器，将微型传感器佩戴在生猪个体上，用于采集生猪个体的时序运动信息，如加速度、运动方向等运动信息；

数据传输子模块，用于通过有线或无线的方式将采集得到的生猪养殖视频、生猪个体运动的加速度、运动方向等多模态信息发送给多模态信息融合模块。

多模态信息融合模块，用于对采集得到的多模态信息进行对齐同步及特征抽取。多模态信息融合模块包括对齐同步子模块和特征抽取子模块，其中：

对齐同步子模块，用于将养殖视频中的每个生猪个体与传感器获取的时序运动信息进行关联匹配，实现养殖视频中的每个生猪个体的身份识别，获取每个生猪个体的多模态信息。该子模块提供一种视频与传感器信息的对齐同步方法，包括以下步骤：首先，采用视频分析中的目标跟踪算法获取养殖视频中的每个跟踪目标（即生猪个体）的运动信息，包括时序的加速度值及运动方向；其次，对视频分析获取的时序运动信息及微传感器获取的加速度、方向等时序运动信息进行采样和归一化处理；最后，采用动态规划算法将视频分析获取的时序运动信息与微传感器获取的时序运动信息进行对齐同步，并采用欧式距离度量两条时序信息的相似度，即

$D(V,S)=\underset{\mathrm{\τ}=\mathrm{1,2},...,t}{\mathrm{\Σ}}{(v_{\mathrm{\τ}}-s_{\mathrm{\τ}})}^2,$ V＝{v₁,v₂,...,v_t},S＝{s₁,s₂,...,s_t}

其中，V表示一条由视频分析获取的时序运动信息，S表示一条由微传感器获取的时序运动信息，v_τ和s_τ（τ=1,2,…,t）为时序运动信息上归一化后的采样点，即为生猪个体运动的某个时间点的加速度值或者运动方向。D(V,S)取值越小，表示两条时序运动信息的相似度越高，当D(V,S)取值小于预设阈值时，则说明两条时序运动信息表示的是同一生猪个体的运动信息，从而得到每个生猪个体对应的视频信息和传感器信息。

特征抽取子模块，用于抽取行为分析识别所需的多模态特征，包括从视频中提取生猪个体轮廓的形状特征，及视频中的一些关键语义场景，如食盆、饮水器、排泄区、围栏等中级语义特征，同时从微传感器的信息中抽取时域信号的幅值、方差等时域特征，及通过小波变换抽取小波系数等频域特征。即，这里的多模态特征包括生猪个体的形状特征、语义特征、时域特征和频域特征。

行为识别模块，用于监测、识别生猪的各种日常的静态及动态行为。行为识别模块包括行为分类子模块、静态行为识别子模块和动态行为识别子模块，其中：

行为分类子模块，用于接收每个生猪个体的多模态特征，并判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给动态行为识别子模块。该子模块依据特征抽取子模块中获取的传感器信号中的幅值、方差等时域特征，采用无监督的K（K=2）均值聚类算法对这些时域特征进行分类，以两类中心的均值作为划分静态和动态行为的阈值，大于阈值的归类为动态行为，小于阈值的归类为静态行为。

静态行为识别子模块，用于识别生猪个体的各种静态行为，包括侧卧、躺卧、坐立、站立等静态行为。针对静态行为中生猪个体的外观轮廓的形状不同，采用SVM统计模型为静态行为建模，通过特征抽取子模块中获取的视频信息中的形状特征识别各类静态行为。

动态行为识别子模块，用于识别生猪个体的各种动态行为，包括采食、饮水、排泄、行走、探究等动态行为。该子模块提供了一种基于统计的动态行为识别方法，针对动态行为的时序性，采用隐马尔科夫模型为动态行为建模，选取特征抽取子模块中由视频信息获取的中级语义特征及微传感器获取的时、频域特征为模型输入，通过训练数据获得最佳的隐马尔科夫模型参数，最终通过该模型识别各类动态行为。

基于所述的生猪行为自动监测系统，本发明同时提出了一种生猪行为自动监测方法，所述方法包括以下步骤：

S1、所述多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，然后通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块；

S2、所述多模态信息融合模块将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

S3、所述行为识别模块根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

优选的，步骤S2中，将所述多模态信息中的视频信息与时序运动信息进行对齐同步具体包括：

S201、采用目标跟踪算法从摄像机采集的视频信息中获取每个生猪个体的时序运动信息；

S202、分别对步骤S201得到的时序运动信息及微型传感器采集的时序运动信息进行采样和归一化处理；

S203、采用动态规划算法将步骤S201得到的时序运动信息与微型传感器采集的时序运动信息进行对齐同步，并采用欧式距离度量两条时序运动信息的相似度，当欧式距离小于预设的阈值时，判定两条时序运动信息对应于同一个生猪个体。

优选的，步骤S3具体包括：

S301、所述行为分类子模块接收到每个生猪个体的多模态特征后，根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

S302、所述静态行为识别子模块或所述动态行为识别子模块根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为或动态行为。

优选的，步骤S301具体包括：

所述行为分类子模块根据生猪个体的时域特征，采用无监督的K均值聚类算法对时域特征进行分类，K=2，并将得到的两类中心的均值作为分类阈值，大于所述分类阈值的判定为动态行为，小于所述分类阈值的判定为静态行为。

优选的，步骤S302具体包括：

所述静态行为识别子模块采用SVM统计模块为生猪的静态行为建模，并通过生猪个体的形状特征，识别出生猪个体的静态行为；

所述动态行为识别子模块采用隐马尔科夫模块为生猪的动态行为建模，并通过生猪个体的语义特征、时域特征和频域特征，识别出生猪个体的动态行为。

下面通过举例对所述系统及方法的总体工作流程进行描述。

在猪舍正上方安装双目红外彩色摄像装置，使摄像区域内完全覆盖生猪活动范围，并为猪舍中的每头生猪身上安装微型传感器，传感器可包括加速度传感器、地磁传感器等，这些传感器可以以项圈的形式戴在猪颈上。每天定时打开、关闭摄像装置，例如，从早上8点打开到晚上8点关闭，采集该时段内的猪舍内的监控视频信息，以及生猪个体的传感器信息，并每隔固定时间间隔（如1个小时）将上述采集得到的多模态信息通过有线或无线传输装置传送给多模态信息融合模块，用于做进一步的分析处理。

多模态信息融合模块对于每隔固定时间间隔传送过来的视频信息及传感器的时序运动信息，首先，通过对齐同步子模块对视频与传感器信息进行对齐融合，实现对生猪个体在视频中的身份识别，具体为：1）基于粒子滤波算法在视频图像中跟踪猪舍中的每个生猪个体（即跟踪目标），获取视频中的各跟踪目标的时序运动信息，包括时序的速度值、加速度值及运动方向值；2）对上一步骤中通过目标跟踪获取的视频中各跟踪目标的运动信息及通过加速度传感器获取的各生猪个体的加速度信息、地磁传感器获取的方向信息等时序运动信息进行采样和归一化处理，采样间隔可选1秒、2秒；3）采用动态规划算法将视频分析获取的多个跟踪目标的运动信息与传感器获取的多个生猪个体的运动信息进行对齐同步，实现对同一生猪个体所对应的两类信息的一一映射，对齐过程中采用欧式距离度量两条时序信息的相似度，即

$D(V,S)=\underset{\mathrm{\τ}=\mathrm{1,2},...,t}{\mathrm{\Σ}}{(v_{\mathrm{\τ}}-s_{\mathrm{\τ}})}^2,$ V＝{v₁,v₂,...,v_t},S＝{s₁,s₂,...,s_t}

其中，V表示一条由视频分析获取的时序运动信息，S表示一条由微传感器获取的时序运动信息，v_τ和s_τ（τ=1,2,…,t）为时序运动信息上归一化后的采样点，即为生猪个体运动的某个时间点的加速度值或者运动方向。D(V,S)取值越小，表示两条时序运动信息的相似度越高，当D(V,S)取值小于预设阈值时，则说明两条时序运动信息表示的是同一生猪个体的运动信息，通过对齐同步实现对视频中的每个跟踪目标的身份识别。在得到每个生猪个体对应的视频及传感器信息之后，通过特征抽取子模块抽取每个生猪个体的多模态特征，包括从视频中提取生猪个体轮廓的形状特征，及视频中的一些关键语义场景，如食盆、饮水器、排泄区、围栏等中级语义特征，从传感器采集的信息中抽取时域信号的幅值、方差等时域特征，及通过小波变换抽取小波系数等频域特征，抽取后的特征输入行为识别模块用于行为的识别分析。

行为识别模块首先将生猪个体的行为初步划分为静态和动态两大类行为，主要依据获取的传感器信号中的幅值、方差等时域特征进行分类。具体为：采用无监督的K（K=2）均值聚类算法对幅值、方差等时域特征进行分类，以两类中心的均值作为划分静态和动态行为的阈值，大于阈值的归类为动态行为，小于阈值的归类为静态行为。对于静态行为，如侧卧、躺卧、坐立、站立等，其表现为生猪个体的外观轮廓不同，因而采用SVM统计模型为静态行为建模，通过特征抽取获取的视频信息中的形状特征识别各类静态行为。对于动态行为，如采食、饮水、排泄、行走、探究等，其既有宏观表现的不同，也有微观运动的差异，并且具有一定的时序变化特性，因而采用隐马尔科夫模型为动态行为建模，选取特征抽取中由视频信息获取的中级语义特征及传感器获取的时、频域特征作为模型输入，通过训练数据获得最佳的隐马尔科夫模型参数，最终通过该模型识别各类动态行为。

本发明提出的技术方案通过将先进的视频图像处理技术和无线传感器信息获取技术融合并应用于生猪养殖领域，充分挖掘视频处理技术在宏观视觉表现的直观性及传感器技术在微观参数获取方面的灵敏性优势，高效地监测生猪在养殖过程中的行为变化，实现对生猪行为的智能化、自动化的理解分析，为养殖过程中的决策支持提供辅助的科学指导，及时地满足生猪的生理、心理需求，改善生猪养殖的福利水平，提高养殖生产的效率及精准化、自动化水平。

以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种生猪行为自动监测系统，其特征在于，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中：

所述多模态信息采集模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，还包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；

所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

2.根据权利要求1所述的生猪行为自动监测系统，其特征在于，所述多模态信息采集模块包括视频信息采集子模块、传感器信息采集子模块和数据传输子模块，其中：

所述视频信息采集子模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，并将采集的视频信息传送给所述数据传输子模块；

所述传感器信息采集子模块包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，并将采集的时序运动信息传送给所述数据传输子模块；

所述数据传输子模块用于通过有线或无线的方式将接收到的多模态信息发送给所述多模态信息融合模块。

3.根据权利要求1或2所述的生猪行为自动监测系统，其特征在于，所述多模态信息融合模块包括对齐同步子模块和特征抽取子模块，其中：

所述对齐同步子模块用于接收来自所述多模态信息采集模块的多模态信息，将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，并将每个生猪个体的多模态信息传送给所述特征抽取子模块；

所述特征抽取子模块用于对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块。

4.根据权利要求3所述的生猪行为自动监测系统，其特征在于，所述特征抽取子模块用于从每个生猪个体的视频信息中提取生猪个体的形状特征和关键语义场景的语义特征，并从每个生猪个体的时序运动信息中提取时域特征和频域特征，然后将得到的每个生猪个体的多模态特征发送给所述行为识别模块，所述多模态特征包括生猪个体的形状特征、语义特征、时域特征和频域特征。

5.根据权利要求4所述的生猪行为自动监测系统，其特征在于，所述行为识别模块包括行为分类子模块、静态行为识别子模块和动态行为识别子模块，其中：

所述行为分类子模块用于接收每个生猪个体的多模态特征，并根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

所述静态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为；

所述动态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的动态行为。

6.一种应用如权利要求1-5中任一项所述的生猪行为自动监测系统的生猪行为自动监测方法，其特征在于，所述方法包括以下步骤：

S1、所述多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，然后通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

S2、所述多模态信息融合模块将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

S3、所述行为识别模块根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

7.根据权利要求6所述的生猪行为自动监测方法，其特征在于，步骤S2中，将所述多模态信息中的视频信息与时序运动信息进行对齐同步具体包括：

S201、采用目标跟踪算法从摄像机采集的视频信息中获取每个生猪个体的时序运动信息；

S202、分别对步骤S201得到的时序运动信息及微型传感器采集的时序运动信息进行采样和归一化处理；

S203、采用动态规划算法将步骤S201得到的时序运动信息与微型传感器采集的时序运动信息进行对齐同步，并采用欧式距离度量两条时序运动信息的相似度，当欧式距离小于预设的阈值时，判定两条时序运动信息对应于同一个生猪个体。

8.根据权利要求6所述的生猪行为自动监测方法，其特征在于，步骤S3具体包括：

S301、所述行为分类子模块接收到每个生猪个体的多模态特征后，根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

S302、所述静态行为识别子模块或所述动态行为识别子模块根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为或动态行为。

9.根据权利要求8所述的生猪行为自动监测方法，其特征在于，步骤S301具体包括：

所述行为分类子模块根据生猪个体的时域特征，采用无监督的K均值聚类算法对时域特征进行分类，K=2，并将得到的两类中心的均值作为分类阈值，大于所述分类阈值的判定为动态行为，小于所述分类阈值的判定为静态行为。

10.根据权利要求8所述的生猪行为自动监测方法，其特征在于，步骤S302具体包括：

所述静态行为识别子模块采用SVM统计模块为生猪的静态行为建模，并通过生猪个体的形状特征，识别出生猪个体的静态行为；

所述动态行为识别子模块采用隐马尔科夫模块为生猪的动态行为建模，并通过生猪个体的语义特征、时域特征和频域特征，识别出生猪个体的动态行为。

Images