CN110197130A - 一种生猪步态异常检测设备及系统 - Google Patents

Abstract

本发明公开了一种生猪步态异常检测设备及系统，设备包括：控制器以及深度摄像机；深度摄像机，用于采集包含生猪目标的深度图像序列并发送给控制器；控制器，能实现如下步骤：获取由深度摄像机采集到的包含生猪目标的深度图像序列；对深度图像序列分别进行图像分割以提取生猪目标，获得生猪目标图像序列；根据生猪目标图像序列获得全周期的步态能量图；将全周期的步态能量图叠加密度最高的部分分割出来得到主干图；根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量；以及计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断生猪目标是否出现步态异常。

Description

一种生猪步态异常检测设备及系统

技术领域

本发明涉及电子技术领域，尤其涉及一种生猪步态异常检测设备及系统。

背景技术

生猪养殖业，是我国农业中最为重要的畜牧养殖产业，猪产品及其相关行业衍生产品已成为养殖经济产业链中至关重要的一环。养殖过程中，生猪的各项生理状况与疾病预防逐渐得到更多的关注。其中，口蹄疫具有传播速度快、感染性强、传播途径广泛的特点，是畜牧类疾病预防与控制中的关键点。生猪作为易感染动物，感染口蹄疫后临床表现为肢蹄疼痛、行走时呈跛行、站立不稳和行走困难，如不及时发现并进行治疗，则有可能造成病情加重甚至生猪死亡，给养殖场造成严重的经济损失。

现有技术中，主要是通过人工观察的方法来确定生猪是否感染了口蹄疫，但人工评估标准有别，人工成本及时间成本较高，评估准确率难以保证，存在着漏检误检的风险。

发明内容

针对上述问题，本发明实施例的目的在于提供一种生猪步态异常检测设备及系统，通过对生猪的步态进行识别，能及时、准确地判断生猪是否感染了口蹄疫，从而及时发现疫情以及时进行治疗。

本发明实施例提供了一种生猪步态异常检测设备，适于设置于猪圈的转栏走道的两端内侧处，包括：控制器以及深度摄像机；其中：

所述深度摄像机与所述控制器通过USB接口连接，用于将采集的包含生猪目标的深度图像序列发送给所述控制器；

所述控制器，包括存储器以及处理器，所述存储器内存储有可执行代码，所述可执行代码能够被所述处理器执行以实现如下步骤：

获取由所述深度摄像机采集到的包含生猪目标的深度图像序列；

对所述深度图像序列进行图像分割以分别提取生猪目标，从而获得生猪目标图像序列；

根据所述生猪目标图像序列获取得到全周期的步态能量图；

将全周期的步态能量图叠加密度最高的部分分割出来，得到主干图；

根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量；以及

计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常；其中，所述主流步态特征向量通过对不同生猪对象的步态特征向量进行聚类获得。

优选地，所述步骤还包括：

利用形态学算子去除提取出的生猪目标图像序列中包含的噪声和小空洞，进而以质心为中心，进行图像的尺度标准化，以将生猪目标图像缩放到一个固定尺寸的模板中。

优选地，所述根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量，具体包括：

获取每一幅生猪目标图像与所述主干图交叠的第一百分比；

以主干图的质心为中心，对主干图进行空间分割，分割得到若干个主干图子区域，并将每一幅生猪目标图像按照相同的方式分割得到对应的若干个目标图像子区域；

分别计算每个目标图像子区域与对应的主干图子区域交叠的第二百分比，得到第二百分比集合；

根据所述第一百分比以及第二百分比集合生成每幅生猪目标图像的特征向量，再根据所有的生猪目标图像的特征向量连接生成该生猪目标的步态特征向量。

优选地，所述计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常具体为：

计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，当欧式距离大于预设的阈值时，则判断所述生猪目标出现步态异常。

优选地，还包括警报器以及无线传输装置；其中，

所述警报器与所述控制器通过GPIO连接；

所述无线传输装置与所述控制器通过UART连接；

则所述步骤还包括：

在判断生猪目标出现步态异常时，控制所述警报器发出警报以及生成异常信息至所述无线传输装置，以使得所述无线传输装置将所述异常信息发送至远程服务器。

优选地，所述处理器为66AK2H系列的DSP处理器；所述深度摄像机为IntelRealSense系列深度相机；所述无线传输装置为WiFi网卡。

优选地，还包括显示屏以及输入设备；所述显示屏以及输入设备均与所述处理器连接。

优选地，所述生猪步态异常检测设备还包括RFID读写器；所述RFID读写器与所述控制器通过UART连接，用于通过读取位于生猪目标身上的RFID芯片以确定所述生猪目标的标识。

优选地，在计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常之后，还包括：

根据所述步态特征向量以及预先得到的不同生猪对象的步态特征向量进行增量聚类，以更新主流步态特征向量。

本发明实施例还提供了一种生猪步态异常检测系统，包括远程服务器以及至少一个布置于猪圈的转栏走道的如上述的生猪步态异常检测设备；其中，每个所述生猪步态异常检测设备与所述远程服务器连接。

上述实施例中具有如下有益效果：

1、采用深度摄像机代替一般相机，所采集的深度图像与普通图像相比具有更为丰富的空间信息，在该空间信息的帮助下图像的转化步骤清晰明了，能够提高识别的精度和速度；

2、设备部署位置上选取了猪圈的转栏走道的两侧上，合适的走道长度与宽度在保障采集图像背景简单统一的同时，为在单位时间内有效检测多个目标提供了支持；

3、在步态异常识别时，立足于当饲养员尚未发现生猪病情或者疫情时，大部分生猪处于正常状态这一基本要点，当个别生猪的步态与其它生猪存在显著差异时，往往预示该生猪个体出现异常，可能处在病情早期，在这个时候进行干预，往往能为疫情的发展踩下刹车，挽回经济损失。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的生猪步态异常检测设备的安装示意图。

图2是本发明实施例的生猪步态异常检测设备的结构示意图。

图3是本发明实施例的生猪步态异常检测设备的工作原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1及图2，本发明实施例提供了一种生猪步态异常检测设备100，其包括：具有控制器、深度摄像机20。其中：所述深度摄像机20与所述控制器通过USB(UniversalSerial Bus，通用串行总线)接口连接。

在本实施例中，所述生猪步态异常检测设备100整体可设置于猪圈的转栏走道的两端内侧处，其主要考虑在于转栏走道的长度一般可以保证捕捉到足够的图像序列，并且走道的宽度一般较为狭窄，有利于保证猪只行走的稳定性，从而有利于提取生猪行走的步态特征。此外，转栏走道还可以保障采集的图像背景简单统一，为在单位时间内有效检测多个生猪目标提供了支持。

在本实施例中，所述控制器包括处理器11以及与所述处理器11连接的运行内存12以及FLASH存储器13。

其中，所述处理器11可为66AK2H系列的DSP处理器。当然需要说明的是，在其他实施例中，所述处理器11也可为其他型号的处理器，本发明不做具体限定。

在本实施例中，所述运行内存12提供所述处理器11计算以及运行过程中所需要的内存，而所述FLASH存储器13则用于存储相关的数据、系统或者应用程序等。其中，所述FLASH存储器13至少存储有系统软件以及可执行代码，所述系统软件提供所述处理器11运行和操作的基础，而所述可执行代码则可由所述处理器11执行，以从接收的深度图像中判断生猪的步态是否存在异常。

在本实施例中，生猪在感染口蹄疫后临床表现为肢蹄疼痛、行走时呈跛行、站立不稳和行走困难。同时，蹄趾损伤，骨软和关节炎等可诱发生猪跛足，使其行走特征与步态与常态出现较大差异。因此，生猪的步态特征在临床上可作为判断生猪是否感染口蹄疫及跛足程度的重要参考依据，同时在一定程度上也可作为生猪生理状况水平和健康程度的一种参考标准。因此本实施例通过采集生猪的深度图像，并由所述处理器11通过执行所述FLASH存储器13内的可执行代码以判断生猪目标是否出现步态异常。

具体的执行步骤如下：

S101，获取由所述深度摄像机采集到的包含生猪目标的深度图像序列。

其中，深度摄像机20可判断当前采集的深度图像中是否包含生猪目标，如包含则发送给所述控制器，否则丢弃当前采集的深度图像。

S102，对所述深度图像序列进行图像分割以分别提取生猪目标，从而获得生猪目标图像序列。

需要说明的是，在本实施例中，提取生猪目标图像序列后，为了避免算法因体型不同的猪只的差异导致误判，需设定一个固定的躯干长宽值，将所有生猪目标图像进行拉伸或者收缩调整，使得猪只的躯干的长宽值与预置值一致。具体地，可采用腐蚀、膨胀等形态学算子去除提取出的生猪目标图像中包含的噪声和小空洞，进而以质心为中心对图像进行尺度标准化，以将生猪目标图像缩放到一个固定的模板中，使得体型不同的猪只图像处在同一个尺度中。

S103，根据所述生猪目标图像序列获取得到全周期的步态能量图。

其中，步态能量图像(Gait Energy Image，GEI)是一种较新的时空步态表示。有别于其它步态表示方法把步态表示为步态序列模板，步态能量图采用一幅图像不仅保留了人行走时的运动信息，还保留了步态的时间信息。通过与二值轮廓序列图像表示的步态比较，步态能量图像不但节省了存储空间和计算时间，而且它对单帧中的轮廓噪声不太敏感。

其中，对于给定的经过预处理的生猪目标图像序列B_t(x,y)，B_t(x,y)表示在t时刻的一个序列图像，步态能量图的定义如下：

其中，N是生猪目标图像系列的个数，t是当前时刻的生猪目标图像，x和y是图像坐标。

S104，将全周期的步态能量图叠加密度最高的部分分割出来，得到主干图。

在本实施例中，通过将全周期的生猪目标图像序列进行叠加可得到全周期步态能量图，再将步态能量图中密度最高的部分分割出来，即可以得到主干图。

S105，根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量。

其中，具体地：

首先，获取每一幅生猪目标图像与所述主干图交叠的第一百分比。

获取每一幅生猪目标图像与所述主干图交叠的第一百分比；

以主干图的质心为中心，对主干图进行空间分割，分割得到若干个主干图子区域，并将每一幅生猪目标图像按照相同的方式分割得到对应的若干个目标图像子区域；

分别计算每个目标图像子区域与对应的主干图子区域交叠的第二百分比，得到第二百分比集合；

根据所述第一百分比以及第二百分比集合生成每幅生猪目标图像的特征向量，再根据所有的生猪目标图像的特征向量连接生成该生猪目标的步态特征向量。

然后，以主干图的质心为中心，对主干图进行空间分割，分割得到若干个主干图子区域(如2行2列均匀分割的4个子区域)，并将每一幅生猪目标图像按照相同的方式分割得到对应的若干个目标图像子区域；

接着，分别计算每个目标图像子区域与对应的主干图子区域交叠的第二百分比，得到第二百分比集合。

例如，假设将所述主干图均匀分割为四个子区域，分别记为第一主干图子区域、第二主干图子区域、第三主干图子区域以及第四主干图子区域。则此时，相应的，也将每一幅生猪目标图像分为均匀分割为四个子区域，分别记为第一目标图像子区域、第二目标图像子区域、第三目标图像子区域以及第四目标图像子区域。在计算第二百分比的时候，分别获取第一目标图像子区域与第一主干图子区域交叠的第二百分比，第二目标图像子区域与第二主干图子区域交叠的第二百分比，第三目标图像子区域与第三主干图子区域交叠的第二百分比以及第四目标图像子区域与第四主干图子区域交叠的第二百分比，再汇总所有第二百分比后，即可得到第二百分比集合。

最后，根据所述第一百分比以及第二百分比集合生成每幅生猪目标图像的特征向量，再根据所有的生猪目标图像的特征向量连接生成该生猪目标的步态特征向量。

S106，计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常；其中，所述主流步态特征向量通过对不同生猪对象的步态特征向量进行聚类获得。

其中，在进行判断前，首先需要先获得主流步态特征向量。具体地，可先采集获取多只不同生猪对象的步态特征向量，从而得到步态特征向量组，然后再通过聚类算法对步态特征向量组进行聚类获得其聚类中心，如此即可获得主流步态特征向量。其中，聚类可以采用常用的的算法如K-Means算法，DBSCAN算法，DPEAK算法等，本发明不做具体限定。

其中，这里需设定一个前提：主流的步态特征向量组对应的生猪都是正常的，由于一般情况下猪场只有少部分生猪出现异常，所以该前提成立的几率很高，能保证较高的准确率。

在本实施例中，在进行异常判断时，得到每个生猪目标归一化后的步态特征向量，再计算每个生猪目标的步态特征向量与主流步态特征向量的欧式距离。如果欧式距离比较大，则说明当前生猪目标的步态特征向量与主流的步态特征向量差异比较大，其可能存在步态异常，反之，则说明当前生猪目标的步态为正常步态。

本实施例的上述步态异常检测方法与现有的步态识别算法相比具有不需要大量训练数据，计算过程简单、实时性强且准确率高，无需设定众多参数等优点。

具体地，现有技术往往只能针对某一类生猪或者生猪的某个养殖阶段，一旦前提发生变化，训练得到的模型需要修改，且调参困难，无法在不同的场景下得到推广。本发明实施例的特点在于对生猪病情的前期预警具有较高的敏感性和实用性。生猪如果出现严重的病情，饲养员容易通过肉眼识别，而大批生猪生病的情况更加容易引起饲养员注意，而一旦到达这个状况，则往往已经酿成严重的养殖事故，造成的经济损失无法追回。本发明实施例立足于当饲养员尚未发现生猪病情或者疫情时，大部分生猪处于正常状态这一基本要点，当个别生猪的步态与其它生猪存在显著差异时(这里可以根据用户的偏好进行设定，即调整欧式距离的阈值)，往往预示该个体出现异常，可能处在病情早期，在这个时候进行干预，往往能为疫情的发展踩下刹车，挽回经济损失。

此外，本实施例中，所述深度摄像机可为Intel RealSense系列深度相机，其所采集的深度图像与普通图像相比具有更为丰富的空间信息，在该信息的帮助下图像的转化步骤清晰明了，可提高识别的速度和准确度。

在图像采集的位置上选取了转栏走道的两侧，在检测目标单独部署传感器或图像采集的技术上，检测的准确度得到了保证，并且本发明系统具有结构更为简单、稳定的优点。

更进一步的，采用无监督的聚类算法，可以针对不同的猪种及不同饲养阶段的生猪实现异常步态识别。而且不需要额外采用人工采集和标记训练数据，大大提高了系统的实用性和可推广性。

在一个优选实施例中，还包括警报器30以及无线传输装置40，其中，所述警报器30与所述控制器通过GPIO(General Purpose Input Output，通用输入/输出)连接，所述无线传输装置40与所述控制器通过UART(Universal Asynchronous Receiver/Transmitter，通用异步收发传输器)连接。

其中，当所述控制器判断当前生猪目标存在步态异常的可能性时，将控制所述警报器30发出警报以及发送异常指令给所述无线传输装置40，由所述无线传输装置40将所述异常指令发送给远程服务器，从而远程的管理人员可以根据远程服务器的异常指令获知该步态异常的生猪。

需要说明的是，上述实施例中，所述警报器30可为声音警报器或者指示灯警报器或者声光警报器，考虑到声音警报器可能惊吓到生猪，可优选采用指示灯警报器。

本实施例中，通过配备警报器30，检测到异常目标后能触发现场警报，帮助管理人员对异常生猪进行有效的预诊断与隔离，规避大规模口蹄疫传播感染的风险，提高猪只的存活率，降低养殖成本。

在一个优选实施例中，所述生猪步态异常检测设备100还包括壳体，所述控制器、警报器30以及无线传输装置40均容置于所述壳体内。

在本实施例中，所述壳体用于起到对整个设备的支撑以及保护的作用，以防止各个电子元件收到外力或者水汽的侵扰。

在一个优选实施例中，所述无线传输装置40优选为WiFi网卡。然而在其他实施例中，所述无线传输模块40还可为2G模块、3G模块、4G模块、5G模块或者NB-IoT模块，其可连接到无线路由器上，从而和远程服务器进行通信。

在一个优选实施例中，所述生猪步态异常检测设备100还包括显示屏50以及输入设备60；所述显示屏50以及输入设备60均与所述处理器11连接。

其中，所述显示屏50可为液晶显示屏，其能实时显示采集的深度图像的信息，所述输入设备60可为键盘，通过所述键盘可设置调整系统的相关参数，如参考模型的参数或者警报器的参数等。

在一个优选实施例中，所述生猪步态异常检测及警报设备100还包括SSD硬盘70，所述SSD硬盘70与所述控制器通过USB接口连接。

其中，SSD硬盘70可用于进行数据的快速存储。

在一个优选实施例中，所述生猪步态异常检测设备100还包括RFID读写器80；所述RFID读写器80与所述控制器通过UART连接，用于通过读取位于生猪目标身上的RFID芯片以确定所述生猪目标的标识。

在本实施例中，可在每个生猪或者患病的生猪身上放置RFID芯片，如此，可通过所述生猪步态异常检测设备100上的RFID读写器80读取RFID芯片内的RFID码，从而获得生猪的标识。其中，在远程服务器存储数据时，生猪的每日数据(例如步态信息以及体温信息)均与其RFID码进行关联存储。如此，相关人员可通过RFID码来获得患病生猪的每日数据变化情况，进而判断生猪的病情是否发生好转或者发生恶化，以及时制定治疗策略。

在一个优选实施例中，还包括：

根据所述步态特征向量以及预先得到的不同生猪对象的步态特征向量进行增量聚类，以更新主流步态特征向量。

其中，在首次进行聚类时，聚类是针对全部的步态特征向量，其后采用的是增量聚类方式以减少计算资源的消耗。

本发明实施例还提供了一种生猪步态异常检测系统，包括远程服务器以及至少一个布置于猪圈的转栏走道的生猪步态异常检测设备；其中，每个所述生猪步态异常检测设备通过无线传输装置与所述远程服务器连接。

其中，多个生猪步态异常检测设备100可部署于各个猪圈的转栏走道处，其采集的数据统一汇总到所述远程服务器处，由所述远程服务器进行存储，如此实现了对整个猪场的各个猪圈的统一管理，降低了人工管理的成本和复杂度。

此外，由所述远程服务器对历史数据进行统计以及分析，可以获得诸如生猪在不同天气、不同季节下的发病概率等大数据信息，帮助管理人员及时进行疫情的预警以及防备，从而可以从更科学现代化的角度来降低养殖经济成本与时间成本。

上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种生猪步态异常检测设备，适于设置于猪圈的转栏走道的两端内侧处，其特征在于，包括：控制器以及深度摄像机；其中：

所述深度摄像机与所述控制器通过USB接口连接，用于采集包含生猪目标的深度图像序列并发送给所述控制器；

所述控制器，包括存储器以及处理器，所述存储器内存储有可执行代码，所述可执行代码能够被所述处理器执行以实现如下步骤：

获取由所述深度摄像机采集到的包含生猪目标的深度图像序列；

对所述深度图像序列进行图像分割以分别提取生猪目标，从而获得生猪目标图像序列；

根据所述生猪目标图像序列获取得到全周期的步态能量图；

将全周期的步态能量图叠加密度最高的部分分割出来，得到主干图；

根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量；以及

计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常；其中，所述主流步态特征向量通过对不同生猪对象的步态特征向量进行聚类获得。

2.根据权利要求1所述的生猪步态异常检测设备，其特征在于，所述步骤还包括：

利用形态学算子去除提取出的生猪目标图像序列中包含的噪声和小空洞，进而以质心为中心对图像进行尺度标准化，以将生猪目标图像缩放到一个固定尺寸的模板中。

3.根据权利要求1所述的生猪步态异常检测设备，其特征在于，所述根据所述主干图以及所述生猪目标图像序列，获得该生猪目标的步态特征向量，具体包括：

获取每一幅生猪目标图像与所述主干图交叠的第一百分比；

以主干图的质心为中心，对主干图进行空间分割，分割得到若干个主干图子区域，并将每一幅生猪目标图像按照相同的方式分割得到对应的若干个目标图像子区域；

分别计算每个目标图像子区域与对应的主干图子区域交叠的第二百分比，得到第二百分比集合；

根据所述第一百分比以及第二百分比集合生成每幅生猪目标图像的特征向量，再根据所有的生猪目标图像的特征向量连接生成该生猪目标的步态特征向量。

4.根据权利要求1所述的生猪步态异常检测设备，其特征在于，所述计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常具体为：

计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，当欧式距离大于预设的阈值时，则判断所述生猪目标出现步态异常。

5.根据权利要求1所述的生猪步态异常检测设备，其特征在于，还包括警报器以及无线传输装置；其中，

所述警报器与所述控制器通过GPIO连接；

所述无线传输装置与所述控制器通过UART连接；

则所述步骤还包括：

在判断生猪目标出现步态异常时，控制所述警报器发出警报以及生成异常信息至所述无线传输装置，以使得所述无线传输装置将所述异常信息发送至远程服务器。

6.根据权利要求5所述的生猪步态异常检测设备，其特征在于，所述处理器为66AK2H系列的DSP处理器；所述深度摄像机为Intel RealSense系列深度相机；所述无线传输装置为WiFi网卡。

7.根据权利要求1所述的生猪步态异常检测设备，其特征在于，还包括显示屏以及输入设备；所述显示屏以及输入设备均与所述处理器连接。

8.根据权利要求1所述的生猪步态异常检测设备，其特征在于，所述生猪步态异常检测设备还包括RFID读写器；所述RFID读写器与所述控制器通过UART连接，用于通过读取位于生猪目标身上的RFID芯片以确定所述生猪目标的标识。

9.根据权利要求1所述的生猪步态异常检测设备，其特征在于，在计算所述步态特征向量与预先得到的主流步态特征向量的欧式距离，以判断所述生猪目标是否出现步态异常之后，还包括：

根据所述步态特征向量以及预先得到的不同生猪对象的步态特征向量进行增量聚类，以更新主流步态特征向量。

10.一种生猪步态异常检测系统，其特征在于，包括远程服务器以及至少一个布置于猪圈的转栏走道的如权利要求1至9任意一项所述的生猪步态异常检测设备；其中，每个所述生猪步态异常检测设备与所述远程服务器连接。