CN112088795B - 基于激光定位的限位栏猪只姿态识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于激光定位的限位栏猪只姿态识别方法，采用两支一字型激光发射器，激光发射器之间存在一定的高度差或者是角度差同时发射水平激光，激光线段在猪只背部以及地板上成像，通过猪背以及地板上的成像线段对限位栏内的猪只进行定位。通过限位栏正上方的摄像头采集猪只图像数据，并传输至图像处理模块，图像处理模块主要完成图像数据的预处理、激光线段定位以及猪只姿态判定，最后将处理得到的猪只姿态数据传输到服务器中，最后进行客户端展示。通过该猪只姿态识别方法，能够实现快速、有效的猪只姿态识别为猪只精准管理提供数据支撑。

Description

基于激光定位的限位栏猪只姿态识别方法和系统

技术领域

本发明涉及激光定位技术、图像处理技术、机器视觉技术、嵌入式技术以及网络通讯技术，具体地讲是一种基于激光定位的限位栏猪只姿态识别系统。

背景技术

随着养猪企业不断规模化发展，猪只的饲喂水平也在不断提升。因此，对猪只的精准管理需求正在日益增大，尤其是对于限位栏中猪只的精准管理要求更加之高。而猪只的不同姿态是其生理状态的重要外在表现，例如,哺乳期母猪的姿态是母猪母性行为评价的重要指标；长时间的躺卧行为表明猪处在非正常状态；猪只姿态的识别还可实现同等运动量的行为区分。同时，对猪只姿态的监测可以计算出猪只的对应活动量从而做到精准饲喂。

目前在大规模养殖场中，对于猪的异常行为与活动量监测基本上都是依靠人工观察来完成，但是人工的方法检测不仅劳动强度大，而且非常容易出现漏检或误检。因此用计算机视觉代替人工进行猪只监控成为了当下的研究热点。用计算机视觉自动监测猪，不仅成本低、效率高、无损伤，且可避免采用接触式传感器监测方法引起的猪的应激反应，因此计算机视觉技术被逐渐应用到猪的各种姿态与行为等特征的识别,在机算机视觉对猪的姿态、行为等特征的识别中，主要采用基于传统数学形态学或者是基于深度学习的方法。

基于传统形态学的方法上，Nasirahmadi等采用椭圆拟合定位视频图像中的猪，并计算猪身上各种特征点来检测猪的姿态与行为；Kashiha等用Otsu阈值分割及椭圆拟合识别母猪的各种姿态。基于深度学习的方法上，Miso Ju等采用Kinect相机的深度图像结合CRNN网络对猪只个体进行实时监测并分割图像；薛月菊等采用改进后的Faster_R_CNN网络结合深度图像对哺乳母猪的各种姿态进行识别；Yang等利用全卷积网络和定向光流挖掘时空关系的方法自动识别视频中哺乳母猪的日常哺乳行为。

然而，传统的椭圆拟合方法对图像处理要求过高，一旦出现干扰源，如异物干扰等，就会使得图像分割精度下降，从而降低识别的准确率。而基于深度图像和深度神经网络的姿态识别方法，对硬件要求过高，不利于应用在限位栏中的猪只姿态识别上。

发明内容

本发明针对背景技术中存在的问题，提出了一种基于激光定位的限位栏猪只姿态识别方法和系统，以激光作为猪只位置标定媒介，利用激光的高亮度物理特性，来增加系统对外界环境的抗扰动性；研究基于FPGA嵌入式猪只姿态图像处理系统，以快速、低成本、精确实现对限位栏中猪只的姿态识别，最后通过网络通讯技术将结果传输到用户显示界面，为猪只精准管理提供一种有效支持，促进养殖业装备的智能化进程。

技术方案：

一种基于激光定位的限位栏猪只姿态识别方法，通过两束激光投影猪只躯干，两束激光与猪只躯干的交点连线分别记做B1、B2，B1B2连线与水平线夹角记做α：

其中，点B1表示第一束激光照射点在猪只躯干的位置，点B1'表示点B1垂线与地面的交点，点C1表示第一束激光延长线与地面的交点；点B2表示第一束激光照射点在猪只躯干的位置，点B2'表示点B2垂线与地面的交点，点C2表示第一束激光延长线与地面的交点；△_B1'C1表示点B1'和点C1的连线长度，△_B2'C2表示点B2'和点C2的连线长度；θ₁表示第一束激光与重锤线的夹角，θ₂表示第二束激光与重锤线的夹角；

通过下表判别猪只姿态：

式中，H1为侧卧高度阈值，H2为腹卧高度阈值。

优选的，侧卧高度阈值H1和腹卧高度阈值H2通过以下公式获得：

H1＝k·H1'，H2＝k·H2'

其中，H1'为手动测量获取猪只实际侧卧时的平均高度，H2'为手动测量获取猪只实际腹卧平均高度；

优选的，具体步骤为：

S1、两束激光投影猪只躯干；

S2、摄像头获取图像数据；

S3、图像数据处理，激光线段定位，获得参数△_B1'C1、△_B2'C2；

S4、猪只姿态判定；

S5、猪只姿态结果传输展示。

优选的，S3中，所述△_B1'C1、△_B2'C2通过图像处理的方式计算获得：

S3-1、添加前后掩模，将两束激光所成图像分开；

S3-2、分别进行HSV空间转化，并提取激光，提取规则为

S3-3、分别进行图像二值化；

S3-4、分别图像细化；

S3-5、分别计算相应坐标及距离。

本发明还公开了一种基于激光定位的限位栏猪只姿态识别系统，它包括：激光定位器、摄像头、数据处理模块、服务器、数据传输模块、数据展示模块：

-激光定位器：由两支一字型激光发射器构成，用于发射两束激光投影猪只躯干；

-摄像头：用于采集激光与猪只图像；

-数据处理模块：数据处理模块连接摄像头获取图像数据，数据处理模块对采集图像进行处理，获得猪只姿态结果；

-服务器：用于视频数据的接收、存储以及传输；

-数据传输模块、数据展示模块：将数据结果进行传输展示。

优选的，两支一字型激光发射器处于相同位置，且存在一定的夹角；或者两支一字型激光发射器不存在一定的夹角，但是存在一定的高度差。

优选的，数据处理模块以FPGA为核心，执行本方案所记载的图像数据处理方法。

具体的，数据传输模块接收视频采集装置的视频数据流，将视频数据流在WiFi模块中进行AV转BT656转码，再通过RT656转USB电路传输至WiFi主控芯片，WiFi主控芯片受射频电路控制，并将转码后的视频数据流发送至服务器。

具体的，数据展示模块通过服务器处理接收视频数据信息，并将处理过后的结构化数据存储至数据库，同时接收客户端的查询信息，调用数据库内存储信息进行客户端的可视化展示。

本发明的有益效果

(1)利用激光定位技术，通过激光发射器发射具有高亮度的激光线段，能够实现对限位栏内的猪只进行无接触式、快速标记；利用激光线段的高亮度特性，可以增加系统对环境的适应性，弥补传统算法容易受到环境干扰从而降低准确率的缺点，同时，激光在猪舍的夜间具有更好的标记效果，可对猪只进行24小时的姿态识别，提升了系统的实用性。

(2)利用形态学图像处理算法，相比于深度学习算法可以有效降低算法对硬件的算力需求，使其更加适合集成到硬件系统；利用FPGA处理系统，可以更好地减少养殖人员在系统硬件上的投资，同时使得设备更加便捷、轻量化，相比于服务器级别的运算系统，嵌入式的系统更加适合养殖业的推广使用。

(3)无线网络传输模块的设计使得姿态识别系统可以和猪只其他特征的检测系统进行集成，方便整体功能的拓展，同时不受有线数据传输的限制能够使得养殖人员更加方便地监控猪舍；利用服务器对数据进行存储与展示，可以极大地提高数据利用率，方便后续对数据的挖掘。

(4)用户通过不同客户端对数据进行查询，界面提供整体和分栏数据展示，可以满足养殖人员不同的个性化需求，更加方便、高效地查询到自己想要的信息。

附图说明

图1为本发明的结构框图

图2为发明原理中激光成像位置示意图

图3为本发明的图像处理整体结构图

图4为发明原理中面光线投影示意图

图5为发明原理中正视图光线等效图

图6为发明原理中单激光投影猪躯干投影等效图俯视

图7为发明原理中双激光线投影猪躯干等效图正视

图8为本发明的姿态估计算法流程图

图9为本发明的数据传输模块的结构框图

图10为数据存储与展示结构的结构框图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，一种基于激光定位的限位栏猪只姿态识别系统，它包括：激光定位器、摄像头、数据处理模块、服务器、数据传输模块、数据展示模块：

-激光定位器：将两支激光发射器安装在激光支架上，并将激光支架调整到适合的位置。通过激光发射器在限位栏内的猪只躯干表面投影两条红色激光线段，通过地板上与猪只躯干上的激光线段对猪只位置进行标记。

-摄像头：在限位栏的正上方安装摄像头对限位栏内的猪只图像进行采集，并将图像数据传输到数据处理模块。

-数据处理模块：接收实时采集到的猪只图像数据，并利用FPGA系统对图像数据进行预处理，之后利用形态学处理算法提取图片中激光线段的中心线，分别计算出两束激光产生的投影差，根据投影差计算出猪的躯干距离地板高度以及躯干与地板之间的角度，最后利用高度、角度与猪只姿态之间的关系估算出猪只的姿态，并将处理后的视频数据通过无线网络节点发送至服务器。

-数据存储模块：接收实时采集到的猪只图像数据，并利用FPGA系统对图像数据进行预处理，之后利用形态学处理算法提取图片中激光线段的中心线，分别计算出两束激光产生的投影差，根据投影差计算出猪的躯干距离地板高度以及躯干与地板之间的角度，最后利用高度、角度与猪只姿态之间的关系估算出猪只的姿态，并将处理后的视频数据通过无线网络节点发送至服务器。

-数据传输模块、数据展示模块：将数据结果进行传输展示，为用户提供实时数据查询和历史数据查询功能，方便用户对猪舍进行管理。

本申请以摄像头作为数据采集媒介，开发基于FPGA嵌入式的猪只姿态图像处理系统，可作为快速、低成本的猪只姿态识别系统，为精准化管理限位栏猪只提供一种有效手段。猪只姿态识别系统主要包括由激光发射器组成的激光定位部分、摄像头组成的图像采集部分、嵌入式图像处理系统组成的数据处理部分和带有路由器节点、无线通信模块的网络通讯部分四个部分组成。

激光发射器部分采用两只一字型激光发射器以一定高度差或角度差向限位栏猪只背部发射水平激光；摄像头垂直至于限位栏上方并将采集到的图像数据传输至图像处理部分；图像处理部分包括图像接收、图像处理、数据发送三个模块，接收摄像头传来的图像并处理，完成之后通过无线网络传送至网上数据库，并且在网上实时展示猪只姿态数据。用户可以通过手机客户端或网页端查询相关的猪只信息。具体的：

激光定位器

激光定标器是猪只姿态识别系统的基础模块，由两支一字型激光发射器构成。两支一字型激光发射器处于相同位置需要存在一定的夹角或者激光发射器之间不存在夹角时，需要存在一定的高度差，以此来确保在猪背上会出现前后两条激光投影线。结合图2，1、2位一字型激光发射器发射的激光面，3、4为激光在物体上的投影线，5、6为激光在地面的投影线，7为被投影物体，8为被投影地面。

数据处理模块

图像处理部分主要以FPGA为核心运算单元，对接收到的图像数据进行处理，将处理的结果进行显示并发送到网络端，整体结构如图3所示。

处理算法原理介绍

猪只在不同姿态时，猪的躯干面距离地面的高度、与地面之间形成的角度这两个参数是不同的且在一定范围内波动的，设猪的躯干面距离地面的高度为h，猪的躯干面与地面之间形成的角度为α，所以可以通过对这两个参数进行求解，来估算出猪的姿态。一般情况下，无法直接对这两个参数进行求解。本专利提出一种投影成差法来对这两个参数进行计算。具体原理如下：

当一束面激光投影到一个物体上时，在物体和地面上会分别出现投影线，如图4所示，图4的正视图的光线等效图为图5。其中A为激光发射点，B为激光与被投影物体的交点，C为激光与地面的交点，B'为B点线段OC上的投影点，OA为垂直基线，θ为光线与垂直基线夹角并且是预先设置好的，Δ为点B、C之间的水平距离之差。那么BB'即为被投影物体上的点到地面的垂直高度，BB'计算公式为：

BB'＝△/tanθ (1)

由(1)式可知，只要求得Δ，即可得到BD的数值。

由于猪躯干为非刚性、不规则形状，当激光投影到猪躯干上时会出现弯曲，将猪只躯干拟合为椭圆，如图6所示，在实际计算时，选取猪躯干投影最低点进行计算。

那么若能对BB'进行求解，即可得到猪躯干上某点距离地面的高度。

因为猪的姿态多样性，仅仅计算出猪躯干上某地距离地面的高度并不能准确的估测猪的姿态，根据两点确定一条直线可知，当求得猪躯干上两点的位置时，就能估算出猪的躯干面与地面之间的夹角，等效示意图如图7所示。

其中1为投影光线，2为待求直线，3、4为猪躯干上某点距离地面高度，5为猪躯干正视图等效曲线，6、7为面光线穿过猪躯干的位置。

由图7可知，可以用直线B1B2近似代替猪躯干曲线来求解角度α。α计算公式为：

将式(1)带入式(2)可得

由(3)可知若能求得△_B1'C1、△_B2'C2、B1'B2'即可计算出α的值

对△_B1'C1、△_B2'C2、B1'B2'的求解可以通过图像处理的方式进行计算，对于得到的计算结果需要结合猪在不同姿态下的角度与高度数据进行猪只姿态估计，整体姿态算法流程如图8。

数据传输模块、数据展示模块

数据传输与展示部分主要负责对处理过后的数据结果进行存储与可视化展示，通过人性化界面，以栏为单位向用户展示猪只的实时姿态以及历史姿态转换数据，支持用户进行网页查询以及移动端查询。数据传输与展示部分主要包括WiFi硬件模块，服务器以及显示模块。

WiFi硬件模块的主要功能是对处理后的视频进行传输，模块结构图如图9所示。

服务器主要用于视频数据的接收、存储以及传输，显示模块主要用于展示处理后的数据，包括移动端与网页端，能够提供实时数据以及历史数据的查询，提供个性化展示界面。相关模块结构图如图10所示。

总结：激光定位器采用两支一字型激光发射器，激光发射器之间存在一定的高度差或者是角度差同时发射水平激光，激光线段在猪只背部以及地板上成像，通过猪背以及地板上的成像线段对限位栏内的猪只进行定位。通过限位栏正上方的摄像头采集猪只图像数据，并传输至图像处理模块，图像处理模块主要完成图像数据的预处理、激光线段定位以及猪只姿态判定，最后将处理得到的猪只姿态数据传输到服务器中，最后进行客户端展示。通过该猪只姿态识别系统，能够实现快速、有效的猪只姿态识别为猪只精准管理提供数据支撑。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于激光定位的限位栏猪只姿态识别方法，其特征在于通过两束激光投影猪只躯干，两束激光与猪只躯干的交点连线分别记做B1、B2，B1B2连线与水平线夹角记做α：

其中，点B1表示第一束激光照射点在猪只躯干的位置，点B1'表示点B1垂线与地面的交点，点C1表示第一束激光延长线与地面的交点；点B2表示第一束激光照射点在猪只躯干的位置，点B2'表示点B2垂线与地面的交点，点C2表示第一束激光延长线与地面的交点；Δ_B1'C1表示点B1'和点C1的连线长度，Δ_B2'C2表示点B2'和点C2的连线长度；θ₁表示第一束激光与重锤线的夹角，θ₂表示第二束激光与重锤线的夹角；

通过下表判别猪只姿态：

式中，H1为侧卧高度阈值，H2为腹卧高度阈值；侧卧高度阈值H1和腹卧高度阈值H2通过以下公式获得：

H1＝k·H1'，H2＝k·H2'

其中，H1'为手动测量获取猪只实际侧卧时的平均高度，H2'为手动测量获取猪只实际腹卧平均高度；

2.根据权利要求1所述的方法，其特征在于具体步骤为：

S1、两束激光投影猪只躯干；

S2、摄像头获取图像数据；

S3、图像数据处理，激光线段定位，获得参数Δ_B1'C1、Δ_B2'C2；

S4、猪只姿态判定；

S5、猪只姿态结果传输展示。

3.根据权利要求2所述的方法，其特征在于S3中，所述Δ_B1'C1、Δ_B2'C2通过图像处理的方式计算获得：

S3-1、添加前后掩模，将两束激光所成图像分开；

S3-2、分别进行HSV空间转化，并提取激光，提取规则为

S3-3、分别进行图像二值化；

S3-4、分别图像细化；

S3-5、分别计算相应坐标及距离。

Images