CN110532899A - 基于热成像的母猪产前行为分类方法及系统 - Google Patents

基于热成像的母猪产前行为分类方法及系统 Download PDF

Info

Publication number
CN110532899A
CN110532899A CN201910733662.2A CN201910733662A CN110532899A CN 110532899 A CN110532899 A CN 110532899A CN 201910733662 A CN201910733662 A CN 201910733662A CN 110532899 A CN110532899 A CN 110532899A
Authority
CN
China
Prior art keywords
sow
image
railing
bianry image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910733662.2A
Other languages
English (en)
Other versions
CN110532899B (zh
Inventor
刘刚
安露露
司永胜
初梦苑
马丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201910733662.2A priority Critical patent/CN110532899B/zh
Publication of CN110532899A publication Critical patent/CN110532899A/zh
Application granted granted Critical
Publication of CN110532899B publication Critical patent/CN110532899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种基于热成像的母猪产前行为分类方法及系统，所述方法包括：从猪舍上方获取包含母猪和围栏的红外图像；获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；将兴趣区图像转换为二值图像，基于二值图像进行母猪进食行为和饮水行为的分类。通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。

Description

基于热成像的母猪产前行为分类方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于热成像的母猪产前行为分类方法及系统。
背景技术
行为是动物个体信息的重要组成部分，随着养猪产业的不断发展，自动化养猪已经成为养猪业的发展趋势，动物行为的自动监测与识别已经成为当前研究热点之一。动物行为反映了其福利状态，它们包含重要信息，可以使生产者更好地管理牲畜。能够实时监测母猪行为体征，及时了解和分析母猪行为是判断母猪分娩时间和健康情况的重要依据，对提高猪福利、肉品产量和质量具有非常重要意义。在传统养猪业中,主要是依靠饲养员的直觉和经验判断母猪的分娩时间,但是这种方法不仅要求大量人力,而且常常会出现因人为疏忽导致的初生仔猪死亡现象,而人畜的过多接触也会增加一些疾病的传播概率,不利于母猪的正常生产。通过机器视觉技术可以识别母猪行为，为预测母猪的分娩时间提供便利。
目前动物行为识别主要要有两大类：分别是接触式佩戴传感器方式和基于机器视觉方式。养殖环境的复杂性或动物活动习性均对佩戴传感器设备具有一定破坏性，造成设备损坏影响数据实时监测，且设备亦会对动物心理和行为造成影响，不利于其正常行为活动，损害动物福利。而机器视觉方式则通过检测设备自动采集动物图像数据传输到PC端实时分析，不需与动物身体密切接触，因此被越来越多应用于动物识别中。目前机器视觉技术应用于母猪产前行为检测多是利用传统彩色相机进行数据采集，此类相机易受环境和光照影响，采集到的图像数据效果不佳，从而影响行为识别的准确度。
发明内容
本发明实施例提供一种基于热成像的母猪产前行为分类方法及系统，解决了现有技术中识别不准确的技术问题，使用红外热像仪采集图像信息处理数据，提取图像的特征数据，判断图像中母猪的行为。
本发明实施例提供一种基于热成像的母猪产前行为分类方法，包括：
从猪舍上方获取包含母猪和围栏的红外图像；
获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；
对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
进一步，还包括：
获取母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水。
进一步，还包括：
提取兴趣区图像的HOG特征，利用支持向量机对母猪站立、趴卧、侧躺、卧立行为进行分类。
进一步，所述对兴趣区图像进行边缘检测，提取栏杆直线作为分界线的步骤进一步包括：
对兴趣区图像使用梯度进行彩色边缘检测；
基于霍夫变换对兴趣区图像进行直线检测，检测出栏杆最上端所在位置，即求出栏杆所在位置的直线方程以及角度信息。
进一步，所述基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为：
满足下列任一条件即可判断母猪正在进食，条件如下(单位为像素)：
Ar大于等于第一像素值；
Ar小于第一像素值、Ar大于等于第二像素值，且母猪二值图像质心到栏杆的距离小于第四像素值；
Ar大于等于第三像素值、Ar小于第二像素值，且母猪二值图像外接矩形距离x轴的距离小于第五像素值；
其中，第一像素值大于第二像素值，第二像素值大于第三像素值，第三像素值大于第四像素值，第四像素值大于第五像素值；Ar为母猪二值图像在栏杆内的面积。
进一步，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水的步骤，进一步包括：
在猪舍中只有一个饮水处并且其位置是固定的，当提取的母猪二值图像的头部边缘与饮水处之间的距离在n个像素内，且母猪二值图像的质心与饮水处位置距离m像素内，则判断母猪正在饮水；n小于m。
进一步，利用支持向量机对母猪站立、趴卧、侧躺、卧立行进行分类，进一步包括：采用一对一的投票策略根据猪的行为特征对母猪行为进行分类。
本发明实施例提供一种基于热成像的母猪产前行为分类系统，包括：
第一获取模块，用于从猪舍上方获取包含母猪和围栏的红外图像；
第二获取模块，用于获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；
提取模块，用于对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
判断模块，用于将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述基于热成像的母猪产前行为分类方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述基于热成像的母猪产前行为分类方法的步骤。
本发明实施例提供的基于热成像的母猪产前行为分类方法及系统，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于热成像的母猪产前行为分类方法实施例流程图；
图2为本发明基于热成像的母猪产前行为分类方法实施例采集到的母猪进食图像示意图；
图3为本发明基于热成像的母猪产前行为分类方法实施例栏杆所在直线的示意图；
图4为本发明基于热成像的母猪产前行为分类方法实施例母猪进食灰度图像示意图；
图5为本发明基于热成像的母猪产前行为分类方法实施例母猪进食局部熵二值图像示意图；
图6为本发明基于热成像的母猪产前行为分类方法实施例母猪进食局部熵二值图像另一示意图；
图7为本发明基于热成像的母猪产前行为分类方法实施例母猪站立行为的hog特征示意图；
图8为本发明基于热成像的母猪产前行为分类方法实施例母猪趴卧行为hog特征示意图；
图9为本发明基于热成像的母猪产前行为分类方法实施例母猪侧躺行为hog特征示意图；
图10为本发明基于热成像的母猪产前行为分类方法实施例母猪卧立行为hog特征示意图；
图11为本发明基于热成像的母猪产前行为分类系统实施例结构图；
图12为本发明电子设备实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决现有技术中的至少一个技术问题，本发明实施例提供一种基于热成像的母猪产前行为分类方法。如图1所示，所述基于热成像的母猪产前行为分类方法整体上包括：
步骤11，从猪舍上方获取包含母猪和围栏的红外图像。
其中，例如在养殖场的人行通道架设红外热像仪，拍摄范围为一个猪舍，并能拍摄到母猪的整体，红外热像仪位于人行通道上方实时采集猪的侧视图。
步骤12，获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置。
据所采集到的图像确定并提取母猪出现范围的兴趣区，以母猪作为研究对象。
步骤13，对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
步骤14，将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
对裁剪的兴趣区进行边缘检测，利用霍夫变换(Hough Transform)的方法，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；将兴趣区图像转换为二值图像，选取最大面积区域为母猪研究对象，求取研究对象在栏杆内的面积、研究对象外接矩形距离x轴的距离以及研究对象质心到栏杆的距离，判断母猪是否发生进食行为；求取研究对象头部边缘距离饮水处位置以及其质心到饮水处的距离，判断母猪是否饮水；提取兴趣区灰度图像的HOG特征，利用支持向量机对母猪站立、趴卧、侧躺、卧立行为进行分类。
首先将兴趣区内图像利用下式转换为灰度图像：
Igrav(i，j)＝G(i，j)-R(i，j)*0.5 (1)
其中，i、j为像素的行列坐标，G(i，j)、R(i，j)分别为图像(i，j)处像素G、R颜色分量的灰度值，Igrav(i，j)为转换后图像(i，j)处像素的灰度值；
再将灰度图像转换为二值图像，所述灰度图像转换为二值图像先求灰度图像的局部熵，然后对局部熵图像利用otsu法进行二值化，此时获得的二值图像包含被栏杆遮挡的部分。
其中，图像的熵的表达式为：
式中：
其中，M为图像I的宽，N为图像I的高，I(i，j)为图像像素点(i，j)的灰度值，则有I(i，j)≥0。由公式(2)可以看出，如果一个区域分布越均匀则该区域的局部熵越大，反之则越小。图像的局部熵能够将图像中灰度离散性大且灰度发生突变的边缘检测出来。本方法调用Matlab中自带的entropyfilt函数求图像的局部熵，其中该函数每个输出像素包含输入图像I中相应像素周围的9×9邻域的熵值，所以能较好的将栏杆所遮挡区域的显示出来。
二值化后的图像中仍存在噪点，需要进一步进行去噪，选取二值图像中面积最大区域为研究对象，删除小面积区域。对目标进行边缘检测，求取包含研究对象区域的矩形，得到研究对象距离X轴的距离，上文中求出栏杆所在直线以及直线的角度，根据此，求栏杆内研究对象的面积，再求研究对象质心到栏杆的距离，公式为：
式中，x0和y0分别为研究对象质心I(i，j)的横纵坐标，A、B、C分别为栏杆所在直线Ax+By+C＝0的系数。
本发明实施例提供基于热成像的母猪产前行为分类方法，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
在本发明上述实施例的基础上，提供一种母猪产前行为分类方法，还包括：
获取母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水。
例如，在猪舍中只有一个饮水处并且其位置是固定的，当提取的母猪头部的边缘与饮水处之间的距离在20像素内以及研究对象质心与饮水处位置距离100像素内则判断母猪正在饮水。
本发明实施例提供基于热成像的母猪产前行为分类方法及系统，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
在本发明上述实施例的基础上，提供一种母猪产前行为分类方法，还包括：
提取兴趣区图像的HOG特征，利用支持向量机对母猪站立、趴卧、侧躺、卧立行为进行分类。
Hog特征提取流程如下：
首先提取二值化图像之前的灰度图像，为方便处理将图像缩放为[256，256]。对图像在x和y方向上使用[-1，0，1]以及[-1，0，1]T的两个模板在图像上滑动，从而计算x和y方向上的梯度，以及方向和幅值。统计图像局部梯度信息，设定每个单元(cell)为8×8个像素，梯度方向限定在[0，π]，梯度方向平均分为9个方向块(bin)，即每个方向块为20度。对cell内每个像素用梯度方向在直方图中进行加权投影，计算单元(cell)的每个像素的梯度信息后，将相邻的单元(cell)组合在一起形成一个大的空间块(block)。对块(block)内的四个单元(cell)的特征向量进行归一化。采用滑动窗口的方法，用block对样本图像进行扫描，扫描步长为一个cell，最后将所有块(block)的特征串联得到母猪行为的特征。
提取母猪图像的HOG特征后将其作为输入向量，输入到支持向量机中，构建线性支持向量机分类器；最后，通过训练得到母猪行为分类器，对母猪站立、趴卧、侧躺、卧立行为进行预测分类。
本发明实施例提供基于热成像的母猪产前行为分类方法，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
在本发明上述实施例的基础上，提供一种母猪产前行为分类方法，所述对兴趣区图像进行边缘检测，提取栏杆直线作为分界线的步骤进一步包括：
对兴趣区图像使用梯度进行彩色边缘检测；
基于霍夫变换对兴趣区图像进行直线检测，检测出栏杆最上端所在位置，即求出栏杆所在位置的直线方程以及角度信息。
所述基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为：
满足下列任一条件即可判断母猪正在进食，条件如下(单位为像素)：
Ar大于等于第一像素值；
Ar小于第一像素值、Ar大于等于第二像素值，且母猪二值图像质心到栏杆的距离小于第四像素值；
Ar大于等于第三像素值、Ar小于第二像素值，且母猪二值图像外接矩形距离x轴的距离小于第五像素值；
其中，第一像素值大于第二像素值，第二像素值大于第三像素值，第三像素值大于第四像素值，第四像素值大于第五像素值；Ar为母猪二值图像在栏杆内的面积。
得到研究对象在栏杆内面积(Ar)、包含研究对象区域的矩形距离X轴的距离(Dx)、研究对象质心到栏杆的距离(D1)特征之后，满足下列任一条件即可判断母猪正在进食，条件如下(单位为像素)：
Ar≥2000
1300≤Ar＜2000&Dl＜120
500≤Ar＜1300&Dx＜100
本发明实施例提供基于热成像的母猪产前行为分类方法及系统，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
在本发明上述实施例的基础上，提供一种母猪产前行为分类方法，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水的步骤，进一步包括：
在猪舍中只有一个饮水处并且其位置是固定的，当提取的母猪二值图像的边缘与饮水处之间的距离在n个像素内，且母猪二值图像的质心与饮水处位置距离m像素内，则判断母猪正在饮水；n小于m。
本发明实施例提供基于热成像的母猪产前行为分类方法及系统，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
在本发明任一上述实施例的基础上，提供一种基于热成像的母猪产前行为分类方法，以下各实施选择以即将分娩的母猪行为图像为例对本发明进行说明。
本发明猪体长体宽检测的方法流程包括八步：
第一步：图像兴趣区确定。在养殖场的人行通道，拍摄范围为一个猪舍，并能拍摄到母猪的整体，红外热像仪位于人行通道上方实时采集猪的侧视图如图2所示，根据所采集到的图像确定并提取母猪出现范围的兴趣区。
第二步：寻找图像中栏杆的位置。如图3所示，对兴趣区图像使用梯度进行彩色边缘检测，然后使用霍夫变换进行直线检测，检测出栏杆最上端所在位置，即求出栏杆所在位置的直线方程以及角度信息。
第三步：图像二值化。如图4所示，首先将兴趣区内图像利用下式转换为灰度图像：
Igrav(i，j)＝G(i，j)-R(i，j)*0.5 (1)
其中，i、j为像素的行列坐标，G(i，j)、R(i，j)分别为图像(i，j)处像素G、R颜色分量的灰度值，Igrav(i，j)为转换后图像(i，j)处像素的灰度值；将此灰度图像转换为二值图像，所述灰度图像转换为二值图像需要先求灰度图像的局部熵，然后对局部熵图像利用otsu法进行二值化，此时获得的二值图像包含被栏杆遮挡的部分，如图5所示。
其中，图像的熵的表达式为：
式中：
其中，M为图像I的宽，N为图像I的高，I(i，j)为图像像素点(i，j)的灰度值，则有I(i，j)≥0。
第四步：提取二值图像特征。上一步中二值化后的图像中仍存在噪点，需要进一步进行去噪，选取二值图像中面积最大区域为研究对象，删除小面积区域，如图6所示。对目标进行边缘检测，求取包含研究对象区域的矩形，得到研究对象距离X轴的距离，上文中求出栏杆所在直线以及直线的角度，根据此，求栏杆内研究对象的面积，再求研究对象质心到栏杆的距离，公式为：
式中，x0和y0分别为研究对象质心I(i，j)的行列坐标，A、B、C分别为栏杆所在直线Ax+By+C＝0的系数。
第五步：判断母猪进食行为。得到研究对象在栏杆内面积(Ar)、包含研究对象区域的矩形距离X轴的距离(Dx)、研究对象质心到栏杆的距离(D1)特征之后，满足下列任一条件即可判断母猪正在进食，条件如下(单位为像素)：
(1)Ar≥2000
(2)1300≤Ar＜2000&Dl＜120
(3)500≤Ar＜1300&Dx＜100
第六步：判断母猪饮水行。在猪舍中，只有一个饮水处并且其位置是固定的，提取的母猪头部的边缘与饮水处之间的距离在20像素内，质心与饮水处位置距离100像素内判断为母猪正在饮水，母猪饮水行为的二值图像如图6所示。
第七步：Hog特征提取。首先提取二值化图像之前的灰度图像，为方便处理将图像缩放为[256，256]。对图像在x和y方向上使用[-1，0，1]以及[-1，0，1]T的两个模板在图像上滑动，从而计算x和y方向上的梯度，以及方向和幅值。统计图像局部梯度信息，设定每个单元(cell)为8×8个像素，梯度方向限定在[0，π]，梯度方向平均分为9个方向块(bin)，即每个方向块为20度。对cell内每个像素用梯度方向在直方图中进行加权投影，计算单元(cell)的每个像素的梯度信息后，将相邻的单元(cell)组合在一起形成一个大的空间块(block)。对块(block)内的四个单元(cell)的特征向量进行归一化。采用滑动窗口的方法，用block对样本图像进行扫描，扫描步长为一个cell，最后将所有块(block)的特征串联得到母猪行为的特征，图7、图8、图9、图10分别为母猪站立、趴卧、侧躺、卧立行为提取的hog特征示意图。
第八步：母猪站立、趴卧、侧躺、卧立行为分类。提取母猪灰度图像的HOG特征后将其作为输入向量,输入到支持向量机中,构建线性支持向量机分类器；最后,通过训练得到母猪行为分类器，对母猪站立、趴卧、侧躺、卧立行为进行预测分类。
在本发明上述实施例的基础上，提供一种基于热成像的母猪产前行为分类系统，如图11所示，包括：
第一获取模块111，用于从猪舍上方获取包含母猪和围栏的红外图像；
第二获取模块112，用于获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；
提取模块113，用于对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
判断模块114，用于将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
本发明实施例提供的基于热成像的母猪产前行为分类系统，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
本发明实施例提供基于热成像的母猪产前行为分类方法，通过使用红外热像仪采集图像信息，并处理数据，提取图像的特征数据，判断图像中母猪的行为。具有减少劳动力、实时检测母猪产前为变化的特点。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行如下方法：从猪舍上方获取包含母猪和围栏的红外图像；获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：从猪舍上方获取包含母猪和围栏的红外图像；获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于热成像的母猪产前行为分类方法，其特征在于，包括：
从猪舍上方获取包含母猪和围栏的红外图像；
获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；
对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
2.根据权利要求1所述的母猪产前行为分类方法，其特征在于，还包括：
获取母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水。
3.根据权利要求1所述的母猪产前行为分类方法，其特征在于，还包括：
提取兴趣区图像的HOG特征，利用支持向量机对母猪站立、趴卧、侧躺、卧立行为进行分类识别。
4.根据权利要求1所述的基于热成像的母猪产前行为分类方法，其特征在于，所述对兴趣区图像进行边缘检测，提取栏杆直线作为分界线的步骤进一步包括：
对兴趣区图像使用梯度进行彩色边缘检测；
基于霍夫变换对兴趣区图像进行直线检测，检测出栏杆最上端所在位置，即求出栏杆所在位置的直线方程以及角度信息。
5.根据权利要求1所述的基于热成像的母猪产前行为分类方法，其特征在于，所述基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为：
满足下列任一条件即可判断母猪正在进食，条件如下(单位为像素)：
Ar大于等于第一像素值；
Ar小于第一像素值、Ar大于等于第二像素值，且母猪二值图像质心到栏杆的距离小于第四像素值；
Ar大于等于第三像素值、Ar小于第二像素值，且母猪二值图像外接矩形距离x轴的距离小于第五像素值；
其中，第一像素值大于第二像素值，第二像素值大于第三像素值，第三像素值大于第四像素值，第四像素值大于第五像素值；Ar为母猪二值图像在栏杆内的面积。
6.根据权利要求2所述的基于热成像的母猪产前行为分类方法，其特征在于，基于母猪二值图像距离饮水处位置以及其母猪二值图像的质心到饮水处的距离判断母猪是否饮水的步骤，进一步包括：
在猪舍中只有一个饮水处并且其位置是固定的，当提取的母猪二值图像的头部边缘与饮水处之间的距离在n个像素内，且母猪二值图像的质心与饮水处位置距离m像素内，则判断母猪正在饮水；n小于m。
7.根据权利要求3所述的母猪产前行为分类方法，其特征在于，利用支持向量机对母猪站立、趴卧、侧躺、卧立行为中的一种进行分类，进一步包括：采用一对一的投票策略方式使用支持向量机根据猪的行为特征对母猪行为进行分类识别。
8.一种基于热成像的母猪产前行为分类系统，其特征在于，包括：
第一获取模块，用于从猪舍上方获取包含母猪和围栏的红外图像；
第二获取模块，用于获取所述红外图像中包含母猪的兴趣区图像，确定栏杆处于所述兴趣区图像中的位置；
提取模块，用于对兴趣区图像进行边缘检测，提取栏杆直线作为分界线，以求取栏杆以下母猪头部面积；
判断模块，用于将兴趣区图像转换为二值图像，选取最大面积区域为母猪二值图像，获取母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离，基于母猪二值图像在栏杆内的面积、母猪二值图像外接矩形距离x轴的距离以及母猪二值图像质心到栏杆的距离判断母猪是否发生进食行为。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于热成像的母猪产前行为分类方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于热成像的母猪产前行为分类方法的步骤。
CN201910733662.2A 2019-08-09 2019-08-09 基于热成像的母猪产前行为分类方法及系统 Active CN110532899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910733662.2A CN110532899B (zh) 2019-08-09 2019-08-09 基于热成像的母猪产前行为分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910733662.2A CN110532899B (zh) 2019-08-09 2019-08-09 基于热成像的母猪产前行为分类方法及系统

Publications (2)

Publication Number Publication Date
CN110532899A true CN110532899A (zh) 2019-12-03
CN110532899B CN110532899B (zh) 2022-04-05

Family

ID=68662246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910733662.2A Active CN110532899B (zh) 2019-08-09 2019-08-09 基于热成像的母猪产前行为分类方法及系统

Country Status (1)

Country Link
CN (1) CN110532899B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401182A (zh) * 2020-03-10 2020-07-10 北京海益同展信息科技有限公司 针对饲喂栏的图像检测方法和装置
CN111401386A (zh) * 2020-03-30 2020-07-10 深圳前海微众银行股份有限公司 牲畜舍栏的监控方法、装置、智能巡航机器人及存储介质
CN112528772A (zh) * 2020-11-27 2021-03-19 中国农业大学 基于热红外的奶牛跛行运动特征检测方法及装置
CN113842122A (zh) * 2021-09-24 2021-12-28 西南大学 一种哺乳母猪生理参数智能采集系统
TWI789598B (zh) * 2020-06-17 2023-01-11 國立成功大學 牲畜異常監測系統、方法、電腦程式產品及電腦可讀取紀錄媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259369A1 (en) * 2011-05-09 2013-10-03 Catherine Grace McVey Image analysis for determining characteristics of pairs of individuals
CN106295558A (zh) * 2016-08-08 2017-01-04 华南农业大学 一种猪只行为节律分析方法
CN106778784A (zh) * 2016-12-20 2017-05-31 江苏大学 基于机器视觉的猪个体识别与饮水行为分析方法
CN108717523A (zh) * 2018-04-26 2018-10-30 华南农业大学 基于机器视觉的母猪发情行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259369A1 (en) * 2011-05-09 2013-10-03 Catherine Grace McVey Image analysis for determining characteristics of pairs of individuals
CN106295558A (zh) * 2016-08-08 2017-01-04 华南农业大学 一种猪只行为节律分析方法
CN106778784A (zh) * 2016-12-20 2017-05-31 江苏大学 基于机器视觉的猪个体识别与饮水行为分析方法
CN108717523A (zh) * 2018-04-26 2018-10-30 华南农业大学 基于机器视觉的母猪发情行为检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
廖家才: "基于视觉的护栏清洗车偏离预警系统", 《汽车安全与节能学报》 *
杨秋妹: "猪只饮水行为机器视觉自动识别", 《农业机械学报》 *
陈紫城: "基于时空兴趣点的生猪行为识别", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401182A (zh) * 2020-03-10 2020-07-10 北京海益同展信息科技有限公司 针对饲喂栏的图像检测方法和装置
CN111401182B (zh) * 2020-03-10 2023-12-08 京东科技信息技术有限公司 针对饲喂栏的图像检测方法和装置
CN111401386A (zh) * 2020-03-30 2020-07-10 深圳前海微众银行股份有限公司 牲畜舍栏的监控方法、装置、智能巡航机器人及存储介质
TWI789598B (zh) * 2020-06-17 2023-01-11 國立成功大學 牲畜異常監測系統、方法、電腦程式產品及電腦可讀取紀錄媒體
CN112528772A (zh) * 2020-11-27 2021-03-19 中国农业大学 基于热红外的奶牛跛行运动特征检测方法及装置
CN113842122A (zh) * 2021-09-24 2021-12-28 西南大学 一种哺乳母猪生理参数智能采集系统
CN113842122B (zh) * 2021-09-24 2024-02-23 西南大学 一种哺乳母猪生理参数智能采集系统

Also Published As

Publication number Publication date
CN110532899B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110532899A (zh) 基于热成像的母猪产前行为分类方法及系统
Chen et al. Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning
Yang et al. A review of video-based pig behavior recognition
Chen et al. Recognition of feeding behaviour of pigs and determination of feeding time of each pig by a video-based deep learning method
Yang et al. Feeding behavior recognition for group-housed pigs with the Faster R-CNN
Okinda et al. A review on computer vision systems in monitoring of poultry: A welfare perspective
Fang et al. Pose estimation and behavior classification of broiler chickens based on deep neural networks
Hu et al. Cow identification based on fusion of deep parts features
Achour et al. Image analysis for individual identification and feeding behaviour monitoring of dairy cows based on Convolutional Neural Networks (CNN)
CN106778902B (zh) 基于深度卷积神经网络的奶牛个体识别方法
Guo et al. Multi-object extraction from topview group-housed pig images based on adaptive partitioning and multilevel thresholding segmentation
Zin et al. Image technology based cow identification system using deep learning
Fang et al. Comparative study on poultry target tracking algorithms based on a deep regression network
Alameer et al. Automatic recognition of feeding and foraging behaviour in pigs using deep learning
Chen et al. Classification of drinking and drinker-playing in pigs by a video-based deep learning method
Li et al. Deep cascaded convolutional models for cattle pose estimation
Zhu et al. Recognition and drinking behaviour analysis of individual pigs based on machine vision
US9971876B2 (en) Method, system and electronic device for diet management
Qiao et al. C3D-ConvLSTM based cow behaviour classification using video data for precision livestock farming
Chen et al. A computer vision approach for recognition of the engagement of pigs with different enrichment objects
Jia et al. Segmentation of body parts of cows in RGB-depth images based on template matching
CN116778430B (zh) 肉牛养殖的疾病监测系统及其方法
Ibrahim Aliyu et al. A proposed fish counting algorithm using digital image processing technique
Lodkaew et al. CowXNet: An automated cow estrus detection system
CN109086696B (zh) 一种异常行为检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant