CN111382674B - 一种基于视觉显著性的攻击行为猪的识别方法 - Google Patents

一种基于视觉显著性的攻击行为猪的识别方法 Download PDF

Info

Publication number
CN111382674B
CN111382674B CN202010111967.2A CN202010111967A CN111382674B CN 111382674 B CN111382674 B CN 111382674B CN 202010111967 A CN202010111967 A CN 202010111967A CN 111382674 B CN111382674 B CN 111382674B
Authority
CN
China
Prior art keywords
attack
optical flow
value
pig
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010111967.2A
Other languages
English (en)
Other versions
CN111382674A (zh
Inventor
朱伟兴
张圆成
李新城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010111967.2A priority Critical patent/CN111382674B/zh
Publication of CN111382674A publication Critical patent/CN111382674A/zh
Application granted granted Critical
Publication of CN111382674B publication Critical patent/CN111382674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87—Re-use of by-products of food processing for fodder production

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉显著性的攻击行为猪的识别方法，属于数字图像处理技术领域。首先对获得的实时监控视频，利用基于金字塔分层的Lucas‑kanada光流法对采集到的图像进行光流信息的提取，其次根据相邻帧间光流方向差分图和猪的光流面积判断该帧是否具有攻击嫌疑。再次，分别利用超像素间在颜色上的距离之和以及光流的速度信息来进行空间域显著图的提取和时域显著图的提取。最后，对前面得到的空间域显著图和时域显著图经过归一化处理后进行融合，来识别具有攻击行为的猪。该方法的准确率达89.33％，且对正确识别出的攻击事件均能准确的提取出参与猪只，为采用视觉显著性技术识别出猪圈中具有攻击行为的猪提供了新思路。

Description

一种基于视觉显著性的攻击行为猪的识别方法
技术领域
本发明属于数字图像处理技术领域，涉及视觉显著性检测和发生攻击行为的猪的识别，具体涉及一种基于视觉显著性的猪的攻击行为的判断及发生攻击行为的猪的识别。
背景技术
在计算机视觉领域中视觉显著性检测一直是一个重要的研究方向。它能通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。目前，国内外对视觉显著性图像处理领域主要应用在图像检索、目标跟踪、图像压缩和人群异常行为检测等方面。然而，利用视觉显著性检测技术在农业领域特别是养殖行业中群养猪的攻击行为识别的研究还是很稀少的。这对该领域的研究来说既是机遇也是挑战。在视觉显著性检测方面深度学习的应用代表了对象检测中最先进的水平，然而在本文中我们得到的数据集并不大，因此使用传统的算法仍然是有效便捷的方法。对于在光照强度复杂的猪圈中提取颜色不一的攻击性猪的任务，单一的空间域显著性或者时域显著性特征都不能很好的完成这个任务。针对这些问题，本论文对发生攻击事件的猪只分别进行空间域和时间域的显著性特征提取，最后结合空间域显著图超像素内部空间的连续性和时间域显著图攻击事件区域发生的确定性，利用归一化后的融合方法识别出监控视频中具有攻击行为的猪。实验表明，基于视觉显著性的攻击行为猪的识别方法是有效可行的，同时为群养猪的攻击行为识别提供了新的思路和方法。
发明内容
本发明的目的设计出一种基于视觉显著性的攻击行为猪的识别方法。利用空间域显著图和时间域显著图各自优点分别从复杂的猪圈环境中提取前景猪和从不同的猪的运动状态下定位攻击行为，将较为复杂的包含颜色、距离、速度等多特征的综合处理转化为分别处理，降低了在猪圈环境中攻击行为猪的识别方法的复杂性，最后对时空显著图归一化后进行融合完成攻击行为猪的识别。
本发明所采用的技术方案是：一种基于视觉显著性的攻击行为猪的识别方法，其特征在于包括以下步骤：
(1)采集猪圈中带有攻击事件的彩色俯视群养猪视频；
(2)对猪舍中的群养猪目标图像利用基于金字塔分层的Lucas-kanada光流法进行光流信息的提取；
(3)猪的攻击事件判断的处理包括相邻帧间光流方向差分图的构建，一种新的根据相邻帧间光流方向差分图和猪的光流面积作出发生猪的攻击事件标准的判定方法；
(4)空间域显著图的处理，即对判断为包含猪的攻击事件的图像进行SLIC(简单线性迭代聚类法)超线性像素分割后求所分割的超像素的颜色值，并挨个计算超像素与整个图像上其它所有超像素在颜色上的距离之和作为该超像素的空间域显著值；
(5)时间域显著图的处理，即利用得到的光流信息对包含猪的攻击事件的连续帧图像进行事件区域的分割后选取攻击区域，忽略非攻击区域，并且将攻击区域的光流值映射到灰度图形成时间域显著图；
(6)时空显著图融合的处理，一种新的利用时间域显著图攻击事件区域的确定性和空间域显著图同一超像素内颜色值的连续性，将时空显著图融合起来；
(7)通过时空显著图的融合以达到理想的检测效果识别出发生攻击行为的猪。
步骤(3)所述内容，具体描述如下：考虑到猪在正常行走时，相邻帧间光流的速度和方向的变化是缓慢的，当猪圈中发生攻击行为时，猪会因为愤怒、惊吓等原因而快速移动，此时相邻帧间光流的方向和速度会产生剧烈地变化。因此利用光流方向差分图来判断猪圈中是否发生了攻击行为是一个极其好的方法。具体步骤如下：
①将0-360度的空间方向化分成12等分，每个方向区间为30度，从水平0度开始。
②利用基于金字塔分层的lucas-kanada光流法对视频中的每帧图像提取的光流信息将光流点分布到对应的方向区间。光流点的角度θ及幅值|d|的计算公式如下：
上式中，dx和dy表示点(x,y)处光流在水平和垂直方向上的速度分量，θ(x,y)表示该点光流方向与水平方向的夹角度数，|d|表示该点光流的幅值。建立一个12维方向向量V，包含12个角度区间分量Vi(i＝1,2,…,12)，每个区间30度，如区间i＝1,相应的区间分量V1就表示从水平0度到30度区间中光流点的个数。计算出任一光流点(x,y)在水平和垂直方向上速度的大小dx和dy，就可以得到θ的值，进而确定该点所属的方向区间Vi。
③对于前后相邻帧的光流区间分布Vi和Vi+1(Vi表示在第i帧光流的12维方向向量V)，做差后求绝对值，便得到相邻帧间光流方向差分图DOH，其计算公式如下：
DOHi＝|Vi-Vi+1| (3)
针对猪圈中发生猪的攻击事件难以判断等问题，本文提出了通过利用上文提取出的连续帧间猪的光流方向差分图和猪的光流面积信息来进行攻击事件的判断。当猪发生剧烈地运动时有两种情况：突发性地非攻击运动如跑动，此时，猪虽然在相邻帧间速度变化的幅度很大，但是这种情况下的突然运动是单一方向的运动，即在一个方向区间上幅值变化很大；发生攻击事件，当攻击行为产生后，由于猪的肢体发生了剧烈碰撞，因此在连续帧间猪的运动方向会产生变化，在DOH上表现出来的是在多个方向区间上有明显的幅值变化。根据Vi的12个区间的幅值变化，设置一个嫌疑性幅值阈值Vm。为了选取最小阈值Vm，考虑到猪之间发生攻击事件最少参与者是2只，产生最小光流变化的攻击行为是头-头攻击且其在最极端的情况下是一只猪的头部呈直线型攻击了另一只猪的头部，因此在5分帧有限的时间下的连续帧图像中，攻击事件发生的方向变化在90度范围内，所以只需要在DOH图中有三个连续的方向区间的幅值和大于猪头面积即可。对本次数据集中任意十张图中7只猪共70只猪求猪的平均面积SP＝61700像素，猪头的平均面积SH＝12783像素，SH缩小20倍后是639像素，考虑到上文所述情况，只需要判断在三个相邻的方向区间上其幅值和大于639像素即可，本文取Vm＝639。当存在Vi-1+Vi+Vi+1>＝Vm时，即相邻帧间光流在i和i±1方向区间上幅值和的变化大于等于Vm时，该连续帧被判为有攻击嫌疑，其中Vi-1、Vi及Vi+1为光流方向差分图上三个相邻方向区间上光流点的个数，当i＝0时，V0＝V12，表示区间分量V12为从水平330度到360度区间中光流点的个数；当没有找到一组连续三个区间上的幅值和大于Vm时，与上述情况正好相反，表示猪只正常活动。
步骤(4)所述内容，具体描述如下：考虑到图像的相邻像素之间在色彩，纹理上会因相似性而在一定区域内出现聚集的特征，因此根据像素之间的颜色相似性以及空间位置上的接近程度，利用SLIC超线性像素分割法将像素聚类，然后对形成的超级像素所包含的像素求颜色值的平均值作为其颜色值，再挨个计算每个超级像素与图像中其它所有超级像素在颜色上的距离之和作为该像素的显著值，最后形成空间域显著图。具体步骤如下：
①先将图像由RGB色彩空间转换到Lab色彩空间，然后SLIC算法通过将像素的L、a、b值(L表示亮度，a和b表示颜色对立维度)和其对应的X、Y坐标所构成的5维特征向量构造距离度量标准，最后图像进行局部聚类，形成超像素。
②对每个超像素内像素的颜色值求平均作为该超像素的颜色值。
③定义一幅图像中第i个超像素Ci和第j个超像素Cj间的颜色距离度差异Dr(ci,cj)为：
④对每个超像素Ck，通过测量它与图像中其它超像素的颜色值的对比度来计算它的显著性值：
式(5)中，ci为超像素的颜色值，n为图像中超像素所含颜色总数，W(ci)为ci在在图像中出现的概率。
⑤空间加权对比度：加入空间信息以增加区域的空间影响效果。较近的区域增大影响，较远的区域减小影响。对任意的超像素ck，基于空间加权区域对比度的显著性定义为：
式(7)中，Ds(ck,ci)为区域ck和ci的空间距离，定义为两个区域中心的欧氏距离,(xk，yk)和(xi，yi)分别为两个区域中心的坐标。σs表示空间权值强度，其值越大代表较远区域的对比度会对当前区域的显著性值做出较大的贡献，本论文中σs 2取0.4，像素坐标归一化到[0,1]区间。步骤(5)所述内容，具体描述如下：考虑到当群养猪中发生攻击事件时，发生攻击行为的猪具有较大的光流值并且附近的光流点出现了聚集现象。故本文将出现多处聚集的连通区域定义为事件区域，结合事件区域的面积因素和光流幅值因素选取攻击区域，屏蔽非攻击区域，最后将攻击区域光流的幅值映射到灰度图，形成时间域显著图。具体步骤如下：
①按照速度从大到小的顺序，对光流点依次排序。从速度最大的点开始分割，对其邻域进行生长直到光流点速度大小为0，该区域记为一个事件区域。对第二大速度的光流点进行上述操作，若该点已被划分到事件区域，则对剩下的点依次重复上述操作，直到结束。
②将所划分的事件区域按照面积从大到小依次排序。因为猪圈中共有七只猪且发生攻击事件至少需要两只，所以我们只取面积前三大的区域作为待选取的攻击区域。对待选取的攻击区域分别求其光流点速度值的平均值，选取速度平均值最大的区域作为攻击区域。
③令非攻击区域速度值为0，攻击区域内的速度值映射到图像的灰度值[0,255]区间形成时间域显著图。速度值的最大值为Emax，最小值为Emin，则其对应的灰度值：
步骤(6)所述内容，具体描述如下：考虑到猪圈中有阴暗和明亮的环境差异，猪有黑色、白色和花色不同的颜色特征，猪有全部和部分身体参与的攻击方式，难以仅利用时间域显著图很好地检测出参与攻击事件的猪，故本文充分利用时间域和空间域显著图的特点将两图融合起来，以达到理想的检测效果。具体步骤如下：
①先判断时间域显著图S2上某点(i,j)处的灰度值S2(i,j)是否为0，若不为0，判断空间域显著图(i,j)处的S1(i,j)是否为0，若为0，此时该点可能是处在攻击的黑猪身上，也有可能是处在攻击猪的边缘外，这种情况下是因为猪只在运动时它的周围地面也会产生光流信息，而它们所处的地面在空间域显著值为0，这两种情况下空间域上的灰度信息并不能提供什么帮助，令融合后的显著图S上(i,j)处的灰度值S(i,j)＝S2(i,j)；若不为0，说明此时该点是处在发生在攻击区域的白猪身上，此时灰度值取S(i,j)，此时的显著图既能同时包含着时空信息，又能使得在同一超像素内保持很好地空间连续性。
②若S2(i,j)为0，此点除了有可能在未发生攻击的事件区域外，还有可能是在猪的只有部分身体参与攻击的情况下，未参与攻击的身体部位处。此时只要判断该点所处的超像素内其它点的时间域显著值是否为0，全为0则说明该点极有可能在未发生攻击的事件区域，是则令S(i,j)为0；不全为0则说明这个点是处在第二种情况下，因为S1的每个点的颜色值等于它所处的超级像素区域内的所有点颜色值，除非整个超级像素内的点都恰好全部落在未参与攻击的身体部位处，这种概率是极其低的，此时该点的显著值S(i,j)取同一超像素内时间域显著值非0的距离它最近点的显著值。
③融合后的显著图上某点的显著值S(i,j)用到的是归一化相加融合的方法：
S(i,j)＝w1S1(i,j)+w2S2(i,j) (9)
其中S1是空间域显著图，S2是时间域显著图，diff＝max(S2(i,j))-median(S2(i,j))，w为常量，取值范围是0.3～0.5，现在将w取0.5，w1、w2及diff为中间变量，max(S2(i，j))为当前时间域显著图中的灰度值的最大值，median(S2(i，j))为当前时间域显著图中灰度值的中值；当diff值较大时即说明运动特征具有明显的对比度。
本发明的技术效果为：
(1)本文首次提出结合时间域显著图攻击事件区域发生的确定性和空间域显著图超级像素内部空间的连续性的各自优点来解决攻击行为猪的识别问题，这是首次利用视觉显著性方法来识别攻击行为的猪，且能很好地完成在光照强度复杂的猪圈中提取颜色不一的攻击性猪的方法。
(2)本文采用的基于金字塔分层的Lucas-kanada光流法来完成光流信息的提取，通过减小图像尺寸避免了两帧之间物体的运动位移较大时，算法出现较大的误差。
(3)本文提出一种根据相邻帧间光流方向差分图和猪的光流面积来作出猪的攻击事件的判定方法，该方法不仅可以极大地降低了突发性地非攻击事件如跑动被误判为攻击事件的情况且忽略了利用光流点的幅值来参与判断从而极大地降低了运算量。
(4)本文采用的对攻击事件图像进行SLIC超线性像素分割的方法来提取空间域显著图，不仅使得到的空间域显著图内部轮廓紧凑且均匀，而且还极大地较少了数据处理量，提高了运算速度。
(5)本文采用的利用光流的连通区域的面积大小和光流幅值大小来选取攻击区域，前者可以避免因受惊吓单独逃窜速度值较高的猪被误判为时域显著图的显著区域，而后者则可避免正常活动的猪聚集起来因面积大而被误判为显著区域。
(6)本文提出的融合方法可已很好地面对猪圈中阴暗和明亮的环境差异问题，猪的白色、黑色和花色多种颜色特征，猪有跑动、攻击和正常活动不同行为方式的复杂情况，以达到理想的检测效果。
附图说明
图1是本发明攻击事件判断的算法流程图；
图2是本发明空间域显著图提取的算法流程图；
图3是本发明时间域显著图提取的算法流程图；
图4是本发明时空显著图融合的算法流程图；
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明，但本发明的保护范围并不限于此。
(1)采集目标图像。
具体方法如下：利用加拿大灰点工业相机FL3-U3-88S2C-C，使用Kowa LM6NCL6.0mm镜头(Kowa Company Ltd.，Japan)，其分辨率为1760*1840像素，此次研究只需要捕捉到猪圈内的图像信息，其所占像素为1374*1491。所拍猪圈长2米，宽2米，相机位于猪圈上方，相对于地面高度为2.8米。该相机可以捕获群养猪的俯视RGB颜色图像。使用软件PointGrey FlyCap2将相机连接到计算机，并将视频记录在MJPEG中。在2015年6月16日至2015年6月20日期间进行了10次重复实验。在每次实验中，将从两个猪圈中的三窝7只平均体重为24公斤的仔猪进行混合，体色为两只白猪、两只花猪和三只黑猪。在建立后的前3小时(8:00-11:00)拍摄每秒5帧的视频，然后在大约24小时后再拍摄3小时。
(2)提取图像的光流信息。
具体方法如下：为了得到连续帧图像的光流信息，通过使用基于金字塔分层的Lucas-kanada光流法，先缩小图像的尺寸来减少图像中物体的运动位移，避免了两帧之间物体的运动位移较大时，算法可能会出现较大的误差情况，再计算每个点在下一帧同一位置处的邻域内的匹配误差和的最小处，构成方向向量完成光流信息的提取。
(3)攻击事件的判断。
具体方法如下：算法流程图如图1所示，首先考虑到猪在正常行走时，相邻帧间光流的幅值和方向的变化是缓慢的。当猪圈中发生攻击行为时，猪会因为愤怒、惊吓等原因而快速移动，此时相邻帧间光流的方向和速度会产生剧烈地变化。因此利用光流方向差分图来判断猪圈中是否发生了攻击行为是一个极其好的方法。具体步骤如下：
①将0-360度的空间方向化分成12等分，每个方向区间为30度，从水平0度开始。
②利用基于金字塔分层的lucas-kanada光流法对视频中的每帧图像提取的光流信息将光流点分布到对应的方向区间。光流点的角度θ及幅值|d|的计算公式如下：
V＝∑Vj,j＝1,2,…,12 (3)
上式中，dx和dy表示点(x,y)处光流在水平和垂直方向上的分量，θ(x,y)表示该点光流方向与水平方向的夹角度数，|d|表示该点光流的幅值。建立一个12维方向向量V，包含12个角度区间分量Vi(i＝1,2,…,12)，每个区间30度，如区间i＝1,相应的区间分量V1就表示从水平0度到30度区间中光流点的个数。计算出任一光流点(x,y)在水平和垂直方向上速度的大小dx和dy，就可以得到θ的值，进而确定该点所属的方向区间Vi。
③对于前后相邻帧的光流区间分布Vi和Vi+1(Vi表示在第i帧光流的12维方向向量V)，做差后求绝对值，便得到相邻帧间光流方向差分图DOH，其计算公式如下：
DOHi＝|Vi-Vi+1| (4)
其次，是利用上文提取出的连续帧间猪的光流方向差分图和光流面积信息来进行攻击事件的判断。当猪发生剧烈地运动时有两种情况：突发性地非攻击运动如跑动，此时，猪虽然在相邻帧间速度变化的幅度很大，但是这种情况下的突然运动是单一方向的运动，即在一个方向区间上幅值变化很大；发生攻击事件，当攻击行为产生后，由于猪的肢体发生了剧烈碰撞，因此在连续帧间猪的运动方向会产生变化，在DOH上表现出来的是在多个方向区间上有明显的幅值变化。根据Vi的12个区间的幅值变化，设置一个嫌疑性幅值阈值Vm。为了选取最小阈值Vm，考虑到猪之间发生攻击事件最少参与者是2只，产生最小光流变化的攻击行为是头-头攻击且其在最极端的情况下是一只猪的头部呈直线型攻击了另一只猪的头部，因此在5分帧有限的时间下的连续帧图像中，攻击事件发生的方向变化在90度范围内，所以只需要在DOH图中有三个连续的方向区间的幅值和大于猪头面积即可。对本次数据集中任意十张图中7只猪共70只猪求猪的平均面积SP＝61700像素，猪头的平均面积SH＝12783像素，SH缩小20倍后是639像素，考虑到上文所述情况，只需要判断在三个相邻的方向区间上其幅值和大于639像素即可，本文取Vm＝639.当存在Vi-1+Vi+Vi+1>＝Vm时，即相邻帧间光流在i和i±1方向区间上幅值和的变化大于等于Vm时，该连续帧被判为有攻击嫌疑，其中Vi-1、Vi及Vi+1为光流方向差分图上三个相邻方向区间上光流点的个数，当i＝0时，V0＝V12，表示区间分量V12为从水平330度到360度区间中光流点的个数；当没有找到一组连续三个区间上的幅值和大于Vm时，与上述情况正好相反，表示猪只正常活动。
(4)空间域显著图的提取。
具体方法如下：算法流程图如图2，考虑到图像的相邻像素之间在色彩，纹理上会因相似性而在一定区域内出现聚集的特征，因此根据像素之间的颜色相似性以及空间位置上的接近程度，利用SLIC超线性像素分割法将像素聚类，然后对形成的超级像素所包含的像素求颜色值的平均值作为其颜色值，再挨个计算每个超级像素与图像中其它所有超级像素在颜色上的距离之和作为该像素的显著值，最后形成空间域显著图。具体步骤如下：
①先将图像由RGB色彩空间转换到Lab色彩空间，然后SLIC算法通过将像素的L、a、b值(L表示亮度，a和b表示颜色对立维度)和其对应的X、Y坐标所构成的5维特征向量构造距离度量标准，最后图像进行局部聚类，形成超像素。
②对每个超像素内像素的颜色值求平均作为该超像素的颜色值。
③定义一幅图像中第i个超像素Ci和第j个超像素Cj间的颜色距离度差异Dr(ci,cj)为：
④对每个超像素Ck，通过测量它与图像中其它超像素的颜色值的对比度来计算它的显著性值：
式(5)中，ci为超像素的颜色值，n为图像中超像素所含颜色总数，W(ci)为ci在在图像中出现的概率。
⑤空间加权对比度：加入空间信息以增加区域的空间影响效果。较近的区域增大影响，较远的区域减小影响。对任意的超像素ck，基于空间加权区域对比度的显著性定义为：
式(7)中，Ds(ck,ci)为区域ck和ci的空间距离，定义为两个区域中心的欧氏距离，(xk，yk)和(xi，yi)分别为两个区域中心的坐标。σs表示空间权值强度，其值越大代表较远区域的对比度会对当前区域的显著性值做出较大的贡献，本论文中σs 2取0.4，像素坐标归一化到[0,1]区间。
(5)时间域显著图的提取。
具体方法如下：算法流程图如图3，考虑到当群养猪中发生攻击事件时，发生攻击行为的猪具有较大的光流值并且附近的光流点出现了聚集现象。所以将出现多处聚集的连通区域定义为事件区域，结合事件区域的面积因素和光流幅值因素选取攻击区域，屏蔽非攻击区域，最后将攻击区域光流的幅值映射到灰度图，形成时间域显著图。具体步骤如下：
①按照速度从大到小的顺序，对光流点依次排序。从速度最大的点开始分割，对其邻域进行生长直到光流点速度大小为0，该区域记为一个事件区域。对第二大速度的光流点进行上述操作，若该点已被划分到事件区域，则对剩下的点依次重复上述操作，直到结束。
②将所划分的事件区域按照面积从大到小依次排序。因为猪圈中共有七只猪且发生攻击事件至少需要两只，所以我们只取面积前三大的区域作为待选取的攻击区域。对待选取的攻击区域分别求其光流点速度值的平均值，选取速度平均值最大的区域作为攻击区域。
③令非攻击区域速度值为0，攻击区域内的速度值映射到图像的灰度值[0,255]区间形成时间域显著图。速度值的最大值为Emax，最小值为Emin，则其对应的灰度值：
(6)时空显著图的融合。
具体方法如下：算法流程图如图4，考虑到猪圈中有阴暗和明亮的环境差异，猪有黑色、白色和花色不同的颜色特征，猪有全部和部分身体参与的攻击方式，难以仅利用时间域显著图很好地检测出参与攻击事件的猪，所以充分利用时间域和空间域显著图的特点将两图融合起来，以达到理想的检测效果。具体步骤如下：
①先判断时间域显著图S2上某点(i,j)处的灰度值S2(i,j)是否为0，若不为0，判断空间域显著图(i,j)处的S1(i,j)是否为0，若为0，此时该点可能是处在攻击的黑猪身上，也有可能是处在攻击猪的边缘外，这种情况下是因为猪只在运动时它的周围地面也会产生光流信息，而它们所处的地面在空间域显著值为0，这两种情况下空间域上的灰度信息并不能提供什么帮助，令融合后的显著图S上(i,j)处的灰度值S(i,j)＝S2(i,j)；若不为0，说明此时该点是处在发生在攻击区域的白猪身上，此时灰度值取S(i,j)，此时的显著图既能同时包含着时空信息，又能使得在同一超像素内保持很好地空间连续性。
②若S2(i,j)为0，此点除了有可能在未发生攻击的事件区域外，还有可能是在猪的只有部分身体参与攻击的情况下，未参与攻击的身体部位处。此时只要判断该点所处的超像素内其它点的时间域显著值是否为0，全为0则说明该点极有可能在未发生攻击的事件区域，是则令S(i,j)为0；不全为0则说明这个点是处在第二种情况下，因为S1的每个点的颜色值等于它所处的超级像素区域内的所有点颜色值，除非整个超级像素内的点都恰好全部落在未参与攻击的身体部位处，这种概率是极其低的，此时该点的显著值S(i,j)取同一超像素内时间域显著值非0的距离它最近点的显著值。
③融合后的显著图上某点的显著值S(i,j)用到的是归一化相加融合的方法：
S(i,j)＝w1S1(i,j)+w2S2(i,j) (9)
其中S1是空间域显著图，S2是时间域显著图，diff＝max(S2(i,j))-median(S2(i,j))，w为常量，取值范围是0.3～0.5，现在将w取0.5，w1、w2及diff为中间变量，max(S2(i，j))为当前时间域显著图中的灰度值的最大值，median(S2(i，j))为当前时间域显著图中灰度值的中值；当diff值较大时即说明运动特征具有明显的对比度。
(7)定位出发生攻击行为的猪。
具体方法如下：将融合后的显著图的坐标对应到原图坐标中，从而检测出发生攻击行为的猪。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于视觉显著性的攻击行为猪的识别方法，其特征在于，包括以下步骤：
步骤1，采集猪圈中带有攻击事件的彩色俯视群养猪视频；
步骤2，对猪舍中的群养猪目标图像利用基于金字塔分层的Lucas-kanada光流法进行光流信息的提取；
步骤3，猪的攻击事件判断的处理：
步骤3.1，猪的相邻帧间光流方向差分图的构建；
步骤3.2，根据猪的相邻帧间光流方向差分图和光流面积对猪的攻击事件进行判断；
步骤4，空间域显著图的处理：
步骤4.1，超级像素的形成；
步骤4.2，确定超像素的颜色值和显著性值，形成空间域显著图；
步骤5，时间域显著图的处理：
步骤5.1，攻击区域的确定；
步骤5.2，将攻击区域的光流值映射到灰度图形成时间域显著图；
步骤6，将空间域显著图与时间域显著图融合为时空显著图的处理；
步骤7，识别出发生攻击行为的猪；
步骤2具体为：通过使用基于金字塔分层的Lucas-kanada光流法，先缩小图像的尺寸来减少图像中物体的运动位移，再计算每个点在下一帧同一位置处的邻域内的匹配误差和的最小处，构成方向向量完成光流信息的提取；
步骤3.1具体为：当猪在正常行走时，相邻帧间光流的幅值和方向的变化缓慢，当猪圈中发生攻击行为时，猪会快速移动，相邻帧间光流的方向和速度会产生剧烈变化，构建相邻帧间光流方向差分图包括：
步骤3.1.1，将0-360度的空间方向化分成12等分，每个方向区间为30度，从水平0度开始；
步骤3.1.2，利用基于金字塔分层的lucas-kanada光流法对视频中的每帧图像提取的光流信息将光流点分布到对应的方向区间；光流点的角度θ及幅值|d|的计算公式如下：
其中，dx和dy表示点(x,y)处光流在水平和垂直方向上的分量，θ(x,y)表示该点光流方向与水平方向的夹角度数，|d|表示该点光流的幅值；建立一个12维方向向量V，包含12个角度区间分量Vi(i＝1,2,…,12)，每个区间30度，如区间i＝1,相应的区间分量V1就表示从水平0度到30度区间中光流点的个数，计算出任一光流点(x,y)在水平和垂直方向上速度的大小dx和dy，就可以得到θ的值，进而确定该点所属的方向区间Vi；
步骤3.1.3，对于前后相邻帧的光流区间分布Vi和Vi+1，Vi表示在第i帧光流的12维方向向量V，做差后求绝对值，便得到相邻帧间光流方向差分图DOH，其计算公式如下：
DOHi＝|Vi-Vi+1| (3)；
步骤3.2具体为：当猪发生剧烈地运动时有两种情况；
第1种情况：突发性地非攻击运动，此时，猪虽然在相邻帧间速度变化的幅度很大，但是这种情况下的突然运动是单一方向的运动，即在一个方向区间上幅值变化很大；
第2种情况：发生攻击事件，当攻击行为产生后，由于猪的肢体发生了剧烈碰撞，因此在连续帧间猪的运动方向会产生变化，在DOH上表现出来的是在多个方向区间上有明显的幅值变化；根据Vi的12个区间的幅值变化，设置一个嫌疑性幅值阈值Vm，选取最小阈值Vm，发生攻击事件时最少参与猪是2只，产生最小光流变化的攻击行为是头-头攻击，最极端的情况下是一只猪的头部呈直线型攻击了另一只猪的头部，因此在5分帧有限的时间下的连续帧图像中，攻击事件发生的方向变化在90度范围内，所以只需要在DOH图中有三个连续的方向区间的幅值和大于猪头面积即可，当存在Vi-1+Vi+Vi+1>＝Vm时，即相邻帧间光流在i和i±1方向区间上幅值和的变化大于等于Vm时，该连续帧被判为有攻击嫌疑，其中，Vi-1、Vi及Vi+1为光流方向差分图上三个相邻方向区间上光流点的个数，当i＝0时，V0＝V12，表示区间分量V12为从水平330度到360度区间中光流点的个数；当没有找到一组连续三个区间上的幅值和大于Vm时，表示猪只正常活动；
步骤4具体为：考虑到图像的相邻像素之间在色彩，纹理上会因相似性而在一定区域内出现聚集的特征，因此根据像素之间的颜色相似性以及空间位置上的接近程度，对判断为包含猪的攻击事件的图像用简单线性迭代聚类法进行超线性像素分割，将像素聚类，然后对形成的超级像素所包含的像素求颜色值的平均值作为其颜色值，再逐个计算每个超级像素与整个图像中其它所有超级像素在颜色上的距离之和作为该超级像素的显著性值，最后形成空间域显著图；包括：
步骤4.1，先将图像由RGB色彩空间转换到Lab色彩空间，然后用简单线性迭代聚类法通过将像素的L、a、b值和其对应的X、Y坐标所构成的5维特征向量构造距离度量标准，其中L表示亮度，a和b表示颜色对立维度，最后图像进行局部聚类，形成超级像素；
步骤4.2.1，对每个超级像素内包含的所有像素的颜色值求平均值作为该超级像素的颜色值；
步骤4.2.2，确定超级像素的显著性值；
定义一幅图像中第i个超级像素Ci和第j个超级像素Cj间的颜色距离度差异Dr(ci,cj)为：
其中，Li、Lj分别为超级像素Ci、Cj的亮度值，ai、aj和bi、bj分别为超级像素Ci、Cj两种不同的颜色对立维度；
对每个超级像素Ck，通过测量它与图像中其它超像素的颜色值的对比度来计算它的显著性值Sp(ck)：
其中，ci为超像素的颜色值，n为图像中超像素所含颜色总数，W(ci)为ci在在图像中出现的概率；
步骤4.2.3，空间域显著图的形成空间加权对比度：加入空间信息以增加区域的空间影响效果，较近的区域增大影响，较远的区域减小影响，对任意的超像素Ck，基于空间加权区域对比度的显著性定义为：
超像素Ck和Ci的空间距离Ds(ck,ci)定义为两个区域中心的欧氏距离为：
其中，(xk，yk)和(xi，yi)分别为两个区域中心的坐标，σs表示空间权值强度，其值越大代表较远区域的对比度会对当前区域的显著性值做出较大的贡献，σs 2取0.4，像素坐标归一化到[0,1]区间；
步骤5具体为：考虑到当群养猪中发生攻击事件时，发生攻击行为的猪具有较大的光流值并且附近的光流点出现了聚集现象，将出现多处聚集的连通区域定义为事件区域，结合事件区域的面积因素和光流幅值因素选取攻击区域，屏蔽非攻击区域，最后将攻击区域光流的幅值映射到灰度图，形成时间域显著图；具体包括：
步骤5.1，利用得到的光流信息对包含猪的攻击事件的连续帧图像进行事件区域的分割后选取攻击区域，忽略非攻击区域；
步骤5.1.1，按照速度从大到小的顺序，对光流点依次排序，从速度最大的点开始分割，对其邻域进行生长直到光流点速度大小为0，该区域记为一个事件区域；对第二大速度的光流点进行操作，若该点已被划分到事件区域，则对剩下的点依次重复操作，直到结束；
步骤5.1.2，将所划分的事件区域按照面积从大到小依次排序；对待选取的攻击区域分别求其光流点速度值的平均值，选取速度平均值最大的区域作为攻击区域；
步骤5.2，令非攻击区域速度值为0，攻击区域内的速度值映射到图像的灰度值[0,255]区间形成时间域显著图；则其对应的灰度值G为：
其中，速度值的最大值为Emax，最小值为Emin。
2.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法，其特征在于：所述步骤1具体为：利用灰点工业相机，使用6.0mm镜头，其分辨率为1760*1840像素，捕捉猪圈内的图像信息，其所占像素为1374*1491，所拍猪圈长2米，宽2米，相机位于猪圈上方，离地面高度为2.8米；该相机捕获群养猪的俯视RGB颜色图像后，使用软件将相机连接到计算机，并将视频记录在MJPEG中。
3.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法，其特征在于：步骤6具体为：
时空显著图的处理，是利用时间域显著图攻击事件区域的确定性和空间域显著图同一超像素内颜色值的连续性，将二者融合起来的方法；考虑到猪圈中有阴暗和明亮的环境差异，猪有黑色、白色和花色不同的颜色特征，猪有全部和部分身体参与的攻击方式，难以仅利用时间域显著图很好地检测出参与攻击事件的猪，所以充分利用时间域显著图和空间域显著图的特点将二者融合起来，以达到检测效果；包括：
步骤6.1，先判断时间域显著图S2上某点(i,j)处的灰度值S2(i,j)是否为0，若不为0，判断空间域显著图S1上某点(i,j)处的灰度值S1(i,j)是否为0，若为0，此时点(i,j)在攻击的黑猪身上或者在攻击猪的边缘处，这种情况下是因为猪只在运动时它的周围地面也会产生光流信息，而它们所处的地面在空间域显著值为0，这两种情况下空间域上的灰度信息不能提供判断依据；
令融合后的显著图S上(i,j)处的灰度值S(i,j)＝S2(i,j)；若不为0，说明此时该点是处在发生在攻击区域的白猪身上，此时灰度值取S(i,j)，此时的显著图既能同时包含着时空信息，又能使得在同一超像素内保持很好地空间连续性；
步骤6.2，若S2(i,j)为0，则点(i,j)在未发生攻击的事件区域，或者在只有部分身体参与攻击的猪只上未参与攻击的身体部位处；
此时只要判断该点所处的超级像素内其它点的时间域显著值是否为0，若全为0则说明该点极有可能在未发生攻击的事件区域，则令S(i,j)为0；
若该点所处的超级像素内其它点的时间域显著值不全为0，则说明这个点是处在只有部分身体参与攻击的猪只上未参与攻击的身体部位处，因为S1的每个点的颜色值等于它所处的超级像素区域内的所有点颜色值，除非整个超级像素内的点都恰好全部落在未参与攻击的身体部位处，这种概率是极其低的，此时该点的显著值S(i,j)取同一超像素内时间域显著值非0的距离它最近点的显著值；
步骤6.3，融合后的时空显著图上某点的显著值S(i,j)用到的是归一化相加融合的方法：
S(i,j)＝w1S1(i,j)+w2S2(i,j) (9)
其中S1是空间域显著图，S2是时间域显著图，diff＝max(S2(i,j))-median(S2(i,j))，w为常量，取值范围是0.3～0.5，现在将w取0.5，w1、w2及diff为中间变量，max(S2(i，j))为当前时间域显著图中的灰度值的最大值，median(S2(i，j))为当前时间域显著图中灰度值的中值；当diff值较大时即说明运动特征具有明显的对比度。
4.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法，其特征在于：步骤(7)的具体描述如下：将融合后的时空显著图的坐标对应到原图坐标中，从而检测出发生攻击行为的猪。
CN202010111967.2A 2020-02-24 2020-02-24 一种基于视觉显著性的攻击行为猪的识别方法 Active CN111382674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111967.2A CN111382674B (zh) 2020-02-24 2020-02-24 一种基于视觉显著性的攻击行为猪的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111967.2A CN111382674B (zh) 2020-02-24 2020-02-24 一种基于视觉显著性的攻击行为猪的识别方法

Publications (2)

Publication Number Publication Date
CN111382674A CN111382674A (zh) 2020-07-07
CN111382674B true CN111382674B (zh) 2023-08-22

Family

ID=71219728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111967.2A Active CN111382674B (zh) 2020-02-24 2020-02-24 一种基于视觉显著性的攻击行为猪的识别方法

Country Status (1)

Country Link
CN (1) CN111382674B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704037B (zh) * 2023-08-08 2024-01-05 南京遇简信息科技有限公司 一种基于图像处理技术的卫星失锁重定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN110288613A (zh) * 2019-06-12 2019-09-27 中国科学院重庆绿色智能技术研究院 一种超高像素的组织病理图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679463A (zh) * 2017-09-15 2018-02-09 江苏大学 一种采用机器视觉技术识别群养猪攻击行为的分析方法
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN110288613A (zh) * 2019-06-12 2019-09-27 中国科学院重庆绿色智能技术研究院 一种超高像素的组织病理图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张圆成.基于视觉显著性的攻击行为的猪的识别方法研究.《硕士电子期刊》.2021,(第undefined期),全文. *

Also Published As

Publication number Publication date
CN111382674A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN110244322B (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
Jodoin et al. Extensive benchmark and survey of modeling methods for scene background initialization
Goyette et al. Changedetection. net: A new change detection benchmark dataset
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
TWI492188B (zh) 利用多攝影機自動偵測與追蹤多目標的方法及系統
CN104077605B (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN108596054A (zh) 一种基于多尺度全卷积网络特征融合的人群计数方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
CN110781853B (zh) 人群异常检测方法以及相关装置
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN111126190B (zh) 一种基于自由能理论和动态纹理分析的伪装人脸识别方法
CN103971384B (zh) 一种无线视频传感器节点协作目标跟踪方法
Mazzeo et al. HSV and RGB color histograms comparing for objects tracking among non overlapping FOVs, using CBTF
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN106951841B (zh) 一种基于颜色和距离聚类的多目标跟踪方法
CN111382674B (zh) 一种基于视觉显著性的攻击行为猪的识别方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN108765463A (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
Liu et al. Towards industrial scenario lane detection: vision-based AGV navigation methods
CN108280842B (zh) 一种克服光照突变的前景分割方法
CN110705394B (zh) 一种基于卷积神经网络的景区人群行为分析方法
CN111476156A (zh) 一种老鼠及其它小型动物实时智能监测算法
CN114943929A (zh) 基于图像融合技术的鱼类异常行为实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant