CN107886086A - 一种基于图像视频的目标动物检测方法及装置 - Google Patents
一种基于图像视频的目标动物检测方法及装置 Download PDFInfo
- Publication number
- CN107886086A CN107886086A CN201711249848.8A CN201711249848A CN107886086A CN 107886086 A CN107886086 A CN 107886086A CN 201711249848 A CN201711249848 A CN 201711249848A CN 107886086 A CN107886086 A CN 107886086A
- Authority
- CN
- China
- Prior art keywords
- mrow
- animal
- msub
- frame
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 5
- 230000003542 behavioural effect Effects 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 208000031295 Animal disease Diseases 0.000 description 1
- 238000003975 animal breeding Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图像视频的目标动物检测方法及装置。所述方法包括：利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。将帧间差分法和背景差分法相结合，针对静态背景下运动目标的检测，提高监控视频中生猪检测的实时性和准确率，产生更准确的结果，对全局光照变化具有较强的鲁棒性，能够准确地检测出运动目标，对生猪行为研究提供了很好的研究思路和理论探索。
Description
技术领域
本发明涉及数字视频图像处理领域，更具体地，涉及一种基于图像视频的目标动物检测方法及装置。
背景技术
中国是一个动物养殖大国，据统计，动物的存栏率、出栏率和猪肉产量等各项统计数据都位居全球第一。随着养殖规模化、集约化的不断推广，养殖风险也逐渐增加。实时监控动物个体的健康状况变化，记录动物在每天的行为活动，为动物的生长和健康状况的评判提供依据。对动物个体实时检测和记录，有助于提前发现动物的异常行为，及时采取相应的措施，降低动物疾病的发生。
运动目标检测是从视频图像中去除背景内容，检测出运动目标及其携带的运动信息，准确有效的检测算法，影响着运动目标正确识别，在计算机视觉中占据着重要地位。常用静态背景下运动目标检测算法主要有光流法、背景差分法和帧间差分法等。帧间差分法和背景差分法由于算法简单、运算速度快、实时性强，在运动目标检测中得到了广泛的应用。
帧间差分法对运动速度较慢或静止的目标容易漏检，同时对连续两帧图像灰度和纹理比较接近时将无法得到完整的目标，容易出现较明显的“空洞”和“双影”，针对这一问题。YIN等提出基于Mean Shift和三帧差分法的快速运动目标跟踪，可以有效克服误检测等问题；舒欣等提出了五帧差分法，一定程度上减少了“漏捡”情况。
背景差分方法中背景模型的建立与实时更新是算法的关键，一些学者对如何实现背景图像的自适应更新提出了各种算法，如卡尔曼滤波器方法、单高斯模型、混合高斯模型等。郝毫刚等将五帧差分和背景差分相结合，提取图像中的运动区域，并进行形态学滤波和连通性检测,最终获取运动前景目标；李振晔等采用自适应背景差分法和连续三帧帧间差分法结合，基于卡尔曼滤波模型，完成了实时跟踪运动目标动物。以上背景更新算法能较好地避免随机噪声和亮度渐变的干扰，但由于运动物体产生的阴影与反射投射到背景区域，会显著的改变检测目标的外观，影响了检测目标的准确轮廓提取，前景物体与遮蔽的背景区域之间缺乏足够的对比度，一帧中的像素无法明确的区分是属于前景还是背景。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的基于图像视频的目标动物检测方法及装置。
根据本发明的一个方面，提供一种基于图像视频的目标动物检测方法，包括：
利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
根据本发明的另一个方面，还提供一种基于图像视频的目标动物检测装置，包括帧间差分处理模块和背景差分处理模块；
所述帧间差分处理模块，用于利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
所述背景差分处理模块，用于对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
本发明提出一种基于图像视频的目标动物检测方法，将帧间差分法和背景差分法相结合，针对静态背景下运动目标的检测，提高监控视频中动物检测的实时性和准确率，产生更准确的结果，对全局光照变化具有较强的鲁棒性，能够准确地检测出运动目标，对动物行为研究提供了很好的研究思路和理论探索。
附图说明
图1为本发明实施例一种基于图像视频的目标动物检测方法流程示意图；
图2为本发明实施例基于图像视频的目标动物检测装置示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如前所述，运动目标检测过程中，五帧差分法易于造成检测目标“空洞”和背景差分法对场景变化敏感。目前，有一种将能量最小化的技术用于前景检测的方法，基于能量最小化的图割算法是一种有效的分割方法。Malcolm等和Yuri Boykov提出使用图分割(GraphCut)的方法进行视频分割，这些方法需要在检测前对前几帧图像中指定要检测的对象，根据这些信息进行后续的自动检测，随着时间的推移，一些新进入视频图像中的运动对象将不会被检测出来。
针对上述问题，本发明实施例提出将自适应帧差法与能量最小化背景更新的差分法相融合，提取完整的运动目标区域；在背景差分法中引入能量最小化理论，构建能量方程来解决检测目标动物中的背景更新问题，增强对光照变化具有较强的鲁棒性，准确地检测出动物目标。
图1为本发明实施例一种基于图像视频的目标动物检测方法流程示意图，如图1所示的基于图像视频的目标动物检测方法，包括：
S100，利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
本发明实施例需要提取视频图像序列帧，对所述动物视频图像序列帧进行灰度转换，基于灰度转换后的动物视频图像序列帧进行帧间差分处理。
S200，对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
本发明实施例对于帧间差分处理后逻辑与运算的结果进行背景差分处理，即背景建模，并基于数学形态学运算使得运动区域封闭、连续、完整，并去掉背景中的噪声，获取准确的运动目标，以实现对所述目标动物进行检测。
本发明实施例提出一种基于图像视频的目标动物检测方法，将帧间差分法和背景差分法相结合，针对静态背景下运动目标的检测，提高监控视频中动物检测的实时性和准确率，产生更准确的结果，对全局光照变化具有较强的鲁棒性，能够准确地检测出运动目标，对动物行为研究提供了很好的研究思路和理论探索。
基于上述实施例，所述基于图像视频的目标动物检测方法还包括：
S300，基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓。
本发明实施例通过边界追踪算法可以得到运动目标的完整信息，提取出连续的目标动物的轮廓。
在一个可选的实施例中，步骤S100，所述利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算，具体包括：
对于所述动物视频图像序列帧的前三帧图像，选择选择二帧差分法对动物视频图像序列帧进行处理，获得两个连续的差分结果，面积分别为A1和A2，对所述A1和A2进行逻辑与运算获得面积A；
计算A1与A的比值，并根据所述比值设置自适应帧数T；
对于所述动物视频图像序列帧的后续帧图像，根据所述自适应帧数T对所述后续帧图像进行帧间差分法，并将差分结果进行逻辑与运算。
具体的，步骤S100包括初始差分和自适应差分两部分。所述初始差分部分，选择选择二帧差分法对动物视频图像序列帧进行处理；所述自适应差分部分，根据初始差分部分的结果计算的自适应帧数来设置差分处理的帧数。
具体的，在初始运行帧间差分法时，设置两个连续的差分结果面积分别为A1、A2，对两个连续的差分结果求或运算得到面积A。设置t为A1与A的比值。n为参数。
在一个可选的实施例中，所述计算A1与A的比值，并根据所述比值设置自适应帧数T，具体包括：
计算A1与A的比值t，
设置参数n，
设置自适应帧数T为：T＝Tmax-n；
其中，Tmax为自适应的帧间差分法中最大的帧数。
本实施例设置最大自适应帧数Tmax为5。初始时选择二帧差分法，获得初始A1、A2，计算A、t和n；然后根据n的值实时选择自适应帧数T，进而将差分结果进行“与”运算。
在一个可选的实施例中，步骤S200，所述对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测，具体包括：
S200.1，提取所述逻辑与运算的结果的前N帧图像，计算所述前N帧图像的像素平均值，进行背景建模，获得初始背景模型；
具体的，步骤S200.1中，背景建模旨在提取到准确无误的初始化背景图像，为目标的检测做准备，背景模型建立和更新直接影响检测运动目标的完整度。本实施例采用了多帧图像统计求平均值的方法，可以大大避免因第一帧有运动物体而导致背景检测出现错误的物体团块。提取前N帧的图像求像素平均值，即：
式中，N为重建的图像序列帧数，本发明实施例N＝50，Ii(x,y)为第i帧灰度图像，B0(x,y)为重建的背景图像，背景图中每个像素点的值为该像素点N帧图像灰度的累加平均。
S200.2，对所述初始背景模型进行人工标注，获得前景目标种子像素和背景目标种子像素；
具体的，步骤S200.2中，通过在第一帧图像中人工交互划出特定目标的大致区域，采用基于图论中的最大流/最小割理论，其基本的思想为：用户强制定义一些“硬约束”，即把图像中的某些肯定是目标的像素手工标注出来，作为目标的种子像素，这些手工标注出来的像素直接反应用户的检测意图。
S200.3，计算所述前景目标种子像素的灰度直方图，根据所述灰度直方图构造网络图，所述网络图的节点包括所述前N帧图像中所有像素，所述网络图的边为相邻像素，所述网络图的权值为像素与像素之间的差异性；
具体的，步骤S200.3中，通过建立初始背景，指定背景种子像素，计算前景背景灰度直方图；以图像中所有像素(包括指定的前景背景种子像素)为图的节点，相邻像素为图的边，像素与像素之间的差异性(灰度值)为边的权值，构造网络图。
S200.4，计算所述网络图的最小分割，从而将所述动物视频图像序列帧的像素归入前景或背景，获得动物背景模型。
具体的，步骤S200.4中，通过计算得到所有分割中的最小割，从而自动地把视频帧的其他像素归入目标或背景，完成检测。
在一个可选的实施例中，所述网络图的能量函数为：
E(L)＝αR(L)+B(L)；
其中，L＝{l1,l2,…lv}表示所述前N帧图像中各个像素点的标签向量，v是所述网络图的顶点，li的值为0或1，其中，li＝0为背景，li＝1为前景；R(L)为区域项，B(L)为边界项，α为非负系数，是区域项和边界项之间的因子，起到调节作用。本实施例能量最小化的目标就是求取使E(L)达到最小值时的L标签向量。
其中，区域项R(L)通过下式计算：
Rp(1)＝-lnPr(lp|′fkg′)；
Rp(0)＝-lnPr(lp|′bkg′)；
式中，P表示普通顶点集，Rp(1)表示lp为1(前景)时的权重，Rp(0)表示lp为0(背景)时的权重，lnPr(lp|′fkg′)为p属于前景的概率，lnPr(lp|′bkg′)为p属于背景的概率；
其中，边界项B(L)通过下式计算：
式中，p和q表示相邻的顶点，lp为顶点p的标记值，lq为顶点q的标记值，Ip和Iq分别表示p和q的像素的灰度值，δ表示像素点p和q亮度差的阈值，dist(p,q)为像素点p和q间的欧式距离，σ为调节因子，若像素p和q间标记值相同，则σ＝0，否则σ＝1；P表示普通顶点集。
在一个可选的实施例中，步骤S300，所述基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓，具体包括：
S300.1，所述基于所述动物背景模型，按照预定的扫描顺序进行扫描，获得行和列均最小的边界点作为第一个边界起始点，对扫描方向变量进行初始化；
具体的，可以从上到下、从左到右的顺序扫描图像，寻找第一个边界起始点E0，E0具有行和列最小的边界点。定义扫描方向变量dir用于记录上一步中沿着前一个边界点到当前边界点的移动方向。相对4连通区域，8连通区域所得轮廓更精准，8连通区域取dir＝7。
S300.2，将所述第一个边界起始点作为当前像素，按照预定方向搜索所述当前像素的预定区域，将搜索到的第一个与所述当前像素值相同的像素作为新边界点，并更新所述扫描方向变量；
具体的，可以按逆时针方向搜索当前像素的3×3领域。若dir为奇数取(dir+7)mod8；若dir为偶数取(dir+6)mod 8。在3×3邻域中，将搜索到的第一个与当前像素值相同的像素作为新的边界点E0，同时更新变量方向dir为新的值。
S300.3，基于所述新边界点及更新后的所述扫描方向变量，依次搜索所有边界点，直至所述最后边界点等于第二个边界点且倒数第二个边界点等于所述新边界点。
具体的，假设所有边界点依次为E0、E1、……、En-1和En，新边界点为第一个边界点即E0，第二个边界点为E1，最后边界点为En，倒数第二个边界点为En-1。如果En等于第二个边界点E1，且前一个边界点En-1等于第一个边界点E0，则停止搜索，否则重复步骤S300.2继续搜索。由边界点E0、E1...En-1构成的边界即为运动目标的轮廓。
本实施例改进检测算法存在较小的“空洞”现象，而该目标轮廓提取算法只能跟踪目标图像的内边界，即边界包含在目标之内，不能处理图像内的“孔”和“洞”，可以准确的获取目标轮廓信息，为以后行为识别等工作提供更准确的数据。
本发明实施例提供一种能量最小化的自适应帧差法视频目标生猪检测方法及装置，在复杂背景下可以实时、高效地检测出生猪目标。通过融合自适应阈值五帧差分法和基于能量最小化理论背景更新差分法，将差分结果进行“与”运算，再进行背景差分建模处理，可以得到运动目标的完整信息，可以进一步提取出连续的生猪轮廓。
本发明实施例提出的能量最小化的自适应帧差法的视频目标生猪检测方法及装置，通过融合自适应帧差法和基于能量最小化理论背景更新差分法，背景更新引入能量最小化理论，构建能量方程来解决检测目标生猪中的背景更新问题，产生更干净更准确的结果，对全局光照变化具有较强的鲁棒性，能够准确地检测出运动目标，对生猪行为研究提供了很好的研究思路和理论探索。
图2为本发明实施例基于图像视频的目标动物检测装置示意图，如图2所示的基于图像视频的目标动物检测装置，包括帧间差分处理模块和背景差分处理模块；
所述帧间差分处理模块，用于利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
所述背景差分处理模块，用于对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
所述装置还包括：
轮廓提取模块，用于基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓。
本发明实施例的装置，可用于执行图1所示的基于图像视频的目标动物检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于图像视频的目标动物检测方法，其特征在于，包括：
利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓。
3.根据权利要求1或2所述的方法，其特征在于，所述利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算，具体包括：
对于所述动物视频图像序列帧的前三帧图像，选择二帧差分法进行处理，获得两个连续的差分结果，面积分别为A1和A2，对所述A1和A2进行逻辑与运算获得面积A；
计算A1与A的比值，并根据所述比值设置自适应帧数T；
对于所述动物视频图像序列帧的后续帧图像，根据所述自适应帧数T对所述后续帧图像进行帧间差分法，并将差分结果进行逻辑与运算。
4.根据权利要求3所述的方法，其特征在于，所述计算A1与A的比值，并根据所述比值设置自适应帧数T，具体包括：
计算A1与A的比值t，
设置参数n，
设置自适应帧数T为：T＝Tmax-n；
其中，Tmax为自适应的帧间差分法中最大的帧数。
5.根据权利要求1或2所述的方法，其特征在于，所述对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测，具体包括：
提取所述逻辑与运算的结果的前N帧图像，计算所述前N帧图像的像素平均值，进行背景建模，获得初始背景模型；
对所述初始背景模型进行人工标注，获得前景目标种子像素和背景目标种子像素；
计算所述前景目标种子像素的灰度直方图，根据所述灰度直方图构造网络图，所述网络图的节点包括所述前N帧图像中所有像素，所述网络图的边为相邻像素，所述网络图的权值为像素与像素之间的差异性；
计算所述网络图的最小分割，从而将所述动物视频图像序列帧的像素归入前景或背景，获得动物背景模型。
6.根据权利要求5所述的方法，其特征在于，所述网络图的能量函数为：
E(L)＝αR(L)+B(L)；
其中，L＝{l1,l2,…lv}表示所述前N帧图像中各个像素点的标签向量，v是所述网络图的顶点，li的值为0或1，R(L)为区域项，B(L)为边界项，α为非负系数，是区域项和边界项之间的因子；
其中，区域项R(L)通过下式计算：
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>P</mi>
</mrow>
</munder>
<msub>
<mi>R</mi>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
Rp(1)＝-lnPr(lp|′fkg′)；
Rp(0)＝-lnPr(lp|′bkg′)；
式中，P表示普通顶点集，Rp(1)表示lp为1时的权重，Rp(0)表示lp为0时的权重，lnPr(lp|′fkg′)为p属于前景的概率，lnPr(lp|′bkg′)为p属于背景的概率；
其中，边界项B(L)通过下式计算：
<mrow>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
<mo>&Element;</mo>
<mi>P</mi>
</mrow>
</munder>
<msub>
<mi>B</mi>
<mrow>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
</mrow>
</msub>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>l</mi>
<mi>p</mi>
</msub>
<mo>&NotEqual;</mo>
<msub>
<mi>l</mi>
<mi>q</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
式中，p和q表示相邻的顶点，lp为顶点p的标记值，lq为顶点q的标记值，Ip和Iq分别表示p和q的像素的灰度值，δ表示像素点p和q亮度差的阈值，dist(p,q)为像素点p和q间的欧式距离，σ为调节因子，P表示普通顶点集。
7.根据权利要求2所述的方法，其特征在于，所述基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓，具体包括：
基于所述动物背景模型，按照预定的扫描顺序进行扫描，获得行和列均最小的边界点作为第一个边界起始点，对扫描方向变量进行初始化；
将所述第一个边界起始点作为当前像素，按照预定方向搜索所述当前像素的预定区域，将搜索到的第一个与所述当前像素值相同的像素作为新边界点，并更新所述扫描方向变量；
基于所述新边界点及更新后的所述扫描方向变量，依次搜索所有边界点，直至所述最后边界点等于第二个边界点且倒数第二个边界点等于所述新边界点。
8.根据权利要求7所述的方法，其特征在于，所述扫描方向变量dir用于记录上一步扫描中沿着前一个边界点到当前边界点的移动方向，且dir＝7；
所述预定区域为3×3像素的区域；
若dir为奇数取(dir+7)mod 8；若dir为偶数取(dir+6)mod 8。
9.一种基于图像视频的目标动物检测装置，其特征在于，包括帧间差分处理模块和背景差分处理模块；
所述帧间差分处理模块，用于利用帧间差分法对动物视频图像序列帧进行处理，获得所述动物视频图像序列帧的差分结果，并对所述动物视频图像序列帧的差分结果进行逻辑与运算；
所述背景差分处理模块，用于对于逻辑与运算的结果，利用背景差分法进行背景建模，并根据人工标注的目标种子像素进行背景更新，获得动物背景模型，以对所述目标动物进行检测。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
轮廓提取模块，用于基于所述动物背景模型，利用边界追踪算法提取所述目标动物的轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249848.8A CN107886086B (zh) | 2017-12-01 | 2017-12-01 | 一种基于图像视频的目标动物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249848.8A CN107886086B (zh) | 2017-12-01 | 2017-12-01 | 一种基于图像视频的目标动物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886086A true CN107886086A (zh) | 2018-04-06 |
| CN107886086B CN107886086B (zh) | 2020-01-14 |
Family
ID=61776570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711249848.8A Active CN107886086B (zh) | 2017-12-01 | 2017-12-01 | 一种基于图像视频的目标动物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107886086B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN109670419A (zh) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | 一种基于周界安防视频监控系统的行人检测方法 |
| CN109727274A (zh) * | 2018-11-28 | 2019-05-07 | 吉林大学 | 视频处理方法 |
| CN110059591A (zh) * | 2019-04-01 | 2019-07-26 | 北京中科晶上超媒体信息技术有限公司 | 运动目标区域的识别方法 |
| CN110415268A (zh) * | 2019-06-24 | 2019-11-05 | 台州宏达电力建设有限公司 | 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法 |
| CN111311645A (zh) * | 2020-02-25 | 2020-06-19 | 四川新视创伟超高清科技有限公司 | 超高清视频切画目标跟踪识别方法 |
| CN111340801A (zh) * | 2020-03-24 | 2020-06-26 | 新希望六和股份有限公司 | 一种牲畜盘点方法、装置、设备及存储介质 |
| CN112102365A (zh) * | 2020-09-23 | 2020-12-18 | 烟台艾睿光电科技有限公司 | 一种基于无人机吊舱的目标跟踪方法及相关装置 |
| CN112287805A (zh) * | 2020-10-29 | 2021-01-29 | 地平线(上海)人工智能技术有限公司 | 运动物体的检测方法、装置、可读存储介质及电子设备 |
| CN112418136A (zh) * | 2020-12-02 | 2021-02-26 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
| CN112461342A (zh) * | 2020-11-04 | 2021-03-09 | 青岛丰禾星普科技有限公司 | 水产品称重方法、终端设备及存储介质 |
| CN112464714A (zh) * | 2020-10-22 | 2021-03-09 | 浙江大华技术股份有限公司 | 基于视频监控的有害动物检测方法、装置和电子装置 |
| CN112908035A (zh) * | 2021-01-20 | 2021-06-04 | 温州大学 | 一种基于可见光通信的汽车辅助驾驶系统及实现方法 |
| US20210368776A1 (en) * | 2019-11-13 | 2021-12-02 | Bird Control Group Bv | System and methods for automated wildlife detection, monitoring and control |
| CN113963298A (zh) * | 2021-10-25 | 2022-01-21 | 东北林业大学 | 基于计算机视觉的野生动物识别跟踪与行为检测系统、方法、设备及存储介质 |
| CN117132948A (zh) * | 2023-10-27 | 2023-11-28 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006461A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 摄像机联合跟踪检测系统 |
| US20140125834A1 (en) * | 2003-09-03 | 2014-05-08 | Canon Kabushiki Kaisha | Display apparatus, image processing apparatus, and image processing system |
| CN107169985A (zh) * | 2017-05-23 | 2017-09-15 | 南京邮电大学 | 一种基于对称帧间差分和背景更新的运动目标检测方法 |
-
2017
- 2017-12-01 CN CN201711249848.8A patent/CN107886086B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140125834A1 (en) * | 2003-09-03 | 2014-05-08 | Canon Kabushiki Kaisha | Display apparatus, image processing apparatus, and image processing system |
| CN102006461A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 摄像机联合跟踪检测系统 |
| CN107169985A (zh) * | 2017-05-23 | 2017-09-15 | 南京邮电大学 | 一种基于对称帧间差分和背景更新的运动目标检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| CARSTEN ROTHER: ""GrabCut" — Interactive Foreground Extraction using Iterated Graph Cuts", 《ACM TRANSACTIONS ON GRAPHICS 》 * |
| HONGHAI LIU: "Moving Detection Research of Background Frame Difference Based on Gaussian model", 《2012 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND SERVICE SYSTEM》 * |
| 屈晶晶: "连续帧间差分与背景差分相融合的运动目标检测方法", 《光子学报》 * |
| 李小奇: "基于GrabCut的彩色图像自动分割算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王忠华: "联合帧间差分和边缘检测的运动目标检测算法", 《南昌大学学报》 * |
| 邸巍: "基于视觉的全天候驾驶员疲劳与精神分散状态监测方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 郝毫刚: "基于五帧差分和背景差分的运动目标检测算法", 《计算机工程》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN109359594B (zh) * | 2018-10-17 | 2022-06-21 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN109727274A (zh) * | 2018-11-28 | 2019-05-07 | 吉林大学 | 视频处理方法 |
| CN109727274B (zh) * | 2018-11-28 | 2023-04-28 | 吉林大学 | 视频处理方法 |
| CN109670419A (zh) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | 一种基于周界安防视频监控系统的行人检测方法 |
| CN110059591A (zh) * | 2019-04-01 | 2019-07-26 | 北京中科晶上超媒体信息技术有限公司 | 运动目标区域的识别方法 |
| CN110059591B (zh) * | 2019-04-01 | 2021-04-16 | 北京中科晶上超媒体信息技术有限公司 | 运动目标区域的识别方法 |
| CN110415268A (zh) * | 2019-06-24 | 2019-11-05 | 台州宏达电力建设有限公司 | 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法 |
| US20210368776A1 (en) * | 2019-11-13 | 2021-12-02 | Bird Control Group Bv | System and methods for automated wildlife detection, monitoring and control |
| US11576367B2 (en) * | 2019-11-13 | 2023-02-14 | Bird Control Group Bv | System and methods for automated wildlife detection, monitoring and control |
| CN111311645A (zh) * | 2020-02-25 | 2020-06-19 | 四川新视创伟超高清科技有限公司 | 超高清视频切画目标跟踪识别方法 |
| CN111340801A (zh) * | 2020-03-24 | 2020-06-26 | 新希望六和股份有限公司 | 一种牲畜盘点方法、装置、设备及存储介质 |
| CN112102365B (zh) * | 2020-09-23 | 2024-05-31 | 烟台艾睿光电科技有限公司 | 一种基于无人机吊舱的目标跟踪方法及相关装置 |
| CN112102365A (zh) * | 2020-09-23 | 2020-12-18 | 烟台艾睿光电科技有限公司 | 一种基于无人机吊舱的目标跟踪方法及相关装置 |
| CN112464714A (zh) * | 2020-10-22 | 2021-03-09 | 浙江大华技术股份有限公司 | 基于视频监控的有害动物检测方法、装置和电子装置 |
| CN112287805A (zh) * | 2020-10-29 | 2021-01-29 | 地平线(上海)人工智能技术有限公司 | 运动物体的检测方法、装置、可读存储介质及电子设备 |
| CN112461342A (zh) * | 2020-11-04 | 2021-03-09 | 青岛丰禾星普科技有限公司 | 水产品称重方法、终端设备及存储介质 |
| CN112418136B (zh) * | 2020-12-02 | 2023-11-24 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
| CN112418136A (zh) * | 2020-12-02 | 2021-02-26 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
| CN112908035A (zh) * | 2021-01-20 | 2021-06-04 | 温州大学 | 一种基于可见光通信的汽车辅助驾驶系统及实现方法 |
| CN113963298A (zh) * | 2021-10-25 | 2022-01-21 | 东北林业大学 | 基于计算机视觉的野生动物识别跟踪与行为检测系统、方法、设备及存储介质 |
| CN117132948A (zh) * | 2023-10-27 | 2023-11-28 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
| CN117132948B (zh) * | 2023-10-27 | 2024-01-30 | 南昌理工学院 | 景区游客流量监控方法、系统、可读存储介质及计算机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107886086B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107886086A (zh) | 一种基于图像视频的目标动物检测方法及装置 | |
| Li et al. | A review of computer vision technologies for plant phenotyping | |
| Aquino et al. | Automated early yield prediction in vineyards from on-the-go image acquisition | |
| Li et al. | A novel green apple segmentation algorithm based on ensemble U-Net under complex orchard environment | |
| Wang et al. | Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator | |
| CN106096577B (zh) | 一种摄像头分布地图中的目标追踪方法 | |
| CN109785363A (zh) | 一种无人机航拍视频运动小目标实时检测与跟踪方法 | |
| Peng et al. | Weed detection in paddy field using an improved RetinaNet network | |
| CN111539273A (zh) | 一种交通视频背景建模方法及系统 | |
| CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN107527351A (zh) | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 | |
| CN106997597A (zh) | 一种基于有监督显著性检测的目标跟踪方法 | |
| CN110517311A (zh) | 基于叶片病斑面积的病虫害监测方法 | |
| CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
| Li et al. | Pitaya detection in orchards using the MobileNet-YOLO model | |
| Wan et al. | A real-time branch detection and reconstruction mechanism for harvesting robot via convolutional neural network and image segmentation | |
| CN106570885A (zh) | 基于亮度和纹理融合阈值的背景建模方法 | |
| Gao et al. | Recognition and Detection of Greenhouse Tomatoes in Complex Environment. | |
| Udawant et al. | Cotton leaf disease detection using instance segmentation | |
| CN110503647A (zh) | 基于深度学习图像分割的小麦植株实时计数方法 | |
| CN108280845B (zh) | 一种针对复杂背景的尺度自适应目标跟踪方法 | |
| CN117789037A (zh) | 作物生长期预测方法及装置 | |
| Kuchkorov et al. | Agro-field boundary detection using mask R-CNN from satellite and aerial images | |
| CN110852335B (zh) | 一种基于多颜色特征融合与深度网络的目标跟踪系统 | |
| CN104778683A (zh) | 一种基于泛函映射的多模态图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |