CN110378928B - 一种动静匹配的目标检测与跟踪方法 - Google Patents
一种动静匹配的目标检测与跟踪方法 Download PDFInfo
- Publication number
- CN110378928B CN110378928B CN201910357392.XA CN201910357392A CN110378928B CN 110378928 B CN110378928 B CN 110378928B CN 201910357392 A CN201910357392 A CN 201910357392A CN 110378928 B CN110378928 B CN 110378928B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- point
- pixel
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 230000003068 static effect Effects 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动静匹配的目标检测与跟踪方法,包括如下步骤:计算得到当前图像的帧间二值图;计算帧间二值图存在白点的区域,根据所述存在白点的区域大小判断摄像机镜头的运动状态;如果存在白点的区域大于干扰阈值,则摄像机镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹;控制摄像机根据运动轨迹对物体进行跟踪。该方法有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题,对运动物体的跟踪快速准确。
Description
技术领域
本发明涉及一种动静匹配的目标检测与跟踪方法,属于数字图像处理技术领域。
背景技术
运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向,它从图像序列中检测、识别、跟踪运动目标并对其行为进行理解和描述,属于图像分析和理解的范畴。运动分析的研究内容相当丰富,主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识;同时,动态场景中运动的快速分割、非刚性运动、目标之间互相遮挡或停止的处理等也为运动分析研究带来了一定的挑战。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要,因为接下来的处理过程仅仅只考虑图像中对应于运动区域的像素。然而,由于背景图像的动态变化,如天气、光照、影子及混乱干扰等的影响,使得运动检测成为一项相当困难的工作。
近几十年来,国内外学者提出了许多方法用于检测和跟踪序列图像中的运动目标,对于序列图像中运动目标的检测,常用的方法有基于背景差分的方法、基于帧间差分的方法、基于特征的方法、基于光流场的方法等等。
但是由于环境特点的不同,很难得到一种通用的检测方法,针对不同背景下的序列图像提出的运动目标检测方法还不够完善,因此有必要对此进行深入的研究。
除此之外,目前对于序列图像中运动目标的检测,绝大多数方法都假设用于获取序列图像的摄像机是静止的。而对于摄影机运动且目标运动的情况,研究还比较少,理论也还远远没有成熟。但是,摄影机运动且目标运动的情况是运动目标的检测最复杂的一种情况,也是最普通的情况。所以亟需一种新的适用于摄影机运动且目标运动的运动目标的检测方法。
发明内容
针对现有技术的不足,本发明所要解决的技术问题在于提供一种动静匹配的目标检测与跟踪方法。
为实现上述发明目的,本发明采用下述的技术方案:
一种动静匹配的目标检测与跟踪方法,包括如下步骤:
计算得到当前图像的帧间二值图;
计算帧间二值图存在白点的区域,根据所述存在白点的区域大小判断摄像机镜头的运动状态;
如果存在白点的区域大于干扰阈值,则摄像机镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹;
控制摄像机根据运动轨迹对物体进行跟踪。
其中较优地,在计算得到当前图像的帧间二值图之前,还包括如下步骤:
对获取的图像进行降噪处理。
其中较优地,采用中值滤波对获取的图像进行降噪处理;包括如下步骤:
选择一个(2n+1)×(2n+1)的窗口,并用所述窗口沿图像数据进行光栅扫描;其中,n为正整数;
读取窗口下各像素点对应的像素值,在获取的图像上移动窗口,每次移动后,对窗口内的各个像素值进行排序;直至获取的图像全部处理完成;
将所有像素值中排在中间的一个值作为中值代替窗口中心位置像素点的原始像素值。
其中较优地,采用多帧图像差分算法计算得到当前图像的帧间二值图,包括如下步骤:
获取视频图像序列中连续的三帧图像,将中间帧设置为当前帧,对三针图像的相邻两帧分别进行差分运算,得到两个二值差分图像;
对得到的两个二值差分图像进行与运算,当两个二值差分图像中至少有一个值为零时,将当前帧对应位置像素值设置为零,得到当前图像的帧间二值图。
其中较优地,计算帧间二值图存在白点的区域,根据所述存在白点的区域大小判断摄像机镜头的运动状态,包括如下步骤:
将帧间二值图等面积划分为2M块二值区域,其中M为大于3的正整数;
确定二值区域中存在白点的区域个数;
设定区域阈值,当二值区域中存在白点的区域个数大于区域阈值时,摄像机镜头运动;否则,摄像机镜头静止。
其中较优地,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,包括如下步骤:
获取当前帧的上一帧图像的帧间二值图的运动区域;
将上一帧图像的帧间二值图的运动区域向外扩展K个像素点,作为当前帧的初始运动区域;其中,K为正整数;
当前帧的初始运动区域内所有白点位置上的像素点,分别减去当前图像在该点的YUV值得到第一像素差值,如果该第一像素差值绝对值少于第一差值阈值,则该像素点属于当前帧运动物体的第一有效点;
所有第一像素差值绝对值少于第一差值阈值的像素点组成第一有效点。
其中较优地,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点,包括如下步骤:
获取当前帧的帧内边缘图;
获取当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点,分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到第二像素差值,如果该第二像素差值绝对值大于第二差值阈值,则该像素点属于当前帧运动物体的第二有效点;其中,r=1,2……R,R为当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点个数;
所有第二像素差值绝对值大于第二差值阈值的像素点组成第二有效点。
其中较优地,获取当前帧的帧内边缘图,包括如下步骤:
S3211,获取图像第i行第j个像素点的YUV值;将第i行第j个像素点的YUV值减去第i+1行第j个像素点的YUV值得到YUV差值Lij;其中,i=1,2……N-1;N为图像的行像素数;j=1,2……M;M为图像的列像素数;
S3212,如果YUV差值Lij大于YUV行差值阈值,则第i行第j个像素点是物体的行边界点;
S3213,j=j+1,重复步骤S3211~S3212,直至j=M,得到第i行物体的所有行边界点;
S3214,i=i+1,重复步骤S3211~S3213,直至i=N-1,得到物体的所有行边界点;
S3215,获取图像第j列第i个像素点的YUV值;将第j列第i个像素点的YUV值减去第j+1列第i个像素点的YUV值得到YUV差值Lji;其中,i=1,2……N;N为图像的行像素数;j=1,2……M-1;M为图像的列像素数;
S3216,如果YUV差值Lji大于YUV列差值阈值,则第j列第i个像素点是物体的列边界点;
S3217,i=i+1,重复步骤S3215~S3216,直至i=N,得到第j列物体的所有列边界点;
S3218,j=j+1,重复步骤S3215~S3217,直至j=M-1,得到物体的所有列边界点;
S3219,物体的所有行边界点和所有列边界点构成当前帧的帧内边缘图。
其中较优地,所述动静匹配的目标检测与跟踪方法,还包括如下步骤:
如果存在白点的区域小于等于干扰阈值,则摄像机镜头静止,根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。
其中较优地,控制摄像机根据运动轨迹对物体进行跟踪;包括如下步骤:
如果物体的运动区域开始越过2号边框,则控制滑轨和运动物体做同向运动,使运动物体移动到图像的中心区域;
如果物体的运动区域到达或者越过实际有效区域边缘,则转动摄像机镜头将运动物体移动到图像的中心区域;
如果物体的运动区域还处于中心区域之内,则滑轨和摄像机镜头保持不动。
本发明所提供的动静匹配的目标检测与跟踪方法,针对运动目标的检测中最复杂的一种情况即摄影机运动且目标运动,进行了降噪、帧间运动检测、帧内物体边缘检测、运动趋势判定和控制摄像机跟踪五个阶段,有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题,对运动物体的跟踪准确度高,速度快。
附图说明
图1为本发明所提供的动静匹配的目标检测与跟踪方法的流程图;
图2为本发明所提供的一个实施例中,当前图像1的原始图像的示意图;
图3为本发明所提供的一个实施例中,当前图像1对应的二值差分图像的示意图;
图4为本发明所提供的一个实施例中,当前图像2的原始图像的示意图;
图5为本发明所提供的一个实施例中,当前图像2对应的二值差分图像的示意图;
图6为本发明所提供的一个实施例中,当前图像2对应的运动区域的示意图;
图7为本发明所提供的一个实施例中,当前图像2对应的跟踪效果图;
图8为本发明所提供的一个实施例中,当前图像3的示意图;
图9为本发明所提供的一个实施例中,当前图像3对应的帧内边缘图的示意图;
图10为本发明所提供的一个实施例中,当前图像3对应的二值差分图像的示意图;
图11为本发明所提供的一个实施例中,当前图像3上一帧图像的帧间二值图的示意图;
图12为本发明所提供的一个实施例中,当前图像3对应的合成的二值图的示意图;
图13为本发明所提供的一个实施例中,当前图像3对应的跟踪效果图;
图14为本发明所提供的一个实施例中,当前图像4的原始图像的示意图;
图15为本发明所提供的一个实施例中,当前图像4对应的帧内边缘图的示意图;
图16为本发明所提供的一个实施例中,当前图像4对应的二值差分图像的示意图;
图17为本发明所提供的一个实施例中,当前图像4上一帧图像的帧间二值图的示意图;
图18为本发明所提供的一个实施例中,当前图像4对应的合成的二值图的示意图;
图19为本发明所提供的一个实施例中,当前图像4对应的跟踪效果图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
如图1所示,本发明所提供的动静匹配的目标检测与跟踪方法,包括如下步骤:首先,获取图像,并计算得到当前图像的帧间二值图;然后,计算帧间二值图存在白点的区域,如果存在白点的区域大于干扰阈值,则物体运动且镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹;如果存在白点的区域小于等于干扰阈值,则物体运动且镜头静止,根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹;最后,控制摄像机根据运动轨迹对物体进行跟踪。下面对这一过程进行详细具体的说明。
S1,获取图像,并计算得到当前图像的帧间二值图;
在本发明所提供的实施中,在计算得到当前图像的帧间二值图之前,还包括如下步骤:
对获取的图像进行降噪处理。
一幅实际获得的图像一般都会受到各种噪声源的干扰而含有噪声。这些噪声影响了图像的质量,使得图像模糊,甚至淹没了图像的基本特征,给进一步分析处理图像带来了困难。由于中值滤波的中值点是邻域中的某个点,中值滤波不会创造实际图像中没有的点,在保存突变的边缘点时比均值滤波好。在本发明所提供的实施例中,采用中值滤波对获取的图像进行降噪处理,具体包括如下步骤:
S01,选择一个(2n+1)×(2n+1)的窗口,并用该窗口沿图像数据进行光栅扫描;其中,n为正整数,可以根据需求进行设定,在本发明所提供的实施例中,以n设置为3为例进行说明。
S02,读取窗口下各像素点对应的像素值,在获取的图像上移动窗口,每次移动后,对窗口内的各个像素值进行排序;直至获取的图像全部处理完成;
S03,将所有像素值中排在中间的一个值作为中值代替窗口中心位置像素点的原始像素值。
对获取的图像进行降噪处理之后,为了解决被运动物体覆盖而在当前帧中显露出来的背景区域被误判为运动区域的问题,提出了采用多帧图像差分算法计算得到当前图像的帧间二值图;具体包括如下步骤:
S11,获取视频图像序列中连续的三帧图像,将中间帧设置为当前帧,对它们相邻两帧分别进行差分运算,得到两个二值差分图像。
具体的,设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频图像序列中连续的三帧图像,其中(x,y)表示图像中的坐标,i-1,i,i+1分别表示连续三帧的序号。
对它们相邻两帧分别进行差分运算,其中Df(x,y,i-1,i)为前一帧f(x,y,i-1)与当前帧f(x,y,i)之间二值差分图像,Df(x,y,i,i+1)为当前帧f(x,y,i)与下一帧f(x,y,i+1)之间二值差分图像,本文阈值T设置为15。
S12,对得到的两个二值差分图像进行与运算,当两个二值差分图像中至少有一个值为零时,将当前帧对应位置像素设置为零,得到当前图像的帧间二值图。
具体的,对得到的两个二值差分图像进行与运算:
Df(x,y,i)=Df(x,y,i-1,i)∩Df(x,y,i,i+1)
只有当Df(x,y,i-1,i)=255和Df(x,y,i,i+1)=255同时成立时,Df(x,y,i)=255才成立,这样便可以得到当前图像的帧间二值图,也可以获得第i帧图像中的前景物体,如图2和图3所示。
图2是当前图像1原始图像,图3是当前图像1对应的帧间二值图(由一个一个的白点组成),当物体运动且镜头静止时,就可以通过这些白点计算出该运动物体的重心(将每个白色点的坐标叠加并求平均)、边缘(白点的和黑色背景的边界)、运动区域(1号矩形框)。
图3中的黑色的区域是背景;3号边框就是人为设置的实际有效区域边缘,当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度,当物体运动且镜头运动时,就要转动摄像机镜头来跟踪运动物体;当物体处于2号边框内说明运动物体在图像的中心区域,滑轨和摄像机镜头都不动;当物体处于2号和3号边框内,滑轨移动跟踪物体的运动方向。后续对跟踪过程进行详细说明,在此便不再赘述了。
S2,计算帧间二值图存在白点的区域,根据该存在白点的区域大小判断镜头的运动状态;具体包括如下步骤:
S21,将帧间二值图等面积划分为2M块二值区域,其中M为大于3的正整数,其值可以根据需要进行设定。
具体的,根据步骤S1可以计算得到当前图像2(图4)对应的帧间二值图(图5)。将帧间二值图等面积划分为2M块二值区域,在本发明所提供的实施例中,以M=6为例进行说明,将帧间二值图等面积划分为12块二值区域。
S22,确定二值区域中存在白点的区域个数。具体的,如图6所示,二值区域中存在白点的区域个数为3;图10中,划分的二值区域中存在白点的区域个数为9。
S23,设定区域阈值,当二值区域中存在白点的区域个数大于区域阈值时,镜头运动;否则,镜头静止。其中,区域阈值可以根据对运动轨迹的精度要求进行设定。在本发明所提供的实施例中,区域阈值t为划分的二值区域个数的一半,即t=M。
S3,如果存在白点的区域大于干扰阈值,则物体运动且镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹。
具体的,物体运动且镜头运动,包含遮挡(图8~13)和非遮挡(图14~19)两种场景。根据S1可以计算得到当前图像3(图8)和当前图像4(图14)对应的的帧间二值图(图10和图16),这时的帧间二值图有很多干扰白点,所以不能简单地将每个白色点的坐标叠加并求平均得到运动物体的重心,需要根据当前图像的帧间二值图计算当前帧运动物体的第一有效点;具体包括如下步骤:
S311,获取当前帧的上一帧图像的帧间二值图的运动区域。
当前帧的上一帧图像的帧间二值图的运动区域(图11对应当前图像3的上一帧图像的帧间二值图,图17对应当前图像4的上一帧图像的帧间二值图)记录了上一帧运动物体的位置范围,因此可以被用来预测当前帧中运动物体的大体范围。
S312,将上一帧图像的帧间二值图的运动区域向外扩展K个像素点,作为当前帧的初始运动区域。其中,K为正整数,可以根据需求进行设定,在本发明所提供的实施例中,以K=5即将上一帧图像的帧间二值图的运动区域向外扩展5个像素点为例进行说明。
S313,当前帧的初始运动区域(即当前帧对应的帧间二值图的初始运动区域;图10对应当前图像3对应的帧间二值图,16对应当前图像4对应的帧间二值图)内所有白点位置上的像素点,分别减去当前图像在该点的YUV值得到第一像素差值,如果该第一像素差值绝对值少于第一差值阈值,则该像素点属于当前帧运动物体的第一有效点。所有第一像素差值绝对值少于第一差值阈值的像素点组成第一有效点。在本发明所提供的实施例中,第一差值阈值可以设置为10。
物体的运动轨迹根据第一有效点和第二有效点合成的二值图计算得到,所以需要根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;具体包括如下步骤:
S321,获取当前帧的帧内边缘图。
为了提高物体跟踪的准确度,需要计算出当前图像的边界,获取当前帧的帧内边缘图;具体包括如下步骤:
S3211,获取图像第i行第j个像素点的YUV值;将第i行第j个像素点的YUV值减去第i+1行第j个像素点的YUV值得到YUV差值Lij;其中,i=1,2……N-1;N为图像的行像素数;j=1,2……M;M为图像的列像素数;
S3212,如果YUV差值Lij大于YUV行差值阈值,则第i行第j个像素点是物体的行边界点;在本发明所提供的实施例中,YUV行差值阈值设置为15。
S3213,j=j+1,重复步骤S3211~S3212,直至j=M,得到第i行物体的所有行边界点;
S3214,i=i+1,重复步骤S3211~S3213,直至i=N-1,得到物体的所有行边界点;
S3215,获取图像第j列第i个像素点的YUV值;将第j列第i个像素点的YUV值减去第j+1列第i个像素点的YUV值得到YUV差值Lji;其中,i=1,2……N;N为图像的行像素数;j=1,2……M-1;M为图像的列像素数;
S3216,如果YUV差值Lji大于YUV列差值阈值,则第j列第i个像素点是物体的列边界点;在本发明所提供的实施例中,YUV列差值阈值设置为15。
S3217,i=i+1,重复步骤S3215~S3216,直至i=N,得到第j列物体的所有列边界点;
S3218,j=j+1,重复步骤S3215~S3217,直至j=M-1,得到物体的所有列边界点。
S3219,物体的所有行边界点和所有列边界点构成当前帧的帧内边缘图。如图9为当前图像3对应的帧内边缘图,和图14当前图像4对应的帧内边缘图。
S322,获取当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点,分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到第二像素差值,如果该第二像素差值绝对值大于第二差值阈值,则该像素点属于当前帧运动物体的第二有效点。所有第二像素差值绝对值大于第二差值阈值的像素点组成第二有效点。在本发明所提供的实施例中,第二差值阈值可以设置为80。其中,r=1,2……R,R为当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点个数。在本发明所提供的实施例中,r以先横轴后纵轴的方式进行计数,即r按照先横坐标不变,纵坐标逐渐加1的方式计数,当达到该横坐标下纵坐标取值最大值时,横坐标加1,纵坐标重复上述步骤,继续计数,直至二值图中有效区域内所有白点均计数完成,得到R。也可以采用先纵轴再横轴或其他计数方式。
最后这两部分运动物体有效点的集合就是当前图像合成的二值图(图12对应当前图像3对应的合成的二值图,18对应当前图像4对应的合成的二值图),这样就可以计算得到当前图像的运动区域和重心,图13对应当前图像3对应的实际跟踪效果图,图18对应当前图像3对应的实际跟踪效果图。
在本发明所提供的实施例中,如果存在白点的区域小于等于干扰阈值,则物体运动且镜头静止,根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。这种场景处理最简单,根据当前图像的帧间二值图中的所有白点计算得到当前图像的运动区域(图6对应当前图像2对应的运动区域)、边缘和重心等参数,就得到了物体的运动轨迹。图7为当前图像2对应的实际跟踪效果图。物体运动且镜头静止时,摄像机镜头不进行移动,只捕捉运动物体的运动轨迹。当物体运动且镜头运动时,控制摄像机根据运动轨迹对物体进行跟踪。
S4,控制摄像机根据运动轨迹对物体进行跟踪。
根据步骤3得到运动物体的运动趋势,控制摄像机做出和运动区域相应的运动,控制摄像机根据运动轨迹对物体进行跟踪,具体包括如下步骤:
如果物体的运动区域开始越过2号边框(中心区域),则控制滑轨和运动物体做同向运动,目的就是使运动物体移动到图像的中心区域;
如果物体的运动区域到达或者越过3号边框(实际有效区域边缘),则转动摄像机镜头将运动物体移动到图像的中心区域;
如果物体的运动区域还处于2号边框之内,则滑轨和摄像机镜头保持不动。
具体的,3号边框就是人为设置的实际有效区域边缘,当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度,当物体运动且镜头运动时,就要转动摄像机镜头来跟踪运动物体;当物体处于2号边框内说明运动物体在图像的中心区域,滑轨和摄像机镜头都不动;当物体处于2号和3号边框内,滑轨移动跟踪物体的运动方向。其中,2号矩形框和3号矩形框的大小根据滑轨的速度来确定,一般原则为:如果滑轨运动和反应速度快,那么两种边框可以放大;如果滑轨运动和反应速度慢,那么两种边框必须缩小。
综上所述,本发明所提供的动静匹配的目标检测与跟踪方法,首先获取图像,并计算得到当前图像的帧间二值图;然后,计算帧间二值图存在白点的区域,如果存在白点的区域大于干扰阈值,则物体运动且镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹;如果存在白点的区域小于等于干扰阈值,则物体运动且镜头静止,根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹;最后,控制摄像机根据运动轨迹对物体进行跟踪;该方法具有快速、准确、简洁等特点,能在机器人导航、智能视觉监视系统、视频图像分析以及视频图像压缩等领域中都有应用,有很大的现实意义和应用价值。
上面对本发明所提供的动静匹配的目标检测与跟踪方法进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质精神的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (8)
1.一种动静匹配的目标检测与跟踪方法,其特征在于包括如下步骤:
计算得到当前图像的帧间二值图;
计算帧间二值图存在白点的区域,根据所述存在白点的区域大小判断摄像机镜头的运动状态;
如果存在白点的区域大于干扰阈值,则摄像机镜头运动,根据当前图像的帧间二值图计算当前帧运动物体的第一有效点,根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点;根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹;
控制摄像机根据运动轨迹对物体进行跟踪,
其中,通过如下子步骤计算当前帧运动物体的第一有效点:获取当前帧的上一帧图像的帧间二值图的运动区域;将上一帧图像的帧间二值图的运动区域向外扩展K个像素点,作为当前帧的初始运动区域;其中,K为正整数;当前帧的初始运动区域内所有白点位置上的像素点,分别减去当前图像在该点的YUV值得到第一像素差值,如果该第一像素差值绝对值少于第一差值阈值,则该像素点属于当前帧运动物体的第一有效点;所有第一像素差值绝对值少于第一差值阈值的像素点组成第一有效点;
其中,通过如下子步骤计算当前帧运动物体的第二有效点:
获取当前帧的帧内边缘图;
获取当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点,分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到第二像素差值,如果该第二像素差值绝对值大于第二差值阈值,则该像素点属于当前帧运动物体的第二有效点;其中,r=1,2……R,R为当前帧的帧内边缘图的初始运动区域内所有白点位置上的像素点个数,
所有第二像素差值绝对值大于第二差值阈值的像素点组成第二有效点。
2.如权利要求1所述的动静匹配的目标检测与跟踪方法,其特征在于在计算得到当前图像的帧间二值图之前,还包括如下步骤:
对获取的图像进行降噪处理。
3.如权利要求2所述的动静匹配的目标检测与跟踪方法,其特征在于采用中值滤波对获取的图像进行降噪处理,包括如下步骤:
选择一个(2n+1)×(2n+1)的窗口,并用所述窗口沿图像数据进行光栅扫描;其中,n为正整数;
读取窗口下各像素点对应的像素值,在获取的图像上移动窗口,每次移动后,对窗口内的各个像素值进行排序;直至获取的图像全部处理完成;
将所有像素值中排在中间的一个值作为中值代替窗口中心位置像素点的原始像素值。
4.如权利要求1所述的动静匹配的目标检测与跟踪方法,其特征在于采用多帧图像差分算法计算得到当前图像的帧间二值图,包括如下步骤:
获取视频图像序列中连续的三帧图像,将中间帧设置为当前帧,对三针图像的相邻两帧分别进行差分运算,得到两个二值差分图像;
对得到的两个二值差分图像进行与运算,当两个二值差分图像中至少有一个值为零时,将当前帧对应位置像素值设置为零,得到当前图像的帧间二值图。
5.如权利要求1所述的动静匹配的目标检测与跟踪方法,其特征在于计算帧间二值图存在白点的区域,根据所述存在白点的区域大小判断摄像机镜头的运动状态,包括如下步骤:
将帧间二值图等面积划分为2M块二值区域,其中M为大于3的正整数;确定二值区域中存在白点的区域个数;
设定区域阈值,当二值区域中存在白点的区域个数大于区域阈值时,摄像机镜头运动;
否则,摄像机镜头静止。
6.如权利要求5所述的动静匹配的目标检测与跟踪方法,其特征在于获取当前帧的帧内边缘图,包括如下步骤:
S3211,获取图像第i行第j个像素点的YUV值;将第i行第j个像素点的YUV值减去第i+1行第j个像素点的YUV值得到YUV差值Lij;其中,i=1,2……N-1;N为图像的行像素数;j=1,2……M;M为图像的列像素数;
S3212,如果YUV差值Lij大于YUV行差值阈值,则第i行第j个像素点是物体的行边界点;
S3213,j=j+1,重复步骤S3211~S3212,直至j=M,得到第i行物体的所有行边界点;
S3214,i=i+1,重复步骤S3211~S3213,直至i=N-1,得到物体的所有行边界点;
S3215,获取图像第j列第i个像素点的YUV值;将第j列第i个像素点的YUV值减去第j+1列第i个像素点的YUV值得到YUV差值Lji;其中,i=1,2……N;N为图像的行像素数;j=1,2……M-1;M为图像的列像素数;
S3216,如果YUV差值Lji大于YUV列差值阈值,则第j列第i个像素点是物体的列边界点;
S3217,i=i+1,重复步骤S3215~S3216,直至i=N,得到第j列物体的所有列边界点;
S3218,j=j+1,重复步骤S3215~S3217,直至j=M-1,得到物体的所有列边界点;
S3219,物体的所有行边界点和所有列边界点构成当前帧的帧内边缘图。
7.如权利要求1所述的动静匹配的目标检测与跟踪方法,其特征在于还包括如下步骤:
如果存在白点的区域小于等于干扰阈值,则摄像机镜头静止,根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。
8.如权利要求1所述的动静匹配的目标检测与跟踪方法,其特征在于控制摄像机根据运动轨迹对物体进行跟踪,包括如下步骤:
如果物体的运动区域开始越过图像的中心区域,则控制滑轨和运动物体做同向运动,使运动物体移动到图像的中心区域;
如果物体的运动区域到达或者越过实际有效区域边缘,则转动摄像机镜头将运动物体移动到图像的中心区域;
如果物体的运动区域还处于中心区域之内,则滑轨和摄像机镜头保持不动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910357392.XA CN110378928B (zh) | 2019-04-29 | 2019-04-29 | 一种动静匹配的目标检测与跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910357392.XA CN110378928B (zh) | 2019-04-29 | 2019-04-29 | 一种动静匹配的目标检测与跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378928A CN110378928A (zh) | 2019-10-25 |
CN110378928B true CN110378928B (zh) | 2022-01-04 |
Family
ID=68248549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910357392.XA Active CN110378928B (zh) | 2019-04-29 | 2019-04-29 | 一种动静匹配的目标检测与跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378928B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754432B (zh) * | 2020-06-22 | 2023-12-29 | 成都国科微电子有限公司 | 一种帧间差分运动检测方法及装置 |
CN116188328B (zh) * | 2023-04-24 | 2023-06-27 | 深圳市银河通信科技有限公司 | 基于物联网的停车场感应灯联动系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
CN102831580A (zh) * | 2012-07-17 | 2012-12-19 | 西安电子科技大学 | 基于运动检测的手机拍摄图像修复方法 |
CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
CN106920245A (zh) * | 2017-03-13 | 2017-07-04 | 深圳怡化电脑股份有限公司 | 一种边界检测的方法及装置 |
CN109063659A (zh) * | 2018-08-08 | 2018-12-21 | 北京佳讯飞鸿电气股份有限公司 | 运动目标的检测与跟踪方法和系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006039320A1 (en) * | 2004-09-29 | 2006-04-13 | Warner Bros. Entertainment Inc. | Correction of blotches in component images |
US20120033896A1 (en) * | 2010-08-08 | 2012-02-09 | Geoffrey Louis Barrows | Visual Motion Processing with Offset Downsampling |
CN102096931B (zh) * | 2011-03-04 | 2013-01-09 | 中南大学 | 基于分层背景建模的运动目标实时检测方法 |
CN103530893B (zh) * | 2013-10-25 | 2016-06-08 | 南京大学 | 相机抖动场景下基于背景差和运动信息的前景检测方法 |
CN105472204B (zh) * | 2014-09-05 | 2018-12-14 | 南京理工大学 | 基于运动检测的帧间降噪方法 |
CN107133969B (zh) * | 2017-05-02 | 2018-03-06 | 中国人民解放军火箭军工程大学 | 一种基于背景反投影的移动平台运动目标检测方法 |
CN107452005B (zh) * | 2017-08-10 | 2018-06-22 | 中国矿业大学(北京) | 一种结合边缘帧差和高斯混合模型的运动目标检测方法 |
-
2019
- 2019-04-29 CN CN201910357392.XA patent/CN110378928B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
CN102831580A (zh) * | 2012-07-17 | 2012-12-19 | 西安电子科技大学 | 基于运动检测的手机拍摄图像修复方法 |
CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
CN106920245A (zh) * | 2017-03-13 | 2017-07-04 | 深圳怡化电脑股份有限公司 | 一种边界检测的方法及装置 |
CN109063659A (zh) * | 2018-08-08 | 2018-12-21 | 北京佳讯飞鸿电气股份有限公司 | 运动目标的检测与跟踪方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110378928A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110610150B (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
CN107133969A (zh) | 一种基于背景反投影的移动平台运动目标检测方法 | |
US20110074927A1 (en) | Method for determining ego-motion of moving platform and detection system | |
CN111161313A (zh) | 一种视频流中的多目标追踪方法及装置 | |
CN110378928B (zh) | 一种动静匹配的目标检测与跟踪方法 | |
CN105374051B (zh) | 智能移动终端防镜头抖动视频运动目标检测方法 | |
Liu et al. | Pixel Based Temporal Analysis Using Chromatic Property for Removing Rain from Videos. | |
CN110415275B (zh) | 一种基于点对点的运动目标检测与跟踪方法 | |
CN109658441B (zh) | 基于深度信息的前景检测方法及装置 | |
Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
CN110728700A (zh) | 一种运动目标追踪方法、装置、计算机设备及存储介质 | |
JP4161477B2 (ja) | 動き検出方法および動き検出装置 | |
CN110378927B (zh) | 一种基于肤色的目标检测与跟踪方法 | |
CN107563371B (zh) | 基于线激光光条的动态搜索感兴趣区域的方法 | |
Wu et al. | Study of multiple moving targets’ detection in fisheye video based on the moving blob model | |
CN110310303B (zh) | 图像分析多目标跟踪方法 | |
CN109102520A (zh) | 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法 | |
Chung et al. | Progressive background images generation | |
Sincan et al. | Moving object detection by a mounted moving camera | |
Liu et al. | Omni-directional vision based human motion detection for autonomous mobile robots | |
CN114820718A (zh) | 一种视觉动态定位跟踪算法 | |
CN108830867B (zh) | 基于直线边缘特征的稳像方法、系统 | |
Liu et al. | Lane line detection based on OpenCV | |
Song et al. | A real-time algorithm for moving objects detection in video images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |