CN107527356B - 一种基于懒交互方式的视频跟踪方法 - Google Patents
一种基于懒交互方式的视频跟踪方法 Download PDFInfo
- Publication number
- CN107527356B CN107527356B CN201710600951.6A CN201710600951A CN107527356B CN 107527356 B CN107527356 B CN 107527356B CN 201710600951 A CN201710600951 A CN 201710600951A CN 107527356 B CN107527356 B CN 107527356B
- Authority
- CN
- China
- Prior art keywords
- block
- target
- area
- blocks
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003993 interaction Effects 0.000 title claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 42
- 238000012952 Resampling Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005192 partition Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明克服了现有的视频跟踪算法存在计算速度不高与鲁棒性不足二选一的技术缺陷，提出了新的一种基于懒交互方式的视频跟踪方法。本发明主要创新在于当目标部分遮挡和光照变化明显时，通过判定分块异常情况，提出了基于懒交互分块重采样的目标跟踪方法。其中，分块异常的判定主要分为三种情况：一是，分块远离跟踪目标；二是，正样本与负样本的比例失衡；三是，分块可跟踪的置信度值太低。通过这些条件，可将异常分块筛选出来，进行重新建模和跟踪。因要对多个分块进行跟踪，本发明引入KCF算法作为基本跟踪算子以保证跟踪的效率。本发明能够最大限度保证重采样本的鲁棒性，以达到跟踪效果的延续性和正确性，同时还能保证较高的计算速度。
Description
技术领域
本发明涉及模式识别领域，更具体地，涉及一种视频跟踪方法。
背景技术
视频跟踪(又称：目标跟踪)主要研究如何利用计算机自动跟踪视频中的运动目标，首先通过提取目标的运动、颜色、纹理、形状等特征，同时考虑背景的灰度、结构和统计等特征，构造目标与背景的数学模型及其度量方程，然后设计匹配策略和判别准则，最终实现对目标的检测、定位和跟踪。目标跟踪在民用和军事领域具有广泛应用，如视频监控、智能机器人、无人驾驶车等等。因此，视频跟踪技术的发展，对加快科技发展，促进社会生产力提高具有重要意义。
由于实际场景的复杂多变、目标本身形态的变化等现象存在，运动目标检测和跟踪的发展受到阻碍。目前已有的一些优秀的算法在应用场合中对解决某一个或某几个场景有比较好的效果。效果比较好的算法主要是两类，一种是基于深度学习理论，一种是基于相关滤波原理，这两类跟踪算法都有不错的效果。但前者计算复杂度高，计算速度得不到保证。而后者计算速度快，准确度高。但是在处理光照变化、遮挡、形变等情况下，由于会导致目标的偏移积累，导致跟踪目标发生漂移，显得鲁棒性不足。
发明内容
本发明克服了上述现有的视频跟踪算法存在计算速度不高与鲁棒性不足二选一的技术缺陷，提供了一种新的基于懒交互方式的视频跟踪方法。本发明有较好的鲁棒性和较高的计算速度。
一种基于懒交互方式的视频跟踪方法，通过使用基于懒交互方式的重采样方法来处理视频跟踪过程中目标变化的问题，实施步骤如下：
步骤A：图像初始化，以第一帧图像为模版，对图像进行分块，分块数量为预设值N，计算每个分块的中心位置和面积，计算每个分块的中心位置与模板中心位置的偏移量，对每个分块进行正负样本的判定，通过KCF算法对每个分块建模；
步骤B：通过KCF算法对每个分块进行跟踪；
步骤C：根据前一帧的分块信息和KCF跟踪结果，确定每个分块在当前帧的信息，具体包括：每个分块的置信度值、每个分块在目标对象上的概率值、每个分块出现在某个位置上的概率值，并根据分块的置信度值和在目标对象上的概率值判断是否对该分块进行跟踪；
步骤D：计算当前帧每个分块的中心位置和面积；
步骤E：计算目标在当前帧的中心位置和目标框架面积的缩放比例；
步骤F：对每个分块进行异常判定，根据分块异常率的阈值，判定是否对异常分块进行重采样；
步骤G：采用懒交互方式对异常分块进行重采样，即采用人工交互的方式对需要重采样的分块进行重采样操作。
步骤H：计算重采样分块的中心位置和大小，根据步骤E的目标在当前帧的中心位置和前一帧的目标大小，对重采样分块进行正负样本的判定；
步骤I：重新计算目标在当前帧的中心位置；
步骤J：计算目标区域的面积，并再次计算目标在当前帧的中心位置和面积；
步骤K：如果没有跟踪完所有帧，则对下一帧图像进行跟踪，重复步骤B到步骤J；如果跟踪完所有帧，则结束程序。
本发明通过使用懒交互的方法，当跟踪目标出现被遮挡等情况时，算法会自动检测出跟踪失败的分块，然后人工交互对分块进行重采样，进而开启相应分块的新跟踪处理，从而可以最大限度保证跟踪的正确性和延续性。
在一种优选的方案中，所述的步骤A具体包括如下步骤：
步骤A1：通过分块的中心位置的坐标值与模板的中心位置的坐标值相减得到得到分块中心位置的偏移量；
步骤A2：如果分块位于标准目标区域里面则为正样本，然后将标准目标区域扩大β倍作为目标搜索区域，当分块位于目标搜索区域内，但不在于标准目标区域里面时则为负样本，β为预设值。
在一种优选的方案中，所述的步骤B的KCF算法具体包括如下步骤：
步骤B1：通过目标周围的循环矩阵采集正负样本；
步骤B2：通过脊回归训练目标检测器将线性空间映射到非线性空间:；
步骤B3：通过循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的哈达玛积，并得出乘积的结果。
通过使用KCF算法，大大降低了运算量，提高了运算速度，从而保证跟踪效率。
在一种优选的方案中，所述的步骤C具体包括如下步骤：
步骤C1：通过函数
得到s(xt)，其中，R(xt)表示响应矩阵，Φ为响应区域，μΦ(R(xt))表示响应矩阵R(xt)的平均值，σΦ(R(xt))表示响应矩阵R(xt)的标准差；将s(X)代入函数pt(zt|xt)＝s(xt λ)得到每个分块的置信度值，式中λ为平衡系数，pt(zt|xt)为分块在当前帧的置信度值；
步骤C2：通过函数为
得到l(xt)，其中yt∈{+1,-1}表示分块xt是正样本还是负样本，Ω+、Ω-分别表示正负样本的集合，N+、N-表示正负样本的数量，||V-V(j)||2表示当前分块所在的中心位置与在上一帧中所在的中心位置的距离；将l(xt)代入函数
式中μ为平衡系数，po(zt|xt)为分块在目标对象上的概率值；
步骤C3：通过KCF算法，每个分块在循环矩阵的运算过程中，每对应一个位置会得到一个概率值，此概率值则为每个分块出现在某个位置上的概率值；
步骤C4：通过函数p(zt|xt)＝pt(zt|xt)po(zt|xt)得到p(zt|xt)，式中pt(zt|xt)为分块在当前帧的置信度值，po(zt|xt)为分块在目标对象上的概率值，p(zt|xt)为分块在当前帧的可靠度值，通过可信度值判断分块是否值得继续跟踪。
在一种优选的方案中，所述的步骤D具体流程如下：
通过步骤C3确定每个分块出现在某个位置上的概率值，将概率值最大的那个位置定义为当前分块在当前帧的中心位置，面积不变。
在一种优选的方案中，所述的步骤E具体流程如下：
通过步骤A确定的正样本进行霍夫投票算法，目标框架面积的缩放比例通过函数
和ct＝med(Dt)确定，式中ct表示目标框架面积的缩放比例，
Ψ2＝[E2*2,0]∈R2*4用来提取位置信息，
估计被跟踪目标大；目标在当前帧的中心位置通过函数
确定，式中
表示第t帧中第i个分块的权重。
在一种优选的方案中，所述的步骤F具体流程如下：
步骤F1：对分块是否异常的判定按照以下三个维度：
首先判断分块是否远离目标，即判断分块是否在搜索区域内，假设分块的中心位置和面积可以表示为[x,y,w,h]，搜索区域的中心位置和面积为[X,Y,W,H](x、y、X、Y均为中心位置)，若x>(X+W/2,X-W/2)且y>(Y+H/2,Y-H/2)，则可将该分块判定为异常块；
其次正负样本比例是否失衡，通过将正负样本的比例设定为预设值R，当正样本的数量超过分块数量N在正负样本比例R的情况下对应的预设正样本数量时，根据每个正样本分块的置信度值，将置信度值小的多出的正样本数量判定为异常块，负样本与正样本的操作流程相同；
最后，出现有两个分块具有相同的跟踪轨迹时，两个分块经过以上的判定后仍然为正确样本，但一个分块的置信度值比另外一个分块的置信度值低，将低置信度值的分块判定为异常分块；
步骤F2：通过判断异常分块数量是否大于异常分块阈值，如果异常分块数量大于异常分块阈值，则对异常分块进行重采样操作；如果异常分块数量小于异常分块阈值，则不对异常分块进行重采样操作。
在一种优选的方案中，所述的步骤H具体流程如下：
步骤H1：在重采样操作过程中对重采样分块的中心位置和面积进行确定；
步骤H2：通过步骤E确定的目标在当前帧的中心位置与上一帧的目标面积，对每个重采样分块进行正负样本的判定，判断准则与步骤A一样。
在一种优选的方案中，所述的步骤I具体流程如下：
对目标在当前帧最终的中心位置再一次运用霍夫投票算法进行确定，目标在当前帧最终的中心位置为：
在一种优选的方案中，所述的步骤J具体流程如下：
通过步骤E中的目标框架面积的缩放比例ct得到在当前帧的目标框架面积为
步骤I中的目标在当前帧最终的中心位置
目标在当前帧表示为：
与现有技术相比，本发明技术方案的有益效果是：
1、将跟踪目标随机用多个散乱不规则的分块表示出来，并对每个分块分别建模。当个别分块出现跟踪异常时，并不会影响整体的跟踪效果，有效地提高了算法的鲁棒性。
2、提出基于懒交互方式的视频跟踪方法，在跟踪过程中目标框发生漂移现象时，能及时处理掉异常的块并进行重采样，使目标框能够重新正确的对目标进行跟踪，以保证跟踪的延续性，从而保证跟踪算法的准确性。
3、整体计算复杂程度不高，计算速度得以保证。
附图说明
图1为本发明的方法流程图。
图2为正负样本及异常块判定图。
图3为实施例一目标跟踪过程图。
标号说明：图3.a为开始跟踪情况；图3.b为分块出现漂移情况；图3.c为懒交互式重采样；图3.d为重采样后的跟踪效果。
图4为实施例二目标跟踪过程图。
标号说明：图4.a为开始跟踪情况；图4.b为分块出现漂移情况；图4.c为懒交互式重采样；图4.d为重采样后的跟踪效果。
图5为实施例三目标跟踪过程图。
标号说明：图5.a为开始跟踪情况；图5.b为分块出现漂移情况；图5.c为懒交互式重采样；图5.d为重采样后的跟踪效果。
图6为实施例四目标跟踪过程图。
标号说明：图6.a为开始跟踪情况；图6.b为分块出现漂移情况；图6.c为懒交互式重采样；图6.d为重采样后的跟踪效果。
图7为实施例四目标跟踪过程图。
标号说明：图7.a为开始跟踪情况；图7.b为分块出现漂移情况；图7.c为懒交互式重采样；图7.d为重采样后的跟踪效果。
图8为本发明和现有比较先进的算法基于benchmark平台在运动情况下的跟踪效果对比图。
标号说明：图8.a为跟踪成功率对比图；图8.b跟踪结果显示。
图9为本发明和现有比较先进的算法基于benchmark平台在光照变化情况下的跟踪效果对比图。
标号说明：图9.a为跟踪成功率对比图；图9.b跟踪结果显示。
图10为本发明和现有比较先进的算法基于benchmark平台在背景复杂等情况下的跟踪效果对比图。
标号说明：图10.a为跟踪成功率对比图；图10.b跟踪结果显示。
图11为本发明和现有比较先进的算法基于benchmark平台的总体跟踪效果对比图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
本实施例的方法执行步骤示意图如附图1所示，具体包括如下步骤：
步骤一：以第一帧图像的目标区域为模版，在目标区域内及周围选取25个分块，确定每个分块的中心位置和大小。然后基于标准目标区域及其扩展区域对每个分块进行正负样本的判定。如图2所示：假设区域1为跟踪目标，则当分块处于区域1时为正样本，处于区域2为负样本，区域3为整个图像区域。
步骤二：运用KCF算法对每个分块进行跟踪。KCF算法是一种鉴别式跟踪方法，即在跟踪过程中训练一个目标检测器。然后用这个训练好的目标检测器去对每个分块进行跟踪，并得到每个分块在当前帧的每个位置的[0,1]范围内的值。
步骤三：计算每个分块在当前帧的置信度值和每个分块是否在跟踪目标上的概率值。由步骤二可得每个分块在当前帧的每个位置的概率值，即可得到一个值的范围在[0,1]内的响应矩阵R(X)。设置评分函数为：
计算每个分块在跟踪目标上的概率值。并将每个分块在每个帧上的运动轨迹信息记录下来：
所以结合目标背景元素和轨迹信息将设置评分函数为：
再由函数
计算每个分块在当前帧是否在跟踪目标上的概率值。
步骤四：在步骤二中得到每个分块在当前帧的每个位置的概率值，对于这个概率值，在当前帧是以矩阵形式表现出来。所以可以筛选出每个分块在当前帧的概率最大值并确定位置，这个位置则为每个分块的中心位置。而在当前帧中每个分块的大小则为上一帧中的大小。
步骤五：计算目标框架的中心位置及大小收缩的比例。当一个分块为正样本时，在跟踪过程中默认它所处的中心位置肯定在目标框架内。所以采用霍夫投票算法对目标框架的中心位置进行确定时，只需要对正样本进行统计投票即可。对于目标框架的大小则是根据每个分块的大小改变比例的中间值来确定，即
然后再由ct＝med(Dt)确定。
步骤六：分块异常的判定。对分块是否异常的判定主要分为三种情况：一是判断分块是否远离目标；二是正负样本比例是否失衡；三是所跟踪分块的置信度值是否太低。
首先，判断分块是否远离目标，计算当前帧分块和目标的中心距离值。如图2所示，当计算出分块与目标中心距离到处于图2区域3时，即可将该分块判定为异常分块。
其次计算正负样本的比例。在当前帧中统计正样本分块和负样本分块的数量，当其数量失衡时，即当正样本数量或者负样本超过所占比例值时，此时需获取每个样本在当前帧的置信度值并对其进行排序(正负样本分块进行)。将正样本分块(或负样本分块)超过比例值的数量根据其置信度值大小，将置信度值低的判定为异常块。如图2中，分别统计处于区域1中分块的数量和处于区域2中分块的数量，即为正负样本的数量。
对于经过以上的判定后仍然为正确样本，但因其置信度值太低，同样将其判定为异常分块。这种情况主要出现在比如有两个分块具有相同的跟踪轨迹时，其中一个分块则是多余的。
步骤七：统计异常分块数量。经过步骤六对每个分块的判定，统计出异常块的数量。当异常分块的数量大于2时，即可进行重采样操作，否则继续进行跟踪操作。
步骤八：采用懒交互方式进行重采样过程。以图3为例，图3.a为刚开始跟踪时的情况，可以看出此时跟踪效果非常好；图3.b图则出现一些分块漂移的情况，有些分块已经远离目标区域(可判定为异常分块)，并当数量超过异常分块阈值时将目标框架为位置拉偏；图3.c为在当前帧中进行懒交互式重采样操作；图3.d为重采样之后的效果，可以看出虽然仍然有一些分块距离目标比较远，但不影响目标框架的正确跟踪。
步骤九：获取重采样分块的中心位置和大小，并对其进行正负样本的判定。在重采样过程中，即可对每个重采样的分块的中心位置和大小进行确定并记录。然后根据步骤五中初步所确定的目标框位置并结合上一帧目标框架的大小，对重采样的每个分块进行正负样本的判断。
步骤十：重新计算目标在当前帧的中心位置。因在步骤九中有重采样本分块，其中可能包含正样本分块，所以需要对目标在当前帧的中心位置进行重新计算。重新统计所以正样本的信息，并采用霍夫投票方法对目标在当前帧的中心位置进行最后的确定。则最终目标在当前帧的中心位置表示为：
步骤十一：计算当前帧目标框架的大小。由步骤五可知在当前帧中目标框架大小的收缩比例为ct。上一帧目标框架的大小
所以当前帧目标框架大小为：
结合步骤十中所得目标框架的中心位置Pt target，最终可确定当前帧中目标的中心位置和大小为：
下面按照不同的参数形成不同的实施例，进行对比：
实施例一：λ＝2，μ＝1，R为4：1，β＝1.5，目标跟踪过程如图3所示。
实施例二：λ＝1，μ＝1，R为4：1，β＝1.5，目标跟踪过程如图4所示。
实施例三：λ＝2，μ＝2，R为4：1，β＝1.5，目标跟踪过程如图5所示。
实施例四：λ＝2，μ＝1，R为4：1，β＝2，目标跟踪过程如图6所示。
实施例五：λ＝2，μ＝1，R为3：1，β＝1.5，目标跟踪过程如图7所示。
本发明的有益效果对比展示：
本发明和现有比较先进的算法基于benchmark平台在运动情况下的跟踪效果对比图，如图8所示。
本发明和现有比较先进的算法基于benchmark平台在光照变化情况下的跟踪效果对比图，如图9所示。
本发明和现有比较先进的算法基于benchmark平台在背景复杂等情况下的跟踪效果对比图，如图10所示。
本发明和现有比较先进的算法基于benchmark平台的总体跟踪效果对比图，如图11所示。
图8，图9和图10中颜色最深的框架为本发明的目标框架。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于懒交互方式的视频跟踪方法，其特征如下，通过使用基于懒交互方式的重采样方法来处理视频跟踪过程中目标变化的问题，实施步骤如下：
步骤A：图像初始化，以第一帧图像为模版，对图像进行分块，分块数量为预设值N，N为正整数，计算每个分块的中心位置和面积，计算每个分块的中心位置与模板中心位置的偏移量，对每个分块进行正负样本的判定，通过KCF算法对每个分块建模；
步骤B：通过KCF算法对每个分块进行跟踪；
步骤C：根据前一帧的分块信息和KCF跟踪结果，确定每个分块在当前帧的信息，包括：每个分块的置信度值、每个分块在目标对象上的概率值、每个分块出现在某个位置上的概率值，并根据分块的置信度值和在目标对象上的概率值判断是否对该分块进行跟踪；
步骤D：计算当前帧每个分块的中心位置和面积；
步骤E：计算目标在当前帧的中心位置和目标框架面积的缩放比例；
步骤F：对每个分块进行异常判定，根据分块异常率的阈值，判定是否对异常分块进行重采样；
步骤G：采用懒交互方式对异常分块进行重采样，即采用人工交互的方式对需要重采样的分块进行重采样操作；
步骤H：计算重采样分块的中心位置和大小，根据步骤E的目标在当前帧的中心位置和前一帧的目标大小，对重采样分块进行正负样本的判定；
步骤I：重新计算目标在当前帧的中心位置；
步骤J：计算目标区域的面积，并再次计算目标在当前帧的中心位置和面积；
步骤K：如果没有跟踪完所有帧，则对下一帧图像进行跟踪，重复步骤B到步骤J；如果跟踪完所有帧，则结束程序。
2.根据权利要求1所述的视频跟踪方法，其特征在于，所述的步骤A具体包括如下步骤：
步骤A1：通过分块的中心位置的坐标值与模板的中心位置的坐标值相减得到得到分块中心位置的偏移量；
步骤A2：如果分块位于标准目标区域里面则为正样本，然后将标准目标区域扩大β倍作为目标搜索区域，当分块位于目标搜索区域内，但不在于标准目标区域里面时则为负样本，β为预设的标准目标区域扩大倍数值。
3.根据权利要求2所述的视频跟踪方法，其特征在于，所述的步骤B的KCF算法具体包括如下步骤：
步骤B1：通过目标周围的循环矩阵采集正负样本；
步骤B2：通过脊回归训练目标检测器将线性空间映射到非线性空间；
步骤B3：通过循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的哈达玛积，并得出乘积的结果。
4.根据权利要求3所述的视频跟踪方法，其特征在于，所述的步骤C具体包括如下步骤：
步骤C1：通过函数
得到s(xt)，其中，R(xt)表示响应矩阵，Φ为响应区域，μΦ(R(xt))表示响应矩阵R(xt)的平均值，σΦ(R(xt))表示响应矩阵R(xt)的标准差；将s(xt)代入函数pt(zt|xt)＝s(xt λ)得到每个分块的置信度值，式中λ为平衡系数，pt(zt|xt)为分块在当前帧的置信度值；
步骤C2：通过函数为
得到l(xt)，其中yt∈{+1,-1}表示分块xt是正样本还是负样本，Ω+、Ω-分别表示正负样本的集合，N+、N-表示正负样本的数量，||V-V(j)||2表示当前分块所在的中心位置与在上一帧中所在的中心位置的距离；将l(xt)代入函数
式中μ为平衡系数，po(zt|xt)为分块在目标对象上的概率值；
步骤C3：通过KCF算法，每个分块在循环矩阵的运算过程中，每对应一个位置会得到一个概率值，此概率值则为每个分块出现在某个位置上的概率值；
步骤C4：通过函数p(zt|xt)＝pt(zt|xt)po(zt|xt)得到p(zt|xt)，式中pt(zt|xt)为分块在当前帧的置信度值，po(zt|xt)为分块在目标对象上的概率值，p(zt|xt)为分块在当前帧的可靠度值，通过可信度值判断分块是否值得继续跟踪。
5.根据权利要求4所述的视频跟踪方法，其特征在于，所述的步骤D具体流程如下：
通过步骤C3确定每个分块出现在某个位置上的概率值，将概率值最大的那个位置定义为当前分块在当前帧的中心位置，面积不变。
6.根据权利要求5所述的视频跟踪方法，其特征在于，所述的步骤E具体流程如下：
通过步骤A确定的正样本进行霍夫投票算法，目标框架面积的缩放比例通过函数
和ct＝med(Dt)确定，式中ct表示目标框架面积的缩放比例，
Ψ2＝[E2*2,0]∈R2*4用来提取位置信息，
估计被跟踪目标大；目标在当前帧的中心位置通过函数
确定，式中
表示第t帧中第i个分块的权重。
7.根据权利要求6所述的视频跟踪方法，其特征在于，所述的步骤F具体流程如下：
步骤F1：对分块是否异常的判定按照以下三个维度：
首先判断分块是否远离目标，即判断分块是否在搜索区域内，假设分块的中心位置和面积可以表示为[x,y,w,h]，搜索区域的中心位置和面积为[X,Y,W,H]；所述的x、y、X、Y均为中心位置，若x>(X+W/2,X-W/2)且y>(Y+H/2,Y-H/2)，则可将该分块判定为异常块；
其次正负样本比例是否失衡，通过将正负样本的比例设定为预设值R，当正样本的数量超过分块数量N在正负样本比例R的情况下对应的预设正样本数量时，根据每个正样本分块的置信度值，将置信度值小的多出的正样本数量判定为异常块，负样本与正样本的操作流程相同；
最后，出现有两个分块具有相同的跟踪轨迹时，两个分块经过以上的判定后仍然为正确样本，但一个分块的置信度值比另外一个分块的置信度值低，将低置信度值的分块判定为异常分块；
步骤F2：通过判断异常分块数量是否大于异常分块阈值，如果异常分块数量大于异常分块阈值，则对异常分块进行重采样操作；如果异常分块数量小于异常分块阈值，则不对异常分块进行重采样操作。
8.根据权利要求7所述的视频跟踪方法，其特征在于，所述的步骤H具体流程如下：
步骤H1：在重采样操作过程中对重采样分块的中心位置和面积进行确定；
步骤H2：通过步骤E确定的目标在当前帧的中心位置与上一帧的目标面积，对每个重采样分块进行正负样本的判定，判断准则与步骤A一样。
9.根据权利要求8所述的视频跟踪方法，其特征在于，所述的步骤I具体流程如下：
对目标在当前帧最终的中心位置再一次运用霍夫投票算法进行确定，目标在当前帧最终的中心位置为：
10.根据权利要求9所述的视频跟踪方法，其特征在于，所述的步骤J具体流程如下：
通过步骤E中的目标框架面积的缩放比例ct得到在当前帧的目标框架面积为
步骤I中的目标在当前帧最终的中心位置
目标在当前帧表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710600951.6A CN107527356B (zh) | 2017-07-21 | 2017-07-21 | 一种基于懒交互方式的视频跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710600951.6A CN107527356B (zh) | 2017-07-21 | 2017-07-21 | 一种基于懒交互方式的视频跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107527356A CN107527356A (zh) | 2017-12-29 |
| CN107527356B true CN107527356B (zh) | 2020-12-11 |
Family
ID=60680140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710600951.6A Active CN107527356B (zh) | 2017-07-21 | 2017-07-21 | 一种基于懒交互方式的视频跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107527356B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961289B (zh) * | 2018-07-13 | 2021-05-07 | 北京工业大学 | 一种基于失衡度先验的行人检测方法 |
| CN109493367B (zh) * | 2018-10-29 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种对目标对象进行跟踪的方法和设备 |
| CN109934098A (zh) * | 2019-01-24 | 2019-06-25 | 西北工业大学 | 一种带隐私保护的摄像机智能系统及其实现方法 |
| CN110751096B (zh) * | 2019-10-21 | 2022-02-22 | 陕西师范大学 | 一种基于kcf轨迹置信度的多目标跟踪方法 |
| CN114663467A (zh) * | 2022-03-24 | 2022-06-24 | 哈尔滨工业大学人工智能研究院有限公司 | 一种通用的目标跟踪分块与融合策略 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN102831618A (zh) * | 2012-07-20 | 2012-12-19 | 西安电子科技大学 | 基于霍夫森林的视频目标跟踪方法 |
| CN103440645A (zh) * | 2013-08-16 | 2013-12-11 | 东南大学 | 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法 |
| CN106127808A (zh) * | 2016-06-20 | 2016-11-16 | 浙江工业大学 | 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法 |
| CN106408594A (zh) * | 2016-09-28 | 2017-02-15 | 江南大学 | 基于多伯努利特征协方差的视频多目标跟踪方法 |
| CN106780568A (zh) * | 2016-12-20 | 2017-05-31 | 云南大学 | 一种基于压缩不规则分块lbp的视频目标跟踪方法 |
-
2017
- 2017-07-21 CN CN201710600951.6A patent/CN107527356B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339655A (zh) * | 2008-08-11 | 2009-01-07 | 浙江大学 | 基于目标特征和贝叶斯滤波的视觉跟踪方法 |
| CN102831618A (zh) * | 2012-07-20 | 2012-12-19 | 西安电子科技大学 | 基于霍夫森林的视频目标跟踪方法 |
| CN103440645A (zh) * | 2013-08-16 | 2013-12-11 | 东南大学 | 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法 |
| CN106127808A (zh) * | 2016-06-20 | 2016-11-16 | 浙江工业大学 | 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法 |
| CN106408594A (zh) * | 2016-09-28 | 2017-02-15 | 江南大学 | 基于多伯努利特征协方差的视频多目标跟踪方法 |
| CN106780568A (zh) * | 2016-12-20 | 2017-05-31 | 云南大学 | 一种基于压缩不规则分块lbp的视频目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 自适应尺度的快速相关滤波跟踪算法;马晓楠等;《计算机辅助设计与图形学学报》;20170315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107527356A (zh) | 2017-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527356B (zh) | 一种基于懒交互方式的视频跟踪方法 | |
| WO2021003824A1 (zh) | 基于图像识别的违章建筑识别方法、装置 | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN107665498B (zh) | 基于典型示例挖掘的全卷积网络飞机检测方法 | |
| CN111444828A (zh) | 一种模型训练的方法、目标检测的方法、装置及存储介质 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN106446922B (zh) | 一种人群异常行为分析方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN105608456A (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN104574401A (zh) | 一种基于平行线匹配的图像配准方法 | |
| EP3073443A1 (en) | 3D Saliency map | |
| WO2019197021A1 (en) | Device and method for instance-level segmentation of an image | |
| CN104156979B (zh) | 一种基于高斯混合模型的视频中异常行为在线检测方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN113436229A (zh) | 一种多目标跨摄像机行人轨迹路径的生成方法 | |
| CN115661757A (zh) | 一种受电弓拉弧自动检测方法 | |
| CN110517285B (zh) | 基于运动估计me-cnn网络的大场景极小目标跟踪 | |
| CN107832732B (zh) | 基于三叉树遍历的车道线检测方法 | |
| CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 | |
| CN107330382A (zh) | 基于局部卷积特征联合表示的单样本人脸识别方法及装置 | |
| CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
| CN111339824A (zh) | 基于机器视觉的路面抛洒物检测方法 | |
| CN113989742A (zh) | 一种基于多尺度特征融合的核电站厂区行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240527 Address after: Room 2932-1, 29th Floor, No. 12 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 (for office purposes only) (cannot be used as a factory building) Patentee after: GUANGZHOU KAPARK NETWORK TECHNOLOGY CO.,LTD. Country or region after: China Address before: 510642 No. five, 483 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA AGRICULTURAL University Country or region before: China |