CN104168444A - 一种跟踪球机的目标跟踪方法及跟踪球机 - Google Patents
一种跟踪球机的目标跟踪方法及跟踪球机 Download PDFInfo
- Publication number
- CN104168444A CN104168444A CN201310187161.1A CN201310187161A CN104168444A CN 104168444 A CN104168444 A CN 104168444A CN 201310187161 A CN201310187161 A CN 201310187161A CN 104168444 A CN104168444 A CN 104168444A
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- msub
- determining
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000013598 vector Substances 0.000 claims description 148
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 9
- 101100421536 Danio rerio sim1a gene Proteins 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 101000618467 Hypocrea jecorina (strain ATCC 56765 / BCRC 32924 / NRRL 11460 / Rut C-30) Endo-1,4-beta-xylanase 2 Proteins 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种跟踪球机的目标跟踪方法及装置,能够较好地提高自动跟踪球机跟踪目标的准确性。其中该方法包括:针对获取的待检测图像,确定跟踪球机的当前状态信息;根据所述当前状态信息,确定跟踪球机的转动速度;以及基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的;根据所述目标位置信息,跟踪球机对所述跟踪目标进行跟踪。
Description
技术领域
本发明涉及视频监控技术领域,尤其是涉及一种跟踪球机的目标跟踪方法及跟踪球机。
背景技术
智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解,在不需要人为干预的情况下,通过对序列图像自动分析,对监控场景中的变化进行定位、识别和跟踪,并在此基础上分析和判断目标的行为,能在异常情况发生时及时发出警报或提供有用信息,有效地协助安全人员处理危机,并最大限度地降低误报和漏报现象。
智能跟踪球机是一种常见的监控设备,该设备可以自动选择待跟踪的目标,并实现长时间的变倍放大跟踪,广泛应用于车站、地铁、小区以及学校等众多监控场所。在视频分析领域中,主动跟踪用于在动态场景中跟踪指定目标。其中,目标跟踪方法一般包括下述几种:
第一种方法:基于模型匹配的目标跟踪方法,如粒子滤波法、均值偏移(mean-shift)法等。具体为:首先提取目标的特征作为模板,然后根据该特征模板,在下一帧中确定出最接近该特征的位置信息,再次将该确定出的位置信息作为目标的所在的位置信息,并更新特征模板。
第二种方法:卢卡斯奏托马西特征跟踪(klt,Kanade-Lucas-Tomasi FeatureTracker)方法。其具体处理流程为:首先提取出目标上的特征像素点,然后跟踪每一个特征像素点(也可以称之为特征像素点)。较佳地,可以采用卢卡斯(lk,Lucas-Kanade)光流法计算特征像素点的速度,但是由于特征像素点无法长期跟踪,当特征像素点丢失的数量达到一定数值之后,会重新检测特征像素点并进行目标跟踪。
第三种方法:跟踪学习检测(TLD,Track-Learn-Detect)跟踪方法,该方法是一个以检测来改进目标跟踪的策略。具体为:首先需要设置一个短时跟踪器,以设置的短时跟踪器持续跟踪目标,并且生成一个在线检测器,该在线检测器以短时跟踪器的跟踪结果作为训练器的输出生成,并根据输出生成的结果更新短时跟踪器的跟踪目标。当短时跟踪器跟丢目标后,可以通过在线检测器重新找回目标,从而实现延长跟踪时间和抗遮挡的目的。
但是在现有视频跟踪技术中,可能会存在目标被遮挡,包括局部遮挡、完全遮挡等。以及目标的表观发生突变,例如强光照环境变化等等,此外,环境的复杂度也会对跟踪效果造成较大的影响。因此,上述方法主要缺陷在于:
第一种方法的缺陷:基于模型匹配的方法需要建立的模型和背景之间的差异度要足够大。一般的模型都使用了目标的颜色或者纹理或者轮廓信息。例如对于颜色信息,要求目标存在的每一帧,目标和背景之间都存在较大的颜色差异,而具体实施中,只有在有限的实验环境中才能达到。同样对于纹理信息,一般也只用了目标纹理的有限采样,因此也只有有限的实验环境中,才存在符合要求的环境。而当目标进出阴影时,目标的颜色即会发生改变,此时往往会导致目标跟踪失败。此外,短时的光照改变也会导致目标跟踪失败。因此该种方法进行目标跟踪时,准确性较差。
第二种方法的缺陷:klt方法是一种基于运动分析的方法,该方法可以直接估计出目标在两帧之间的运动速度,从而为跟踪提供了有效地速度、位置预估。但是klt采用了特征像素点来进行跟踪,对于较小的人体,和对比度较低的场景,在这类环境中,人体上的特征像素点数量较少,且跟踪的可靠性不高,由于人体不是刚体,对特征像素点进行光流计算结果不太可靠,一般偏差较大。此外,当存在多目标时,由于只利用了运动信息,不同运动目标之间难以区分,容易跟踪错误目标,此外,场景中存在的各种随机摆动的树叶等也会导致跟踪失败。因此该种方法进行目标跟踪时,准确性较差,可靠性较低。
第三种方法的缺陷:TLD方法,即跟踪-学习-检测的目标跟踪方法,如果设置的短时跟踪器效果不理想,不能在其跟踪期间提供有效地样本供学习,则无法生成可靠的检测器。因此,该方法进行目标跟踪时,准确性较差,并未本质上解决如何可靠跟踪目标的问题。
综上所述,现有技术中提出的目标跟踪方法,使得自动跟踪球机进行目标跟踪时的准确性较差。
发明内容
本发明实施例提供了一种跟踪球机的目标跟踪方法及跟踪球机,能够较好地提高自动跟踪球机跟踪目标的准确性。
一种跟踪球机的目标跟踪方法,包括:针对获取的待检测图像,确定跟踪球机的当前状态信息;根据所述当前状态信息,确定跟踪球机的转动速度;以及基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的;根据所述目标位置信息,跟踪球机对所述跟踪目标进行跟踪。
一种跟踪球机,包括:确定模块,用于针对获取的待检测图像,确定跟踪球机的当前状态信息;根据所述当前状态信息,确定跟踪球机的转动速度;以及基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的;跟踪模块,用于根据所述目标位置信息,对所述跟踪目标进行跟踪。
采用上述技术方案,通过针对获取的待检测图像,确定跟踪球机的当前状态信息,进而确定出跟踪球机的转动速度,基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,并对目标进行跟踪,相对于现有技术,引入跟踪球机的转动速度,从而能够确定出球机的状态,进而确定目标位置信息进行跟踪,避免环境干扰,提出了以跟踪球机转动速度结合确定目标位置信息的方法,并不是现有技术中提出的纯粹以相似度来进行判断,能够较好地提高自动跟踪球机跟踪目标的准确性,也提高了系统可靠性。
附图说明
图1为本发明实施例中,提出的跟踪球机的目标跟踪方法流程图;
图2为本发明实施例中,提出的确定跟踪球机转动速度的方法流程图;
图3a为本发明实施例中,提出的将待检测图像划分为具有相同大小的图像块的第一种划分形式;
图3b为本发明实施例中,提出的将待检测图像划分为具有相同大小的图像块的第二种划分形式;
图4为本发明实施例中,提出的跟踪球机的结构组成示意图。
具体实施方式
针对现有技术中存在的目标跟踪过程中准确性较低的问题,本发明实施例这里提出的技术方案中,提出一种在动态场景下持续跟踪视频中的特定运动目标而不易丢失的方法。通过对跟踪球机转动速度的确定,选择不同的跟踪算法,然后在运动区域范围内,搜索最匹配目标,能够较好地提高目标跟踪过程中跟踪的准确率,也提高了系统可靠性。
下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。
本发明实施例这里提出一种跟踪球机的目标跟踪方法,针对获取的待检测图像,确定跟踪球机的转动速度,以及根据确定出的转动速度,按照预设算法,确定目标跟踪区域内的目标位置信息,其中,目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的,最后根据目标位置信息,对目标位置信息中包含的目标进行跟踪。如图1所示,其具体处理流程如下述:
步骤11,针对获取的待检测图像,确定跟踪球机的当前状态信息,并根据跟踪球机的当前状态信息,确定跟踪球机的转动速度。
由于跟踪球机正常工作时,即跟踪球机未工作时,可以处于两种状态,分别是停止状态以及转动状态,因此,如图2所示,可以按照下述步骤来确定跟踪球机的转动速度:
步骤21,确定跟踪球机的当前状态信息。
步骤一:将待检测图像划分为至少两个图像块。
其中,将待检测图像划分为至少两个图像块,图像块的大小可以相同,也可以不相同,较佳地,本发明实施例这里提出的技术方案中,将待检测图像划分为具有相同大小的图像块,可以较好地节省处理资源。
其中,将待检测图像划分为具有相同大小的图像块,可以但不限于有两种划分形式,如图3a和图3b所示,图3a是划分的具有相同大小的图像块之间没有间隔,图3b是划分的具有相同大小的图像块之间有一定间隔。较佳地,本发明实施例这里提出的技术方案中,采用第二种划分方式,即划分的具有相同大小的图像块之间有一定间隔。
首先确定获取的待检测图像的大小,根据待检测图像的大小,确定待划分的图像块之间的间隔,按照确定出的间隔,将该待检测图像划分为具有相同大小的图像块。其中,图像块之间的间隔包括水平方向上的图像块之间的间隔和竖直方向上的图像块之间的间隔。可以按照下述公式1,来确定待划分的图像块之间水平方向上的间隔:
其中,itvx是待划分的图像块之间水平方向上的间隔,W是待检测图像水平方向的长度,Nm是控制待划分的图像块间隔的参数。
较佳地,在水平方向上,Nm具体为水平方向上,待划分的图像块的数量。Nm的取值范围可以是在20~40之间。例如,假设在水平方向上,待划分出30个图像块,则此时Nm=30。
按照下述公式2来确定待划分的图像块之间竖直方向上的间隔:
其中itvy是待划分的图像块之间竖直方向上的间隔,H是待检测图像竖直方向的长度,Nm是控制待划分的图像块间隔的参数。Nm具体为竖直方向上,待划分的图像块的数量。Nm的取值范围可以是在20~40之间。例如,假设在竖直方向上,待划分出35个图像块,则此时Nm=35。
步骤二:确定划分的每个图像块对应的运动矢量。
其中,将待检测图像划分为具有相同大小的图像块之后,可以判断划分的图像块是否是纹理块,在确定出划分的图像块是纹理块时,确定每个纹理块对应的运动矢量。采用纹理块来进行后续的过程处理,可以减少计算量,并进一步提高计算结果的准确性。
具体地,可以按照下述公式1判断划分的图像块是否是纹理块。
其中,本发明实施例这里提出的纹理块,是指具有一定丰富纹理并适合用于进行运动分析的图像区域。
其中,X是划分的图像块的像素值,EX2是X2的期望值,(EX)2的期望值的平方,Td是预设第一阈值。较佳地,本发明实施例这里提出的技术方案中,Td的取值范围可以是6~8。
步骤三:根据运动矢量,确定跟踪球机的当前状态信息。
对于确定出的归属于纹理块的图像块,可以基于预设的运动矢量计算方法,确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量。其中,预设的运动矢量计算方法可以但不限于是块匹配算法、LK光流算法等等。例如,针对任一纹理块,可以采用匹配算法,计算得到的纹理块对应的水平方向上的运动矢量vx以及竖直方向上的运动矢量vy。
具体地,对于确定出的归属纹理块的图像块,确定划分的每个纹理块的速度矢量方向,根据确定出的速度矢量方向,统计速度的方向直方图,在速度的方向直方图中,确定方向直方图中包含的最高柱的位置信息(即在直方图中最高柱的高度值),根据最高柱的位置信息,确定跟踪球机的当前状态信息。具体地,可以按照下述公式4,来确定划分的每个纹理块的速度矢量方向:
其中,θi是第i个纹理块的速度矢量方向,是第i个纹理块的竖直方向上的速度矢量,第i个纹理块的水平方向上的速度矢量。
可以按照下述公式5,来统计速度的方向直方图:
其中,Histu是速度的方向直方图,n是纹理块的数量,δui是克罗内克Kronecker,如果纹理块i的方向属于第u个bin,函数值为1,否则为0,其中bin是直方图上的一个柱。其中,Kronecker也可以称之为是单位冲击函数。
在确定出每个纹理块的速度矢量方向之后,需要将速度矢量方向进行量化,例如可以按照预设数值,规定为一个柱。例如,本发明实施例这里采用以15度为一个柱,则一共有360/15=24个柱。较佳地,小速度也作为一个独立的柱,因此,速度的方向直方图中一共有25个柱。其中,针对一个纹理块,该纹理块对应的运动矢量分别为水平方向上的速度矢量和竖直方向上的运动矢量,所谓小速度,是指针对确定出的每个纹理块对应的运动矢量,其在水平方向上的运动矢量和在数值方向上的运动矢量均小于预设门限值的速度矢量。
在统计出速度的方向直方图之后,根据速度的方向直方图中包含的最高柱的位置信息,确定跟踪球机的当前状态信息,若所述最高柱的位置信息(最高柱的高度值)为0,则确定跟踪球机的当前状态信息是停止状态,否则,按照预设规则确定跟踪球机的当前状态信息是否是转动状态。
较佳地,可以采用下述公式6,来确定跟踪球机的当前状态信息是否是转动状态:
Histpm+Histpm+1+Histpm-1>TH*Sum(Hist) 公式6
其中,Histpm是最高柱位置处的柱数量信息,Histpm+1,Histpm-1是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息,Sum(Hist)是速度的方向直方图的累加和值,TH是预设第二阈值。
步骤22,据跟踪球机的当前状态信息,确定跟踪球机的转动速度。
在确定出跟踪球机的当前状态信息是停止状态时,则跟踪球机的转动速度为0,以及在确定出跟踪球机的当前状态信息是转动状态时,则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。具体地,可以按照下述公式7和公式8来确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值,确定出的速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中,Vcx是跟踪球机在水平方向上的水平速度,Pm-1和Pm+1是速度的方向直方图中包含的最高柱相邻的柱,Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,是第i个纹理块的水平方向上的速度矢量,θi是第i个纹理块的速度矢量方向,若θi在(Pm-1,Pm+1)之间,δ取值为1,否则取值为零。
具体实施中,针对获取的待检测图像,跟踪球机状态包括停止状态和转动状态,因此,对应两种不同状态,球机的转动速度也不完全相同。具体实施中,跟踪球机的当前状态信息获取可以按照下述步骤进行:。
步骤一:需要根据待检测图像的大小计算图像块的间隔,根据确定出的间隔,将待检测图像划分为同样大小的图像块。具体可以参照上述公式1和公式2来分别确定待划分的图像块之间水平方向上的间隔和竖直方向上的间隔。本步骤这里不再赘述。
步骤二:将待检测图像划分为具有相同大小的图像块之后,可以判断划分的图像块是否是纹理块。
具体地,可以参照上述公式3中的详细阐述,这里不再赘述。
步骤三:根据确定出的纹理块对应的运动矢量,确定跟踪球机的当前状态信息,即判断跟踪球机是处于停止状态还是处于转动状态。
具体地,对于确定出的归属纹理块的图像块,确定划分的每个纹理块的速度矢量方向,根据确定出的速度矢量方向,统计速度的方向直方图,在速度的方向直方图中,确定方向直方图中包含的最高柱的位置信息(即最高柱的高度值),根据最高柱的位置信息,确定跟踪球机的当前状态信息。
首先可以按照上述公式4确定每个纹理块的速度矢量方向,其次,按照上述公式5来统计速度的方向直方图。在确定出每个纹理块的速度矢量方向之后,需要将速度矢量方向进行量化,例如可以按照预设数值,规定为一个柱。例如,本发明实施例这里采用以15度为一个柱,则一共有360/15=24个柱。较佳地,小速度也作为一个独立的柱,因此,速度的方向直方图中一共有25个柱。其中,针对一个纹理块,该纹理块对应的运动矢量分别为水平方向上的速度矢量和竖直方向上的运动矢量,所谓小速度,是指针对确定出的每个纹理块对应的运动矢量,其在水平方向上的运动矢量和在数值方向上的运动矢量均小于预设门限值的速度矢量。
计算速度的方向直方图中包含的最高柱的位置信息Pm,如果最高柱的位置信息Pm=0,则认为跟踪球机处于停止状态。并且继续执行确定球机状态的步骤。较佳地,在确定出跟踪球机处于停止状态时,还可以将跟踪球机的速度矢量置为0,反之,则需要判断跟踪球机是否处于转动状态:可以采用上述公式6来判断跟踪球机当前是否处于转动状态。这里不再赘述。
当确定出球机的当前状态信息为转动状态时,进一步地,需要计算跟踪球机的转动速度,如果跟踪球机的当前状态信息不实转动状态时,则返回继续执行确定每个纹理块的运动速度矢量。具体地,跟踪球机处于转动状态时,确定跟踪球机的转动速度可以参见上述步骤22中公式7和公式8的详细阐述,这里不再赘述。
通过上述步骤一~步骤三的处理过程,可以得到跟踪球机转动速度,如果跟踪球机的当前状态信息是停止状态,则球机转动速度为0,若跟踪球机的当前状态信息为转动状态,则相应地可以得到球机的转动速度为(Vcx,Vcy)。
步骤12,基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息。
其中,目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的。具体地,本发明实施例这里提出的技术方案中,在确定目标跟踪区域时,可以但不限于采用颜色特征、分割的图像块的颜色直方图特征或者其他纹理特征来确定,较佳地,本发明实施例这里提出的技术方案中,采用的是颜色特征来确定目标跟踪区域。目标跟踪区域的形状可以是矩形、圆形或者多边形,本发明实施例这里提出的技术方案中,以目标跟踪区域的形状为矩形为例来进行详细阐述。假设目标的颜色模型表示为:
首先,提取目标的表观特征,例如颜色特征,假设目标的颜色模型表示为:
p=[p1p2…pm]T
其中:
其中,Ch是归一化常数,满足δui表示Kronecker函数,即如果像素i属于第u个柱bin,函数值为1,否则为0,pu表示颜色直方图上的第u个柱。
在确定出目标跟踪区域之后,根据所述转动速度,按照预设算法,确定目标跟踪区域内的目标位置信息,具体处理过程包括:
步骤一:在确定出的目标跟踪区域内提取适用预设算法计算的特征像素点。
具体地,可以在确定出的目标跟踪区域(即矩形框)内,采用均匀划分图像块,以及采用类似harris特征像素点检测方法,和纹理丰富度度量方法来提取特征像素点。
首先可以采用如下公式9和公式10来确定特征像素点之间的间隔Step。
Step_w=width/40 公式9
Step_h=height/40 公式10
其中,Step_w是在目标跟踪区域内,水平方向上提取特征像素点之间的间隔,width是目标跟踪区域的水平方向上的长度值,Step_h是在目标跟踪区域内,竖直方向上提取特征像素点之间的间隔,Step_h目标跟踪区域的竖直方向上的长度值。
其次,按照计算出的特征像素点之间的间隔Step,提取目标跟踪区域内的特征像素点,并对每个提取的特征像素点,计算该特征像素点的纹理复杂度。
再次,计算提取的特征像素点梯度方向比,进而判断提取的特征像素点是否适合进行LK光流计算。
步骤二:基于二值图表征提取的特征像素点。
即采用二值图来表示最终适合LK光流计算的特征像素点。
步骤三:对得到的二值图进行光流计算,确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量。
可以采用下述公式11,根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和跟踪球机的转动速度,对待检测图像进行光流分割,根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量,对分割后得到的光流二值图中包含的像素点进行位置校正,得到当前帧的运动二值图。
公式11
其中, Vcx是跟踪球机在水平方向上的水平速度,是第i个纹理块的水平方向上的速度矢量,是Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,th_min是预设第三阈值,th_segv是预设第四阈值。
较佳地,本发明实施例一这里提出的技术方案中,预设第三阈值th_min取值为100,预设第四阈值th_segv取值为0.3。将每一个符合上述公式11的特征像素点作为一个运动点,在一个二值图像上标记为改点为1,则可以得到运动二值图Im。然后统计目标跟踪区域内的运动直方图,本发明实施例一这里提出的技术方案中,仅统计运动二值图中标示为1的位置,即仅统计目标跟踪区域内,非背景区域。具体地,可以结合上述公式4、公式7和公式8来进行处理,具体如下:
首先计算每个特征像素点的速度方向:
其中,θi是第i个特征像素点的速度矢量方向,是第i个特征像素点的竖直方向上的速度矢量,第i个特征像素点的水平方向上的速度矢量。
然后确定柱信息:
其中,Pu是在第u个柱方向上的运动直方图的柱高度,每个柱表示的是速度方向,如柱u表速度方向,Pu表示在u方向的运动直方图的柱高度,n表示特征像素点个数,δui表示Kronecker函数,如果特征像素点i的方向属于第u个bin,函数值为1,否则为0。本发明实施例这里采用以15度为一个柱,则一共有360/15=24个柱。较佳地,小速度也作为一个独立的柱,因此,速度的方向直方图中一共有25个柱。所谓小速度,是指针对确定出的每个纹理块对应的运动矢量,其在水平方向上的运动矢量和在数值方向上的运动矢量均小于预设门限值的速度矢量。
再次,计算平均速度Vx,Vy。
最后,计算最高柱位置Pm,如果最高柱位置Pm=0,则认为目标停止,即Vx=0,Vy=0;否则按如下公式计算平均速度:
其中,δ(Pm-1<θi<Pm+1)是指角度θi在(Pm-1,Pm+1)之间取值为1,否则取值为零。Vx是目标在水平方向的速度,Pm-1和Pm+1是在速度的方向直方图中包含的和最高柱相邻的柱高度,Vy是目标在垂直方向的速度的垂直速度,是第i个纹理块的竖直方向上的速度矢量,是第i个纹理块的水平方向上的速度矢量,θi是第i个纹理块的速度矢量方向,若θi在(Pm-1,Pm+1)之间,δ取值为1,否则取值为零。
步骤四:根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和转动速度,对待检测图像进行光流分割,得到当前帧的运动二值图。
由于当前计算得到的是前帧相对当前帧的光流,所得到的位置存在偏差,较佳地,为避免这种偏差,则可以使用前述计算得到的Vx和Vy来偏移运动二值图上的特征像素点。将运动二值图上标记为1的特征像素点都按照数值信息(Vx,Vy)移动,从而得到当前帧的运动二值图。该得到的运动二值图即标识了目标的潜在位置。
步骤五:统计运动二值图,得到目标跟踪区域内的目标位置信息。
在得到的运动二值图中,确定目标位置信息,即在得到的目标的潜在位置的基础之上,进一步缩小跟踪范围,确定出待跟踪的目标,准确地得到跟踪的目标位置信息。
具体地,确定搜索间隔,按照确定出的搜索间隔在运动二值图中,选择最相似位置信息作为目标位置信息。
其中,可以确定目标跟踪区域处(即搜索框)的当前颜色直方图和初始目标位置处的初始颜色直方图,然后确定当前颜色直方图和初始颜色直方图之间的匹配度,以得到的搜索间隔,按照匹配度在运动二值图中包含的预设匹配范围内,选择最相似位置信息作为目标位置信息。
可以采用下述公式12,来确定匹配度:
其中,Ki=Ni/Nt,sim是匹配度,Pu′是当前颜色直方图,Ni是运动像素点数量,Nt是预设搜索范围内包含的全部像素点数量。
较佳地,在确定出目标位置信息之后,还可以包括,按照下述公式13更新目标位置信息:
Pu=Pu*(1-alpha)+Pu′*alpha 公式13
其中,Pu是目标模板的颜色直方图,Pu′是搜索得到的最匹配颜色直方图,alpha是预设更新率。较佳地,alpha的取值可以是0.5。该公式的具体含义为通过当前搜索到的目标区域的颜色直方图来更新跟踪目标所在区域的颜色直方图。
具体实施中,结合运动区域的进行目标搜索,确定最终的目标位置信息,上述步骤中,得到的运动二值图提供了目标的潜在位置信息,可以较好地排除背景对待跟踪的目标造成的干扰,首先确定搜索间隔Iv,匹配范围设为Si,本发明实施例这里提出的技术方案中,Si可以取值为10。采用颜色特征,以搜索间隔Iv逐一匹配Si范围内的区域,以计算方差,作为颜色特征可靠度度量。计算当前位置处的颜色直方图Pu′,匹配度如公式计算得到,其中Ki=Ni/Nt,然后根据计算结果,选择最相似位置作为目标当前位置(x,y)对目标进行跟踪。较佳地,还可以将更新目标模块:Pu=Pu*(1-alpha)+Pu′*alpha,其中alpha表示更新率,本例中设为0.5。
步骤13,根据所述目标位置信息,跟踪球机对所述跟踪目标进行跟踪。
较佳地,在上述步骤13之后,还可以包括:
步骤14,判断跟踪的目标是否丢失。
若当前跟踪的目标的水平方向上的速度矢量等于0,且竖直方向上的速度矢量等于0,确定所述跟踪的目标处于静止。
具体地,确定跟踪的目标当前位臵信息和跟踪目标模块之间的相似度,根据确定出的相似度,确定计数值,若所述计数值大于预设第五阈值,则确定跟踪的目标丢失。较佳地,第五阈值可以取值为300。
可以采用下述公式确定相似度:
其中,sim1是相似度,p(x)是p(y)是
采用下述公式15确定计数值:
其中,sim1是相似度,Cnt是计数值。
具体实施中,可以以运动联合特征相似度来进行丢失判断。首先设臵一计数器Cnt。
若当前跟踪的目标的水平方向上的速度矢量等于0,且竖直方向上的速度矢量等于0,确定所述跟踪的目标处于静止。即Vx=0&&Vy=0,则判断跟踪的目标处于静止。否则
确定跟踪的目标当前位臵信息和跟踪目标模块之间的相似度,根据确定出的相似度,确定计数值,若所述计数值大于预设第五阈值,则确定跟踪的目标丢失。即计算跟踪的目标当前位臵信息和跟踪目标模型之间的相似度 根据相似度计算Cnt:
当Cnt>th_cnt时,则跟踪的目标丢失,其中th_cnt是预设的第五阈值,可以取值为300。
较佳地,如果判断跟踪的目标丢失,则结束跟踪过程,否则重新执行步骤11,进行目标的跟踪。
本发明实施例一这里提出的技术方案中,增加的判断跟踪目标是否丢失的处理过程,并以运动结合相似度来实现判断跟踪的目标是否丢失,而并不是现有技术中单纯以相似度来衡量跟踪的目标是否丢失,较好地提高了判断跟踪目标丢失的准确率,也提高了跟踪球机系统的可靠性。
其中,本发明实施例一这里提出的是一种较佳地实施方式,即图1所示的流程图中是一种较佳的实现方式,具体实施中,可以根据技术方案的实施进行相应地调整。
本发明实施例一这里提出的技术方案,提出一种在动态场景下持续跟踪视频中的特定运动目标而不易丢失的方法。通过对跟踪球机转动速度的确定,选择不同的跟踪算法,以多特征融合为基础的目标跟踪方法,跟踪算法以光流计算运动,然后在目标运动区域范围内,搜索出最匹配目标位置信息,确定最终跟踪的目标,避免了环境对目标跟踪过程中造成的干扰,提高了目标跟踪的准确性,同时提出了以运动结合相似度,来判断跟踪的目标是否丢失,提高了判丢准确率,也提高了系统可靠性。
实施二
本发明实施例二这里提出一种跟踪球机,如图4所示,包括:
确定模块401,用于针对获取的待检测图像,确定跟踪球机的当前状态信息;根据所述当前状态信息,确定跟踪球机的转动速度;以及基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的。
跟踪模块402,用于根据所述目标位置信息,对所述跟踪目标进行跟踪。
其中,上述确定模块401,具体用于将所述待检测图像划分为具有相同大小的图像块;确定划分的每个图像块对应的运动矢量;根据所述运动矢量,确定跟踪球机的当前状态信息。
其中,上述确定模块401,具体用于判断划分的图像块是否是纹理块;在确定出划分的图像块是纹理块时,按照下述公式判断划分的图像块是否是纹理块:
其中,X是划分的图像块的像素值,EX2是X2的期望值,(EX)2是X的期望值的平方,Td是预设第一阈值。
其中,上述确定模块401,具体用于根据待检测图像的大小,确定待划分的图像块之间的间隔;按照所述间隔,将所述待检测图像划分为具有相同大小的图像块,其中所述图像块之间的间隔包括水平方向上的图像块之间的间隔和竖直方向上的图像块之间的间隔;按照下述公式确定待划分的图像块之间水平方向上的间隔:
其中,itvx是待划分的图像块之间水平方向上的间隔,W是待检测图像水平方向的长度,Nm是控制待划分的图像块间隔的参数;
按照下述公式确定待划分的图像块之间竖直方向上的间隔:
其中itvy是待划分的图像块之间竖直方向上的间隔,H是待检测图像竖直方向的长度,Nm是控制待划分的图像块间隔的参数。
其中,上述确定模块401,具体用于基于预设的运动矢量计算方法,确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量;其中,根据所述运动矢量,确定跟踪球机的当前状态信息,包括:确定划分的每个纹理块的速度矢量方向;根据所述速度矢量方向,统计速度的方向直方图;确定所述方向直方图中包含的最高柱的位置信息;根据所述最高柱的位置信息,确定跟踪球机的当前状态信息。
其中,上述确定模块401,具体用于按照下述公式确定划分的每个纹理块的速度矢量方向:
其中,θi是第i个纹理块的速度矢量方向,是第i个纹理块的竖直方向上的速度矢量,第i个纹理块的水平方向上的速度矢量。
其中,上述确定模块401,具体用于按照下述公式统计速度的方向直方图:
其中,Histu是速度的方向直方图,n是纹理块的数量,δui是克罗内克Kronecker函数,如果纹理块i的方向属于第u个bin,函数值为1,否则为0,其中bin是直方图上的一个柱。
其中,上述确定模块401,具体用于若所述最高柱的高度值为0,则确定跟踪球机的当前状态信息是停止状态,否则,采用下述公式确定跟踪球机的当前状态信息是否是转动状态:
Histpm+Histpm+1+Histpm-1>TH*Sum(Hist)
其中,Histpm是最高柱位置处的柱数量信息,Histpm+1,Histpm-1是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息,Sum(Hist)是速度的方向直方图的累加和值,TH是预设第二阈值。
其中,上述确定模块401,具体用于在确定出跟踪球机的当前状态信息是停止状态时,则所述跟踪球机的转动速度为0;以及在确定出跟踪球机的当前状态信息是转动状态时,则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。
其中,上述确定模块401,具体用于采用下述公式确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值,所述速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中,Vcx是跟踪球机在水平方向上的水平速度,Pm-1和Pm+1是速度的方向直方图中包含的最高柱相邻的柱,Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,是第i个纹理块的水平方向上的速度矢量,θi是第i个纹理块的速度矢量方向,若θi在(Pm-1,Pm+1)之间,δ取值为1,否则取值为零。
其中,上述确定模块401,具体用于在确定出的目标跟踪区域内提取特征像素点;并基于二值图表征所述特征像素点;对得到的二值图进行光流计算,确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量;并根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割,得到当前帧的运动二值图;统计所述运动二值图,得到目标跟踪区域内的目标位置信息。
其中,上述确定模块401,具体用于采用下述公式,根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割:
其中, Vcx是跟踪球机在水平方向上的水平速度,是第i个纹理块的水平方向上的速度矢量,是Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,th_min是预设第三阈值,th_segv是预设第四阈值;
根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量,对分割后得到的光流二值图中包含的像素点进行位置校正,得到当前帧的运动二值图。
其中,上述确定模块401,具体用于确定跟踪球机在目标跟踪区域内的搜索间隔;确定在目标跟踪区域内的当前颜色直方图和初始目标位置处的初始颜色直方图;确定当前颜色直方图和初始颜色直方图之间的匹配度;以所述搜索间隔,按照匹配度在运动二值图中包含的预设匹配范围内,选择最相似位置信息作为目标位置信息。
其中,上述确定模块401,具体用于采用下述公式,确定匹配度:
其中,Ki=Ni/Nt,sim是匹配度,Pu′是当前颜色直方图,Ni是运动像素点数量,Nt是预设搜索范围内包含的全部像素点数量。
较佳地,跟踪球机还可以包括:
判丢模块,用于按照下述公式更新目标位置信息:
Pu=Pu*(1-alpha)+Pu′*alpha
其中,Pu是目标模板的颜色直方图,Pu′是搜索得到的最匹配颜色直方图,alpha是预设更新率。
上述判丢模块,还用于在对所述跟踪目标进行跟踪之后,若当前跟踪的目标的水平方向上的速度矢量等于0,且竖直方向上的速度矢量等于0,确定所述跟踪的目标处于静止。
具体地,上述判丢模块,具体用于确定跟踪的目标当前位置信息和跟踪的目标前一位置信息之间的相似度;根据所述相似度,确定计数值;若所述计数值大于预设第五阈值,则确定跟踪的目标丢失;其中采用下述公式确定相似度:
其中,sim1是相似度,p(x)是目标位置信息的颜色直方图,p(y)是当前目标跟踪区域的颜色直方图;
采用下述公式确定计数值:
其中,sim1是相似度,Cnt是计数值。
本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (28)
1.一种跟踪球机的目标跟踪方法,其特征在于,包括:
针对获取的待检测图像,确定跟踪球机的当前状态信息;
根据所述当前状态信息,确定跟踪球机的转动速度;以及
基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的;
根据所述目标位置信息,跟踪球机对所述跟踪目标进行跟踪。
2.如权利要求1所述的方法,其特征在于,确定跟踪球机的当前状态信息,包括:
将所述待检测图像划分为至少两个图像块;
确定划分的每个图像块对应的运动矢量;
根据所述运动矢量,确定跟踪球机的当前状态信息。
3.如权利要求2所述的方法,其特征在于,确定划分的每个图像块对应的运动矢量,包括:
判断划分的图像块是否是纹理块;
在确定出划分的图像块是纹理块时,按照下述公式判断划分的图像块是否是纹理块:
其中,X是划分的图像块的像素值,EX2是X2的期望值,(EX)2的期望值的平方,Td是预设第一阈值。
4.如权利要求2所述的方法,其特征在于,确定每个纹理块对应的运动矢量,包括:
基于预设的运动矢量计算方法,确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量;
根据所述运动矢量,确定跟踪球机的当前状态信息,包括:
确定划分的每个纹理块的速度矢量方向;
根据所述速度矢量方向,统计速度的方向直方图;
确定所述方向直方图中包含的最高柱的位置信息;
根据所述最高柱的位置信息,确定跟踪球机的当前状态信息。
5.如权利要求4所述的方法,其特征在于,按照下述公式确定划分的每个纹理块的速度矢量方向:
其中,θi是第i个纹理块的速度矢量方向,是第i个纹理块的竖直方向上的速度矢量,第i个纹理块的水平方向上的速度矢量。
6.如权利要求4所述的方法,其特征在于,按照下述公式统计速度的方向直方图:
其中,Histu是速度的方向直方图,n是纹理块的数量,δui是克罗内克Kronecker函数,如果纹理块i的方向属于第u个bin,函数值为1,否则为0,其中bin是直方图上的一个柱。
7.如权利要求4所述的方法,其特征在于,根据所述最高柱的位置信息,确定跟踪球机的当前状态信息,包括:
若所述最高柱的高度值为0,则确定跟踪球机的当前状态信息是停止状态,否则,采用下述公式确定跟踪球机的当前状态信息是否是转动状态:
其中,是最高柱位置处的柱数量信息,是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息,Sum(Hist)是速度的方向直方图的累加和值,TH是预设第二阈值。
8.如权利要求7所述的方法,其特征在于,根据所述状态信息,确定跟踪球机的转动速度,包括:
在确定出跟踪球机的当前状态信息是停止状态时,则所述跟踪球机的转动速度为0;以及
在确定出跟踪球机的当前状态信息是转动状态时,则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。
9.如权利要求8所述的方法,其特征在于,采用下述公式确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值,所述速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中,Vcx是跟踪球机在水平方向上的水平速度,Pm-1和Pm+1是速度的方向直方图中包含的最高柱相邻的柱,Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,是第i个纹理块的水平方向上的速度矢量,θi是第i个纹理块的速度矢量方向,若θi在(Pm-1,Pm+1)之间,δ取值为1,否则取值为零。
10.如权利要求1所述的方法,其特征在于,基于确定出的转动速度,确定预设时间段内跟踪目标在目标跟踪区域内运动的目标位置信息,包括:
在确定出的目标跟踪区域内提取特征像素点;并
基于二值图表征所述特征像素点;
对得到的二值图进行光流计算,确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量;并
根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割,得到当前帧的运动二值图;
统计所述运动二值图,得到目标跟踪区域内的目标位置信息。
11.如权利要求10所述的方法,其特征在于,采用下述公式,根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割:
其中, Vcx是跟踪球机在水平方向上的水平速度,是第i个纹理块的水平方向上的速度矢量,是Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,th_min是预设第三阈值,th_segv是预设第四阈值;
根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量,对分割后得到的光流二值图中包含的像素点进行位置校正,得到当前帧的运动二值图。
12.如权利要求10所述的方法,其特征在于,统计所述运动二值图,得到目标跟踪区域内的目标位置信息,包括:
确定跟踪球机在目标跟踪区域内的搜索间隔;
确定在目标跟踪区域内的当前颜色直方图和初始目标位置处的初始颜色直方图;
确定当前颜色直方图和初始颜色直方图之间的匹配度;
以所述搜索间隔,按照匹配度在运动二值图中包含的预设匹配范围内,选择最相似位置信息作为目标位置信息。
13.如权利要求1所述的方法,其特征在于,在对所述跟踪目标进行跟踪之后,还包括:
若当前跟踪的目标的水平方向上的速度矢量等于0,且竖直方向上的速度矢量等于0,确定所述跟踪的目标处于静止。
14.如权利要求13所述的方法,其特征在于,在对所述跟踪目标进行跟踪之后,还包括:
确定跟踪的目标当前位置信息和跟踪的目标前一位置信息之间的相似度;
根据所述相似度,确定计数值;
若所述计数值大于预设第五阈值,则确定跟踪的目标丢失;其中采用下述公式确定相似度:
其中,sim1是相似度,p(x)是目标位置信息的颜色直方图,p(y)是当前目标跟踪区域的颜色直方图;
采用下述公式确定计数值:
其中,sim1是相似度,Cnt是计数值。
15.一种跟踪球机,其特征在于,包括:
确定模块,用于针对获取的待检测图像,确定跟踪球机的当前状态信息;根据所述当前状态信息,确定跟踪球机的转动速度;以及基于确定出的转动速度,确定预设时间段内运动目标在目标跟踪区域内的目标位置信息,其中所述目标跟踪区域是跟踪球机对待检测图像进行初始化处理得到的;
跟踪模块,用于根据所述目标位置信息,对所述跟踪目标进行跟踪。
16.如权利要求15所述的跟踪球机,其特征在于,所述确定模块,具体用于将所述待检测图像划分为至少两个图像块;确定划分的每个图像块对应的运动矢量;根据所述运动矢量,确定跟踪球机的当前状态信息。
17.如权利要求16所述的跟踪球机,其特征在于,所述确定模块,具体用于判断划分的图像块是否是纹理块;在确定出划分的图像块是纹理块时,按照下述公式判断划分的图像块是否是纹理块:
其中,X是划分的图像块的像素值,EX2是X2的期望值,(EX)2是X的期望值的平方,Td是预设第一阈值。
18.如权利要求16所述的跟踪球机,其特征在于,所述确定模块,具体用于基于预设的运动矢量计算方法,确定每个纹理块对应的水平方向上的运动矢量以及竖直方向上的运动矢量;其中,根据所述运动矢量,确定跟踪球机的当前状态信息,包括:确定划分的每个纹理块的速度矢量方向;根据所述速度矢量方向,统计速度的方向直方图;确定所述方向直方图中包含的最高柱的位置信息;根据所述最高柱的位置信息,确定跟踪球机的当前状态信息。
19.如权利要求18所述的跟踪球机,其特征在于,所述确定模块,具体用于按照下述公式确定划分的每个纹理块的速度矢量方向:
其中,θi是第i个纹理块的速度矢量方向,是第i个纹理块的竖直方向上的速度矢量,第i个纹理块的水平方向上的速度矢量。
20.如权利要求18所述的跟踪球机,其特征在于,所述确定模块,具体用于按照下述公式统计速度的方向直方图:
其中,Histu是速度的方向直方图,n是纹理块的数量,δui是克罗内克Kronecker函数,如果纹理块i的方向属于第u个bin,函数值为1,否则为0,其中bin是直方图上的一个柱。
21.如权利要求18所述的跟踪球机,其特征在于,所述确定模块,具体用于若所述最高柱的高度值为0,则确定跟踪球机的当前状态信息是停止状态,否则,采用下述公式确定跟踪球机的当前状态信息是否是转动状态:
其中,是最高柱位置处的柱数量信息,是速度的方向直方图中与最高柱相邻的柱位置处的柱数量信息,Sum(Hist)是速度的方向直方图的累加和值,TH是预设第二阈值。
22.如权利要求21所述的跟踪球机,其特征在于,所述确定模块,具体用于在确定出跟踪球机的当前状态信息是停止状态时,则所述跟踪球机的转动速度为0;以及在确定出跟踪球机的当前状态信息是转动状态时,则分别确定跟踪球机在水平方向上的水平速度和垂直方向上的垂直速度。
23.如权利要求22所述的装置,其特征在于,所述确定模块,具体用于采用下述公式确定速度的方向直方图中包含的最高柱对应的纹理块的速度平均值,所述速度平均值作为跟踪球机在水平方向上的水平速度和跟踪球机在垂直方向上的垂直速度:
其中,Vcx是跟踪球机在水平方向上的水平速度,Pm-1和Pm+1是速度的方向直方图中包含的最高柱相邻的柱,Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,是第i个纹理块的水平方向上的速度矢量,θi是第i个纹理块的速度矢量方向,若θi在(Pm-1,Pm+1)之间,δ取值为1,否则取值为零。
24.如权利要求15所述的跟踪球机,其特征在于,所述确定模块,具体用于在确定出的目标跟踪区域内提取特征像素点;并基于二值图表征所述特征像素点;对得到的二值图进行光流计算,确定目标区域在水平方向上的速度矢量和竖直方向上的速度矢量;并根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割,得到当前帧的运动二值图;统计所述运动二值图,得到目标跟踪区域内的目标位置信息。
25.如权利要求24所述的跟踪球机,其特征在于,所述确定模块,具体用于采用下述公式,根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和所述转动速度,对待检测图像进行光流分割:
其中, Vcx是跟踪球机在水平方向上的水平速度,是第i个纹理块的水平方向上的速度矢量,是Vcy是跟踪球机在垂直方向上的垂直速度,是第i个纹理块的垂直方向上的速度矢量,th_min是预设第三阈值,th_segv是预设第四阈值;
根据目标区域在水平方向上的速度矢量和竖直方向上的速度矢量,对分割后得到的光流二值图中包含的像素点进行位置校正,得到当前帧的运动二值图。
26.如权利要求24所述的跟踪球机,其特征在于,所述确定模块,具体用于确定跟踪球机在目标跟踪区域内的搜索间隔;确定在目标跟踪区域内的当前颜色直方图和初始目标位置处的初始颜色直方图;确定当前颜色直方图和初始颜色直方图之间的匹配度;以所述搜索间隔,按照匹配度在运动二值图中包含的预设匹配范围内,选择最相似位置信息作为目标位置信息。
27.如权利要求15所述的跟踪球机,其特征在于,判丢模块,还用于在对所述跟踪目标进行跟踪之后,若当前跟踪的目标的水平方向上的速度矢量等于0,且竖直方向上的速度矢量等于0,确定所述跟踪的目标处于静止。
28.如权利要求27所述的跟踪球机,其特征在于,所述判丢模块,具体用于确定跟踪的目标当前位置信息和跟踪的目标前一位置信息之间的相似度;根据所述相似度,确定计数值;若所述计数值大于预设第五阈值,则确定跟踪的目标丢失;其中采用下述公式确定相似度:
其中,sim1是相似度,p(x)是目标位置信息的颜色直方图,p(y)是当前目标跟踪区域的颜色直方图;
采用下述公式确定计数值:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310187161.1A CN104168444B (zh) | 2013-05-17 | 2013-05-17 | 一种跟踪球机的目标跟踪方法及跟踪球机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310187161.1A CN104168444B (zh) | 2013-05-17 | 2013-05-17 | 一种跟踪球机的目标跟踪方法及跟踪球机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104168444A true CN104168444A (zh) | 2014-11-26 |
CN104168444B CN104168444B (zh) | 2018-05-01 |
Family
ID=51912050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310187161.1A Active CN104168444B (zh) | 2013-05-17 | 2013-05-17 | 一种跟踪球机的目标跟踪方法及跟踪球机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104168444B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108030452A (zh) * | 2017-11-30 | 2018-05-15 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及建立场景地图的方法 |
CN109343049A (zh) * | 2017-11-10 | 2019-02-15 | 长城汽车股份有限公司 | 跟踪可移动目标的方法和装置 |
CN109690611A (zh) * | 2016-09-29 | 2019-04-26 | 华为技术有限公司 | 一种图像校正方法及装置 |
CN110866480A (zh) * | 2019-11-07 | 2020-03-06 | 浙江大华技术股份有限公司 | 对象的跟踪方法及装置、存储介质、电子装置 |
WO2021015672A1 (en) * | 2019-07-24 | 2021-01-28 | Hitachi, Ltd. | Surveillance system, object tracking system and method of operating the same |
CN113804913A (zh) * | 2021-10-13 | 2021-12-17 | 东南大学 | 一种利用单个光流传感器获取球形电机旋转速度的方法 |
CN116744102A (zh) * | 2023-06-19 | 2023-09-12 | 北京拙河科技有限公司 | 一种基于反馈调节的球机跟踪方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102143324A (zh) * | 2011-04-07 | 2011-08-03 | 天津市亚安科技电子有限公司 | 一种云台自动平滑跟踪目标的方法 |
CN102799883A (zh) * | 2012-06-29 | 2012-11-28 | 广州中国科学院先进技术研究所 | 一种从视频图像中提取运动目标的方法及装置 |
CN102883144A (zh) * | 2012-09-26 | 2013-01-16 | 青岛海信网络科技股份有限公司 | 视频监控系统及视频监控方法 |
CN103096121A (zh) * | 2011-10-28 | 2013-05-08 | 浙江大华技术股份有限公司 | 一种摄像头移动检测方法及装置 |
-
2013
- 2013-05-17 CN CN201310187161.1A patent/CN104168444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102143324A (zh) * | 2011-04-07 | 2011-08-03 | 天津市亚安科技电子有限公司 | 一种云台自动平滑跟踪目标的方法 |
CN103096121A (zh) * | 2011-10-28 | 2013-05-08 | 浙江大华技术股份有限公司 | 一种摄像头移动检测方法及装置 |
CN102799883A (zh) * | 2012-06-29 | 2012-11-28 | 广州中国科学院先进技术研究所 | 一种从视频图像中提取运动目标的方法及装置 |
CN102883144A (zh) * | 2012-09-26 | 2013-01-16 | 青岛海信网络科技股份有限公司 | 视频监控系统及视频监控方法 |
Non-Patent Citations (2)
Title |
---|
李连昌: "复杂场景下的视觉目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑 》 * |
黄神治: "移动背景下运动目标检测与跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109690611A (zh) * | 2016-09-29 | 2019-04-26 | 华为技术有限公司 | 一种图像校正方法及装置 |
CN109690611B (zh) * | 2016-09-29 | 2021-06-22 | 华为技术有限公司 | 一种图像校正方法及装置 |
CN109343049A (zh) * | 2017-11-10 | 2019-02-15 | 长城汽车股份有限公司 | 跟踪可移动目标的方法和装置 |
CN109343049B (zh) * | 2017-11-10 | 2022-04-26 | 毫末智行科技有限公司 | 跟踪可移动目标的方法和装置 |
CN108030452A (zh) * | 2017-11-30 | 2018-05-15 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及建立场景地图的方法 |
WO2021015672A1 (en) * | 2019-07-24 | 2021-01-28 | Hitachi, Ltd. | Surveillance system, object tracking system and method of operating the same |
CN110866480A (zh) * | 2019-11-07 | 2020-03-06 | 浙江大华技术股份有限公司 | 对象的跟踪方法及装置、存储介质、电子装置 |
CN113804913A (zh) * | 2021-10-13 | 2021-12-17 | 东南大学 | 一种利用单个光流传感器获取球形电机旋转速度的方法 |
CN116744102A (zh) * | 2023-06-19 | 2023-09-12 | 北京拙河科技有限公司 | 一种基于反馈调节的球机跟踪方法及装置 |
CN116744102B (zh) * | 2023-06-19 | 2024-03-12 | 北京拙河科技有限公司 | 一种基于反馈调节的球机跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104168444B (zh) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104168444B (zh) | 一种跟踪球机的目标跟踪方法及跟踪球机 | |
US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
CN106875424B (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
EP2958054B1 (en) | Hazard detection in a scene with moving shadows | |
CN105760846B (zh) | 基于深度数据的目标检测与定位方法及系统 | |
US9202277B2 (en) | Device for determining disappearing direction and method thereof, apparatus for video camera calibration and method thereof | |
CN111627049B (zh) | 高空抛物的确定方法、装置、存储介质及处理器 | |
CN107564035B (zh) | 基于重要区域识别和匹配的视频跟踪方法 | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
CN110889328A (zh) | 检测道路交通状况的方法、装置、电子设备和存储介质 | |
CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
CN108830204B (zh) | 面对目标的监控视频中异常检测方法 | |
CN111161325A (zh) | 基于卡尔曼滤波与lstm的三维多目标跟踪方法 | |
CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
CN104866830B (zh) | 一种异常动作检测方法及装置 | |
CN111339934A (zh) | 一种融合图像预处理与深度学习目标检测的人头检测方法 | |
Karbasi et al. | Real-time hands detection in depth image by using distance with Kinect camera | |
Kini | Real time moving vehicle congestion detection and tracking using OpenCV | |
CN101877135B (zh) | 一种基于背景重构的运动目标检测方法 | |
CN111738085B (zh) | 实现自动驾驶同时定位与建图的系统构建方法及装置 | |
KR20150081797A (ko) | 객체 추적 장치 및 방법 | |
CN103473753A (zh) | 一种基于多尺度小波阈值去噪的目标检测方法 | |
CN103093481A (zh) | 一种基于分水岭分割的静态背景下运动目标检测方法 | |
Xu-Wei et al. | Real-time hand tracking based on YOLOv4 model and Kalman filter | |
CN116012421A (zh) | 目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |