CN107545582A - 基于模糊逻辑的视频多目标跟踪方法及装置 - Google Patents
基于模糊逻辑的视频多目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN107545582A CN107545582A CN201710535972.4A CN201710535972A CN107545582A CN 107545582 A CN107545582 A CN 107545582A CN 201710535972 A CN201710535972 A CN 201710535972A CN 107545582 A CN107545582 A CN 107545582A
- Authority
- CN
- China
- Prior art keywords
- path segment
- prediction result
- result
- target
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000000903 blocking effect Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 7
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001239379 Calophysus macropterus Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于模糊逻辑的视频多目标跟踪方法及装置，方法包括：对当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联上的预测结果及观测结果进行轨迹管理，包括利用未被关联上预测结果获取终止轨迹片段以及利用未被关联上的观测结果获取新的轨迹片段，对终止轨迹片段及新的轨迹片段进行轨迹关联。通过上述方式，本发明能够有效提高多目标与观测之间的正确关联，大幅减少多目标跟踪中目标标签变化的数量，具有较强的鲁棒性和准确性。
Description
技术领域
本发明涉及目标跟踪领域，特别是涉及一种基于模糊逻辑的视频多目标跟踪方法及装置。
背景技术
视频多目标跟踪技术作为计算机视觉领域的一个重要研究分支，其关系到很多前沿学科，如图像处理、模式识别、人工智能、自动控制以及计算机于一体，在智能视频监控、人机交互、机器人视觉导航、虚拟现实、医学诊断、交通管制及监控等领域有着非常重要的实用价值。
但针对复杂背景环境下的视频目标，开发出一种鲁棒高效的多目标跟踪算法仍存在诸多困难，如目标的相互遮挡、目标的数目以及虚假观测等。这些情况在实际的行人目标跟踪中具有很强的随意性和不确定性，用传统概率方法并不能很好的进行建模。
发明内容
本发明提供一种基于模糊逻辑的视频多目标跟踪方法及装置，能够有效提高多目标与观测之间的正确关联，对表观相似、频繁交互、遮挡以及背景干扰等情况下的多目标进行准确跟踪，同时能大幅减少多目标跟踪中目标标签变化的数量，具有较强的鲁棒性和准确性。
为了解决上述技术问题，本发明采用的一个技术方案是：提供一种基于模糊逻辑的视频多目标跟踪方法，包括：对当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；对所述观测结果和目标的预测结果进行数据关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联上的所述预测结果及所述观测结果进行轨迹管理，包括利用所述未被关联上所述预测结果获取终止轨迹片段以及利用所述未被关联上的所述观测结果获取新的轨迹片段，对所述终止轨迹片段及所述新的轨迹片段进行轨迹关联。
为了解决上述技术问题，本发明采用的一个技术方案是：提供一种基于模糊逻辑的视频多目标跟踪的装置，包括：处理器，所述处理器用于对从所述摄像机获取的当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；对所述观测结果和目标的预测结果进行数据关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联上的所述预测结果及所述观测结果进行轨迹管理，包括利用所述未被关联上所述预测结果获取终止轨迹片段以及利用所述未被关联上的所述观测结果获取新的轨迹片段，对所述终止轨迹片段及所述新的轨迹片段进行轨迹关联。
本发明的有益效果是：提供一种基于模糊逻辑的视频多目标跟踪方法及装置，通过当前视频帧中的观测结果和目标的预测结果进行数据关联，并对未关联上的观测结果和预测结果进行轨迹管理，能有效提高多目标与观测之间的正确关联，对表观相似、频繁交互、遮挡以及背景干扰等情况下的多目标进行准确跟踪，具有较强的鲁棒性和准确性。
附图说明
图1是基于模糊逻辑的视频多目标跟踪方法第一实施例的流程示意图；
图2是本发明基于模糊逻辑的视频多目标跟踪方法第二实施例的流程示意图；
图3是本发明不同目标的预测结果之间遮挡示意图；
图4是本发明基于模糊逻辑的视频多目标跟踪方法第三实施例的流程示意图；
图5是图4中步骤S233一实施方式的流程示意图；
图6是本发明基于模糊逻辑的视频多目标跟踪方法第四实施例的流程示意图；
图7是图6中步骤S23b一实施方式的流程示意图；
图8是本发明多特征线索融合的结构示意图；
图9是本发明模糊输入变量fk(i,j)、的隶属度函数示意图；
图10是本发明输出模糊变量αM的隶属度函数示意图；
图11是本发明基于模糊逻辑的视频多目标跟踪方法第五实施例的流程示意图；
图12是图11中步骤S31一实施方式的流程示意图；
图13是本发明遮挡情况下终止轨迹片段和新的轨迹片段的运动相似性度量；
图14是图11中步骤S33一实施方式的流程示意图；
图15是本发明获取丢失预测点的位置示意图；
图16是本发明基于模糊逻辑的视频多目标跟踪装置第一实施方式的结构示意图；
图17是本发明基于模糊逻辑的视频多目标跟踪装置第二实施方式的结构示意图。
具体实施方式
如图1所示，本发明基于模糊逻辑的视频多目标跟踪方法第一实施例的流程示意图，该方法包括如下步骤：
S1：对当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果。
在线目标运动检测可以使用帧差法、光流法、背景减除法、混合高斯背景模型等运动检测算法。本发明主要采用混合高斯背景模型，对当前视频帧进行运动检测，以从中找出属于运动前景的像素，辅以中值滤波和简单的形态学处理，最终得到当前视频帧中的可能运动对象作为观测对象。一个观测对象是当前视频帧中的一个图像块，一般而言，观测对象的形状为矩形。
采用混合高斯背景模型对运动目标进行检测，得到检测目标集合为 Z＝{z1,...,zr}，由于检测出的目标的预测结果并没有身份ID标识，并不能判断观测结果与前一帧目标的预测结果的对应情况。为此，还必须以检测结果Z＝{z1,...,zr}作为当前观测信息，对目标的预测结果以及观测结果作进一步的关联判断。
S2，对观测结果和目标的预测结果进行数据关联。
由于在视频多目标跟踪中的目标绝大多数为非刚体，其运动具有一定的随机性，且在实际复杂场景中经常会有光照变化、目标遮挡、相似物干扰等因素，都有可能引起目标跟踪的不确定性。目标包括稳定跟踪的可靠目标及不稳定跟踪的临时目标。本步骤中的目标状态，即每个目标被标记为可靠目标还是临时目标，是由前一视频帧的轨迹管理决定的。临时目标包括在前一视频帧为未被关联且不是匹配成功的候选结果的观测结果建立的新的目标，以及连续关联成功的帧数小于或者等于第一帧数阈值且未被删除的目标。可靠目标包括连续关联成功的帧数大于第一帧数阈值且未被删除的目标。目标的预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的。
S3，对未被关联上的预测结果及观测结果进行轨迹管理，包括利用未被关联上预测结果获取终止轨迹片段以及利用未被关联上的观测结果获取新的轨迹片段，对终止轨迹片段及新的轨迹片段进行轨迹关联。
具体而言，步骤S2中的数据关联方法能够处理在短时期内出现的高频率遮挡和大量虚假观测条件下的多目标跟踪的数据关联问题，然而在长时间的遮挡以及漏检情况下，一些目标状态长时间得不到更新，其目标运动轨迹很难维持，会出现目标轨迹断批的情况，即同一个目标拥有多条运动轨迹。同时，当新目标进入场景时，需要初始化相应的新的目标轨迹，如果目标离开场景时，也要删除相应的目标轨迹。
本申请通过分别利用未被关联上预测结果及未被关联上的观测结果获取终止轨迹片段以及新的轨迹片段，通过引入目标轨迹的特征相似性度量建立模糊隶属度，利用模糊综合函数来计算轨迹片段之间的综合相似度，然后采用最大综合相似度和阈值判别原则来实现同一目标轨迹的关联，并对同一目标的轨迹片段间的缺失点进行预测填充，最后得到一条完整连续的目标轨迹。
上述实施方式中，通过当前视频帧中的观测结果和目标的预测结果进行数据关联，并对未关联上的观测结果和预测结果进行轨迹管理，能有效提高多目标与观测之间的正确关联，对表观相似、频繁交互、遮挡以及背景干扰等情况下的多目标进行准确跟踪，具有较强的鲁棒性和准确性
请参阅图2，图2为本发明基于模糊逻辑的视频多目标跟踪方法第二实施例的流程示意图，且本发明的第二实施例是在第一实施例中步骤 S2的进一步拓展，所述方法包括如下步骤：
S21，计算当前视频帧中不同目标的预测结果之间的遮挡度。
本步骤中的目标的预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的。首先对于当前帧视频中的所有目标的预测结果之间进行遮挡度计算，以判定当前帧视频中的所有目标的预测结果之间是否发生遮挡。
请进一步参阅图3，图3为本发明不同目标的预测结果之间遮挡示意图。在当前视频帧中，预测结果A和预测结果B的跟踪图标形状均为矩形，且二者之间有重叠，且预测结果A的参数表述为：[x,y,w,d]，其中，x,y表示矩形框的坐标，w表示矩形框宽度，d表示矩形框的高度，且预测结果B的参数表述为：[x′,y′,w′,h′]，其中，x′,y′表示矩形框的坐标，w′表示矩形框宽度，h′表示矩形框的高度，预测结果A和预测结果 B之间阴影部分表示为：[xo,yo,wo,ho]，且其重叠部分表示为：
由此可知，预测结果A和预测结果B之间重叠部分的面积表示为 wo*ho。若上述的wo、ho不满足wo>0或者ho>0，则两跟踪矩形框之间不构成重叠矩形，也即重叠矩形面积为0。
假设预测结果A与预测结果B发生如图2所示的遮挡，且两跟踪矩形框之间重叠的阴影部分表示遮挡区域，则定义二者之间的遮挡度为：
其中，s(·)表示区域面积，且遮挡度满足0≤ω(A,B)≤1。当ω(A,B)大于0，则说明预测结果A与预测结果B之间发生遮挡。且进一步由分别代表预测结果A与预测结果B的两跟踪矩形框底部的纵向图像坐标值 yA与yB可知，若yA>yB，则说明预测结果B被预测结果A遮挡，反之，则说明预测结果A被预测结果B遮挡。
S22：根据遮挡度分别判断每一预测结果与其他预测结果之间是否发生遮挡。
本步骤中，对于当前视频帧场景中的全部目标的预测结果进行遮挡度判断，并按照式(15)计算当前视频帧不同目标预测结果之间的跟踪矩形框的重叠率ωij(不同目标即预测结果之间的遮挡度)，并判断每一预测结果与其他预测结果的遮挡度是否小于第一遮挡判定阈值τover。其中，第一遮挡判定阈值τover满足τover∈[0,1]。若ωij小于第一遮挡判定阈值τover则认为预测结果之间发生遮挡，若τover等于0，则表明预测结果之间未发生遮挡。
S23：若预测结果与任何其他预测结果之间均未发生遮挡，则对预测结果和观测结果进行第一数据关联；若预测结果与其他预测结果之间发生遮挡，则对预测结果和观测结果进行第二数据关联。
对当前视频帧中所有目标的预测结果进行遮挡度判定后，对预测结果与任何其他预测结果之间均未发生遮挡的，将其与当前视频帧中的观测结果进行第一数据关联。对预测结果与其他预测结果之间发生遮挡，进行第二数据关联。其中，第一数据关联和第一数据关联不同，且第二数据关联比第一数据关联复杂。
上述实施方式中，首先通过判定当前视频帧中所有目标的预测结果之间是否发生遮挡，在分别对目标的预测结果之间发生遮挡和不遮挡的情况，进行预测结果和观测结果间的数据关联，能够对表观相似、频繁交互、遮挡以及背景干扰等情况下的多目标进行准确跟踪，具有较强的鲁棒性和准确性。
请参阅图4，图4为本发明基于模糊逻辑的视频多目标跟踪方法第三实施例，是在本发明基于模糊逻辑的视频多目标跟踪方法第二实施例中S23的进一步扩展，因此与本发明基于模糊逻辑的视频多目标跟踪方法第二实施例相同的步骤在此不再赘述。本实施例包括：
参阅图4，步骤S23进一步包括如下子步骤：
S231，计算观测结果和预测结果之间的第二相似性度量。
采用第二相似性度量对预测结果和与观测结果间的距离进行度量。其中，第二相似性度量包括：空间距离特征相似性度量以及外观特征相似性度量。通常，目标在相邻帧图像之间的位置不会发生较大变化，因此，空间距离特征是能够较为有效地匹配目标的观测结果与预测结果的特征之一。在具体实施例中，观测结果d与预测结果o之间的空间距离特征相似性度量fD(·)定义为：
其中，||·||2为二范数，(xo,yo)为预测结果o在当前视频帧中的中心坐标，(xd,yd)为观测结果d在当前视频帧中的中心坐标，ho为预测结果o 在当前视频帧中的高度，为方差常量。
进一步，观测结果d与预测结果o之间的外观特征相似性度量fS(·)定义为：
其中，hd为观测结果d在当前视频帧中的高度，为方差常量。
S232，利用第一相似性度量计算观测结果和预测结果之间的关联代价矩阵。
采用乘性融合对空间距离特征相似性度量以及外观特征相似性度量进行融合，以得到观测结果和预测结果之间的关联度，且定义为：
sij＝fD(o,d)×fs(o,d) (3)
根据关联度得到观测结果和预测结果之间的关联代价矩阵，且定义为：
S＝[sij]n×l (4)
其中，i＝1,2,…n,j＝1,2,…,l。
S233，采用贪婪算法对关联代价矩阵进行优化求解，找出关联的观测结果和预测结果。
采用贪婪算法实现预测结果与观测结果之间的正确的关联，从而得到预测结果与观测结果之间的关联对。请参阅图5，该步骤S233进一步包括如下子步骤：
S2331，找出关联代价矩阵S中未被标记的所有元素中的最大值。
找出关联代价矩阵S中未被标记的所有元素中的最大值 Spq＝max([Sij]n*l)，其中，p＝1，2，3……n，q＝1，2，3……l，并标记该关联代价矩阵S中该最大值spq所在的第p行及第q列的所有元素。
S2332，判断最大值是否为所在行列中的最大值，且满足大于第一阈值。
判断该最大值spq大是否为所在行和所在列中的最大值，即是否满足： spq≥{spj}j＝1,2,…l、spq≥{siq}i＝1,2,…,n。进一步判断该最大值spq是否大于第一阈值λ1，即预测结果p与观测结果q的关联概率是否大于第一阈值λ1，且该第一阈值的满足λ1∈[0.6,0.9]。
S2333，若大于，则观测结果和预测结果正确关联。
该最大值spq满足上述判定条件，则认为预测结果p与观测结果q和之间正确关联，则将该关联对记录进已关联预测结果和观测结果的集合中。循环执行上述步骤直至关联代价矩阵S中的所有行或所有列均被标记。
上述实施方式，通过判定当前视频帧中目标的预测结果之间未发生遮挡，对观测结果和预测结果之间空间距离特征相似性度量以及外观特征相似性度量进行融合以得到二者的关联代价矩阵，优化求解能够找出正确关联的观测结果和预测结果。
请参阅图6，图6为本发明基于模糊逻辑的视频多目标跟踪方法第四实施例，是在本发明基于模糊逻辑的视频多目标跟踪方法第二实施例中S23的进一步扩展。
在视频帧中不同目标的预测结果之间有遮挡的情况下，由于采用简单的乘性融合策略对两种特征进行融合不能完成预测结果与观测结果之间的关联，这种情况下采用基于模糊逻辑多特征线索加权的融合策略。
步骤S23进一步包括如下子步骤：
S23a：计算观测结果和预测结果之间的第三相似性度量。
在当前视频帧中，由于颜色特征具有较好的抵抗目标形变的能力，但其缺少对预测结果空间结构的描述，且对光照敏感，而边缘特征能够很好地描述人体的边缘，它对光照变化和小量的偏移不敏感，因此颜色与边缘特征具有互补特性，故本发明采用这两种信息融合建立预测结果的外观特征。在本发明中，利用第三相似性度量对观测结果和预测结果之间的距离进行度量，且该第三相似性度量包括外观特征相似性度量、几何形状特征相似性度量、运动特征相似性度量以及空间距离特征相似性度量。
其中，观测结果d与预测结果o之间的外观特征相似性度量fA(·)定义为：
其中，ρ(·)为巴氏(Bhattacharyya)系数，Hc(·)为所述当前视频帧图像背景加权的颜色直方图特征，Hg(·)为分块梯度方向直方图特征，为方差常量，为方差常量。
观测结果d与预测结果o之间的运动特征相似性度量fM(·)定义为：
其中，(x′o,y′o)为上一时刻所述预测结果o的中心坐标，(xo,yo)为所述预测结果o的中心坐标，为上一时刻所述预测结果o的速度在坐标轴上的投影，为方差常量；
观测结果d与预测结果o之间的空间距离特征相似性度量fD(·)定义为：
其中，||·||2为二范数，(xo,yo)为预测结果o的中心坐标，(xd,yd)为观测结果d的中心坐标，ho为预测结果o的高度，为方差常量。
观测结果d与预测结果o之间的外观特征相似性度量fS(·)定义为：
其中，hd为观测结果d的高度，为方差常量。
其中，外观特征相似性度量、几何形状特征相似性度量对应的目标模型与候选模型分别定义为：目标模型：候选模型：
为了衡量目标模型和候选模型之间的相似度，本发明采用巴氏 (Bhattacharyya)系数来描述，且该巴氏系数定义为：
目标的预测结果的运动模型由其质心的坐标和速度来描述。在视频多目标跟踪中，由于相邻两帧视频序列图像间隔时间很短，视频目标运动的机动性不是很大，在大多数情况下，可以假设每一个目标的运动为匀速运动，因此可以为每个目标的预测结果的跟踪矩形框(x,y,w,h)建立基于位置、大小以及速度的运动状态参数模型。则定义卡尔曼滤波器的状态变量Xk为：
Xk＝[x,vx,y,vy]T (17)
其中，x、y分别表示第k帧观测结果的跟踪矩形框质心的横纵坐标，分别表示第k帧观测结果的跟踪矩形框的质心在x轴和y轴方向上的速度。
S23b：采用模糊推理系统模型计算第三相似性度量中每一特征相似性度量的权重值。
本发明中的模糊推理系统主要包含四个基本要素：输入变量的模糊化、建立模糊规则库、模糊推理机、去模糊器(模糊新息精确化输出)。本实施例中，将利用各个特征的相似性度量定义模糊推理系统的输入，通过推理得到每个特征的自适应加权系数。
请参阅图7，进一步该步骤S23b还包括如下子步骤：
S23b1，计算模糊推理系统的输入变量。
一并参阅图8，图8为本发明多特征线索融合的结构示意图。以运动特征相似性度量为第一模糊输入变量，其余3个特征的相似性度量均值为第二模糊输入变量，且其余3个特征的相似性度量均值的计算可定义为：
将分别作为模糊逻辑系统的第一及第二模糊输入变量。其中，ei为特征i的相似性度量，为t-1时刻的特征k的融合系数，fM(i,j)运动特征相似性度量，为余3个特征相似性度量的加权均值。
S23b2，确定模糊推理系统的输入变量及输出变量的隶属度函数。
一般来说，输出变量的精度受模糊集数量的影响，模糊集越多，输出就越精确，但模糊集越多，算法的计算复杂度就越大，所以通常模糊集数量是由经验选取的。
请参阅图9，图9为本发明模糊输入变量fk(i,j)、的隶属度函数示意图。
输入变量fk(i,j)和利用5个语言模糊集{ZE，SP，MP，LP， VP}进行模糊化，其隶属度函数分别用μ0,ZE(i,j)、μ0,SP(i,j)、μ0,MP(i,j)、μ0,LP(i,j) 以及μ0,VP(i,j)表示，五个模糊集分别表示零、正小、正中、正大和非常大。
请参阅图10，图10为本发明输出模糊变量αM的隶属度函数示意图。对于输出模糊变量αM包含五个模糊集：{ZE，SP，MP，LP，VP，EP}， EP表示极大模糊集，其隶属度函数分别用μ1,ZE(i,j)、μ1,SP(i,j)、μ1,MP(i,j)、μ1,LP(i,j)、μ1,VP(i,j)以及μ1,EP(i,μ)表示。
S23b3，采用所模糊推理系统的推理规则得到第三相似性度量中每一特征相似性度量的权重值。
根据步骤S23b2中的定义的输入变量及输出变量的隶属度函数，模糊推理规则可以如下：，
规则1：如果fM(i,j)是ZE，并且fM(i,j)是ZE，则αM是EP
规则2：如果fM(i,j)是ZE，并且fM(i,j)是SP，则αM是VP
规则3：如果fM(i,j)是ZE，并且fM(i,j)是MP，则αM是LP
详细的模糊规则如表1所示：
在本发明一具体实施例中，以规则1为例，详细给出推理过程：
a)根据规则1，模糊输入变量fM(i,j)对应的模糊集为ZE，可以根据图9所示模糊隶属函数，利用fM(i,j)的值求出对应的模糊隶属度值同样的方法，可以求出模糊输入变量对应的模糊隶属度值
b)利用下式计算出规则1的适用度：
其中，∧表示取小。
c)根据规则1，对应的模糊输出为EP，则规则1的输出可以用下式计算：
同样的方法，可以计算出所有规则的模糊输出变量。根据表1可知，本申请中M＝25。于是，总的模糊输出为：
其中，∨表示取大。由于式(20)得到的是一个模糊化的输出，为了得到去模糊化的输出结果可以采用如下方法：
其中，表示模糊规则m对应输出模糊集合的质心。同样的道理，针对不同特征构建模糊推理系统，可以分别得到几何形状特征、运动方向特征以及空间距离的权重值系数αA、αS以及αD。
S23c，对权重值和第三相似性度量进行多特征线索融合，以得到观测结果和预测结果之间的关联代价矩阵。
后将所有特征的权重值系数进行归一化，得到当前时刻各特征的融合系数：
通过判断各个特征的可信程度，自适应给不同特征分配不同的权重，很好地解决了在复杂背景、互相遮挡情况下的跟踪问题。根据式(21) 得到观测结果和预测结果之间的关联代价矩阵，定义为：
S＝[sij]n×l (24)
其中，{αk}k∈{A,M,S,D}为每一特征相似性度量的融合系数，且满足fk(i,j)k∈{A，M，S，D}为观测结果和预测结果之间的每一特征相似性度量。
S23d，采用贪婪算法对关联代价矩阵进行优化求解，找出关联的观测结果和预测结果。
采用贪婪算法实现预测结果与观测结果之间的正确的关联，从而得到预测结果与观测结果之间的关联对进一步包括：
1)找出关联代价矩阵sij中未被标记的所有元素中的最大值。
找出关联代价矩阵sij中未被标记的所有元素中的最大值 Spq＝max([Sij]n*l)，其中，p＝1，2，3……n，q＝1，2，3……l，并标记该关联代价矩阵S中该最大值spq所在的第p行及第q列的所有元素。
2)判断最大值是否为所在行列中的最大值，且满足大于第二阈值。
判断该最大值spq大是否为所在行和所在列中的最大值，即是否满足： spq≥{spj}j＝1,2,…l、spq≥{siq}i＝1,2,…,r。进一步判断该最大值spq是否大于第二阈值λ2，即预测结果p与观测结果q的关联概率是否大于第二阈值λ2，且该第二阈值的满足λ2∈[0.6,0.9]。
3)若大于，则观测结果和预测结果正确关联。
该最大值spq满足上述判定条件，则认为预测结果p与观测结果q和之间正确关联，则将该关联对记录进已关联预测结果和观测结果的集合中。进一步，若该关联代价矩阵Sij中还存在未被标记的行和列，则继续上述步骤1)。
上述实施方式，通过判定当前视频帧中目标的预测结果之间发生遮挡，计算预测结果和观测结果之间的第三特征相似性度量，引入模糊推理系统，利用基于模糊逻辑的方法，根据当前跟踪环境自适应给不同特征信息分配不同的权重值，得到多属性特征的加权和融合，构成该帧目标的预测结果与观测结果的关联代价矩阵，再使用贪婪算法优化求解分配，能够有效提高多目标与观测之间的正确关联。
请参阅图11，图11为本发明基于模糊逻辑的视频多目标跟踪方法第五实施例的流程示意图，是在本发明视频多目标模糊数据关联方法第一实施例中步骤S3的进一步扩展，本实施例进一步包括：
S31，通过第一相似性度量，建立终止轨迹片段及新的轨迹片段之间的模糊关联代价矩阵。
模糊逻辑数据关联方法能够处理在短时期内出现的高频率遮挡和大量虚假观测条件下的多目标跟踪的数据关联问题，然而在长时间的遮挡以及漏检情况下，一些目标状态长时间得不到更新，其目标运动轨迹很难维持，会出现目标轨迹断批的情况，即同一个目标拥有多条运动轨迹。同时，当新目标进入场景时，需要初始化相应的新的目标轨迹，如果目标离开场景时，也要删除相应的目标轨迹。
参阅图12，步骤S31进一步包括如下子步骤：
S311，建立终止轨迹片段及新的轨迹片段之间的相似性向量。
目标的预测结果的终止就是对于场景中离开的目标，或者是静止不动的目标，需要将其从当前的目标跟踪序列中删除。假如目标的估计位置位于视频场景的边缘位置(场景边缘设置为τborder＝5)，则可以判断为目标离开视频场景，此时将该目标从当前的目标跟踪序列中删除。如果目标的估计位置不在视频场景的边缘，而且目标连续x帧都没有与任何观测进行关联，那么就能推断出目标静止或者是被遮挡，将该目标从当前的目标跟踪序列中删除。
如果在场景区域内有未关联上的观测，可以通过判断观测结果是否能够关联上目标来确认是否有新的目标出现。在复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，在保持高检测率的条件下，目标检测器不可避免的会产生一些虚假观测，其不会关联上任何已有的目标，这些虚假观测也可能会被错误的初始化为新的目标。一般来说，在连续的几帧内(时间滑动窗内)目标会有重叠的面积和相同的几何尺寸，因此为了能够准确的判断未被关联上的观测是否来源于新的目标，本申请在新目标初始化模块利用连续Tinit帧内的观测结果来判断是否存在矩形框面积重叠以及具有相同的尺寸，定义观测结果之间矩形框的面积重叠率为：
观测结果之间矩形框的尺寸相似度为：
其中，分别为t时刻和t+1时刻的观测值，area(·)表示观测结果的面积，表示观测值与的重叠面积，h为观测值矩形框的高度值。
其中，τω和τr分别代表重叠率阈值和尺寸相似度阈值。对于连续init 帧内的观测值的面积重叠率和尺寸相似度均大于设定的阈值，即init当大于或等于Tinit时，则将其转化为有效轨迹，即起始一条新的轨迹片段，并将其加入目标跟踪序列中。因此，该方法可以有效剔除目标检测器产生的虚假观测，从而减少了错误的目标轨迹起始。
其中，由于目标终止轨迹可能是一条轨迹片段或者一条完整的目标轨迹，为了确认目标轨迹的完整性，利用终止轨迹最后的位置来判断轨迹在场景中断开或者离开场景。如果终止轨迹最后的位置在场景内，则其轨迹为终止轨迹片段。同时，当目标的轨迹片段的起始帧为当前时刻时，说明该新的轨迹片段是一个新的观测产生的临时轨迹。
在本发明一具体实施例中，终止轨迹片段的集合定义为：新的轨迹片段的集合定义为：其中，na、nb分别表示终止轨迹片段集合及所述新的轨迹片段集合的个数。
第一相似性度量包括外观相似性度量、形状相似性度量以及运动相似性度量，其中，外观相似性度量定义为：
其中，ρ(·)表示为Bhattacharyya系数，Hc(·)表示背景加权的颜色直方图特征，为方差常量，Hg(·)表示方向梯度直方图特征，为方差常量；
形状相似性度量定义为：
其中，hi表示终止轨迹片段Ti在图像中的高度，hj表示新的轨迹片段Tj在图像中的高度，为方差常量；
运动相似性度量定义为：
其中，G(·)表示高斯分布，Σ为高斯分布的方差，Δt是终止轨迹片段Ti最后观测到新的轨迹片段Tj第一个观测的帧间隔、vi分别为终止轨迹片段Ti终止位置和速度，vj分别为新的轨迹片段起始位置和速度。
图13为遮挡情况下终止轨迹片段和新的轨迹片段运动相似性度量。假定预测结果的位置和实际观测结果的位置之间的误差满足高斯分布，即当终止轨迹片段的预测位置与新的轨迹片段的实际位置距离越小，则两条轨迹片段之间的运动相似性就越大(例如与之间的距离越相近，的值就越大)。
进一步，根据式(1)、式(2)以及式(3)可以计算得到两条轨迹片段间的相似性向量，定义为：
其中，Λk(Ti,Tj)∈[0,1]3中，τgap为关联的时间间隔阈值，表示终止轨迹片段Ti断开的时间帧，表示新的轨迹片段Tj起始的时间帧。
S312，利用相似性向量计算终止轨迹片段及新的轨迹片段之间的匹配度。
为了得到任意新的轨迹片段与终止轨迹片段的相似度，本申请采用基于模糊综合函数的模糊性模型来衡量终止轨迹片段和新的轨迹片段之间的匹配度，其定义为：
其中，∧表示所述匹配度取最小值，∨表示所述匹配度取最大值。
S313，根据匹配度计算终止轨迹片段及新的轨迹片段之间的模糊综合相似度。
k时刻终止轨迹片段Ti和新的轨片段Tj之间的模糊综合相似度定义为：
S314，根据模糊综合相似度建立终止轨迹片段及新的轨迹片段的关联代价矩阵。
终止轨迹片段及新的轨迹片段之间的关联代价矩阵定义为：
且两条轨迹片段可以实现关联的前提条件为：
1)时间具有连续性，即相对应的时间帧区间没有发生重叠区域，即
2)两条轨迹片段之间的时间间隔应该在关联的时间间隔阈值范围之内，即满足
在目标跟踪的过程中，假如目标的预测结果发生遮挡、目标检测误差以及漏检等原因造成了目标的运动轨迹发生断开，那么其断开之后新的轨迹与原始的终止轨迹之间的时间间隔相对来说是比较短的。如果这两条轨迹片段之间的时间间隔相对来说比较长，那么可以认为他们不是来源于同一个目标的。本申请中可以通过设定合理的关联时间间隔阈值τgap能够在一个相对较小的范围之内，将可能会被关联上的轨迹进行关联，这样可以很好的提高了算法的时间效率，也排除了一些不可能成功关联上的轨迹片段。
S32，采用最大模糊综合相似度和阈值判别原则实现终止轨迹片段及新的轨迹片段之间的轨迹关联。
根据模糊关联代价矩阵U可知，由于目标跟踪环境的复杂性，在轨迹片段关联中为了给出终止轨迹片段Ti与新的轨迹片段Tj之间的相似性判决，需要利用模糊算子去模糊，最大综合相似度表示为：
如果
则终止轨迹片段Ti与新的轨迹片段关联，并且新的轨迹片段不再与其他终止轨迹片段Ti关联，否则与为不关联轨迹片段，这里ε为阈值参数，且0≤ε≤1。
S33，填充关联上的终止轨迹片段及新的轨迹片段之间缺失的轨迹段。
由于目标的预测结果之间发生遮挡、目标检测误差以及漏检等原因造成了目标的运动轨迹发生断开，采用上述关联方法可以将两条断开的轨迹关联在一起，但是两条轨迹片段之间往往还缺少若干帧丢失的检测点信息。因此，该目标不能形成一条完整连续的轨迹，还需要对他们间的空缺处进行预测填充。
参阅图14，步骤S33包括如下子步骤：
S331，对关联上的终止轨迹片段及新的轨迹片段之间的缺失轨迹段进行双向预测，以获取预测点的位置信息。
图15为获取丢失预测点的位置示意图，Tf是两条断开的轨迹中的前面一条轨迹片段，即终止轨迹片段，Tb是后面的一条轨迹片段，即新的轨迹片段。利用同一目标发生断开的两条轨迹的终止位置、新起始位置以及速度信息，双向连续的预测目标在断开时间间隔内的位置。预测点的位置信息的获取过程如图15所示。pf表示当采用轨迹片段Tf进行正向预测时目标所在的具体位置，pb表示当采用轨迹片段Tb进行反向预测时目标的具体位置，tf表示Tf进行正向预测时当前帧数，tb表示Tb进行反向预测时当前帧数，则获取预测点位置信息的过程如下：
1)初始化：
2)若tf<tb，则从Pf进行正向预测目标在下一帧中的具体位置：
pf＝pf+vf,tf＝tf+1 (30)
从Pb进行反向预测目标在前一帧中的具体位置：
pb＝pb-vb,tb＝tb-1 (31)
重复步骤2)，直至tf≥tb，最后得到两条轨迹片段间的缺失点的位置信息。
S332，获取预测点的矩形框信息。
为了能够对跟踪算法的多目标跟踪精度进行评估，还需要获取预测点目标的矩形框的宽高，在本申请中采用平均法来得到预测点的矩形框的宽高，为：
其中，hk、wk表示第k帧时检测点的矩形框的高度和宽度，表示轨迹片段Tf尾部的矩形框的高度和宽度，表示轨迹片段Tb头部的矩形框的高度和宽度。
S333，根据预测点的位置信息及矩形框信息对缺失轨迹段进行填充。
运用上述的预测点填充方法对轨迹片段间的缺失点进行预测填充后，就可以获得目标的一条完整连续的运动轨迹。
在本发明的实际运用中，对已经关联上的目标的预测结果和观测结果采用滤波器进行滤波和预测，以得到目标当前视频帧中的实际轨迹点以及预测结果，其中，本申请中采用的滤波器可以包括但不限于卡尔曼 (Kalman)滤波器。进一步，对没有关联上目标的预测结果进行外推预测，得到其预测结果，实现对多目标的准确跟踪。且目标的预测结果用于下一帧视频帧中的数据关联。
上述实施方式，对同一目标的断开轨迹间的缺失点进行预测填充，形成完整连续的目标轨迹，能有效解决目标轨迹的平滑与预测、目标轨迹的终止以及新目标轨迹的起始等问题。
下面为使用基于模糊逻辑的视频多目标跟踪方法一实施方式进行实验验证比较的结果，本实施例是本发明第一至第五实施例的结合，且本实施例中分别使用2个公开的PETS2009数据集和TownCentre数据集进行验证。
1)数据集介绍
PETS2009数据集是使用固定在一个室外场景的摄像机从不同视角采集得到的，在场景中包含着大量的行人进入或者退出场景，由于受到光照条件变化和阴影的影响，行人的外观会随着时间发生动态变化。而且视频中的多个行人之间还存在频繁的近距离交互行为(例如并肩行走，停留交谈、握手等)，从单一视角上看，行人还经常被场景中的一个交通灯所遮挡，行人之间也存在相互遮挡的情况。本申请所提出的多目标跟踪算法实验所采用的是该数据集的部分数据，如场景行人较为分散的情况—S2L1，以及场景行人比较拥挤的情况—S2L2，这也是经常被用于视频分析的实验中的两个视频序列。
TownCentre数据集使用固定在一个城镇的繁华街道上的高清摄像机采集得到的，在场景中大量的行人沿着街道两边和中间道路行走，在视频图像序列中的多个行人之间距离非常接近，行人与左边的橱窗内的人体模型较为相似且在经过玻璃橱窗时还会留下阴影。此外，人群中还存在很多衣服颜色很相似的行人，外观相似度很高，容易造成多目标跟踪过程中目标标签转换现象，行人之间的遮挡也很严重，跟踪难度很大。
所采用的测试视频序列的相关信息如表2所示。
表2测试视频序列信息
2)实验对比算法
选取TC_ODAL算法、ALExTRAC算法、基于卷积神经网络和短时约束度量联合学习的轨迹关联算法(CNNTCM)与本申请提出的算法进行比较：
TC_ODAL算法是没有轨迹融合时的基于模糊逻辑的视频多目标跟踪算法。
基于判别性表观模型学习和轨迹置信度的视频多目标在线跟踪算法(TC_ODAL)。在该算法提出了基于轨迹可检测性和连续性的轨迹置信度，对于高置信度的轨迹与在线检测响应进行局部关联，而低置信度的轨迹片段与其他原有轨迹和检测响应进行全局关联，为了能使轨迹的表观特性更具区别性，其采用了一种基于增量线性判别分析算法，将轨迹的表观模型投影到判别性投影空间中。
基于自我监督表观模型学习的关联跟踪算法(ALExTRAC)。在本申请中提出了一种自我监督的方法去学习在视频序列中关联目标与观测，其通过学习一个外观相似性模型来估计数据关联的代价值，并在滑动窗口内收集外观显著变化的样本集用于强化相似性模型。
CNNTCM算法主要是使用辅助数据预训练孪生卷积神经(CNN) 网络，然后将预训练得到的孪生CNN和短时约束度量联合训练出每个轨迹段的度量矩阵，最后使用对应的度量矩阵计算轨迹片段之间的相似关系。本申请选取下面目前性能最优的两种算法与本申请算法进行比较。
3)实验运行性能
本申请提出的算法在CPU为Intel Core i5，3.10GHz和内存为4GB 的PC机上进行Matlab仿真实现。在本申请的实验中，对于人群密度较低的PETS2009-S2L1视频序列，算法处理速度为1.33f/s；而对于人群密度较高的PETS2009-S2L2视频序列，算法处理速度为0.30f/s；对于高频率遮挡的TownCentre视频序列，算法处理速度为0.30f/s；本申请提出的MOT_FTA算法与MOT_FL算法、TC_ODAL算法、ALExTRAC算法、 CNNTCM算法的平均处理速度如表3所示，从表中可以看出，本申请所提出的算法的平均处理速度表现的略低，其主要的损耗在于多属性特征相似性的计算，模糊数据关联的过程，以及轨迹关联在时间阈值内的搜索和计算关联相似性。
表3算法平均处理速度
4)跟踪性能比较
为了保证比较的公平性，采用TC_ODAL算法、ALExTRAC算法、 CNNTCM算法都相同的目标检测结果和真实位置数据，并使用相同的评估代码计算性能指标。
为了进一步验证本申请跟踪算法的有效性，本申请在行人间容易出现频繁动态遮挡情况的视频序列TownCentre上进行了试验，与 TC_ODAL算法、ALExTRAC算法、CNNTCM算法、MOT_FL算法的对比实验结果如表4所示。
表4视频序列TownCentre上的测试结果
从表4可以看出，本申请所提出的MOT_FTA算法在多目标跟踪 准确度(MOTA)这一性能指标上，相对于TC_ODAL算法、ALExTRAC 算法、CNNTCM算法和MOT_FL算法领先的优势比较明显，这说明 提出模糊轨迹关联方法能够有效地处理检测结果中存在的噪声。同时， 本申请提出的MOT_FTA算法在目标标签变化次数(IDS)上分别比 ALExTRAC算法、CNNTCM算法和MOT_FL算法减少了24.6％、35％ 和12.7％，这充分表明采用模糊轨迹关联的方法，可以有效地提高跟 踪系统的持续跟踪性能，抑制了目标的标签转换情况的发生，使目标 的运动轨迹能够连续、平滑。在绝大多数正确跟踪的轨迹数目(MT) 和绝大多数错误跟踪的轨迹数目(ML)这两项指标上略优于对比算法， 则表明本申请提出的MOT_FTA算法能实现对多个目标的准确跟踪， 而且能提供更加完整的目标轨迹输出，这归功于基于模糊轨迹关联的有效性。由于本申请MOT_FTA算法假设为每一个目标运动为匀速运 动，但由于目标的非线性运动状态的突变，MOT_FTA算法无法准确 的对这种情况进行准确估计与预测，其在轨迹中断次数(FG)这一指标 上要差于TC_ODAL算法、ALExTRAC算法和CNNTCM算法。
在本申请一具体实验场景中，本申请算法在视频序列TownCentre 上的部分跟踪结果示例表明，本申请的算法能够实现目标正确的标号，填充的丢失检测点也是十分准确的，且行人的运动轨迹光滑、平整。算法仍然准确的实现同一个目标的断开轨迹片段的关联，使其形成一条完整的轨迹。
如图16所示，图16为基于模糊逻辑的视频多目标跟踪装置第一实施例的结构示意图，包括：
检测模块11，用于对当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果。
关联模块12，用于对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的。
轨迹管理模块13，用于对未被关联上的预测结果及观测结果进行轨迹管理，包括利用未被关联上预测结果获取终止轨迹片段以及利用未被关联上的观测结果获取新的轨迹片段，对终止轨迹片段及新的轨迹片段进行轨迹关联。
如图17所示，图17为本发明基于模糊逻辑的视频多目标跟踪装置第二实施例的结构示意图，包括：处理器110和摄像机120。
其中，摄像机120可以为本地摄像机，处理器110通过总线连接摄像机120；摄像机120也可以为远程摄像机，处理器110通过局域网或互联网连接摄像机120。
处理器110控制基于模糊逻辑的视频多目标跟踪装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
基于模糊逻辑的视频多目标跟踪装置可以进一步包括存储器(图中未画出)，存储器用于存储处理器110工作所必需的指令及数据，也可以存储传输器120拍摄的视频数据。
处理器110用于对从摄像机120获取的当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联上的预测结果及观测结果进行轨迹管理，包括利用未被关联上预测结果获取终止轨迹片段以及利用未被关联上的观测结果获取新的轨迹片段，对终止轨迹片段及新的轨迹片段进行轨迹关联。
本发明基于模糊逻辑的视频多目标跟踪装置包括的各部分的功能可参考本发明基于模糊逻辑的视频多目标跟踪方法各对应实施例中的描述，在此不再赘述。
综上所述，本领域技术人员容易理解，本发明提供一种基于模糊逻辑的视频多目标跟踪方法及装置，通过当前视频帧中的观测结果和目标的预测结果进行数据关联，并对未关联上的观测结果和预测结果进行轨迹管理，能有效提高多目标与观测之间的正确关联，对表观相似、频繁交互、遮挡以及背景干扰等情况下的多目标进行准确跟踪，具有较强的鲁棒性和准确性。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种基于模糊逻辑的视频多目标跟踪方法，其特征在于，所述方法包括：
对当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；
对所述观测结果和目标的预测结果进行数据关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；
对未被关联上的所述预测结果及所述观测结果进行轨迹管理，包括利用所述未被关联上所述预测结果获取终止轨迹片段以及利用所述未被关联上的所述观测结果获取新的轨迹片段，对所述终止轨迹片段及所述新的轨迹片段进行轨迹关联。
2.根据权利要求1所述的方法，其特征在于，对所述观测结果和目标的预测结果进行数据关联包括：
计算所述当前视频帧中不同目标的预测结果之间的遮挡度；
根据所述遮挡度分别判断每一所述预测结果与其他所述预测结果之间是否发生遮挡；
若所述预测结果与任何其他所述预测结果之间均未发生遮挡，则对所述预测结果和所述观测结果进行第一数据关联；若所述预测结果与其他所述预测结果之间发生遮挡，则对所述预测结果和所述观测结果进行第二数据关联，其中，所述第一数据关联和所述第二数据关联不同。
3.根据权利要求2所述的方法，其特征在于，若所述预测结果与任何其他所述预测结果之间均未发生遮挡，则对所述预测结果和所述观测结果进行第一数据关联包括：
计算所述观测结果和所述预测结果之间的第二相似性度量，所述第二相似性度量包括空间距离特征相似性度量以及外观特征相似性度量；
利用所述第二相似性度量计算所述观测结果和所述预测结果之间的关联代价矩阵；
采用贪婪算法对所述关联代价矩阵进行优化求解，找出关联的所述观测结果和所述预测结果。
4.根据权利要求2所述的方法，其特征在于，观测结果d与预测结果o之间的所述空间距离特征相似性度量fD(·)定义为：
其中，||·||2为二范数，(xo,yo)为所述预测结果o的中心坐标，(xd,yd)为所述观测结果d的中心坐标，ho为所述预测结果o的高度，为方差常量；
所述观测结果d与所述预测结果o之间的所述外观特征相似性度量fS(·)定义为：
其中，hd为所述观测结果d的高度，为方差常量；
利用所述第二相似性度量计算所述观测结果和所述预测结果之间的关联代价矩阵包括：
采用乘性融合对所述空间距离特征相似性度量以及外观特征相似性度量进行融合，以得到所述观测结果和所述预测结果之间的关联度，定义为：
sij＝fD(o,d)×fs(o,d) (3)
根据所述关联度得到所述观测结果和所述预测结果之间的关联代价矩阵，定义为：
S＝[sij]n×l (4)
其中，i＝1,2,…n,j＝1,2,…,l；
所述采用贪婪算法对所述关联代价矩阵进行优化求解，找出关联的观测结果和预测结果包括：
找出所述关联代价矩阵S中未被标记的所有元素中的最大值；
判断所述最大值是否为所在行列中的最大值，且大于第一阈值；
若大于，则所述观测结果和所述预测结果正确关联。
5.根据权利要求2所述的方法，其特征在于，若所述预测结果与其他所述预测结果之间发生遮挡，则对所述预测结果和所述观测结果进行第二数据关联包括：
计算所述观测结果和所述预测结果之间的第三相似性度量，所述第三相似性度量包括外观特征相似性度量、几何形状特征相似性度量、运动特征相似性度量以及空间距离特征相似性度量；
采用模糊推理系统模型计算所述第三相似性度量中每一特征相似性度量的权重值；
对所述权重值和所述第三相似性度量进行多特征线索融合，以得到所述观测结果和所述预测结果之间的关联代价矩阵；
采用贪婪算法对所述关联代价矩阵进行优化求解，找出关联的所述观测结果和所述预测结果。
6.根据权利要求5所述的方法，其特征在于，观测结果d与预测结果o之间的外观特征相似性度量fA(·)定义为：
其中，ρ(·)为巴氏系数，Hc(·)为所述当前视频帧图像背景加权的颜色直方图特征，Hg(·)为分块梯度方向直方图特征，为方差常量，为方差常量；
所述观测结果d与所述预测结果o之间的运动特征相似性度量fM(·)定义为：
其中，(x′o,y′o)为上一时刻所述预测结果o的中心坐标，(xo,yo)为所述预测结果o的中心坐标，为上一时刻所述预测结果o的速度在坐标轴上的投影，为方差常量；
所述观测结果d与所述预测结果o之间的所述空间距离特征相似性度量fD(·)定义为：
其中，||·||2为二范数，(xo,yo)为所述预测结果o的中心坐标，(xd,yd)为所述观测结果d的中心坐标，ho为所述预测结果o的高度，为方差常量；
所述观测结果d与所述预测结果o之间的所述几何形状特征相似性度量fS(·)定义为：
其中，hd为所述观测结果d的高度，为方差常量。
7.根据权利要求1所述的方法，其特征在于，对所述终止轨迹片段及所述新的轨迹片段进行轨迹关联包括：
通过第一相似性度量，建立所述终止轨迹片段及所述新的轨迹片段之间的模糊关联代价矩阵；
采用最大模糊综合相似度和阈值判别原则实现所述终止轨迹片段及所述新的轨迹片段之间的轨迹关联；
填充关联上的所述终止轨迹片段及所述新的轨迹片段之间缺失的轨迹段。
8.根据权利要求7所述的方法，其特征在于，所述通过第一相似性度量，建立所述终止轨迹片段及所述新的轨迹片段之间的模糊关联代价矩阵包括：
建立所述终止轨迹片段及所述新的轨迹片段之间的相似性向量；
利用所述相似性向量计算所述终止轨迹片段及所述新的轨迹片段之间的匹配度；
根据所述匹配度计算所述终止轨迹片段及所述新的轨迹片段之间的模糊综合相似度；
根据所述模糊综合相似度建立所述终止轨迹片段及所述新的轨迹片段的关联代价矩阵。
9.根据权利要求8所述的方法，其特征在于，所述终止轨迹片段的集合定义为：所述新的轨迹片段的集合定义为：其中，na、nb分别表示所述终止轨迹片段集合及所述新的轨迹片段集合的个数；
所述第一相似性度量包括外观相似性度量、形状相似性度量以及运动相似性度量；
所述外观相似性度量定义为：
其中，ρ(·)表示为Bhattacharyya系数，Hc(·)表示背景加权的颜色直方图特征，为方差常量，Hg(·)表示方向梯度直方图特征，为方差常量；
所述形状相似性度量定义为：
其中，hi表示所述终止轨迹片段Ti在图像中的高度，hj表示所述新的轨迹片段Tj在图像中的高度，为方差常量；
所述运动相似性度量定义为：
其中，G(·)表示高斯分布，Σ为所述高斯分布的方差，Δt是所述终止轨迹片段Ti最后观测到所述新的轨迹片段Tj第一个观测的帧间隔、vi分别为所述终止轨迹片段Ti终止位置和速度，vj分别为所述新的轨迹片段起始位置和速度；
所述相似性向量定义为：
其中，Λk(Ti,Tj)∈[0,1]3中，τgap为关联的时间间隔阈值，表示所述终止轨迹片段Ti断开的时间帧，表示所述新的轨迹片段Tj起始的时间帧；
所述匹配度定义为：
其中，∧表示所述匹配度取最小值，∨表示所述匹配度取最大值；
所述模糊综合相似度定义为：
所述关联代价矩阵定义为：
10.根据权利要求2所述的方法，其特征在于，所述填充关联上的所述终止轨迹片段及所述新的轨迹片段之间的缺失轨迹段包括：
对所述关联上的所述终止轨迹片段及所述新的轨迹片段之间的缺失轨迹段进行双向预测，以获取预测点的位置信息；
获取所述预测点的矩形框信息；
根据所述预测点的位置信息及所述矩形框信息对所述缺失轨迹段进行填充。
11.一种基于模糊逻辑的视频多目标跟踪的装置，其特征在于，包括：处理器和摄像机，所述处理器连接所述摄像机；
所述处理器用于对对从所述摄像机获取的当前视频帧进行在线目标运动检测，检测得到的可能运动对象作为观测结果；对所述观测结果和目标的预测结果进行数据关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联上的所述预测结果及所述观测结果进行轨迹管理，包括利用所述未被关联上所述预测结果获取终止轨迹片段以及利用所述未被关联上的所述观测结果获取新的轨迹片段，对所述终止轨迹片段及所述新的轨迹片段进行轨迹关联。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710535972.4A CN107545582B (zh) | 2017-07-04 | 2017-07-04 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710535972.4A CN107545582B (zh) | 2017-07-04 | 2017-07-04 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107545582A true CN107545582A (zh) | 2018-01-05 |
| CN107545582B CN107545582B (zh) | 2021-02-05 |
Family
ID=60970574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710535972.4A Active CN107545582B (zh) | 2017-07-04 | 2017-07-04 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107545582B (zh) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447080A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN108932730A (zh) * | 2018-05-31 | 2018-12-04 | 哈工大机器人（昆山）有限公司 | 基于数据关联的视频多目标跟踪方法及系统 |
| CN109405833A (zh) * | 2018-11-19 | 2019-03-01 | 深圳大学 | 一种逻辑基的轨迹起始方法、系统、电子装置和存储介质 |
| CN109472767A (zh) * | 2018-09-07 | 2019-03-15 | 浙江大丰实业股份有限公司 | 舞台灯具缺失状态分析系统 |
| CN109753911A (zh) * | 2018-12-28 | 2019-05-14 | 深圳先进技术研究院 | 虚拟现实系统的提升多物体追踪能力的方法及相关装置 |
| CN109829405A (zh) * | 2019-01-22 | 2019-05-31 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
| CN109859245A (zh) * | 2019-01-22 | 2019-06-07 | 深圳大学 | 视频目标的多目标跟踪方法、装置及存储介质 |
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN109934853A (zh) * | 2019-03-21 | 2019-06-25 | 云南大学 | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 |
| CN110095111A (zh) * | 2019-05-10 | 2019-08-06 | 广东工业大学 | 一种地图场景的构建方法、构建系统及相关装置 |
| CN110197502A (zh) * | 2019-06-06 | 2019-09-03 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
| CN110349181A (zh) * | 2019-06-12 | 2019-10-18 | 华中科技大学 | 一种基于改进的图分区模型单摄像头多目标跟踪方法 |
| CN110349187A (zh) * | 2019-07-18 | 2019-10-18 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN110866428A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN111191555A (zh) * | 2019-12-24 | 2020-05-22 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及系统 |
| CN111462015A (zh) * | 2020-04-08 | 2020-07-28 | Oppo广东移动通信有限公司 | 地图轨迹的处理方法、装置、电子设备及存储介质 |
| WO2020150896A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
| WO2020150897A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的多目标跟踪方法、装置及存储介质 |
| CN111739053A (zh) * | 2019-03-21 | 2020-10-02 | 四川大学 | 一种复杂场景下的在线多行人检测跟踪方法 |
| CN111815682A (zh) * | 2020-09-07 | 2020-10-23 | 长沙鹏阳信息技术有限公司 | 一种基于多轨迹融合的多目标跟踪方法 |
| CN111862153A (zh) * | 2020-07-10 | 2020-10-30 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
| CN112017171A (zh) * | 2020-08-27 | 2020-12-01 | 四川云从天府人工智能科技有限公司 | 一种图像处理指标评估方法、系统、设备和介质 |
| CN112102371A (zh) * | 2020-09-14 | 2020-12-18 | 湖州中科院应用技术研究与产业化中心 | 基于整体图平均化模型的群体目标轨迹分析模型 |
| CN112393724A (zh) * | 2019-08-15 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 一种针对目标对象的跟随方法及装置 |
| CN112507957A (zh) * | 2020-12-21 | 2021-03-16 | 北京百度网讯科技有限公司 | 一种车辆关联方法、装置、路侧设备及云控平台 |
| CN112634153A (zh) * | 2020-12-17 | 2021-04-09 | 中山大学 | 一种基于边缘增强的图像去模糊方法 |
| CN113066101A (zh) * | 2019-12-30 | 2021-07-02 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、图像处理方法及装置 |
| CN113158813A (zh) * | 2021-03-26 | 2021-07-23 | 精英数智科技股份有限公司 | 流动目标实时统计方法及装置 |
| CN113223052A (zh) * | 2021-05-12 | 2021-08-06 | 北京百度网讯科技有限公司 | 轨迹优化方法、装置、设备、存储介质以及程序产品 |
| CN113534127A (zh) * | 2021-07-13 | 2021-10-22 | 深圳大学 | 一种多目标数据关联方法、装置及计算机可读存储介质 |
| CN116295457A (zh) * | 2022-12-21 | 2023-06-23 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
| CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
| CN106846361A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于直觉模糊随机森林的目标跟踪方法及装置 |
-
2017
- 2017-07-04 CN CN201710535972.4A patent/CN107545582B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
| CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
| CN106846361A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于直觉模糊随机森林的目标跟踪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李良群等: "基于模糊逻辑的在线视频多目标跟踪", 《2016 12TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION》 * |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447080A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN108932730A (zh) * | 2018-05-31 | 2018-12-04 | 哈工大机器人（昆山）有限公司 | 基于数据关联的视频多目标跟踪方法及系统 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN108898624B (zh) * | 2018-06-12 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN110866428A (zh) * | 2018-08-28 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN110866428B (zh) * | 2018-08-28 | 2023-12-15 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN109472767A (zh) * | 2018-09-07 | 2019-03-15 | 浙江大丰实业股份有限公司 | 舞台灯具缺失状态分析系统 |
| CN109472767B (zh) * | 2018-09-07 | 2022-02-08 | 浙江大丰实业股份有限公司 | 舞台灯具缺失状态分析系统 |
| CN109405833A (zh) * | 2018-11-19 | 2019-03-01 | 深圳大学 | 一种逻辑基的轨迹起始方法、系统、电子装置和存储介质 |
| CN109405833B (zh) * | 2018-11-19 | 2022-05-27 | 深圳大学 | 一种逻辑基的轨迹起始方法、系统、电子装置和存储介质 |
| CN109753911B (zh) * | 2018-12-28 | 2022-11-11 | 深圳先进技术研究院 | 虚拟现实系统的提升多物体追踪能力的方法及相关装置 |
| CN109753911A (zh) * | 2018-12-28 | 2019-05-14 | 深圳先进技术研究院 | 虚拟现实系统的提升多物体追踪能力的方法及相关装置 |
| CN109829405A (zh) * | 2019-01-22 | 2019-05-31 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
| WO2020150896A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的数据关联方法、装置及存储介质 |
| WO2020150897A1 (zh) * | 2019-01-22 | 2020-07-30 | 深圳大学 | 视频目标的多目标跟踪方法、装置及存储介质 |
| CN109859245A (zh) * | 2019-01-22 | 2019-06-07 | 深圳大学 | 视频目标的多目标跟踪方法、装置及存储介质 |
| CN109919974B (zh) * | 2019-02-21 | 2023-07-14 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN111739053A (zh) * | 2019-03-21 | 2020-10-02 | 四川大学 | 一种复杂场景下的在线多行人检测跟踪方法 |
| CN111739053B (zh) * | 2019-03-21 | 2022-10-21 | 四川大学 | 一种复杂场景下的在线多行人检测跟踪方法 |
| CN109934853A (zh) * | 2019-03-21 | 2019-06-25 | 云南大学 | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 |
| CN110095111A (zh) * | 2019-05-10 | 2019-08-06 | 广东工业大学 | 一种地图场景的构建方法、构建系统及相关装置 |
| CN110197502A (zh) * | 2019-06-06 | 2019-09-03 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
| CN110197502B (zh) * | 2019-06-06 | 2021-01-22 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
| CN110349181A (zh) * | 2019-06-12 | 2019-10-18 | 华中科技大学 | 一种基于改进的图分区模型单摄像头多目标跟踪方法 |
| WO2021007984A1 (zh) * | 2019-07-18 | 2021-01-21 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
| CN110349187A (zh) * | 2019-07-18 | 2019-10-18 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
| CN110349187B (zh) * | 2019-07-18 | 2023-04-14 | 深圳大学 | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 |
| CN112393724A (zh) * | 2019-08-15 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 一种针对目标对象的跟随方法及装置 |
| CN112393724B (zh) * | 2019-08-15 | 2024-04-02 | 阿里巴巴集团控股有限公司 | 一种针对目标对象的跟随方法及装置 |
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN110796679B (zh) * | 2019-10-30 | 2023-04-07 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN111191555A (zh) * | 2019-12-24 | 2020-05-22 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及系统 |
| CN111191555B (zh) * | 2019-12-24 | 2022-05-03 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及系统 |
| CN113066101A (zh) * | 2019-12-30 | 2021-07-02 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、图像处理方法及装置 |
| CN111462015A (zh) * | 2020-04-08 | 2020-07-28 | Oppo广东移动通信有限公司 | 地图轨迹的处理方法、装置、电子设备及存储介质 |
| CN111462015B (zh) * | 2020-04-08 | 2023-07-25 | Oppo广东移动通信有限公司 | 地图轨迹的处理方法、装置、电子设备及存储介质 |
| CN111862153B (zh) * | 2020-07-10 | 2022-06-24 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
| CN111862153A (zh) * | 2020-07-10 | 2020-10-30 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
| CN112017171A (zh) * | 2020-08-27 | 2020-12-01 | 四川云从天府人工智能科技有限公司 | 一种图像处理指标评估方法、系统、设备和介质 |
| CN112017171B (zh) * | 2020-08-27 | 2021-10-26 | 四川云从天府人工智能科技有限公司 | 一种图像处理指标评估方法、系统、设备和介质 |
| CN111815682A (zh) * | 2020-09-07 | 2020-10-23 | 长沙鹏阳信息技术有限公司 | 一种基于多轨迹融合的多目标跟踪方法 |
| CN112102371A (zh) * | 2020-09-14 | 2020-12-18 | 湖州中科院应用技术研究与产业化中心 | 基于整体图平均化模型的群体目标轨迹分析模型 |
| CN112634153B (zh) * | 2020-12-17 | 2023-10-20 | 中山大学 | 一种基于边缘增强的图像去模糊方法 |
| CN112634153A (zh) * | 2020-12-17 | 2021-04-09 | 中山大学 | 一种基于边缘增强的图像去模糊方法 |
| CN112507957B (zh) * | 2020-12-21 | 2023-12-15 | 阿波罗智联(北京)科技有限公司 | 一种车辆关联方法、装置、路侧设备及云控平台 |
| CN112507957A (zh) * | 2020-12-21 | 2021-03-16 | 北京百度网讯科技有限公司 | 一种车辆关联方法、装置、路侧设备及云控平台 |
| CN113158813A (zh) * | 2021-03-26 | 2021-07-23 | 精英数智科技股份有限公司 | 流动目标实时统计方法及装置 |
| CN113223052A (zh) * | 2021-05-12 | 2021-08-06 | 北京百度网讯科技有限公司 | 轨迹优化方法、装置、设备、存储介质以及程序产品 |
| CN113534127A (zh) * | 2021-07-13 | 2021-10-22 | 深圳大学 | 一种多目标数据关联方法、装置及计算机可读存储介质 |
| CN113534127B (zh) * | 2021-07-13 | 2023-10-27 | 深圳大学 | 一种多目标数据关联方法、装置及计算机可读存储介质 |
| CN116295457A (zh) * | 2022-12-21 | 2023-06-23 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及系统 |
| CN116295457B (zh) * | 2022-12-21 | 2024-05-24 | 辉羲智能科技(上海)有限公司 | 一种基于二维语义地图的车辆视觉定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107545582B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545582A (zh) | 基于模糊逻辑的视频多目标跟踪方法及装置 | |
| CN108830150B (zh) | 一种基于三维人体姿态估计方法及装置 | |
| CN107423686A (zh) | 视频多目标模糊数据关联方法及装置 | |
| Yang et al. | SiamAtt: Siamese attention network for visual tracking | |
| CN107122736A (zh) | 一种基于深度学习的人体朝向预测方法及装置 | |
| CN109977971A (zh) | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 | |
| CN108648211A (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
| CN106557173A (zh) | 动态手势识别方法及装置 | |
| CN109886356A (zh) | 一种基于三分支神经网络的目标追踪方法 | |
| CN106952293A (zh) | 一种基于非参数在线聚类的目标跟踪方法 | |
| CN110390294A (zh) | 一种基于双向长短期记忆神经网络的目标跟踪方法 | |
| CN108764338A (zh) | 一种应用于视频分析的行人跟踪算法 | |
| Jing et al. | Sports image detection based on FPGA hardware system and particle swarm algorithm | |
| Ma et al. | Dynamic gesture contour feature extraction method using residual network transfer learning | |
| Moreno-Garcia et al. | Video sequence motion tracking by fuzzification techniques | |
| Fu et al. | [Retracted] Sports Action Recognition Based on Deep Learning and Clustering Extraction Algorithm | |
| Fu et al. | Stereo matching confidence learning based on multi-modal convolution neural networks | |
| Tang et al. | Foreign object detection for transmission lines based on Swin Transformer V2 and YOLOX | |
| Abdullah et al. | Vehicle counting using deep learning models: a comparative study | |
| Guo et al. | An adaptive kernelized correlation filters with multiple features in the tracking application | |
| Lu et al. | Hybrid deep learning based moving object detection via motion prediction | |
| Faujdar et al. | Human Pose Estimation using Artificial Intelligence with Virtual Gym Tracker | |
| CN116958057A (zh) | 一种策略引导的视觉回环检测的方法 | |
| Pan | A method of key posture detection and motion recognition in sports based on Deep Learning | |
| Li et al. | Pedestrian target tracking algorithm based on improved RANSAC and KCF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210702 Address after: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District Patentee before: SHENZHEN University |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 215300 Room 009, No. 55, Shengchuang Road, Yushan Town, Kunshan, Suzhou, Jiangsu Province Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee before: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd. Country or region before: China |