CN107516321B - 一种视频多目标跟踪方法及装置 - Google Patents

一种视频多目标跟踪方法及装置 Download PDF

Info

Publication number
CN107516321B
CN107516321B CN201710535752.1A CN201710535752A CN107516321B CN 107516321 B CN107516321 B CN 107516321B CN 201710535752 A CN201710535752 A CN 201710535752A CN 107516321 B CN107516321 B CN 107516321B
Authority
CN
China
Prior art keywords
track
frame
new
prediction
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710535752.1A
Other languages
English (en)
Other versions
CN107516321A (zh
Inventor
李良群
张富有
湛西羊
谢维信
刘宗香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Ruixiang Xuntong Communication Technology Co Ltd
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710535752.1A priority Critical patent/CN107516321B/zh
Publication of CN107516321A publication Critical patent/CN107516321A/zh
Application granted granted Critical
Publication of CN107516321B publication Critical patent/CN107516321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明公开了一种视频多目标跟踪方法及装置，所述方法包括：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括利用未被关联的预测结果获取终结轨迹，利用未被关联的观测结果获取新轨迹；对终结轨迹和新轨迹进行轨迹关联；对被关联的终结轨迹和新轨迹进行轨迹融合；删除符合预设条件的未被关联的终结轨迹。通过上述方式，本发明能够提高目标跟踪的精度。

Description

一种视频多目标跟踪方法及装置
技术领域
本发明涉及目标跟踪领域，特别是涉及一种视频多目标跟踪方法及装置。
背景技术
在线目标跟踪是计算机视觉中的一个热点研究课题，其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义，并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。
在复杂场景下，由于目标自身形变、目标间相互遮挡或者背景静物对目标的遮挡等因素的影响，尤其是目标被长时间遮挡或目标轨迹长时间没有更新的情况下，目标轨迹会出现断批现象，降低目标跟踪精度。
发明内容
本发明主要解决的技术问题是提供一种视频多目标跟踪方法及装置，能够解决现有技术中由于目标轨迹的断批现象导致跟踪精度低的问题。
为了解决上述技术问题，本发明采用的一个技术方案是：提供一种视频多目标跟踪方法，包括：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括利用未被关联的预测结果获取终结轨迹，利用未被关联的观测结果获取新轨迹；对终结轨迹和新轨迹进行轨迹关联；对被关联的终结轨迹和新轨迹进行轨迹融合；删除符合预设条件的未被关联的终结轨迹。
为了解决上述技术问题，本发明采用的另一个技术方案是：提供一种视频多目标跟踪装置，包括：处理器和摄像机，处理器连接摄像机；处理器工作时，用于实现如上所述的方法。
本发明的有益效果是：本发明对当前视频帧进行运动检测获得观测结果，对观测结果和目标的预测结果进行数据关联，对未被关联的观测结果和预测结果进行轨迹管理，以获得终结轨迹和新轨迹，对终结轨迹和新轨迹进行轨迹关联，对被关联的终结轨迹和新轨迹进行轨迹融合，并删除符合预设条件的未被关联的终结轨迹，使得暂时未被关联的预测结果和观测结果可以生成终结轨迹和新轨迹，利用终结轨迹和新轨迹进行轨迹关联和轨迹融合，使得断批的目标轨迹重新连接，从而实现同一目标不同时刻的轨迹连接，提高目标跟踪的精度，改善目标跟踪的性能。
附图说明
图1是本发明视频多目标跟踪方法第一实施例的流程示意图；
图2是本发明视频多目标跟踪方法第二实施例的流程示意图；
图3是利用模糊推理系统计算获取观测结果和预测结果的关联概率的原理示意图；
图4是图2中步骤S121的具体流程示意图；
图5是图2中步骤S122的具体流程示意图；
图6是输入模糊集的隶属度函数示意图；
图7是输出模糊集的隶属度函数示意图；
图8是本发明视频多目标跟踪方法第三实施例的流程示意图；
图9是图8中步骤S141的具体流程示意图；
图10是图8中步骤S144的具体流程示意图；
图11是本发明视频多目标跟踪方法第四实施例的流程示意图；
图12是本发明视频多目标跟踪方法第五实施例的流程示意图；
图13是本发明视频多目标跟踪方法第六实施例的流程示意图；
图14是本发明视频多目标跟踪装置一实施例的流程示意图。
具体实施方式
如图1所示，本发明视频多目标跟踪方法第一实施例包括：
步骤S11：对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；
具体地，可以使用帧差法、光流法、背景减除法等运动检测算法对当前视频帧进行运动检测，以从中找出属于运动前景的像素，辅以中值滤波和简单的形态学处理，最终得到当前视频帧中的可能运动对象作为观测结果。一个观测结果是当前视频帧中的一个图像块，一般而言，观测结果的形状为矩形。在一个应用例中，采用混合高斯检测方法对当前视频帧进行运动检测，获取的观测结果可以包括该图像块的x坐标、y坐标、高度和宽度等状态信息。
步骤S12：对观测结果和目标的预测结果进行数据关联；
其中，预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的目标的预测状态，预测结果可以包括目标预测位置的x坐标、y坐标、x和/或y方向的速度、高度、宽度等状态信息，该预测方法可以根据实际需求而定，此处不做具体限定。
具体地，在一个应用例中，利用模糊推理系统对观测结果和目标的预测结果进行数据关联，获取观测结果和预测结果的模糊隶属度，采用该模糊隶属度代替观测结果和预测结果的关联概率，建立关联概率矩阵，基于最大隶属度准则，根据关联概率矩阵对观测结果和预测结果进行关联，正确关联上的一对预测结果与观测结果为有效目标轨迹。此外，对关联成功的该有效目标轨迹利用其关联的观测结果对其预测结果进行卡尔曼滤波以更新该有效目标轨迹。
当然，在其他应用例中，也可以采用其他关联方法对观测结果和目标的预测结果进行数据关联，此处不做具体限定。
步骤S13：对未被关联的观测结果和预测结果进行轨迹管理；
其中，轨迹管理包括利用未被关联的预测结果获取终结轨迹，利用未被关联的观测结果获取新轨迹；
复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，可能出现虚假观测结果，例如对同一个目标检测出多个观测结果，将多个目标或者目标与背景作为观测结果等。未被关联的观测结果可能是新出现的目标，也可能是虚假观测结果，因此需要判断未被关联的观测结果是否为虚假观测结果，不是虚假观测结果的未被关联的观测结果被判定为新的目标，为其建立新轨迹。
具体地，在一个应用例中，可以将该未被关联的观测结果作为轨迹起始点进行预测，并与下一帧的观测结果进行数据关联，若连续多帧(例如连续5帧)关联成功，则该被关联的观测结果被判定为新的目标，为其建立新轨迹。当然，在其他应用例中，也可以采用其他方法判定该未被关联的观测结果是否为新的目标，此处不做具体限定。
当目标移动出摄像机的拍摄范围、被背景或者其他目标遮挡时，可能会出现未被关联的预测结果。对未被关联的预测结果，继续进行外推预测，并与下一帧观测结果进行数据关联，若该目标连续多帧(例如连续5帧)未被关联，则将该未被关联的预测结果对应的目标轨迹作为终结轨迹。
步骤S14：对终结轨迹和新轨迹进行轨迹关联；
具体地，在一个应用例中，利用终结轨迹和新轨迹的运动、形状、颜色、局部二进制模式、速度等各个特征的平均模糊相似度，计算终结轨迹和新轨迹的模糊相似度，建立模糊可信度矩阵，基于最大可信度原则，根据模糊可信度矩阵对终结轨迹和新轨迹进行轨迹关联，连续多帧(例如连续3帧)成功关联上的一对终结轨迹和新轨迹被判定为同一目标的轨迹。
当然，在其他应用例，也可以采用其他方法对终结轨迹和新轨迹进行轨迹关联，此处不做具体限定。
步骤S15：对被关联的终结轨迹和新轨迹进行轨迹融合；
具体地，在一个应用例中，采用线性插值方法在被关联的终结轨迹和新轨迹之间插入视频帧，以使得被关联的终结轨迹和新轨迹融合为同一轨迹，同时，可以将新轨迹的轨迹标识(轨迹ID)设置为关联的终结轨迹的轨迹ID，从而使得该终结轨迹恢复为可正常预测关联的已存在的有效轨迹，继续进行目标跟踪。
当然，在其他应用例中，也可以采用其他方法对被关联的终结轨迹和新轨迹进行轨迹融合，此处不做具体限定。
步骤S16：删除符合预设条件的未被关联的终结轨迹。
其中，预设条件是预先设置的无效轨迹条件，可以根据具体需求设置，此处不做具体限定。
具体地，在一个应用例中，将连续未更新帧数超过70帧的终结轨迹设置为无效轨迹，则该终结轨迹连续71帧未被关联时，该终结轨迹为无效轨迹，予以删除，从而节省存储空间，控制计算量。
当然，在其他应用例中，也可以将连续未更新帧数超过50/60/65帧的终结轨迹设置为无效轨迹，此处不做具体限定。
本实施方式中，通过对当前视频帧进行运动检测获得观测结果，对观测结果和目标的预测结果进行数据关联，对未被关联的观测结果和预测结果进行轨迹管理，以获得终结轨迹和新轨迹，对终结轨迹和新轨迹进行轨迹关联，对被关联的终结轨迹和新轨迹进行轨迹融合，并删除符合预设条件的未被关联的终结轨迹，使得暂时未被关联的预测结果和观测结果可以生成终结轨迹和新轨迹，利用终结轨迹和新轨迹进行轨迹关联和轨迹融合，使得断批的目标轨迹重新连接，从而实现不同时刻同一目标的轨迹连接，提高目标跟踪的精度，改善目标跟踪的性能。
如图2所示，本发明视频多目标跟踪方法第二实施例是在本发明视频多目标跟踪方法第一实施例的基础上，步骤S12进一步包括：
S121：利用观测结果和预测结果获取目标的预测误差和预测误差变化量；
具体地，结合图3所示，在本实施例中，利用观测结果和预测结果的运动特征、形状特征、颜色特征(即RGB颜色直方图特征)和局部二进制模式特征(Local Binary Patterns，LBP)之间的相似性来构建模糊推理系统的输入变量Ei,j(k)和ΔEi,j(k)，其中Ei,j(k)和ΔEi,j(k)分别表示该目标的预测误差和误差变化量。
其中，假设第k帧中第i个预测结果为
Figure GDA0002492241490000051
其中
Figure GDA0002492241490000052
si(k)＝(hi(k),wi(k))，xi(k)表示第i个目标预测位置的x坐标，yi(k)表示第i个目标预测位置的y坐标，
Figure GDA0002492241490000061
和
Figure GDA0002492241490000062
分别表示第i个目标在x和y方向的速度，hi(k)和wi(k)分别表示第i个目标的高度和宽度；同时假设当前第k帧中第j个观测结果为
Figure GDA0002492241490000063
其中
Figure GDA0002492241490000064
Figure GDA0002492241490000065
和
Figure GDA0002492241490000066
分别表示第j个观测结果的x坐标、y坐标、高度和宽度。
进一步地，如图4所示，步骤S121具体包括：
S1211：利用公式(1)计算目标的运动模型预测误差：
Figure GDA0002492241490000067
其中，||·||2为二范数，
Figure GDA0002492241490000068
为当前第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差，
Figure GDA0002492241490000069
为第k帧中第j个观测结果的x坐标和y坐标，
Figure GDA00024922414900000610
为第k-1帧中第i个预测结果，
Figure GDA00024922414900000611
为第k帧中第j个预测结果，定义为：
Figure GDA00024922414900000612
其中，
Figure GDA00024922414900000613
为第k-1帧第i个预测结果的x坐标、在x方向的速度、y坐标以及在y方向的速度，Hk为观测矩阵，
Figure GDA00024922414900000614
为状态转移矩阵，Hk和
Figure GDA00024922414900000615
分别定义如下：
Figure GDA00024922414900000616
其中τ＝1。
S1212：利用公式(4)计算目标的形状模型预测误差：
Figure GDA0002492241490000071
其中，
Figure GDA0002492241490000072
为当前第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差，hi(k)为第k帧中第i个预测结果的高度，
Figure GDA0002492241490000073
为第k帧中第j个观测结果的高度，σs为高度标准方差；
本实施例中，高度标准方差σs＝6，在其他实施例中，该高度标准方差σs也可以根据实际需求取其他值，例如8，此处不做具体限定。
表观是多目标跟踪中的一个重要的特征，本实施例中，为了使得表观更具鲁棒性，利用RGB颜色特征和LBP特征提取目标的统计和纹理信息。
S1213：利用公式(5)计算目标的颜色特征预测误差：
Figure GDA0002492241490000074
其中，
Figure GDA0002492241490000075
为当前第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差，N为颜色空间的个数，Hm(xi)为第i个预测结果在第m个颜色空间中的像素个数，Hn(zj)为第j个观测结果在第n个颜色空间中的像素个数，
Figure GDA0002492241490000076
和
Figure GDA0002492241490000077
分别为第i个预测结果和第j个观测结果在N个颜色空间中的平均像素个数；
本实施例中，颜色空间的个数N＝16，在其他实施例中，该颜色空间的个数N也可以根据实际需求取其他值，例如8，此处不做具体限定。
S1214：利用公式(6)计算目标的局部二进制模式特征预测误差：
Figure GDA0002492241490000078
其中，
Figure GDA0002492241490000079
为当前第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差，
Figure GDA0002492241490000081
和
Figure GDA0002492241490000082
分别为第i个预测结果和第j个观测结果的局部二进制模式特征直方图，ρ为
Figure GDA0002492241490000083
和
Figure GDA0002492241490000084
的巴氏系数，定义如下：
Figure GDA0002492241490000085
S1215：利用公式(8)计算目标的运动模型预测误差变化量：
Figure GDA0002492241490000086
其中，
Figure GDA0002492241490000087
为第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差变化量，
Figure GDA0002492241490000088
为第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差，
Figure GDA0002492241490000089
为第k-1帧中第i个预测结果和第j个观测结果之间的运动模型预测误差；
S1216：利用公式(9)计算目标的形状模型预测误差变化量：
Figure GDA00024922414900000810
其中，
Figure GDA00024922414900000811
为第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差变化量，
Figure GDA00024922414900000812
为第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差，
Figure GDA00024922414900000813
为第k-1帧中第i个预测结果和第j个观测结果之间的形状模型预测误差；
S1217：利用公式(10)计算目标的颜色特征预测误差变化量：
Figure GDA0002492241490000091
其中，
Figure GDA0002492241490000092
为第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差变化量，
Figure GDA0002492241490000093
为第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差，
Figure GDA0002492241490000094
为第k-1帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差；
S1218：利用公式(11)计算目标的局部二进制模式特征预测误差变化量：
Figure GDA0002492241490000095
其中，
Figure GDA0002492241490000096
为第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差变化量，
Figure GDA0002492241490000097
为第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差，
Figure GDA0002492241490000098
为第k-1帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差；
S1219：利用公式(12)和(13)计算目标的预测误差和预测误差变化量：
Figure GDA0002492241490000099
Figure GDA0002492241490000101
其中，Ei,j(k)为第k帧中第i个预测结果和第j个观测结果之间的预测误差，ΔEi,j(k)为第k帧中第i个预测结果和第j个观测结果之间的预测误差变化量，Ei,j(k)和ΔEi,j(k)的取值范围为[0，1]。
本实施例中，利用公式(1-7)和公式(8-11)分别计算出预测结果和观测结果的运动特征、形状特征、颜色特征(即RGB颜色直方图特征)和局部二进制模式特征(LocalBinary Patterns，LBP)之间的相似性，即各特征的预测误差和预测误差变化量，再通过公式(11-12)来构建模糊推理系统的输入变量Ei,j(k)和ΔEi,j(k)，以便于后续模糊推理。
当然，在其他实施例中，也可以采用观测结果和预测结果的其他特征，例如速度特征等计算目标的预测误差和预测误差变化量，此处不做具体限定。
S122：利用预测误差和预测误差变化量进行模糊推理，获取观测结果和预测结果的关联概率；
其中，模糊推理系统主要包含四个基本要素：输入的模糊化、建立模糊规则库、模糊推理机、去模糊器(模糊信息精确化输出)。在本实施例中，利用Ei,j(k)和ΔEi,j(k)作为模糊推理机的输入变量，通过模糊推理得到观测结果与预测结果的模糊隶属度，然后用模糊隶属度代替观测结果与预测结果之间的关联概率，从而实现数据关联和不确定性的处理。
进一步地，如图5所示，步骤S122具体包括：
S1221：根据模糊规则分别确定预测误差和预测误差变化量对应的输入模糊隶属度函数；
一般来说，输出的精度受到模糊集数量的影响，模糊集越多，输出就越精确；但同时，模糊集越多，计算复杂度就越大，所以通常模糊集数量是由经验选取的。
本实施例中，输入变量Ei,j(k)和ΔEi,j(k)利用5个语言模糊集{ZE，SP，MP，LP，VP}进行模糊化，如图6所示，其模糊隶属函数分别用μ0,ZE(k)、μ0,SP(k)、μ0,MP(k)、μ0,LP(k)、μ0,VP(k)，5个模糊集分别表示零、正小、正中、正大和非常大。对于输出，包含五个模糊集：{ZE，SP，MP，LP，VP，EP}，其中EP表示极大模糊集，如图7所示，其模糊隶属函数分别用μ1,ZE(k)、μ1,SP(k)、μ1,MP(k)、μ1,LP(k)、μ1,VP(k)、μ1,EP(k)表示。
根据上述定义的输入和输出模糊集，模糊推理规则可以如下表1所示：
表1模糊规则
Figure GDA0002492241490000111
S1222：利用输入模糊隶属度函数分别获取预测误差和预测误差变化量对应的模糊隶属度值；
具体地，以规则1：如果Ei,j(k)是ZE，并且ΔEi,j(k)是ZE，则μi,j(k)是EP为例，根据规则1，模糊输入变量Ei,j(k)对应的模糊集为ZE，则可以根据图6所示的模糊隶属函数，利用Ei,j(k)的值求出对应的模糊隶属度值
Figure GDA0002492241490000112
可以采用同样的方法求出模糊输入变量ΔEi,j(k)对应的模糊隶属度值
Figure GDA0002492241490000113
S1223：利用模糊隶属度值获取模糊规则的适用度；
具体地，利用如下公式计算出规则1的适用度：
Figure GDA0002492241490000114
其中，∧表示取小。
S1224：利用适用度获取模糊规则的模糊输出；
具体地，根据规则1，对应的模糊输出为EP，则规则1的输出可以用如下公式计算：
Figure GDA0002492241490000121
采用同样的方法，可以计算出所有规则的模糊输出
Figure GDA0002492241490000122
其中，根据表1可知，本实施例中，规则的数量M＝25。当然，在其他实施例中，规则的数量可以根据实际需求设置，此处不做具体限定。
S1225：利用所有模糊规则的模糊输出获取观测结果和预测结果的关联概率。
具体地，所有模糊规则的模糊输出中最大的模糊输出为：
Figure GDA0002492241490000123
其中，∨表示取大。由于上述公式得到的是一个模糊化的输出，可以利用如下公式获得去模糊化的输出结果：
Figure GDA0002492241490000124
其中，
Figure GDA0002492241490000125
表示模糊规则m对应输出模糊集合的质心。
该去模糊化的输出结果μi,j(k)即为第j个观测结果和第i个预测结果的关联概率。
S123：以关联概率为元素建立关联概率矩阵；
具体地，重复上述步骤S121和S122，可以获取的当前帧中所有观测结果和预测结果的关联概率，然后将获取的关联概率作为元素，建立关联概率矩阵
Figure GDA0002492241490000126
S124：从关联概率矩阵中选取未被标记的关联概率最大值的元素，标记关联概率最大值的元素所在行和列的所有元素，并将关联概率最大值的元素对应的观测结果和预测结果关联；
具体地，基于最大隶属度原则，从关联矩阵U中未被标记的所有元素中找出最大值μpq＝max([μij(k)]，i＝1,2,...,m；j＝1,2,...,n；并标记关联矩阵U中的第p行所有元素以及第q列所有元素，即标记该最大值μpq对应的行和列的所有元素，同时确认第p个预测结果与第q个观测结果关联。
S125：循环前一步骤直至不存在未被标记的行/列后，将未被关联的观测结果记录到未关联观测集，将未被关联的预测结果记录到未关联预测集。
具体地，重复上述步骤S124，直至该关联矩阵U的行/列均被标记后，则将未被标记的列对应的未被关联的观测结果记录到未关联观测集
Figure GDA00024922414900001312
将未被标记的行对应的未被关联的预测结果记录到未关联预测集
Figure GDA00024922414900001311
如图8所示，本发明视频多目标跟踪方法第三实施例是在本发明视频多目标跟踪方法第一实施例的基础上，步骤S14进一步包括：
S141：计算终结轨迹和新轨迹的模糊相似度；
具体地，假设第k帧，
Figure GDA0002492241490000131
表示终结轨迹集，
Figure GDA0002492241490000132
表示新轨迹集，其中，
Figure GDA0002492241490000133
和
Figure GDA0002492241490000134
分别表示终结轨迹的数量和新轨迹的数量，l0,i表示终结轨迹i终结的时刻，l1,j表示新轨迹j的起始时间，如果l1,j＝k，则新轨迹
Figure GDA0002492241490000135
为一个新的未被关联的观测结果。设Uk＝{μij}为
Figure GDA0002492241490000136
可信度矩阵，μij表示终结轨迹i和新轨迹j的模糊相似度。
本实施例中，利用终结轨迹和新轨迹的运动、形状、RGB颜色直方图、LBP和速度特征的相似度，计算终结轨迹和新轨迹的模糊相似度。当然，在其他实施例中，也可以利用其他特征，此处不做具体限定。
进一步地，如图9所示，步骤S141具体包括：
S1411：利用公式(14)计算终结轨迹和新轨迹的运动特征相似度：
Figure GDA0002492241490000137
其中，fM(i,j)为第k帧终结轨迹i和新轨迹j的运动特征相似度，
Figure GDA0002492241490000138
为第k帧终结轨迹i和新轨迹j的运动模型预测误差，
Figure GDA0002492241490000139
为运动特征的方差；
本实施例中，运动特征的方差
Figure GDA00024922414900001310
在其他实施例中，该运动特征的方差
Figure GDA0002492241490000141
可以根据实际需求取其他值，例如4，此处不做具体限定。
S1412：利用公式(15)计算终结轨迹和新轨迹的形状特征相似度：
Figure GDA0002492241490000142
其中，fS(i,j)为第k帧终结轨迹i和新轨迹j的形状特征相似度，
Figure GDA0002492241490000143
为第k帧终结轨迹i和新轨迹j的形状模型预测误差，
Figure GDA0002492241490000144
为形状特征的方差；
本实施例中，形状特征的方差
Figure GDA0002492241490000145
在其他实施例中，该形状特征的方差
Figure GDA0002492241490000146
可以根据实际需求取其他值，例如4，此处不做具体限定。
S1413：利用公式(16)计算终结轨迹和新轨迹的颜色特征相似度：
Figure GDA0002492241490000147
其中，
Figure GDA0002492241490000148
为第k帧终结轨迹i和新轨迹j的颜色特征相似度，
Figure GDA0002492241490000149
为第k帧终结轨迹i和新轨迹j的颜色特征预测误差，
Figure GDA00024922414900001410
为颜色特征的方差；
本实施例中，颜色特征的方差
Figure GDA00024922414900001411
在其他实施例中，该颜色特征的方差
Figure GDA00024922414900001412
可以根据实际需求取其他值，例如4，此处不做具体限定。
S1414：利用公式(17)计算终结轨迹和新轨迹的局部二进制模式特征相似度：
Figure GDA00024922414900001413
其中，
Figure GDA00024922414900001414
为第k帧终结轨迹i和新轨迹j的局部二进制模式特征相似度，
Figure GDA00024922414900001415
为第k帧终结轨迹i和新轨迹j的局部二进制模式特征预测误差，
Figure GDA00024922414900001416
为局部二进制模式特征的方差；
本实施例中，局部二进制模式特征的方差
Figure GDA00024922414900001417
在其他实施例中，该局部二进制模式特征的方差
Figure GDA00024922414900001418
可以根据实际需求取其他值，例如4，此处不做具体限定。
S1415：利用公式(18)计算终结轨迹和新轨迹的速度特征相似度：
Figure GDA0002492241490000151
其中，fV(i,j)为第k帧终结轨迹i和新轨迹j的速度特征相似度，xi和yi分别为第k帧终结轨迹i的x坐标和y坐标，xj和yj分别为第k帧新轨迹j的x坐标和y坐标，
Figure GDA0002492241490000152
和
Figure GDA0002492241490000153
分别为第k帧终结轨迹i的x方向和y方向的速度，
Figure GDA0002492241490000154
为速度特征的方差；
本实施例中，局部二进制模式特征的方差
Figure GDA0002492241490000155
在其他实施例中，该局部二进制模式特征的方差
Figure GDA0002492241490000156
可以根据实际需求取其他值，例如80，此处不做具体限定。
S1416：利用公式(19)计算终结轨迹和新轨迹的模糊相似度：
Figure GDA0002492241490000157
其中，∧为取小操作，∨为取大操作，μij＝Sk(Λk(i,j))为第k帧终结轨迹i和新轨迹j的模糊相似度，
Figure GDA0002492241490000158
为第k帧终结轨迹i和新轨迹j各特征的平均相似度，Λk(i,j)为相似度矢量，Λk(i,j)定义如下：
Figure GDA0002492241490000159
其中，
Figure GDA00024922414900001510
分别为第k帧终结轨迹i和新轨迹j的运动、形状、颜色、局部二进制模式和速度特征的平均相似度。
具体地，第k帧终结轨迹i和新轨迹j的运动、形状、颜色、局部二进制模式和速度各特征平均相似度分别定义为：
Figure GDA00024922414900001511
Figure GDA00024922414900001512
Figure GDA0002492241490000161
Figure GDA0002492241490000162
Figure GDA0002492241490000163
其中，κ＝k-l1,j+3，
Figure GDA0002492241490000164
为第m帧终结轨迹i和第n帧新轨迹j的运动特征相似度，
Figure GDA0002492241490000165
为第m帧终结轨迹i和第n帧新轨迹j的形状特征相似度，
Figure GDA0002492241490000166
为第m帧终结轨迹i和第n帧新轨迹j的颜色特征相似度，
Figure GDA0002492241490000167
为第m帧终结轨迹i和第n帧新轨迹j的局部二进制模式特征相似度，
Figure GDA0002492241490000168
为第m帧终结轨迹i和第n帧新轨迹j的速度特征相似度。
S142：判断终结轨迹和新轨迹的最大模糊相似度是否不小于可信度阈值；
S143：若不小于，则关联相似度最大的终结轨迹和新轨迹；
具体地，终结轨迹和新轨迹的最大模糊相似度为：
Figure GDA0002492241490000169
如果
Figure GDA00024922414900001610
则终结轨迹i与新航迹j关联，同时新轨迹j不再与其它终结轨迹进行关联，其中，ε表示可信度阈值，本实施例中0.5≤ε≤1。
当然，在其他实施例中，该可信度阈值ε也可以根据需求采用其他取值范围，例如0.4≤ε≤0.9，此处不做具体限定。
S144：判断终结轨迹和新轨迹是否连续预设帧数关联；
S145：若是，则执行对被关联的终结轨迹和新轨迹进行轨迹融合的步骤。
进一步地，如图10所示，步骤S144具体包括：
S1441：判断终结轨迹和新轨迹的轨迹质量是否不小于预设阈值；
S1442：若是，则判定终结轨迹和新轨迹连续预设帧数关联。
具体地，轨迹质量定义如下：
Figure GDA0002492241490000171
其中，
Figure GDA0002492241490000172
为第k帧终结轨迹i和新轨迹j的轨迹质量，
Figure GDA0002492241490000173
为第k-1帧终结轨迹i和新轨迹j的轨迹质量。
本实施例中，该预设阈值为3，若终结轨迹i和新轨迹j关联，则轨迹质量
Figure GDA0002492241490000174
加1，如果
Figure GDA0002492241490000175
则认为终结轨迹i与新轨迹j为同一轨迹，则可以执行后续对被关联的终结轨迹和新轨迹进行轨迹融合的步骤。
本实施例可以与本发明视频多目标跟踪方法第一和/或第二实施例相结合。
如图11所示，本发明视频多目标跟踪方法第四实施例是在本发明视频多目标跟踪方法第一实施例的基础上，步骤S13进一步包括：
S131：对未被关联的预测结果进行预测，并继续与下一视频帧的观测结果进行关联；
S132：判断未被关联的预测结果连续未被关联的帧数是否大于第一阈值；
S133：若大于第一阈值，则未被关联的预测结果对应目标的轨迹为终结轨迹；
具体地，在一个应用例中，对未被关联的预测结果，继续进行外推预测，并与下一帧观测结果进行数据关联，若该目标连续未被关联的帧数是否大于第一阈值(例如5)，则将该未被关联的预测结果对应的目标轨迹作为终结轨迹。其中，第一阈值的具体取值可以根据实际需求设置，此处不做具体限定。
S134：以未被关联的观测结果为起点进行预测，并继续与下一视频帧的观测结果进行关联；
S135：判断未被关联的观测结果连续被关联的帧数是否不小于第二阈值；
S136：若不小于第二阈值，则未被关联的观测结果对应目标的轨迹为新轨迹。
具体地，在一个应用例中，可以将该未被关联的观测结果作为轨迹起始点进行预测，并继续与下一帧的观测结果进行数据关联，若连续关联成功的帧数不小于第二阈值(例如4)，则该被关联的观测结果被判定为新的目标，为其建立新轨迹。其中，第二阈值的具体取值可以根据实际需求设置，此处不做具体限定。
本实施例还可以与本发明视频多目标跟踪方法第二和/或第三实施例相结合。
如图12所示，本发明视频多目标跟踪方法第五实施例是在本发明视频多目标跟踪方法第一实施例的基础上，步骤S15进一步包括：
S151：在被关联的终结轨迹和新轨迹之间进行线性插值，以连接被关联的终结轨迹和新轨迹。
具体地，在一个应用例中，采用线性插值方法在被关联的终结轨迹和新轨迹之间均匀插入视频帧，以使得被关联的终结轨迹和新轨迹融合为同一轨迹。
本实施例还可以与本发明视频多目标跟踪方法第二至第四任一实施例或者其组合相结合。
如图13所示，本发明视频多目标跟踪方法第六实施例是在本发明视频多目标跟踪方法第一实施例的基础上，步骤S16进一步包括：
S161：判断未被关联的终结轨迹的未更新帧数是否大于预设帧数；
S162：若大于，则将未被关联的终结轨迹删除。
具体地，在一个应用例中，若未被关联的终结轨迹的未更新帧数大于预设帧数(例如70帧)，则认为该终结轨迹是无效轨迹，予以删除，从而节省存储空间，控制计算量。其中，该预设帧数可以根据实际需求设置，此处不做具体限定。
本实施例还可以与本发明视频多目标跟踪方法第二至第五任一实施例或者其组合相结合。
下面为使用本发明视频多目标跟踪方法一实施例进行实验验证比较的结果，本实施例是本发明视频多目标跟踪方法第一至第六实施例的结合，并采用卡尔曼滤波器对有效轨迹进行滤波和预测，是一种基于模糊数据关联及轨迹关联的视频多目标跟踪算法(FLDA-TM)。本实验采用TUD-Crossing、PETS09-S2L2、ETH-Jelmoli和AVG-TownCentre四个数据集进行验证，数据信息如表2所示，同时与当前性能较好的7种多目标跟踪算法进行对比，7种算法具体如下：结构约束事件聚合方法(SCEA)，结构稀疏标准的多帧数据关联方法(LINF1)，重溯联合概率数据关联(JPDA_m)，子轨迹信任和判别式表观学习的多目标跟踪方法(TC_ODAL)，回归神经网络方法(RNN_LSTM)，Siamese卷积神经网络方法(SiameseCNN)，四联组神经网络方法(QuadMOT)。
为了对比各个算法的性能，采用以下8个公共性能指标：多目标跟踪精度(MOTA)，虚假目标数(FPs)，漏检目标数(FNs)，目标编号变化次数(IDS)，多目标估计精度(MOTP)，估计最多目标数(MT)，丢失目标数(ML)，目标轨迹断批次数(FG)。其中，MOTA、MOTP和MT的数值越大，则说明跟踪性能越好；ML、FPs、FNs、IDS和FG的数值越小，则说明跟踪性能越好。
表2数据集信息
Figure GDA0002492241490000191
针对本实施例采用的TUD-Crossing、PETS09-S2L2、ETH-Jelmoli和AVG-TownCentre四个数据集，本实施例的FLDA-TM方法与其他7个算法的性能对比如下表3所示：
表3各个算法的性能对比
Figure GDA0002492241490000192
Figure GDA0002492241490000201
从表3可以看出，本实施例的FLDA-TM方法对于PETS09-S2L2和ETH-Jelmoli两个数据集，在目标跟踪精度、估计精度等指标上要明显好于其他方法，对于TUD-Crossing和AVG-TownCentre数据集，提出方法也能很好的对多目标进行跟踪，性能与其他方法相当。
如图14所示，本发明视频多目标跟踪装置一实施例包括：处理器110和摄像机120。摄像机120可以为本地摄像机，处理器110通过总线连接摄像机120；摄像机120也可以为远程摄像机，处理器110通过局域网或互联网连接摄像机120。
处理器110控制视频多目标跟踪装置的操作，处理器110还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该视频多目标跟踪装置可以进一步包括存储器(图中未画出)，存储器用于存储处理器110工作所必需的指令及数据，也可以存储传输器120拍摄的视频数据。
处理器110工作时，用于实现如本发明视频多目标跟踪方法第一至第六任一实施例或者其不矛盾的组合所述的方法，具体功能可以参考本发明视频多目标跟踪方法各对应实施例中的描述，此处不再重复。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视频多目标跟踪方法，其特征在于，包括：
对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；
对所述观测结果和目标的预测结果进行数据关联，其中所述预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；
对未被关联的所述观测结果和所述预测结果进行轨迹管理，所述轨迹管理包括利用未被关联的所述预测结果获取终结轨迹，利用未被关联的所述观测结果获取新轨迹；
对所述终结轨迹和所述新轨迹进行轨迹关联；
对被关联的所述终结轨迹和所述新轨迹进行轨迹融合；
删除符合预设条件的未被关联的所述终结轨迹；
其中，所述方法还包括以下至少一个方面：
(1)所述对所述观测结果和目标的预测结果进行数据关联包括：
利用所述观测结果和所述预测结果获取目标的预测误差和预测误差变化量；
利用所述预测误差和所述预测误差变化量进行模糊推理，获取所述观测结果和所述预测结果的关联概率；
以所述关联概率为元素建立关联概率矩阵；
从所述关联概率矩阵中选取未被标记的所述关联概率最大值的元素，标记所述关联概率最大值的元素所在行和列的所有元素，并将所述关联概率最大值的元素对应的所述观测结果和所述预测结果关联；
循环前一步骤直至不存在未被标记的行/列后，将未被关联的所述观测结果记录到未关联观测集，将未被关联的所述预测结果记录到未关联预测集；
(2)所述对所述终结轨迹和所述新轨迹进行轨迹关联包括：
计算所述终结轨迹和所述新轨迹的模糊相似度；
判断所述终结轨迹和所述新轨迹的最大模糊相似度是否不小于可信度阈值；
若不小于，则关联所述相似度最大的所述终结轨迹和所述新轨迹；
判断所述终结轨迹和所述新轨迹是否连续预设帧数关联；
若是，则执行所述对被关联的所述终结轨迹和所述新轨迹进行轨迹融合的步骤；
其中，所述计算所述终结轨迹和所述新轨迹的模糊相似度包括：
利用如下公式(14)计算所述终结轨迹和所述新轨迹的运动特征相似度：
Figure FDA0002492241480000021
其中，fM(i,j)为第k帧终结轨迹i和新轨迹j的运动特征相似度，
Figure FDA0002492241480000022
为第k帧终结轨迹i和新轨迹j的运动模型预测误差，
Figure FDA0002492241480000023
为运动特征的方差；
利用如下公式(15)计算所述终结轨迹和所述新轨迹的形状特征相似度：
Figure FDA0002492241480000024
其中，fS(i,j)为第k帧终结轨迹i和新轨迹j的形状特征相似度，
Figure FDA0002492241480000025
为第k帧终结轨迹i和新轨迹j的形状模型预测误差，
Figure FDA0002492241480000026
为形状特征的方差；
利用如下公式(16)计算所述终结轨迹和所述新轨迹的颜色特征相似度：
Figure FDA0002492241480000027
其中，
Figure FDA0002492241480000028
为第k帧终结轨迹i和新轨迹j的颜色特征相似度，
Figure FDA0002492241480000029
为第k帧终结轨迹i和新轨迹j的颜色特征预测误差，
Figure FDA00024922414800000210
为颜色特征的方差；
利用如下公式(17)计算所述终结轨迹和所述新轨迹的局部二进制模式特征相似度：
Figure FDA0002492241480000031
其中，
Figure FDA0002492241480000032
为第k帧终结轨迹i和新轨迹j的局部二进制模式特征相似度，
Figure FDA0002492241480000033
为第k帧终结轨迹i和新轨迹j的局部二进制模式特征预测误差，
Figure FDA0002492241480000034
为局部二进制模式特征的方差；
利用如下公式(18)计算所述终结轨迹和所述新轨迹的速度特征相似度：
Figure FDA0002492241480000035
其中，fV(i,j)为第k帧终结轨迹i和新轨迹j的速度特征相似度，xi和yi分别为第k帧终结轨迹i的x坐标和y坐标，xj和yj分别为第k帧新轨迹j的x坐标和y坐标，
Figure FDA0002492241480000036
和
Figure FDA0002492241480000037
分别为第k帧终结轨迹i的x方向和y方向的速度，
Figure FDA0002492241480000038
为速度特征的方差；
利用如下公式(19)计算所述终结轨迹和所述新轨迹的模糊相似度：
Figure FDA0002492241480000039
其中，∧为取小操作，∨为取大操作，μij＝Sk(Λk(i,j))为第k帧终结轨迹i和新轨迹j的模糊相似度，
Figure FDA00024922414800000310
为第k帧终结轨迹i和新轨迹j各特征的平均相似度，Λk(i,j)为相似度矢量，Λk(i,j)定义如下：
Figure FDA00024922414800000311
其中，
Figure FDA00024922414800000312
分别为第k帧终结轨迹i和新轨迹j的运动、形状、颜色、局部二进制模式和速度特征的平均相似度；
(3)所述利用未被关联的所述预测结果获取终结轨迹包括：
对未被关联的所述预测结果进行预测，并继续与下一视频帧的观测结果进行关联；
判断未被关联的所述预测结果连续未被关联的帧数是否大于第一阈值；
若大于所述第一阈值，则未被关联的所述预测结果对应目标的轨迹为所述终结轨迹；
所述利用未被关联的所述观测结果获取新轨迹包括：
以未被关联的所述观测结果为起点进行预测，并继续与下一视频帧的观测结果进行关联；
判断未被关联的所述观测结果连续被关联的帧数是否不小于第二阈值；
若不小于所述第二阈值，则未被关联的所述观测结果对应目标的轨迹为所述新轨迹。
2.根据权利要求1所述的方法，其特征在于，
所述利用所述观测结果和所述预测结果获取目标的预测误差和预测误差变化量包括：
利用如下公式(1)计算目标的运动模型预测误差：
Figure FDA0002492241480000041
其中，||·||2为二范数，
Figure FDA0002492241480000042
为当前第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差，
Figure FDA0002492241480000043
为第k帧中第j个观测结果的x坐标和y坐标，
Figure FDA0002492241480000044
为第k-1帧中第i个预测结果，
Figure FDA0002492241480000045
为第k帧中第j个预测结果，定义为：
Figure FDA0002492241480000046
其中，
Figure FDA0002492241480000047
为第k-1帧第i个预测结果的x坐标、x方向的速度、y坐标以及y方向的速度，Hk为观测矩阵，
Figure FDA0002492241480000048
为状态转移矩阵，Hk和
Figure FDA0002492241480000049
分别定义如下：
Figure FDA0002492241480000051
其中τ＝1；
利用如下公式(4)计算目标的形状模型预测误差：
Figure FDA0002492241480000052
其中，
Figure FDA0002492241480000053
为当前第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差，hi(k)为第k帧中第i个预测结果的高度，
Figure FDA0002492241480000054
为第k帧中第j个观测结果的高度，σs为高度标准方差；
利用如下公式(5)计算目标的颜色特征预测误差：
Figure FDA0002492241480000055
其中，
Figure FDA0002492241480000056
为当前第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差，N为颜色空间的个数，Hm(xi)为第i个预测结果在第m个颜色空间中的像素个数，Hn(zj)为第j个观测结果在第n个颜色空间中的像素个数，
Figure FDA0002492241480000057
和
Figure FDA0002492241480000058
分别为第i个预测结果和第j个观测结果在N个颜色空间中的平均像素个数；
利用如下公式(6)计算目标的局部二进制模式特征预测误差：
Figure FDA0002492241480000059
其中，
Figure FDA00024922414800000510
为当前第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差，
Figure FDA00024922414800000511
和
Figure FDA00024922414800000512
分别为第i个预测结果和第j个观测结果的局部二进制模式特征直方图，ρ为
Figure FDA0002492241480000061
和
Figure FDA0002492241480000062
的巴氏系数，定义如下：
Figure FDA0002492241480000063
利用如下公式(8)计算目标的运动模型预测误差变化量：
Figure FDA0002492241480000064
其中，
Figure FDA0002492241480000065
为第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差变化量，
Figure FDA0002492241480000066
为第k帧中第i个预测结果和第j个观测结果之间的运动模型预测误差，
Figure FDA0002492241480000067
为第k-1帧中第i个预测结果和第j个观测结果之间的运动模型预测误差；
利用如下公式(9)计算目标的形状模型预测误差变化量：
Figure FDA0002492241480000068
其中，
Figure FDA0002492241480000069
为第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差变化量，
Figure FDA00024922414800000610
为第k帧中第i个预测结果和第j个观测结果之间的形状模型预测误差，
Figure FDA00024922414800000611
为第k-1帧中第i个预测结果和第j个观测结果之间的形状模型预测误差；
利用如下公式(10)计算目标的颜色特征预测误差变化量：
Figure FDA0002492241480000071
其中，
Figure FDA0002492241480000072
为第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差变化量，
Figure FDA0002492241480000073
为第k帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差，
Figure FDA0002492241480000074
为第k-1帧中第i个预测结果和第j个观测结果之间的颜色特征预测误差；
利用如下公式(11)计算目标的局部二进制模式特征预测误差变化量：
Figure FDA0002492241480000075
其中，
Figure FDA0002492241480000076
为第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差变化量，
Figure FDA0002492241480000077
为第k帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差，
Figure FDA0002492241480000078
为第k-1帧中第i个预测结果和第j个观测结果之间的局部二进制模式特征预测误差；
利用如下公式(12)和(13)计算目标的预测误差和预测误差变化量：
Figure FDA0002492241480000079
Figure FDA0002492241480000081
其中，Ei,j(k)为第k帧中第i个预测结果和第j个观测结果之间的预测误差，ΔEi,j(k)为第k帧中第i个预测结果和第j个观测结果之间的预测误差变化量。
3.根据权利要求1所述的方法，其特征在于，
所述利用所述预测误差和所述预测误差变化量进行模糊推理，获取所述观测结果和所述预测结果的关联概率包括：
根据模糊规则分别确定所述预测误差和所述预测误差变化量对应的输入模糊隶属度函数；
利用所述输入模糊隶属度函数分别获取所述预测误差和所述预测误差变化量对应的模糊隶属度值；
利用所述模糊隶属度值获取所述模糊规则的适用度；
利用所述适用度获取所述模糊规则的模糊输出；
利用所有所述模糊规则的模糊输出获取所述观测结果和所述预测结果的关联概率。
4.根据权利要求1所述的方法，其特征在于，
所述第k帧终结轨迹i和新轨迹j的运动特征平均相似度定义为：
Figure FDA0002492241480000082
其中，κ＝k-l1,j+3，
Figure FDA0002492241480000083
为第m帧终结轨迹i和第n帧新轨迹j的运动特征相似度；
所述第k帧终结轨迹i和新轨迹j的形状特征平均相似度定义为：
Figure FDA0002492241480000084
其中，
Figure FDA0002492241480000085
为第m帧终结轨迹i和第n帧新轨迹j的形状特征相似度；
所述第k帧终结轨迹i和新轨迹j的颜色特征平均相似度定义为：
Figure FDA0002492241480000091
其中，
Figure FDA0002492241480000092
为第m帧终结轨迹i和第n帧新轨迹j的颜色特征相似度；
所述第k帧终结轨迹i和新轨迹j的局部二进制模式特征平均相似度定义为：
Figure FDA0002492241480000098
其中，
Figure FDA0002492241480000093
为第m帧终结轨迹i和第n帧新轨迹j的局部二进制模式特征相似度；
所述第k帧终结轨迹i和新轨迹j的速度特征平均相似度定义为：
Figure FDA0002492241480000094
其中，
Figure FDA0002492241480000095
为第m帧终结轨迹i和第n帧新轨迹j的速度特征相似度。
5.根据权利要求1所述的方法，其特征在于，
所述判断所述终结轨迹和所述新轨迹是否连续预设帧数关联包括：
判断所述终结轨迹和所述新轨迹的轨迹质量是否不小于预设阈值；
若是，则判定所述终结轨迹和所述新轨迹连续预设帧数关联。
6.根据权利要求5所述的方法，其特征在于，
所述轨迹质量定义如下：
Figure FDA0002492241480000096
其中，
Figure FDA0002492241480000097
为第k帧终结轨迹i和新轨迹j的轨迹质量，
Figure FDA0002492241480000099
为第k-1帧终结轨迹i和新轨迹j的轨迹质量。
7.根据权利要求1-6中任一项所述的方法，其特征在于，
所述对被关联的所述终结轨迹和所述新轨迹进行轨迹融合包括：
在被关联的所述终结轨迹和所述新轨迹之间进行线性插值，以连接被关联的所述终结轨迹和所述新轨迹。
8.根据权利要求1-6中任一项所述的方法，其特征在于，
所述删除符合预设条件的未被关联的所述终结轨迹包括：
判断所述未被关联的所述终结轨迹的未更新帧数是否大于预设帧数；
若大于，则将所述未被关联的所述终结轨迹删除。
9.一种视频多目标跟踪装置，其特征在于，包括：处理器和摄像机，所述处理器连接所述摄像机；
所述处理器工作时，用于实现如权利要求1-8任一项所述的方法。
CN201710535752.1A 2017-07-04 2017-07-04 一种视频多目标跟踪方法及装置 Active CN107516321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710535752.1A CN107516321B (zh) 2017-07-04 2017-07-04 一种视频多目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710535752.1A CN107516321B (zh) 2017-07-04 2017-07-04 一种视频多目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN107516321A CN107516321A (zh) 2017-12-26
CN107516321B true CN107516321B (zh) 2020-10-23

Family

ID=60722169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710535752.1A Active CN107516321B (zh) 2017-07-04 2017-07-04 一种视频多目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN107516321B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280843A (zh) * 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法
CN108932730B (zh) * 2018-05-31 2021-11-23 哈工大机器人集团(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统
CN110969644B (zh) * 2018-09-28 2023-12-01 杭州海康威视数字技术股份有限公司 人员轨迹追踪方法、装置及系统
CN109656271B (zh) * 2018-12-27 2021-11-02 杭州电子科技大学 一种基于数据关联思想的航迹软关联方法
CN109829405A (zh) * 2019-01-22 2019-05-31 深圳大学 视频目标的数据关联方法、装置及存储介质
WO2020150897A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的多目标跟踪方法、装置及存储介质
WO2020150896A1 (zh) * 2019-01-22 2020-07-30 深圳大学 视频目标的数据关联方法、装置及存储介质
CN109859245B (zh) * 2019-01-22 2020-12-11 深圳大学 视频目标的多目标跟踪方法、装置及存储介质
CN110033017A (zh) * 2019-02-27 2019-07-19 中国人民解放军空军工程大学 一种多雷达航迹分步关联模糊聚类算法
CN110310350B (zh) * 2019-06-24 2021-06-11 清华大学 基于动画的动作预测生成方法和装置
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110660084A (zh) * 2019-09-30 2020-01-07 上海淡竹体育科技有限公司 一种多目标跟踪的方法及装置
CN111274336B (zh) * 2019-12-18 2023-05-09 浙江大华技术股份有限公司 目标轨迹的处理方法、装置、存储介质及电子装置
CN114120651B (zh) * 2021-12-15 2023-08-08 阿波罗智联(北京)科技有限公司 用于测试感知目标数的方法、装置、设备、介质和产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132728A1 (en) * 2014-11-12 2016-05-12 Nec Laboratories America, Inc. Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
CN106846361A (zh) * 2016-12-16 2017-06-13 深圳大学 基于直觉模糊随机森林的目标跟踪方法及装置
CN106846355A (zh) * 2016-12-16 2017-06-13 深圳大学 基于提升直觉模糊树的目标跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132728A1 (en) * 2014-11-12 2016-05-12 Nec Laboratories America, Inc. Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
CN106846361A (zh) * 2016-12-16 2017-06-13 深圳大学 基于直觉模糊随机森林的目标跟踪方法及装置
CN106846355A (zh) * 2016-12-16 2017-06-13 深圳大学 基于提升直觉模糊树的目标跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Online Visual Multi-object Tracking Based on Fuzzy Logic;Liang-qun Li等;《2016 12th International Conference on Natural Computation》;20161231;第1001-1005页 *

Also Published As

Publication number Publication date
CN107516321A (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN107516321B (zh) 一种视频多目标跟踪方法及装置
CN107545582B (zh) 基于模糊逻辑的视频多目标跟踪方法及装置
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN111127513B (zh) 一种多目标跟踪方法
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN108573496B (zh) 基于lstm网络和深度增强学习的多目标跟踪方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN110751096B (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
WO2019006632A1 (zh) 一种视频多目标跟踪方法及装置
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN111161325A (zh) 基于卡尔曼滤波与lstm的三维多目标跟踪方法
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
WO2018227491A1 (zh) 视频多目标模糊数据关联方法及装置
CN110349188A (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN116645396A (zh) 轨迹确定方法、装置、计算机可读存储介质及电子设备
He et al. Fast online multi-pedestrian tracking via integrating motion model and deep appearance model
CN111986237A (zh) 一种人数无关的实时多目标跟踪算法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN110349184B (zh) 基于迭代滤波和观测判别的多行人跟踪方法
CN112507859A (zh) 一种用于移动机器人的视觉跟踪方法
CN112116629A (zh) 一种使用全局响应图的端到端的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210702

Address after: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN University

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 215300 Room 009, No. 55, Shengchuang Road, Yushan Town, Kunshan, Suzhou, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address