CN103366370B - 视频监控中的目标跟踪方法和装置 - Google Patents

视频监控中的目标跟踪方法和装置 Download PDF

Info

Publication number
CN103366370B
CN103366370B CN201310277394.0A CN201310277394A CN103366370B CN 103366370 B CN103366370 B CN 103366370B CN 201310277394 A CN201310277394 A CN 201310277394A CN 103366370 B CN103366370 B CN 103366370B
Authority
CN
China
Prior art keywords
target
observation
state value
present frame
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310277394.0A
Other languages
English (en)
Other versions
CN103366370A (zh
Inventor
雷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airmada Technology Inc
Original Assignee
Airmada Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airmada Technology Inc filed Critical Airmada Technology Inc
Priority to CN201310277394.0A priority Critical patent/CN103366370B/zh
Publication of CN103366370A publication Critical patent/CN103366370A/zh
Priority to US14/075,531 priority patent/US20150009323A1/en
Application granted granted Critical
Publication of CN103366370B publication Critical patent/CN103366370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种视频监控中的目标跟踪方法和装置。所述方法包括：获取上一帧中的目标对应的状态值；对当前帧进行目标检测得到当前帧中目标观测所对应的观测值；根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵；根据所述分配矩阵识别当前帧中的目标。所述装置包括：获取模块，用于获取上一帧中的目标对应的状态值；目标检测模块，用于对当前帧进行目标检测得到当前帧中目标观测所对应的观测值；运算模块，用于根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵；识别模块，用于根据所述分配矩阵识别当前帧中的目标。采用本发明能提高准确性。

Description

视频监控中的目标跟踪方法和装置
技术领域
本发明涉及智能视频监控技术，特别是涉及一种视频监控中的目标跟踪方法和装置。
背景技术
智能视频监控中，多目标跟踪将是一个关键环节，并且对于密集目标所进行的多目标跟踪将成一个具有挑战性的问题。用于实现多目标跟踪的核心在于数据的关联问题，传统的应用于多目标跟踪的方法包括局部最近邻关联、全局最近邻关联、多假设跟踪和联合概率滤波等方法，这些方法大都是由雷达目标跟踪领域和声呐目标跟踪领域借鉴而来的。
但是，由于视频目标跟踪是与雷达目标跟踪、声呐目标跟踪存在着较大差异，因此，将这些雷达目标跟踪领域或声呐目标跟踪领域中已有的方法应用于视点监控中目标跟踪的实现将存在着较大缺陷，多目标跟踪的准确性非常低。
发明内容
基于此，有必要提供一种能提高准确性的视频监控中的目标跟踪方法。
此外，还有必要提供一种能提高准确性的视频监控中的目标跟踪装置。
一种视频监控中的目标跟踪方法，包括如下步骤：
获取上一帧中的目标对应的状态值；
对当前帧进行目标检测得到当前帧中目标观测所对应的观测值；
根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵；
根据所述分配矩阵识别当前帧中的目标。
在其中一个实施例中，所述获取上一帧中的目标对应的状态值的步骤之前，所述方法包括：
对所述上一帧中的目标进行非线性滤波，以得到所述目标对应的位置状态值、尺寸状态值和直方图状态值。
在其中一个实施例中，所述对当前帧进行目标检测得到当前帧中目标观测所对应的观测值的步骤包括：
应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值。
在其中一个实施例中，所述根据所述状态值和观测值构建代价矩阵的步骤包括：
根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离；
对所述位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素；
由所述运算得到的元素构造得到代价矩阵。
在其中一个实施例中，所述根据所述分配矩阵识别当前帧中的目标的步骤包括：
根据所述分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
在其中一个实施例中，所述根据所述分配矩阵中的元素识别当前帧中目标的出现的步骤包括：
对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标，初始化对应的状态值。
在其中一个实施例中，所述根据所述分配矩阵中的元素识别当前帧中目标的消失的步骤包括：
若分配矩阵中每一行的最大元素值小预设的第二阈值，则更新该行对应的观测消失帧数；
若所述观测消失帧数大于帧数限值，则删除所述当前帧中该行对应的目标观测，所述目标观测消失于当前帧。
在其中一个实施例中，所述根据所述分配矩阵中的元素识别当前帧中目标遮挡的发生的步骤包括：
获取分配矩阵每一行中大于第三阈值的元素个数；
若所述元素个数为1，则将该行对应的目标观测由观测值更新为状态值；
若所述元素个数大于1，则判定该行目标观测发生遮挡，将所述目标观测所对应的观测值进行归一化处理得到所述目标观测发生遮挡后的状态值。
一种视频监控中的目标跟踪装置，包括如下步骤：
获取模块，用于获取上一帧中的目标对应的状态值；
目标检测模块，用于对当前帧进行目标检测得到当前帧中目标观测所对应的观测值；
运算模块，用于根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵；
识别模块，用于根据所述分配矩阵识别当前帧中的目标。
在其中一个实施例中，所述装置还包括：
预测模块，用于对所述上一帧中的目标进行非线性滤波，以得到所述目标对应的位置状态值、尺寸状态值和直方图状态值。
在其中一个实施例中，所述目标检测模块还用于应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值。
在其中一个实施例中，所述运算模块包括：
距离计算单元，用于根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离；
元素运算单元，用于对所述位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素；
矩阵构造单元，用于由所述运算得到的元素构造得到代价矩阵。
在其中一个实施例中，所述识别模块还用于根据所述分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
在其中一个实施例中，所述识别模块还用于对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标初始化对应的状态值。
在其中一个实施例中，所述识别模块包括：
消失帧数更新单元，用于若分配矩阵中每一行的最大元素值小于预设的第二阈值，则更新该行对应的观测消失帧数；
观测删除单元，用于若所述观测消失帧数大于帧数限值，则删除所述当前帧中该行对应的目标观测，目标观测消失于当前帧。
在其中一个实施例中，所述识别模块包括：
个数获取单元，用于获取分配矩阵每一行中大于第三阈值的元素个数；
数值更新单元，用于若所述元素个数为1，则将该行对应的目标观测由观测值更新为状态值；
遮挡处理单元，用于若所述元素个数大于1，则将所述目标观测所对应的观测值进行归一化处理得到所述目标观测发生遮挡后的状态值。
上述视频监控中的目标跟踪方法和装置，获取上一帧中的目标得到对应的状态值，对当前帧进行目标检测得到当前帧中目标观测所对应的观测值，根据状态值和观测值构建代价矩阵，并应用EMD算法实现代价矩阵的求解以得到分配矩阵，进而由分配矩阵准确的建立目标与目标观测之间的对应关系，在目标和目标观测之间实现了准确的数据关联，使得即使密集时也能够对目标进行准确监控，提高了准确性。
附图说明
图1为一个实施例中视频监制中的目标跟踪方法的流程图；
图2为图1中根据状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵的方法流程图；
图3为一个实施例中根据分配矩阵中的元素识别当前帧中目标的消失的方法流程图；
图4为一个实施例中根据分配矩阵中的元素识别当前帧中目标遮挡的发生的方法流程图；
图5为一个实施例中视频监控的目标跟踪装置的结构示意图；
图6为另一个实施例中视频监控的目标跟踪装置的结构示意图；
图7为一个实施例中运算模块的结构示意图；
图8为一个实施例中识别模块的结构示意图；
图9为另一个实施例中识别模块的结构示意图。
具体实施方式
如图1所示，在一个实施例中，一种视频监控中的目标跟踪方法，包括如下步骤：
步骤S110，获取上一帧中的目标得到对应的状态值。
本实施例中，上一帧中的目标是指上一帧视频所存在的目标，该目标所对应的状态值用于标识目标在上一帧视频中的位置、大小和颜色等信息。
在一个实施例中，上述步骤S110之前，该方法还包括：
对上一帧中的目标进行非线性滤波，以得到目标对应的位置状态值、尺寸状态值和直方图状态值。
本实施例中，为得到上一帧中的目标所对应的状态值，需要对上一帧中的目标进行状态预测。具体的，对上一帧中的目标进行非线性滤波，该非线性滤波可为卡尔曼滤波或粒子滤波，以得到上一帧中目标的位置状态值、尺寸状态值和直方图状态值，其中，位置状态值用于标识目标在上一帧中的位置，可用位置坐标（x，y）的形式表征；尺寸状态值可为目标的宽度与高度，即（w，h）；直方图状态值用于标识目标在上一帧中的颜色。
步骤S130，对当前帧进行目标检测得到当前帧中目标观测所对应的观测值。
本实施例中，当前帧进行目标检测所得到的目标观测由于存在着一定的虚警率，将包括了实际存在的目标、由于误检得到的假目标，并且也有可能发生漏检的情况，而使得某些目标被遗漏而没有检测到，因此，需要通过后续的目标识别过程得到实际存在的目标。
在一个实施例中，上述步骤S130包括：应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值。
本实施例中，所应用的目标检测算法可为基于运动检测的目标检测算法（例如，高斯混合模型背景建模）、基于目标检测的分类器。例如，基于目标检测的分类器可为Haar小波特征和AdaBoost分类器，HOG（梯度方向直方图）特征与SVM（支持向量机）分类器。
进一步的，当前帧中目标观测的状态将应用位置观测值、尺寸观测值和直方图观测值表示，其中，相应的，位置观测值即为通过目标检测算法所得到的目标观测的坐标位置，尺寸状态值可为目标观测的宽度和高度，直方图状态值则用于表示目标状态的颜色。
步骤S150，根据状态值和观测值构建代价矩阵，并应用EMD（earthmover’sdistance，推土机距离）算法对代价矩阵进行求解得到分配矩阵。
本实施例中，根据状态值和观测值构建上一帧中的目标和当前帧中的目标观测之间的关联关系，进而方便进行当前帧中目标的准确识别。
如图2所示，在一个实施例中，上述步骤S150包括：
步骤S151，根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离。
本实施例中，上一帧中的目标对应的状态值表示为和histprev,i，其中，(xprev,yprev)i为上一帧中目标i的位置状态值，(wprev,hprev)i为上一帧中目标i的尺寸状态值，histprev,i为上一帧中目标i的直方图状态值。
当前帧中目标观测对应的观测值表示为(xcur,ycur,wcur,hcur)j和histcur,j，其中，(xcur,ycur)j为当前帧中目标j的位置观测值，(wcur,hcur)j为当前帧中目标j的尺寸观测值，histcur,j为当前中目标j的直方图观测值。
此时，将分别计算上一帧中目标和当前帧中目标观测之间的距离，即位置距离、尺寸距离和直方图距离，其中，位置距离可使用欧氏距离。
具体的，Dpos(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的位置距离，可通过公式 D pos ( i , j ) = ( x prev , i - x cur , j ) 2 + ( y prev , i - y cur , j ) 2 计算得到。
Dsize(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的尺寸距离，可通过公式 D size ( i , j ) = ( w prev , i - w cur , j ) 2 + ( h prev , i - h cur , j ) 2 计算得到。
Dhist(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的直方图距离，可通过公式计算得到。其中，n为直方图的大小，hi,k为归一化直方图的第k个分量。
步骤S153，对位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素。
本实施例中，若上一帧中目标的个数为m，当前帧中目标观测的个数为n，则可构建得到m×n的EMD代价矩阵M，其第i行第j列的元素Mi,j通过公式Mi,j＝αDpos(i,j)+βDsize(i,j)+γDhist(i,j)计算得到，其中，α、β和γ是位于[0，1]的经验值，并且α、β和γ之和为1。
步骤S155，由运算得到的元素构造得到代价矩阵。
上述代价矩阵中，应用EMD算法对代价矩阵进行求解以得到分配矩阵f，其元素fi,j用于表示第i个目标和第j个目标观测之间的关联程度，其值位于[0，1]。
步骤S170，根据分配矩阵识别当前帧中的目标。
本实施例中，多目标的视频监控过程中，目标发生遮挡、合并和分裂的情况时有发生，因此，将通过分配矩阵准确识别出视频监控过程中发生的遮挡、合并和分裂的情况。
在一个实施例中，上述步骤S170包括：根据分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
本实施例中，根据分配矩阵中的元素准确识别出视频监控过程中发生的遮挡、合并和分裂的情况，即识别出当前帧中新目标的出现、目标的消失和遮挡的发生。
在一个实施例中，上述根据分配矩阵中的元素识别当前帧中目标的出现的步骤包括：
对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标，初始化对应的状态值，若否，则不做任何处理。
本实施例中，循环处理分配矩阵的每一列，若第j列的最大元素值小于第一阈值tnew，则认为当前帧中第j个目标观测为新目标，进而初始化其状态值，包括位置状态值、尺寸状态值和直方图状态值。
如图3所示，在一个实施例中，上述根据分配矩阵中的元素识别当前帧中目标的消失的步骤包括：
步骤S171，若分配矩阵中每一行的最大元素值是否小于预设的第二阈值，则更新该行对应的观测消失帧数。
本实施例中，循环处理分配矩阵的每一行，若第i行的最大元素值小于第二阈值texist，则认为上一帧中的第i个目标未在当前帧出现，此时，将更新观测消失帧数，即第i个目标未出现的帧数。
步骤S173，若观测消失帧数大于帧数限值，则删除当前帧中该行对应的目标观测，该目标观测消失于当前帧。
本实施例中，判断观测消失帧是否大于帧限值，若是，则说明第i个目标已经连续帧限值个帧数未出现，是属于已经消失的目标，因此将删除当前帧中对应的目标观测。
如图4所示，在一个实施例中，上述根据分配矩阵中的元素识别当前帧中目标遮挡的发生的步骤包括：
步骤S175，获取分配矩阵中每一行中大于第三阈值的元素个数。
本实施例中，循环处理分配矩阵的每一行，统计该行中数值大于第三阈值t的元素个数。
步骤S176，若元素个数为1，则将该行对应的目标观测由观测值更新为状态值。
本实施例中，若元素个数为1，则说明上一帧的目标与当前帧的目标观测是一一对应的，因此，则应用非线性滤波对观测值进行更新，以得到相应的状态值，即位置状态值和尺寸状态值，直方图的更新可通过如下更新公式得到，即histnew＝(1-α)histprev+α·histcur。
其中，histprev为上一帧目标的直方图状态值，histcur是当前帧的直方图观测修士，histnew是更新得到的直方图状态值，α是位于[0，1]的经验值。
步骤S177，若元素个数大于1，则判定该行目标观测发生遮挡，将目标观测所对应的观测值进行归一化处理得到目标观测发生遮挡后的状态值。
本实施例中，若判断到元素个数是大于1的，则说明目标之间发生的遮挡。设大于第三阈值的元素为fi,1,...,fi,s，对这些元素进行归一化处理，每个元素除以这些元素的和，得到归一化匹配值w1,...,ws。让后用这些元素对应的目标观测j1,...,js共同更新目标的状态值。
状态值中，直方图状态值的更新为：
histnew＝(1-α)histprev+α·histcur_mean
hist cur _ mean = Σ i = 1 s w i · hist cur , i
其中，histcur,i为第i个目标观测的直方图观测值，wi为前述归一化匹配值。
上述视频监制中的目标跟踪方法中，通过采用EMD算法准确地检测出目标的出现、遮挡和消失，进而利用分配矩阵准确的更新目标的状态。
如图5所示，在一个实施例中，一种视频监控的目标跟踪装置，包括获取模块110、目标检测模块130、运算模块150和识别模块170。
获取模块110，用于获取上一帧中的目标对应的状态值。
本实施例中，上一帧中的目标是指上一帧视频所存在的目标，该目标所对应的状态值用于标识目标在上一帧视频中的位置、大小和颜色等信息。
如图6所示，在一个实施例中，上述装置还包括预测模块210。
预测模块210，用于对上一帧中的目标进行非线性滤波，以得到目标对应的位置状态值、尺寸状态值和直方图状态值。
本实施例中，为得到上一帧中的目标所对应的状态值，需要预测模块210对上一帧中的目标进行状态预测。具体的，预测模块210对上一帧中的目标进行非线性滤波，该非线性滤波可为卡尔曼滤波或粒子滤波，以得到上一帧中目标的位置状态值、尺寸状态值和直方图状态值，其中，位置状态值用于标识目标在上一帧中的位置，可用位置坐标（x，y）的形式表征；尺寸状态值可为目标的宽度与高度，即（w，h）；直方图状态值用于标识目标在上一帧中的颜色。
目标检测模块130，用于对当前帧进行检测得到当前帧中目标观测所对应的观测值。
本实施例中，目标检测模块130对当前帧进行目标检测所得到的目标观测由于存在着一定的虚警率，将包括了实际存在的目标、由于误检得到的假目标，并且也有可能发生漏检的情况，而使得某些目标被遗漏而没有检测到，因此，需要通过后续的目标识别过程得到实际存在的目标。
在一个实施例中，上述目标检测模块130还用于应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值。
本实施例中，所应用的目标检测算法可为基于运动检测的目标检测算法（例如，高斯混合模型背景建模）、基于目标检测的分类器。例如，基于目标检测的分类器可为Haar小波特征和AdaBoost分类器，HOG（梯度方向直方图）特征与SVM（支持向量机）分类器。
进一步的，当前帧中目标观测的状态将应用位置观测值、尺寸观测值和直方图观测值表示，其中，相应的，位置观测值即为通过目标检测算法所得到的目标观测的坐标位置，尺寸状态值可为目标观测的宽度和高度，直方图状态值则用于表示目标状态的颜色。
运算模块150，用于根据状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵。
本实施例中，运算模块150根据状态值和观测值构建上一帧中的目标和当前帧中的目标观测之间的关联关系，进而方便进行当前帧中目标的准确识别。
如图7所示，在一个实施例中，上述运算模块150包括距离计算单元151、元素运算单元153和矩阵构造单元155。
距离计算单元151，用于根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离。
本实施例中，上一帧中的目标对应的状态值表示为和histprev,i，其中，(xprev,yprev)i为上一帧中目标i的位置状态值，(wprev,hprev)i为上一帧中目标i的尺寸状态值，histprev,i为上一帧中目标i的直方图状态值。
当前帧中目标观测对应的观测值表示为(xcur,ycur,wcur,hcur)j和histcur,j，其中，(xcur,ycur)j为当前帧中目标j的位置观测值，(wcur,hcur)j为当前帧中目标j的尺寸观测值，histcur,j为当前中目标j的直方图观测值。
此时，距离计算单元151将分别计算上一帧中目标和当前帧中目标观测之间的距离，即位置距离、尺寸距离和直方图距离，其中，位置距离可使用欧氏距离。
具体的，Dpos(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的位置距离，可通过公式 D pos ( i , j ) = ( x prev , i - x cur , j ) 2 + ( y prev , i - y cur , j ) 2 计算得到。
Dsize(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的尺寸距离，可通过公式 D size ( i , j ) = ( w prev , i - w cur , j ) 2 + ( h prev , i - h cur , j ) 2 计算得到。
Dhist(i,j)为上一帧中第i个目标和当前帧中第j个目标观测之间的直方图距离，可通过公式计算得到。其中，n为直方图的大小，hi,k为归一化直方图的第k个分量。
元素运算单元153，用于对位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素。
本实施例中，若上一帧中目标的个数为m，当前帧中目标观测的个数为n，则元素运算单元153可构建得到m×n的EMD代价矩阵M，其第i行第j列的元素Mi,j通过公式Mi,j＝αDpos(i,j)+βDsize(i,j)+γDhist(i,j)计算得到，其中，α、β和γ是位于[0，1]的经验值，并且α、β和γ之和为1。
矩阵构造单元155，用于由运算得到的元素构造得到代价矩阵。
上述代价矩阵中，应用EMD算法对代价矩阵进行求解以得到分配矩阵f，其元素fi,j用于表示第i个目标和第j个目标观测之间的关联程度，其值位于[0，1]。
识别模块170，用于根据分配矩阵识别当前帧中的目标。
本实施例中，多目标的视频监控过程中，目标发生遮挡、合并和分裂的情况时有发生，因此，识别模块170将通过分配矩阵准确识别出视频监控过程中发生的遮挡、合并和分裂的情况。
在一个实施例中，上述识别模块170还用于根据分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
本实施例中，识别模块170根据分配矩阵中的元素准确识别出视频监控过程中发生的遮挡、合并和分裂的情况，即识别出当前帧中新目标的出现、目标的消失和遮挡的发生。
在一个实施例中，上述识别模块170还用于对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标初始化对应的状态值。
本实施例中，识别模块170循环处理分配矩阵的每一列，若第j列的最大元素值小于第一阈值tnew，则认为当前帧中第j个目标观测为新目标，进而初始化其状态值，包括位置状态值、尺寸状态值和直方图状态值。
如图8所示，在一个实施例中，上述识别模块170包括消失帧数更新单元171和观测删除单元173。
消失帧数更新单元171，用于若分配矩阵中每一行的最大元素值小于预设的第二阈值，则更新该行对应的观测消失帧数。
本实施例中，消失帧数更新单元171循环处理分配矩阵的每一行，若第i行的最大元素值小于第二阈值texist，则认为上一帧中的第i个目标未在当前帧出现，此时，将更新观测消失帧数，即第i个目标未出现的帧数。
观测删除单元173，用于若观测消失帧数大于帧数限值，则删除当前帧中该行对应的目标观测，目标观测消失于当前帧。
本实施例中，观测删除单元173判断观测消失帧是否大于帧限值，若是，则说明第i个目标已经连续帧限值个帧数未出现，是属于已经消失的目标，因此将删除当前帧中对应的目标观测。
如图9所示，在另一个实施例中，上述识别模块170包括个数获取单元175、数值更新单元176和遮挡处理单元177。
个数获取单元175，用于获取分配矩阵每一行中大于第三阈值的元素个数。
本实施例中，个数获取单元175循环处理分配矩阵的每一行，统计该行中数值大于第三阈值t的元素个数。
数值更新单元176，用于若元素个数为1，则将该行对应的目标观测由观测值更新为状态值。
本实施例中，若元素个数为1，则说明上一帧的目标与当前帧的目标观测是一一对应的，因此，则数值更新单元176应用非线性滤波对观测值进行更新，以得到相应的状态值，即位置状态值和尺寸状态值，直方图的更新可通过如下更新公式得到，即histnew＝(1-α)histprev+α·histcur。
其中，histprev为上一帧目标的直方图状态值，histcur是当前帧的直方图观测修士，histnew是更新得到的直方图状态值，α是位于[0，1]的经验值。
遮挡处理单元177，用于若元素个数大于1，则将目标观测所对应的观测值进行归一处理得到目标观测发生遮挡后的状态值。
本实施例中，若判断到元素个数是大于1的，则说明目标之间发生的遮挡。遮挡处理单元177设大于第三阈值的元素为fi,1,...,fi,s，对这些元素进行归一化处理，每个元素除以这些元素的和，得到归一化匹配值w1,...,ws。让后用这些元素对应的目标观测j1,...,js共同更新目标的状态值。
状态值中，直方图状态值的更新为：
histnew＝(1-α)histprev+α·histcur_mean
hist cur _ mean = Σ i = 1 s w i · hist cur , i
其中，histcur,i为第i个目标观测的直方图观测值，wi为前述归一化匹配值。
上述视频监制中的目标跟踪装置中，通过采用EMD算法准确地检测出目标的出现、遮挡和消失，进而利用分配矩阵准确的更新目标的状态。
上述视频监控中的目标跟踪方法和装置，获取上一帧中的目标得到对应的状态值，对当前帧进行目标检测得到当前帧中目标观测所对应的观测值，根据状态值和观测值构建代价矩阵，并应用EMD算法实现代价矩阵的求解以得到分配矩阵，进而由分配矩阵准确的建立目标与目标观测之间的对应关系，在目标和目标观测之间实现了准确的数据关联，使得即使密集时也能够对目标进行准确监控，提高了准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种视频监控中的目标跟踪方法，包括如下步骤：
获取上一帧中的目标对应的状态值；
对当前帧进行目标检测得到当前帧中目标观测所对应的观测值，包括：应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值；
根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵，包括：根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离，对所述位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素，由所述运算得到的元素构造得到代价矩阵；
根据所述分配矩阵识别当前帧中的目标。
2.根据权利要求1所述的方法，其特征在于，所述获取上一帧中的目标对应的状态值的步骤之前，所述方法包括：
对所述上一帧中的目标进行非线性滤波，以得到所述目标对应的位置状态值、尺寸状态值和直方图状态值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述分配矩阵识别当前帧中的目标的步骤包括：
根据所述分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
4.根据权利要求3所述的方法，其特征在于，所述根据所述分配矩阵中的元素识别当前帧中目标的出现的步骤包括：
对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标，初始化对应的状态值。
5.根据权利要求3所述的方法，其特征在于，所述根据所述分配矩阵中的元素识别当前帧中目标的消失的步骤包括：
若分配矩阵中每一行的最大元素值小预设的第二阈值，则更新该行对应的观测消失帧数；
若所述观测消失帧数大于帧数限值，则删除所述当前帧中该行对应的目标观测，所述目标观测消失于当前帧。
6.根据权利要求3所述的方法，其特征在于，所述根据所述分配矩阵中的元素识别当前帧中目标遮挡的发生的步骤包括：
获取分配矩阵每一行中大于第三阈值的元素个数；
若所述元素个数为1，则将该行对应的目标观测由观测值更新为状态值；
若所述元素个数大于1，则判定该行目标观测发生遮挡，将所述目标观测所对应的观测值进行归一化处理得到所述目标观测发生遮挡后的状态值。
7.一种视频监控中的目标跟踪装置，包括如下步骤：
获取模块，用于获取上一帧中的目标对应的状态值；
目标检测模块，用于对当前帧进行目标检测得到当前帧中目标观测所对应的观测值，还用于应用目标检测算法检测出当前帧中的目标观测，以得到目标观测所对应的位置观测值、尺寸观测值和直方图观测值；
运算模块，用于根据所述状态值和观测值构建代价矩阵，并应用EMD算法对代价矩阵进行求解得到分配矩阵，包括：距离计算单元，用于根据目标对应的位置状态值、尺寸状态值、直方图状态值和目标观测对应的位置观测值、尺寸观测值、直方图观测值进行计算得到目标和目标观测之间的位置距离、尺寸距离和直方图距离，元素运算单元，用于对所述位置距离、尺寸距离和直方图距离进行运算得到代价矩阵中的元素，矩阵构造单元，用于由所述运算得到的元素构造得到代价矩阵；
识别模块，用于根据所述分配矩阵识别当前帧中的目标。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
预测模块，用于对所述上一帧中的目标进行非线性滤波，以得到所述目标对应的位置状态值、尺寸状态值和直方图状态值。
9.根据权利要求7所述的装置，其特征在于，所述识别模块还用于根据所述分配矩阵中的元素识别当前帧中目标的出现、消失和/或遮挡的发生。
10.根据权利要求9所述的装置，其特征在于，所述识别模块还用于对分配矩阵中每一列的最大元素值小于预设的第一阈值所对应的目标观测，将该列所对应的目标观测作为当前帧出现的新目标初始化对应的状态值。
11.根据权利要求9所述的装置，其特征在于，所述识别模块包括：
消失帧数更新单元，用于若分配矩阵中每一行的最大元素值小于预设的第二阈值，则更新该行对应的观测消失帧数；
观测删除单元，用于若所述观测消失帧数大于帧数限值，则删除所述当前帧中该行对应的目标观测，目标观测消失于当前帧。
12.根据权利要求9所述的装置，其特征在于，所述识别模块包括：
个数获取单元，用于获取分配矩阵每一行中大于第三阈值的元素个数；
数值更新单元，用于若所述元素个数为1，则将该行对应的目标观测由观测值更新为状态值；
遮挡处理单元，用于若所述元素个数大于1，则将所述目标观测所对应的观测值进行归一化处理得到所述目标观测发生遮挡后的状态值。
CN201310277394.0A 2013-07-03 2013-07-03 视频监控中的目标跟踪方法和装置 Active CN103366370B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310277394.0A CN103366370B (zh) 2013-07-03 2013-07-03 视频监控中的目标跟踪方法和装置
US14/075,531 US20150009323A1 (en) 2013-07-03 2013-11-08 Multi-target tracking method for video surveillance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310277394.0A CN103366370B (zh) 2013-07-03 2013-07-03 视频监控中的目标跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN103366370A CN103366370A (zh) 2013-10-23
CN103366370B true CN103366370B (zh) 2016-04-20

Family

ID=49367638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310277394.0A Active CN103366370B (zh) 2013-07-03 2013-07-03 视频监控中的目标跟踪方法和装置

Country Status (2)

Country Link
US (1) US20150009323A1 (zh)
CN (1) CN103366370B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150240830A1 (en) * 2014-02-26 2015-08-27 FS-Elliott Co., LLC Thrust Bearing for a Compressor
CN105488815B (zh) * 2015-11-26 2018-04-06 北京航空航天大学 一种支持目标尺寸变化的实时对象跟踪方法
CN107507222B (zh) * 2016-06-13 2021-01-01 浙江工业大学 一种抗遮挡的基于积分直方图的粒子滤波目标跟踪方法
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
CN108062349B (zh) * 2017-10-31 2022-03-08 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统
CN108038837B (zh) * 2017-12-08 2020-09-29 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108846851B (zh) * 2018-04-25 2020-07-28 河北工业职业技术学院 运动目标跟踪方法及终端设备
CN108932730B (zh) * 2018-05-31 2021-11-23 哈工大机器人集团(昆山)有限公司 基于数据关联的视频多目标跟踪方法及系统
CN110751674A (zh) * 2018-07-24 2020-02-04 北京深鉴智能科技有限公司 多目标跟踪方法及相应视频分析系统
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN109377516B (zh) * 2018-11-01 2020-09-29 清华大学 一种使用动态视觉数据的光流计算方法
CN110009663B (zh) * 2019-04-10 2023-06-09 苏州大学 一种目标跟踪方法、装置、设备及计算机可读存储介质
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
CN111860532B (zh) * 2019-04-25 2022-11-25 四川大学 基于两种互补跟踪算法的自适应目标跟踪方法
CN110163132B (zh) * 2019-05-09 2023-07-11 云南大学 一种基于最大响应值变化率更新策略的相关滤波跟踪方法
CN110288051B (zh) * 2019-07-03 2022-04-22 电子科技大学 一种基于距离的多相机多目标匹配方法
CN111479061B (zh) * 2020-04-15 2021-07-30 上海摩象网络科技有限公司 跟踪状态确定方法、设备及手持相机
CN111696128B (zh) * 2020-05-27 2024-03-12 南京博雅集智智能技术有限公司 一种高速多目标检测跟踪和目标图像优选方法及存储介质
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
CN111915649A (zh) * 2020-07-27 2020-11-10 北京科技大学 一种遮挡条件下的带钢运动目标跟踪方法
CN112287794B (zh) * 2020-10-22 2022-09-16 中国电子科技集团公司第三十八研究所 一种视频图像自动识别目标的编号一致性管理方法
CN112967324B (zh) * 2021-03-15 2023-04-11 深圳大学 一种多假设的目标跟踪方法、装置、存储介质及电子设备
CN113554683A (zh) * 2021-09-22 2021-10-26 成都考拉悠然科技有限公司 一种基于视频分析和物体检测的特征追踪方法
CN117611636B (zh) * 2024-01-23 2024-04-26 中国水产科学研究院黄海水产研究所 一种鱼类跟踪方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN102034096A (zh) * 2010-12-08 2011-04-27 中国科学院自动化研究所 基于自顶向下运动注意机制的视频事件识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
TWI492188B (zh) * 2008-12-25 2015-07-11 Univ Nat Chiao Tung 利用多攝影機自動偵測與追蹤多目標的方法及系統
US8180107B2 (en) * 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
CN102034096A (zh) * 2010-12-08 2011-04-27 中国科学院自动化研究所 基于自顶向下运动注意机制的视频事件识别方法

Also Published As

Publication number Publication date
CN103366370A (zh) 2013-10-23
US20150009323A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
CN103366370B (zh) 视频监控中的目标跟踪方法和装置
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
US10769454B2 (en) Camera blockage detection for autonomous driving systems
CN102999920B (zh) 基于最近邻分类器和均值漂移的目标跟踪方法
CN103281477A (zh) 基于多级别特征数据关联的多目标视觉跟踪方法
CN104318578A (zh) 一种视频图像分析方法及系统
CN106803263A (zh) 一种目标跟踪方法及装置
CN113628245B (zh) 多目标跟踪方法、装置、电子设备和存储介质
CN106910204A (zh) 一种对海面船只自动跟踪识别的方法和系统
US20220309635A1 (en) Computer vision-based anomaly detection method, device and electronic apparatus
CN103942536A (zh) 一种迭代更新轨迹模型的多目标跟踪方法
CN103810717A (zh) 一种人体行为检测方法及装置
CN104392464A (zh) 一种基于彩色视频图像的人为入侵检测方法
CN106792883A (zh) 传感器网络异常数据检测方法与系统
CN110910416A (zh) 运动障碍物跟踪方法、装置及终端设备
Joshi et al. A low cost and computationally efficient approach for occlusion handling in video surveillance systems
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN103714319A (zh) 一种用于电力线防外力破坏系统的视频入侵检测方法
Cancela et al. Unsupervised trajectory modelling using temporal information via minimal paths
Wang et al. Pedestrian detection in crowded scenes via scale and occlusion analysis
CN103092925B (zh) 一种视频摘要生成方法和装置
Zhang et al. Anomaly detection and localization in crowded scenes by motion-field shape description and similarity-based statistical learning
Verma et al. Analysis of moving object detection and tracking in video surveillance system
US11961308B2 (en) Camera blockage detection for autonomous driving systems
CN102789645A (zh) 一种用于周界防范的多目标快速跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
CB02 Change of applicant information

Address after: Nanshan District Keyuan Road Shenzhen city Guangdong province 518000 No. 11 Financial Technology Building A block twenty-five layer

Applicant after: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.

Address before: Unit ABCD 17 floor of Building No. 11 Nanshan District Keyuan financial technology 518000 Shenzhen Road, Guangdong Province

Applicant before: Zmodo Technology Shenzhen Corp.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20200727

Granted publication date: 20160420

PD01 Discharge of preservation of patent
PD01 Discharge of preservation of patent

Date of cancellation: 20230727

Granted publication date: 20160420