CN106570490A - 一种基于快速聚类的行人实时跟踪方法 - Google Patents

一种基于快速聚类的行人实时跟踪方法 Download PDF

Info

Publication number
CN106570490A
CN106570490A CN201611004313.XA CN201611004313A CN106570490A CN 106570490 A CN106570490 A CN 106570490A CN 201611004313 A CN201611004313 A CN 201611004313A CN 106570490 A CN106570490 A CN 106570490A
Authority
CN
China
Prior art keywords
pedestrian
frame image
current frame
confidence level
class center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611004313.XA
Other languages
English (en)
Other versions
CN106570490B (zh
Inventor
张鑫
李炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201611004313.XA priority Critical patent/CN106570490B/zh
Publication of CN106570490A publication Critical patent/CN106570490A/zh
Application granted granted Critical
Publication of CN106570490B publication Critical patent/CN106570490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于快速聚类的行人实时跟踪方法，首先获取第一帧图像行人兴趣区域，生成初始类别和类别中心；从第二帧图像起，根据上一帧图像获得当前帧图像行人兴趣区域且提取最终特征，根据最终特征与上一帧图像所属类别类别中心或其他类别中心，通过核化相关滤波器预测置信度，检测出当前帧图像所属类别；当目标丢失时，针对下一帧图像，先获取该帧图像中可能存在行人目标的区域，根据各区域最终特征与各个类别中心，通过核化相关滤波器预测置信度，检测出行人兴趣区域以及该帧图像所属类别，寻找到丢失目标。本发明将行人不同姿态、遮挡状态以及外界变化聚类成不同外观类别，缓解目标跟踪中面临的姿态变化、遮挡以及外界光照变化的问题。

Description

一种基于快速聚类的行人实时跟踪方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于快速聚类的行人实时跟踪方法。
背景技术
视觉是人类认知世界的重要途径之一，人类获取外部信息的80％来自视觉系统。目标跟踪技术作为计算机视觉领域的热门课题之一，是对连续的图像序列进行运动目标检测、提取特征、分类识别、跟踪滤波、行为识别，以获得目标准确的运动信息参数(如位置、速度等)，并对其进行相应的处理分析，实现对目标的行为理解。
在现阶段电视监控系统作为公共安全领域中的一项重要技术已经得到了广泛的应用。但是大多数电视监视系统的功能仅仅停留在监控者对视频信号的人工监视和事后录像分析上，浪费了大量的人力物力。在计算机智能监控系统中，监控系统首先对图像进行预处理去除噪声，然后通过适当的检测算法确定运动目标继而通过跟踪算法在摄像机视野内跟踪运动目标。同时进行报警以及保存视频数据等一系列工作。而在这个系统中，其核心部分就是运动目标检测与跟踪算法技术，这个技术是保证整个系统实现其功能的关键。
然而，在实际的行人监控中，行人往往被视为非刚体目标。自身运动过程中存在或多或少的形状变化，和与环境的遮挡问题，与此同时存在外界环境光照、亮度的变化，而这些变化在随着时间的积累，对目标的预测产生偏移，之后行人目标对象越来越难以预测和跟踪准确。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于快速聚类的行人实时跟踪方法，该方法自动将行人不同姿态、不同遮挡状态以及外界的变化聚类成不同的外观类别，从而缓解目标跟踪中面临的姿态变化、遮挡以及外界光照变化的问题。
本发明的目的通过下述技术方案实现：一种基于快速聚类的行人实时跟踪方法，步骤如下：
S1、首先通过行人分类器对第一帧图像进行检测，获取到行人目标的初始位置，即宽高和中心点坐标；然后根据行人目标的初始位置截取行人兴趣区域生成到行人外观初始类别，并且将行人兴趣区域作为该初始类别的类别中心；
S2、从第二帧图像开始，以上一帧图像行人目标的中心点为中心，宽高为大小截取到当前帧图像的行人兴趣区域；
S3、从当前帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行傅里叶变换后得到当前帧图像的行人兴趣区域最终的特征图；
S4、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和上一帧图像中行人外观所属类别的类别中心，通过核化相关滤波器预测行人目标的中心点以及置信度X；然后进入步骤S5；
S5、将步骤S4中获取到的置信度X与设定阈值A进行比较；
若置信度X大于设定阈值A，则当前帧图像中行人外观所属类别即为上一帧图像中行人外观所属类别，此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度X小于设定阈值A，则进入步骤S6；
S6、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他各类别中心，分别通过核化相关滤波器预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Y；然后进入步骤S7；
S7、将步骤S6中获取到的置信度Y与设定阈值A和设定阈值B进行比较，其中设定阈值B小于设定阈值A；
若置信度Y大于设定阈值A，则当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Y的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y在设定阈值A和设定阈值B之间，则根据当前帧图像的行人兴趣区域，直接生成新的行人外观类别；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y小于设定阈值B，则表示当前帧图像中的行人目标丢失，针对下一帧图像进行处理时，进入步骤S8；
S8、利用图像边缘信息生成当前帧图像中可能存在行人目标的各个区域，然后进入步骤S9；
S9、针对当前帧图像中可能存在行人目标的各个区域，分别提取方向梯度直方图特征，然后对方向梯度直方图特征进行傅里叶变换后得到当前帧图像中可能存在行人目标的各个区域所对应最终的特征图；
S10、根据当前帧图像中可能存在行人目标的各个区域所对应最终的特征图和各类别中心，通过核化相关滤波器分别预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Z；然后进入步骤S11；
S11、将步骤S10中获取到的置信度Z与设定阈值A进行比较；
若置信度Z大于设定阈值A，则预测得到置信度Z的最终的特征图对应的区域为当前帧图像的行人兴趣区域，当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Z的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Z小于设定阈值A，则表示当前帧图像中的行人目标未正确检测到，针对下一帧图像进行处理时，进入步骤S8。
优选的，步骤S1中根据第一帧图像截取得到的行人兴趣区域生成初始类别的类别中心为：
modelAlphaf′＝alphaf′；
modelXf′＝xf′；
其中alphaf′为第一帧图像的核化相关滤波器模型的系数，modelAlphaf′表示初始类别的类别中心的模型系数，modelXf′表示初始类别的类别中心的模型特征，xf′为第一帧图像的核化相关滤波器模型的特征；
第一帧图像的核化相关滤波器模型的特征xf′获取过程如下：从第一帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行二维傅里叶变换后得到第一帧图像的行人兴趣区域最终的特征图，将其作为第一帧图像的核化相关滤波器模型的特征xf′；
其中
alphaf′＝yf./(xf′.*xf′+lambda)；
yf为二维高斯分布的傅里叶变换，lambda为正规化系数。
优选的，所述步骤S3和步骤S9中，方向梯度直方图特征与汉明窗口相乘后再进行二维傅里叶变换后得到当前帧图像的行人兴趣区域最终的特征图。
优选的，所述步骤S4和步骤S6中核化相关滤波器的模型为：
alphaf＝yf./(xf.*xf+lambda)；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap为当前帧图像的行人兴趣区域最终的特征图，lambda为正规化系数。
优选的，所述步骤S10中核化相关滤波器的模型为：
本步骤中核化相关滤波器的模型为：
alphaf＝yf./(xf".*xf"+lambda)；
xf"＝featureMap"；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap"为当前帧图像中可能存在行人目标的各个区域所对应最终的特征图，lambda为正规化系数。
优选的，步骤S4中，通过核化相关滤波器预测的置信度response为：
response＝max (real(ifft2(modelAlphaf.*(modelXf.*featureMap)))；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图，modelXf为上一帧图像中行人外观所属类别的类别中心的模型特征，modelAlphaf为上一帧图像中行人外观所属类别的类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；
步骤S4中，通过核化相关滤波器预测的行人目标的中心点为response的二维坐标。
优选的，步骤S6中，通过核化相关滤波器预测的置信度为：
responsei＝max (real(ifft2(modelAlphafi.*(modelXfi.*featureMap)))；
i＝1,2,3…,n；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图；n为除上一帧图像所属类别的类别中心之外的其他类别中心总数；modelXfi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型特征，modelAlphafi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responsei为根据当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心，通过核化相关滤波器预测的置信度；
步骤S6中，从置信度response1至responsen中选取出值最大的置信度Y，通过核化相关滤波器预测的行人目标的中心点为置信度Y二维坐标。
优选的，步骤S10中，通过核化相关滤波器预测的置信度为：
responseij＝max (real(ifft2(modelAlphafi.*(modelXfi.*featureMapj)))；
i＝1,2,3…,N；j＝1,2,3,…M；
其中featureMapj为当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图，N为类别中心总数，modelXfi为第i个类别中心的模型特征，modelAlphafi为第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responseij为根据当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图和第i个类别中心，通过核化相关滤波器预测的置信度；
步骤S10中，从置信度response11，response12，…，response1M至responseN1，responseN2，…，responseNM中选取出值最大的置信度Z，通过核化相关滤波器预测的行人目标的中心点为置信度Z二维坐标。
优选的，所述步骤S5、S7和S11中，根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心，则更新后的当前帧图像中行人外观所属类别的类别中心为：
modelAlphaf"＝(1-α)*modelAlphaf′+α*alphaf；
modelXf"＝(1-α)*modelXf′+α*xf；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，α为平滑系数，modelAlphaf′更新前当前帧图像中行人外观所属类别的类别中心的模型系数，modelAlphaf"更新后当前帧图像中行人外观所属类别的类别中心的模型系数，modelXf′为更新前当前帧图像中行人外观所属类别的类别中心的模型特征，modelXf"为更新后当前帧图像中行人外观所属类别的类别中心的模型特征，featureMap为当前帧图像的行人兴趣区域最终的特征图。
优选的，所述设定阈值A为0.75～0.85，所述设定阈值B为0.60～0.68。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明行人实时跟踪方法中，首先获取第一帧图像的行人兴趣区域，生成行人外观初始类别和类别中心；从第二帧图像开始，根据上一帧图像获取到当前帧图像的行人兴趣区域，并且提取行人兴趣区域的最终特征，然后根据人兴趣区域的最终特征与上一帧图像中行人外观所属类别的类别中心或其他类别中心，通过核化相关滤波器预测置信度，根据该置信度检测出当前帧图像中行人外观所属类别；当目标丢失时，针对下一帧图像进行处理时，先获取到该帧图像中可能存在行人目标的各个区域，然后根据各个区域的最终特征与各个类别中心，通过核化相关滤波器预测置信度，根据该置信度检测出行人兴趣区域以及该帧图像中行人外观所属类别，以寻找到丢失目标。方法自动将行人不同姿态、不同遮挡状态以及外界的变化聚类成不同的外观类别，从而缓解目标跟踪中面临的姿态变化、遮挡以及外界光照变化的问题。可见本发明方法中，核化相关滤波器算法根据行人兴趣区域和已经生成的类别中心，预测得到行人目标置信度，通过置信度实现快速聚类，相比传统的k值聚类(k-means)利用欧几里得距离对样本进行聚类需要离线训练的这种方式，本发明方法行人目标跟踪的实时性更高。
(2)本发明方法中当图像中的行人目标丢失时时，针对下一帧图像进行处理时，首先获取该帧图像可能存在行人目标的各个区域，然后通过之前聚类生成的所有类别中心对该帧图像可能存在行人目标的各个区域进行判定，得出该帧图像的行人兴趣区域的同时，获取到其所属类别，从而实现再次跟踪。可见，本发明采用当前帧图像处理之前生成的多个类别中心对当前帧图像的行人外观所属类别进行判断，能够自动将行人不同姿态、不同遮挡状态以及外界的变化聚类成不同的外观类别，从而缓解目标跟踪中面临的姿态变化、遮挡以及外界光照变化的问题，具有行人目标跟踪准确性和实时性高的优点。克服现有技术中由于行人目标运动过程中姿态变化、环境遮挡问题以及外界环境光照亮度等变化随着时间的积累，对行人目标的预测产生偏移的技术问题。
(3)本发明方法中在针对当前帧图像中的行人目标进行跟踪时，考虑当前帧图像和上一帧图像中行人外观所属类别很可能相同，所以首先通过上一帧图像中行人外观所属类别的类别中心预测出置信度，从而判断是否和上一帧图像的行人外观所属类别是否相同，在不相同的情况下，才通过其他类别中心判断出当前帧图像中行人外观所属类别，因此具有计算量小，跟踪速度快的优点。
具体实施方式
下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种基于快速聚类的行人实时跟踪方法，步骤如下：
S1、首先通过行人分类器对第一帧图像进行检测，获取到行人目标的初始位置，即宽高和中心点坐标；然后根据行人目标的初始位置截取行人兴趣区域生成到行人外观初始类别，并且将行人兴趣区域作为该初始类别的类别中心；
本步骤中根据第一帧图像截取得到的行人兴趣区域生成初始类别的类别中心为：
modelAlphaf′＝alphaf′；
modelXf′＝xf′；
其中alphaf′为第一帧图像的核化相关滤波器模型的系数，modelAlphaf′表示初始类别的类别中心的模型系数，modelXf′表示初始类别的类别中心的模型特征，xf′为第一帧图像的核化相关滤波器模型的特征。
第一帧图像的核化相关滤波器模型的特征获取过程如下：从第一帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行二维傅里叶变换后得到第一帧图像的行人兴趣区域最终的特征图，将其作为第一帧图像的核化相关滤波器模型的特征；
其中
alphaf′＝yf./(xf′.*xf′+lambda)；
yf为二维高斯分布的傅里叶变换，lambda为正规化系数。
S2、从第二帧图像开始，以上一帧图像行人目标的中心点为中心，宽高为大小截取到当前帧图像的行人兴趣区域；
S3、从当前帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行二维傅里叶变换后得到当前帧图像的行人兴趣区域最终的特征图；其中本实施例中方向梯度直方图特征在进行二维傅里叶变换之前与汉明窗口相乘来减缓行人的边缘效应；
S4、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和上一帧图像中行人外观所属类别的类别中心，通过核化相关滤波器预测行人目标的中心点以及置信度X；然后进入步骤S5；
其中本步骤中核化相关滤波器的模型为：
alphaf＝yf./(xf.*xf+lambda)；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap为当前帧图像的行人兴趣区域最终的特征图。
本步骤中通过核化相关滤波器预测的置信度response为：
response＝max (real(ifft2(modelAlphaf.*(modelXf.*featureMap)))；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图，modelXf为上一帧图像中行人外观所属类别的类别中心的模型特征，modelAlphaf为上一帧图像中行人外观所属类别的类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；
本步骤中通过核化相关滤波器预测的行人目标的中心点为response的二维坐标。
S5、将步骤S4中获取到的置信度X与设定阈值A进行比较；本实施例中设定阈值A为0.75～0.85之间的一个值。
若置信度X大于设定阈值A，则当前帧图像中行人外观所属类别即为上一帧图像中行人外观所属类别，此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度X小于设定阈值A，则进入步骤S6；
S6、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他各类别中心，分别通过核化相关滤波器预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Y；然后进入步骤S7；
本步骤中，核化相关滤波器的模型为：
alphaf＝yf./(xf.*xf+lambda)；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap为当前帧图像的行人兴趣区域最终的特征图。
本步骤中，通过核化相关滤波器预测的置信度为：
responsei＝max (real(ifft2(modelAlphafi.*(modelXfi.*featureMap)))；
i＝1,2,3…,n；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图；n为除上一帧图像所属类别的类别中心之外的其他类别中心总数；modelXfi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型特征，modelAlphafi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responsei为根据当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心，通过核化相关滤波器预测的置信度；
本步骤中，从置信度response1至responsen中选取出值最大的置信度Y，通过核化相关滤波器预测的行人目标的中心点为置信度Y二维坐标。
S7、将步骤S6中获取到的置信度Y与设定阈值A和设定阈值B进行比较，其中设定阈值B小于设定阈值A；其中本实施例中设定阈值B为0.60～0.68范围内的一个值。
若置信度Y大于设定阈值A，则当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Y的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y在设定阈值A和设定阈值B之间，则根据当前帧图像的行人兴趣区域，直接生成新的行人外观类别；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y小于设定阈值B，则表示当前帧图像中的行人目标丢失，针对下一帧图像进行处理时，进入步骤S8；
S8、利用图像边缘信息生成当前帧图像中可能存在行人目标的各个区域，然后进入步骤S9；
S9、针对当前帧图像中可能存在行人目标的各个区域，分别提取方向梯度直方图特征，然后对方向梯度直方图特征进行二维傅里叶变换后得到当前帧图像中可能存在行人目标的各个区域所对应最终的特征图；其中本实施例中方向梯度直方图特征为通过加上汉明窗口去除行人边缘影响的。其中本实施例中方向梯度直方图特征在进行二维傅里叶变换之前与汉明窗口相乘来减缓行人的边缘效应；
S10、根据当前帧图像中可能存在行人目标的各个区域所对应最终的特征图和各类别中心，通过核化相关滤波器分别预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Z；然后进入步骤S11；
本步骤中核化相关滤波器的模型为：
alphaf＝yf./(xf".*xf"+lambda)；
xf"＝featureMap"；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap"为当前帧图像中可能存在行人目标的各个区域所对应最终的特征图，lambda为正规化系数。
本步骤中，通过核化相关滤波器预测的置信度为：
responseij＝max (real(ifft2(modelAlphafi.*(modelXfi.*featureMapj)))；
i＝1,2,3…,N；j＝1,2,3,…M；
其中featureMapj为当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图，N为类别中心总数，modelXfi为第i个类别中心的模型特征，modelAlphafi为第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responseij为根据当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图和第i个类别中心，通过核化相关滤波器预测的置信度；
本步骤中，从置信度response11，response12，…，response1M至responseN1，responseN2，…，responseNM中选取出值最大的置信度Z，通过核化相关滤波器预测的行人目标的中心点为置信度Z二维坐标。
S11、将步骤S10中获取到的置信度Z与设定阈值A进行比较；
若置信度Z大于设定阈值A，则预测得到置信度Z的最终的特征图对应的区域为当前帧图像中的行人兴趣区域，当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Z的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Z小于设定阈值A，则表示当前帧图像中的行人目标未正确检测到，针对下一帧图像进行处理时，进入步骤S8。
其中本实施例上述步骤S5、S7和S11中，根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心，则更新后的当前帧图像中行人外观所属类别的类别中心为：
modelAlphaf"＝(1-α)*modelAlphaf′+α*alphaf；
modelXf"＝(1-α)*modelXf′+α*xf；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，α为平滑系数，modelAlphaf′更新前当前帧图像中行人外观所属类别的类别中心的模型系数，modelAlphaf"更新后当前帧图像中行人外观所属类别的类别中心的模型系数，modelXf′为更新前当前帧图像中行人外观所属类别的类别中心的模型特征，modelXf"为更新后当前帧图像中行人外观所属类别的类别中心的模型特征，featureMap为当前帧图像的行人兴趣区域最终的特征图。
本实施例上述步骤中正规化系数lambda均为0.01；平滑系数α为0.35～0.45。
本实施例行人实时跟踪方法首先通过行人分类器检测到第一帧图像中的行人目标以获取到行人目标的初始位置以及行人兴趣区域，并且根据第一帧图像的行人兴趣区域生成行人外观初始类别以及类别中心；从第二帧图像开始，根据上一帧图像所属类别的类别中心并且通过核化相关滤波器预测置信度，根据置信度检测当前帧图像是否与上一帧图像所属类别是否相同，相同的情况下更新类别中心，在不同的情况下，则根据其他类别中心且通过核化相关滤波器预测置信度，然后根据该置信度检测当前帧图像是否与除上一帧图像所属类别外的其他类别相同，若相同，则更新该类别中心，若不同，则根据置信度的大小生成新的类别或定义为当前帧图像目标丢失，在当前帧图像目标丢失的情况下针对下一帧图像进行处理时，首先找到该帧图像中可能存在行人目标的各个区域，然后根据各个类别中心且通过核化相关滤波器预测置信度，根据得到的置信度检测出行人兴趣区域，并且通过预测的置信度检测出所有类别中是否有该帧图像所属的类别，若有，则表示行人目标检测到，则更新所属类别的类别中心，若无，则表示该帧图像中的行人目标未正确检测到，针对下一帧图像进行处理时继续如上述目标丢失时候下一帧图像的处理方式进行处理，直到检测到行人目标的帧图像。可见本发明方法中，核化相关滤波器算法根据行人兴趣区域和已经生成的类别中心，预测得到行人目标中心点和置信度，通过置信度实现快速聚类，相比传统的k值聚类(k-means)利用欧几里得距离对样本进行聚类需要离线训练的这种方式，本发明方法行人目标跟踪的实时性更高。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于快速聚类的行人实时跟踪方法，其特征在于，步骤如下：
S1、首先通过行人分类器对第一帧图像进行检测，获取到行人目标的初始位置，即宽高和中心点坐标；然后根据行人目标的初始位置截取行人兴趣区域生成到行人外观初始类别，并且将行人兴趣区域作为该初始类别的类别中心；
S2、从第二帧图像开始，以上一帧图像行人目标的中心点为中心，宽高为大小截取到当前帧图像的行人兴趣区域；
S3、从当前帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行傅里叶变换后得到当前帧图像的行人兴趣区域最终的特征图；
S4、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和上一帧图像中行人外观所属类别的类别中心，通过核化相关滤波器预测行人目标的中心点以及置信度X；然后进入步骤S5；
S5、将步骤S4中获取到的置信度X与设定阈值A进行比较；
若置信度X大于设定阈值A，则当前帧图像中行人外观所属类别即为上一帧图像中行人外观所属类别，此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度X小于设定阈值A，则进入步骤S6；
S6、根据步骤S3获取到的当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他各类别中心，分别通过核化相关滤波器预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Y；然后进入步骤S7；
S7、将步骤S6中获取到的置信度Y与设定阈值A和设定阈值B进行比较，其中设定阈值B小于设定阈值A；
若置信度Y大于设定阈值A，则当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Y的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y在设定阈值A和设定阈值B之间，则根据当前帧图像的行人兴趣区域，直接生成新的行人外观类别；针对下一帧图像进行处理时，进入步骤S2；
若置信度Y小于设定阈值B，则表示当前帧图像中的行人目标丢失，针对下一帧图像进行处理时，进入步骤S8；
S8、利用图像边缘信息生成当前帧图像中可能存在行人目标的各个区域，然后进入步骤S9；
S9、针对当前帧图像中可能存在行人目标的各个区域，分别提取方向梯度直方图特征，然后对方向梯度直方图特征进行傅里叶变换后得到当前帧图像中可能存在行人目标的各个区域所对应最终的特征图；
S10、根据当前帧图像中可能存在行人目标的各个区域所对应最终的特征图和各类别中心，通过核化相关滤波器分别预测行人目标的中心点以及置信度，并且从中选取出值最大的置信度Z；然后进入步骤S11；
S11、将步骤S10中获取到的置信度Z与设定阈值A进行比较；
若置信度Z大于设定阈值A，则预测得到置信度Z的最终的特征图对应的区域为当前帧图像的行人兴趣区域，当前帧图像中行人外观所属类别即为根据核化相关滤波器预测得到置信度Z的类别中心对应的类别；此时根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心；针对下一帧图像进行处理时，进入步骤S2；
若置信度Z小于设定阈值A，则表示当前帧图像中的行人目标未正确检测到，针对下一帧图像进行处理时，进入步骤S8。
2.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，
步骤S1中根据第一帧图像截取得到的行人兴趣区域生成初始类别的类别中心为：
modelAlphaf′＝alphaf′；
modelXf′＝xf′；
其中alphaf′为第一帧图像的核化相关滤波器模型的系数，modelAlphaf′表示初始类别的类别中心的模型系数，modelXf′表示初始类别的类别中心的模型特征，xf′为第一帧图像的核化相关滤波器模型的特征；
第一帧图像的核化相关滤波器模型的特征xf′获取过程如下：从第一帧图像的行人兴趣区域中提取方向梯度直方图特征，然后对方向梯度直方图特征进行二维傅里叶变换后得到第一帧图像的行人兴趣区域最终的特征图，将其作为第一帧图像的核化相关滤波器模型的特征xf′；
其中
alphaf′＝yf./(xf′.*xf′+lambda)；
yf为二维高斯分布的傅里叶变换，lambda为正规化系数。
3.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，所述步骤S3和步骤S9中，方向梯度直方图特征与汉明窗口相乘后再进行二维傅里叶变换后得到当前帧图像的行人兴趣区域最终的特征图。
4.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，所述步骤S4和步骤S6中核化相关滤波器的模型为：
alphaf＝yf./(xf.*xf+lambda)；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap为当前帧图像的行人兴趣区域最终的特征图，lambda为正规化系数。
5.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，所述步骤S10中核化相关滤波器的模型为：
本步骤中核化相关滤波器的模型为：
alphaf＝yf./(xf".*xf"+lambda)；
xf"＝featureMap"；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，yf为二维高斯分布的傅里叶变换，featureMap"为当前帧图像中可能存在行人目标的各个区域所对应最终的特征图，lambda为正规化系数。
6.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，步骤S4中，通过核化相关滤波器预测的置信度response为：
response＝max(real(ifft2(modelAlphaf.*(modelXf.*featureMap)))；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图，modelXf为上一帧图像中行人外观所属类别的类别中心的模型特征，modelAlphaf为上一帧图像中行人外观所属类别的类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；
步骤S4中，通过核化相关滤波器预测的行人目标的中心点为response的二维坐标。
7.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，
步骤S6中，通过核化相关滤波器预测的置信度为：
responsei＝max(real(ifft2(modelAlphafi.*(modelXfi.*featureMap)))；
i＝1,2,3…,n；
其中featureMap为当前帧图像的行人兴趣区域最终的特征图；n为除上一帧图像所属类别的类别中心之外的其他类别中心总数；modelXfi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型特征，modelAlphafi为除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responsei为根据当前帧图像的行人兴趣区域最终的特征图和除上一帧图像所属类别的类别中心之外的其他类别中心中第i个类别中心，通过核化相关滤波器预测的置信度；
步骤S6中，从置信度response1至responsen中选取出值最大的置信度Y，通过核化相关滤波器预测的行人目标的中心点为置信度Y二维坐标。
8.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，
步骤S10中，通过核化相关滤波器预测的置信度为：
responseij＝max(real(ifft2(modelAlphafi.*(modelXfi.*featureMapj)))；
i＝1,2,3…,N；j＝1,2,3,…M；
其中featureMapj为当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图，N为类别中心总数，modelXfi为第i个类别中心的模型特征，modelAlphafi为第i个类别中心的模型系数，ifft2函数表示二维傅里叶反变换，real函数表示将二维复数数组转换成二位实数数组；responseij为根据当前帧图像中可能存在行人目标的第j个区域所对应最终的特征图和第i个类别中心，通过核化相关滤波器预测的置信度；
步骤S10中，从置信度response11，response12，…，response1M至responseN1，responseN2，…，responseNM中选取出值最大的置信度Z，通过核化相关滤波器预测的行人目标的中心点为置信度Z二维坐标。
9.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，所述步骤S5、S7和S11中，根据当前帧图像的行人兴趣区域，利用均值平滑更新当前帧图像中行人外观所属类别的类别中心，则更新后的当前帧图像中行人外观所属类别的类别中心为：
modelAlphaf"＝(1-α)*modelAlphaf′+α*alphaf；
modelXf"＝(1-α)*modelXf′+α*xf；
xf＝featureMap；
其中alphaf为当前帧图像的核化相关滤波器模型的系数，α为平滑系数，modelAlphaf′更新前当前帧图像中行人外观所属类别的类别中心的模型系数，modelAlphaf"更新后当前帧图像中行人外观所属类别的类别中心的模型系数，modexXf′为更新前当前帧图像中行人外观所属类别的类别中心的模型特征，modelXf"为更新后当前帧图像中行人外观所属类别的类别中心的模型特征，featureMap为当前帧图像的行人兴趣区域最终的特征图。
10.根据权利要求1所述的基于快速聚类的行人实时跟踪方法，其特征在，所述设定阈值A为0.75～0.85，所述设定阈值B为0.60～0.68。
CN201611004313.XA 2016-11-15 2016-11-15 一种基于快速聚类的行人实时跟踪方法 Active CN106570490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611004313.XA CN106570490B (zh) 2016-11-15 2016-11-15 一种基于快速聚类的行人实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611004313.XA CN106570490B (zh) 2016-11-15 2016-11-15 一种基于快速聚类的行人实时跟踪方法

Publications (2)

Publication Number Publication Date
CN106570490A true CN106570490A (zh) 2017-04-19
CN106570490B CN106570490B (zh) 2019-07-16

Family

ID=58542138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611004313.XA Active CN106570490B (zh) 2016-11-15 2016-11-15 一种基于快速聚类的行人实时跟踪方法

Country Status (1)

Country Link
CN (1) CN106570490B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960447A (zh) * 2017-05-17 2017-07-18 成都通甲优博科技有限责任公司 一种视频目标跟踪的位置修正方法及系统
CN108257150A (zh) * 2017-12-20 2018-07-06 北京华航无线电测量研究所 一种基于嵌入式系统的目标相关滤波跟踪方法
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质
CN108629327A (zh) * 2018-05-15 2018-10-09 北京环境特性研究所 一种基于图像处理的人数统计方法及装置
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置
CN110555862A (zh) * 2019-08-23 2019-12-10 北京数码视讯技术有限公司 目标追踪的方法、装置、电子设备和计算机可读存储介质
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238201A1 (en) * 2004-04-15 2005-10-27 Atid Shamaie Tracking bimanual movements
CN103310466A (zh) * 2013-06-28 2013-09-18 安科智慧城市技术（中国）有限公司 一种单目标跟踪方法及其实现装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238201A1 (en) * 2004-04-15 2005-10-27 Atid Shamaie Tracking bimanual movements
CN103310466A (zh) * 2013-06-28 2013-09-18 安科智慧城市技术（中国）有限公司 一种单目标跟踪方法及其实现装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周文晖: "融合图切割和聚类算法的鲁棒自适应道路跟踪", 《仪器仪表学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960447A (zh) * 2017-05-17 2017-07-18 成都通甲优博科技有限责任公司 一种视频目标跟踪的位置修正方法及系统
CN106960447B (zh) * 2017-05-17 2020-01-21 成都通甲优博科技有限责任公司 一种视频目标跟踪的位置修正方法及系统
CN108257150A (zh) * 2017-12-20 2018-07-06 北京华航无线电测量研究所 一种基于嵌入式系统的目标相关滤波跟踪方法
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质
CN108388879B (zh) * 2018-03-15 2022-04-15 斑马网络技术有限公司 目标的检测方法、装置和存储介质
CN108629327A (zh) * 2018-05-15 2018-10-09 北京环境特性研究所 一种基于图像处理的人数统计方法及装置
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置
CN110555862A (zh) * 2019-08-23 2019-12-10 北京数码视讯技术有限公司 目标追踪的方法、装置、电子设备和计算机可读存储介质
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN106570490B (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN106203274B (zh) 一种视频监控中行人实时检测系统及方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN104378582B (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
Khan et al. Analyzing crowd behavior in naturalistic conditions: Identifying sources and sinks and characterizing main flows
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN106127812B (zh) 一种基于视频监控的客运站非出入口区域的客流统计方法
EP2335405A2 (en) Pixel-level based micro-feature extraction
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
D'Orazio et al. People re-identification and tracking from multiple cameras: A review
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN107085703A (zh) 融合脸部检测与跟踪的汽车乘员计数方法
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
Liu et al. Multi-view vehicle detection and tracking in crossroads
Hou et al. Human detection and tracking over camera networks: A review
Elbaşi Fuzzy logic-based scenario recognition from video sequences
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
Rashidan et al. Detection of different classes moving object in public surveillance using artificial neural network (ann)
Xu et al. Crowd density estimation based on improved Harris & OPTICS Algorithm
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant