CN108073936A - 目标跟踪方法、装置及设备 - Google Patents

目标跟踪方法、装置及设备 Download PDF

Info

Publication number
CN108073936A
CN108073936A CN201611025103.9A CN201611025103A CN108073936A CN 108073936 A CN108073936 A CN 108073936A CN 201611025103 A CN201611025103 A CN 201611025103A CN 108073936 A CN108073936 A CN 108073936A
Authority
CN
China
Prior art keywords
target
candidate region
frame
information
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611025103.9A
Other languages
English (en)
Other versions
CN108073936B (zh
Inventor
马林
周明才
王光伟
南东暻
钱德恒
王强
刘志花
王再冉
许珍九
徐静涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201611025103.9A priority Critical patent/CN108073936B/zh
Priority to KR1020170058547A priority patent/KR102369413B1/ko
Priority to US15/794,677 priority patent/US10565713B2/en
Publication of CN108073936A publication Critical patent/CN108073936A/zh
Application granted granted Critical
Publication of CN108073936B publication Critical patent/CN108073936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了目标跟踪方法、装置及设备，所述方法包括：获取当前帧中目标的候选区域；对获取的候选区域进行特征回归得到终选区域。利用本发明实施例，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的多个候选区域的信息进行特征回归，根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行回归，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。

Description

目标跟踪方法、装置及设备
技术领域
本发明涉及终端技术领域，具体而言，本发明涉及一种目标跟踪方法、装置及设备。
背景技术
随着社会的发展和科技的进步，智能手机、平板电脑、笔记本电脑、电子阅读器、智能摄像头和智能穿戴设备等终端设备，有的已经广泛普及，有的正在迅速的普及中。
这些终端设备中通常配置有图像采集装置，例如智能手机中配置的摄像头。用户可以通过终端设备中的图像采集装置，对该用户期望拍摄的目标进行连续图像的拍摄，例如拍摄视频。为了得到目标(尤其是运动中目标)的清晰的图像帧，通常在拍摄过程中需要对目标进行跟踪和连续对焦。
目标跟踪方法主要包含两个大的部分，即目标的表观模型的训练更新和目标的搜索策略。
目前，存在多种目标跟踪方法。
第一种目标跟踪方法包括：在检测目标时，首先采用选择性搜索selective-search得到大约2千个候选包围框的信息，然后选择最优的bounding box(包围框)。对于最优的包围框采用信息回归的方式得到更精确的包围框的尺寸和位置等信息。在计算目标信息时，只使用单个候选包围框回归得到结果。然而，利用该目标跟踪方法，当被回归的单个候选包围框被遮挡时，很容易丢失目标，导致目标跟踪精度低下；或者当目标实际处于或者大部分处于该单个候选包围框之外的其它位置处时，用单个候选信息回归的方式所得的回归结果的鲁棒性较差，容易跟丢目标，导致目标跟踪精度低下。
第二种目标跟踪方法包括：通过采用时间变化的自回归模型来检测以及跟踪目标。此方法根据之前的目标信息来预测后来的目标信息。目标的信息用轮廓来表示。然而，利用该目标跟踪方法，当任一帧中的目标被遮挡时，无法获取当前的目标信息，自然也无法根据当前的目标信息预测后来的目标信息；若继续使用之前的目标信息预测出未来的目标信息，很可能与未来的真实的目标信息差距很大，很容易丢失目标，导致目标跟踪精度低下。
第三种目标跟踪方法包括：采用粒子滤波的框架来进行目标跟踪。然而，利用该目标跟踪方法，当任一帧中的目标被干扰(例如目标发生形变、旋转、被遮挡或目标周围背景噪声较大)时，无法获取或难以精确获取当前的目标信息，跟容易导致跟踪偏离目标，导致目标跟踪精度低下。
第四种目标跟踪方法包括：采用粒子滤波的框架来进行目标跟踪。采用随机森林来对特征进行评价。然而，利用该目标跟踪方法，当任一帧中的目标被干扰(例如目标发生形变、旋转、被遮挡或目标周围背景噪声较大)时，无法获取或难以获取当前的目标信息，很容易导致跟踪偏离目标，导致目标跟踪精度低下。
第五种目标跟踪方法包括：基于Frobenious范数规则化来进行稀疏子空间聚类。此方法可以得到闭式的解。其提出了EBD(EnhancedBlock Diagonalization，增强的块对角化)标准来评价一种稀疏子空间聚类方法能否把样本有效地分到几个子空间中。该方法中证明了基于最小二乘回归的稀疏子空间聚类(Least Squares Regression based SparseSubspace Clustering,LSR)满足EBD条件。然而，该目标跟踪方法的聚类中仅利用了目标信息作为样本，也就是说聚类得到的各子空间中仅包括目标信息；当任一帧中的目标被干扰(例如目标发生形变、旋转、被遮挡或目标周围背景噪声较大)时，无法获取或难以获取当前的目标信息，也无法或难以根据聚类得到各子空间区分目标信息和非目标信息，很容易导致跟踪偏离目标，导致目标跟踪精度低下。
第六种目标跟踪方法包括：在稀疏子空间聚类过程中，在投影空间中而不是在输入空间中来减弱误差的影响。然而，该目标跟踪方法在构建子空间模型时，仅使用了目标信息作为样本，也就是说子空间模型中仅包括目标信息；当任一帧中的目标被干扰(例如目标发生形变、旋转、被遮挡或目标周围背景噪声较大)时，无法获取或难以获取当前的目标信息，也无法或难以根据子空间模型区分目标信息和非目标信息，很容易导致跟踪偏离目标，导致目标跟踪精度低下。
第七种目标跟踪方法包括：通过OMP(Orthogonal Matching Pursuit，正交匹配追踪)方法来进行子空间聚类。然而，该目标跟踪方法的聚类中仅利用了目标信息作为样本，也就是说聚类得到的各子空间中仅包括目标信息；当任一帧中的目标被干扰(例如目标发生形变、旋转、被遮挡或目标周围背景噪声较大)时，无法获取或难以获取当前的目标信息，也无法或难以根据聚类得到各子空间区分目标信息和非目标信息，很容易导致跟踪偏离目标，导致目标跟踪精度低下。
综上所述，现有的目标跟踪算法存在仅对目标的单个候选包围框的信息进行回归而导致跟踪时容易偏离目标的缺陷；或者，存在仅根据在前的目标信息预测后来的目标信息而导致跟踪时容易偏离目标的缺陷；或者，仅将目标信息作为样本进行聚类创建模型、而无法区分目标信息和非目标信息导致跟踪时容易偏离目标的缺陷。
发明内容
本发明针对现有目标跟踪方式的缺点，提出一种目标跟踪方法、装置及设备，用以解决现有技术存在跟踪时容易偏离目标的问题，以提高抗目标变形、旋转、被遮挡等干扰的性能，降低跟踪时偏离目标的几率，提高目标跟踪精度。
本发明根据第一个方面，提供了一种目标跟踪方法，包括：
获取当前帧中目标的候选区域；
对获取的候选区域进行特征回归得到终选区域。
较佳地，所述获取当前帧中目标的候选区域，包括：
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；
获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述对获取的候选区域进行特征回归得到终选区域，包括：
根据特征回归矩阵，对获取的各候选区域的信息进行回归；
根据所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
较佳地，所述根据特征回归矩阵，对获取的各候选区域的信息进行回归，包括：
对于所述当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量；
根据该候选区域的所述多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重；
根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
较佳地，所述对获取的候选区域进行特征回归得到终选区域，还包括：
对获取的候选区域进行特征回归和特征评价得到终选区域。
较佳地，所述对获取的候选区域进行特征回归和特征评价得到终选区域，包括：
根据特征回归矩阵，对获取的各候选区域的信息进行回归；
根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；
根据所述评价得到的最大评价值的候选区域的信息、和所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
较佳地，所述根据所述评价得到的最大评价值的候选区域的信息、和所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域，包括：
根据所述最大评价值，确定出所述最大评价值的候选区域的信息的权重、以及所述候选区域的综合回归后的信息的权重；
根据所述最大评价值的候选区域的信息及其权重、和所述候选区域的综合回归后的信息及其权重，确定出所述目标的终选区域的信息。
较佳地，所述特征回归矩阵是通过下述方法训练得到的：
对于每个样本帧，获取该样本帧的基图像周围的第二设定数目个候选区域；
确定出该样本帧中每个候选区域与所述基图像所在区域之间的位置偏移量；进而确定出该样本帧的位置偏移量矩阵；
根据该样本帧中每个候选区域中的图像特征、所述位置偏移量矩阵、和所述基图像的特征，确定出该样本帧对应的回归矩阵并保存。
较佳地，所述稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；
根据所述正样本矩阵和基于最小二乘回归的稀疏子空间聚类LSR模型，确定出最优的产生式系数矩阵；
根据最优的产生式系数矩阵，确定出混合系数矩阵；
对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型，以及
所述混合稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；
根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；
对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；
对混合系数矩阵进行迭代；其中一次迭代包括：
当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；
根据所述判别性系数矩阵更新所述混合系数矩阵；
对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
较佳地，本发明第一个方面的目标跟踪方法，还包括：
当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；
从该正样本组之外的其它正样本中，确定出数目与所述缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，本发明第一个方面的目标跟踪方法，还包括：
对最后一次迭代得到的各正样本组进行主成分分析，得到各正样本组的子空间。
较佳地，本发明第一个方面的目标跟踪方法，还包括：
当所述当前帧中的候选区域的信息的最高评价值，大于所述各预存帧中所述目标的终选区域的信息的平均评价值时，保存所述当前帧。
较佳地，所述稀疏子空间聚类模型通过下述方法进行更新：
当新保存的帧的数目达到预设的模型更新阈值时，将所述新保存的帧都作为新的样本帧；
根据所述新的样本帧、或者所述新的样本帧和原样本帧，重新训练得到稀疏子空间聚类模型。
较佳地，本发明第一个方面的目标跟踪方法，还包括：
当所述当前帧被保存后，对所述特征回归矩阵进行更新：
获取所述当前帧中最大评价值的候选区域周围的第二设定数目个候选区域；
确定出所述当前帧中第二设定数目个候选区域与所述最大评价值的候选区域之间的位置偏移量；进而确定出所述当前帧的位置偏移量矩阵；
根据所述当前帧的第二设定数目个候选区域中的图像特征、所述位置偏移量矩阵、和所述最大评价值的候选区域中的图像特征，确定出所述当前帧的特征回归矩阵并保存。
较佳地，所述确定出所述当前帧的特征回归矩阵后，还包括：
根据所述当前帧的特征回归矩阵、和上一帧的特征回归矩阵，确定出新的特征回归矩阵及其时间戳；
将由时间戳表明保存得最久的特征回归矩阵，替换为所述新的特征回归矩阵。
较佳地，所述根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息，包括：
根据预先选定的预存帧中目标的基图像中的多个模型角点，确定出所述多个模型角点在当前帧中的多个匹配点；
根据所述多个模型角点与多个匹配点之间的位置偏移量、以及所述多个模型角点的权重，确定出所述基图像在当前帧中的整体位置偏移量；
根据所述基图像所在区域的信息、以及所述整体位置偏移量，确定出当前帧中目标的初选区域的信息。
较佳地，所述确定出所述多个模型角点在当前帧中的多个匹配点，包括：
确定出所述多个模型角点在当前帧中的多个投影点；
对于每个模型角点的投影点，在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在当前帧中的匹配点。
较佳地，所述在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在当前帧中的匹配点，还包括：
对于每个模型角点的投影点，针对该投影点的邻域中的每个像素点，确定出该像素点与其相邻像素点之间的纹理梯度值；
确定出纹理梯度值超过预设的纹理梯度阈值的像素点，作为候选点；
确定出纹理值与该投影点的纹理值相似度最高的候选点，作为该模型角点在当前帧中的匹配点。
较佳地，本发明第一个方面的目标跟踪方法，还包括：当新保存的帧的数目达到预设的基图像更新阈值时，根据所述新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
较佳地，本发明第一个方面的目标跟踪方法，还包括：
确定出所述最大评价值的候选区域中的图像特征与所述各预存帧中目标的基图像之间的相似度值；
确定出所述相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
本发明根据第二个方面，还提供了一种目标跟踪装置，包括：
候选区域获取模块，用于获取当前帧中目标的候选区域；
终选区域确定模块，用于对获取的候选区域进行特征回归得到终选区域。
较佳地，所述候选区域获取模块具体用于根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述终选区域确定模块具体用于根据特征回归矩阵，对获取的各候选区域的信息进行回归；根据所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
较佳地，所述终选区域确定模块具体用于对于所述当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量；根据该候选区域的多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重；根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
较佳地，所述终选区域确定模块还用于对获取的候选区域进行特征回归和特征评价得到终选区域。
较佳地，所述终选区域确定模块具体用于根据特征回归矩阵，对获取的各候选区域的信息进行回归；根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；根据所述评价得到的最大评价值的候选区域的信息、和所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
较佳地，所述终选区域确定模块具体用于根据所述最大评价值，确定出所述最大评价值的候选区域的信息的权重、以及所述候选区域的综合回归后的信息的权重；根据所述最大评价值的候选区域的信息及其权重、和所述候选区域的综合回归后的信息及其权重，确定出所述目标的终选区域的信息。
较佳地，本发明第二方面的目标跟踪装置，还包括：
特征回归矩阵训练模块，用于通过下述方法训练得到特征回归矩阵：对于每个样本帧，获取该样本帧的基图像周围的第二设定数目个候选区域；确定出该样本帧中每个候选区域与基图像所在区域之间的位置偏移量；进而确定出该样本帧的位置偏移量矩阵；根据该样本帧中每个候选区域中的图像特征、位置偏移量矩阵、和所述基图像的特征，确定出该样本帧对应的特征回归矩阵并保存。
较佳地，本发明第二方面的目标跟踪装置，还包括：
模型训练模块，用于将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；根据所述正样本矩阵和基于最小二乘回归的稀疏子空间聚类LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出混合系数矩阵；对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，所述模型训练模块还用于当所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型时，通过下述方法训练得到所述混合稀疏子空间聚类模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；对混合系数矩阵进行迭代；其中一次迭代包括：当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；根据所述判别性系数矩阵更新所述混合系数矩阵；对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
较佳地，所述模型训练模块还用于当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；从该正样本组之外的其它正样本中，确定出数目与所述缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，所述模型训练模块还用于当所述当前帧中的候选区域的信息的最高评价值，大于所述各预存帧中所述目标的终选区域的信息的平均评价值时，保存所述当前帧。
较佳地，所述模型训练模块还用于通过下述方法对所述稀疏子空间聚类模型进行更新：当新保存的帧的数目达到预设的模型更新阈值时，将所述新保存的帧都作为新的样本帧；根据所述新的样本帧、或者所述新的样本帧和原样本帧，重新训练得到稀疏子空间聚类模型。
较佳地，所述特征回归矩阵训练模块还用于当所述当前帧被保存后，对所述特征回归矩阵进行更新：获取所述当前帧中最大评价值的候选区域周围的第二设定数目个候选区域；确定出所述当前帧中第二设定数目个候选区域与所述最大评价值的候选区域之间的位置偏移量；进而确定出所述当前帧的位置偏移量矩阵；根据所述当前帧的第二设定数目个候选区域中的图像特征、所述位置偏移量矩阵、和所述最大评价值的候选区域中的图像特征，确定出所述当前帧的特征回归矩阵并保存。
较佳地，所述特征回归矩阵训练模块还用于所述确定出所述当前帧的特征回归矩阵后，根据所述当前帧的特征回归矩阵、和上一帧的特征回归矩阵，确定出新的特征回归矩阵及其时间戳；将由时间戳表明保存得最久的特征回归矩阵，替换为所述新的特征回归矩阵。
较佳地，所述候选区域获取模块具体用于根据预先选定的预存帧中目标的基图像中的多个模型角点，确定出多个模型角点在当前帧中的多个匹配点；根据所述多个模型角点与多个匹配点之间的位置偏移量、以及所述多个模型角点的权重，确定出所述基图像在当前帧中的整体位置偏移量；根据所述基图像所在区域的信息、以及所述整体位置偏移量，确定出当前帧中目标的初选区域的信息。
较佳地，所述候选区域获取模块具体用于确定出所述多个模型角点在当前帧中的多个投影点；对于每个模型角点的投影点，在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在当前帧中的匹配点。
较佳地，所述候选区域获取模块具体用于对于每个模型角点的投影点，针对该投影点的邻域中的每个像素点，确定出该像素点与其相邻像素点之间的纹理梯度值；确定出纹理梯度值超过预设的纹理梯度阈值的像素点，作为候选点；确定出纹理值与该投影点的纹理值相似度最高的候选点，作为该模型角点在当前帧中的匹配点。
较佳地，所述终选区域确定模块还用于当新保存的帧的数目达到预设的基图像更新阈值时，根据所述新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
较佳地，所述终选区域确定模块还用于确定出所述最大评价值的候选区域中的图像特征与所述各预存帧中目标的基图像之间的相似度值；确定出所述相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
上述第一、二个方面对应的本发明实施例中，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的多个候选区域的信息进行特征回归，根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行回归，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
本发明根据第三个方面，提供了一种目标跟踪方法，包括：
获取当前帧中目标的候选区域；
对获取的候选区域进行特征评价得到终选区域；其中所述特征评价根据稀疏子空间聚类模型进行。
较佳地，所述获取当前帧中目标的候选区域，包括：
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；
获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述对获取的候选区域进行特征评价得到终选区域，包括：
根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；
根据所述评价得到的最大评价值的候选区域的信息，确定出所述目标的终选区域。
较佳地，所述根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价，包括：
根据所述稀疏子空间聚类模型，对获取的每个候选区域的各子候选区域的图像特征进行评价；
根据每个候选区域的各子候选区域的图像特征的评价值，确定出该候选区域的图像特征的评价值；
从各候选区域的图像特征的评价值中确定出最大评价值。
较佳地，本发明第三方面的目标跟踪方法，所述稀疏子空间聚类模型是通过下述方法训练得到的：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出混合系数矩阵；对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型，以及
所述混合稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；
根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；
对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；
对混合系数矩阵进行迭代；其中一次迭代包括：
当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；
根据所述判别性系数矩阵更新所述混合系数矩阵；
对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
较佳地，本发明第三个方面的目标跟踪方法，还包括：
当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；
从该正样本组之外的其它正样本中，确定出数目与所述缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，本发明第三个方面的目标跟踪方法，还包括：
当所述当前帧中的候选区域的信息的最高评价值，大于所述各预存帧中所述目标的终选区域的信息的平均评价值时，保存所述当前帧。
较佳地，所述混合稀疏子空间聚类模型通过下述方法进行更新：
当新保存的帧的数目达到预设的模型更新阈值时，将所述新保存的帧都作为新的样本帧；
根据所述新的样本帧、或者所述新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类模型。
本发明根据第四个方面，还提供了一种目标跟踪装置，包括：
候选区域获取模块，用于获取当前帧中目标的候选区域；
终选区域确定模块，用于对获取的候选区域进行特征评价得到终选区域；其中所述特征评价根据稀疏子空间聚类模型进行。
较佳地，所述候选区域获取模块具体用于根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述终选区域确定模块具体用于根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；根据所述评价得到的最大评价值的候选区域的信息，确定出所述目标的终选区域。
较佳地，所述终选区域确定模块具体用于根据所述稀疏子空间聚类模型，对获取的每个候选区域的各子候选区域的图像特征进行评价；根据每个候选区域的各子候选区域的图像特征的评价值，确定出该候选区域的图像特征的评价值；从各候选区域的图像特征的评价值中确定出最大评价值。
较佳地，本发明第四方面的目标跟踪装置，还包括：
模型训练模块，用于通过下述方法训练得到稀疏子空间聚类模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出混合系数矩阵；对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，所述模型训练模块还用于当所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型时，通过下述方法训练得到所述混合稀疏子空间聚类模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；对混合系数矩阵进行迭代；其中一次迭代包括：当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；根据所述判别性系数矩阵更新所述混合系数矩阵；对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
较佳地，所述模型训练模块还用于当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；从该正样本组之外的其它正样本中，确定出数目与所述缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，所述终选区域确定模块还用于当所述当前帧中的候选区域的信息的最高评价值，大于所述各预存帧中所述目标的终选区域的信息的平均评价值时，保存所述当前帧。
较佳地，所述模型训练模块还用于通过下述方法更新所述混合稀疏子空间聚类模型：当新保存的帧的数目达到预设的模型更新阈值时，将所述新保存的帧都作为新的样本帧；根据所述新的样本帧、或者所述新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类模型。
上述第三、四个方面对应的本发明实施例中，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的多个候选区域的信息进行特征评价，根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行特征评价，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
本发明根据第五个方面，还提供了一种目标跟踪设备，包括：
图像采集装置，用于采集图像帧；
如本发明第二方面或第四方面的目标跟踪装置；以及
存储装置，用于保存所述图像采集装置、以及本发明第二方面或第四方面的目标跟踪装置需要保存的信息。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1和图2分别为本发明的两种目标跟踪方法的流程示意图；
图3为本发明实施例一的特征回归矩阵的训练方法的流程示意图；
图4为本发明实施例一的基于特征回归矩阵的目标跟踪方法的流程示意图；
图5为本发明实施例一和三的目标跟踪装置的内部结构的框架示意图；
图6为本发明实施例二的SSC模型的训练方法的流程示意图；
图7为本发明实施例二的基于SSC模型的目标跟踪方法的流程示意图；
图8a为本发明实施例二的HSSC模型的训练方法的流程示意图；
图8b为本发明实施例二的对混合系数矩阵进行一次迭代的方法的流程示意图；
图9为本发明实施例二的基于HSSC模型的目标跟踪方法的流程示意图；
图10为本发明实施例二的目标跟踪装置的内部结构的框架示意图
图11为本发明实施例三的基于SSC模型和特征回归矩阵的目标跟踪方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本发明中的目标跟踪设备包括：图像采集装置、目标跟踪装置和存储装置。
其中，图像采集装置的主要功能是采集图像或视频，视频中包括多个图像帧。
目标跟踪装置主要对采集的图像帧中的目标进行跟踪，具体功能将在后续详述，此处不再赘述。
存储装置主要功能是保存本发明的图像采集装置、以及目标跟踪装置需要保存的信息。例如多个图像帧、图像帧中包含目标的基图像、基图像的子基图像、基图像中的模型角点、训练或更新得到的混合稀疏子空间聚类模型、和训练或更新得到的特征回归矩阵等。存储装置的具体功能将在后续详述，此处不再赘述。
本发明提供了一种目标跟踪方法，该方法的流程示意图如图1所示，包括下述步骤S101-S102：
S101：获取当前帧中目标的候选区域。
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取目标的初选区域周围的第一设定数目个候选区域的信息。
S102：对获取的候选区域进行特征回归得到终选区域。
根据特征回归矩阵，对获取的各候选区域的信息进行回归；根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域。
可见，利用如图1所示的目标跟踪方法，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的多个候选区域的信息进行特征回归，根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行回归，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
本发明还提供了一种目标跟踪方法，该方法的流程示意图如图2所示，包括下述步骤S201-S202：
S201：获取当前帧中目标的候选区域。
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取目标的初选区域周围的第一设定数目个候选区域的信息。
S202：对获取的候选区域进行特征评价得到终选区域。
其中，特征评价根据稀疏子空间聚类模型进行。
具体地，根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域。
可见，利用如图2所示的目标跟踪方法，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的多个候选区域的信息进行特征评价，根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行特征评价，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
本发明的终端设备可以包括：智能手机、平板电脑、笔记本电脑、电子阅读器、智能摄像头和智能穿戴设备等设置有图像采集装置和存储装置的终端设备。
本发明的终端设备，通过其图像采集装置采集到视频或连续的图像帧后，可以将首先采集到的图像帧进行保存，作为预存帧。
可以理解，当用户利用终端设备拍摄目标时，通常对该用户期望拍摄的目标进行对准聚集后进行拍摄；因此首先采集并保存的若干帧中通常都包含了目标的图像。
从首先采集并保存的帧中提取出目标的图像，作为基图像。进一步，可以将基图像划分成两个以上子基图像。例如，将基图像划分成上、和下子基图像；或者，将基图像划分成左、和右子基图像；或者，将基图像划分成左上、左下、右上和右下子基图像等等。本领域技术人员可以根据实验数据、历史数据、经验数目和/或实际情况从基图像划分出合适的子基图像。
较佳地，本发明中，对于首先采集并保存的多个图像帧，可以采用角点跟踪的方法跟踪帧中目标。
具体地，确定出首帧中目标所在区域，将该区域中的图像作为首帧的基图像；确定出首帧中目标的基图像中目标的图像特征，例如目标的面部轮廓特征；从目标的图像特征中确定出目标的面部外轮廓上的特征点、和/或面部器官的特征点，例如眼角点、嘴角点和太阳穴处的点，作为目标的模型角点。
确定出首帧中目标的多个模型角点在第二帧中的多个匹配点。确定出多个模型角点在第二帧中的多个投影点；对于每个模型角点的投影点，在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在第二帧中的匹配点。
根据多个模型角点与多个匹配点之间的位置偏移量、以及多个模型角点的权重，确定出基图像在第二帧中的整体位置偏移量。
根据首帧中基图像所在区域的信息、以及整体位置偏移量，确定出第二帧中目标所在区域的信息。具体地，根据首帧中基图像所在区域的尺寸和位置、以及整体位置偏移量，确定出第二帧中目标所在区域的尺寸和位置；从确定出的第二帧中目标所在区域中获取第二帧中目标的基图像，作为第二帧的目标跟踪结果。
同理，可以对首先采集的多个帧中除首帧和第二帧之外的其他帧的目标进行跟踪。
下面基于上述预先保存的多个帧，具体介绍本发明的几个实施例。
实施例一
基于上述预先保存的多个帧，本发明实施例一提供了一种特征回归矩阵的训练方法，该方法的流程示意如图3所示，包括下述步骤S301-S303：
S301：对于每个样本帧，获取该样本帧的基图像周围的第二设定数目个候选区域。
本发明实施例中，特征回归矩阵用于描述目标的基图像所在区域周围的候选区域与此候选区域到目标的基图像所在区域的位置偏移量之间的关系。根据特征回归矩阵，给定一个目标的基图像所在区域周围的候选区域的尺寸和位置，可以推断出最优的回归后的候选区域的位置。
例如，通过特征回归计算候选区域的x，y坐标。因此，此处特征回归矩阵H由关于x和y的两个回归向量h0和h1构成，即H＝[h0,h1]。在当前目标的基图像所在区域周围采样N1个候选区域的位置，此采样过程可以使采样得到的候选区域的位置服从均匀分布或者其它分布。
较佳地，各候选区域的尺寸可以归一化到固定尺寸，此时各候选区域的位置偏移量也需要进行相应的缩放。其中，本领域技术人员可以根据实验数据、历史数据、经验数据和/或实际情况确定该固定尺寸；例如固定尺寸可以设定为32╳32像素块的尺寸。
进一步，归一化后的候选区域的固定尺寸可以与目标的基图像所在区域的尺寸相同。
S302：确定出每个样本帧中每个候选区域与基图像所在区域之间的位置偏移量；进而确定出该样本帧的位置偏移量矩阵。
较佳地，将样本帧中各候选区域的位置与目标的基图像所在区域的x,y坐标偏移量(即横、纵坐标偏移量)分别记为和
进而确定出该样本帧的位置偏移量矩阵C。具体地，定义 得到C＝[C1,C2]。
S303：根据样本帧中每个候选区域中的图像特征、位置偏移量矩阵、和基图像的特征，确定出该样本帧对应的特征回归矩阵并保存。
较佳地，样本帧中第i个候选区域的位置对应的该候选区域中的图像特征为qi，相对于坐标x与y的回归向量分别为h0和h1，γ为一常数，根据逻辑回归构建下述目标函数f(H)：
那么样本帧的特征回归矩阵H可通过最小化上述目标函数f(H)得到，即
H＝(XXT+γI)-1XC...............................(2)
上述公式(2)中X表示候选区域的信息中的候选区域的位置；I表示单位矩阵，该单位矩阵中对角线上的元素都为1，除对角线之外的其余位置的元素都为0。
确定出样本帧的特征回归矩阵后，进行保存。
较佳地，为了增强特征回归的鲁棒性，训练并保存M个特征回归矩阵，即Hj,j＝1,...,M；其中，每个样本帧对应一个特征回归矩阵，M为不小于2的正整数。同时采用多个特征回归矩阵，可以有效去除outlier(离群值或异常值)，进一步降低跟踪时偏离目标的几率，提升目标跟踪的精度。
本发明实施例一提供了一种基于特征回归矩阵的目标跟踪方法，该目标跟踪方法适用于除了上述预先采集和保存帧之外的任一帧中的目标跟踪。为了便于理解，下面以当前帧为例，介绍该目标跟踪方法，该方法的流程示意图如图4所示，包括下述步骤S401-S405：
S401：根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息。
根据预先选定的预存帧中目标的基图像中的多个模型角点，确定出多个模型角点在当前帧中的多个匹配点。
较佳地，确定出选定的预存帧中目标所在区域，将该区域中的图像作为选定的预存帧的基图像；确定出选定的预存帧中目标的基图像中目标的图像特征，例如目标的面部轮廓特征；从目标的图像特征中确定出目标的面部外轮廓上的特征点、和/或面部器官的特征点，例如眼角点、嘴角点和太阳穴处的点，作为目标的模型角点。进一步，可以对基图像检测Harris(哈里斯)角点作为模型角点。
较佳地，确定出多个模型角点在当前帧中的多个投影点；对于每个模型角点的投影点，在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在当前帧中的匹配点。领域为包含对应投影点的像素点阵，例如以投影点为中心的3╳3像素点阵。本领域技术人员可以根据实验数据、经验数据、历史数据和/或实际情况，预先确定领域的大小范围和形状等信息。
进一步，对于每个模型角点的投影点，针对该投影点的邻域中的每个像素点，确定出该像素点与其相邻像素点之间的纹理梯度值；确定出纹理梯度值超过预设的纹理梯度阈值的像素点，作为候选点；确定出纹理值与该投影点的纹理值相似度最高的候选点，作为该模型角点在当前帧中的匹配点。可以理解，从像素点中筛选出候选点，可以提升确定匹配点的效率，从而提升确定出目标的初选区域的效率，整体上提升目标跟踪的效率。
根据多个模型角点与多个匹配点之间的位置偏移量、以及多个模型角点的权重，确定出基图像在当前帧中的整体位置偏移量。具体地，确定出模型角点在当前帧中的匹配点及其附近像素点的纹理值的相似性，作为该模型角点的权重。将各模型角点的位置偏移量按照各自的权重进行加权平均，得到总的角点的位置偏移量。将总的角点的位置偏移量，作为基图像所在区域，在当前帧中的整体位置偏移量。
其中，基图像所在区域的范围内包含目标的基图像。区域的形状可以包括下述一项：多边形、椭圆形、不规则形。多边形中可以包括下述一项：三角形、矩形、五边形、五角星形、六边形、六芒星形。椭圆形可以包括下述一项：圆形、枕形、体育场形。
根据基图像所在区域的信息、以及整体位置偏移量，确定出当前帧中目标的初选区域的信息。
具体地，区域的信息包括下述至少一项：区域的尺寸、区域的位置、区域中的图像、区域中的图像特征。
根据基图像所在区域的位置、以及该基图像所在区域在当前帧中的整体位置偏移量，确定出该基图像所在区域在当前帧中的位置，作为当前帧中目标的初选区域的位置。由于基图像所在区域的尺寸未发生变化，因此当前帧中目标的初选区域的尺寸与基图像所在区域的尺寸是一致的。
S402：获取目标的初选区域周围的第一设定数目个候选区域的信息。
较佳地，在目标的初选区域周围采样若干个候选区域Xi,i＝1,...,N2，N2为正整数，获取各候选区域的信息，包括候选区域的尺寸、位置和候选区域中的图像特征。此采样的候选区域的信息可以服从均匀分布，或者高斯分布，或者其它分布。
较佳地，根据从基图像中划分出的两个以上基子图像，对于目标的初选区域周围的每个候选区域，获取该个候选区域中与各基子图像分别对应的各子候选区域的信息。
例如，根据从基图像中划分出的四个基子图像，对于目标的初选区域周围的每个候选区域，将该候选区域划分成与四个基子图像对应的四个子候选区域，获取该候选区域的四个子候选区域的信息。
S403：根据特征回归矩阵，对获取的各候选区域的信息进行回归。
根据当前的特征回归矩阵，对各候选区域的信息进行回归，确定出候选区域的综合回归后的信息。
较佳地，当在本步骤之前特征回归矩阵未经过更新时，根据预先训练的特征回归矩阵，对各候选区域的信息进行回归，确定出候选区域的综合回归后的信息。
当在本步骤之前特征回归矩阵经过更新时，根据预先更新的特征回归矩阵，对各候选区域的信息进行回归，确定出候选区域的综合回归后的信息。其中，更新特征回归矩阵的方法将在后续详述，此处不再赘述。
较佳地，对于当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量。
例如，对当前帧中目标的初选区域周围的各个候选区域的信息，通过特征回归计算其各自的位置偏移量。对一个候选区域的信息Xi,i＝1,...,N2，该候选区域中的图像特征为qi，根据下述公式(3)确定出该候选区域的信息的位置偏移量
上述公式(3)中，Hj表示第j个特征回归矩阵，j＝1,...,M，M为正整数；表示第i个候选区域的位置基于第j个特征回归矩阵的位置偏移量。
同理，可以确定出第i个候选区域的位置分别基于其它特征回归矩阵的位置偏移量，从而得到第i个候选区域的位置分别基于各特征回归矩阵的位置偏移量。
同理，可以确定出其它候选区域的位置分别基于各特征回归矩阵的位置偏移量。
根据该候选区域的多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重。
例如，第i个候选区域的信息Xi总的(即回归后的)位置偏移量定义为Ti，可以根据下述公式(4)计算得到：
上述公式(4)中，对第i个候选区域的位置分别基于各特征回归矩阵的位置偏移量进行求和平均，得到该候选区域的位置回归后的位置偏移量。
本发明的发明人考虑到，不同的候选区域的信息(位置)所回归得到的位置偏移量具有不同的鲁棒性。因此，需要对各候选区域回归后的位置偏移量的可靠性进行评价，以确定出最为可靠的位置偏移量及其所属候选区域的信息。
例如，对一个候选区域的位置，根据该候选区域的位置的M个位置偏移量的方差来描述此候选区域的位置的可靠程度，也可以采用其它的反映这M个位置偏移量的差异程度的值来描述此候选区域的位置的可靠程度。
令Vi表示的方差，j＝1,...,M；那么定义此外，一般位置相近的候选区域具有相似的权重。令mij表示候选区域Xi与候选区域Xj的重叠率，是一个N2×N2矩阵，di＝∑jmij， 那么可构建拉普拉斯矩阵L＝D-Q。令表示各候选区域的位置的权重构成的权重矩阵，根据下述公式(5)构建目标函数：
上述公式(5)中，候选区域的位置的权重矩阵g中的每个元素都必须不小于0，即每个候选区域的位置的权重都不小于0。
通过最小化上述公式(5)中的f(g)，可以得到最优的候选区域的位置的权重矩阵g.此权重矩阵g可通过基于梯度下降的方法求得，基于梯度下降的方法为本领域技术人员所熟知，此处不再赘述。在优化此目标函数f(g)的迭代过程中，对每一次迭代，如果出现g的某分量出现负数，则将其置0。
根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
例如，令表示第i个候选区域的位置Xi的x，y坐标组成的向量，那么第i个候选区域的位置Xi偏移Ti后，得到的第i个候选区域回归后的位置是将各候选区域回归后的位置、及其各自的权重，代入下述公式(6)，计算得到候选区域的综合回归后的位置T：
S404：根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域。
根据回归得到的候选区域的综合回归后的信息，确定出候选区域的综合回归后的位置；将该候选区域，作为当前帧的目标跟踪结果。
较佳地，根据确定出的当前帧中目标的终选区域的信息，例如终选区域的尺寸和位置，确定出当前帧中目标的终选区域，作为当前帧的目标跟踪结果。
其中，区域的信息可以包括：区域的尺寸、区域的位置、区域中的图像及图像特征。
本发明的发明人经过研究发现，本发明实施例中通过回归方式得到的候选区域的位置，与实际目标所在区域的位置较为接近。即使存在目标发生形变、旋转、被遮挡或周围附近的背景噪声较大等干扰，可以根据各特征回归矩阵确定出的各候选区域归回后的位置，估算出一个候选区域的综合回归后的位置，该综合回归后的位置通常不属于任一个候选区域的位置，具有很大的几率覆盖目标；从而大大提升了跟踪过程中识别目标的抗干扰性能，提升了跟踪目标的精度。
较佳地，确定出当前帧目标的终选区域后，可以进行多种后续操作以满足多种应用需求。
例如，在视频编辑的场合，确定出当前帧目标的终选区域后，可以直接在终选区域中提取目标的图像，与在整个帧图像中提取目标图像相比，效率得到提升。
再如，在安全监控的场合，确定出当前帧目标的终选区域后，可以对终选区域中的目标图像进行精细对焦和提取，以确定出更为清晰的目标图像。
事实上，本发明实施例一所跟踪的目标具有通用性，不限定于特定的目标，因此本发明实施例一适用于各种基于目标跟踪的视频编辑、以及其它计算机视觉领域，适用范围广泛。
S405：保存当前帧，更新预存帧和/或基图像。
保存当前帧，当新保存的帧的数目达到预设的基图像更新阈值时，根据新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
基于上述目标跟踪方法，本发明实施例一提供的一种目标跟踪装置的内部结构的框架示意图如图5所示，包括：候选区域获取模块501和终选区域确定模块502。
其中，候选区域获取模块501用于获取当前帧中目标的候选区域。
终选区域确定模块502用于对获取的候选区域进行特征回归得到终选区域。
更优的，如图5所示，本发明实施例一的目标跟踪装置，还包括：特征回归矩阵训练模块503。
特征回归矩阵训练模块503用于通过下述方法训练得到特征回归矩阵：对于每个样本帧，获取该样本帧的基图像周围的第二设定数目个候选区域；确定出该样本帧中每个候选区域与基图像所在区域之间的位置偏移量；进而确定出该样本帧的位置偏移量矩阵；根据该样本帧中每个候选区域中的图像特征、位置偏移量矩阵、和基图像的特征，确定出该样本帧对应的特征回归矩阵并保存。
较佳地，候选区域获取模块501具体用于根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取目标的初选区域周围的第一设定数目个候选区域的信息。
以及，终选区域确定模块502具体用于根据特征回归矩阵，对获取的各候选区域的信息进行回归；根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域。
进一步，终选区域确定模块502具体用于对于当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量；根据该候选区域的多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重；根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
较佳地，候选区域获取模块501具体用于根据预先选定的预存帧中目标的基图像中的多个模型角点，确定出多个模型角点在当前帧中的多个匹配点；根据多个模型角点与多个匹配点之间的位置偏移量、以及多个模型角点的权重，确定出基图像在当前帧中的整体位置偏移量；根据基图像所在区域的信息、以及整体位置偏移量，确定出当前帧中目标的初选区域的信息。
较佳地，候选区域获取模块501具体用于确定出多个模型角点在当前帧中的多个投影点；对于每个模型角点的投影点，在该投影点的预设的邻域中，确定出纹理值与该投影点的纹理值相似度最高的像素点，作为该模型角点在当前帧中的匹配点。
较佳地，候选区域获取模块501具体用于对于每个模型角点的投影点，针对该投影点的邻域中的每个像素点，确定出该像素点与其相邻像素点之间的纹理梯度值；确定出纹理梯度值超过预设的纹理梯度阈值的像素点，作为候选点；确定出纹理值与该投影点的纹理值相似度最高的候选点，作为该模型角点在当前帧中的匹配点。
对于本发明实施例一的技术方案的进一步改进可以参考下述实施例三。
本发明实施例一中，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的初选区域周围的多个候选区域的信息进行回归，根据回归得到的候选区域的综合回归后的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行评价或回归，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
而且，本发明实施例一中，即使对初选区域周围图像进行采样得到的候选区域的数目较少，也可以通过根据特征回归矩阵对候选区域的位置进行回归的方式，提升位置回归后的候选区域覆盖目标的几率，降低跟踪时偏离目标所在区域的几率，提升跟踪目标所在区域的精度。
实施例二
本发明实施例提供了一种稀疏子空间聚类模型的训练方法，该方法的流程示意如图6所示，包括下述步骤S601-S605：
S601：根据预存的至少一帧，确定出正样本矩阵。
较佳地，将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵。其中，图像特征可以包括下述至少一项：灰度子图像、方向梯度直方图。
较佳地，在构建SSC(Sparse Subspace Clustering，稀疏子空间聚类)模型时，将预存帧的基子图像的图像特征当作正样本。
假定正样本个数为N。正样本为i＝1,...,N。可以构建出正样本矩阵
S602：根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵。
较佳地，利用LSR(Least Squares Regression based Sparse SubspaceClustering，基于最小二乘回归的稀疏子空间聚类)模型，对下述公式(7)的目标函数f(W)进行最小化，以得到最优的产生式系数矩阵：
上述公式(7)中，W为产生式系数矩阵，λ为常数。当f(W)达到最小时，LSR有闭解，即
W*＝[ATA+λI]-1ATA....................................(8)
上述公式(8)中，W*表示最优的产生式系数矩阵；AT表示矩阵A的转置矩阵；[ATA+λI]-1表示[ATA+λI]的逆矩阵。
S603：根据最优的产生式系数矩阵，确定出混合系数矩阵。
较佳地，将上述最优的产生式系数矩阵代入下述公式(9)中，确定出混合系数矩阵：
B＝(|W*|+(W*)T|).................................(9)
上述公式(9)中，B表示混合系数矩阵。
S604：对混合系数矩阵进行谱聚类，得到多个正样本组。
对上述的混合系数矩阵进行谱聚类，得到多个正样本组。
谱聚类的具体方法为本领域技术人员所熟知，此处不再赘述。
S605：对得到的各正样本组进行主成分分析，得到各正样本组的子空间。
对上述得到的每个正样本组，在本步骤中，进行PCA(Principal ComponentAnalysis，主成分分析)，得到该正样本组的子空间。
一个正样本组的子空间中包括：该正样本组中所有的正样本、以及该正样本组中各正样本的平均值(简称为正样本均值)。
经过主成分分析，得到各正样本组的子空间可以记为Uk,k＝1,...,K。K为正整数。
本发明实施例二提供了一种基于上述稀疏子空间聚类模型的目标跟踪方法，该目标跟踪方法适用于除了上述预先采集和保存帧之外的任一帧中的目标跟踪。为了便于理解，下面以当前帧为例，介绍该目标跟踪方法，该方法的流程示意图如图7所示，包括下述步骤S701-S708：
S701：根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息。
本步骤中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息的方法，与上述步骤S401中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息的具体方法相一致，此处不再赘述。
S702：获取目标的初选区域周围的第一设定数目个候选区域的信息。
本步骤中获取目标的初选区域周围的第一设定数目个候选区域的信息的方法，与上述步骤402中获取目标的初选区域周围的第一设定数目个候选区域的信息的具体方法相一致，此处不再赘述。
S703：根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价。
较佳地，根据稀疏子空间聚类模型，对每个候选区域的各子候选区域的信息进行评价。
进一步，根据当前的稀疏子空间聚类SSC模型，对每个候选区域的各子候选区域的信息进行评价。较佳地，当在本步骤之前SSC模型未经过更新时，根据预先训练的SSC模型，对每个候选区域的各子候选区域的信息进行评价。当在本步骤之前SSC模型经过更新时，根据预先更新的SSC模型，对每个候选区域的各子候选区域的信息进行评价。
具体地，根据稀疏子空间聚类模型中的每个正样本组及其正样本均值，对每个子候选区域中的图像特征进行评价。
根据每个候选区域的各子候选区域的信息的评价值，确定出该候选区域的信息的评价值。较佳地，对每个候选区域的各子候选区域的信息的评价值进行求和，得到该候选区域的信息的评价值。
从各候选区域的信息的评价值中确定出最大评价值。评价值最大的候选区域被选作最优的评价后的候选区域。
S704：根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域。
将最大评价值的候选区域的信息，确定为目标的终选区域的信息；将具有最大评价值的候选区域，作为当前帧的目标跟踪结果。其中，区域的信息可以包括：区域的尺寸、区域的位置、区域中的图像及图像特征。
较佳地，本发明的发明人进过研究和实验发现，本发明实施例二中通过根据SSC模型评价的方式得到的候选区域的尺寸，与实际目标所在区域的尺寸较为接近。目标的终选区域的信息包含了根据SSC模型评价出的候选区域的信息；而SSC模型在训练和更新过程中，既使用了目标所在区域的图像特征(正样本)，即使存在目标发生形变、旋转、被遮挡或周围附近的背景噪声较大等干扰，可以根据SSC模型识别出目标区域的尺寸和图像特征，使得最高评价值的候选区域具有很大几率覆盖目标(尤其是运动中的目标)；从而大大提升了跟踪过程中识别目标的抗干扰性能，提升了跟踪目标的精度。
较佳地，确定出当前帧目标的终选区域后，可以进行多种后续操作以满足多种应用需求。
例如，在视频编辑的场合，确定出当前帧目标的终选区域后，可以直接在终选区域中提取目标的图像，与在整个帧图像中提取目标图像相比，效率得到提升。
再如，在安全监控的场合，确定出当前帧目标的终选区域后，可以对终选区域中的目标图像进行精细对焦和提取，以确定出更为清晰的目标图像。
事实上，本发明实施例二所跟踪的目标具有通用性，不限定于特定的目标，因此本发明实施例二适用于各种基于目标跟踪的视频编辑、以及其它计算机视觉领域，适用范围广泛。
S705：判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S706；否则，执行步骤S708。
本步骤中，对于上述SSC模型训练阶段使用的预存帧，将这些预存帧中目标的基图像所在区域，作为预存帧中目标的终选区域。
采用与上述根据SSC模型确定出候选区域的信息的评价值相同的方法，根据SSC模型，确定出预存帧中目标的终选区域的信息的评价值。
对于SSC模型训练阶段之后、跟踪当前帧的目标阶段之前保存的在前帧，将这些在前帧也作为预存帧。这些在前帧也是经过如上述步骤S701-S704所示流程对在前帧进行过目标跟踪；获取这些在前帧在各自的目标跟踪过程中确定出的评价值。
进而根据各预存帧中目标的终选区域的信息的评价值、和各在前帧中目标的终选区域的信息的评价值，确定出平均评价值，作为本步骤中各预存帧中目标的终选区域的信息的平均评价值。
将当前帧中的候选区域的信息的最高评价值与各预存帧中目标的终选区域的信息的平均评价值相比较，判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S706；否则，执行步骤S708。
S706：更新稀疏子空间聚类模型。
当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到稀疏子空间聚类模型。
S707：更新预存帧和/或基图像。
当新保存的帧的数目达到预设的基图像更新阈值时，根据新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
S708：确定出供下一帧目标跟踪过程中使用的被选定的预存帧及其基图像。
确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧，作为供下一帧目标跟踪过程中使用的预存帧。
确定出相似度值最大的预存帧中目标的基图像，作为供下一帧目标跟踪过程中使用的预存帧中目标的基图像。
较佳地，确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
事实上，上述步骤S706和S707是两个相互独立的步骤。这两个步骤可以同时执行，也可以先后执行，互不影响。
更优的，本发明实施例二中的稀疏子空间聚类模型具体可以是混合稀疏子空间聚类模型。本发明实施例提供了一种混合稀疏子空间聚类模型的训练方法，该方法的流程示意如图8a所示，包括下述步骤S801-S806：
S801：根据预存的至少一帧，确定出正样本矩阵和负样本。
较佳地，将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵。提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本。其中，图像特征可以包括下述至少一项：灰度子图像、方向梯度直方图。
较佳地，在构建HSSC(Hybrid Sparse Subspace Clustering，混合稀疏子空间聚类)模型时，将预存帧的基子图像的图像特征当作正样本，在正样本周围采样第三设定数目个候选区域中的图像特征当作负样本。此负样本与正样本之间的距离在两个给定的阈值之间，使得负样本与正样本相分离，但又不是距离太远。此采样的负样本可以服从均匀分布或者其它分布。
假定正样本个数为N，负样本个数为N′。正样本为i＝1,...,N，负样本为j＝1,...,N′。可以构建出正样本矩阵
S802：根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵。
利用与上述步骤S602同样的方法，确定出最优的产生式系数矩阵W*。
S803：根据最优的产生式系数矩阵，确定出初始的混合系数矩阵。
根据最优的产生式系数矩阵，确定出初始的混合系数矩阵，与上述步骤S603中确定出混合系数矩阵的方法相一致。
较佳地，将上述最优的产生式系数矩阵代入上述公式(9)，确定出初始的混合系数矩阵B。
S804：对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组。
对上述的初始的混合系数矩阵进行谱聚类的具体方法为本领域技术人员所熟知，此处不再赘述。
S805：对混合系数矩阵进行迭代，直到达到预设的最大迭代次数，得到最后一次迭代的多个正样本组。
在预设的最大迭代次数范围内，对混合系数矩阵进行迭代，得到最后一次迭代的多个正样本组。较佳地，通过迭代，可以将N个正样本聚到K个正样本组里；K为不大于N的正整数。
对混合系数矩阵进行迭代的具体方法将在后续详述，此处不再赘述。
S806：对最后一次迭代得到的各正样本组进行主成分分析，得到各正样本组的子空间。
对最后一次迭代得到的每个正样本组，进行PCA(Principal ComponentAnalysis，主成分分析)，得到该正样本组的子空间。
一个正样本组的子空间中包括：该正样本组中所有的正样本、以及该正样本组中各正样本的平均值(简称为正样本均值)。
经过主成分分析，得到各正样本组的子空间可以记为Uk,k＝1,...,K。K为正整数。
上述步骤S805中对混合系数矩阵进行一次迭代的方法的流程示意图如图8b所示，包括下述步骤：
S8051：判断当前迭代次数是否达到预设的最大迭代次数，若否，执行步骤S8052；若是，则结束整个迭代流程。
本次迭代开始时，获取记录的当前迭代次数；将获取的当前迭代次数与预设的最大迭代次数进行比较；判断当前迭代次数是否达到预设的最大迭代次数，若否，执行步骤S8052；若是，则结束整个迭代流程。
S8052：根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵。
根据图嵌入模型、当前各正样本组和各负样本，确定出当前每个正样本组的判别方向。
较佳地，在将正样本聚类成多个正样本组之后，可以采用图嵌入模型来计算正、负样本的判别方向。对于第k组正样本，将此组正样本与所有负样本组成一个样本集合。对此样本集合运行图嵌入，得到第k组正样本对应的判别方向pk。具体地，根据样本之间的欧氏距离，确定出样本之间的权重。以第k组正样本为例，在运行图嵌入时，给定正样本以及负样本定义这两个样本之间的欧氏距离为dij，那么将这两个样本之间的权重定义为exp{-dij}。如果两个样本都是正样本或都是负样本，那么将该两个样本之间的权重定义为0。根据此权重，定义图嵌入中的拉普拉斯矩阵。根据拉普拉斯矩阵，可得到判别性投影方向pk。
根据当前每个正样本组的判别方向，确定出当前每个正样本与每个正样本组的正样本均值的相似性值。
较佳地，根据如下公式(10)，确定出正样本与第k组正样本的样本均值的相似性
根据当前各正样本的相似性值，确定出本次迭代的判别性系数矩阵。
较佳地，根据下述公式(11)，确定出正样本与之间的基于判别性的相似度系数
公式(11)中为正样本与第1组正样本的样本均值的相似性，为正样本与第1组正样本的样本均值的相似性；为正样本基于第1组样本均值的相似性与基于第1组样本均值的相似性之积，为正样本基于第k组样本均值的相似性与基于第k组样本均值的相似性之积；中的最大值表示正样本与之间的基于判别性的相似度系数作为判别性系数矩阵中的元素，从而得到判别性系数矩阵
较佳地，当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；从该正样本组之外的其它正样本中，确定出数目与缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，如果某组正样本数目少于一个阈值N0，那么根据上述公式(10)，将与此组均值相似性最大的其它正样本依次加入到此组之中，直到此组样本个数达到所设定的阈值。
S8053：根据判别性系数矩阵更新混合系数矩阵。
较佳地，根据上述最优的产生式系数矩阵、和判别性系数矩阵，更新混合系数矩阵。
较佳地，将最优的产生式系数矩阵W*、和判别性系数矩阵代入上述下述公式(12)，得到更新后的混合系数矩阵B：
上述公式(12)中α为一个常数。根据公式(12)将最优的产生式系数矩阵及其转置矩阵的和、与判别性系数矩阵进行加权，得到更新后的混合系数矩阵。
S8054：对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增迭代次数。
对上述更新后的混合系数矩阵，在本步骤中进行谱聚类，得到多个正样本组，作为本次迭代的多个正样本组。之后，递增迭代次数，例如将迭代次数加一。
递增迭代次数后，进行下一次迭代。
容易理解，混合系数矩阵涉及的判别性系数矩阵，不仅包含了目标的基图像的图像特征(正样本)的因素，也包含了目标的基图像所在区域周围的图像特征(负样本)的因素。因此，根据本发明实施例的混合系数矩阵得到的混合稀疏子空间聚类模型中的各正样本组，既包含了目标的基图像的特点，又包含了目标所在区域周围图像的特点。在后续对候选区域进行评价的过程中，即使目标发生形变、旋转、被遮挡和/或背景噪声较大，也可以根据混合稀疏子空间聚类模型，既可以识别出并利用目标的图像特点，又可以识别出并利用目标周围的背景图像的特点，从而评价出最优的候选区域，大大提升最优的候选区域中包含目标的几率，大大降低了跟踪结果偏移目标的几率，从而可以提升目标跟踪的精度。
更优的，本发明实施例提供了一种基于上述混合稀疏子空间聚类模型的目标跟踪方法，该目标跟踪方法适用于除了上述预先采集和保存帧之外的任一帧中的目标跟踪。为了便于理解，下面以当前帧为例，该目标跟踪方法，该方法的流程示意图如图9所示，包括下述步骤S901-S908：
S901：根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息。
本步骤中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息的方法，与上述步骤S401中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息的具体方法相一致，此处不再赘述。
S902：获取目标的初选区域周围的第一设定数目个候选区域的信息。
本步骤中获取目标的初选区域周围的第一设定数目个候选区域的信息的方法，与上述步骤S402中获取目标的初选区域周围的第一设定数目个候选区域的信息的具体方法相一致，此处不再赘述。
S903：根据混合稀疏子空间聚类模型，对获取的各候选区域的信息进行评价。
较佳地，根据混合稀疏子空间聚类模型，对每个候选区域的各子候选区域的信息进行评价。
进一步，根据当前的混合稀疏子空间聚类HSSC模型，对每个候选区域的各子候选区域的信息进行评价。较佳地，当在本步骤之前HSSC模型未经过更新时，根据预先训练的HSSC模型，对每个候选区域的各子候选区域的信息进行评价。当在本步骤之前HSSC模型经过更新时，根据预先更新的HSSC模型，对每个候选区域的各子候选区域的信息进行评价。
具体地，根据混合稀疏子空间聚类模型中的每个正样本组及其正样本均值，对每个子候选区域中的图像特征进行评价。
例如，对于一个候选区域的第r，r＝1,...,4个子候选区域，HSSC中的子空间Uk,k＝1,...,K；每个空间中各正样本的平均值(即正样本均值)根据如下公式(13)确定出第r个子候选区域的图像特征基于第k个子空间的评价值
上述公式(13)中I为第r个子候选区域中的图像特征，例如灰度值特征等。
确定出第r个子候选区域的图像特征分别基于HSSC模型中k个子空间的评价值后，根据下述公式(14)从k个评价值中确定出最大评价值，作为第r个子候选区域的图像特征基于HSSC模型的评价值，简称为第r个子候选区域的评价值Lr：
同理，确定出同一候选区域的信息Xi的其它子候选区域的图像特征的评价值。
根据每个候选区域的各子候选区域的信息的评价值，确定出该候选区域的信息的评价值。
例如，得到同一候选区域的信息Xi的其它子候选区域的评价值后，根据下述公式(15)确定出该候选区域的信息的评价值
L(Xi)＝∑rLr.......................................(15)
从各候选区域的信息的评价值中确定出最大评价值。评价值最大的候选区域被选作最优的评价后的候选区域。
S904：根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域。
将最大评价值的候选区域的信息，确定为目标的终选区域的信息；将具有最大评价值的候选区域，作为当前帧的目标跟踪结果。其中，区域的信息可以包括：区域的尺寸、区域的位置、区域中的图像及图像特征。
较佳地，本发明的发明人进过研究和实验发现，本发明实施例二中通过根据HSSC模型评价的方式得到的候选区域的尺寸，与实际目标所在区域的尺寸较为接近。本步骤得到的目标的终选区域的信息包含了根据HSSC模型评价出的候选区域的信息；而HSSC模型在训练和更新过程中，既使用了目标所在区域的图像特征(正样本)，又使用了目标所在区域周围的候选区域的图像特征(负样本)，即使存在目标发生形变、旋转、被遮挡或周围附近的背景噪声较大等干扰，也可以根据HSSC模型识别出目标区域和非目标区域的尺寸和图像特征，使得最高评价值的候选区域具有很大几率覆盖目标(尤其是运动中的目标)；从而大大提升了跟踪过程中识别目标的抗干扰性能，提升了跟踪目标的精度。
较佳地，确定出当前帧目标的终选区域后，可以进行多种后续操作以满足多种应用需求。
例如，在视频编辑的场合，确定出当前帧目标的终选区域后，可以直接在终选区域中提取目标的图像，与在整个帧图像中提取目标图像相比，效率得到提升。
再如，在安全监控的场合，确定出当前帧目标的终选区域后，可以对终选区域中的目标图像进行精细对焦和提取，以确定出更为清晰的目标图像。
事实上，本发明实施例二所跟踪的目标具有通用性，不限定于特定的目标，因此本发明实施例二适用于各种基于目标跟踪的视频编辑、以及其它计算机视觉领域，适用范围广泛。
S905：判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S906；否则，执行步骤S908。
本步骤中，对于上述HSSC模型训练阶段使用的预存帧，将这些预存帧中目标的基图像所在区域，作为预存帧中目标的终选区域。
采用与上述根据HSSC模型确定出候选区域的信息的评价值相同的方法，根据HSSC模型，确定出预存帧中目标的终选区域的信息的评价值。
对于HSSC模型训练阶段之后、跟踪当前帧的目标阶段之前保存的在前帧，将这些在前帧也作为预存帧。这些在前帧也是经过如上述步骤S901-S904所示流程对在前帧进行过目标跟踪；获取这些在前帧在各自的目标跟踪过程中确定出的评价值。
进而根据各预存帧中目标的终选区域的信息的评价值、和各在前帧中目标的终选区域的信息的评价值，确定出平均评价值，作为本步骤中各预存帧中目标的终选区域的信息的平均评价值。
将当前帧中的候选区域的信息的最高评价值与各预存帧中目标的终选区域的信息的平均评价值相比较，判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S906；否则，执行步骤S908。
S906：更新混合稀疏子空间聚类模型。
当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类模型。
S907：更新预存帧和/或基图像。
当新保存的帧的数目达到预设的基图像更新阈值时，根据新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
S908：确定出供下一帧目标跟踪过程中使用的被选定的预存帧及其基图像。
确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧，作为供下一帧目标跟踪过程中使用的预存帧。
确定出相似度值最大的预存帧中目标的基图像，作为供下一帧目标跟踪过程中使用的预存帧中目标的基图像。
较佳地，确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
事实上，上述步骤S906和S907是两个相互独立的步骤。这两个步骤可以同时执行，也可以先后执行，互不影响。
基于本发明实施例二中的目标跟踪方法，本发明实施例二提供的一种目标跟踪装置的内部结构的框架示意图如图10所示，包括：候选区域获取模块1001和终选区域确定模块1002。
其中，候选区域获取模块1001用于获取当前帧中目标的候选区域；
终选区域确定模块1002用于对获取的候选区域进行特征评价得到终选区域；其中特征评价根据稀疏子空间聚类模型进行。
更优的，如图10所示，本发明实施例二的目标跟踪装置，还包括：模型训练模块1003。
模型训练模块1003用于通过下述方法训练得到稀疏子空间聚类模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出混合系数矩阵；对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，候选区域获取模块1001具体用于根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；获取目标的初选区域周围的第一设定数目个候选区域的信息。
以及，终选区域确定模块1002具体用于根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域。
进一步，终选区域确定模块1002具体用于根据稀疏子空间聚类模型，对获取的每个候选区域的各子候选区域的图像特征进行评价；根据每个候选区域的各子候选区域的图像特征的评价值，确定出该候选区域的图像特征的评价值；从各候选区域的图像特征的评价值中确定出最大评价值。
较佳地，模型训练模块1003用于当稀疏子空间聚类模型具体为混合稀疏子空间聚类模型时，通过下述方法训练得到混合稀疏子空间聚类模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出初始的混合系数矩阵；对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；对混合系数矩阵进行迭代；其中一次迭代包括：当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；根据判别性系数矩阵更新混合系数矩阵；对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增迭代次数并进行下一次迭代，直到达到最大迭代次数。其中，稀疏子空间聚类模型具体为混合稀疏子空间聚类模型。
较佳地，模型训练模块1003还用于当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；从该正样本组之外的其它正样本中，确定出数目与缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，终选区域确定模块1002还用于当当前帧中的候选区域的信息的最高评价值，大于各预存帧中目标的终选区域的信息的平均评价值时，保存当前帧。
以及，模型训练模块1003还用于通过下述方法对混合稀疏子空间聚类模型进行更新：当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类模型。
本发明实施例二中，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的初选区域周围的多个候选区域的信息进行评价，根据评价得到的最大评价值的候选区域的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行评价，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
而且，本发明实施例二中，将样本帧的基图像划分为子基图像训练HSSC模型；将候选区域划分为子候选区域，根据HSSC模型对子候选区域的图像特征进行评价，根据各子候选区域对应的评价值确定出整个候选区域对应的评价值；并利用子候选区域中的子基图像对HSSC模型进行更新。与利用整个基图像或者整个候选区域参与计算相比，利用子基图像和子候选区域参与计算，使得计算量大大减少，提升了相关步骤的效率，从而整体上提升了目标跟踪的效率。
实施例三
本发明实施例三在本发明实施例一或实施例二的基础上进行了改进。
本发明实施例三提供了一种基于稀疏子空间聚类SSC模型和特征回归矩阵的目标跟踪方法，该目标跟踪方法适用于除了上述预先采集和保存帧之外的任一帧中的目标跟踪。为了便于理解，下面以当前帧为例，介绍该目标跟踪方法，该方法的流程示意图如图11所示，包括下述步骤S1101-S1109：
S1101：根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息。
本步骤中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息，与上述步骤S401中根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息的具体方法相一致，此处不再赘述。
S1102：获取目标的初选区域周围的第一设定数目个候选区域的信息。
本步骤中获取目标的初选区域周围的第一设定数目个候选区域的信息，与上述步骤S402中获取目标的初选区域周围的第一设定数目个候选区域的信息的具体方法相一致，此处不再赘述。
S1103：根据特征回归矩阵，对获取的各候选区域的信息进行回归。
本步骤中根据特征回归矩阵，对获取的各候选区域的信息进行回归的方法，与上述步骤S403中根据特征回归矩阵，对获取的各候选区域的信息进行回归的具体方法相一致，此处不再赘述。
S1104：根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价。
本步骤中根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价的方法，与上述步骤S703中根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价的具体方法相一致，此处不再赘述。
事实上，步骤S1103与步骤S1104是两个相互独立的步骤；该两个步骤既可以同时执行，也可以一个步骤执行在先，另一个步骤执行在后。
更优的，可以根据混合稀疏子空间聚类HSSC模型，对获取的各候选区域的信息进行评价，具体评价方法与上述实施例二的步骤S903中根据混合稀疏子空间聚类模型，对获取的各候选区域的信息进行评价的方法相一致，此处不再赘述。其中，HSSC模型的训练方法与如上述实施例二的图8b和图8b流程所示的训练方法一致，此处不再赘述。
S1105：根据评价得到的最大评价值的候选区域的信息、和回归得到的候选区域的综合回归后的信息，确定出目标的终选区域。
根据最大评价值的候选区域的信息及其权重、和候选区域的综合回归后的信息及其权重，确定出目标的终选区域的信息；其中，信息包括尺寸和位置。
具体地，获取具有最大评价值的候选区域的信息XS、及其权重系数β，获取候选区域的综合归回后的信息XR、以其权重系数(1-β)，其中，β∈(0,1)为大于0且小于1的实数。根据下述公式(16)确定出目标的终选区域的信息
利用上述公式(16)，实际上是将具有最大评价值的候选区域的信息、与候选区域的综合回归后的信息进行加权平均，使得得到的目标的终选区域的信息既包含了根据SSC模型评价出的候选区域的信息，又包含了候选区域根据特征回归矩阵综合回归得到的信息；而SSC模型在训练和更新过程中，使用了目标所在区域的图像特征(正样本)，即使存在目标发生形变、旋转、被遮挡或周围附近的背景噪声较大等干扰，一方面可以根据SSC模型识别出目标区域的尺寸和图像特征，使得最高评价值的候选区域具有很大几率覆盖目标(尤其是运动中的目标)；另一方面可以根据各特征回归矩阵确定出的各候选区域归回后的位置，估算出一个候选区域的综合回归后的位置，该综合回归后的位置通常不属于任一个候选区域的位置，具有很大的几率覆盖目标；从而大大提升了跟踪过程中识别目标的抗干扰性能，提升了跟踪目标的精度。
其中，区域的信息可以包括：区域的尺寸、区域的位置、区域中的图像及图像特征。
更优的，当SSC模型具体为HSSC模型时，本步骤得到的目标的终选区域的信息包含了根据HSSC模型评价出的候选区域的信息；而HSSC模型在训练和更新过程中，既使用了目标所在区域的图像特征(正样本)，又使用了目标所在区域周围的候选区域的图像特征(负样本)，即使存在目标发生形变、旋转、被遮挡或周围附近的背景噪声较大等干扰，也可以根据HSSC模型识别出目标区域和非目标区域的尺寸和图像特征，使得最高评价值的候选区域具有很大几率覆盖目标(尤其是运动中的目标)；从而大大提升了跟踪过程中识别目标的抗干扰性能，提升了跟踪目标的精度。
较佳地，本发明的发明人进过研究和实验发现，本发明实施例中通过根据SSC模型评价的方式得到的候选区域的尺寸，与实际目标所在区域的尺寸较为接近；通过回归方式得到的候选区域的位置，与实际目标所在区域的位置较为接近。更优的，当SSC模型具体为HSSC模型时，本发明实施例二中通过根据HSSC模型评价的方式得到的候选区域的尺寸，与实际目标所在区域的尺寸较为接近。
因此，根据候选区域的最大评价值，确定出最大评价值的候选区域的信息的权重、以及候选区域的综合回归后的信息的权重。
例如，根据从各候选区域的图像特征的评价值L(Xi)中，选择出的最大评价值，确定出具有最大评价值的候选区域的信息的权重系数β；确定出候选区域的综合回归后的信息的权重系数(1-β)。
根据最大评价值的候选区域的信息及其权重、和候选区域的综合回归后的信息及其权重，确定出目标的终选区域的信息。
可以理解，当最大评价值较大时，具有最大评价值的候选区域的信息的可信度较高，因此可以提升最大评价值的候选区域的信息的权重；反之，可以降低最大评价值的候选区域的信息的权重；从而进一步提升目标的选择区域的信息的可信度，有利于进一步提升目标跟踪的精度。
较佳地，确定出当前帧目标的终选区域后，可以进行多种后续操作以满足多种应用需求。
例如，在视频编辑的场合，确定出当前帧目标的终选区域后，可以直接在终选区域中提取目标的图像，与在整个帧图像中提取目标图像相比，效率得到提升。
再如，在安全监控的场合，确定出当前帧目标的终选区域后，可以对终选区域中的目标图像进行精细对焦和提取，以确定出更为清晰的目标图像。
事实上，本发明实施例二所跟踪的目标具有通用性，不限定于特定的目标，因此本发明实施例二适用于各种基于目标跟踪的视频编辑、以及其它计算机视觉领域，适用范围广泛。
S1106：判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S1107；否则，执行步骤S1110。
本步骤中，对于上述SSC模型和特征回归矩阵训练阶段使用的预存帧，将这些预存帧中目标的基图像所在区域，作为预存帧中目标的终选区域。
采用与上述根据SSC模型确定出候选区域的信息的评价值相同的方法，根据SSC模型，确定出预存帧中目标的终选区域的信息的评价值。
对于SSC模型和特征回归矩阵训练阶段之后、跟踪当前帧的目标阶段之前保存的在前帧，将这些在前帧也作为预存帧。这些在前帧也是经过如上述步骤S1101-S1105所示流程对在前帧进行过目标跟踪；获取这些在前帧在各自的目标跟踪过程中确定出的评价值。
更优的，SSC模型具体可以是HSSC模型。
进而根据各预存帧中目标的终选区域的信息的评价值、和各在前帧中目标的终选区域的信息的评价值，确定出平均评价值，作为本步骤中各预存帧中目标的终选区域的信息的平均评价值。
将当前帧中的候选区域的信息的最高评价值与各预存帧中目标的终选区域的信息的平均评价值相比较，判断当前帧中的候选区域的信息的最高评价值是否大于各预存帧中目标的终选区域的信息的平均评价值；若是，则保存当前帧后，执行步骤S1107；否则，执行步骤S1110。
S1107：更新特征回归矩阵。
获取当前帧中最大评价值的候选区域周围的第二设定数目个候选区域。
具体地，特征回归矩阵用于描述具有最大评价值的候选区域周围的候选区域与此候选区域到具有最大评价值的候选区域的位置偏移量之间的关系。根据特征回归矩阵，给定具有最大评价值的候选区域周围的候选区域的尺寸和位置，可以推断出最优的回归后的最大评价值的候选区域的位置。
例如，通过特征回归计算候选区域的x，y坐标。因此，此处特征回归矩阵H由关于x和y的两个回归向量h0和h1构成，即H＝[h0,h1]。在当前具有最大评价值的候选区域周围采样N1个候选区域的位置，此采样过程可以使采样得到的候选区域的位置服从均匀分布或者其它分布。采样得到的候选区域与具有最大评价值的候选区域的尺寸相同。
确定出当前帧中第二数目个候选区域与最大评价值的候选区域之间的位置偏移量；进而确定出当前帧的位置偏移量矩阵。
例如，将当前帧中各候选区域的位置与具有最大评价值的候选区域的x,y坐标偏移量(即横、纵坐标偏移量)分别记为和
进而确定出该当前帧的位置偏移量矩阵C。具体地，定义 得到C＝[C1,C2]。
根据当前帧的第二数目个候选区域中的图像特征、位置偏移量矩阵、和最大评价值的候选区域中的图像特征，确定出当前帧的特征回归矩阵并保存。
例如，当前帧中第i个候选区域的位置对应的该候选区域中的图像特征为qi，相对于坐标x与y的回归向量分别为h0和h1，γ为一常数，根据逻辑回归构建下述目标函数f(H)：
那么当前帧的特征回归矩阵H可通过最小化上述目标函数f(H)得到，即
H＝(XXT+γI)-1XC...............................(18)
上述公式(8)中X表示候选区域的信息中的候选区域的位置。
较佳地，为了增强特征回归的鲁棒性，训练并保存M个特征回归矩阵，即Hj,j＝1,...,M；其中，每个当前帧对应一个特征回归矩阵，M为不小于2的正整数。
确定出当前帧的特征回归矩阵后，进行保存。
较佳地，确定出当前帧的特征回归矩阵后，还可以根据当前帧的特征回归矩阵、和上一帧的特征回归矩阵，确定出新的特征回归矩阵并保存。
例如，假定Hpre是Hj,j＝1,...,M中最近更新的特征回归矩阵，给定常数s，当根据保存的一帧数据得到新的特征回归矩阵H后，根据下述公式(19)确定出新的归回矩阵Hnew：
Hnew＝sHpre+(1-s)H............................(19)
较佳地，保存新的特征回归矩阵时，可以一并确定出其保存的时间戳；将由时间戳表明保存得最久的特征回归矩阵，替换为新的特征回归矩阵。
例如，用Hnew替换Hj,j＝1,...,M中最久没被更新的特征回归矩阵。通过这种方式，可以保留一定的帧历史信息，利用保留的帧中涉及目标的历史信息，有利于降低跟踪时偏离目标的几率。
进一步，在计算特征回归矩阵时，可以将子图像归一化到固定尺寸的子图像，此时各候选区域的位置偏移量也要进行相应的缩放。同理，在跟踪目标的时候，所计算出的候选区域的位置偏移量也是相对于固定尺寸的，所以也需要对回归出的候选区域的位置偏移量，缩放到与采样时的候选区域的尺寸相适应。
S1108：更新稀疏子空间聚类模型。
当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到稀疏子空间聚类模型。
更优的，在稀疏子空间聚类SSC模型具体为混合稀疏子空间聚类HSSC模型的情况下，当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类HSSC模型。
S1109：更新预存帧和/或基图像。
当新保存的帧的数目达到预设的基图像更新阈值时，根据新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
S1110：确定出供下一帧目标跟踪过程中使用的被选定的预存帧及其基图像。
确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧，作为供下一帧目标跟踪过程中使用的预存帧。
确定出相似度值最大的预存帧中目标的基图像，作为供下一帧目标跟踪过程中使用的预存帧中目标的基图像。
较佳地，确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值。
确定出相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
事实上，上述步骤S1107、S1108和S1109是三个相互独立的步骤。这三个步骤可以同时执行，也可以先后执行，互不影响。
基于本发明实施例三中的目标跟踪方法，上述本发明实施例一中如图5所示的目标跟踪装置中的候选区域获取模块501、终选区域确定模块502特征回归矩阵训练模块503都具有了新的功能。
其中，终选区域确定模块502还用于对获取的候选区域进行特征回归和特征评价得到终选区域。
较佳地，终选区域确定模块502具体用于根据特征回归矩阵，对获取的各候选区域的信息进行回归；根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；根据评价得到的最大评价值的候选区域的信息、和回归得到的候选区域的综合回归后的信息，确定出目标的终选区域。
进一步，终选区域确定模块502具体用于根据最大评价值，确定出最大评价值的候选区域的信息的权重、以及候选区域的综合回归后的信息的权重；根据最大评价值的候选区域的信息及其权重、和候选区域的综合回归后的信息及其权重，确定出目标的终选区域的信息。
较佳地，候选区域获取模块501具体用于根据从基图像中划分出的两个以上基子图像，对于目标的初选区域周围的每个候选区域，获取该个候选区域中与各基子图像分别对应的各子候选区域的信息。
以及，终选区域确定模块502具体用于对每个候选区域的各子候选区域的信息进行评价；根据每个候选区域的各子候选区域的信息的评价值，确定出该候选区域的信息的评价值；从各候选区域的信息的评价值中确定出最大评价值。
更优的，如图5所示，本发明实施例的目标跟踪装置，还包括：模型训练模块504。
模型训练模块504用于通过下述方法训练得到稀疏子空间聚类SSC模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；根据正样本矩阵和基于最小二乘回归的稀疏子空间聚类LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出混合系数矩阵；对混合系数矩阵进行谱聚类，得到多个正样本组。
较佳地，模型训练模块504还用于当稀疏子空间聚类SSC模型具体为混合稀疏子空间聚类HSSC模型时，通过下述方法训练得到混合稀疏子空间聚类HSSC模型：将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；根据正样本矩阵和LSR模型，确定出最优的产生式系数矩阵；根据最优的产生式系数矩阵，确定出初始的系数矩阵；对初始的系数矩阵进行谱聚类，得到初始的多个正样本组；对系数矩阵进行迭代；其中一次迭代包括：当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；根据判别性系数矩阵更新系数矩阵；对更新后的系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增迭代次数并进行下一次迭代，直到达到最大迭代次数。
较佳地，模型训练模块504具体用于根据图嵌入模型、当前各正样本组和各负样本，确定出当前每个正样本组的判别方向；根据当前每个正样本组的判别方向，确定出当前每个正样本与每个正样本组的正样本均值的相似性值；根据当前各正样本的相似性值，确定出本次迭代的判别性系数矩阵。
较佳地，模型训练模块504还用于当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；从该正样本组之外的其它正样本中，确定出数目与缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
较佳地，模型训练模块504还用于对最后一次迭代得到的各正样本组进行主成分分析，得到各正样本组的子空间。
较佳地，终选区域确定模块502还用于当当前帧中的候选区域的信息的最高评价值，大于各预存帧中目标的终选区域的信息的平均评价值时，保存当前帧。
较佳地，模型训练模块504还用于对稀疏子空间聚类SSC模型通过下述方法进行更新：当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到稀疏子空间聚类SSC模型。
较佳地，模型训练模块504还用于对混合稀疏子空间聚类HSSC模型通过下述方法进行更新：当新保存的帧的数目达到预设的模型更新阈值时，将新保存的帧都作为新的样本帧；根据新的样本帧、或者新的样本帧和原样本帧，重新训练得到混合稀疏子空间聚类HSSC模型。
较佳地，终选区域确定模块502具体用于根据稀疏子空间聚类模型SSC，对每个候选区域的各子候选区域的信息进行评价。
较佳地，终选区域确定模块502具体用于根据稀疏子空间聚类模型中的每个正样本组及其正样本均值，对每个子候选区域中的图像特征进行评价。
更优的，特征回归矩阵训练模块503还用于当当前帧被保存后，对特征回归矩阵进行更新：获取当前帧中最大评价值的候选区域周围的第二设定数目个候选区域；确定出当前帧中第二设定数目个候选区域与最大评价值的候选区域之间的位置偏移量；进而确定出当前帧的位置偏移量矩阵；根据当前帧的第二设定数目个候选区域中的图像特征、位置偏移量矩阵、和最大评价值的候选区域中的图像特征，确定出当前帧的特征回归矩阵并保存。
较佳地，特征回归矩阵训练模块503还用于确定出当前帧的特征回归矩阵后，根据当前帧的特征回归矩阵、和上一帧的特征回归矩阵，确定出新的特征回归矩阵及其时间戳；将由时间戳表明保存得最久的特征回归矩阵，替换为新的特征回归矩阵。
较佳地，终选区域确定模块502具体用于对于当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量；根据该候选区域的多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重；根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
较佳地，终选区域确定模块502具体用于根据最大评价值，确定出最大评价值的候选区域的信息的权重、以及候选区域的综合回归后的信息的权重；根据最大评价值的候选区域的信息及其权重、和候选区域的综合回归后的信息及其权重，确定出目标的终选区域的信息。
较佳地，终选区域确定模块502还用于当新保存的帧的数目达到预设的基图像更新阈值时，根据新保存的帧的目标跟踪结果，更新预存帧中目标的基图像。
较佳地，终选区域确定模块502具体用于确定出最大评价值的候选区域中的图像特征与各预存帧中目标的基图像之间的相似度值；确定出相似度值最大的预存帧中目标的基图像中的多个角点，作为供下一帧目标跟踪过程中使用的多个模型角点。
本发明实施例三中，即使当前帧中的目标被干扰，例如目标被遮挡、目标发生形变或一定程度的旋转、或者目标之外的背景噪声较大，也可以对当前帧中目标的初选区域周围的多个候选区域的信息进行评价和回归，根据评价得到的最大评价值的候选区域的信息、和回归得到的候选区域的综合回归后的信息，确定出目标的终选区域；相比于传统的对单个候选区域或者单个在先的目标所在区域的信息进行评价或回归，可以提升跟踪目标所在区域的鲁棒性、抗干扰性和稳定性，大大降低了跟踪时偏离目标所在区域的几率，提升了跟踪目标所在区域的精度；从而可以提升目标的跟踪精度。
而且，本发明实施例中，即使对初选区域周围图像进行采样得到的候选区域的数目较少，也可以通过根据特征回归矩阵对候选区域的位置进行回归的方式，提升位置回归后的候选区域覆盖目标的几率，降低跟踪时偏离目标所在区域的几率，提升跟踪目标所在区域的精度。
进一步，本发明实施例中，将样本帧的基图像划分为子基图像训练SSC模型；将候选区域划分为子候选区域，根据SSC模型对子候选区域的图像特征进行评价，根据各子候选区域对应的评价值确定出整个候选区域对应的评价值；并利用子候选区域中的子基图像对SSC模型进行更新。与利用整个基图像或者整个候选区域参与计算相比，利用子基图像和子候选区域参与计算，使得计算量大大减少，提升了相关步骤的效率，从而整体上提升了目标跟踪的效率。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种目标跟踪方法，其特征在于，包括：
获取当前帧中目标的候选区域；
对获取的候选区域进行特征回归得到终选区域。
2.根据权利要求1所述的方法，其特征在于，所述获取当前帧中目标的候选区域，包括：
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；
获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述对获取的候选区域进行特征回归得到终选区域，包括：
根据特征回归矩阵，对获取的各候选区域的信息进行回归；
根据所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
3.根据权利要求2所述的方法，其特征在于，所述根据特征回归矩阵，对获取的各候选区域的信息进行回归，包括：
对于所述当前帧中目标的初选区域周围的每个候选区域，确定出该候选区域中的图像特征分别基于多个特征回归矩阵的多个位置偏移量；
根据该候选区域的所述多个位置偏移量，确定出该候选区域的回归后的位置偏移量和权重；
根据各候选区域的位置、位置偏移量和权重，确定出候选区域的综合回归后的位置。
4.根据权利要求1所述的方法，其特征在于，所述对获取的候选区域进行特征回归得到终选区域，还包括：
对获取的候选区域进行特征回归和特征评价得到终选区域。
5.根据权利要求4所述的方法，其特征在于，所述对获取的候选区域进行特征回归和特征评价得到终选区域，包括：
根据特征回归矩阵，对获取的各候选区域的信息进行回归；
根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；
根据所述评价得到的最大评价值的候选区域的信息、和所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域。
6.根据权利要求5所述的方法，其特征在于，所述根据所述评价得到的最大评价值的候选区域的信息、和所述回归得到的候选区域的综合回归后的信息，确定出所述目标的终选区域，包括：
根据所述最大评价值，确定出所述最大评价值的候选区域的信息的权重、以及所述候选区域的综合回归后的信息的权重；
根据所述最大评价值的候选区域的信息及其权重、和所述候选区域的综合回归后的信息及其权重，确定出所述目标的终选区域的信息。
7.根据权利要求5或6所述的方法，其特征在于，所述特征回归矩阵是通过下述方法训练得到的：
对于每个样本帧，获取该样本帧的基图像周围的第二设定数目个候选区域；
确定出该样本帧中每个候选区域与所述基图像所在区域之间的位置偏移量；进而确定出该样本帧的位置偏移量矩阵；
根据该样本帧中每个候选区域中的图像特征、所述位置偏移量矩阵、和所述基图像的特征，确定出该样本帧对应的回归矩阵并保存。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；
根据所述正样本矩阵和基于最小二乘回归的稀疏子空间聚类LSR模型，确定出最优的产生式系数矩阵；
根据最优的产生式系数矩阵，确定出混合系数矩阵；
对混合系数矩阵进行谱聚类，得到多个正样本组。
9.根据权利要求5-8任一项所述的方法，其特征在于，所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型，以及
所述混合稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；
根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；
对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；
对混合系数矩阵进行迭代；其中一次迭代包括：
当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；
根据所述判别性系数矩阵更新所述混合系数矩阵；
对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
10.根据权利要求8或9所述的方法，其特征在于，还包括：
当一个正样本组中的正样本数目少于预设的组正样本数目阈值时，确定出该正样本组的缺额；
从该正样本组之外的其它正样本中，确定出数目与所述缺额相等的、与该正样本组的正样本均值的相似性值最大的正样本，补充到该正样本组中。
11.根据权利要求5-10任一项所述的方法，其特征在于，还包括：
当所述当前帧中的候选区域的信息的最高评价值，大于各预存帧中所述目标的终选区域的信息的平均评价值时，保存所述当前帧。
12.根据权利要求11所述的方法，其特征在于，所述稀疏子空间聚类模型通过下述方法进行更新：
当新保存的帧的数目达到预设的模型更新阈值时，将所述新保存的帧都作为新的样本帧；
根据所述新的样本帧、或者所述新的样本帧和原样本帧，重新训练得到稀疏子空间聚类模型。
13.一种目标跟踪方法，其特征在于，包括：
获取当前帧中目标的候选区域；
对获取的候选区域进行特征评价得到终选区域；其中所述特征评价根据稀疏子空间聚类模型进行。
14.根据权利要求13所述的方法，其特征在于，所述获取当前帧中目标的候选区域，包括：
根据预存帧中目标的基图像，确定出当前帧中目标的初选区域的信息；
获取所述目标的初选区域周围的第一设定数目个候选区域的信息；以及
所述对获取的候选区域进行特征评价得到终选区域，包括：
根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价；
根据所述评价得到的最大评价值的候选区域的信息，确定出所述目标的终选区域。
15.根据权利要求14所述的方法，其特征在于，所述根据稀疏子空间聚类模型，对获取的各候选区域的信息进行评价，包括：
根据所述稀疏子空间聚类模型，对获取的每个候选区域的各子候选区域的图像特征进行评价；
根据每个候选区域的各子候选区域的图像特征的评价值，确定出该候选区域的图像特征的评价值；
从各候选区域的图像特征的评价值中确定出最大评价值。
16.根据权利要求14或15所述的方法，其特征在于，所述稀疏子空间聚类模型具体为混合稀疏子空间聚类模型，以及
所述混合稀疏子空间聚类模型是通过下述方法训练得到的：
将预存的至少一帧作为样本帧，提取各样本帧的基子图像的特征作为正样本，确定出正样本矩阵；提取每个样本帧的基图像周围的第三设定数目个候选区域中的图像特征作为负样本；
根据所述正样本矩阵和LSR模型，确定出初始的混合系数矩阵；
对初始的混合系数矩阵进行谱聚类，得到初始的多个正样本组；
对混合系数矩阵进行迭代；其中一次迭代包括：
当迭代次数未达到预设的最大迭代次数时，根据图嵌入模型、当前各正样本组和各负样本，确定出本次迭代的判别性系数矩阵；
根据所述判别性系数矩阵更新所述混合系数矩阵；
对更新后的混合系数矩阵进行谱聚类，得到本次迭代的多个正样本组；递增所述迭代次数并进行下一次迭代，直到达到所述最大迭代次数。
17.一种目标跟踪装置，其特征在于，包括：
候选区域获取模块，用于获取当前帧中目标的候选区域；
终选区域确定模块，用于对获取的候选区域进行特征回归得到终选区域。
18.一种目标跟踪装置，其特征在于，包括：
候选区域获取模块，用于获取当前帧中目标的候选区域；
终选区域确定模块，用于对获取的候选区域进行特征评价得到终选区域；其中所述特征评价根据稀疏子空间聚类模型进行。
19.一种目标跟踪设备，其特征在于，包括：
图像采集装置，用于采集图像帧；
权利要求17或18所述的目标跟踪装置；以及
存储装置，用于保存所述图像采集装置、以及权利要求17或18所述的目标跟踪装置需要保存的信息。
CN201611025103.9A 2016-11-15 2016-11-15 目标跟踪方法、装置及设备 Active CN108073936B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611025103.9A CN108073936B (zh) 2016-11-15 2016-11-15 目标跟踪方法、装置及设备
KR1020170058547A KR102369413B1 (ko) 2016-11-15 2017-05-11 영상 처리 장치 및 방법
US15/794,677 US10565713B2 (en) 2016-11-15 2017-10-26 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611025103.9A CN108073936B (zh) 2016-11-15 2016-11-15 目标跟踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108073936A true CN108073936A (zh) 2018-05-25
CN108073936B CN108073936B (zh) 2024-04-19

Family

ID=62160658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611025103.9A Active CN108073936B (zh) 2016-11-15 2016-11-15 目标跟踪方法、装置及设备

Country Status (2)

Country Link
KR (1) KR102369413B1 (zh)
CN (1) CN108073936B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581495A (zh) * 2019-09-27 2021-03-30 北京迈格威科技有限公司 图像处理方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167011B1 (ko) * 2018-03-13 2020-10-16 재단법인대구경북과학기술원 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
KR102215285B1 (ko) * 2018-12-26 2021-02-15 건국대학교 산학협력단 키 프레임 선택 방법 및 이를 수행하는 장치들
CN112991147B (zh) 2019-12-18 2023-10-27 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN117351240B (zh) * 2023-10-12 2024-04-09 北京卓视智通科技有限责任公司 一种正样本采样方法、系统、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140093160A1 (en) * 2012-10-01 2014-04-03 Fatih Porikli 3D Object Tracking in Multiple 2D Sequences
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
US20160241252A1 (en) * 2015-02-16 2016-08-18 Sound Devices Llc High Dynamic Range Analog-to-Digital Conversion with Selective Regression Based Data Repair

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401239B2 (en) * 2009-03-30 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Object tracking with regressing particles
US9111134B1 (en) * 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9172875B2 (en) * 2012-10-12 2015-10-27 Arcsoft Hangzhou Co., Ltd. Video processing method and electronic device
KR101414670B1 (ko) * 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140093160A1 (en) * 2012-10-01 2014-04-03 Fatih Porikli 3D Object Tracking in Multiple 2D Sequences
US20160241252A1 (en) * 2015-02-16 2016-08-18 Sound Devices Llc High Dynamic Range Analog-to-Digital Conversion with Selective Regression Based Data Repair
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高亚奇等: "判别特征回归的鲁棒目标跟踪", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581495A (zh) * 2019-09-27 2021-03-30 北京迈格威科技有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20180054406A (ko) 2018-05-24
KR102369413B1 (ko) 2022-03-03
CN108073936B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN108073936A (zh) 目标跟踪方法、装置及设备
CN109743683B (zh) 一种采用深度学习融合网络模型确定手机用户位置的方法
US8989438B2 (en) Mobile body track identification system
CN110321952A (zh) 一种图像分类模型的训练方法及相关设备
CN105760849B (zh) 基于视频的目标对象行为数据获取方法及装置
CN109035304A (zh) 目标跟踪方法、介质、计算设备和装置
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109190508A (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN109492627A (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
CN103679674A (zh) 一种无人飞行器实时图像拼接方法及系统
CN109448025A (zh) 视频中短道速滑运动员的自动跟踪与轨迹建模方法
US20240070858A1 (en) Capsule endoscope image recognition method based on deep learning, and device and medium
CN109583373B (zh) 一种行人重识别实现方法
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN106951828B (zh) 一种基于卫星影像和网络的城市区域功能属性的识别方法
CN112668532B (zh) 基于多阶段混合注意网络的人群计数方法
CN113947814A (zh) 一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法
CN110533700A (zh) 对象跟踪方法和装置、存储介质及电子装置
CN110287798A (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN110321820A (zh) 一种基于非接触式设备的视线落点检测方法
CN111860823A (zh) 神经网络训练、图像处理方法及装置、设备及存储介质
Zhang et al. Joint discriminative representation learning for end-to-end person search
CN103150552A (zh) 一种基于人头计数的驾驶培训管理方法
CN114550208A (zh) 基于全局级别和局部级别联合约束的跨模态行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant