CN105893956A

CN105893956A - 一种基于多特征自适应测度学习的在线目标匹配方法

Info

Publication number: CN105893956A
Application number: CN201610193221.4A
Authority: CN
Inventors: 胡栋; 栾筱朋; 张娇; 张晶
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2016-03-30
Filing date: 2016-03-30
Publication date: 2016-08-24
Anticipated expiration: 2036-03-30
Also published as: CN105893956B

Abstract

本发明公开一种基于多特征自适应测度学习的在线目标匹配方法，属于智能视频监控技术领域。针对现有的线下距离测度学习算法在测试样本大幅增多后，由于最初习得的测度矩阵不能很好地反映当前状况造成的匹配准确率大幅下降的问题，本发明通过自适应学习合适的测度矩阵得到较佳的相似性度量距离函数，对目标进行匹配，分为初始线下训练、在线目标匹配和测度更新三个阶段。本发明有效地解决了现有的线下距离测度学习算法在新数据大幅增多而偏离初始训练集的情况下出现的匹配准确率大幅下降的问题，保证了匹配模型良好的扩展性。本发明可以自适应地更新、修正测度矩阵，初始训练时对已标签样本数量的要求也低于现有算法，大大减少了人工标记的工作量。

Description

一种基于多特征自适应测度学习的在线目标匹配方法

技术领域

本发明涉及一种图像数据处理领域中的图像分析技术，具体涉及一种基于多特征自适应测度学习的在线目标匹配方法。

背景技术

基于距离测度学习的目标识别技术近年来越来越多的应用在智能视频监控中的目标匹配中。对于目标识别的一般方法是，(1)特征提取：选取目标图像合适的特征并进行提取；(2)测度矩阵学习和相似性度量：根据所提取特征，选择距离测度学习模型，训练得到合适的测度矩阵M，根据训练习得的测度矩阵M，计算目标图像特征间距离，作为相似性度量标准；(3)确定匹配目标：根据相似性度量标准对结果进行排序，筛选确定匹配目标。智能视频监控系统定义为：采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动识别不同物体，分析抽取视频源中关键有用信息，快速准确地定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效地进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。可见智能视频监控系统对目标匹配的效率和准确性都有很高的要求，如何在日渐复杂的应用环境下兼顾这两点以满足系统要求成为研究热点之一。

目标识别第一步是提取目标的图像特征。常用的特征有：1)颜色特征：RGB特征、HSV特征、YCbCr特征、主颜色谱直方图；2)局部特征：HOG特征、SIFT特征、SURF特征、LBP特征；3)纹理特征：Gabor特征、Schmid特征。但每种特征都有其优势和不足，仅使用单一特征容易引起误匹配，为提高准确率，现有技术将多种特征进行组合构造目标特征向量。

目标识别的第二步是测度矩阵学习和相似性度量。最初的欧氏距离将不同属性之间的差别等同看待，而马氏距离是建立在总体样本基础上的协方差距离、考虑到了各种特性之间的联系。由欧式距离转变为马氏距离，引入测度学习机制，在一定程度上提高了目标识别的准确率。常见的测度学习算法有：ITML(Information Theory Metric Learning)、LMNN(Large Margin Nearest Neighbor)、LDML(Logistic Discriminant MetricLearning)、KISS(Keep It Simple and Straightforward)、RDC(Relative DistanceComparison)算法等。不同测度学习算法的准确度和效率存在明显差异，如RDC算法，其准确度明显高于其他算法，但时间耗费远大于其他算法；KISS算法在保证一定准确度的条件下，大大降低了时间耗费。如何选择、改良测度学习算法也是一个研究热点。但是，在现实情况中，随着时间的推移，可能有大量偏离原始训练数据的新数据加入，机器学习模型的参数如果不能及时更新，就会导致性能下降。想要一次学习得到的模型能保持长时间的有效性，这必然要求足够多的训练样本，才有可能抵消新数据带来的影响。而距离测度学习算法大部分都是有监督的学习，需要事先做好标记，这无疑是一笔巨大的人工耗费。

申请号为CN201410587361.0，名称为《视频监控中跨盲区行人目标的识别匹配方法》的发明专利公开的方法是：线下训练时提取颜色特征、SIFT特征、LBP特征，根据欧氏距离分别计算单一特征匹配相似度得分，通过对三种特征设置合适的相似度贡献权重，线上利用融合特征进行最终的目标匹配。该方法考虑到了采用不同类型的特征进行匹配从而提高匹配准确度，但利用融合特征容易带来特征维数高、计算复杂度大的问题，而且SIFT、LBP两种特征本身的提取复杂度就较高。此外该方法的线上匹配过程完全依赖一次线下训练的结果，而且匹配相似度的计算是通过欧氏距离得到，其弊端在前文中已经提及。

发明内容

本发明所要解决的技术问题是克服现有的线下距离测度学习算法在测试样本大幅增多后，由于最初习得的测度矩阵不能很好地反映当前情况而造成的匹配准确率大幅下降的问题。

本发明在KISS测度学习算法的基础上，提出一种基于多特征自适应测度学习的在线目标匹配方法，将“一次线下学习”改为“多次线上学习”过程，根据实时的情况不断调整、修正测度矩阵，在一定程度上保证匹配准确率。

本发明的技术方案具体如下：

一种基于多特征自适应测度学习的在线目标匹配方法，通过自适应学习合适的测度矩阵得到较佳的相似性度量距离函数对目标进行匹配，可分为三个阶段：

(1)初始线下训练阶段；

(2)在线目标匹配阶段；

(3)测度更新阶段。

进一步，上述初始线下训练阶段选取具有互补特性的三种外观特征，分别学习三个测度矩阵，该阶段步骤如下：

步骤A、对含有标记信息的个数为N_tr的初始训练样本进行尺寸归一化预处理；

步骤B、学习图像样本的RGB测度矩阵M_rgb，具体包括：

1)、提取所有训练样本的加权RGB联合颜色直方图特征；

2)、两个训练样本的特征向量分别记为x_i和x_j，计算矩阵其中，y_ij是相似性标签，如果两样本类标签相同，即y_i＝y_j时，y_ij＝1，反之，当两样本类标签不同时，y_ij＝0，协方差匹配矩阵和协方差非匹配矩阵分别根据以下两式得到：N₁表示匹配特征向量对数，N₀表示非匹配特征向量对数；

3)，对矩阵进行重投影，得到锥半正定矩阵M_rgb，即所求RGB测度矩阵；

步骤C、学习图像样本的HSV测度矩阵M_hsv；

步骤D、学习图像样本的HOG测度矩阵M_hog。

作为优选，上述在线目标匹配阶段根据学习的三个测度矩阵，结合外观模型和测度学习方法间的关系得到最终的排序序号，并作为新训练数据的判别条件，该阶段步骤如下：

步骤A、对输入的个数为N_te的测试样本，其中原型图像集样本数为N_g，探针测试图像集样本个数为N_p，进行同上的尺寸归一化预处理；

步骤B、计算RGB测度对应的排序序号Rank_rgb，具体包括：

1)、提取样本的加权RGB联合颜色直方图特征；

2)、根据下式计算RGB测度对应的原型图像样本与当前探针测试图像样本间的马氏距离(Mahalanobis distance)

P_{M r g b} (x_{i}, x_{j}) = \sqrt{{(x_{i} - x_{j})}^{T} M_{r g b} (x_{i} - x_{j})};

3)、将D_Mrgb从小到大排序，可得到各原型样本对应的排序序号Rank_rgb；

步骤C、计算HSV测度对应的排序序号Rank_hsv，参照步骤B；

步骤D、计算HOG测度对应的排序序号Rank_hog，参照步骤B；

步骤E、根据Rank＝Rank_rgb+Rank_hsv+Rank_hog计算最终排序序号，其最小值对应的原型图像样本即为与当前探针测试样本匹配的目标，输出匹配结果。

步骤F、根据最终排序序号值判断当前探针测试图像样本是否可作为候选新训练集数据，若Rank＜0.15N_g，认为匹配结果较为准确，可以当作候选新训练集样本，将其存入长度为Len的缓存队列中，Len＝N_tr/2，否则仅完成上一步输出目标匹配结果之后，继续进行下一幅探针图像样本的匹配。

作为优选，上述输出匹配结果步骤利用单一特征匹配准确率性能，如果出现多个样本同时取得Rank最小值的情况，取其中Rank_rgb最小值对应的样本为匹配目标。

上述测度更新阶段利用新数据自身的信息，采取微调与整体再学习相结合的增量式方法更新测度矩阵，该阶段包括以下步骤：

步骤A、每出现一个符合条件的候选新训练集数据，在存入缓存队列中的同时，也将其加入到原训练集中，按如下原则对测度矩阵进行微调更新：

记集合X为未加入样本前的训练集合中匹配特征向量对的差矢量集合，对数为N，集合Y表示该样本与加入前的样本集合构成的匹配特征向量对的差矢量集合，对数为L，协方差匹配矩阵更新为每当加入一个候选新训练集样本时，只需要计算协方差矩阵∑_Y，就可以更新协方差匹配矩阵，因此计算量较少，协方差非匹配矩阵也可根据相同的方法得到，从而可以得到更新后的测度矩阵

步骤B、当缓存队列满时，按照初始线下训练阶段的方法对当前原训练集中的数据进行重学习，更新测度矩阵，清空缓存队列；

步骤C、更新终止条件：当连续P个探针测试图像样本中有90％都满足候选新训练集条件时，认为此时的测度矩阵足够准确，不再继续进行修正、再训练。

最后，将一次线下训练、线上匹配模式，改为满足候选新训练样本条件且不满足更新终止条件时的多次、自适应的线上再学习过程。

相比现有技术，本发明具有以下有益效果：

本发明实现了测度矩阵根据实时的情况不断在线调整、修正，在智能视频监控系统运行过程中持续的将匹配准确度维持在较高的水平。由于KISS测度学习算法自身的时间复杂度远低于其他算法，即使增加了再学习的步骤，整体的时间复杂度依旧不高，因此本发明特别适合于智能视频监控的应用背景。本发明将“一次线下学习”改为“多次线上学习”过程，根据实时的情况不断调整、修正测度矩阵，可以显著提高匹配准确率。

附图说明

图1为CMC(Cumulative Match Characteristic)累计匹配特性曲线示意图；

图2为颜色特征条带划分示意图；

图3为多特征自适应测度学习的在线目标匹配方法流程图；

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是：在特征选择阶段，提取具有互补特性的颜色特征和局部特征，颜色特征是一种全局特征，对图像及图像区域的方向、大小变化不明显，不受图像旋转和平移变化的影响，但受光照影响明显；而局部特征对亮度变化及遮挡有一定鲁棒性，可以弥补颜色特征的不足。由于联合颜色直方图所包含的颜色分布信息远比单通道的颜色直方图丰富，本发明就颜色特征选取了RGB联合颜色直方图特征、HSV联合颜色直方图特征，局部特征选取了具有很好区分度、近年来研究较热的HOG特征。由于在行人目标匹配的研究中通常需要排除光照变化带来的影响，所以上述的HSV联合颜色直方图特征实际是由H、S两通道提取得来。

在线下测度学习算法选择上，考虑到目前state-of-the-art的距离测度学习算法有：ITML、LMNN、LDML、KISS、RDC算法。我们以平均训练时间作为时间复杂度的衡量标准，前四种算法耗时依次为：8.60s、27.56s、0.72s、0.01s(KISS算法作者在Large Scale MetricLearning from Equivalence Constraints一文中提供的数据)，而RDC算法的训练时间达到了minute数量级(RDC算法作者在Reidentification by Relative DistanceComparison一文中给出的数据，实验数据集均为VIPeR)。由于KISS算法在时间复杂度上有着显著的优越性，本发明决定在该算法的基础上进行改良，提出一种基于多特征自适应测度学习的在线目标匹配方法。本发明的匹配准确率结果是基于如图1所示的CMC累计匹配特性曲线得到的。CMC曲线是被广泛采用的衡量匹配准确率的性能曲线。其横坐标表示：Rank值，比如Rank1代表与探针测试样本距离最小的原型样本就是它的正确匹配样本。Rank k对应的纵坐标值表示：在已按距离大小排序的原型样本集中前k个内命中正确匹配目标的概率。

下面介绍本发明的具体步骤，一种基于多特征自适应测度学习的在线目标匹配方法，包括初始线下训练阶段、在线目标匹配阶段和测度更新阶段：

所述初始线下训练阶段包括以下步骤：

步骤A、对含有标记信息的个数为N_tr的初始训练样本进行尺寸归一化(128*64)预处理；

步骤B、学习图像样本的RGB测度矩阵M_rgb，具体如下：

步骤B1、如图2颜色特征条带划分示意图所示，将所有训练样本分割成8+7个有重叠的横向条带，每个条带高度为16像素；

步骤B2、把图像中每个像素的颜色显著度(转为0～1内的值)作为其对颜色直方图的贡献权重，定义如下式：对每个条带统计R、G、B三个通道的加权联合颜色直方图，每个颜色通道分为4个bin；

步骤B3、将15个条带的加权联合颜色直方图按顺序串联，形成4*4*4*15＝960维的特征；

步骤B4、两个训练样本的特征向量分别记为x_i和x_j，计算矩阵其中，y_ij是相似性标签，如果两样本类标签相同，即y_i＝y_j时，y_ij＝1，反之，当两样本类标签不同时，y_ij＝0，协方差匹配矩阵和协方差非匹配矩阵分别根据以下两式得到：N₁表示匹配特征向量对数，N₀表示非匹配特征向量对数；

步骤B5，对矩阵进行重投影，得到锥半正定矩阵M_rgb，即所求RGB测度矩阵；

步骤C、学习图像样本的HSV测度矩阵M_hsv，具体如下：

步骤C1、同样按照图2颜色特征条带划分示意图，将所有训练样本分割成8+7个有重叠的横向条带，每个条带高度为16像素；

步骤C2、对每个条带统计H、S两个通道的联合颜色直方图，每个颜色通道分为8个bin；

步骤C3、将15个条带的联合颜色直方图按顺序串联，形成8*8*15＝960维的特征；

步骤C4、计算矩阵

步骤C5、得到HSV测度矩阵M_hsv；

步骤D、学习图像样本的HOG测度矩阵M_hog，具体如下：

步骤D1、将所有训练样本转换到灰度空间，去除上、下、左、右边缘的8像素宽度图像，剩下中间112*48像素大小；

步骤D2、Gamma归一化；

步骤D3、用如下公式计算梯度：

G (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}},

θ (x, y) = \tan^{- 1} (\frac{G_{y} (x, y)}{G_{x} (x, y)});

步骤D4、计算每个细胞单元格内梯度直方图(8*8像素/cell)；

步骤D5、将多个细胞单元组合成更大的块，对块内的梯度直方图归一化(2*2cell/block)；

步骤D6、收集所有块的HOG特征，最终维数为((112-8)÷8)*((48-8)÷8)*2*2*4＝1040。

步骤D7、计算矩阵

步骤D8、得到HOG测度矩阵M_hog。

所述在线目标匹配阶段包括以下步骤：

步骤A、对输入的个数为N_te的测试样本，其中原型图像集样本数为N_g，探针测试图像集样本个数为N_p，进行同上的尺寸归一化(128*64)预处理；

步骤B、计算RGB测度对应的排序序号Rank_rgb，具体如下：

步骤B1、提取样本的加权RGB联合颜色直方图特征；

步骤B2、根据下式计算RGB测度对应的探针图像样本与原型图像样本间的马氏距离(Mahalanobis distance)

D_{M r g b} (x_{i}, x_{j}) = \sqrt{{(x_{i} - x_{j})}^{T} M_{r g b} (x_{i} - x_{j})}

步骤B3、将D_Mrgb从小到大排序，可得到各原型样本对应的排序序号Rank_rgb，序号越小表示其与当前探针图像样本相似度越高；

步骤C、计算HSV测度对应的排序序号Rank_hsv，参照步骤B；

步骤D、计算HOG测度对应的排序序号Rank_hog，参照步骤B；

步骤E、按下式计算最终排序序号，其最小值对应的原型图像样本即为与当前探针测试样本匹配的目标，输出匹配结果。

Rank＝Rank_rgb+Rank_hsv+Rank_hog

依据之前实验的结果，见表1，KISS算法与单一特征结合使用时，RGB特征效果最好，如果出现多个样本同时取得Rank最小值的情况，取其中Rank_rgb最小的为匹配目标；

步骤F、根据最终排序序号判断是否列为候选新训练集数据，如果Rank＜0.15N_g，认为匹配结果较为准确，可以当作候选新训练集样本，将其存入长度为Len的缓存队列中，Len＝N_tr/2。

所述测度更新阶段包括以下步骤：

记集合X为未加入样本前的训练集合中匹配特征向量对的差矢量集合，对数为N，集合Y表示该样本与加入前的样本集合构成的匹配特征向量对的差矢量集合，对数为L，协方差匹配矩阵更新为每当加入一个候选新训练集样本时，只需要计算协方差矩阵Σ_Y，就可以更新协方差匹配矩阵，计算量较少。协方差非匹配矩阵也可根据相同的方法得到。

从而可以得到更新后的测度矩阵

步骤B、当缓存队列满时，按照初始线下训练阶段的方法对当前原训练集中的数据进行重学习，更新测度矩阵。清空缓存队列。

图3显示了上述多特征自适应测度学习的在线目标匹配方法的流程图。

特征	RGB	HSV	HOG
				匹配准确率(％)	94.3	91.4	92.7

表1

表1为KISS测度学习算法在不同单一特征下的性能比较，反应了当KISS算法与单一特征结合使用时，RGB颜色直方图特征效果最好。

测试样本数	150	200	250	300	350	500
							匹配准确率	0.983	0.972	0.960	0.949	0.926	0.892

表2

在ETHZ数据集中选取200个训练样本(40人*5个/人)，测试集中probe和gallery样本的比例为4:1，随着读取的测试样本不断增多，准确率呈现明显下降趋势，如表2(匹配准确率与测试样本数量关系(线下学习、在线匹配))所示，揭示了前文所述的问题：随着时间的推移，可能有大量偏离原始训练数据的新数据加入，机器学习模型的参数如果不能及时更新，就会导致性能严重下降。说明了在线自适应更新测度的必要性。表3显示了匹配准确率与测试样本数量的关系(在线自适应更新、匹配)，体现了在线自适应更新算法的优势。

测试样本数	150	200	250	300	350	500
							匹配准确率	0.984	0.981	0.977	0.972	0.967	0.965

表3

需要说明的是，以上所述仅为本发明的具体实施例，并不用以限制本发明，本实施例中所用数据集和攻击模式仅限于本实施例，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多特征自适应测度学习的在线目标匹配方法，其特征在于，通过自适应学习合适的测度矩阵得到较佳的相似性度量距离函数对目标进行匹配，可分为三个阶段：

(1)初始线下训练阶段；

(2)在线目标匹配阶段；

(3)测度更新阶段。

2.根据权利要求1所述的基于多特征自适应测度学习的在线目标匹配方法，其特征在于所述初始线下训练阶段选取具有互补特性的三种外观特征，分别学习三个测度矩阵，该阶段步骤如下：

步骤B、学习图像样本的RGB测度矩阵M_rgb，具体包括：

1)、提取所有训练样本的加权RGB联合颜色直方图特征；

2)、两个训练样本的特征向量分别记为x_i和x_j，计算矩阵其中，y_ij是相似性标签，如果两样本类标签相同，即y_i＝y_j时，y_ij＝1，反之，当两样本类标签不同时，y_ij＝0，协方差匹配矩阵和协方差非匹配矩阵分别根据以下两式得到：

N₁表示匹配特征向量对数，N₀表示非匹配特征向量对数；

3)、对矩阵进行重投影，得到锥半正定矩阵M_rgb，即所求RGB测度矩阵；

步骤C、学习图像样本的HSV测度矩阵M_hsv；

步骤D、学习图像样本的HOG测度矩阵M_hog。

3.根据权利要求1所述的基于多特征自适应测度学习的在线目标匹配方法，其特征在于所述在线目标匹配阶段根据学习的三个测度矩阵，结合外观模型和测度学习方法间的关系得到最终的排序序号，并作为新训练数据的判别条件，该阶段步骤如下：

步骤B、计算RGB测度对应的排序序号Rank_rgb，具体包括：

1)、提取样本的加权RGB联合颜色直方图特征；

2)、根据下式计算RGB测度对应的原型图像样本与当前探针测试图像样本间的马氏距离

3)、将D_{M rgb}从小到大排序，可得到各原型样本对应的排序序号Rank_rgb；

步骤C、计算HSV测度对应的排序序号Rank_hsv，参照步骤B；

步骤D、计算HOG测度对应的排序序号Rank_hog，参照步骤B；

步骤E、根据Rank＝Rank_rgb+Rank_hsv+Rank_hog计算最终排序序号，其最小值对应的原型图像样本即为与当前探针测试样本匹配的目标，输出匹配结果；

4.根据权利要求3所述的基于多特征自适应测度学习的在线目标匹配方法，其特征在于所述输出匹配结果步骤利用单一特征匹配准确率性能，如果出现多个样本同时取得Rank最小值的情况，取其中Rank_rgb最小值对应的样本为匹配目标。

5.根据权利要求1或2所述的基于多特征自适应测度学习的在线目标匹配方法，其特征在于所述测度更新阶段利用新数据自身的信息，采取微调与整体再学习相结合的增量式方法更新测度矩阵，该阶段包括以下步骤：

记集合X为未加入样本前的训练集合中匹配特征向量对的差矢量集合，对数为N，集合Y表示该样本与加入前的样本集合构成的匹配特征向量对的差矢量集合，对数为L，协方差匹配矩阵更新为每当加入一个候选新训练集样本时，只需要计算协方差矩阵∑_Y，就可以更新协方差匹配矩阵，因此计算量较少，协方差非匹配矩阵也可根据相同的方法得到，从而可以得到更新后的测度矩阵步骤B、当缓存队列满时，按照初始线下训练阶段的方法对当前原训练集中的数据进行重学习，更新测度矩阵，清空缓存队列；

6.根据权力要求5所述的基于多特征自适应测度学习的在线目标匹配方法，其特征在于，将一次线下训练、线上匹配模式，改为满足候选新训练样本条件且不满足更新终止条件时的多次、自适应的线上再学习过程。