CN107563327B - 一种基于自步反馈的行人重识别方法及系统 - Google Patents

Abstract

本发明提供一种基于自步反馈的行人重识别方法及系统。该方法首先分割样本区域，计算样本之间的亲密度；然后输入查询样本，计算出每个样本的分数以及不确定性，得到查询匹配结果；与此同时，定量评价每个样本在排序问题上的难易程度，将排序困难的样本挑选出来构成待反馈样本集，提交用户标记；用户反馈完成后，用反馈样本集更新样本标记，重新计算样本的排序得分和其难易程度，直到最终查找到用户期望的检索目标。本发明提出的基于自步学习和主动学习的反馈技术，充分了利用未标记图像的信息量，挑选对排序任务最困难的样本提供给用户标记，在有效减少用户标记的同时，能准确快速地找出正确的目标对象。

Description

一种基于自步反馈的行人重识别方法及系统

技术领域

本发明涉及视频侦查领域中的行人重识别问题，属于一种基于自步反馈的行人重识别方法及系统。

背景技术

监控视频中的行人重识别是在照射区域无重叠的多摄像头环境下匹配特定行人对象的技术。在实际视频侦查中，侦查员主要根据同一行人对象的活动画面和轨迹来快速锁定、排查和追踪嫌疑目标。传统人工浏览的视频侦查模式需要耗费大量的人力和时间，容易贻误破案时机。行人重识别技术便于视频侦查员快速、准确地发现嫌疑目标活动画面和轨迹，对公安部门提高破案效率、维护人民群众生命财产安全具有重要意义。

现有行人重识别方法大致可以分为三类：

第一类主要构造鲁棒的视觉特征，然后使用标准的距离函数(如欧式距离等)进行相似性度量。例如一种基于对称分割的多局部特征匹配的行人重识别方法，首先利用颜色特征线索对身体进行水平和垂直分割；其次提取各区域的多种颜色和纹理特征，并基于水平中轴加权上述视觉特征；最后综合使用上述特征进行对象的表示和匹配；

第二类对于特征构造没有严格的要求，主要通过学习一个合适的尺度进行更准确的距离度量，将同类样本的差向量和不同样本的差向量分别表示成不同的高斯分布，然后用概率的比值来度量样本之间的距离，最终将高斯分布的比值转换成马氏距离的形式，从而学习一个合适的马氏距离函数。

第三类是交互式重排序方法。利用人的反馈对样本图像进行学习，对行人重识别已有的排序结果进行优化。此类方法通常将样本标记为正负，然后利用标记样本与其他样本的相关度量，对排序进行调整。这种方法实现效果很好，鲁棒性好，但是需要标记样本数量较多，系统开销较大。在标记样本时，很难找到在整体上相似或者不相似的样本，绝对的相似与不相似也限制了对于大多样本的标记，将相似程度不同的样本统一对待，没有最大程度发挥标记的作用。

专利号“CN 101539930 A”，名称为“一种相关反馈图像检索方法”的专利，通过基于分段相似性度量和多轮次联合反馈的图像检索方法来实现对目标图像进行检索的，这种方法检索出的匹配效果比较好，但是运算过程相对复杂，需要反复对图像中多个特征进行训练学习，不适于在行人重识别系统中进行实战部署。

发明内容

本发明的目的在于选出能有效提高检索精度的样本交由人来注释，克服现有技术缺陷，提出一种基于自步反馈(Self Paced Feedback,SPF)的行人重识别方法及系统。

本发明的技术方案提供一种基于自步反馈的行人重识别方法，包括以下步骤：

基于自步反馈的行人重识别方法，其特征在于：包括以下步骤：

步骤1，进行数据准备；分割样本区域，计算样本之间在各自对应区域上的亲密度，将所有样本的分割成K个区域，1,2,…,K；计算出每个区域内被查询样本之间的亲密度，生成亲密度矩阵

其中

反应了在第个k区域，样本x_i和样本x_j的相似度，

是第i个样本和第j个样本在第k个区域之间的距离，m是样本的个数；

步骤2，输入查询样本，计算出每个样本的分数以及不确定性，得到查询匹配结果，包括以下子步骤：

步骤2.1将查询样本分成K个区域，给出被查询样本的初始的标记

初始的

是第i个样本的第k个区域和查询样本的第k个区域之间的距离；

步骤2.2，计算出一对样本在流形排序上的损失；计算公式如下，

公式中第一项是平滑正则项，代表相似的样本应该具有相似的分数，后两项是约束项，要求分数和用户的反馈不能相差太大；α是平滑项和约束项之间权重参数；

步骤2.3根据样本之间的亲密度，反馈的样本信息，求得样本的排序分数以及不确定性；

其中f,v的优化目标如下

其中

表示第i个样本第k区域的不确定性；不确定性通常是由排序损失

和自步学习的阈值

决定的；当样本排序损失

比自步学习的阈值

小的时候，其对应的不确定值

和

就会接近于0；当样本排序损失

比较大时，证明模型对于当前样本不确定，当前样本对应的

和

就会比较大；最后一项是关于V的正则项，使V变得稀疏，分布在身体的不同部位；

优化步骤具体是：

步骤2.31，先固定V，优化f，优化公式如下，

转化为凸优化问题解出f；

步骤2.32，固定f，优化V，公式如下

其中

表示第i个样本第k区域的不确定性；不确定性通常是由排序损失

和自步学习的阈值

决定的；当样本排序损失

比自步学习的阈值

小的时候，其对应的不确定值

和

就会接近于0；当样本排序损失

比较大时，证明模型对于当前样本不确定，当前样本对应的

和

就会比较大；最后一项是关于V的正则项，使V变得稀疏，分布在身体的不同部位；交替优化f，V，每次优化V时，用y＝y+(1-δ)f代替，以得到一个更好的标记，其中δ是y和f之间的权重参数；

通过凸凹规划(Convex ConCave Program，CCCP)算法转化为凸优化问题解出V；

交替优化f，V时，每次优化V时，用y＝y+(1-δ)f代替，以得到一个更好的标记，其中δ是y和f之间的权重参数；

步骤3，将

值按照从大到小的顺序进行排序，从每个区域选出v值比较大的样本，构成待反馈样本集；

步骤4，查询匹配结果，如果符合要求则输出结果，如果不符合要求，从待反馈样本集选出样本，进行标记，构成反馈样本集；

标记类型方式为，在样本的每个区域的待反馈样本集中，分别选取与标记，对样本进行标记时，按照区域的划分，每个区域标记的标签在[-1,1]之间，由实际的样本之间的相似度决定样本的标签；

步骤5，用反馈样本集更新样本标记，返回步骤2，进行迭代更新反馈样本，直到符合要求。

在上述的基于自步反馈的行人重识别方法，分割样本区域，计算样本之间在各自对应区域上的亲密度；将所有样本的分割成K个区域；计算出每个区域内被查询样本之间的亲密度，生成亲密度矩阵

其中

反应了在第个k区域，样本x_i和样本x_j的相似度，

是第i个样本和第j个样本在第k个区域之间的距离，m是样本的个数。

在上述的基于自步反馈的行人重识别方法，对反馈样本按照区域的划分，与查询图像中对应区域分别进行相似性比较时，计算每个区域的相似分数进行加权。

在上述的基于自步反馈的行人重识别方法，计算出一对样本在流形排序上的损失；计算公式如下，

公式中第一项是平滑正则项，代表相似的样本应该具有相似的分数，后两项是约束项，要求分数和用户的反馈不能相差太大；α是平滑项和约束项之间权重参数。

在上述的基于自步反馈的行人重识别方法，标记类型方式为，在样本的每个区域的待反馈样本集中，分别选取与标记，对样本进行标记时，按照区域的划分，每个区域标记的标签在[-1,1]之间，由实际的样本之间的相似度决定样本的标签。

一种基于自步反馈的行人重识别系统，其特征在于：包括以下模块，

数据准备模块，用于提前准备待查询样本数据，，具体是分割样本区域，计算样本之间的亲密度，将所有样本的分割成K个区域；计算出每个区域内被查询样本之间的亲密度；

计算模块，用于进行初次查询匹配和计算样本的不确定性，包括以下子模块：

初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

不确定性计算子模块，用与衡量待查询样本的不确定性；

反馈模块，用于反馈样本收集，包括以下子模块：

反馈样本收集子模块，用于在执行反馈样本收集时，选出不确定性较高的样本中选取不图像作为反馈样本，构成待反馈样本集；

反馈样本子模块，从待反馈样本集选出样本进行标记，构成反馈样本集；

查询匹配模块，根据反馈样本集的结果，更新标记，优化目标，得到查询匹配结果；

结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，重新进行查询匹配，直到符合要求。

本发明可提高行人重识别系统进行匹配识别的有效性和准确性，具有以下优点：1、本发明综合各个区域反馈的结果，基于多图流形的融合实现一个关于全身相关性的综合排序；2、样本标记采取结构化标签，不仅只判断正负样本，而是给出量化的相似度或者不相似度，充分发挥标记的作用；3、用自步学习(Self Paced Learning,SPL)的思想衡量样本的不确定性，选出最具有信息量的样本，标记之后可以有效提高准确率，减少需要的人工标记量，节省人力；

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明所提供的一种基于自步反馈的行人重识别方法，是针对视频监控场景下的行人图像与其他情况下各种图像的显著差异性，依据人在行走状态下身体各部位组成结构特点，将其分为几个固定的组成区域，将区域作为基本处理单元，并算出样本的不确定性，标记不确定性比较大的样本，最后依据优化后的分数大小进行重排序，实现基于自步反馈的行人重识别方法的全过程。具体实施时

可采用计算机软件技术，支持流程运行。参见图1，实施例的流程包括步骤如下：

步骤1，将待查询的所有样本分割，计算样本之间在各自对应区域上的亲密度，将所有样本的分割成K个区域，1,2,…,K。具体实施时，K通常是2，将人分成上下半身，也可依据其他标准划分区域。计算出每个区域内被查询样本之间的亲密度，生成亲密度矩阵

其中

反应了在第个k区域，样本x_i和样本x_j的相似度，

是第i个样本和第j个样本在第k个区域之间的距离，m是样本的个数，具体实施时，距离尺度可自由选择，例如距离可以采用欧式距离或者L1距离的方法。

步骤2，进行初次查询匹配，得到初次查询匹配结果，包括以下子步骤，

步骤2.1进行初次查询匹配，包括输入目标人物图像作为查询图像，例如刑侦破案涉及的嫌疑目标人图像，将查询样本分成K个区域，给出被查询样本的初始的标记

初始的

是第i个样本的第k个区域和查询样本的第k个区域之间的距离，具体实施时，采用计算待查询样本的相同距离函数。

步骤2.2，分别计算出一对样本在流形排序上的损失。计算公式如下，

公式中第一项是平滑正则项，代表相似的样本应该具有相似的分数，后两项是约束项，要求分数和用户的反馈不能相差太大。α是平滑项和约束项之间权重参数。具体实施时，没有标记的初始

对应的

相同，可有经验值或是在当前数据库中实验得出，若某一样本对应的

是已经标记的值，则对应的

相应加大，可以按照数量级增加。

步骤2.3根据样本之间的亲密度，反馈的样本信息，确定样本的排序分数以及不确定性。其中f,v的优化目标如下

其中

表示第i个样本第k区域的不确定性。不确定性通常是由排序损失

和自步学习的阈值

决定的。具体实施时的β，可由在数据库中的实验所得。当样本排序损失

比自步学习的阈值

小的时候，其对应的不确定值

和

就会接近于0。当样本排序损失

比较大时，证明模型对于当前样本不确定，当前样本对应的

和

就会比较大。最后一项是V的正则项，使V变得稀疏，分布在身体的不同部位。

在优化过程中，先固定V，优化f，优化公式如下，

此优化问题可以转化为凸优化问题解出f。

再固定f，优化V，公式如下

f，v交替优化，每次优化V时，用y＝y+(1-δ)f代替，以得到一个更好的标记，其中δ是y和f之间的权重参数。具体实施时，f，V交替优化的次数可以自由控制，但为减少查询时间，优化次数不宜过多。

步骤3，将

值排序，按照

的顺序，从每个区域选出不确定性较大的样本，构成待反馈样本集，具体实施时，每个区域选取的样本不宜过多，以保证样本的不确定性较大，减少标注的工作量。

步骤4，查询匹配结果，如果符合要求则输出结果，具体实施时，可以按照计算分数f_j的大小将样本排序，将分数大的排在前面。如果不符合要求，从待反馈样本集选出样本，进行标记，构成反馈样本集。

具体实施时，由标注者选取样本进行标记，标注者可以选取待反馈样本集中的样本，也可以自主选择样本进行标记，构成反馈样本集。

标记类型方式为，在样本的每个区域的待反馈样本集中，分别选取样本，对样本进行标记时，按照区域的划分，每个区域标记的标签在[-1,1]之间，由实际的样本之间的相似度决定样本的标签。

步骤5，用反馈样本集更新样本标记，返回步骤2，进行迭代更新反馈样本，直到符合要求。具体实施时，针对第i个样本在第k个区域的反馈标记来更新

并提高对应

的大小，以加强标记的约束。

本发明还相应提供一种基于自步反馈的行人重识别系统，包括以下模块，

1.数据准备模块，用于提前准备待查询样本数据，可以提高行人重识别的效率。包括分割样本区域，计算样本之间的亲密度，

将所有样本的分割成K个区域。计算出每个区域内被查询样本之间的亲密度。

2.计算模块，用于进行初次查询匹配和计算样本的不确定性，包括以下子模块，

2.1初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

2.2不确定性计算子模块，用与衡量待查询样本的不确定性。

3.反馈模块，用于反馈样本收集，包括以下子模块，

3.1反馈样本收集子模块，用于在执行反馈样本收集时，选出不确定性较高的样本中选取不图像作为反馈样本，构成待反馈样本集；

3.2反馈样本子模块，从待反馈样本集选出样本进行标记，构成反馈样本集；

4.查询匹配模块，根据反馈样本集的结果，更新标记，优化目标，得到查询匹配结果；

5.结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，重新进行查询匹配，直到符合要求。

各模块具体实现参见方法流程的各步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明思路作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.基于自步反馈的行人重识别方法，其特征在于：包括以下步骤：

步骤1，进行数据准备；分割样本区域，计算样本之间在各自对应区域上的亲密度，将所有样本分割成K个区域；

步骤2，输入查询样本，计算出每个样本的分数以及不确定性，得到查询匹配结果，包括以下子步骤：

步骤2.1将查询样本分成K个区域，给出被查询样本的初始的标记

初始的

是第i个样本的第k个区域和查询样本的第k个区域之间的距离；

步骤2.2，计算出一对样本在流形排序上的损失；

步骤2.3根据样本之间的亲密度，反馈的样本信息，求得样本的排序分数以及不确定性；

步骤3，将第i个样本第k区域的不确定性

值按照从大到小的顺序进行排序，从每个区域选出

值比较大的样本，构成待反馈样本集；

步骤4，查询匹配结果，如果符合要求则输出结果，如果不符合要求，从待反馈样本集选出样本，进行标记，构成反馈样本集；

步骤5，用反馈样本集更新样本标记，返回步骤2，进行迭代更新反馈样本，直到符合要求；

所述步骤2.2中，计算出一对样本在流形排序上的损失；计算公式如下

公式中第一项是平滑正则项，代表相似的样本应该具有相似的分数，后两项是约束项，要求分数和用户的反馈不能相差太大；α是平滑项和约束项之间权重参数；

所述步骤2.1中，将查询样本分成K个区域，并需要计算样本之间在各自对应区域上的亲密度，也就是将所有样本分割成K个区域，计算出每个区域内被查询样本之间的亲密度，生成亲密度矩阵

其中

反应了在第k个区域，样本x_i和样本x_j的相似度，

是第i个样本和第j个样本在第k个区域之间的距离，m是样本的个数；

所述步骤2.3中，根据样本之间的亲密度，反馈的样本信息，求得样本的排序分数以及不确定性；

其中计算公式如下

其中

表示第i个样本第k区域的不确定性；不确定性是由排序损失

和自步学习的阈值

决定的；当样本排序损失

比自步学习的阈值

小的时候，其对应的不确定值

和

就会接近于0；当样本排序损失

比较大时，证明模型对于当前样本不确定，当前样本对应的

和

就会比较大；最后一项是关于V的正则项，使V变得稀疏，分布在身体的不同部位；交替优化f，V，每次优化V时，用y＝y+(1-δ)f代替，以得到一个更好的标记，其中δ是y和f之间的权重参数；

优化步骤具体是：

先固定V，优化f，优化公式如下，

转化为凸优化问题解出f；

固定f，优化V，公式如下

通过CCCP算法转化为凸优化问题解出V；

交替优化f，V时，每次优化V时，用y＝y+(1-δ)f代替，以得到一个更好的标记，其中δ是y和f之间的权重参数；

步骤 4中，标记类型方式为在样本的每个区域的待反馈样本集中，分别选取与标记，对样本进行标记时，按照区域的划分，每个区域标记的标签在[-1,1]之间，由实际的样本之间的相似度决定样本的标签。

2.一种采用权利要求1所述的基于自步反馈的行人重识别方法的系统，其特征在于：包括以下模块，

数据准备模块，用于提前准备待查询样本数据，具体是分割样本区域，计算样本之间的亲密度，将所有样本分割成K个区域；计算出每个区域内被查询样本之间的亲密度；

计算模块，用于进行初次查询匹配和计算样本的不确定性，包括以下子模块：

初次查询匹配子模块，用于将输入目标人物图像作为查询图像，进行初始查询并输出初始查询排序结果；

不确定性计算子模块，用与衡量待查询样本的不确定性；

反馈模块，用于反馈样本收集，包括以下子模块：

反馈样本收集子模块，用于在执行反馈样本收集时，选出不确定性较高的样本图像作为反馈样本，构成待反馈样本集；

反馈样本子模块，从待反馈样本集选出样本进行标记，构成反馈样本集；

查询匹配模块，根据反馈样本集的结果，更新标记，优化目标，得到查询匹配结果；

结果显示模块，显示查询匹配模块所得查询匹配结果，如果符合要求，则输出结果；如果不符合要求，则通知反馈样本收集子模块更新反馈样本集，重新进行查询匹配，直到符合要求。

Images