CN109740672A - 多流特征距离融合系统与融合方法 - Google Patents

Abstract

本发明公开了一种多流特征距离融合系统，包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络与用于分别从各特征图中提取相应特征的特征提取网络；贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；距离融合模块用于计算相应特征图之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离。还公开了一种多流特征距离融合方法。本发明能够通过多流特征距离为图像相似性判断提供更加符合真实情况的参考指标，为提高图像相似性判断的准确性带来了突破性进展。

Description

多流特征距离融合系统与融合方法

技术领域

本发明涉及图像识别领域，尤其是一种用于图像相似性判断的多流特征融合系统。

背景技术

图像识别通常需要进行图像相似度计算，一般采用两幅图像的特征距离作为图像相似度指标。目前，大多数方法都致力于提取一个有区别性的全局特征，计算全局特征的特征距离，特征距离越小，图像相似度越高。但是，在图像识别中往往需要识别特定的对象，不同对象有可能在整体上相似，但是在局部细节上是不相同的，因此还需要通过区域特征进一步的进行区分。现有技术所采用的基于全局特征的图像识别方法，则不能区分整体相似度较高的图像中的对象是否为同一目标对象。

发明内容

针对上述现有技术的不足，本发明提供一种多流特征距离融合系统，解决现有技术不能很好的对全局特征与区域特征进行融合的技术问题，能够通过多流特征距离为图像相似性判断提供更加符合真实情况的参考指标，为提高图像相似性判断的准确性带来了突破性进展。

为了解决上述技术问题，本发明采用了如下的技术方案：一种多流特征距离融合系统，包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；

多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络，所述特征图包括全局特征图与n个区域特征图；多流特征提取网络还包括用于分别从各特征图中提取相应特征的特征提取网络；多流特征提取网络能够将特征图输出给贡献系数自适应生成模块，并能将提取到的特征输出给距离融合模块；

贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；所述激活比是指区域特征图上的非零值点的数量与全局特征图上的非零值点的数量的比率；所述贡献系数是指全局特征或区域特征对融合距离的贡献程度；全局特征贡献系数恒为1；

距离融合模块用于根据待测图像的各特征图与参考图像的各特征图计算相应特征图之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离。

优选的，所述特征图提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。

优选的，所述区域分割网络为身体分割提取网络或人脸分割提取网络。

优选的，所述激活比计算模块按如下公式计算激活比ar：

其中，N表示特征图的维度，H_l、W_l分别是区域特征图的高度尺寸、宽度尺寸，H_g、W_g分别是全局特征图的高度尺寸、宽度尺寸；

其中，P(i,j,k)表示区域特征图上特征点的值；

其中，P(i,j,k)表示区域特征图上特征点的值。

优选的，距离融合模块按如下公式计算多流特征距离R：

R＝C_g.d_g(I_p,I_g)+C₁.d₁(I_p,I_g)+......+C_n.d_n(I_p,I_g)

其中，C_g表示全局特征贡献系数；d_g(I_p,I_g)表示待测图像的全局特征与参考图像的全局特征图的欧氏距离；d₁(I_p,I_g)......d_n(I_p,I_g)分别表示待测图像的各区域特征到参考图像的各对应区域特征的欧氏距离。

优选的，激活比取值区间采用激活比优化区间，以对激活比进行约束：贡献系数取值区间采用贡献系数优化区间，以对贡献系数进行约束：当激活比计算模块计算出的激活比在激活比优化区间外时，通过所述映射函数就能将激活比所对应的贡献系数映射到贡献系数优化区间内。

优选的，激活比优化区间按如下方式确定：

首先，获取具有s张图像的图像数据集，并提取各图像的全局特征图与n个区域特征图；

然后，重复进行N次随机试验，每进行一次随机试验便计算出n×s个激活比，每幅图像均对应有n种类型的激活比；N次随机试验结束后，对于每种类型的激活比均获得包含N×s个激活比的激活比集合；

最后，以区间长度Δar将每种类型的激活比集合划分成若干分段区间；之后，计算每种类型的激活比的每个分段区间的分布概率，对于每种类型的激活比，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的激活比的激活比优化区间。

优选的，首先，获取图像数据集，所述图像数据集中同一目标对象至少包含两张图像，将同一目标对象的一张图像作为参考图像放入批量参考集中，同一目标对象的其余图像作为测试图像放入批量测试集中；

然后，以贡献系数组C＝[C_g,C₁,....,C_n]作为区间变量，并采用区间优化算法对批量测试集进行M次测试，其中，C_g表示全局特征贡献系数，保持C_g＝1，C₁,....,C_n分别为与各区域特征对应的区域特征贡献系数；每次测试均采用模拟退火算法搜索最优贡献系数组H，其中，模拟退火算法的迭代次数为L，每迭代一次均根据参考图像的贡献系数组计算当前贡献系数组的损失函数，迭代完毕后获得一个最优贡献系数组H；测试完毕后获得由M个最优贡献系数组H组成的最优贡献系数集；

最后，从最优贡献系数集中提取相同类型的区域特征贡献系数，并以区间长度ΔC将相同类型的区域特征贡献系数划分成若干分段区间；之后，计算每种类型区域特征贡献系数的每个分段区间的分布概率，对于每种类型的区域特征贡献系数，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的区域特征贡献系数的贡献系数优化区间。

本发明还提供一种多流特征距离融合方法，采用本发明的多流特征距离融合系统，包括以下步骤：

步骤1：输入参考图像至多流特征提取网络，通过特征提取网络提取参考图像的全局特征图与n个区域特征图；特征提取网络分别根据参考图像的全局特征图与n个区域特征图提取参考图像的全局特征与n个区域特征；并将参考图像的全局特征与n个区域特征发送给距离融合模块；

步骤2：输入待测图像至多流特征提取网络，通过特征提取网络提取待测图像的全局特征图与n个区域特征图；特征提取网络分别根据待测图像的全局特征图与n个区域特征图提取待测图像的全局特征与n个区域特征；并将待测图像的全局特征图与n个区域特征图发送给贡献度自适应模块，将待测图像的全局特征与n个区域特征发送给距离融合模块；

步骤3：激活比计算模块根据测试图像的全局特征图与n个区域特征图，计算待测图像的各个区域特征图的激活比；

步骤4：贡献度映射模块根据待测图像的各个区域特征图的激活比计算各区域特征的贡献系数；

步骤5：距离融合模块根据待测图像的各特征与参考图像的各特征计算相应特征之间的特征距离；

步骤6：距离融合模块获取各区域特征的贡献系数，利用各特征的贡献系数将各特征距离融合成多流特征距离。

与现有技术相比，本发明具有以下有益效果：

1、本发明不是简单的将各特征距离进行叠加，本发明在进行距离融合时，考虑了全局特征与各个区域特征对融合距离的贡献程度，即引入了贡献系数，从而能够更好的判断整体相似度高，而局部具有差异的图像的相似性：在整体相似性高，但某一个或几个局部区域区别较小时，相应区域特征图像的激活比越小，则相应的区域特征贡献系数越小，那么多流特征距离的值越小，图像相似性越高；在整体相似性高，但某一个或几个局部细节区别较大时，相应区域特征图像的激活比越大，相应的区域特征贡献系数越大，那么多流特征距离的值越大，图像相似性越低。

2、本发明通过贡献系数自适应生成模块根据输入的特征图自动生成贡献系数，具有良好的自适应性。

3、本发明的多流特征提取网络通过全局特征提取网络首先提取全局特征图；通过语义分割模块提取去除背景后的输入图像作为其中一幅区域特征图，从而减少环境变化带来的影响；区域分割网络先在输入图像上进行区域分割，从而确定各局部区域的位置，然后池化模块根据各局部区域的位置在全局特征图上提取出相应区域特征图，这样能够减少运算量。

4、当采用身体分割提取网络作为区域分割网络时，可以用于行人重识别，来识别图像中的行人是否为同一行人，身体分割提取网络是根据身体区域进行区域分割的，解决了待测图像与参考图像的拍摄距离不同而导致相应身体区域发生错位的问题。

5、当采用人脸体分割提取网络作为区域分割网络时，可以用于人脸识别，人脸分割提取网络是根据人脸区域进行区域分割的，解决了待测图像与参考图像的拍摄距离不同而导致相应面部区域发生错位的问题。

6、激活比取值区间与贡献系数取值区间的全区间均为[0,1]，在全区间上进行区间优化：主要是根据分段区间的分布概率来缩小取值区间，剔除掉分布概率小于阈值的分段区间，从而能够将贡献系数强制约束到分布概率较大的优化区间上，以提高识别精度。

7、在确定贡献系数优化区间时，采用了模拟退火算法(模拟退火算法为现有算法，在此不进行赘述)，从而避免落入局部最优解，以获得全局最优解。

8、采用本发明的多流特征距离融合方法，能够得到多流特征距离，从而为图像相似性判断提供更加符合真实情况的参考指标，为提高图像相似性判断的准确性带来了突破性进展。

附图说明

图1是本具体实施方式中多流特征距离融合网络的原理图；

图2是本具体实施方式中身体分割提取网络的原理图；

图3是特征图提取网络的原理图；

图4是激活比的获取示意图；

图5是基于CUHK03数据集的激活比与贡献系数的映射关系图；

图6是基于Market1501数据集的激活比与贡献系数的映射关系图；

图7是基于CUHK03数据集的不同取值区间下的重识别准确率对比图；

图8是基于Market1501数据集的不同取值区间下的重识别准确率对比图。

具体实施方式

下面结合附图和优选实施方式对本发明作进一步的详细说明。

参考图1所示，一种多流特征距离融合系统，包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；

多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络，所述特征图包括全局特征图与n个区域特征图；多流特征提取网络还包括用于分别从各特征图中提取相应特征的特征提取网络；多流特征提取网络能够将特征图输出给贡献系数自适应生成模块，并能将提取到的特征输出给距离融合模块；

贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；所述激活比是指区域特征图上的非零值点的数量与全局特征图上的非零值点的数量的比率；所述贡献系数是指全局特征或区域特征对融合距离的贡献程度；全局特征贡献系数恒为1；

距离融合模块用于根据待测图像的各特征与参考图像的各特征计算相应特征图之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离。

本具体实施方式中，所述区域分割网络为身体分割提取网络或人脸分割提取网络。以身体分割提取网络为例，如图2所示，身体分割提取网络采用全卷积架构的CNN神经网络，复杂度较低，输入图像并计算网络响应，根据最大化特征响应并将这些网络响应组合起来生成13个身体关键点，然后根据关键点生成包括头肩区域、胸腹区域和腰腿区域在内的三个身体局部区域。

本具体实施方式中，所述多流特征提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块FCNs、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。

如图3所示，全局特征图提取网络采用CNN神经网络，并包括4个卷积层和一个inception模块，inception模块包括1×1convolutions，3×3convolutions，3×3maxpooling和filter concatenation。另外，图中ROI pooling为池化模块，区域分割网络(身体分割网络BPEN)先在输入图像上进行区域分割，从而确定各局部区域的位置，然后池化模块根据各局部区域的位置在全局特征图上提取出相应区域特征图，这样能够减少运算量。提取到全局特征图与各区域特征图后，特征提取网络再从全局特征图与各区域特征图上提取全局特征与各区域特征。特征提取网络包括一个全局特征提取网络与n个区域特征提取网络，全局特征提取网络与区域特征提取网络均采用由两个inception模块组成的CNN神经网络，从而提取到的全局特征与区域特征均为256维特征，维数过小不能表达特征，过大会增加计算复杂度。

本具体实施方式中，所述激活比计算模块按如下公式计算激活比ar：

其中，N表示特征图的维度，H_l、W_l分别是区域特征图的高度尺寸、宽度尺寸，H_g、W_g分别是全局特征图的高度尺寸、宽度尺寸；

其中，P(i,j,k)表示区域特征图上特征点的值；

其中，P(i,j,k)表示区域特征图上特征点的值。

为了更好的说明激活比，以单个特征图为例，如图4所示，全局特征图大小为8×8,0和符号“+”分别表示零和非零值，三个不同颜色的边界框表示三个不同的身体区域。全局特征图中共有40个点非零，在相应的身体区域特征图中，非零值的数量分别为4,8和5，除以40得到0.1,0.2和0.125的激活比。在mask特征图(语义分割模块所提取的区域特征图)中的非零数是36，可以得出0.9的激活率。

本具体实施方式中，贡献度映射模块以激活比作为自变量，以贡献系数作为因变量，按如下映射函数将激活比映射出贡献系数：

f(x)＝A/(1+e^-D(x-C))+B；

其中，x是激活比；e是自然常数；A、B、C和D均是公式参数，并根据激活比取值区间[μ₁,μ₂]与贡献系数取值区间[λ₁,λ₂]分别按以下公式计算：

A＝γ₂-γ₁；

B＝γ₁；

D＝min{Df(μ₁)-γ₁＜0.01,f(μ₂)-γ₁＜0.01,D∈N^*}；

其中，表示N^*表示正整数；0≤μ₁≤1，0≤μ₂≤1，0≤λ₁≤1，0≤λ₂≤1。

本具体实施方式中，距离融合模块按如下公式计算多流特征距离R：

R＝C_g.d_g(I_p,I_g)+C₁.d₁(I_p,I_g)+......+C_n.d_n(I_p,I_g)

其中，C_g表示全局特征贡献系数；d_g(I_p,I_g)表示待测图像的全局特征与参考图像的全局特征的特征距离，即欧氏距离；d₁(I_p,I_g)......d_n(I_p,I_g)分别表示待测图像的各区域特征到参考图像的各对应区域特征的欧氏距离。

本具体实施方式中，激活比取值区间采用激活比优化区间，以对激活比进行约束：贡献系数取值区间采用贡献系数优化区间，以对贡献系数进行约束：当激活比计算模块计算出的激活比在激活比优化区间外时，通过所述映射函数就能将激活比所对应的贡献系数映射到贡献系数优化区间内。

本具体实施方式中，激活比优化区间按如下方式确定：

首先，获取具有s张图像的图像数据集，并提取各图像的全局特征图与n个区域特征图；

然后，重复进行N次随机试验，每进行一次随机试验便计算出n×s个激活比，每幅图像均对应有n种类型的激活比；N次随机试验结束后，对于每种类型的激活比均获得包含N×s个激活比的激活比集合；

最后，以区间长度Δar将每种类型的激活比集合划分成若干分段区间；之后，计算每种类型的激活比的每个分段区间的分布概率，对于每种类型的激活比，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的激活比的激活比优化区间。

本具体实施方式中，贡献系数优化区间按如下方式确定：

首先，获取图像数据集，所述图像数据集中同一目标对象至少包含两张图像，将同一目标对象的一张图像作为参考图像放入批量参考集中，同一目标对象的其余图像作为测试图像放入批量测试集中；

然后，以贡献系数组C＝[C_g,C₁,....,C_n]作为区间变量，并采用区间优化算法对批量测试集进行M次测试，其中，C_g表示全局特征贡献系数，保持C_g＝1，C₁,....,C_n分别为与各区域特征对应的区域特征贡献系数；每次测试均采用模拟退火算法搜索最优贡献系数组H，其中，模拟退火算法的迭代次数为L，每迭代一次均根据参考图像的贡献系数组计算当前贡献系数组的损失函数，迭代完毕后获得一个最优贡献系数组H；测试完毕后获得由M个最优贡献系数组H组成的最优贡献系数集；

最后，从最优贡献系数集中提取相同类型的区域特征贡献系数，并以区间长度ΔC将相同类型的区域特征贡献系数划分成若干分段区间；之后，计算每种类型区域特征贡献系数的每个分段区间的分布概率，对于每种类型的区域特征贡献系数，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的区域特征贡献系数的贡献系数优化区间。

优化算法中还有一个细节需要注意，保持贡献系数C_g等于1，因为该措施可以提供一个重要的基准线，防止一组实验产生多组最优解的，如解[C₁,C₂,......,C_n]及其倍数解也可以达到同样的精度，这将增加下一步工作的难度并带来不可逆转的负面影响。

为获得更准确的区间，基于每个贡献系数，处理获得的H，具体策略是计算每个分段区间内每种类型贡献系数的分布概率，如0～0.1,0.1～0.2等，然后去除概率低于设定阈值的分段区间。接下来将保留的分段区间合并生成所求区间。以贡献系数C₁为例，在M重复随机化后，得到一组C₁，并设置0.1作为每个分段区间的长度，计算得到贡献系数在不同区间的分布概率，假设它们是β₁,β₂,β₃…β₁₀并且β₁,β₂,β₁₀均小于阈值，贡献系数C₁在这三个区间内的概率非常低，所以丢弃0～0.1,0.1～0.2和0.9～1.0的区间，得到最终的G贡献系数优化区间为0.3～0.9。

一种多流特征距离融合方法，采用本具体实施方式中的多流特征距离融合系统，包括以下步骤：

步骤1：输入参考图像至多流特征提取网络，通过特征提取网络提取参考图像的全局特征图与n个区域特征图；特征提取网络分别根据参考图像的全局特征图与n个区域特征图提取参考图像的全局特征与n个区域特征；并将参考图像的全局特征与n个区域特征发送给距离融合模块；

步骤2：输入待测图像至多流特征提取网络，通过特征提取网络提取待测图像的全局特征图与n个区域特征图；特征提取网络分别根据待测图像的全局特征图与n个区域特征图提取待测图像的全局特征与n个区域特征；并将待测图像的全局特征图与n个区域特征图发送给贡献度自适应模块，将待测图像的全局特征与n个区域特征发送给距离融合模块；

步骤3：激活比计算模块根据测试图像的全局特征图与n个区域特征图，计算待测图像的各个区域特征图的激活比；

步骤4：贡献度映射模块根据待测图像的各个区域特征图的激活比计算各区域特征的贡献系数；

步骤5：距离融合模块根据待测图像的各特征与参考图像的各特征计算相应特征之间的特征距离；

步骤6：距离融合模块获取各区域特征的贡献系数，利用各特征的贡献系数将各特征距离融合成多流特征距离。

在两个大型数据集上评估本发明的有益效果：CUHK03和Market1501。

CUHK03由13164张图像组成，一共1467个行人，由两个不同的摄像头收集，包括手动标注的边界框和由可变形部件模型(Deformable Part Model，DPM)检测的边界框，在本文中采用单镜头模式，数据集可分为包含1367人的训练集和100人的测试集，从第二个摄像头选择图像作为测试集，从第一个摄像头视角的图像中每个行人随机选取一张图像组成参考图像集。

Market1501包含来自六个摄像机的1501个行人的32668张图像，它被分成两个部分：来自751个行人的12,936张图像作为训练集和来自750个行人的19,732个图像作为测试集，利用DPM检测边界框。采用与CUHK03数据集类似的测试协议。需要注意的是，一部分训练数据用于训练CNN，另一部分用于优化贡献度反馈模块。

作为识别任务中的重要评价标准，采用累积匹配曲线(Cumulative MatchingCharacteristic，CMC)评价该行人重识别的性能，根据测试图像与参考图像之间的相似度排列排序列表。

1、实现细节

Caffe用于部署CNN，基于MPII人体姿势数据集训练身体分割提取网络，以生成关键点和三个局部身体区域。在训练多流特征提取网络中的五个分类CNN模块时，每幅图像大小缩放为96×96像素，mini-batch size设置为60，每个迭代包括1000个mini-batch size。学习率，冲量和权重衰减分别设置为0.1,0.9和0.0005，模块权重根据随机梯度下降法(Stochastic Gradient Descent,SGD)更新，最终模型在70000次迭代完成时停止并用于测试。对于图像语义分割模块，将训练好的FCNs[5]嵌入到特征提取网络中，mask特征提取模块和全局特征提取模块在网络的前半部分共享权重参数。此外，ROI Pooling模块用于获取三个身体局部区域的特征图，并缩放为24×24，然后输入到后续网络进行前向传播，在此工作中，采用softmax分类损失优化CNN并选择欧式距离计算图像之间的相似性和top-n排名算法进行行人重识别。整个实验在硬件平台上实现，配备GeForce GTX 1080GPU，16GB内存和Intel i7CPU。

2、激活比、贡献系数优化区间和映射关系的确定

如前所述，在优化贡献度反馈模块的过程中，需要进行M次重复实验，M设置为100000，然后记录激活比和贡献系数的值，并计算其在每个分段区间中的分布概率，如表1与表2所示。

表1.CUHK03和Market1501数据集上四种特征在不同激活比区间的分布概率

表2.CUHK03和Market1501数据集上四种特征在不同贡献系数区间的分布概率

在表1中，显示了不同分段区间中四个激活比的分布概率，将阈值设置为5％。通过融合分段区间，可以得出CUHK03数据集上激活比的四个特征的最佳区间为0.3～0.6,0.4～0.7,0.1～0.4和0.8～1，对于数据集Market1501，它们分别为0.3～0.6,0.3～0.7,0.1～0.4和0.7～1。表2说明了不同分段区间内四个贡献系数的分布概率，得出在CUHK03数据集上贡献系数的四个最佳区间分别为0.2～0.6,0.1～0.6,0.1～0.5和0.1～0.4。对于Market1501数据集，最优的区间为0.3～0.8,0.1～0.6,0～0.6和0～0.4。

基于三种局部身体区域特征和无背景图像mask特征的四种激活比与贡献系数映射关系，图5和图6对应于CUHK03和Market1501数据集。

3、评估多流特征距离融合

提出的网络管道是可以学习一个全局特征和四个局部特征多流CNN结构，能够进行多流特征距离融合，本文提出的方法是计算两幅图像间相应特征的欧氏距离，并将该距离与贡献系数相结合，以获得最终距离。

表3.基于CUHK03和Market1501数据集，对不同特征距离的评估

为证明本文特征距离融合策略的有效性，首先比较基于五个独立特征距离的测试结果，实验结果如表4所示，显然所提出的方法优于所有单一特征距离，比表现最佳的全局特征距离高4.8％和4.6％。另外，本文还验证了mask特征的引入可以提高重识别性能，去除mask特征的特征距离融合方法在两个数据集上分别获得了90.3％和82.6％的top-1准确率，比本文MSCF方法分别低0.9％和0.3％，虽然基于mask特征距离的重识别精度较低，只有34.6％和29.3％，但将其与其他特征距离相结合可以得到更好的提升。最后，为证明提出的多特征距离融合方法超出了特征融合的方法，进行了扩展实验，利用一个额外的CNN，以五个256维的特征为输入，生成全新的256维特征，然后计算两幅图像这两个特征之间的欧氏距离。可以分析它可以达到84.6％和77.9％的top-1准确率，与特征距离融合策略相比，在两个数据集上分别下降了6.6％和5％。以上结果证明了本文提出的多流特征距离融合方法的有效性，可以实现更高的重识别性能。

4、评估贡献系数自适应生成模块

前面已经提到，贡献度反馈模块可以根据来自inception结构中的filterconcatenation处理层的特征图生成一组贡献系数，如表4所示。

表4.基于CUHK03和Market1501数据集inception模块中不同处理层生成的贡献系数对重识别性能影响的评估。

优化与否的激活比区间与贡献系数区间之间的不同映射对重识别性能影响的评估，图7和图8分别对应于CUHK03和Market1501数据集。

为证明本发明选择filter concatenation处理层之后的特征图生成贡献系数的合理性，进行了基于其他三个层的对比实验，实验结果如表4所示，“无贡献系数基准线”表示每个特征贡献系数为1。可以发现使用贡献度反馈模块与不使用该模块相比可以在两个数据集上分别增加1％和0.8％的top-1准确率。很明显，利用filter concatenation处理层的特征图生成的贡献系数可以最大程度优化性能，在CUHK03数据集上，与选择其他处理层相比，可以实现1％，0.3％，0.2％的准确率提升，对于Market1501数据集，提升分别为0.8％，0.6％和0.1％，因为这一层融合了更丰富的图像特征信息。

区间优化算法用于将激活比和贡献系数约束在最佳范围。同样进行对比实验验证该方法的有效性，实验结果如图7与图8所示。Full和Opt表示完整区间[0,1]和优化后的区间，“Full-Full”表示将激活比全区间[0,1]映射到贡献系数全区间[0,1]，“Full-Opt”表示将激活比全区间[0,1]映射到优化后的贡献系数区间。可以发现“Opt-Opt”的表现超过了其他三种映射。在CUHK03数据集中，Opt-Opt的top-1准确率分别比Full-Full，Full-Opt和Opt-Full高3.4％，0.9％和1.5％，在Market1501数据集上增幅为4.2％，1.3％和1.6％。

Claims (10)

1.一种多流特征距离融合系统，其特征在于：包括逐级连接的多流特征提取网络、贡献系数自适应生成模块与距离融合模块；

多流特征提取网络包括用于提取输入图像的特征图的特征图提取网络，所述特征图包括全局特征图与n个区域特征图；多流特征提取网络还包括用于分别从各特征图中提取相应特征的特征提取网络；多流特征提取网络能够将特征图输出给贡献系数自适应生成模块，并能将提取到的特征输出给距离融合模块；

贡献系数自适应生成模块包括激活比计算模块与用于根据各区域特征图的激活比计算各区域特征的贡献系数的贡献度映射模块；所述激活比是指区域特征图上的非零值点的数量与全局特征图上的非零值点的数量的比率；所述贡献系数是指全局特征或区域特征对融合距离的贡献程度；全局特征贡献系数恒为1；

距离融合模块用于根据待测图像的各特征与参考图像的各特征计算相应特征图之间的特征距离，并利用各特征的贡献系数将各特征距离融合成多流特征距离。

2.根据权利要求1所述的多流特征距离融合系统，其特征在于：所述特征图提取网络包括用于在输入图像上分割出n-1个局部区域的区域分割网络、用于去除输入图像的背景的语义分割模块、用于提取输入图像的全局特征图的全局特征图提取网络以及用于根据区域分割网络所分割出的各局部区域在全局特征图上提取出相应区域特征图的池化模块；输入图像经语义分割模块去除背景后作为第n个区域特征图。

3.根据权利要求2所述的多流特征距离融合系统，其特征在于：所述区域分割网络为身体分割提取网络或人脸分割提取网络。

4.根据权利要求1所述的多流特征距离融合系统，其特征在于：所述激活比计算模块按如下公式计算激活比ar：

其中，N表示特征图的维度，H_l、W_l分别是区域特征图的高度尺寸、宽度尺寸，H_g、W_g分别是全局特征图的高度尺寸、宽度尺寸；

其中，P(i,j,k)表示区域特征图上特征点的值；

其中，P(i,j,k)表示区域特征图上特征点的值。

5.根据权利要求1所述的多流特征距离融合系统，其特征在于：贡献度映射模块以激活比作为自变量，以贡献系数作为因变量，按如下映射函数将激活比映射出贡献系数：

f(x)＝A/(1+e^-D(x-C))+B；

其中，x是激活比；e是自然常数；A、B、C和D均是公式参数，并根据激活比取值区间[μ₁,μ₂]与贡献系数取值区间[λ₁,λ₂]分别按以下公式计算：

A＝γ₂-γ₁；

B＝γ₁；

D＝min{D|f(μ₁)-γ₁＜0.01,f(μ₂)-γ₁＜0.01,D∈N^*}；

其中，表示N^*表示正整数；0≤μ₁≤1，0≤μ₂≤1，0≤λ₁≤1，0≤λ₂≤1。

6.根据权利要求5所述的多流特征距离融合系统，其特征在于：距离融合模块按如下公式计算多流特征距离R：

R＝C_g.d_g(I_p,I_g)+C₁.d₁(I_p,I_g)+......+C_n.d_n(I_p,I_g)

其中，C_g表示全局特征贡献系数；d_g(I_p,I_g)表示待测图像的全局特征与参考图像的全局特征的欧氏距离；d₁(I_p,I_g)......d_n(I_p,I_g)分别表示待测图像的各区域特征到参考图像的各对应区域特征的欧氏距离。

7.根据权利要求5所述的多流特征距离融合系统，其特征在于：激活比取值区间采用激活比优化区间，以对激活比进行约束：贡献系数取值区间采用贡献系数优化区间，以对贡献系数进行约束：当激活比计算模块计算出的激活比在激活比优化区间外时，通过所述映射函数就能将激活比所对应的贡献系数映射到贡献系数优化区间内。

8.根据权利要求6所述的多流特征距离融合系统，其特征在于：激活比优化区间按如下方式确定：

首先，获取具有s张图像的图像数据集，并提取各图像的全局特征图与n个区域特征图；

然后，重复进行N次随机试验，每进行一次随机试验便计算出n×s个激活比，每幅图像均对应有n种类型的激活比；N次随机试验结束后，对于每种类型的激活比均获得包含N×s个激活比的激活比集合；

最后，以区间长度Δar将每种类型的激活比集合划分成若干分段区间；之后，计算每种类型的激活比的每个分段区间的分布概率，对于每种类型的激活比，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的激活比的激活比优化区间。

9.根据权利要求7所述的多流特征距离融合系统，其特征在于：贡献系数优化区间按如下方式确定：

首先，获取图像数据集，所述图像数据集中同一目标对象至少包含两张图像，将同一目标对象的一张图像作为参考图像放入批量参考集中，同一目标对象的其余图像作为测试图像放入批量测试集中；

然后，以贡献系数组C＝[C_g,C₁,....,C_n]作为区间变量，并采用区间优化算法对批量测试集进行M次测试，其中，C_g表示全局特征贡献系数，保持C_g＝1，C₁,....,C_n分别为与各区域特征对应的区域特征贡献系数；每次测试均采用模拟退火算法搜索最优贡献系数组H，其中，模拟退火算法的迭代次数为L，每迭代一次均根据参考图像的贡献系数组计算当前贡献系数组的损失函数，迭代完毕后获得一个最优贡献系数组H；测试完毕后获得由M个最优贡献系数组H组成的最优贡献系数集；

最后，从最优贡献系数集中提取相同类型的区域特征贡献系数，并以区间长度ΔC将相同类型的区域特征贡献系数划分成若干分段区间；之后，计算每种类型区域特征贡献系数的每个分段区间的分布概率，对于每种类型的区域特征贡献系数，均去除掉分布概率小于设定阈值的分段区间，合并剩余分段区间，从而得到每种类型的区域特征贡献系数的贡献系数优化区间。

10.一种多流特征距离融合方法，其特征在于：采用权利要求1至9中任一所述的多流特征距离融合系统，包括以下步骤：

步骤1：输入参考图像至多流特征提取网络，通过特征图提取网络提取参考图像的全局特征图与n个区域特征图；特征图提取网络分别根据参考图像的全局特征图与n个区域特征图提取参考图像的全局特征与n个区域特征；并将参考图像的全局特征与n个区域特征发送给距离融合模块；

步骤2：输入待测图像至多流特征提取网络，通过特征提取网络提取待测图像的全局特征图与n个区域特征图；特征提取网络分别根据待测图像的全局特征图与n个区域特征图提取待测图像的全局特征与n个区域特征；并将待测图像的全局特征图与n个区域特征图发送给贡献度自适应模块，将待测图像的全局特征与n个区域特征发送给距离融合模块；

步骤3：激活比计算模块根据测试图像的全局特征图与n个区域特征图，计算待测图像的各个区域特征图的激活比；

步骤4：贡献度映射模块根据待测图像的各个区域特征图的激活比计算各区域特征的贡献系数；

步骤5：距离融合模块根据待测图像的各特征与参考图像的各特征计算相应特征之间的特征距离；

步骤6：距离融合模块获取各区域特征的贡献系数，利用各特征的贡献系数将各特征距离融合成多流特征距离。