CN108090472A - 基于多通道一致性特征的行人重识别方法及其系统 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种基于多通道一致性特征的行人重识别方法，包括如下步骤：输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；提取输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；对得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。本发明的优点是：综合行人图像语义属性和颜色分布特征进行行人的辨别，精度高，性能稳定，适合解决复杂场景下的行人重识别问题。

Description

基于多通道一致性特征的行人重识别方法及其系统

技术领域

本发明属于图像处理技术领域，涉及一种基于多通道一致性特征的行人重识别方法，特别涉及一种联合图像语义一致性特征和颜色纹理分布一致性特征进行行人重识别的深度学习方法。

背景技术

行人重识别任务是处理跨摄像头的行人匹配问题，该技术在行人监控网络的应用体现在行人追踪，人体检索等，在公共安全领域具有极其巨大的应用场景。行人语义属性信息和行人的颜色纹理分布信息具有一定的互补性，是描述行人的两个方面，联合两种特征进行行人重识别可以弥补单一特征造成误判的缺陷。

行人的语义属性结构信息和行人外表颜色纹理分布信息是图像所蕴含的基本信息，对于行人重识别任务而言，由于场景众多和行人规模巨大，往往存在一些场景行人外表具有相似的颜色纹理分布如在一些场景行人身穿统一的制服，另一方面，有很多人具有极其相似的体态特征和走路习惯，由此以往的方法单纯依靠行人的语义属性信息或者颜色纹理分布信息都无法高精度地进行行人重识别。

发明内容

本发明的目的在于克服上述已有技术缺点，提出一种用在行人重识别技术中的综合图像语义属性特征和颜色纹理特征的多通道一致性特征的深度学习方法。

为实现上述目的，本发明采用了如下技术方案：

本发明的一个方面提供了一种基于多通道一致性特征的行人重识别方法，包括如下步骤：

S1：输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；

S2：提取S1中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；

S3、通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；

S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。

进一步的S2具体包括：

S21、提取图像数据的语义特征表示：

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

S22、提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

进一步的S3具体包括：

S31、通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

S32、由S31中得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

S33、利用S32中得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

优选的，S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

进一步的S4具体包括：

S41、使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

整个框架可以表示为：

其中，θ₄是上述决策过程中的待学习参数；

S42、通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：

S43、将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值

本发明的另一个方面提供了一种基于多通道一致性特征的行人重识别系统，包括：

图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；

特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；

一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；

概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。

进一步的所述特征表示提取模块包括：

语义特征表示提取单元，用于提取图像数据的语义特征表示：

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

进一步的所述一致性特征表示模块包括：

多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

优选的，所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

进一步的所述概率表示输出模块包括：

目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

整个框架可以表示为：

其中，θ₄是上述决策过程中的待学习参数；

框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：

结果输出单元，用于将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值

本发明的行人重识方法及其系统，一方面利用深度神经网络提取图像的语义特征，另一方面构建图像的颜色纹理空间分布特征，然后基于多尺度的特征匹配分别获取两种特征的一致性表示，进一步地融合两种一致性信息，利用该信息做出最后的判决。本发明的优点是：综合行人图像语义属性和颜色分布特征进行行人的辨别，精度高，性能稳定，适合解决复杂场景下的行人重识别问题。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

本发明提供了一种基于多通道一致性特征的行人重识别方法及其系统，下面通过具体的实施例进行说明。

实施例一

一种基于多通道一致性特征的行人重识别方法，包括如下步骤：

第一步：输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N。

第二步：提取第一步中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示，具体包括如下步骤：

1)提取图像数据的语义特征表示：

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

2)提取图像数据在RGB、HSV(颜色信息)、SILTP(纹理信息)各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作(Color-Texture Map Machine,CTMM)，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

第三步：通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示，具体包括如下步骤：

1)通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

2)由S31中得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

3)利用S32中得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

作为优选实施方案，步骤(1)中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

第四步：对上一步中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示，具体包括如下步骤：

1)使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

整个框架可以表示为：

其中，θ₄是上述决策过程中的待学习参数；

2)通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：

3)将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值

实施例二

一种基于多通道一致性特征的行人重识别系统，包括如下模块：

图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；

特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；

一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；

概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。

其中，特征表示提取模块具体包括：

语义特征表示提取单元，用于提取图像数据的语义特征表示：

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

一致性特征表示模块具体包括：

多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

作为优选实施方案，多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

概率表示输出模块具体包括：

目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

整个框架可以表示为：

其中，θ₄是上述决策过程中的待学习参数；

框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：

结果输出单元，用于将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.基于多通道一致性特征的行人重识别方法，其特征在于包括如下步骤：

S1：输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；

S2：提取S1中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；

S3、通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；

S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。

2.如权利要求1所述的方法，其特征在于S2具体包括：

S21、提取图像数据的语义特征表示：

<mrow> <msub> <mrow> <mo>{</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mo>{</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow>

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

S22、提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>CTM</mi> <mi>n</mi> </msub> <mo>=</mo> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>a</mi> <mi>t</mi> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mrow> <mi>C</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>CTM</mi> <mi>n</mi> <mrow> <mi>T</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>a</mi> <mi>t</mi> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>CTMM</mi> <mrow> <mi>R</mi> <mi>G</mi> <mi>B</mi> <mi>H</mi> <mi>S</mi> <mi>V</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>8</mn> <mo>&amp;times;</mo> <mn>8</mn> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>4</mn> <mo>,</mo> <mi>b</mi> <mo>=</mo> <mn>8</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>CTMM</mi> <mrow> <mi>S</mi> <mi>I</mi> <mi>L</mi> <mi>T</mi> <mi>P</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>8</mn> <mo>&amp;times;</mo> <mn>8</mn> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>4</mn> <mo>,</mo> <mi>b</mi> <mo>=</mo> <mn>16</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow>

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

3.如权利要求2所述的方法，其特征在于S3具体包括：

S31、通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>s</mi> <mi>c</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>c</mi> <mi>t</mi> <mi>m</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

S32、由S31中得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mo>{</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <mrow> <mo>{</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> </mrow> <mo>}</mo> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>s</mi> <mi>c</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>c</mi> <mi>t</mi> <mi>m</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> </mrow> <mo>}</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

S33、利用S32中得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

4.如权利要求3所述的方法，其特征在于S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

5.如权利要求3或4所述的方法，其特征在于S4具体包括：

S41、使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

<mrow> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>1</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>0</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>1</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

整个框架可以表示为：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>S</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mrow> <mo>{</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>}</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mi>&amp;theta;</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，θ₄是上述决策过程中的待学习参数；

S42、通过最小化分类交叉熵损失来优化整个框架直到收殓，优化的目标函数如下：

<mrow> <msub> <mi>L</mi> <mi>&amp;theta;</mi> </msub> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>&amp;lsqb;</mo> <msub> <mi>l</mi> <mi>n</mi> </msub> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>l</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>

S43、将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值

6.基于多通道一致性特征的行人重识别系统，其特征在于包括：

图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对及其对应的标签l_n，其中n＝1,……,N；

特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；

一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；

概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。

7.如权利要求6所述的系统，其特征在于所述特征表示提取模块包括：

语义特征表示提取单元，用于提取图像数据的语义特征表示：

<mrow> <msub> <mrow> <mo>{</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>=</mo> <mo>{</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow>

其中，为输入图像对的语义特征表示，f_CNN表示卷积操作，为待学习参数；

颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>CTM</mi> <mi>n</mi> </msub> <mo>=</mo> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>a</mi> <mi>t</mi> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mrow> <mi>C</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>CTM</mi> <mi>n</mi> <mrow> <mi>T</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>c</mi> <mi>a</mi> <mi>t</mi> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>CTMM</mi> <mrow> <mi>R</mi> <mi>G</mi> <mi>B</mi> <mi>H</mi> <mi>S</mi> <mi>V</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>8</mn> <mo>&amp;times;</mo> <mn>8</mn> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>4</mn> <mo>,</mo> <mi>b</mi> <mo>=</mo> <mn>8</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>CTMM</mi> <mrow> <mi>S</mi> <mi>I</mi> <mi>L</mi> <mi>T</mi> <mi>P</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>8</mn> <mo>&amp;times;</mo> <mn>8</mn> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>4</mn> <mo>,</mo> <mi>b</mi> <mo>=</mo> <mn>16</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>CTM</mi> <mi>n</mi> <mi>B</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow>

其中CTM_n为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，f_CNN为卷积操作，为待学习参数。

8.如权利要求7所述的系统，其特征在于所述一致性特征表示模块包括：

多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示和颜色纹理空间分布特征表示的一致性表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>s</mi> <mi>c</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>c</mi> <mi>t</mi> <mi>m</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mrow> <mo>{</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>R</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>R</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> <mo>}</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中和分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，为孔率为r时的特征一致性表示，为卷积孔率为r时的参数，和分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；

一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的通过学习表征不同尺度下语义特征表示的一致性特征权重和颜色纹理空间分布特征表示的一致性特征权重进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mo>{</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <mrow> <mo>{</mo> <mrow> <msub> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>r</mi> <mo>=</mo> <mn>3</mn> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msub> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> </mrow> <mo>}</mo> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>s</mi> <mi>c</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>p</mi> <mi>p</mi> <mi>m</mi> <mo>_</mo> <mi>c</mi> <mi>t</mi> <mi>m</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msub> <mi>&amp;theta;</mi> <mn>3</mn> </msub> </mrow> <mo>}</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，θ₃为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；

编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。

9.如权利要求8所述的系统，其特征在于所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。

10.如权利要求8或9所述的系统，其特征在于所述概率表示输出模块包括：

目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对是否属于同一个目标的二分类决策层从而得到表征输入图像对描述同一个目标的概率：

<mrow> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>1</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>0</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mn>1</mn> </msubsup> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

整个框架可以表示为：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>S</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>S</mi> <mi>n</mi> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>;</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mrow> <mo>{</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>S</mi> <mi>C</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;theta;</mi> <mn>3</mn> <mrow> <mi>C</mi> <mi>T</mi> <mi>M</mi> </mrow> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>,</mo> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> </mrow> <mo>}</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>C</mi> <mi>N</mi> <mi>N</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <mrow> <msubsup> <mi>I</mi> <mi>n</mi> <mi>A</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mi>n</mi> <mi>B</mi> </msubsup> </mrow> <mo>}</mo> </mrow> <mo>;</mo> <mi>&amp;theta;</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，θ₄是上述决策过程中的待学习参数；

框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：

<mrow> <msub> <mi>L</mi> <mi>&amp;theta;</mi> </msub> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>&amp;lsqb;</mo> <msub> <mi>l</mi> <mi>n</mi> </msub> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>l</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>p</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>

结果输出单元，用于将学习到的待学习参数θ₁,θ₂,θ₃,θ₄代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值