CN108090472B - 基于多通道一致性特征的行人重识别方法及其系统 - Google Patents

基于多通道一致性特征的行人重识别方法及其系统 Download PDF

Info

Publication number
CN108090472B
CN108090472B CN201810030307.4A CN201810030307A CN108090472B CN 108090472 B CN108090472 B CN 108090472B CN 201810030307 A CN201810030307 A CN 201810030307A CN 108090472 B CN108090472 B CN 108090472B
Authority
CN
China
Prior art keywords
feature
consistency
representation
color texture
feature representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810030307.4A
Other languages
English (en)
Other versions
CN108090472A (zh
Inventor
毛超杰
李英明
张仲非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810030307.4A priority Critical patent/CN108090472B/zh
Publication of CN108090472A publication Critical patent/CN108090472A/zh
Application granted granted Critical
Publication of CN108090472B publication Critical patent/CN108090472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明属于图像处理技术领域，涉及一种基于多通道一致性特征的行人重识别方法，包括如下步骤：输入包括训练数据和测试数据的待匹配的N个图像对
Figure DDA0001546277910000011
及其对应的标签ln，其中n＝1,……,N；提取输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；对得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。本发明的优点是：综合行人图像语义属性和颜色分布特征进行行人的辨别，精度高，性能稳定，适合解决复杂场景下的行人重识别问题。

Description

基于多通道一致性特征的行人重识别方法及其系统
技术领域
本发明属于图像处理技术领域，涉及一种基于多通道一致性特征的行人重识别方法，特别涉及一种联合图像语义一致性特征和颜色纹理分布一致性特征进行行人重识别的深度学习方法。
背景技术
行人重识别任务是处理跨摄像头的行人匹配问题，该技术在行人监控网络的应用体现在行人追踪，人体检索等，在公共安全领域具有极其巨大的应用场景。行人语义属性信息和行人的颜色纹理分布信息具有一定的互补性，是描述行人的两个方面，联合两种特征进行行人重识别可以弥补单一特征造成误判的缺陷。
行人的语义属性结构信息和行人外表颜色纹理分布信息是图像所蕴含的基本信息，对于行人重识别任务而言，由于场景众多和行人规模巨大，往往存在一些场景行人外表具有相似的颜色纹理分布如在一些场景行人身穿统一的制服，另一方面，有很多人具有极其相似的体态特征和走路习惯，由此以往的方法单纯依靠行人的语义属性信息或者颜色纹理分布信息都无法高精度地进行行人重识别。
发明内容
本发明的目的在于克服上述已有技术缺点，提出一种用在行人重识别技术中的综合图像语义属性特征和颜色纹理特征的多通道一致性特征的深度学习方法。
为实现上述目的，本发明采用了如下技术方案：
本发明的一个方面提供了一种基于多通道一致性特征的行人重识别方法，包括如下步骤：
S1：输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546277900000011
及其对应的标签ln，其中n＝1,……,N；
S2：提取S1中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；
S3、通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；
S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
进一步的S2具体包括：
S21、提取图像数据的语义特征表示：
Figure BDA0001546277900000021
其中，
Figure BDA0001546277900000022
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure BDA0001546277900000023
为待学习参数；
S22、提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546277900000024
Figure BDA0001546277900000025
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，
Figure BDA0001546277900000026
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure BDA0001546277900000027
为待学习参数。
进一步的S3具体包括：
S31、通过多尺度特征匹配学习得到语义特征表示
Figure BDA0001546277900000028
和颜色纹理空间分布特征表示
Figure BDA0001546277900000029
的一致性表示：
Figure BDA00015462779000000210
Figure BDA00015462779000000211
其中
Figure BDA00015462779000000212
和
Figure BDA00015462779000000220
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA00015462779000000213
为孔率为r时的特征一致性表示，
Figure BDA00015462779000000214
为卷积孔率为r时的参数，
Figure BDA00015462779000000215
和
Figure BDA00015462779000000216
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
S32、由S31中得到的
Figure BDA00015462779000000217
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure BDA00015462779000000218
和颜色纹理空间分布特征表示的一致性特征权重
Figure BDA00015462779000000219
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure BDA0001546277900000031
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
S33、利用S32中得到的一致性特征表示
Figure BDA0001546277900000032
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
优选的，S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
进一步的S4具体包括：
S41、使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546277900000033
是否属于同一个目标的二分类决策层
Figure BDA0001546277900000034
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546277900000035
整个框架可以表示为：
Figure BDA0001546277900000036
其中，
Figure BDA0001546277900000037
θ4是上述决策过程中的待学习参数；
S42、通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546277900000038
S43、将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA00015462779000000310
本发明的另一个方面提供了一种基于多通道一致性特征的行人重识别系统，包括：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546277900000039
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
进一步的所述特征表示提取模块包括：
语义特征表示提取单元，用于提取图像数据的语义特征表示：
Figure BDA0001546277900000041
其中，
Figure BDA0001546277900000042
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure BDA0001546277900000043
为待学习参数；
颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546277900000044
Figure BDA0001546277900000045
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure BDA0001546277900000046
为待学习参数。
进一步的所述一致性特征表示模块包括：
多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示
Figure BDA0001546277900000047
和颜色纹理空间分布特征表示
Figure BDA0001546277900000048
的一致性表示：
Figure BDA0001546277900000049
Figure BDA00015462779000000410
其中
Figure BDA00015462779000000411
和
Figure BDA00015462779000000412
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA00015462779000000413
为孔率为r时的特征一致性表示，
Figure BDA00015462779000000414
为卷积孔率为r时的参数，
Figure BDA00015462779000000415
和
Figure BDA0001546277900000051
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure BDA0001546277900000052
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure BDA0001546277900000053
和颜色纹理空间分布特征表示的一致性特征权重
Figure BDA0001546277900000054
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure BDA0001546277900000055
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure BDA0001546277900000056
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
优选的，所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
进一步的所述概率表示输出模块包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546277900000057
是否属于同一个目标的二分类决策层
Figure BDA0001546277900000058
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546277900000059
整个框架可以表示为：
Figure BDA00015462779000000510
其中，
Figure BDA00015462779000000511
θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546277900000061
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546277900000062
本发明的行人重识方法及其系统，一方面利用深度神经网络提取图像的语义特征，另一方面构建图像的颜色纹理空间分布特征，然后基于多尺度的特征匹配分别获取两种特征的一致性表示，进一步地融合两种一致性信息，利用该信息做出最后的判决。本发明的优点是：综合行人图像语义属性和颜色分布特征进行行人的辨别，精度高，性能稳定，适合解决复杂场景下的行人重识别问题。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明提供了一种基于多通道一致性特征的行人重识别方法及其系统，下面通过具体的实施例进行说明。
实施例一
一种基于多通道一致性特征的行人重识别方法，包括如下步骤：
第一步：输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546277900000063
及其对应的标签ln，其中n＝1,……,N。
第二步：提取第一步中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示，具体包括如下步骤：
1)提取图像数据的语义特征表示：
Figure BDA0001546277900000064
其中，
Figure BDA0001546277900000071
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure BDA0001546277900000072
为待学习参数；
2)提取图像数据在RGB、HSV(颜色信息)、SILTP(纹理信息)各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546277900000073
Figure BDA0001546277900000074
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作(Color-Texture Map Machine,CTMM)，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，
Figure BDA0001546277900000075
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure BDA0001546277900000076
为待学习参数。
第三步：通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示，具体包括如下步骤：
1)通过多尺度特征匹配学习得到语义特征表示
Figure BDA0001546277900000077
和颜色纹理空间分布特征表示
Figure BDA0001546277900000078
的一致性表示：
Figure BDA0001546277900000079
Figure BDA00015462779000000710
其中
Figure BDA00015462779000000711
和
Figure BDA00015462779000000712
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA00015462779000000713
为孔率为r时的特征一致性表示，
Figure BDA00015462779000000714
为卷积孔率为r时的参数，
Figure BDA00015462779000000715
和
Figure BDA00015462779000000716
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
2)由S31中得到的
Figure BDA00015462779000000717
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure BDA00015462779000000718
和颜色纹理空间分布特征表示的一致性特征权重
Figure BDA00015462779000000719
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure BDA0001546277900000081
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
3)利用S32中得到的一致性特征表示
Figure BDA0001546277900000082
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
作为优选实施方案，步骤(1)中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
第四步：对上一步中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示，具体包括如下步骤：
1)使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546277900000083
是否属于同一个目标的二分类决策层
Figure BDA0001546277900000084
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546277900000085
整个框架可以表示为：
Figure BDA0001546277900000086
其中，
Figure BDA0001546277900000087
θ4是上述决策过程中的待学习参数；
2)通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546277900000088
3)将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546277900000089
实施例二
一种基于多通道一致性特征的行人重识别系统，包括如下模块：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA00015462779000000810
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
其中，特征表示提取模块具体包括：
语义特征表示提取单元，用于提取图像数据的语义特征表示：
Figure BDA0001546277900000091
其中，
Figure BDA0001546277900000092
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure BDA0001546277900000093
为待学习参数；
颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546277900000094
Figure BDA0001546277900000095
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure BDA0001546277900000096
为待学习参数。
一致性特征表示模块具体包括：
多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示
Figure BDA0001546277900000097
和颜色纹理空间分布特征表示
Figure BDA0001546277900000098
的一致性表示：
Figure BDA0001546277900000099
Figure BDA00015462779000000910
其中
Figure BDA00015462779000000911
和
Figure BDA00015462779000000912
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA00015462779000000913
为孔率为r时的特征一致性表示，
Figure BDA00015462779000000914
为卷积孔率为r时的参数，
Figure BDA00015462779000000915
和
Figure BDA0001546277900000101
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure BDA0001546277900000102
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure BDA0001546277900000103
和颜色纹理空间分布特征表示的一致性特征权重
Figure BDA0001546277900000104
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure BDA0001546277900000105
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure BDA0001546277900000106
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
作为优选实施方案，多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
概率表示输出模块具体包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546277900000107
是否属于同一个目标的二分类决策层
Figure BDA0001546277900000108
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546277900000109
整个框架可以表示为：
Figure BDA00015462779000001010
其中，
Figure BDA00015462779000001011
θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546277900000111
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546277900000112
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.基于多通道一致性特征的行人重识别方法，其特征在于包括如下步骤：
S1：输入包括训练数据和测试数据的待匹配的N个图像对
Figure FDA0002708509370000011
及其对应的标签ln，其中n＝1,……,N；
S2：提取S1中输入的图像数据的语义特征表示和颜色纹理空间分布特征表示，具体包括，S21、提取图像数据的语义特征表示：
Figure FDA0002708509370000012
其中，
Figure FDA0002708509370000013
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure FDA0002708509370000014
为待学习参数；
S22、提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure FDA0002708509370000015
Figure FDA0002708509370000016
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，
Figure FDA0002708509370000017
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure FDA0002708509370000018
为待学习参数；
S3、通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；
S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
2.如权利要求1所述的方法，其特征在于S3具体包括：
S31、通过多尺度特征匹配学习得到语义特征表示
Figure FDA0002708509370000021
和颜色纹理空间分布特征表示
Figure FDA0002708509370000022
的一致性表示：
Figure FDA0002708509370000023
Figure FDA0002708509370000024
其中
Figure FDA0002708509370000025
和
Figure FDA0002708509370000026
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure FDA0002708509370000027
为孔率为r时的特征一致性表示，
Figure FDA0002708509370000028
为卷积孔率为r时的参数，
Figure FDA0002708509370000029
和
Figure FDA00027085093700000210
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
S32、由S31中得到的
Figure FDA00027085093700000211
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure FDA00027085093700000212
和颜色纹理空间分布特征表示的一致性特征权重
Figure FDA00027085093700000213
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure FDA00027085093700000214
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
S33、利用S32中得到的一致性特征表示
Figure FDA00027085093700000215
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
3.如权利要求2所述的方法，其特征在于S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
4.如权利要求2或3所述的方法，其特征在于S4具体包括：
S41、使用一个包含两个节点的softmax层作为判决输入图像对
Figure FDA00027085093700000216
是否属于同一个目标的二分类决策层
Figure FDA0002708509370000031
从而得到表征输入图像对描述同一个目标的概率：
Figure FDA0002708509370000032
整个框架可以表示为：
Figure FDA0002708509370000033
其中，
Figure FDA0002708509370000034
θ4是上述决策过程中的待学习参数；
S42、通过最小化分类交叉熵损失来优化整个框架直到收殓，优化的目标函数如下：
Figure FDA0002708509370000035
S43、将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure FDA0002708509370000036
5.基于多通道一致性特征的行人重识别系统，其特征在于包括：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure FDA0002708509370000037
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的语义特征表示和颜色纹理空间分布特征表示，包括：语义特征表示提取单元，用于提取图像数据的语义特征表示：
Figure FDA0002708509370000038
其中，
Figure FDA0002708509370000039
为输入图像对的语义特征表示，fCNN表示卷积操作，
Figure FDA00027085093700000310
为待学习参数；
颜色纹理空间分布特征表示提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布特征，并通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure FDA0002708509370000041
Figure FDA0002708509370000042
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作，
Figure FDA0002708509370000043
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，
Figure FDA0002708509370000044
为待学习参数；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述语义特征表示和颜色纹理空间分布特征表示的一致性特征表示；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
6.如权利要求5所述的系统，其特征在于所述一致性特征表示模块包括：
多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到语义特征表示
Figure FDA0002708509370000045
和颜色纹理空间分布特征表示
Figure FDA0002708509370000046
的一致性表示：
Figure FDA0002708509370000047
Figure FDA0002708509370000048
其中
Figure FDA0002708509370000049
和
Figure FDA00027085093700000410
分别为语义特征一致性表示和颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure FDA00027085093700000411
为孔率为r时的特征一致性表示，
Figure FDA00027085093700000412
为卷积孔率为r时的参数，
Figure FDA00027085093700000413
和
Figure FDA00027085093700000414
分别表示该语义特征匹配和颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure FDA0002708509370000051
通过学习表征不同尺度下语义特征表示的一致性特征权重
Figure FDA0002708509370000052
和颜色纹理空间分布特征表示的一致性特征权重
Figure FDA0002708509370000053
进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure FDA0002708509370000054
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure FDA0002708509370000055
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
7.如权利要求6所述的系统，其特征在于所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
8.如权利要求6或7所述的系统，其特征在于所述概率表示输出模块包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure FDA0002708509370000056
是否属于同一个目标的二分类决策层
Figure FDA0002708509370000057
从而得到表征输入图像对描述同一个目标的概率：
Figure FDA0002708509370000058
整个框架可以表示为：
Figure FDA0002708509370000059
其中，
Figure FDA00027085093700000510
θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure FDA0002708509370000061
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure FDA0002708509370000062
CN201810030307.4A 2018-01-12 2018-01-12 基于多通道一致性特征的行人重识别方法及其系统 Active CN108090472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810030307.4A CN108090472B (zh) 2018-01-12 2018-01-12 基于多通道一致性特征的行人重识别方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810030307.4A CN108090472B (zh) 2018-01-12 2018-01-12 基于多通道一致性特征的行人重识别方法及其系统

Publications (2)

Publication Number Publication Date
CN108090472A CN108090472A (zh) 2018-05-29
CN108090472B true CN108090472B (zh) 2021-05-04

Family

ID=62182165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810030307.4A Active CN108090472B (zh) 2018-01-12 2018-01-12 基于多通道一致性特征的行人重识别方法及其系统

Country Status (1)

Country Link
CN (1) CN108090472B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460815B (zh) * 2018-10-25 2021-12-10 浙江科技学院 一种单目视觉深度估计方法
CN109472360B (zh) * 2018-10-30 2020-09-04 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
CN109919917B (zh) * 2019-02-21 2020-10-20 国网山东省电力公司临沂供电公司 基于图像处理的架空输电线路的异物检测方法
CN111598117B (zh) * 2019-02-21 2023-06-30 成都通甲优博科技有限责任公司 图像识别方法及装置
CN111739079B (zh) * 2020-06-18 2022-10-11 东华理工大学 一种基于语义特征多源低空立体像对快速匹配方法
CN111858346A (zh) * 2020-07-23 2020-10-30 深圳慕智科技有限公司 一种基于深度学习测试数据集的数据质量多维评估技术
CN112258483B (zh) * 2020-10-23 2021-07-06 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法
CN112508038B (zh) * 2020-12-03 2022-11-08 江苏科技大学 一种跨通道局部二值模式的彩色纹理分类方法
CN112560831B (zh) * 2021-03-01 2021-05-04 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN113177539B (zh) * 2021-06-30 2021-10-19 之江实验室 一种遮挡行人特征提取与行人重识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145845A (zh) * 2017-04-26 2017-09-08 中山大学 基于深度学习及多特征点融合的行人检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880873B (zh) * 2012-08-31 2015-06-03 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
WO2017000115A1 (zh) * 2015-06-29 2017-01-05 北京旷视科技有限公司 行人再识别方法及设备
CN105224937B (zh) * 2015-11-13 2018-04-20 武汉大学 基于人体部件位置约束的细粒度语义色彩行人重识别方法
CN107301380A (zh) * 2017-06-01 2017-10-27 华南理工大学 一种用于视频监控场景中行人重识别的方法
CN107273872B (zh) * 2017-07-13 2020-05-05 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145845A (zh) * 2017-04-26 2017-09-08 中山大学 基于深度学习及多特征点融合的行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于融合特征的行人再识别方法;袁立，田子茹;《模式识别与人工智能》;20170315;全文 *

Also Published As

Publication number Publication date
CN108090472A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN107633513B (zh) 基于深度学习的3d图像质量的度量方法
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN106919920B (zh) 基于卷积特征和空间视觉词袋模型的场景识别方法
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN110458077B (zh) 一种车辆颜色识别方法及系统
CN109711422A (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN108345900B (zh) 基于颜色纹理分布特征的行人重识别方法及其系统
CN110569779A (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN110990608A (zh) 一种基于Siamese结构双向长短时记忆网络的三维模型检索方法
CN110443232B (zh) 视频处理方法及相关装置，图像处理方法及相关装置
CN107480723B (zh) 基于局部二进制阈值学习网络的纹理识别方法
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114387641A (zh) 基于多尺度卷积网络和ViT的虚假视频检测方法及系统
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN112819039A (zh) 基于多尺度集成特征编码的纹理识别模型建立方法及应用
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN112766378A (zh) 一种专注细粒度识别的跨域小样本图像分类模型方法
CN106355210A (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN111612855A (zh) 物体颜色识别方法、装置及电子设备
CN113469119B (zh) 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant