CN108345900B - 基于颜色纹理分布特征的行人重识别方法及其系统 - Google Patents

基于颜色纹理分布特征的行人重识别方法及其系统 Download PDF

Info

Publication number
CN108345900B
CN108345900B CN201810034943.4A CN201810034943A CN108345900B CN 108345900 B CN108345900 B CN 108345900B CN 201810034943 A CN201810034943 A CN 201810034943A CN 108345900 B CN108345900 B CN 108345900B
Authority
CN
China
Prior art keywords
consistency
feature
representation
color texture
space distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810034943.4A
Other languages
English (en)
Other versions
CN108345900A (zh
Inventor
毛超杰
李英明
张仲非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810034943.4A priority Critical patent/CN108345900B/zh
Publication of CN108345900A publication Critical patent/CN108345900A/zh
Application granted granted Critical
Publication of CN108345900B publication Critical patent/CN108345900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，涉及一种基于颜色纹理分布特征的行人重识别方法，包括如下步骤：输入包括训练数据和测试数据的待匹配的N个图像对
Figure DDA0001546186990000011
及其对应的标签ln，其中n＝1,……,N；提取输入的图像数据的颜色纹理空间分布特征表示；通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示；对得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。本发明的优点是：特征提取简单、速度快；训练周期短；鲁棒性高；精度高。

Description

基于颜色纹理分布特征的行人重识别方法及其系统
技术领域
本发明属于图像处理技术领域，涉及一种基于颜色纹理分布特征的行人重识别方法，特别涉及一种表征图像颜色纹理分布信息的特征构建方法进行行人重识别的深度学习方法。
背景技术
行人重识别任务是处理跨摄像头的行人匹配问题，该技术在行人监控网络的应用体现在行人追踪，人体检索等。行人追踪应用是利用目前已有的城市监控网络，在每个摄像头检索待追踪的行人目标，通过联结出现目标的摄像头可以获得目标行人的行动轨迹，从而完成目标行人的追踪。人体检索是给定待检索的目标人体图像，从现有的人体数据库里检索目标。这些应用在公安部门进行犯罪分子自动化追踪、嫌疑人的智能甄选比对具有重要的应用价值，并极大地降低了人力财力的耗费和时间消耗。
颜色和纹理特征是图像的基本特征，对于行人重识别任务而言，因为特定应用场景要求，如相邻部署的两个摄像头距离不会很远，行人重识别面向的行人图像在衣着和形体上一般不会有太大变化，因此行人本身所具有的颜色和纹理分布具有较强的辨识度。但是如何对这些信息进行有效地表达是影响行人重识别技术发展的瓶颈之一。目前国内外的一些方法常常基于图像中行人保持直立状态的假设，将行人图像进行垂直方向上的切片，并对每个切片获取一些显著的颜色和纹理分布特征，但是因为摄像头视角的变化，两张行人图像的对应切片不一定描述的是行人的共同部位，从而导致在复杂场景下性能较差。
目前行人重识别任务中在图像纹理特征构建和提取方面存在一定的局限和不足：1、颜色纹理特征空间分布信息的损失。长期以来，计算机视觉领域对颜色和纹理特征的处理，往往是统计区域内的颜色或者纹理分布直方图，并以一维向量的方式进行表示，这种方式造成的一个主要问题是空间信息的损失。2、缺乏描述图像颜色纹理的高层次特征描述方式。长期以来，基于图像的颜色纹理特征往往直接从原始图像中统计得到，受输入图像尺度影响，传统特征描述方式缺乏对颜色纹理特征的有效抽象和编码机制，从而无法克服维度灾难和信息损失的矛盾。
发明内容
本发明的目的在于克服上述已有技术缺点，提出一种用在行人重识别技术中的能够表征图像颜色纹理空间分布特征的深度学习方法。
为实现上述目的，本发明采用了如下技术方案：
本发明的一个方面提供了一种基于颜色纹理分布特征的行人重识别方法，包括如下步骤：
S1：输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546186980000021
及其对应的标签ln，其中n＝1,……,N；
S2：提取S1中输入的图像数据的颜色纹理空间分布特征表示；
S3、通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示；
S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
进一步的S2具体包括：
S21、提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure BDA0001546186980000022
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
S22、通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546186980000023
其中
Figure BDA0001546186980000024
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数。
进一步的S3具体包括：
S31、通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure BDA0001546186980000025
的一致性表示：
Figure BDA0001546186980000031
其中
Figure BDA0001546186980000032
为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA0001546186980000033
为孔率为r时的特征一致性表示，
Figure BDA0001546186980000034
为卷积孔率为r时的参数，
Figure BDA0001546186980000035
表示该颜色纹理空间分布特征匹配的待学习参数；
S32、由S31中得到的
Figure BDA0001546186980000036
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure BDA0001546186980000037
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
S33、利用S32中得到的一致性特征表示
Figure BDA0001546186980000038
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
优选的S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
进一步的S4具体包括：
S41、使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546186980000039
是否属于同一个目标的二分类决策层
Figure BDA00015461869800000310
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA00015461869800000311
整个框架可以表示为：
Figure BDA00015461869800000312
其中，θ＝{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
S42、通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546186980000041
S43、将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546186980000047
本发明的另一个方面提供了一种基于颜色纹理分布特征的行人重识别系统，包括如下模块：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546186980000042
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的颜色纹理空间分布特征表示；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
进一步的所述特征表示提取模块包括：
颜色纹理空间分布原始特征提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure BDA0001546186980000043
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
特征抽象表示单元，用于通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546186980000044
其中
Figure BDA0001546186980000045
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数。
进一步的所述一致性特征表示模块包括：
多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure BDA0001546186980000046
的一致性表示：
Figure BDA0001546186980000051
其中
Figure BDA0001546186980000052
分别为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA0001546186980000053
为孔率为r时的特征一致性表示，
Figure BDA0001546186980000054
为卷积孔率为r时的参数，
Figure BDA0001546186980000055
表示该颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure BDA0001546186980000056
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure BDA0001546186980000057
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure BDA0001546186980000058
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
优选的，所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
进一步的所述概率表示输出模块包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546186980000059
是否属于同一个目标的二分类决策层
Figure BDA00015461869800000510
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA00015461869800000511
整个框架可以表示为：
Figure BDA00015461869800000512
其中，θ＝{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546186980000061
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546186980000062
本发明的行人重识别方法及其系统，首先提取能够表征图像颜色纹理空间分布特征的特征表示，并利用卷积神经网络进行进一步编码和抽象，最后应用在行人重识别技术中。其保留图像的颜色纹理特征的空间分布十分重要，因为它可以避免背景和遮挡对原始图像造成的干扰。同时对得到的特征可以进一步学习空间结构的一致性信息，来辅助做出最后的判决。本发明的优点是：特征提取简单、速度快；训练周期短；鲁棒性高；精度高。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明提供了一种基于颜色纹理分布特征的行人重识别方法及其系统，下面通过具体的实施例进行说明。
实施例一
一种基于颜色纹理分布特征的行人重识别方法，包括如下步骤：
第一步：输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546186980000063
及其对应的标签ln，其中n＝1,……,N。
第二步：提取第一步中输入的图像数据的颜色纹理空间分布特征表示，具体包括如下步骤：
1)提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure BDA0001546186980000071
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
2)通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546186980000072
其中
Figure BDA0001546186980000073
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数。
第三步：通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示；，具体包括如下步骤：
1)通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure BDA0001546186980000074
的一致性表示：
Figure BDA0001546186980000075
其中
Figure BDA0001546186980000076
为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA0001546186980000077
为孔率为r时的特征一致性表示，
Figure BDA0001546186980000078
为卷积孔率为r时的参数，
Figure BDA0001546186980000079
表示该颜色纹理空间分布特征匹配的待学习参数；
2)由S31中得到的
Figure BDA00015461869800000710
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure BDA00015461869800000711
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
3)利用S32中得到的一致性特征表示
Figure BDA00015461869800000712
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
作为优选实施方案，步骤(1)中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
第四步：对上一步中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示，具体包括如下步骤：
1)S41、使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546186980000081
是否属于同一个目标的二分类决策层
Figure BDA0001546186980000082
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546186980000083
整个框架可以表示为：
Figure BDA0001546186980000084
其中，θ＝{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
2)通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546186980000085
3)将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546186980000086
实施例二
一种基于颜色纹理分布特征的行人重识别系统，包括如下模块：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure BDA0001546186980000087
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的颜色纹理空间分布特征表示；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
其中，特征表示提取模块具体包括：
颜色纹理空间分布原始特征提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure BDA0001546186980000091
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
特征抽象表示单元，用于通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure BDA0001546186980000092
其中
Figure BDA0001546186980000093
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数。
一致性特征表示模块具体包括：
多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure BDA0001546186980000094
的一致性表示：
Figure BDA0001546186980000095
其中
Figure BDA0001546186980000096
分别为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure BDA0001546186980000097
为孔率为r时的特征一致性表示，
Figure BDA0001546186980000098
为卷积孔率为r时的参数，
Figure BDA0001546186980000099
表示该颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure BDA00015461869800000910
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure BDA00015461869800000911
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure BDA0001546186980000101
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量。
作为优选实施方案，多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
概率表示输出模块具体包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure BDA0001546186980000102
是否属于同一个目标的二分类决策层
Figure BDA0001546186980000103
从而得到表征输入图像对描述同一个目标的概率：
Figure BDA0001546186980000104
整个框架可以表示为：
Figure BDA0001546186980000105
其中，θ＝{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure BDA0001546186980000106
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure BDA0001546186980000107
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.基于颜色纹理分布特征的行人重识别方法，其特征在于包括如下步骤：
S1：输入包括训练数据和测试数据的待匹配的N个图像对
Figure FDA0002618902770000011
及其对应的标签ln，其中n＝1,……,N；
S2：提取S1中输入的图像数据的颜色纹理空间分布特征表示,具体包括如下步骤:
S21、提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure FDA0002618902770000012
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
S22、通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure FDA0002618902770000013
其中
Figure FDA0002618902770000014
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数；
S3、通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示，具体包括如下步骤；
S31、通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure FDA0002618902770000015
的一致性表示：
Figure FDA0002618902770000016
其中
Figure FDA0002618902770000017
为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure FDA0002618902770000018
为孔率为r时的特征一致性表示，
Figure FDA0002618902770000019
为卷积孔率为r时的参数，
Figure FDA0002618902770000021
表示该颜色纹理空间分布特征匹配的待学习参数；
S32、由S31中得到的
Figure FDA0002618902770000022
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而整体的一致性特征可表示为：
Figure FDA0002618902770000023
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
S33、利用S32中得到的一致性特征表示
Figure FDA0002618902770000024
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量；
S4：对S3中得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
2.如权利要求1所述的方法，其特征在于S31中，所述多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
3.如权利要求1或2所述的方法，其特征在于S4具体包括：
S41、使用一个包含两个节点的softmax层作为判决输入图像对
Figure FDA0002618902770000025
是否属于同一个目标的二分类决策层
Figure FDA0002618902770000026
从而得到表征输入图像对描述同一个目标的概率：
Figure FDA0002618902770000027
整个框架可以表示为：
Figure FDA0002618902770000028
其中，θ＝{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
S42、通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure FDA0002618902770000031
S43、将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架里，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure FDA0002618902770000032
4.基于颜色纹理分布特征的行人重识别系统，其特征在于包括：
图像数据输入模块，用于输入包括训练数据和测试数据的待匹配的N个图像对
Figure FDA0002618902770000033
及其对应的标签ln，其中n＝1,……,N；
特征表示提取模块，用于提取图像数据输入模块输入的图像数据的颜色纹理空间分布特征表示，包括；颜色纹理空间分布原始特征提取单元，用于提取图像数据在RGB、HSV、SILTP各通道的空间分布原始特征，
Figure FDA0002618902770000034
其中CTMn为颜色纹理空间分布原始特征，CTMM表示上述颜色纹理空间分布原始特征的提取操作，其参数k、s和b分别表示CTMM操作的滑动窗大小、滑动步长和分桶个数，Concat表示在特征通道维度的特征拼接操作；
特征抽象表示单元，用于通过由三层卷积层和三层最大化池化层构成的卷积神经网络进行特征的抽象表示，得到图像数据的颜色纹理空间分布特征表示：
Figure FDA0002618902770000035
其中
Figure FDA0002618902770000036
为输入图像对的颜色纹理空间分布特征表示，fCNN为卷积操作，θ1为待学习参数；
一致性特征表示模块，用于通过多尺度的特征匹配获取所述颜色纹理空间分布特征表示的一致性特征表示，包括：多尺度特征匹配学习单元，用于通过多尺度特征匹配学习得到颜色纹理空间分布特征表示
Figure FDA0002618902770000037
的一致性表示：
Figure FDA0002618902770000041
其中
Figure FDA0002618902770000042
分别为颜色纹理空间分布特征一致性表示，r＝1,2,3为带孔卷积的孔率，
Figure FDA0002618902770000043
为孔率为r时的特征一致性表示，
Figure FDA0002618902770000044
为卷积孔率为r时的参数，
Figure FDA0002618902770000045
表示该颜色纹理空间分布特征匹配的待学习参数；
一致性特征融合单元，用于由所述多尺度特征匹配学习单元得到的
Figure FDA0002618902770000046
通过学习表征不同尺度下颜色纹理空间分布特征表示的一致性特征权重参数，进一步将不同尺度下的一致性特征进行融合，并利用卷积和最大化池化层进一步地获取最具有判决力的一致性信息，从而获得整体的一致性特征表示：
Figure FDA0002618902770000047
其中，θ3为表征不同尺度下和来自不同通道的一致性特征权重的待学习参数；
编码单元，用于通过所述一致性特征融合单元得到的一致性特征表示
Figure FDA0002618902770000048
进一步使用两层全连接层来编码原特征，获取一个1024维的一致性特征向量；
概率表示输出模块，用于对所述一致性特征表示模块得到的一致性特征表示构建二分类器，输出描述同一目标的概率表示。
5.如权利要求4所述的系统，其特征在于所述多尺度特征匹配学习单元中，多尺度特征匹配学习通过控制带孔卷积操作的孔率分别为1、2、3来提供3×3、5×5和7×7的感受野，以自适应地匹配不同尺度空间偏移的组件。
6.如权利要求4或5所述的系统，其特征在于所述概率表示输出模块包括：
目标概率获取单元，用于使用一个包含两个节点的softmax层作为判决输入图像对
Figure FDA0002618902770000051
是否属于同一个目标的二分类决策层
Figure FDA0002618902770000052
从而得到表征输入图像对描述同一个目标的概率：
Figure FDA0002618902770000053
整个框架可以表示为：
Figure FDA0002618902770000054
其中，θ＝{{θ1,θ2,θ3,θ4}，θ4是上述决策过程中的待学习参数；
框架优化单元，用于通过最小化分类交叉熵损失来优化整个框架直到收敛，优化的目标函数如下：
Figure FDA0002618902770000055
结果输出单元，用于将学习到的待学习参数θ1,θ2,θ3,θ4代入整体网络框架中，输入测试图像对即得到其最终描述同一目标的概率估计值
Figure FDA0002618902770000056
CN201810034943.4A 2018-01-12 2018-01-12 基于颜色纹理分布特征的行人重识别方法及其系统 Active CN108345900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810034943.4A CN108345900B (zh) 2018-01-12 2018-01-12 基于颜色纹理分布特征的行人重识别方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810034943.4A CN108345900B (zh) 2018-01-12 2018-01-12 基于颜色纹理分布特征的行人重识别方法及其系统

Publications (2)

Publication Number Publication Date
CN108345900A CN108345900A (zh) 2018-07-31
CN108345900B true CN108345900B (zh) 2020-12-15

Family

ID=62961504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810034943.4A Active CN108345900B (zh) 2018-01-12 2018-01-12 基于颜色纹理分布特征的行人重识别方法及其系统

Country Status (1)

Country Link
CN (1) CN108345900B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344842A (zh) * 2018-08-15 2019-02-15 天津大学 一种基于语义区域表达的行人重识别方法
CN109697432B (zh) * 2018-12-30 2023-04-07 陕西师范大学 融合改进的siltp和局部方向模式的学习者姿态识别方法
CN111524164B (zh) * 2020-04-21 2023-10-13 北京爱笔科技有限公司 一种目标跟踪方法、装置及电子设备
CN112258483B (zh) * 2020-10-23 2021-07-06 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法
CN113378632B (zh) * 2021-04-28 2024-04-12 南京大学 一种基于伪标签优化的无监督域适应行人重识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273872A (zh) * 2017-07-13 2017-10-20 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
CN107292259A (zh) * 2017-06-15 2017-10-24 国家新闻出版广电总局广播科学研究院 基于AdaRank的深度特征和传统特征的集成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292259A (zh) * 2017-06-15 2017-10-24 国家新闻出版广电总局广播科学研究院 基于AdaRank的深度特征和传统特征的集成方法
CN107273872A (zh) * 2017-07-13 2017-10-20 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Learning Deep Context-Aware Features over Body and Latent Parts for Person Re-identification》;D. Li, X. Chen, Z. Zhang and K. Huang;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;第7398-7407页 *
《Learning Invariant Color Features for Person Reidentification》;R. Rama Varior, G. Wang, J. Lu and T. Liu;《in IEEE Transactions on Image Processing》;20160218;全文 *
《Triplet CNN and pedestrian attribute recognition for improved person re-identification》;Y. Chen, S. Duffner, A. Stoian, J. Dufour and A. Baskurt;《2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》;20171123;第1-6页 *

Also Published As

Publication number Publication date
CN108345900A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
CN108345900B (zh) 基于颜色纹理分布特征的行人重识别方法及其系统
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN109886161B (zh) 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111027421A (zh) 一种基于图的直推式半监督行人再识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
CN106682628B (zh) 一种基于多层深度特征信息的人脸属性分类方法
CN106960176B (zh) 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN110569779A (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN114821298B (zh) 一种具有自适应语义信息的多标签遥感图像分类方法
CN118230175B (zh) 基于人工智能的不动产测绘数据处理方法及系统
CN115240024A (zh) 一种联合自监督学习和半监督学习的地外图片分割方法和系统
CN113076963A (zh) 一种图像识别方法、装置和计算机可读存储介质
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及系统
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant