CN111523470B - 一种行人重识别方法、装置、设备及介质 - Google Patents
一种行人重识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111523470B CN111523470B CN202010327790.XA CN202010327790A CN111523470B CN 111523470 B CN111523470 B CN 111523470B CN 202010327790 A CN202010327790 A CN 202010327790A CN 111523470 B CN111523470 B CN 111523470B
- Authority
- CN
- China
- Prior art keywords
- branch
- hierarchical connection
- connection group
- target
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 230000000750 progressive effect Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005571 horizontal transmission Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种联合上下文信息的多尺度特征融合块，包括前向层次连接组、后向层次连接组和通道多尺度选择模块；其中，前向层次连接组用于递进式尺度间的信息融合；后向层次连接组用于跨越式尺度间的信息融合；通道多尺度选择模块用于对后向层次连接组进行尺度特征通道选择，还公开了一种包括联合上下文信息的多尺度特征融合块的卷积神经网络，实现了多尺度特征的有效融合。本申请还公开了一种基于上述卷积神经网络的行人重识别方法、装置、设备及存储介质，可以提高行人重识别准确率。
Description
技术领域
本申请涉及计算机应用技术领域，特别是涉及一种行人重识别方法、装置、设备及介质。
背景技术
随着计算机技术的快速发展，多尺度特征提取算法逐渐得到了广泛应用，如应用在行人重识别（Person ReID/person re-identication（ReID））中。行人重识别是图像检索领域的一个细分问题，通过判断出现在多个无重叠监控区域的摄像头的若干行人图像是否为同一人来对行人身份进行认证。
目前，多尺度特征提取算法多是通过堆叠多个多尺度卷积分支或者直接堆叠多个卷积核实现。
如图1所示，Inception 设计了多个分支，每个分支设计多种不同的卷积核，如1x1CONV、3x3 CONV、5x5 CONV等来检测多尺度信息，输入特征图经过这些卷积核后，获得输出特征图。C表示输入特征图的通道数。图2所示的OSNet设计了多个分支，并且不同的分支堆叠不同数量的轻量（lite）3*3卷积核实现多尺度特征获取。AG表示聚合门。
这种通过简单堆叠的方式很难实现多尺度特征的有效率的融合，对于行人重识别的准确率较低。
发明内容
本申请的目的是提供一种行人重识别方法、装置、设备及介质，以实现多尺度特征的有效融合，提高行人重识别准确率。
为解决上述技术问题，本发明提供一种行人重识别方法，包括：
获得目标图像，目标图像中包含待识别目标；
确定比对数据集，比对数据集中包含多张比对图像；
分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
根据输出结果，确定比对数据集中包含的待识别目标的比对图像；
其中，目标卷积神经网络为主干网络和在主干网络上逐层堆叠的联合上下文信息的多尺度特征融合块，多尺度特征融合块包括前向层次连接组、后向层次连接组和通道多尺度选择模块；
前向层次连接组包括多个第一分支，多个第一分支为正向的水平层次连接关系，前向层次连接组用于递进式尺度间的信息融合；
后向层次连接组包括多个第二分支，多个第二分支为反向的水平层次连接关系，每个第二分支融合相对应的第一分支的特征图的输出，后向层次连接组用于跨越式尺度间的信息融合；
通道多尺度选择模块包括全局平均池化层、卷积层、隐藏层和输出层，用于对后向层次连接组进行尺度特征通道选择；
前向层次连接组的后一个第一分支融合前一个第一分支的特征图的输出，每经过一次横向传递，后一个第一分支比前一个第一分支的感受野增大；
后向层次连接组的多个第二分支的数量与多个第一分支的数量相同，前一个第二分支融合后一个第二分支的特征图的输出及相对应的第一分支的特征图的输出。
优选地，根据输出结果，确定比对数据集中包含待识别目标的比对图像，包括：
分别计算目标图像对应的输出结果与比对数据集中每张比对图像对应的输出结果的距离；
将距离按照从小到大的顺序排列，将前m个距离对应的比对图像确定为包含待识别目标的比对图像。
为解决上述技术问题，本发明还提供一种行人重识别装置，包括：
目标图像获得单元，用于获得目标图像，目标图像中包含待识别目标；
数据集确定单元，用于确定比对数据集，比对数据集中包含多张比对图像；
输出结果获得单元，用于分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
图像确定单元，用于根据输出结果，确定比对数据集中包含待识别目标的比对图像；
其中，目标卷积神经网络为主干网络和在主干网络上逐层堆叠的联合上下文信息的多尺度特征融合块，多尺度特征融合块包括前向层次连接组、后向层次连接组和通道多尺度选择模块；
前向层次连接组包括多个第一分支，多个第一分支为正向的水平层次连接关系，前向层次连接组用于递进式尺度间的信息融合；
后向层次连接组包括多个第二分支，多个第二分支为反向的水平层次连接关系，每个第二分支融合相对应的第一分支的特征图的输出，后向层次连接组用于跨越式尺度间的信息融合；
通道多尺度选择模块包括全局平均池化层、卷积层、隐藏层和输出层，用于对后向层次连接组进行尺度特征通道选择；
前向层次连接组的后一个第一分支融合前一个第一分支的特征图的输出，每经过一次横向传递，后一个第一分支比前一个第一分支的感受野增大；
后向层次连接组的多个第二分支的数量与多个第一分支的数量相同，前一个第二分支融合后一个第二分支的特征图的输出及相对应的第一分支的特征图的输出。
为解决上述技术问题，本发明还提供一种行人重识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述行人重识别方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述行人重识别方法的步骤。
应用本申请实施例所提供的技术方案，获得目标图像后，确定比对数据集，比对数据集中包含多张比对图像，分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果，根据输出结果确定比对数据集包含待识别目标的比对图像。该目标卷积神经网络为联合上下文信息的多尺度特征融合卷积神经网络。利用该目标卷积神经网络进行行人重识别，可以提高识别准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为当前相关技术中一种卷积神经网络的结构示意图；
图2为当前相关技术中另一种卷积神经网络的结构示意图；
图3为本申请实施例中一种联合上下文信息的多尺度特征融合块的结构示意图；
图4为本申请实施例中联合上下文信息的多尺度特征融合块的一种具体结构示意图；
图5为本申请实施例中深度可分离卷积模块的一种结构示意图；
图6为本申请实施例中通道多尺度选择模块的一种结构示意图；
图7为本申请实施例中卷积神经网络的一种结构示意图；
图8为本申请实施例中一种行人重识别方法的实施流程图；
图9为本申请实施例中不同场景下图像的一种示意图；
图10为本申请实施例中不同场景下图像的另一种示意图；
图11为本申请实施例中不同场景下图像的另一种示意图；
图12为本申请实施例中一种行人重识别装置的结构示意图；
图13为本申请实施例中一种行人重识别设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图3所示，为本申请实施例所提供的一种联合上下文信息的多尺度特征融合块的结构示意图，该联合上下文信息的多尺度特征融合块包括前向层次连接组310、后向层次连接组320和通道多尺度选择模块330。
其中，前向层次连接组310包括多个第一分支，多个第一分支为正向的水平层次连接关系，前向层次连接组310用于递进式尺度间的信息融合；后向层次连接组320包括多个第二分支，多个第二分支为反向的水平层次连接关系，每个第二分支融合相对应的第一分支的特征图的输出，后向层次连接组320用于跨越式尺度间的信息融合；通道多尺度选择模块330，用于对后向层次连接组320进行尺度特征通道选择。
在本申请实施例中，联合上下文信息的多尺度特征融合块从上至下可以包括前向层次连接组310、后向层次连接组320和通道多尺度选择模块330。
即联合上下文信息的多尺度特征融合块CMS block主要包含三个基本组件：前向层次连接组（Forward hierarchical connect group，FHCG）310、后向层次连接组（backward hierarchical connect group，BHCG）320、通道多尺度选择模块（channel-wisescale selection module，CSS）330。
其中，前向层次连接组310包括多个第一分支，多个第一分支为正向的水平层次连接关系，前向层次连接组310用于递进式尺度间的信息融合。在本申请的一种具体实施方式中，如图4所示，前向层次连接组310的后一个第一分支融合前一个第一分支的特征图的输出，每经过一次横向传递，后一个第一分支比前一个第一分支的感受野增大。即除水平层次连接关系中的第一个第一分支外，其他每个第一分支均融合了上一个第一分支的特征图的输出，每经过一次横向传递，第一分支的感受野增大。
为了学习到多尺度的特征，不同的分支需要设计不同的感受野。所以，本申请实施例设计了有向的水平分级连接（horizontal hierarchical connection），也即为水平层次连接。每个第一分支会融合上一个第一分支特征图的输出，同时增大本第一分支的感受野辨别能力，每经过一次横向传递，感受野会增大。
前向层次连接组（FHCG）310的每个第一分支的输出可以通过如下公式表示：
其中，N代表第一分支的数量，n代表第n个第一分支，
代表前向层次连接组310的第n个第一分支的输入，
代表前向层次连接组310的第n-1个第一分支的输出，K代表通道可分离卷积操作。第n个第一分支的感受野最高可达到(2n + 1)×(2n + 1)。
总的来看，前向层次连接组310的不同第一分支以水平层次连接的方式连接（horizontal hierarchical style），该水平层次连接至少有以下好处：1) 增加感受野：每个第一分支都会融合上一个第一分支特征图的输出，增大本第一分支的感受野辨别能力，每经过一次横向传递，感受野会增大； 2) 尺度间信息融合：小尺度特征信息会流动到大尺度第一分支，通过卷积操作进行信息融合，比现有方法更精细；3) 轻量化：尺度增多与轻量是两者相互制约的参数，水平连接可解决堆叠卷积带来参数量急剧增加问题。
也就是说，在本申请实施例中，前向层次连接组310的这种水平层次连接结构会使小尺度特征信息流动到相邻大尺度第一分支，进而通过卷积操作进行特征融合，实现渐进式尺度间信息融合，这个方法比现有方法更加精细，同时也可以节省参数量与计算量。
在本申请实施例中，后向层次连接组320可以包括多个第二分支，多个第二分支为反向的水平层次连接关系，即与前向层次连接组的正向的水平层次连接关系相反，每个第二分支融合相对应的第一分支的特征图的输出，后向层次连接组320用于跨越式尺度间的信息融合。在本申请的一种具体实施方式中，如图4所示，后向层次连接组的多个第二分支的数量与多个第一分支的数量相同，前一个第二分支融合后一个第二分支的特征图的输出及相对应的第一分支的特征图的输出。
在前向层次连接组310中，可以学习一般的多尺度的特征，实现了渐进式尺度间信息融合。为了进一步进行多尺度间的信息融合，如实现较大尺度和较小尺度间的信息融合，本申请实施例设计了后向层次连接组320，后向层次连接组320与前向层次连接组310有相似的结构，但是有相反的水平层次连接关系。
后向层次连接组（BHCG）320的每个第二分支的输出可以通过如下公式表示：
其中，
代表后向层次连接组包含的第n个第二分支的输出。
后向层次连接组320通过反向的水平层次连接持续增大感受野，通过叠加前向层次连接组310中对应第一分支的小尺度特征图并进行卷积操作，实现跨越式的尺度间信息融合。
在前向层次连接组310中，第一分支具体可以包括深度可分离卷积模块，在后向层次连接组320中，第二分支具体可以包括深度可分离卷积模块。其中深度可分离卷积可用DWconv表示，该模块的具体结构可以参见图5所示，从上至下依次包括1x1卷积层（Conv 1x1）、3x3组卷积层（GConv 3x3）、批量归一化（Batch Normalization，BN）层、ReLU激活函数隐藏层。
前向层次连接组310实现了渐进式尺度间的信息融合，后向层次连接组320实现了跨越式尺度间信息融合。前向层次连接组310和后向层次连接组320提供了极其丰富的尺度特征，但最终用于单次判别的可能只有少许尺度。为此，本申请实施例中，通过通道多尺度选择模块330，对后向层次连接组320进行尺度特征通道选择。具体的，可以引入注意力机制通过对尺度特征通道加权，实现可学习的通道智能的有判别力尺度挑选。
本申请实施例中，多通道尺度选择模块330可以包括全局平均池化层、卷积层、隐藏层和输出层。
如图6所示，通道多尺度选择模块330由一个全局平均池化层（Global averagepooling layer）、两个1x1的卷积层和一个基于ReLU激活函数的隐藏层（ReLU-activatedhidden layer）组成, 最后连接一个基于sigmoid函数的输出层（sigmoid output layer）进行输出。
最终经过筛选的包含多尺度信息的特征可以用如下公式表示：
其中，
代表第n个通道多尺度选择模块的计算过程，如图4所示结构的计算过程，
代表矩阵乘法，如哈达玛积（Hadamard product），
代表最终学习到的多尺度特征。
应用本申请实施例所提供的联合上下文信息的多尺度特征融合块，通过前向层次连接组实现了渐进式尺度间的信息融合，通过后向层次连接组实现了跨越式尺度间信息融合，从而可以提供了较为丰富的尺度特征，再通过通道多尺度选择模块进行尺度特征通道选择，选择出有判别力尺度，实现了联合上下文信息的多尺度特征有效率的融合。
参见图7所示，为本申请实施例所提供的卷积神经网络的结构示意图，该卷积神经网络包括主干网络710和在主干网络710上逐层堆叠的上述联合上下文信息的多尺度特征融合块。其中，主干网络710可以包括卷积层和最大池化层。
以下表1所示即为本申请实施例中卷积神经网络的一种具体模型结构，该卷积神经网络可以简写为CMSNet（Contextual multi-scale network，联合上下文的多尺度特征融合网络）：
其中，layer代表网络层的种类，C代表输入特征图的通道数，k代表卷积核尺寸，s代表步长，n代表数量， DW conv代表深度可分离卷积，CMS block代表联合上下文信息的多尺度特征融合块，Output代表输出特征图的大小。
在该模型中，主干网络包括步长为2的7x7卷积层和3x3最大池化层（Max poll），将CMS Block逐层堆叠。
在本申请实施例中，该模型包含三个阶段，每个阶段包括两个CMS block。可以在每个阶段对特征图进行下采样。通过实验，可以发现该模型可以在精度和计算之间达到最佳平衡。
添加全局池化层和全连接层后对该模型进行训练，最终训练后的卷积神经网络。参数和计算量如表2所示，从中可以看出，本申请实施例所提供的卷积神经网络CMSNet在当前Re-ID数据集上实现了较先进的性能，而且参数量较小。
其中，euclidean为欧式距离，cosine为余弦距离，GFLOPs代表每秒浮点运算次数，Market1501和Duke均为数据集。
应用本申请实施例所提供的卷积神经网络，在主干网络上逐层堆叠联合上下文信息的多尺度特征融合块，可以同时学习不同尺度的上下文信息并进行不同尺度间信息的融合。
参见图8所示，为本申请实施例所提供的一种行人重识别方法的实施流程图，该方法可以包括以下步骤：
S810：获得目标图像。
目标图像中包含待识别目标。
在实际应用中，可以根据当前任务，获得目标图像，目标图像中包含待识别目标。待识别目标可以是人或者物。比如，当前任务为协助警方查找一名嫌疑人。根据当前任务，可以先获得包含该嫌疑人这个待识别目标的目标图像，该目标图像可以由警方提供，也可以在某监控图像中确定出。
获得目标图像后，可以继续执行步骤S820的操作。
S820：确定对比数据集。
比对数据集中包含多张对比图像。
在本申请实施例中，获得目标图像后，可以进一步确定比对数据集。该比对数据集可中包含多张比对图像。比对数据集中包含的比对图像可以是通过多个监控区域的摄像头得到的。比如，目标图像为包含某个嫌疑人的图像，该嫌疑人可能在某日的10点到12点之间在某区域活动，该区域安装有多个摄像头，将该区域摄像头采集到的该日的10点到12点之间的图像都可以作为比对图像，加入到比对数据集中。还可以在比对数据集中加入一些特定的公开的比对图像。
S830：分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果。
目标卷积神经网络为上述卷积神经网络。
在本申请实施例中，可以先构建并训练得到目标卷积神经网络。该目标卷积神经网络与上述实施例中的卷积神经网络的结构相同，包括主干网络和在主干网络上逐层堆叠的联合上下文信息的多尺度特征融合块。通过预先获得训练数据集对构建的联合上下文信息的多尺度特征融合初始卷积神经网络进行训练，调整网络参数，在精度达到设定要求时，可以获得目标卷积神经网络。训练数据集中可以包含多张训练图像。
在实际应用中，有的图像通过全局特征即可匹配完成，如图9所示的三幅图像中，前两幅为同一人，根据图像中的全局特征，如T恤颜色、短裤颜色等可以完成匹配。有的图像还需要进行局部特征匹配，如图10所示的三幅图像中，前两幅是同一人，第三幅与前两幅不是同一人，但是图中行人全局特征相似，如都穿着红色衬衫及灰色短裤，体态也很相近，所以需要根据局部特征，如鞋子、背包等进行进一步匹配。
也就是说，在很多情况下，仅仅有多个尺度是远远不够的，通常需要多个尺度信息的配合才能实现行人的成功匹配。例如图11中需要通过T恤上的logo区分这三幅图像是否是同一个人，如果没有T恤作为背景信息, 那么logo不再具有判别能力。这种尺度特征可称为上下文尺度（contextual scale）。面对这种场景，不同尺度的特征需要设计相关的信息融合机制。本申请实施例就是利用联合上下文信息的多尺度特征融合卷积神经网络进行行人重识别，可以提高识别准确率。
在实际应用中，可以分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果。每张图像有对应的输出结果。
输出结果可以用一维向量形式表达。
S840：根据输出结果，确定比对数据集中包含的待识别目标的比对图像。
分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，可以得到每张图像对应的输出结果。根据输出结果，可以确定比对数据集中与目标图像匹配的比对图像，确定出的比对图像中包含待识别目标。
在本申请的一种具体实施方式中，步骤S840可以包括以下步骤：
步骤一：分别计算目标图像对应的输出结果与比对数据集中每张比对图像对应的输出结果的距离；
步骤二：将距离按照从小到大的顺序排列，将前m个距离对应的比对图像确定为包含待识别目标的比对图像。
为便于描述，将上述两个步骤结合起来进行说明。
在本申请实施例中，输出结果可以用一维向量形式表达，即每个图像对应的输出结果均为一个一维向量。
针对于比对数据集中每张比对图像，计算目标图像对应的输出结果与该比对图像对应的输出结果的距离。具体的，可以计算这两个输出结果的欧式距离或者余弦距离。
可以根据实际情况设定每个目标图像需要输出m个匹配结果。将上述计算得到的距离按照从小到大的顺序排列，将前m个距离对应的比对图像确定为包含待识别目标的比对图像。m为正整数。
应用本申请实施例所提供的方法，获得目标图像后，确定比对数据集，比对数据集中包含多张比对图像，分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果，根据输出结果确定比对数据集包含的待识别目标的比对图像。该目标卷积神经网络为联合上下文信息的多尺度特征融合卷积神经网络。利用该目标卷积神经网络进行行人重识别，可以提高识别准确率。
相应于上面的方法实施例，本申请实施例还提供了一种行人重识别装置，下文描述的行人重识别装置与上文描述的行人重识别方法可相互对应参照。
参见图12所示，该装置包括以下单元：
目标图像获得单元1210，用于获得目标图像，目标图像中包含待识别目标；
数据集确定单元1211，用于确定比对数据集，比对数据集中包含多张比对图像；
输出结果获得单元1212，用于分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
图像确定单元1213，用于根据输出结果，确定比对数据集中包含的待识别目标的比对图像；
其中，目标卷积神经网络为上述卷积神经网络。
应用本申请实施例所提供的装置，获得目标图像后，确定比对数据集，比对数据集中包含多张比对图像，分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果，根据输出结果确定比对数据集包含的待识别目标的比对图像。该目标卷积神经网络为联合上下文信息的多尺度特征融合卷积神经网络。利用该目标卷积神经网络进行行人重识别，可以提高识别准确率。
在本申请的一种具体实施方式中，输出结果获得单元1212，用于：
分别计算目标图像对应的输出结果与比对数据集中每张比对图像对应的输出结果的距离；
将距离按照从小到大的顺序排列，将前m个距离对应的比对图像确定为包含待识别目标的比对图像。
相应于上面的方法实施例，本申请实施例还提供了一种行人重识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述行人重识别方法的步骤。
如图13所示，为行人重识别设备的组成结构示意图，行人重识别设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器（Central Processing Unit，CPU）、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行行人重识别方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
获得目标图像，目标图像中包含待识别目标；
确定比对数据集，比对数据集中包含多张比对图像；
分别将目标图像和比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
根据输出结果，确定比对数据集中包含的待识别目标的比对图像；
其中，目标卷积神经网络为上述卷积神经网络。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能（比如图像处理功能、结果比对功能）所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如图像数据、结果数据等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图13所示的结构并不构成对本申请实施例中行人重识别设备的限定，在实际应用中行人重识别设备可以包括比图13所示的更多或更少的部件，或者组合某些部件。
相应于上面的方法实施例，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述行人重识别方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (5)
1.一种行人重识别方法，其特征在于，包括：
获得目标图像，所述目标图像中包含待识别目标；
确定比对数据集，所述比对数据集中包含多张比对图像；
分别将所述目标图像和所述比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
根据所述输出结果，确定所述比对数据集中包含的所述待识别目标的比对图像；
其中，所述目标卷积神经网络为主干网络和在所述主干网络上逐层堆叠的联合上下文信息的多尺度特征融合块，所述多尺度特征融合块包括前向层次连接组、后向层次连接组和通道多尺度选择模块；
所述前向层次连接组包括多个第一分支，所述多个第一分支为正向的水平层次连接关系，所述前向层次连接组用于递进式尺度间的信息融合；
所述后向层次连接组包括多个第二分支，所述多个第二分支为反向的水平层次连接关系，每个第二分支融合相对应的第一分支的特征图的输出，所述后向层次连接组用于跨越式尺度间的信息融合；
所述通道多尺度选择模块包括全局平均池化层、卷积层、隐藏层和输出层，用于对所述后向层次连接组进行尺度特征通道选择；
所述前向层次连接组的后一个第一分支融合前一个第一分支的特征图的输出，每经过一次横向传递，后一个第一分支比前一个第一分支的感受野增大；
所述后向层次连接组的所述多个第二分支的数量与所述多个第一分支的数量相同，前一个第二分支融合后一个第二分支的特征图的输出及相对应的第一分支的特征图的输出。
2.根据权利要求1所述的方法，其特征在于，所述根据所述输出结果，确定所述比对数据集中包含所述待识别目标的比对图像，包括：
分别计算所述目标图像对应的输出结果与所述比对数据集中每张比对图像对应的输出结果的距离；
将距离按照从小到大的顺序排列，将前m个距离对应的比对图像确定为包含所述待识别目标的比对图像。
3.一种行人重识别装置，其特征在于，包括：
目标图像获得单元，用于获得目标图像，所述目标图像中包含待识别目标；
数据集确定单元，用于确定比对数据集，所述比对数据集中包含多张比对图像；
输出结果获得单元，用于分别将所述目标图像和所述比对数据集中的每张比对图像输入到目标卷积神经网络中，得到相应的输出结果；
图像确定单元，用于根据所述输出结果，确定所述比对数据集中包含所述待识别目标的比对图像；
其中，所述目标卷积神经网络为主干网络和在所述主干网络上逐层堆叠的联合上下文信息的多尺度特征融合块，所述多尺度特征融合块包括前向层次连接组、后向层次连接组和通道多尺度选择模块；
所述前向层次连接组包括多个第一分支，所述多个第一分支为正向的水平层次连接关系，所述前向层次连接组用于递进式尺度间的信息融合；
所述后向层次连接组包括多个第二分支，所述多个第二分支为反向的水平层次连接关系，每个第二分支融合相对应的第一分支的特征图的输出，所述后向层次连接组用于跨越式尺度间的信息融合；
所述通道多尺度选择模块包括全局平均池化层、卷积层、隐藏层和输出层，用于对所述后向层次连接组进行尺度特征通道选择；
所述前向层次连接组的后一个第一分支融合前一个第一分支的特征图的输出，每经过一次横向传递，后一个第一分支比前一个第一分支的感受野增大；
所述后向层次连接组的所述多个第二分支的数量与所述多个第一分支的数量相同，前一个第二分支融合后一个第二分支的特征图的输出及相对应的第一分支的特征图的输出。
4.一种行人重识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1、2任意一项所述行人重识别方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1、2任意一项所述行人重识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010327790.XA CN111523470B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、装置、设备及介质 |
| PCT/CN2020/117332 WO2021212736A1 (zh) | 2020-04-23 | 2020-09-24 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010327790.XA CN111523470B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111523470A CN111523470A (zh) | 2020-08-11 |
| CN111523470B true CN111523470B (zh) | 2022-11-18 |
Family
ID=71903493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010327790.XA Active CN111523470B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111523470B (zh) |
| WO (1) | WO2021212736A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523470B (zh) * | 2020-04-23 | 2022-11-18 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置、设备及介质 |
| CN112183295A (zh) * | 2020-09-23 | 2021-01-05 | 上海眼控科技股份有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
| CN112472065A (zh) * | 2020-11-18 | 2021-03-12 | 天机医用机器人技术(清远)有限公司 | 基于咳嗽声识别的病症检测方法及其相关设备 |
| CN114612374A (zh) * | 2020-12-09 | 2022-06-10 | 中国科学院深圳先进技术研究院 | 基于特征金字塔的图像检测模型的训练方法、介质和设备 |
| CN112613376B (zh) * | 2020-12-17 | 2024-04-02 | 深圳集智数字科技有限公司 | 重识别方法及装置，电子设备 |
| CN113420697B (zh) * | 2021-07-01 | 2022-12-09 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于表观和形状特征的换装视频行人重识别方法及系统 |
| CN113486815B (zh) * | 2021-07-09 | 2022-10-21 | 山东力聚机器人科技股份有限公司 | 一种行人重识别系统和方法、计算机设备及存储介质 |
| CN113486908B (zh) * | 2021-07-13 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置、电子设备及可读存储介质 |
| CN114062812B (zh) * | 2021-11-15 | 2024-05-07 | 国网四川省电力公司营销服务中心 | 一种计量柜故障诊断方法及系统 |
| CN114169363B (zh) * | 2021-11-16 | 2024-09-27 | 西安石油大学 | 一种地震勘探数据处理方法、装置及可存储介质 |
| CN113963241B (zh) * | 2021-12-22 | 2022-03-08 | 苏州浪潮智能科技有限公司 | Fpga硬件架构及其数据处理方法、存储介质 |
| CN114332955B (zh) * | 2022-03-11 | 2022-06-10 | 浪潮云信息技术股份公司 | 一种行人重识别的方法、装置及计算机可读存储介质 |
| CN115294601B (zh) * | 2022-07-22 | 2023-07-11 | 苏州大学 | 基于多尺度特征动态融合的行人重识别方法 |
| CN115588170B (zh) * | 2022-11-29 | 2023-02-17 | 城云科技（中国）有限公司 | 渣土车重识别方法及其应用 |
| CN115631472B (zh) * | 2022-12-19 | 2023-03-21 | 山东高速股份有限公司 | 一种高速公路行人闯入智能检测方法 |
| CN117333928B (zh) * | 2023-12-01 | 2024-03-22 | 深圳市宗匠科技有限公司 | 一种人脸特征点检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
| CN109102025A (zh) * | 2018-08-15 | 2018-12-28 | 电子科技大学 | 基于深度学习联合优化的行人重识别方法 |
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
| CN110119760A (zh) * | 2019-04-11 | 2019-08-13 | 华南理工大学 | 一种基于层次化多尺度循环神经网络的序列分类方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3617947A1 (en) * | 2018-08-30 | 2020-03-04 | Nokia Technologies Oy | Apparatus and method for processing image data |
| CN109671070B (zh) * | 2018-12-16 | 2021-02-09 | 华中科技大学 | 一种基于特征加权和特征相关性融合的目标检测方法 |
| CN109886066B (zh) * | 2018-12-17 | 2023-05-09 | 南京理工大学 | 基于多尺度和多层特征融合的快速目标检测方法 |
| CN110334622B (zh) * | 2019-06-24 | 2022-04-19 | 电子科技大学 | 基于自适应特征金字塔的行人检索方法 |
| CN110852330A (zh) * | 2019-10-23 | 2020-02-28 | 天津大学 | 一种基于单阶段的行为识别方法 |
| CN111523470B (zh) * | 2020-04-23 | 2022-11-18 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置、设备及介质 |
-
2020
- 2020-04-23 CN CN202010327790.XA patent/CN111523470B/zh active Active
- 2020-09-24 WO PCT/CN2020/117332 patent/WO2021212736A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
| CN109102025A (zh) * | 2018-08-15 | 2018-12-28 | 电子科技大学 | 基于深度学习联合优化的行人重识别方法 |
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
| CN110119760A (zh) * | 2019-04-11 | 2019-08-13 | 华南理工大学 | 一种基于层次化多尺度循环神经网络的序列分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021212736A1 (zh) | 2021-10-28 |
| CN111523470A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523470B (zh) | 一种行人重识别方法、装置、设备及介质 | |
| CN112541503B (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
| CN109086722B (zh) | 混合车牌识别方法、装置、电子设备 | |
| US20170364757A1 (en) | Image processing system to detect objects of interest | |
| CN111126379A (zh) | 一种目标检测方法与装置 | |
| US20200242451A1 (en) | Method, system and apparatus for pattern recognition | |
| CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
| CN111144329A (zh) | 一种基于多标签的轻量快速人群计数方法 | |
| CN112614187A (zh) | 回环检测方法、装置、终端设备和可读存储介质 | |
| CN111626184B (zh) | 一种人群密度估计方法及系统 | |
| CN113221787A (zh) | 基于多元差异性融合的行人多目标跟踪方法 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| CN113869282B (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
| CN112529897B (zh) | 一种图像检测方法、装置、计算机设备及存储介质 | |
| CN112085088A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111860496A (zh) | 车牌识别方法、装置、设备及计算机可读存储介质 | |
| CN112668532A (zh) | 基于多阶段混合注意网络的人群计数方法 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN111104924B (zh) | 一种识别低分辨率商品图像的处理算法 | |
| CN113902903B (zh) | 一种基于下采样的双注意力多尺度融合方法 | |
| CN113408498B (zh) | 一种人群计数系统及方法、设备及存储介质 | |
| CN114429524A (zh) | 单目视觉下的三维目标检测模型的构建方法及检测方法 | |
| CN114373117A (zh) | 一种目标检测方法、装置及系统 | |
| CN114495269A (zh) | 一种行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |