CN114332955A - 一种行人重识别的方法、装置及计算机可读存储介质 - Google Patents
一种行人重识别的方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114332955A CN114332955A CN202210234725.1A CN202210234725A CN114332955A CN 114332955 A CN114332955 A CN 114332955A CN 202210234725 A CN202210234725 A CN 202210234725A CN 114332955 A CN114332955 A CN 114332955A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- feature information
- region
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003044 adaptive effect Effects 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种行人重识别的方法、装置及计算机可读存储介质，涉及数字图像处理技术领域。通过先确定第一图像和第二图像各自的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，根据第一图像和第二图像对应的全局特征信息和局部特征信息，确定第一图像和第二图像的特征信息，并将第一图像的特征信息和第二图像的特征信息进行拼接，并对拼接结果进行识别。可见，此方法，通过全局特征信息和局部特征信息相结合的方式，在不同背景时，全局特征信息可以对行人所在的区域进行定位，进一步提取局部特征信息，在背景相似时，局部信息可以根据局部信息之间的互注意力权重信息对有遮挡的部位的特征进行获取，使检测结果更加准确。
Description
技术领域
本申请涉及数字图像处理技术领域，特别是涉及一种行人重识别的方法、装置及计算机可读存储介质。
背景技术
随着智慧安防、智慧交通、智能监控等技术的普及与快速发展，行人重识别技术在安防、公共安全以及刑侦等领域有着很大的应用前景。行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。而现有的行人重识别技术是基于局部特征，将图像垂直切分成若干个小区域，并按照顺序输入到长短时记忆网络，进行特征融合，旨在弥补固定的摄像头的视觉局限。
行人呈现在摄像头里的视角、一天中的光照强度、行人走路的姿态等不同，同一行人的特征信息也会存在巨大偏差；另外，此技术也面临遮挡问题，由于遮挡部位是随机、无规则的，并且遮挡物噪声与真实行人特征接近，使检测出的结果不准确。
鉴于上述技术问题，寻求一种提高检测结果准确率的方法，是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种行人重识别的方法、装置及计算机可读存储介质。
为解决上述技术问题，本申请提供一种行人重识别的方法，包括：
确定第一图像的全局特征信息、局部特征信息和所述局部特征信息之间的互注意力权重信息，并根据所述全局特征信息和局部特征信息确定所述第一图像的特征信息；
确定第二图像的全局特征信息、局部特征信息和所述第二图像的局部特征信息之间的互注意力权重信息，并根据所述第二图像的全局特征信息和局部特征信息确定所述第二图像的特征信息；
对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果；
对所述拼接结果进行识别，得到识别结果；
确定所述第一图像的所述全局特征信息包括：
根据卷积神经网络获取所述第一图像的第一全局特征信息，并获取所述第一图像的第一全局特征注意力信息；
获取所述第一图像和所述第二图像的差分数值；
根据所述差分数值确定自适应注意力机制的自适应参数；
根据所述自适应参数、所述第一全局特征信息和所述第一全局特征注意力信息确定所述第一图像的全局特征信息；
确定所述第二图像的全局特征信息包括：
根据卷积神经网络获取所述第二图像的第一全局特征信息，并获取所述第二图像的第一全局特征注意力信息；
根据所述自适应参数、所述第二图像的第一全局特征信息和所述第二图像的第一全局特征注意力信息确定所述第二图像的全局特征信息；
确定所述第一图像的局部特征信息包括：
获取所述第一图像的感兴趣区域，其中所述感兴趣区域包括第一区域和第二区域；
所述第一区域包括头、上身和下身三个区域，所述第二区域包括四个四肢所在的四个区域；
将所述第一区域中的三个所述区域和所述第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第一区域和所述第二区域中各所述区域的权重信息；
根据所述第一区域和所述第二区域对应的区域对应的特征信息、所述第一区域和所述第二区域对应的区域的所述权重信息和所述自适应参数确定所述第一图像的局部特征信息；
确定所述第二图像的局部特征信息包括：
获取所述第二图像的感兴趣区域，其中所述第二图像的感兴趣区域包括第一区域和第二区域；
所述第二图像的第一区域包括头、上身和下身三个区域，所述第二图像的第二区域包括四个四肢所在的四个区域；
将所述第二图像的第一区域的三个所述区域和所述第二图像的第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第二图像的第一区域和第二区域中各所述区域的权重信息；
根据所述第二图像的第一区域和第二区域对应的区域的特征信息、所述第二图像的第一区域和第二区域对应的区域的权重信息和所述自适应参数确定所述第二图像的局部特征信息。
优选地，在所述确定所述第一区域和所述第二区域中各所述区域的权重信息之后，还包括：
将所述第一图像和所述第二图像的各第一全局特征信息与各第一全局注意力权重信息对齐；
将所述第一图像和所述第二图像的各局部特征信息与对应的权重信息对齐。
优选地，确定所述第一图像的特征信息包括：
将所述第一图像的全局特征信息与所述第一图像的局部特征信息进行拼接，得到所述第一图像的特征信息；
确定所述第二图像的特征信息包括：
将所述第二图像的第二全局特征信息与所述第二图像的第二局部特征信息进行拼接，得到所述第二图像的特征信息。
优选地，在所述对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果之后还包括：
将所述拼接结果输出至全连接网络，并进入所述对所述拼接结果进行识别，得到识别结果的步骤。
优选地，所述对所述拼接结果进行识别，得到识别结果，包括：
将所述拼接结果发送至Softmax层进行识别，得到所述识别结果。
为解决上述技术问题，本申请还提供一种行人重识别的装置，包括：
第一确定模块，用于确定第一图像的全局特征信息、局部特征信息和所述局部特征信息之间的互注意力权重信息并根据所述全局特征信息和局部特征信息确定所述第一图像的特征信息；
第二确定模块，用于确定第二图像的全局特征信息、局部特征信息和所述第二图像的局部特征信息之间的互注意力权重信息，并根据所述第二图像的全局特征信息和局部特征信息确定所述第二图像的特征信息；
拼接模块，用于对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果；
识别模块，用于对所述拼接结果进行识别，得到识别结果；
确定所述第一图像的所述全局特征信息包括：
根据卷积神经网络获取所述第一图像的第一全局特征信息，并获取所述第一图像的第一全局特征注意力信息；
获取所述第一图像和所述第二图像的差分数值；
根据所述差分数值确定自适应注意力机制的自适应参数；
根据所述自适应参数、所述第一全局特征信息和所述第一全局特征注意力信息确定所述第一图像的全局特征信息；
确定所述第二图像的全局特征信息包括：
根据卷积神经网络获取所述第二图像的第一全局特征信息，并获取所述第二图像的第一全局特征注意力信息；
根据所述自适应参数、所述第二图像的第一全局特征信息和所述第二图像的第一全局特征注意力信息确定所述第二图像的全局特征信息；
确定所述第一图像的局部特征信息包括：
获取所述第一图像的感兴趣区域，其中所述感兴趣区域包括第一区域和第二区域；
所述第一区域包括头、上身和下身三个区域，所述第二区域包括四个四肢所在的四个区域；
将所述第一区域中的三个所述区域和所述第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第一区域和所述第二区域中各所述区域的权重信息；
根据所述第一区域和所述第二区域对应的区域对应的特征信息、所述第一区域和所述第二区域对应的区域的所述权重信息和所述自适应参数确定所述第一图像的局部特征信息；
确定所述第二图像的局部特征信息包括：
获取所述第二图像的感兴趣区域，其中所述第二图像的感兴趣区域包括第一区域和第二区域；
所述第二图像的第一区域包括头、上身和下身三个区域，所述第二图像的第二区域包括四个四肢所在的四个区域；
将所述第二图像的第一区域的三个所述区域和所述第二图像的第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第二图像的第一区域和第二区域中各所述区域的权重信息；
根据所述第二图像的第一区域和第二区域对应的区域的特征信息、所述第二图像的第一区域和第二区域对应的区域的权重信息和所述自适应参数确定所述第二图像的局部特征信息。
为解决上述技术问题，本申请还提供一种行人重识别的装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的行人重识别的方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的行人重识别的方法的步骤。
本申请所提供的一种行人重识别方法，先确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，并根据全局特征信息和局部特征信息确定第一图像的特征信息，再确定所述第二图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，根据第二图像的全局特征信息和局部特征信息确定第二图像的特征信息，最后将第一图像的特征信息和第二图像的特征信息进行拼接，并对拼接结果进行识别，得到识别结果。可见，此方法，通过全局特征信息和局部特征信息相结合的方式，在不同背景时，全局特征信息可以对行人所在的区域进行定位，进一步提取局部特征信息，在背景相似时，局部信息可以根据局部信息之间的互注意力权重信息对有遮挡的部位的特征进行获取，使检测结果更加准确。
在此基础上，本申请还提供一种行人重识别的装置和计算机可读存储介质，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种行人重识别的方法的流程图；
图2为本申请实施例提供的另一种行人重识别的方法的流程图；
图3为本申请实施例提供的一种行人重识别的装置的结构图；
图4为本申请另一实施例提供的行人重识别的装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种行人重识别的方法、装置及计算机可读存储介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种行人重识别的方法的流程图，如图1所示，行人重识别的方法的步骤包括：
S10：确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，并根据全局特征信息和局部特征信息确定第一图像的特征信息。
S11：确定第二图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，并根据全局特征信息和局部特征信息确定第二图像的特征信息。
S12：对第一图像的特征信息和第二图像的特征信息进行拼接，得到拼接结果。
S13：对拼接结果进行识别，得到识别结果。
可以理解的是，随着智慧安防、智慧交通、智能监控等技术的普及与快速发展，行人重识别技术在安防、公共安全以及刑侦等领域有着很大的应用前景。行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。而现有的行人重识别技术是基于局部特征，将图像垂直切分成若干个小区域，并按照顺序输入到长短时记忆网络，进行特征融合，旨在弥补固定的摄像头的视觉局限。但是行人呈现在摄像头里的视角、一天中的光照强度、行人走路的姿态等不同，同一行人的特征信息也会存在巨大偏差；另外，此技术也面临遮挡问题，由于遮挡部位是随机、无规则的，并且遮挡物噪声与真实行人特征接近，使检测出的结果不准确。因此提出一种行人重识别的方法。
如S10步骤所说，确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，并根据全局特征信息和局部特征信息确定第一图像的特征信息，具体地为，全局特征信息是指对行人图像的全局信息进行一个特征抽取，得到一个向量，不包含空间信息。而局部特征信息是指对行人图像的某一个区域进行特征抽取，比如行人的头部，上半身或者下半身等区域，本实施例对如何确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息不作限定，但作为一种优选的实施方式，局部特征信息之间的互注意力权重信息可以根据软注意力机制获取各个区域之间的互关联权重信息，这里的软注意力是计算图像在通道域上的注意力信息，使用SENet网络获取。SENet首先是通过一个全局平均池化操作将特征维度进行压缩，使得特征具有全局性感受；其次经过一个多层感知机和Sigmoid函数在每个特征通道上生成权重，得到特征通道间的相关性；最后将通道间相关性权重相乘加权到先前的特征上，这样可以得到全注意力权重信息。此外，对如何根据全局特征信息和局部特征信息确定第一图像的特征信息也不作限定。
在S11步骤中，可以理解的是，行人重识别是根据两张图像确定是否为同一个人，而S10步骤是获取第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，而S11步骤是对第二图像的全局特征信息、局部特征信息以及局部特征信息之间的互注意力权重信息的获取，本实施例对获取的方式不作限定。对于第一图像和第二图像的全局特征信息以及局部特征信息的获取方式可以根据具体的实施方式进行选择。
对于S12步骤所说，将第一图像的特征信息和第二图像的特征信息进行拼接，得到拼接结果，然后进入S13步骤，而S13步骤是对拼接结果进行一个识别，本实施例对如何对拼接结果进行识别不作限定，可以通过Softmax层对拼接结果进行识别，得到识别结果。
本实施例所提供的一种行人重识别方法，先确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，并根据全局特征信息和局部特征信息确定第一图像的特征信息，再确定所述第二图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息，根据第二图像的全局特征信息和局部特征信息确定第二图像的特征信息，最后将第一图像的特征信息和第二图像的特征信息进行拼接，并对拼接结果进行识别，得到识别结果。可见，此方法，通过全局特征信息和局部特征信息相结合的方式，在不同背景时，全局特征信息可以对行人所在的区域进行定位，进一步提取局部特征信息，在背景相似时，局部信息可以根据局部信息之间的互注意力权重信息对有遮挡的部位的特征进行获取，使检测结果更加准确。
作为一种优选的实施例，对如何确定第一图像的全局特征信息和第二图像的全局特征信息进行限定，具体如下：
根据卷积神经网络获取第一图像的第一全局特征信息，并获取第一图像的第一全局特征注意力信息；
获取第一图像和第二图像的差分数值；
根据差分数值确定自适应注意力机制的自适应参数；
根据自适应参数、第一全局特征信息和第一全局特征注意力信息确定第一图像的全局特征信息；
确定第二图像的全局特征信息包括：
根据卷积神经网络获取第二图像的第一全局特征信息，并获取第二图像的第一全局特征注意力信息；
根据自适应参数、第二图像的第一全局特征信息和第二图像的第一全局特征注意力信息确定第二图像的全局特征信息。
本实施中卷积神经网络为ResNet-50网络，其中ResNet-50网络包含了49个卷积层、一个全连接层。Resnet50网络结构可以分成七个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差块，在Resnet50网络结构中，残差块都有三层卷积，那网络一共有1+3×(3+4+6+3)=49个卷积层，加上最后的全连接层总共是50层，首先通过卷积神经网络获取第一图像的第一全局特征信息，并对第一图像的第一全局特征注意力信息进行计算，具体地为，第一图像为
，第二图像为
，第一图像经过卷积操作，得到第一全局特征信息
，
，同时计算第一图像
的第一全局特征权重信息，记为
，具体地为：
，
表示第一图像的第一全局特征权重信息，通过自注意力机制计算图像中全局像素之间的关联信息，可以使网络集中关注全局的行人特征。
此外，计算第一图像和第二图像的差分数值，通过如下公式：
并对自适应注意力机制的自适应参数
进行计算，
，根据自适应参数、第一全局特征信息和第一全局特征注意力信息确定第一图像的全局特征信息具体地为：通过自适应参数
将第二全局特征注意力信息进行计算
，则第一图像的全局特征信息计算公式如下：
。
其中，第二图像的全局特征信息计算与第一图像的全局特征计算相同，本实施例暂不赘述。
本实施例所提供的计算第一图像和第二图像全局特征信息的方法，通过获取第一图像和第二图像对应的第一全局特征信息，并根据第一图像和第二图像的差分数值获取自适应注意力机制的自适应参数，根据自适应注意力机制的自适应参数确定出第一图像和第二图像的全局特征信息，此方法，可使网络集中关注全局的行人特征，并有效过滤背景噪声。
作为一种优选的实施例，对如何获取第一图像和第二图像对应的局部特征信息进行限定，具体如下：
获取第一图像的感兴趣区域，其中感兴趣区域包括第一区域和第二区域；
第一区域包括头、上身和下身三个区域，第二区域包括四个四肢所在的四个区域；
将第一区域中的三个区域和第二区域的四个区域分别输入到卷积神经网络，得到七个区域特征信息；
确定第一区域和第二区域中各区域的权重信息；
根据第一区域和第二区域对应的区域对应的特征信息、第一区域和第二区域对应的区域的权重信息和自适应参数确定第一图像的局部特征信息；
确定第二图像的局部特征信息包括：
获取第二图像的感兴趣区域，其中第二图像的感兴趣区域包括第一区域和第二区域；
第二图像的第一区域包括头、上身和下身三个区域，第二图像的第二区域包括四个四肢所在的四个区域；
将第二图像的第一区域的三个区域和第二图像的第二区域的四个区域分别输入到卷积神经网络，得到七个区域特征信息；
确定第二图像的第一区域和第二区域中各区域的权重信息；
根据第二图像的第一区域和第二区域对应的区域的特征信息、第二图像的第一区域和第二区域对应的区域的权重信息和自适应参数确定第二图像的局部特征信息。
值得注意的是，第一图像首先经过预训练的人体姿态和人体关键点检测模型，检测第一图像中行人的姿态，并获取人体的关键点，根据关键点得到感兴趣区域，而感兴趣区域包括第一区域和第二区域，其中第一区域包括头、上身和下身所在的三个区域，第二区域包括四个四肢所在的四个区域。将第一区域的三个区域输入到卷积神经网络，得到三个区域特征信息，具体的公式为：
，其中，
表示第
个区域的特征，
表示第一区域中三个区域的原始图像，此外，头、上身和下身不分先后，都可以作为第一个，也都可以作为第三个。
再计算第一区域的三个区域对应的权重信息，具体的计算公式如下：
。
其中，
表示三个区域的自注意力权重，再将第二区域中的四个区域输入卷积神经网络，得到四个特征信息，
，其中，
表示第二区域中四个区域中的一个区域的特征信息，随后对第二区域中四个区域对应的权重信息进行计算，具体的计算公式如下：
，其中，
表示第
个四肢所在的区域对应的自注意力权重，
表示四个四肢所在区域对应的图像。
根据第一区域和第二区域对应的区域对应的特征信息、第一区域和第二区域对应的区域的权重信息和自适应参数确定第一图像的局部特征信息，具体地为：通过自适应参数确定第一区域和第二区域对应的区域的局部注意力，第一区域的局部注意力为：
，第二区域的局部注意力为：
，软注意力权重信息的获取公式为：
，
表示第
个区域的软注意力权重，
表示第一区域和第二区域中七个区域对应的图像。加入自适应参数的软注意力为：
，则局部特征的计算公式如下：
其中，第二图像的局部特征信息获取与第一图像局部信息的获取相同，本实施例不再赘述。
在上述实施例的基础上，只获取了第一图像和第二图像中各区域的权重信息还不够，可能在空间上图像没有对齐，因此需要加上一个步骤，具体如下：
将第一图像和第二图像的各第一全局特征信息与各第一全局注意力权重信息对齐；
将第一图像和第二图像的各局部特征信息与对应的权重信息对齐。
在具体实施例中，第一图像和第二图像的全局特征信息和局部特征信息是经过卷积网络获取，并不一定是对齐的状态，因此需要在维度和空间上将特征信息与对应的注意力权重信息对齐，本实施例对如何对齐不作限定，可以根据具体的实施方式，对对齐的方式进行选择。
本实施例所提供的，在获取第一图像和第二图像对应的权重信息之后，将第一图像和第二图像的全局特征信息和局部特征信息与对应的权重信息进行对齐，进一步使特征信息更加准确，提高了行人重识别的准确度。
作为一种优选的实施方式，对如何确定第一图像的特征信息进行限定，具体步骤如下：
将第一图像的全局特征信息与第一图像的局部特征信息进行拼接，得到第一图像的特征信息。
可以看出，是将第一图像的全局特征信息与第一图像的局部特征信息进行拼接，从而得到第一图像的特征信息，具体的公式为：
，其中
为第一图像的特征信息。
通过同样的方法，计算出第二图像的全局特征信息，本实施例不再赘述。
在具体实施例中，在将第一图像和第二图像的特征信息进行拼接之后，还需要将拼接结果输入至全连接网络，图2为本申请实施例提供的另一种行人重识别的方法的流程图，如图2所示，在步骤S12和S13之间还包括：
S14：将拼接结果输出至全连接网络。
值得注意的是，本实施例采用两层全连接网络，但本实施例仅仅是一种优选的实施方式，并不对几层全连接网络进行限定，可以根据具体的实施方式进行选择。
此外，对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。在具体实施例中，图像在不同的位置，输出的值相同，但是位置不同对于电脑来说，特征值相同，但是特征值的位置不同，那分类结果也可能不一样，而全连接层相当于找到这个图像，实现分类。
此外，拼接结果的识别是通过Softmax层进行识别得到，Softmax在神经网络中解决分类的问题，使用Softmax使识别的结果更加准确，通过将第一图像与第二图像的特征信息进行对比，得出是否为同一个人的结论，与传统的面容识别方式不同，面容识别是通过获取的图像与数据库中存储的图像进行对比，而本实施例是通过对获取的两张图像进行对比得出结果。
可以看出，经过Softmax层的对比，使行人重识别的结果更加准确。
在上述实施例中，对于行人重识别的方法进行了详细描述，本申请还提供行人重识别的装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图3为本申请实施例提供的一种行人重识别的装置的结构图，如图3所示，行人重识别的装置包括：
第一确定模块16，用于确定第一图像的全局特征信息、局部特征信息和局部特征信息之间的互注意力权重信息并根据全局特征信息和局部特征信息确定第一图像的特征信息。
第二确定模块17，用于确定第二图像的全局特征信息、局部特征信息和第二图像的局部特征信息之间的互注意力权重信息，并根据第二图像的全局特征信息和局部特征信息确定第二图像的特征信息。
拼接模块18，用于对第一图像的特征信息和第二图像的特征信息进行拼接，得到拼接结果。
识别模块19，用于对拼接结果进行识别，得到识别结果。
图4为本申请另一实施例提供的行人重识别的装置的结构图，如图4所示，行人重识别的装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中所提到的行人重识别的方法的步骤。
本实施例提供的行人重识别的装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器（Digital Signal Processor，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任意一个实施例公开的行人重识别的方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于行人重识别的方法的数据等。
在一些实施例中，行人重识别的装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图4中示出的结构并不构成对行人重识别的装置的限定，可以包括比图示更多或更少的组件。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的行人重识别的方法、装置及计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种行人重识别的方法，其特征在于，包括：
确定第一图像的全局特征信息、局部特征信息和所述局部特征信息之间的互注意力权重信息，并根据所述全局特征信息和局部特征信息确定所述第一图像的特征信息；
确定第二图像的全局特征信息、局部特征信息和所述第二图像的局部特征信息之间的互注意力权重信息，并根据所述第二图像的全局特征信息和局部特征信息确定所述第二图像的特征信息；
对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果；
对所述拼接结果进行识别，得到识别结果；
确定所述第一图像的所述全局特征信息包括：
根据卷积神经网络获取所述第一图像的第一全局特征信息，并获取所述第一图像的第一全局特征注意力信息；
获取所述第一图像和所述第二图像的差分数值；
根据所述差分数值确定自适应注意力机制的自适应参数；
根据所述自适应参数、所述第一全局特征信息和所述第一全局特征注意力信息确定所述第一图像的全局特征信息；
确定所述第二图像的全局特征信息包括：
根据卷积神经网络获取所述第二图像的第一全局特征信息，并获取所述第二图像的第一全局特征注意力信息；
根据所述自适应参数、所述第二图像的第一全局特征信息和所述第二图像的第一全局特征注意力信息确定所述第二图像的全局特征信息；
确定所述第一图像的局部特征信息包括：
获取所述第一图像的感兴趣区域，其中所述感兴趣区域包括第一区域和第二区域；
所述第一区域包括头、上身和下身三个区域，所述第二区域包括四个四肢所在的四个区域；
将所述第一区域中的三个所述区域和所述第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第一区域和所述第二区域中各所述区域的权重信息；
根据所述第一区域和所述第二区域对应的区域对应的特征信息、所述第一区域和所述第二区域对应的区域的所述权重信息和所述自适应参数确定所述第一图像的局部特征信息；
确定所述第二图像的局部特征信息包括：
获取所述第二图像的感兴趣区域，其中所述第二图像的感兴趣区域包括第一区域和第二区域；
所述第二图像的第一区域包括头、上身和下身三个区域，所述第二图像的第二区域包括四个四肢所在的四个区域；
将所述第二图像的第一区域的三个所述区域和所述第二图像的第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第二图像的第一区域和第二区域中各所述区域的权重信息；
根据所述第二图像的第一区域和第二区域对应的区域的特征信息、所述第二图像的第一区域和第二区域对应的区域的权重信息和所述自适应参数确定所述第二图像的局部特征信息。
2.根据权利要求1所述的行人重识别的方法，其特征在于，在所述确定所述第一区域和所述第二区域中各所述区域的权重信息之后，还包括：
将所述第一图像和所述第二图像的各第一全局特征信息与各第一全局注意力权重信息对齐；
将所述第一图像和所述第二图像的各局部特征信息与对应的权重信息对齐。
3.根据权利要求2所述的行人重识别的方法，其特征在于，确定所述第一图像的特征信息包括：
将所述第一图像的全局特征信息与所述第一图像的局部特征信息进行拼接，得到所述第一图像的特征信息；
确定所述第二图像的特征信息包括：
将所述第二图像的第二全局特征信息与所述第二图像的第二局部特征信息进行拼接，得到所述第二图像的特征信息。
4.根据权利要求1至3任意一项所述的行人重识别的方法，其特征在于，在所述对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果之后还包括：
将所述拼接结果输出至全连接网络，并进入所述对所述拼接结果进行识别，得到识别结果的步骤。
5.根据权利要求4所述的行人重识别的方法，其特征在于，所述对所述拼接结果进行识别，得到识别结果，包括：
将所述拼接结果发送至Softmax层进行识别，得到所述识别结果。
6.一种行人重识别的装置，其特征在于，包括：
第一确定模块，用于确定第一图像的全局特征信息、局部特征信息和所述局部特征信息之间的互注意力权重信息并根据所述全局特征信息和局部特征信息确定所述第一图像的特征信息；
第二确定模块，用于确定第二图像的全局特征信息、局部特征信息和所述第二图像的局部特征信息之间的互注意力权重信息，并根据所述第二图像的全局特征信息和局部特征信息确定所述第二图像的特征信息；
拼接模块，用于对所述第一图像的特征信息和所述第二图像的特征信息进行拼接，得到拼接结果；
识别模块，用于对所述拼接结果进行识别，得到识别结果；
确定所述第一图像的所述全局特征信息包括：
根据卷积神经网络获取所述第一图像的第一全局特征信息，并获取所述第一图像的第一全局特征注意力信息；
获取所述第一图像和所述第二图像的差分数值；
根据所述差分数值确定自适应注意力机制的自适应参数；
根据所述自适应参数、所述第一全局特征信息和所述第一全局特征注意力信息确定所述第一图像的全局特征信息；
确定所述第二图像的全局特征信息包括：
根据卷积神经网络获取所述第二图像的第一全局特征信息，并获取所述第二图像的第一全局特征注意力信息；
根据所述自适应参数、所述第二图像的第一全局特征信息和所述第二图像的第一全局特征注意力信息确定所述第二图像的全局特征信息；
确定所述第一图像的局部特征信息包括：
获取所述第一图像的感兴趣区域，其中所述感兴趣区域包括第一区域和第二区域；
所述第一区域包括头、上身和下身三个区域，所述第二区域包括四个四肢所在的四个区域；
将所述第一区域中的三个所述区域和所述第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第一区域和所述第二区域中各所述区域的权重信息；
根据所述第一区域和所述第二区域对应的区域对应的特征信息、所述第一区域和所述第二区域对应的区域的所述权重信息和所述自适应参数确定所述第一图像的局部特征信息；
确定所述第二图像的局部特征信息包括：
获取所述第二图像的感兴趣区域，其中所述第二图像的感兴趣区域包括第一区域和第二区域；
所述第二图像的第一区域包括头、上身和下身三个区域，所述第二图像的第二区域包括四个四肢所在的四个区域；
将所述第二图像的第一区域的三个所述区域和所述第二图像的第二区域的四个所述区域分别输入到所述卷积神经网络，得到七个区域特征信息；
确定所述第二图像的第一区域和第二区域中各所述区域的权重信息；
根据所述第二图像的第一区域和第二区域对应的区域的特征信息、所述第二图像的第一区域和第二区域对应的区域的权重信息和所述自适应参数确定所述第二图像的局部特征信息。
7.一种行人重识别的装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任意一项所述的行人重识别的方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的行人重识别的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234725.1A CN114332955B (zh) | 2022-03-11 | 2022-03-11 | 一种行人重识别的方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234725.1A CN114332955B (zh) | 2022-03-11 | 2022-03-11 | 一种行人重识别的方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332955A true CN114332955A (zh) | 2022-04-12 |
| CN114332955B CN114332955B (zh) | 2022-06-10 |
Family
ID=81033875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210234725.1A Active CN114332955B (zh) | 2022-03-11 | 2022-03-11 | 一种行人重识别的方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332955B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472248A (zh) * | 2018-11-22 | 2019-03-15 | 广东工业大学 | 一种行人重识别方法、系统及电子设备和存储介质 |
| CN109784186A (zh) * | 2018-12-18 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 |
| CN112434796A (zh) * | 2020-12-09 | 2021-03-02 | 同济大学 | 一种基于局部信息学习的跨模态行人再识别方法 |
| CN113095263A (zh) * | 2021-04-21 | 2021-07-09 | 中国矿业大学 | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 |
| CN113269070A (zh) * | 2021-05-18 | 2021-08-17 | 重庆邮电大学 | 融合全局和局部特征的行人重识别方法、存储器及处理器 |
| WO2021203801A1 (zh) * | 2020-04-08 | 2021-10-14 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置及电子设备和存储介质 |
| WO2021212736A1 (zh) * | 2020-04-23 | 2021-10-28 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
-
2022
- 2022-03-11 CN CN202210234725.1A patent/CN114332955B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472248A (zh) * | 2018-11-22 | 2019-03-15 | 广东工业大学 | 一种行人重识别方法、系统及电子设备和存储介质 |
| CN109784186A (zh) * | 2018-12-18 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 |
| WO2021203801A1 (zh) * | 2020-04-08 | 2021-10-14 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、装置及电子设备和存储介质 |
| WO2021212736A1 (zh) * | 2020-04-23 | 2021-10-28 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
| CN112434796A (zh) * | 2020-12-09 | 2021-03-02 | 同济大学 | 一种基于局部信息学习的跨模态行人再识别方法 |
| CN113095263A (zh) * | 2021-04-21 | 2021-07-09 | 中国矿业大学 | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 |
| CN113269070A (zh) * | 2021-05-18 | 2021-08-17 | 重庆邮电大学 | 融合全局和局部特征的行人重识别方法、存储器及处理器 |
Non-Patent Citations (2)
| Title |
|---|
| YANG LI ET AL: "Effective person re-identification by self-attention model guided feature learning", 《KNOWLEDGE-BASED SYSTEMS》 * |
| 林佳文: "基于深度学习的行人重识别系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332955B (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI754887B (zh) | 活體檢測方法和裝置、電子設備及儲存介質 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN111310518B (zh) | 图片特征提取方法、目标重识别方法、装置及电子设备 | |
| US8103058B2 (en) | Detecting and tracking objects in digital images | |
| CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN112668480A (zh) | 头部姿态角检测方法、装置、电子设备及存储介质 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN112149616B (zh) | 基于动态信息的人物交互行为识别方法 | |
| CN113159200B (zh) | 对象分析方法、装置及存储介质 | |
| CN111476213A (zh) | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN110163169A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN111159279B (zh) | 一种模型可视化方法、设备及存储介质 | |
| CN112101456A (zh) | 注意力特征图获取方法及装置、目标检测的方法及装置 | |
| CN114241587B (zh) | 人脸活体检测对抗鲁棒性的评估方法及装置 | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
| CN114360073B (zh) | 一种图像识别方法及相关装置 | |
| CN114943937A (zh) | 行人重识别方法、装置、存储介质及电子设备 | |
| CN116975828A (zh) | 一种人脸融合攻击检测方法、装置、设备及存储介质 | |
| CN116777766A (zh) | 图像增强方法、电子设备及存储介质 | |
| CN114332955B (zh) | 一种行人重识别的方法、装置及计算机可读存储介质 | |
| CN116469177A (zh) | 混合精度的活体目标检测方法和活体检测模型的训练方法 | |
| CN115131291A (zh) | 对象计数模型的训练方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |