CN112613376B - 重识别方法及装置，电子设备 - Google Patents
重识别方法及装置，电子设备 Download PDFInfo
- Publication number
- CN112613376B CN112613376B CN202011494181.XA CN202011494181A CN112613376B CN 112613376 B CN112613376 B CN 112613376B CN 202011494181 A CN202011494181 A CN 202011494181A CN 112613376 B CN112613376 B CN 112613376B
- Authority
- CN
- China
- Prior art keywords
- feature map
- convolution
- correlation
- fusion
- combined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 34
- 239000012634 fragment Substances 0.000 claims abstract description 25
- 238000007499 fusion processing Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 67
- 239000011159 matrix material Substances 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
Abstract
本发明提供重识别方法及装置。该方法包括：对目标图像进行多尺度融合处理，得到第一中间特征图；将第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图集；其中，M个组合特征图中的其中一个特征图由n个分片组合得到；计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；针对任一组合特征图，根据计算得到的相关性信息对任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了任一组合特征图与其他组合特征图之间的相关性信息；将M个第二中间特征图进行融合，得到特征向量；使用特征向量进行身份识别，得到识别结果。
Description
技术领域
本发明涉及计算机领域，特别涉及一种重识别方法及装置，电子设备。
背景技术
行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。现有的重识别技术多为一个尺度，不够精确。
发明内容
有鉴于此，本发明实施例提供一种重识别方法及装置，电子设备，以从多尺度特征实现重识别。
为实现上述目的，本发明实施例提供如下技术方案：
一种重识别方法，包括：
对目标图像进行多尺度融合处理，得到第一中间特征图；
将所述第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图集；其中，所述M个组合特征图中的其中一个特征图由所述n个分片组合得到；
计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了所述任一组合特征图与其他组合特征图之间的相关性信息；
将M个第二中间特征图进行融合，得到特征向量；
使用特征向量进行身份识别，得到识别结果。
可选的，所述对目标图像进行多尺度融合处理包括：并行进行N个分支卷积处理；其中，任两个分支卷积处理采用的卷积相关参数不同，所述卷积相关参数包括：卷积核和卷积次数中的至少一种；将N个分支卷积处理得到的卷积结果进行融合，得到融合结果；根据所述融合结果提取所述第一中间特征图。
可选的，任一卷积结果包括m个通道的特征值；m为正整数；所述融合结果包括：m个通道所对应的融合特征值；m个通道中的任一通道为通道i；所述将N个分支卷积处理得到的卷积结果进行融合包括：计算每一卷积结果中通道i的特征值所对应的概率值，得到N个概率值；将最大概率值所对应的特征值，作为通道i所对应的融合特征值。
可选的，所述计算M个组合特征图两两间的相关性信息包括：对于第i个组合特征图，计算第i个组合特征图与第j个组合特征图之间的空间相关性矩阵；i大于等于0，小于等于M-1，或者，i大于等于1，小于等于M；j大于等于0，小于等于M-1，或者，j大于等于1，小于等于M；i不等于j；所述空间相关性矩阵用于表征空间相关性；计算第i个组合特征图与第j个组合特征图之间的通道相关性矩阵；所述通道相关性矩阵用于表征通道相关性；所述针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图包括：使用所述空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图；对于第i个组合特征图，融合特征图的总数为M-1个；对M-1个融合特征图进行融合，得到与所述第i个组合特征图对应的第二中间特征图。
可选的，所述第i个组合特征图使用Pi表示；所述第j个组合特征图使用Pj表示；所述空间相关性矩阵使用W1表示，所述通道相关性矩阵使用W2表示；融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图使用Pij”表示；所述使用所述空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图包括：分别对所述Pi和Pj进行预处理，得到预处理后的第i个组合特征图Pi’和第j个组合特征图Pj’；所述预处理包括：卷积计算和降维变换；对所述第i个组合特征图Pi’和第j个组合特征图Pj’进行维度对齐操作，得到维度对齐后的第i个组合特征图Pi”和第j个组合特征图Pj”；将Pj’与W1相乘再点乘W2，得到点乘矩阵；将点乘矩阵与Pi”相加，得到所述Pij”。
可选的，所述空间相关性矩阵通过如下方式获得：将所述Pi’转置乘上所述Pj’，得到所述W1。
可选的，所述通道相关性矩阵通过如下方式获得：将所述Pi”与所述Pj”相堆叠；将堆叠结果进行1x1的卷积计算，得到所述W2。
可选的，在训练过程中，在对M个第二中间特征图进行融合，得到特征向量之前，还包括：对目标第二中间特征图的预设区域进行擦除或变换，得到新的第二中间特征图以替换所述目标第二中间特征图；所述目标第二中间特征图包括：随机选定的第二中间特征图。
一种重识别装置，包括：
多尺度融合模块，用于：
对目标图像进行多尺度融合处理，得到第一中间特征图；
特征融合模块，用于：
将所述第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图；其中，所述M个组合特征图中的其中一个特征图由所述n个分片组合得到；
计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了所述任一组合特征图与其他组合特征图之间的相关性信息；
将M个第二中间特征图进行融合，得到特征向量；
识别模块，用于：
使用特征向量进行身份识别，得到识别结果。
一种电子设备，至少包括处理器和存储器；其特征在于，处理器通过执行存储器中存放的程序以及调用其他设备实现上述任一项的所述的方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
可见，在本发明实施例中，会对目标图像进行多尺度融合，得到第一中间特征图，使第一中间特征图包含多尺度特征，以提高尺度处理的精细性，并且，多尺度的融合，也会将细节与整体进行关联。之后，将第一中间特征图分为多个分片再组合，得到多个组合特征图。在得到的组合特征图中的其中一个特征图由n个分片组合得到(也即，其中一个组合特征图是整体)，其他特征图所包含的分片体现了不同的细节。此外，计算M个组合特征图两两间的相关性信息，并针对任一组合特征图，根据相关性信息进行相关性融合处理，得到第二中间特征图。由于第二中间特征图融合了该任一组合特征图与其他组合特征图之间的相关性，也就实现了将整体与细节的相关性相融合。而由M个第二中间特征图融合得到的特征向量，也会同时具有多尺度特征，并体现了整体与细节间的关系。由此进行的身份识别(重识别)也更为精确。
附图说明
图1为本发明实施例提供的重识别装置的一种示例性结构；
图2为本发明实施例提供的重识别方法的一种示例性流程；
图3为本发明实施例提供的重识别方法的另一种示例性流程；
图4为本发明实施例提供的全连接值向量示意图；
图5为本发明实施例提供的重识别方法的又一种示例性流程；
图6为本发明实施例提供的计算第二中间特征图的示例性流程；
图7为本发明实施例提供的重识别方法的又一种示例性流程；
图8为本发明实施例提供的电子设备的一种硬件结构示意图。
具体实施方式
本发明提供一种重识别方法及装置，电子设备。
上述重识别装置具体可为提供重识别服务的计算机\计算机集群、服务器\服务器集群、智能终端等，其可基于改进后的残差神经网络从多尺度特征实现重识别。
请参见图1，上述重识别装置的一种示例性结构包括：多尺度融合模块1、特征融合模块2和识别模块3。
上述各模块可以软件或硬件形式部署于同一设备中，也可分别部署在独立的设备中。
重识别装置可先进行训练，训练结束后，进行正式预测。现先从正式预测阶段开始，介绍重识别装置如何进行工作。
图2示出了上述重识别装置所执行的重识别方法的一种示例性流程，包括：
S0：获取目标图像。
在正式预测阶段，目标图像为待识别的图像。
目标图像可由其他设备输入，在重识别装置具有拍摄功能时，也可由重识别装置拍摄得到。
S1：对目标图像进行多尺度融合处理，得到第一中间特征图。
步骤S1可由前述的多尺度融合模块1执行。
在一个示例中，请参见图3，可具体进行如下操作：
S11：将目标图像并行进行N个分支卷积处理；
在一个示例中，可以基于残差神经网络搭建起多尺度融合神经网络作为多尺度融合模块1。
残差神经网络可包括多个残差块，传统的残差神经网络中，每一残差块包含3个卷积层，第一个卷积层进行1*1卷积操作，用以负责减小维度，中间的卷积层执行3*3卷积操作，第三个卷积层进行1*1卷积操作，负责增加维度。
传统残差神经网络在一个残差块内的尺度是单一的。
为了进行多尺度融合，可将每一残差块的中间卷积层，改进成包括并行的N个分支，对第一卷积层的输出结果进行卷积处理，再将N个分支卷积处理得到的卷积结果进行融合，然后输出给第三个卷积层进行处理。
其中，任两个分支卷积处理采用的卷积相关参数不同，卷积相关参数包括：卷积核和卷积次数中的至少一种。
举例来讲，假定将中间卷积层改进为包括并行的四个分支，第一个分支卷积计算1次，第二个分支卷积计算2次，第三个分支卷积计算3次，第四个分支卷积计算4次，可以看到，由于卷积计算次数不同，这4路卷积的感受野是不一样的。
此外，各分支在进行卷积计算时的卷积核也可不尽相同。
S12：将N个分支卷积处理得到的卷积结果进行融合，得到融合结果。
融合的方式有多种，例如，在一个示例中，可直接将N个分支卷积处理得到的卷积结果进行堆叠，也即拼接在一起。
在另一示例中，则可采用如下的融合方式：
假定任一卷积结果包括m个通道的特征值；m为正整数，例如256；m个通道中的任一通道可称为通道i。
步骤a：计算每一卷积结果中通道i的特征值所对应的概率值，得到N个概率值；
计算方式为：
将N个分支卷积处理得到的卷积结果分别进行池化和全连接层计算，得到N个全连接值向量；其中，每一全连接值向量包括m个通道对应的全连接值。全连接值向量示例性地可参见图4。图4中的C1 1至Cm N为全连接值，下标表示通道，上标表示属于哪个全连接值向量。
计算每一全连接值向量中在通道i所对应的全连接值的概率值，得到N个概率值。
以对4个分支的卷积结果进行融合为例：可对每一路卷积结果进行池化和全连接计算，获得维度为(c,1,1)的结果(C表示通道，c是256个通道的全连接数)，也即全连接值向量，再对这4个全连接值向量做横向的softmax，得到每一全连接值向量在各个通道的概率值。
步骤b：将最大概率值所对应的特征值，作为融合结果中在通道i所对应的融合特征值。
请参见图4，以道道1为例，通道1在各全连接值向量中对应的全连接值分别为C1 1、C1 2、C1 3、C1 4。
若全连接值向量2中的C1 2具有最大概率值，则将融合结果中在通道i所对应的融合特征值。
S13：根据融合结果提取得到第一中间特征图。
仍以残差神经网络为例，最后一个残差块的输出为第一中间特征图。
S2：将第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图集。
上述M个组合特征图中的其中一个特征图由n个分片组合得到。
举例来讲，假定n＝3，M＝6，可将第一中间特征图从上到下分成3份(等分)，进行组合得到六份特征图，其示例性得分别组合方式是：{1，2，3}、{1，2}、{3，3}、{1}、{2}、{3}，其中的{1，2，3}包含了3个分片，也即是第一特征图，是整体。其他五份特征图相对于第一特征图，都是局部(细节)。六份特征图可以针对性地处理不同尺度、不同位置的语义信息。
S3：计算M个组合特征图两两间的相关性信息。
上述相关性信息至少包括：空间相关性和通道相关性。
可使用空间相关性矩阵表征空间相关性，使用通道相关性矩阵表征通道相关性。
更具体的，请参见图5，计算相关性信息可具体包括如下步骤：
S31：对于第i个组合特征图，计算第i个组合特征图与第j个组合特征图之间的空间相关性矩阵。
其中，i大于等于0，小于等于M-1，或者，i大于等于1，小于等于M；j大于等于0，小于等于M-1，或者，j大于等于1，小于等于M；并且，i不等于j。
S32：计算第i个组合特征图与第j个组合特征图之间的通道相关性矩阵。
本文后续将会详细介绍，如何计算上述两相关性矩阵。
S4：针对任一组合特征图，根据计算得到的相关性信息对任一组合特征图进行相关性融合处理，得到对应的第二中间特征图。
前述提及可使用空间相关性矩阵表征空间相关性，使用通道相关性矩阵表征通道相关性，相应的，请参见图5，进行相关性融合处理可具体包括：
S41：使用空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图。
由于共有M个组合特征图，则对于任一组合特征图，融合特征图的总数为M-1个。
S42：对M-1个融合特征图进行融合，得到与第i个组合特征图对应的第二中间特征图。
具体的，可对M-1个融合特征图进行堆叠，以得到第二中间特征图。
S5：将M个第二中间特征图进行融合，得到特征向量。
具体的，可直接将M个第二中间特征图进行堆叠，得到特征向量。
步骤S2-S5可由特征融合模块2执行。
S6：使用特征向量进行身份识别，得到识别结果。
步骤S6可由识别模块3执行。
具体的，可训练神经网络基于特征向量进行身份识别。
如何使用特征向量进行身份识别可参考现有识别方式，在此不作赘述。
可见，在本发明实施例中，会对目标图像进行多尺度融合，得到第一中间特征图，使第一中间特征图包含多尺度特征，以提高尺度处理的精细性，并且，多尺度的融合，也会将细节与整体进行关联。之后，将第一中间特征图分为多个分片再组合，得到多个组合特征图。在得到的组合特征图中的其中一个特征图由n个分片组合得到(也即，其中一个组合特征图是整体)，其他特征图所包含的分片体现了不同的细节。此外，计算M个组合特征图两两间的相关性信息，并针对任一组合特征图，根据相关性信息进行相关性融合处理，得到第二中间特征图。由于第二中间特征图融合了该任一组合特征图与其他组合特征图之间的相关性，也就实现了将整体与细节的相关性相融合。而由M个第二中间特征图融合得到的特征向量，也会同时具有多尺度特征，并体现了整体与细节间的关系。由此进行的身份识别(重识别)也更为精确。
下面重点介绍如何计算得到空间相关性矩阵和通道相关性矩阵，以及，如何根据两相关性矩阵得到第二中间特征图。
为便于描述，将上述第i个组合特征图使用Pi表示，第j个组合特征图使用Pj表示；空间相关性矩阵使用W1表示，通道相关性矩阵使用W2表示；将融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图使用Pij”表示。
请参见图6，计算空间相关性矩阵、通道相关性矩阵和第二中间特征图，示例性地包括如下步骤：
S600：分别对Pi和Pj进行预处理，得到预处理后的第i个组合特征图Pi’和第j个组合特征图Pj’。
具体的，预处理至少包括：卷积计算和降维变换。
设Pi的维度(可称为第一维度)是(ci,hi,wi)，Pj的维度(可称为第一维护)是(cj,hj,wj)，C,h,w各代表通道、高和宽。
可通过一层卷积计算和降维变换，将Pi由第一维度改为第二维度(c,hi*wi)，得到与Pi对应的、具有第二维度的组合特征图Pi’；
同样经过一层卷积计算和降维变换，将Pj由第一维度改为第二维度(c,hj*wj)，得到与Pj对应的、具有第二维度的组合特征图Pj’。
S601：对Pi’和Pj’进行维度对齐操作，得到维度对齐后的第i个组合特征图Pi”和第j个组合特征图Pj”。
具体的，可对维度较小的进行上采样，令二者维度相同。
举例来讲，假定Pj’的维度比较小，可在hj维度进行上采样操作，得到Pj”具有第三维度：(c,hi*wi)，在此种情况下，Pi”＝Pi’。
反之，假定Pi’的维度比较小，可在hi维度进行上采样操作，得到Pi”具有第三维度：(c,hj*wj)，在此种情况下，Pj”＝Pj’。
S602：将Pi’转置乘上Pj’，得到W1。
Pi’转置乘上Pj’，获得维度是(hi*wi,hj*wj)的矩阵W1。W1中的数值表征的是空间相关性权重，代表Pi’中某个点与Pj’中某个点的相关性。本质上反映了原始Pi和Pj的空间相关性。
S603：将Pi”与Pj”相堆叠，并将堆叠结果进行1x1的卷积计算，得到W2。
在计算通道相关性，没必要计算空间，所以使用的1x1的卷积计算，得到的W2的维度是(hi*wi,c)或(hj*wj,c)，W2中的数值表征的通道相关性权重，表征Pi”每个点对Pj”每个通道的相关性。
S604：将Pj’与W1相乘再点乘W2，得到点乘矩阵；
S605：将点乘矩阵与Pi”相加，得到Pij”。
下面简单介绍训练过程。
在训练过程与正式预测过程基本相同，在训练过程中，目标图像为图片样本。
与正式预测过程不同的是，请参见图7，在对M个第二中间特征图进行融合，得到特征向量的步骤之前，还可包括如下步骤：
S7：对目标第二中间特征图的预设区域进行擦除或变换，得到新的第二中间特征图以替换目标第二中间特征图。
目标第二中间特征图包括：随机选定的第二中间特征图。
也即，可按一定的概率(随机)对第二特征图进行特定区域擦除或变换，以增强模型的识别能力和鲁棒性。
例如，可针对穿戴的安全帽区域进行擦除或变换，擦除方式是将该区域特征值赋为0；而变换的方式是输入两张图，彼此对换特定区域特征。
在另一示例中，也可对原始的目标图像的预设区域进行擦除或变换，得到新的目标图像。再以新的目标图像完成后续的步骤。
在得到识别结果后，可进行参数的调整等，在此不作赘述。
下面介绍重识别装置。请参见图1，其示例性的包括：
多尺度融合模块1，用于：
对目标图像进行多尺度融合处理，得到第一中间特征图；
特征融合模块2，用于：
将第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图；其中，M个组合特征图中的其中一个特征图由n个分片组合得到；
计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了任一组合特征图与其他组合特征图之间的相关性信息；
将M个第二中间特征图进行融合，得到特征向量；
识别模块3，用于：
使用特征向量进行身份识别，得到识别结果。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，在对目标图像进行多尺度融合处理的方面，多尺度融合模块1可具体用于：
将目标图像并行进行N个分支卷积处理；其中，任两个分支卷积处理采用的卷积相关参数不同，卷积相关参数包括：卷积核和卷积次数中的至少一种；
将N个分支卷积处理得到的卷积结果进行融合，得到融合结果；
根据融合结果提取第一中间特征图。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，任一卷积结果包括m个通道的特征值；m为正整数；融合结果包括：m个通道所对应的融合特征值；m个通道中的任一通道为通道i；
在将N个分支卷积处理得到的卷积结果进行融合的方面，多尺度融合模块1可具体用于：
计算每一卷积结果中通道i的特征值所对应的概率值，得到N个概率值；
将最大概率值所对应的特征值，作为通道i所对应的融合特征值。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，在计算M个组合特征图两两间的相关性信息的方面，特征融合模块2可具体用于：
对于第i个组合特征图，计算第i个组合特征图与第j个组合特征图之间的空间相关性矩阵；i大于等于0，小于等于M-1，或者，i大于等于1，小于等于M；j大于等于0，小于等于M-1，或者，j大于等于1，小于等于M；i不等于j；空间相关性矩阵用于表征空间相关性；
计算第i个组合特征图与第j个组合特征图之间的通道相关性矩阵；通道相关性矩阵用于表征通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对任一组合特征图进行相关性融合处理，得到对应的第二中间特征图包括：
使用空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图；对于第i个组合特征图，融合特征图的总数为M-1个；
对M-1个融合特征图进行融合，得到与第i个组合特征图对应的第二中间特征图。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，第i个组合特征图使用Pi表示；第j个组合特征图使用Pj表示；空间相关性矩阵使用W1表示，通道相关性矩阵使用W2表示；融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图使用Pij”表示；
在使用空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图的方面，上述特征融合模块2可具体用于：
分别对Pi和Pj进行预处理，得到预处理后的i个组合特征图Pi’和第j个组合特征图Pj’；预处理包括：卷积计算和降维变换；
对第i个组合特征图Pi’和第j个组合特征图Pj’进行维度对齐操作，得到维度对齐后的第i个组合特征图Pi”和第j个组合特征图Pj”；
将Pj’与W1相乘再点乘W2，得到点乘矩阵；
将点乘矩阵与Pi”相加，得到Pij”。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，空间相关性矩阵可通过如下方式获得：
将Pi’转置乘上Pj’，得到W1。
通道相关性矩阵可通过如下方式获得：
将Pi”与Pj”相堆叠；
将堆叠结果进行1x1的卷积计算，得到W2。
具体细节请参见前述介绍，在此不作赘述。
在本发明其他实施例中，在训练过程中，在对M个第二中间特征图进行融合，得到特征向量之前，上述特征融合模块2还可用于：
对目标第二中间特征图的预设区域进行擦除或变换，得到新的第二中间特征图以替换目标第二中间特征图；目标第二中间特征图包括：随机选定的第二中间特征图。
具体细节请参见前述介绍，在此不作赘述。
在另一示例中，也可由多尺度融合模块1对原始的目标图像的预设区域进行擦除或变换，得到新的目标图像。再以新的目标图像完成后续的步骤。
图8示出了上述实施例中的重识别装置或电子设备的一种可能的硬件结构示意图，包括：总线、处理器81、存储器82、通信接口83、输入设备84和输出设备85。处理器81、存储器82、通信接口83、输入设备84和输出设备85通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器81可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(NetworkProcessor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器82中保存有执行本发明技术方案的程序或脚本，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。脚本则通常以文本(如ASCII)保存，只在被调用时进行解释或编译。
输入设备84可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、语音输入装置、触摸屏等。
输出设备85可包括允许输出信息给用户的装置，例如显示屏、扬声器等。
通信接口83可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器81通过执行存储器82中所存放的程序以及调用其他设备，可实现执行时实现上述的年龄估计方法，也可实现上述实施例提供的各模块的功能。
详细介绍请参见本文前述记载，在此不作赘述。
本发明实施例还要求保护一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及模型步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种重识别方法，其特征在于，包括：
对目标图像进行多尺度融合处理，得到第一中间特征图；
其中，所述对目标图像进行多尺度融合处理包括：并行进行N个分支卷积处理；其中，任两个分支卷积处理采用的卷积相关参数不同，所述卷积相关参数包括：卷积核和卷积次数中的至少一种；将N个分支卷积处理得到的卷积结果进行融合，得到融合结果；根据所述融合结果提取所述第一中间特征图；
其中，任一卷积结果包括m个通道的特征值；m为正整数；所述融合结果包括：m个通道所对应的融合特征值；m个通道中的任一通道为通道i；所述将N个分支卷积处理得到的卷积结果进行融合包括：计算每一卷积结果中通道i的特征值所对应的概率值，得到N个概率值；将最大概率值所对应的特征值，作为通道i所对应的融合特征值；
将所述第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图集；其中，所述M个组合特征图中的其中一个特征图由所述n个分片组合得到；
计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了所述任一组合特征图与其他组合特征图之间的相关性信息；
将M个第二中间特征图进行融合，得到特征向量；
使用特征向量进行身份识别，得到识别结果。
2.如权利要求1所述的方法，其特征在于，
所述计算M个组合特征图两两间的相关性信息包括：
对于第i个组合特征图，计算第i个组合特征图与第j个组合特征图之间的空间相关性矩阵；i大于等于0，小于等于M-1，或者，i大于等于1，小于等于M；j大于等于0，小于等于M-1，或者，j大于等于1，小于等于M；i不等于j；所述空间相关性矩阵用于表征空间相关性；
计算第i个组合特征图与第j个组合特征图之间的通道相关性矩阵；所述通道相关性矩阵用于表征通道相关性；
所述针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图包括：
使用所述空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图；对于第i个组合特征图，融合特征图的总数为M-1个；
对M-1个融合特征图进行融合，得到与所述第i个组合特征图对应的第二中间特征图。
3.如权利要求2所述的方法，其特征在于，
所述第i个组合特征图使用Pi表示；所述第j个组合特征图使用Pj表示；
所述空间相关性矩阵使用W1表示，所述通道相关性矩阵使用W2表示；
融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图使用Pij”表示；
所述使用所述空间相关性矩阵和通道相关性矩阵，计算出融合了第i个组合特征图与第j个组合特征图之间的相关性的融合特征图包括：
分别对所述Pi和Pj进行预处理，得到预处理后的第i个组合特征图Pi’和第j个组合特征图Pj’；所述预处理包括：卷积计算和降维变换；
对所述第i个组合特征图Pi’和第j个组合特征图Pj’进行维度对齐操作，得到维度对齐后的第i个组合特征图Pi”和第j个组合特征图Pj”；
将Pj’与W1相乘再点乘W2，得到点乘矩阵；
将点乘矩阵与Pi”相加，得到所述Pij”。
4.如权利要求3所述的方法，其特征在于，所述空间相关性矩阵通过如下方式获得：
将所述Pi’转置乘上所述Pj’，得到所述W1。
5.如权利要求3所述的方法，其特征在于，所述通道相关性矩阵通过如下方式获得：
将所述Pi”与所述Pj”相堆叠；
将堆叠结果进行1x1的卷积计算，得到所述W2。
6.如权利要求1-5任一项所述的方法，其特征在于，在训练过程中，在对M个第二中间特征图进行融合，得到特征向量之前，还包括：
对目标第二中间特征图的预设区域进行擦除或变换，得到新的第二中间特征图以替换所述目标第二中间特征图；所述目标第二中间特征图包括：随机选定的第二中间特征图。
7.一种重识别装置，其特征在于，包括：
多尺度融合模块，用于：
对目标图像进行多尺度融合处理，得到第一中间特征图；
所述多尺度融合模块，具体用于：将目标图像并行进行N个分支卷积处理；其中，任两个分支卷积处理采用的卷积相关参数不同，卷积相关参数包括：卷积核和卷积次数中的至少一种；将N个分支卷积处理得到的卷积结果进行融合，得到融合结果；根据融合结果提取第一中间特征图；
其中，任一卷积结果包括m个通道的特征值；m为正整数；融合结果包括：m个通道所对应的融合特征值；m个通道中的任一通道为通道i；所述多尺度融合模块具体用于：计算每一卷积结果中通道i的特征值所对应的概率值，得到N个概率值；将最大概率值所对应的特征值，作为通道i所对应的融合特征值；
特征融合模块，用于：
将所述第一中间特征图分为n个分片，将n个分片进行组合，得到M个组合特征图；其中，所述M个组合特征图中的其中一个特征图由所述n个分片组合得到；
计算M个组合特征图两两间的相关性信息；相关性信息至少包括：空间相关性和通道相关性；
针对任一组合特征图，根据计算得到的相关性信息对所述任一组合特征图进行相关性融合处理，得到对应的第二中间特征图；其中，第二中间特征图融合了所述任一组合特征图与其他组合特征图之间的相关性信息；
将M个第二中间特征图进行融合，得到特征向量；
识别模块，用于：
使用特征向量进行身份识别，得到识别结果。
8.一种电子设备，至少包括处理器和存储器；其特征在于，处理器通过执行存储器中存放的程序以及调用其他设备实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011494181.XA CN112613376B (zh) | 2020-12-17 | 2020-12-17 | 重识别方法及装置，电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011494181.XA CN112613376B (zh) | 2020-12-17 | 2020-12-17 | 重识别方法及装置，电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112613376A CN112613376A (zh) | 2021-04-06 |
| CN112613376B true CN112613376B (zh) | 2024-04-02 |
Family
ID=75239993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011494181.XA Active CN112613376B (zh) | 2020-12-17 | 2020-12-17 | 重识别方法及装置，电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112613376B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013075295A1 (zh) * | 2011-11-23 | 2013-05-30 | 浙江晨鹰科技有限公司 | 低分辨率视频的服装识别方法及系统 |
| CN110046577A (zh) * | 2019-04-17 | 2019-07-23 | 北京迈格威科技有限公司 | 行人属性预测方法、装置、计算机设备和存储介质 |
| WO2019205369A1 (zh) * | 2018-04-28 | 2019-10-31 | 平安科技（深圳）有限公司 | 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质 |
| CN110728683A (zh) * | 2019-09-29 | 2020-01-24 | 吉林大学 | 一种基于密集连接的图像语义分割方法 |
| CN111339812A (zh) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 |
| CN111523470A (zh) * | 2020-04-23 | 2020-08-11 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN111814845A (zh) * | 2020-03-26 | 2020-10-23 | 同济大学 | 一种基于多支流融合模型的行人重识别方法 |
| CN111881780A (zh) * | 2020-07-08 | 2020-11-03 | 上海蠡图信息科技有限公司 | 一种基于多层融合与对齐划分的行人重识别方法 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
-
2020
- 2020-12-17 CN CN202011494181.XA patent/CN112613376B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013075295A1 (zh) * | 2011-11-23 | 2013-05-30 | 浙江晨鹰科技有限公司 | 低分辨率视频的服装识别方法及系统 |
| WO2019205369A1 (zh) * | 2018-04-28 | 2019-10-31 | 平安科技（深圳）有限公司 | 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN110046577A (zh) * | 2019-04-17 | 2019-07-23 | 北京迈格威科技有限公司 | 行人属性预测方法、装置、计算机设备和存储介质 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN111339812A (zh) * | 2019-06-29 | 2020-06-26 | 北京澎思科技有限公司 | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 |
| CN110728683A (zh) * | 2019-09-29 | 2020-01-24 | 吉林大学 | 一种基于密集连接的图像语义分割方法 |
| CN111814845A (zh) * | 2020-03-26 | 2020-10-23 | 同济大学 | 一种基于多支流融合模型的行人重识别方法 |
| CN111523470A (zh) * | 2020-04-23 | 2020-08-11 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
| CN111881780A (zh) * | 2020-07-08 | 2020-11-03 | 上海蠡图信息科技有限公司 | 一种基于多层融合与对齐划分的行人重识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112613376A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11870947B2 (en) | Generating images using neural networks | |
| CN109522942B (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
| CN110020620B (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
| CN110135406B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN108805828B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111179419B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN111797983A (zh) | 一种神经网络构建方法以及装置 | |
| CN106650615B (zh) | 一种图像处理方法及终端 | |
| CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
| CN113111970B (zh) | 通过构建全局嵌入式注意力残差网络对图像分类的方法 | |
| CN109685772B (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
| CN112016502B (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN109543685A (zh) | 图像语义分割方法、装置和计算机设备 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN112990053A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| CN117373064A (zh) | 基于自适应跨维度加权的人体姿态估计方法、计算机设备及存储介质 | |
| CN112613376B (zh) | 重识别方法及装置，电子设备 | |
| CN112580567A (zh) | 一种模型获取方法、模型获取装置及智能设备 | |
| US11783625B2 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
| CN113947802B (zh) | 有遮挡人脸识别方法、装置、设备及可读存储介质 | |
| CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| US20240146948A1 (en) | Generating images using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |