CN108427927A - 目标再识别方法和装置、电子设备、程序和存储介质 - Google Patents
目标再识别方法和装置、电子设备、程序和存储介质 Download PDFInfo
- Publication number
- CN108427927A CN108427927A CN201810220690.XA CN201810220690A CN108427927A CN 108427927 A CN108427927 A CN 108427927A CN 201810220690 A CN201810220690 A CN 201810220690A CN 108427927 A CN108427927 A CN 108427927A
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- map
- feature
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000004590 computer program Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 65
- 238000010586 diagram Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 13
- 238000012512 characterization method Methods 0.000 abstract 2
- 238000011524 similarity measure Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 38
- 238000013528 artificial neural network Methods 0.000 description 35
- 238000000605 extraction Methods 0.000 description 31
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种目标再识别方法和装置、电子设备、计算机程序和存储介质。其中，方法包括：对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；所述空间分布表征图像中目标的分布情况；所述第一图像包含待识别的目标；根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。本发明实施例可以获得更准确的再识别结果。
Description
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种目标再识别方法和装置、电子设备、计算机程序和存储介质。
背景技术
行人再识别的任务主要是针对给出的一个行人的图像，在大规模的数据集中寻找同一个行人的所有图像。目前解决这一问题的方法主要是对每一张行人的图像提取一个特征向量，利用这个特征向量将不同的行人区分开。
由于不同摄像设备之间的差异，以及行人的外观易受到穿着、尺度、遮挡、姿态和视角等因素的影响，使得行人再识别成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。
发明内容
本发明实施例提供一种目标再识别技术方案。
根据本发明实施例的一个方面，提供一种目标再识别方法，包括：
对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；所述空间分布表征图像中目标的分布情况；所述第一图像包含待识别的目标；
根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。
可选地，在本发明上述任一方法实施例中，所述对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图，包括：
根据所述第一特征图与所述第二特征图的像素矩阵的张量积，得到所述匹配置信图。
可选地，在本发明上述任一方法实施例中，所述根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布，包括：
根据所述匹配置信图与所述第二特征图的像素矩阵的乘积，得到与所述第一特征图具有相似的空间分布的所述调整后的第二特征图。
可选地，在本发明上述任一方法实施例中，所述根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果，包括：
根据所述第一特征图和所述调整后的第二特征图，确定所述第一图像与所述第二图像的相似度；
根据所述相似度确定目标再识别的结果。
可选地，在本发明上述任一方法实施例中，所述根据所述第一特征图和所述调整后的第二特征图，确定所述第一图像与所述第二图像的相似度，包括：
根据所述第一特征图与所述调整后的第二特征图的像素矩阵的差值，得到相似度度量图；
根据所述相似度度量图确定所述第一图像与所述第二图像的相似度。
可选地，在本发明上述任一方法实施例中，所述根据所述相似度度量图确定所述第一图像与所述第二图像的相似度，包括：
根据所述相似度度量图，得到分类的特征向量；
根据所述分类的特征向量确定所述第一图像与所述第二图像的相似度。
可选地，在本发明上述任一方法实施例中，所述根据所述相似度度量图，得到分类的特征向量之前，还包括：
根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图；
所述根据所述相似度度量图，得到分类的特征向量，包括：根据所述加权的相似度度量图，得到分类的特征向量。
可选地，在本发明上述任一方法实施例中，所述根据所述相似度度量图，得到分类的特征向量之前，还包括：
根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图；
根据所述相似度度量图和所述加权的相似度度量图，得到加强的相似度度量图；
所述根据所述相似度度量图，得到分类的特征向量，包括：根据所述加强的相似度度量图，得到分类的特征向量。
可选地，在本发明上述任一方法实施例中，所述根据所述相似度度量图和所述加权的相似度度量图，得到加强的相似度度量图，包括：
根据所述相似度度量图与所述加权的相似度度量图的像素矩阵的和值，得到加强的相似度度量图。
可选地，在本发明上述任一方法实施例中，所述根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图，包括：
根据所述第一特征图的注意力配置图与所述相似度度量图的像素矩阵的乘积，得到所述加权的相似度度量图。
可选地，在本发明上述任一方法实施例中，所述根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图之前，还包括：
对所述第一特征图进行注意力提取处理，得到所述第一特征图的注意力配置图。
可选地，在本发明上述任一方法实施例中，所述对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图之前，还包括：
分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，其中每一组所述特征图均包含分辨率相同的所述第一特征图和所述第二特征图；
对于每一组所述特征图中的所述第一特征图和所述第二特征图执行下列操作：
对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行匹配，得到匹配置信图；
根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
根据所述第一特征图和所述调整后的第二特征图，得到对应分辨率下的特征向量；
所述方法还包括：根据各组所述特征图的所述特征向量，确定目标再识别的结果。
可选地，在本发明上述任一方法实施例中，所述分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，包括：
分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行预设次数的卷积和下采样处理，得到具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图；
分别对具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图进行所述预设次数的卷积和上采样处理，得到具有第二分辨率的所述第一特征图和具有第二分辨率的所述第二特征图。
可选地，在本发明上述任一方法实施例中，所述分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，还包括：
在所述预设次数的卷积和下采样处理之后，将具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图作为一组特征图；
在每一次卷积和上采样处理之后，将所述卷积和上采样处理得到的具有相同分别率的所述第一特征图和所述第二特征图作为一组特征图。
可选地，在本发明上述任一方法实施例中，所述根据所述第一特征图和所述调整后的第二特征图，得到对应分辨率下的特征向量，包括：
根据所述第一特征图与所述调整后的第二特征图的像素矩阵的差值，得到相似度度量图；
根据所述相似度度量图确定对应分辨率下的特征向量。
可选地，在本发明上述任一方法实施例中，所述根据各组所述特征图的所述特征向量，确定目标再识别的结果，包括：
对根据各组所述特征图得到的所述特征向量进行合并，得到分类的特征向量；
根据所述分类的特征向量确定所述第一图像与所述第二图像的相似度；
根据所述相似度确定目标再识别的结果。
根据本发明实施例的另一个方面，提供一种目标再识别装置，包括:
匹配单元，用于对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；所述空间分布表征图像中目标的分布情况；所述第一图像包含待识别的目标；
调整单元，用于根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
识别单元，用于根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。
可选地，在本发明上述任一装置实施例中，所述匹配单元，具体用于根据所述第一特征图与所述第二特征图的像素矩阵的张量积，得到所述匹配置信图。
可选地，在本发明上述任一装置实施例中，所述调整单元，具体用于根据所述匹配置信图与所述第二特征图的像素矩阵的乘积，得到与所述第一特征图具有相似的空间分布的所述调整后的第二特征图。
可选地，在本发明上述任一装置实施例中，所述识别单元，包括：
相似度确定模块，用于根据所述第一特征图和所述调整后的第二特征图，确定所述第一图像与所述第二图像的相似度；
再识别结果确定模块，用于根据所述相似度确定目标再识别的结果。
可选地，在本发明上述任一装置实施例中，所述相似度确定模块，具体用于根据所述第一特征图与所述调整后的第二特征图的像素矩阵的差值，得到相似度度量图；以及根据所述相似度度量图确定所述第一图像与所述第二图像的相似度。
可选地，在本发明上述任一装置实施例中，所述相似度确定模块，具体用于根据所述相似度度量图，得到分类的特征向量；以及根据所述分类的特征向量确定所述第一图像与所述第二图像的相似度。
可选地，在本发明上述任一装置实施例中，还包括：
权重配置单元，根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图；
所述相似度确定模块，具体用于根据所述加权的相似度度量图，得到分类的特征向量。
可选地，在本发明上述任一装置实施例中，还包括：
权重配置单元，用于根据所述第一特征图为所述相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图；
加强单元，用于根据所述相似度度量图和所述加权的相似度度量图，得到加强的相似度度量图；
所述相似度确定模块，具体用于根据所述加强的相似度度量图，得到分类的特征向量。
可选地，在本发明上述任一装置实施例中，所述加强单元，具体用于根据所述相似度度量图与所述加权的相似度度量图的像素矩阵的和值，得到加强的相似度度量图。
可选地，在本发明上述任一装置实施例中，所述权重配置单元，具体用于根据所述第一特征图的注意力配置图与所述相似度度量图的像素矩阵的乘积，得到所述加权的相似度度量图。
可选地，在本发明上述任一装置实施例中，还包括：
注意力提取单元，用于对所述第一特征图进行注意力提取处理，得到所述第一特征图的注意力配置图。
可选地，在本发明上述任一装置实施例中，还包括：
处理单元，用于分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，其中每一组所述特征图均包含分辨率相同的所述第一特征图和所述第二特征图；
对于每一组所述特征图中的所述第一特征图和所述第二特征图：
所述匹配单元，用于对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行匹配，得到匹配置信图；
所述调整单元，用于根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
所述识别单元，用于根据所述第一特征图和所述调整后的第二特征图，得到对应分辨率下的特征向量；
所述识别单元，还用于根据各组所述特征图的所述特征向量，确定目标再识别的结果。
可选地，在本发明上述任一装置实施例中，所述处理单元，具体用于分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行预设次数的卷积和下采样处理，得到具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图；以及分别对具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图进行所述预设次数的卷积和上采样处理，得到具有第二分辨率的所述第一特征图和具有第二分辨率的所述第二特征图。
可选地，在本发明上述任一装置实施例中，所述处理单元，具体用于在所述预设次数的卷积和下采样处理之后，将具有第一分辨率的所述第一特征图和具有第一分辨率的所述第二特征图作为一组特征图；以及在每一次卷积和上采样处理之后，将所述卷积和上采样处理得到的具有相同分别率的所述第一特征图和所述第二特征图作为一组特征图。
可选地，在本发明上述任一装置实施例中，所述识别单元，具体用于根据所述第一特征图与所述调整后的第二特征图的像素矩阵的差值，得到相似度度量图；以及根据所述相似度度量图确定对应分辨率下的特征向量。
可选地，在本发明上述任一装置实施例中，所述识别单元，具体用于对根据各组所述特征图得到的所述特征向量进行合并，得到分类的特征向量；根据所述分类的特征向量确定所述第一图像与所述第二图像的相似度；以及根据所述相似度确定目标再识别的结果。
根据本发明实施例的又一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。
根据本发明实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一实施例所述的方法。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。
基于本发明上述实施例提供的目标再识别方法和装置、电子设备、计算机程序和存储介质，通过在目标再识别的过程将图像空间分布的差异考虑进来，通过对图像进行空间匹配处理获得图像在空间分布上的匹配信息，再利用图像在空间分布上的匹配信息对图像进行调整，可以获得具有相似的空间分布的图像，根据具有相似的空间分布的图像进行目标再识别，可以获得更准确的再识别结果，从而可以避免由于图像空间分布的差异对识别结果造成的影响，当采用神经网络进行目标再识别时，通过在神经网络对图像进行特征提取的过程中进行消除空间分布差异的处理，可以使神经网络的训练过程和目标再识别任务的执行过程简洁快速。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1是本发明实施例目标再识别方法一些实施例的流程图。
图2是本发明实施例目标再识别方法另一些实施例的流程图。
图3是本发明实施例目标再识别方法的网络模型的一个示例的结构示意图。
图4是本发明实施例目标再识别方法又一些实施例的流程图。
图5是本发明实施例目标再识别方法的网络模型的另一个示例的结构示意图。
图6是本发明实施例目标再识别装置一些实施例的结构示意图。
图7是本发明实施例目标再识别装置另一些实施例的结构示意图。
图8是本发明实施例目标再识别装置又一些实施例的结构示意图。
图9是本发明实施例电子设备一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
现有的行人再识别方法大多只关注某个图像本身的显著特征，而忽视了不同图像之间的空间匹配程度。例如：给出一个背着背包的行人的两张图像，由于拍摄角度和拍摄距离的不同，行人背包的位置在这两张图像上可能并不一致。在位置或者行人姿态相差较大的情况下，忽略其空间分布的差异，单纯地比较这两张图像很难得到正确的判断结果。这时，对被比较的两张图像进行空间匹配处理就显得尤为重要。由此我们提出一种目标再识别方法，下面将结合图1详细描述本发明实施例提出的目标再识别方法的流程。
应理解，这里的目标再识别方法是对行人再识别方法的扩展，其中，目标可以是行人，也可以是除行人外的其他物体，本发明实施例对上述方法中的目标不作限定，因此这里的目标再识别可以是指利用计算机视觉技术判断图像或者视频序列中是否存在特定目标的技术，它与利用计算机视觉技术识别出图像或者视频中的目标的目标识别技术不同。
应理解，这里的目标再识别方法可以应用于实际对于图像的目标再识别，例如，利用神经网络对图像进行目标再识别，或者也可以应用于在神经网络的训练过程中对于图像的目标再识别，本发明实施例对上述方法的应用场景不作限定。
应理解，图1的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图1的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图1所示，该方法包括：
102，对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图，其中，匹配置信图表征第一图像与第二图像在空间分布上的匹配信息，空间分布表征图像中目标的分布情况，第一图像包含待识别的目标。
在本实施例中，第一图像可以是包含给定的待识别目标的图像，例如：给定的待识别目标可以是行人，也可以是除行人外的其他物体，本发明实施例对第一图像中的给定的待识别目标不做限定。在本实施例中，第一图像可以通过多种方式获得。在一个可选的例子中，第一图像可以是选图像数据集中的图像。在另一个可选的例子中，第一图像可以是从摄像头随机获取的图像。本发明实施例对第一图像的获得方式不做限定。
在本实施例中，第二图像可以是用来判断其中是否存在给定的待识别目标的图像数据集中的图像。在本实施例中，图像数据集可以通过多种方式获得。在一个可选的例子中，图像数据集可以是由预先存储于数据库中的图像构成。在另一个可选的例子中，图像数据集可以是由采集自不重叠覆盖的摄像头中的图像构成。本发明实施例对图像数据集的获得方式不做限定。
在一个可选的例子中，第一图像和第二图像可以是分别采集自视野不重叠覆盖的摄像头的图像。
可选地，第一特征图可以是通过对第一图像进行特征提取处理得到的，或者也可以是通过其他方式获得的，例如：第一特征图可以是从预先存储的第一图像的相关信息中获得的，本发明实施例对此不做限定。
可选地，第二特征图可以是通过对第二图像进行特征提取处理得到的，或者也可以是通过其他方式获得的，例如：第二特征图也可以是从预先存储的第二图像的相关信息中获得的，本发明实施例对此也不做限定。
本发明实施例可以通过多种方式对图像进行特征提取处理，在一个可选的例子中，可以通过神经网络对图像进行特征提取处理。例如：可以采用卷积神经网络对图像进行特征提取处理。
可选地，可以根据第一特征图与第二特征图的像素矩阵的张量积，也称为直积或Kronecker积，得到匹配置信图，或者也可以通过其他方式获得反映第一图像与第二图像在空间分布上的匹配信息的匹配置信图，本发明实施例对此不做限定。
104，根据匹配置信图调整第二特征图的空间分布，使调整后的第二特征图具有与第一特征图相似的空间分布。
可选地，可以根据匹配置信图与第二特征图的像素矩阵的乘积，得到与第一特征图具有相似的空间分布的调整后的第二特征图，实现根据第一图像的空间分布情况来调整第二图像的空间分布情况。
可选地，本发明实施例也可以通过其他方式根据匹配置信图调整第二特征图，使调整后的第二特征图具有与第一特征图相似的空间分布，本发明实施例对此不做限定。
106，根据第一特征图和调整后的第二特征图，确定目标再识别的结果。
可选地，可以根据第一特征图和调整后的第二特征图，确定第一图像与第二图像的相似度，然后根据相似度确定目标再识别的结果。在一个可选的例子中，可以根据第一特征图与调整后的第二特征图的像素矩阵的差值，得到相似度度量图，然后根据相似度度量图确定第一图像与第二图像的相似度。例如：可以采用神经网络对相似度度量图进行处理，得到分类的特征向量，然后根据分类的特征向量确定第一图像与第二图像的相似度。
可选地，本发明实施例也可以通过其他方式根据第一特征图和调整后的第二特征图，获得反映第一图像与第二图像之间的差异信息的相似度度量图，本发明实施例对此不做限定。
可选地，本发明实施例的目标再识别的方法可以通过神经网络或者其他机器学习的方法来实现，在一个可选例子中，可以采用卷积神经网络或者其他类型的神经网络，本发明实施例对此不做限定。
基于本发明上述实施例提供的目标再识别方法，通过对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到表征第一图像与第二图像在空间分布上的匹配信息的匹配置信图，然后根据匹配置信图调整第二特征图，使调整后的第二特征图具有与第一特征图相似的空间分布，并根据第一特征图和调整后的第二特征图，确定目标再识别的结果，在目标再识别的过程将图像空间分布的差异考虑进来，通过对图像进行空间匹配处理获得图像在空间分布上的匹配信息，再利用图像在空间分布上的匹配信息对图像进行调整，可以获得具有相似的空间分布的图像，根据具有相似的空间分布的图像进行目标再识别，可以获得更准确的再识别结果，从而可以避免由于图像空间分布的差异对识别结果造成的影响，当采用神经网络进行目标再识别时，通过在神经网络对图像进行特征提取的过程中进行消除空间分布差异的处理，可以使神经网络的训练过程和目标再识别任务的执行过程简洁快速。
由于在图像中不同像素点的重要程度不同，即对于目标再识别任务所做的贡献不同，例如：位于图像背景中的像素点，对目标再识别任务不会做出任何贡献。为了对像素点的重要程度进行区分，我们引入注意力机制(Attention)为用于目标再识别结果确认的相似度度量图配置不同的权重。在一个可选的例子中，可以根据第一特征图为相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图，然后根据加权的相似度度量图，得到分类的特征向量。在另一个可选的例子中，可以根据第一特征图为相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图，然后根据相似度度量图和加权的相似度度量图得到加强的相似度度量图，根据加强的相似度度量图，得到分类的特征向量。下面将结合图2详细描述通过在本发明实施例的方法中引入注意力机制，得到加强的相似度度量图，通过加强的相似度度量图得到分类的特征向量的流程。
应理解，图2的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图2的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
对于通过在本发明实施例的方法中引入注意力机制，得到加权的相似度度量图，直接根据加权的相似度度量图得到分类的特征向量的流程，可以一并参见下面的相关步骤，故不再单独进行描述。
如图2所示，该方法包括：
S202，对第一特征图进行注意力提取处理，得到第一特征图的注意力配置图。
可选地，可以通过多种方式对特征图进行注意力提取处理，在一个可选的例子中，可以通过神经网络对特征图进行注意力提取处理。例如：可以采用卷积神经网络对特征图进行注意力提取处理。
S204，根据第一特征图的注意力配置图与相似度度量图的像素矩阵的乘积，得到加权的相似度度量图。
可选地，也可以通过其他方式根据注意力配置图为相似度度量图配置权重，本发明实施例对此不做限定。
S206，根据相似度度量图与加权的相似度度量图的像素矩阵的和值，得到加强的相似度度量图。
可选地，也可以通过其他方式根据相似度度量图和加权的相似度度量图得到加强的相似度度量图，其中在加强的相似度度量图中体现相关区域的差异的权重得到加强，本发明实施例对此不做限定。
S208，根据加强的相似度度量图，得到分类的特征向量。
可选地，可以通过多种方式根据加强的相似度度量图，得到分类的特征向量。在一个可选的例子中，可以通过神经网络对加强的相似度度量图进行处理，得到分类的特征向量。
可选地，本发明实施例的目标再识别方法可以通过神经网络实现。下面将结合图3的例子详细描述实现本发明实施例的目标再识别方法的神经网络的结构。应理解，图3的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图3的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图3所示，在目标再识别神经网络中，通过特征提取网络302对第一图像和第二图像进行特征提取处理，得到第一特征图和第二特征图，通过空间匹配模块304对第一特征图和第二特征图进行匹配，得到匹配置信图，通过空间调整模块306根据匹配置信图调整第二特征图，得到与第一图像具有相似的空间分布的调整后的第二特征图，通过相似度确定模块308根据第一特征图与调整后的第二特征图的减法运算，得到相似度度量图，通过注意力提取网络310对第一特征图进行注意力提取处理，得到注意力配置图，通过权重配置模块312根据注意力配置图与相似度度量图的乘法运算，得到加权的相似度度量图，通过加强模块314根据相似度度量图与加权的相似度度量图的加法运算，得到加强的相似度度量图，加强的相似度度量图通过全局平局池化层(Global Average Pooling)316得到分类的特征向量，分类的特征向量依次经过逐像素平方层(Element-wise Square)318、批量归一化层(Batch Normalization)320和分类模块(Softmax)322，得到反映图像之间相似程度的相似度分数，最后根据相似度分数确定目标再识别的结果，是同一人还是不同人。其中，注意力提取网络310可以依次由批量归一化层(Batch Normalization)和激活函数层(ReLU)组成，特征提取网络302可以采用孪生卷积网络(Siamese CNN)的结构。
多尺度分辨率信息对于行人再识别任务有着重要的帮助，现有的行人再识别方法大多是通过拥有多个分支的神经网络来融合多尺度分辨率的信息，这种拥有多个分支的神经网络往往会产生大量的冗余参数。为了通过较少的参数实现对多尺度分辨率信息的融合，以高效的利用底层与顶层的信息，我们提出将沙漏模型网络结构应用于目标再识别方法。在一个可选的例子中，可以通过对第一图像进行特征提取处理得到第一图像的原始特征图，或者也可以通过其他方式获得第一图像的原始特征图，例如：第一图像的原始特征图可以是从预先存储的第一图像的相关信息中获得，可以通过对第二图像进行特征提取处理得到第二图像的原始特征图，或者也可以通过其他方式获得第二图像的原始特征图，例如：第二图像的原始特征图也可以是从预先存储的第二图像的相关信息中获得，然后通过沙漏模型网络结构分别对第一图像的原始特征图和第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，其中每一组特征图均包含分辨率相同的第一特征图和第二特征图。下面将结合图4详细描述通过在本发明实施例的方法中引入沙漏模型网络结构，融合多尺度分辨率信息的流程。
应理解，图4的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图4的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图4所示，该方法包括：
402，分别对第一图像的原始特征图和第二图像的原始特征图进行预设次数的卷积和下采样处理，得到具有第一分辨率的第一特征图和具有第一分辨率的第二特征图。
可选地，预设次数可以根据具体的情况确定，通常可以根据需要获得的分辨率信息尺度的数目来确定，同时根据预设次数也可以确定沙漏模型的具体层级结构。
可选地，本发明实施例可以通过多种方式进行卷积和下采样处理，在一个可选的例子中，可以通过神经网络进行卷积和下采样处理。
404，在预设次数的卷积和下采样处理之后，将具有第一分辨率的第一特征图和具有第一分辨率的第二特征图作为一组特征图。
其中，在每一次卷积和下采样处理之后，卷积和下采样处理得到的图像并不作为一组特征图，而只是将最后一次卷积和下采样处理得到的具有第一分辨率的第一特征图和具有第一分辨率的第二特征图作为一组特征图。
406，分别对具有第一分辨率的第一特征图和具有第一分辨率的第二特征图进行该预设次数的卷积和上采样处理，得到具有第二分辨率的第一特征图和具有第二分辨率的第二特征图。
可选地，本发明实施例可以通过多种方式进行卷积和上采样处理，在一个可选的例子中，可以通过神经网络进行卷积和上采样处理。
408，在每一次卷积和上采样处理之后，将卷积和上采样处理得到的具有相同分别率的第一特征图和第二特征图作为一组特征图。
其中，操作408发生于操作406中每一次卷积和上采样处理之后，操作408中的特征图组中包括由具有第二分辨率的第一特征图和具有第二分辨率的第二特征图组成的一组特征图。
可选地，对于通过沙漏模型网络结构得到的每一组特征图中的第一特征图和第二特征图可以执行下列操作：对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图，根据匹配置信图调整第二特征图的空间分布，使调整后的第二特征图具有与第一特征图相似的空间分布，根据第一特征图和调整后的第二特征图，得到对应分辨率下的特征向量。在每一组特征图通过执行上述操作获得对应分辨率下的特征向量后，根据各组特征图的特征向量，确定目标再识别的结果。
可选地，对于每一组特征图可以根据第一特征图和变换处理后的第二特征图的像素矩阵的差值，得到相似度度量图，然后根据相似度度量图确定对应分辨率下的特征向量。
可选地，可以对根据各组特征图得到的特征向量进行合并，得到分类的特征向量，然后根据分类的特征向量确定第一图像与第二图像的相似度，根据相似度确定目标再识别的结果。
可选地，本实施例的目标再识别方法可以通过神经网络实现。下面将结合图5的例子详细描述实现本实施例的目标再识别方法的神经网络的结构。应理解，图5的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图5的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图5所示，在目标再识别神经网络中，沙漏模型网络结构可以输出三种分辨率尺度的特征图组，例如：输入沙漏模型网络结构的一组图像的分辨率尺度为256*128，则在图5中从左到右沙漏模型网络结构依次输出的特征图组的分辨率尺度依次为32*16、16*8和8*4。对于沙漏模型网络结构输出的每一组特征图，均通过空间匹配模块304对第一特征图和第二特征图进行匹配，得到匹配置信图，然后通过空间调整模块306根据匹配置信图调整第二特征图的空间分布，之后通过相似度确定模块308根据第一特征图与调整后的第二特征图的减法运算，得到相似度度量图，然后使相似度度量图通过全局平局池化层(GlobalAverage Pooling)316得到对应分辨率下的特征向，再使特征向量依次经过逐像素平方层(Element-wise Square)318和批量归一化层(Batch Normalization)320，并通过合并模块对各分辨率下的特正向量进行合并，得到分类的特征向量，最后通过分类模块(Softmax)得到相似度分数，根据相似度分数确定目标再识别的结果，是同一人还是不同人。
可选地，每一组特征图还可以通过注意力提取网络310对第一特征图进行注意力提取处理，得到注意力配置图，然后通过权重配置模块312根据注意力配置图与相似度度量图的乘法运算，得到加权的相似度度量图，之后通过加强模块314根据相似度度量图与加权的相似度度量图的加法运算，得到加强的相似度度量图，最后根据加强的相似度度量图得到对应分辨率下的特征向量。
图6是本发明实施例目标再识别装置一些实施例的结构示意图。应理解，图6的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图6的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图6所示，该装置包括：匹配单元610、调整单元620和识别单元630。其中，
匹配单元610，用于对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图，其中，匹配置信图表征第一图像与第二图像在空间分布上的匹配信息，空间分布表征图像中目标的分布情况，第一图像包含待识别的目标。
在本实施例中，第一图像可以是包含给定的待识别目标的图像，例如：给定的待识别目标可以是行人，也可以是除行人外的其他物体，本发明实施例对第一图像中的给定的待识别目标不做限定。在本实施例中，第一图像可以通过多种方式获得。在一个可选的例子中，第一图像可以是选图像数据集中的图像。在另一个可选的例子中，第一图像可以是从摄像头随机获取的图像。本发明实施例对第一图像的获得方式不做限定。
在本实施例中，第二图像可以是用来判断其中是否存在给定的待识别目标的图像数据集中的图像。在本实施例中，图像数据集可以通过多种方式获得。在一个可选的例子中，图像数据集可以是由预先存储于数据库中的图像构成。在另一个可选的例子中，图像数据集可以是由采集自不重叠覆盖的摄像头中的图像构成。本发明实施例对图像数据集的获得方式不做限定。
在一个可选的例子中，第一图像和第二图像可以是分别采集自视野不重叠覆盖的摄像头的图像。
可选地，第一特征图可以是通过对第一图像进行特征提取处理得到的，或者也可以是通过其他方式获得的，例如：第一特征图可以是从预先存储的第一图像的相关信息中获得的，本发明实施例对此不做限定。
可选地，第二特征图可以是通过对第二图像进行特征提取处理得到的，或者也可以是通过其他方式获得的，例如：第二特征图也可以是从预先存储的第二图像的相关信息中获得的，本发明实施例对此也不做限定。
本发明实施例可以通过多种方式对图像进行特征提取处理，在一个可选的例子中，可以通过神经网络对图像进行特征提取处理。例如：可以采用卷积神经网络对图像进行特征提取处理。
可选地，匹配单元610可以根据第一特征图与第二特征图的像素矩阵的张量积，也称为直积或Kronecker积，得到匹配置信图，或者也可以通过其他方式获得反映第一图像与第二图像在空间分布上的匹配信息的匹配置信图，本发明实施例对此不做限定。
调整单元620，用于根据匹配置信图调整第二特征图的空间分布，使调整后的第二特征图具有与第一特征图相似的空间分布。
可选地，调整单元620可以根据匹配置信图与第二特征图的像素矩阵的乘积，得到与第一特征图具有相似的空间分布的调整后的第二特征图，实现根据第一图像的空间分布情况来调整第二图像的空间分布情况。
可选地，调整单元620也可以通过其他方式根据匹配置信图调整第二特征图，使调整后的第二特征图具有与第一特征图相似的空间分布，本发明实施例对此不做限定。
识别单元630，用于根据第一特征图和调整后的第二特征图，确定目标再识别的结果。
可选地，识别单元630可以包括：相似度确定模块和再识别结果确定模块，相似度确定模块可以根据第一特征图和调整后的第二特征图，确定第一图像与第二图像的相似度，再识别结果确定模块可以根据相似度确定目标再识别的结果。在一个可选的例子中，相似度确定模块可以根据第一特征图与调整后的第二特征图的像素矩阵的差值，得到相似度度量图，然后根据相似度度量图确定第一图像与第二图像的相似度。例如：相似度确定模块可以采用神经网络对相似度度量图进行处理，得到分类的特征向量，然后根据分类的特征向量确定第一图像与第二图像的相似度。
可选地，相似度确定模块也可以通过其他方式根据第一特征图和调整后的第二特征图，获得反映第一图像与第二图像之间的差异信息的相似度度量图，本发明实施例对此不做限定。
可选地，本发明实施例的目标再识别的装置可以通过神经网络或者其他机器学习的装置来实现，在一个可选例子中，可以采用卷积神经网络或者其他类型的神经网络，本发明实施例对此不做限定。
基于本发明上述实施例提供的目标再识别装置，通过对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到表征第一图像与第二图像在空间分布上的匹配信息的匹配置信图，然后根据匹配置信图调整第二特征图，使调整后的第二特征图具有与第一特征图相似的空间分布，并根据第一特征图和调整后的第二特征图，确定目标再识别的结果，在目标再识别的过程将图像空间分布的差异考虑进来，通过对图像进行空间匹配处理获得图像在空间分布上的匹配信息，再利用图像在空间分布上的匹配信息对图像进行调整，可以获得具有相似的空间分布的图像，根据具有相似的空间分布的图像进行目标再识别，可以获得更准确的再识别结果，从而可以避免由于图像空间分布的差异对识别结果造成的影响，当采用神经网络进行目标再识别时，通过在神经网络对图像进行特征提取的过程中进行消除空间分布差异的处理，可以使神经网络的训练过程和目标再识别任务的执行过程简洁快速。
图7是本发明实施例目标再识别装置另一些实施例的结构示意图。应理解，图7的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图7的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图7所示，该装置与图6中装置的不同之处在于，在该实施例中，装置还包括：权重配置单元740。
权重配置单元740，用于根据第一特征图为相似度度量图的像素矩阵中的每个像素配置权重，得到加权的相似度度量图。
识别单元730的相似度确定模块，可以根据加权的相似度度量图，得到分类的特征向量。
可选地，权重配置单元740，可以根据第一特征图的注意力配置图与相似度度量图的像素矩阵的乘积，得到加权的相似度度量图，或者也可以通过其他方式根据注意力配置图为相似度度量图配置权重，本发明实施例对此不做限定。
可选地，该装置还可以包括：注意力提取单元750，用于对第一特征图进行注意力提取处理，得到第一特征图的注意力配置图。
可选地，注意力提取单元750可以通过多种方式对特征图进行注意力提取处理，在一个可选的例子中，注意力提取单元750可以通过神经网络对特征图进行注意力提取处理。例如：可以采用卷积神经网络对特征图进行注意力提取处理。
可选地，该装置还可以包括：加强单元760，用于根据相似度度量图和加权的相似度度量图，得到加强的相似度度量图。此时，识别单元730的相似度确定模块，可以根据加强的相似度度量图，得到分类的特征向量。
可选地，加强单元760，可以根据相似度度量图与加权的相似度度量图的像素矩阵的和值，得到加强的相似度度量图，或者也可以通过其他方式根据相似度度量图和加权的相似度度量图得到加强的相似度度量图，本发明实施例对此不做限定。
可选地，识别单元730的相似度确定模块可以通过多种方式根据加强的相似度度量图，得到分类的特征向量。在一个可选的例子中，识别单元730的相似度确定模块可以通过神经网络对加强的相似度度量图进行处理，得到分类的特征向量。
图8是本发明实施例目标再识别装置又一些实施例的结构示意图。应理解，图8的例子仅仅是为了帮助本领域技术人员更好地理解本发明的技术方案，而不应理解成对本发明的限定。本领域技术人员可以在图8的基础上进行各种变换，而这种变换也应理解成本发明技术方案的一部分。
如图8所示，该装置与图6中装置的不同之处在于，在该实施例中，装置还包括：处理单元870。
处理单元870，用于分别对第一图像的原始特征图和第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，其中每一组特征图均包含分辨率相同的第一特征图和第二特征图。
可选地，可以通过对第一图像进行特征提取处理得到第一图像的原始特征图，或者也可以通过其他方式获得第一图像的原始特征图，例如：第一图像的原始特征图可以是从预先存储的第一图像的相关信息中获得。
可选地，可以通过对第二图像进行特征提取处理得到第二图像的原始特征图，或者也可以通过其他方式获得第二图像的原始特征图，例如：第二图像的原始特征图也可以是从预先存储的第二图像的相关信息中获得。
可选地，处理单元870，可以分别对第一图像的原始特征图和第二图像的原始特征图进行预设次数的卷积和下采样处理，得到具有第一分辨率的第一特征图和具有第一分辨率的第二特征图；以及分别对具有第一分辨率的第一特征图和具有第一分辨率的第二特征图进行该预设次数的卷积和上采样处理，得到具有第二分辨率的第一特征图和具有第二分辨率的第二特征图。
可选地，预设次数可以根据具体的情况确定，通常可以根据需要获得的分辨率信息尺度的数目来确定，同时根据预设次数也可以确定沙漏模型的具体层级结构。
可选地，本发明实施例可以通过多种方式进行卷积和下采样处理，在一个可选的例子中，可以通过神经网络进行卷积和下采样处理。
可选地，本发明实施例可以通过多种方式进行卷积和上采样处理，在一个可选的例子中，可以通过神经网络进行卷积和上采样处理。
可选地，处理单元870，可以在预设次数的卷积和下采样处理之后，将具有第一分辨率的第一特征图和具有第一分辨率的第二特征图作为一组特征图；以及在每一次卷积和上采样处理之后，将卷积和上采样处理得到的具有相同分别率的第一特征图和第二特征图作为一组特征图。
其中，对于每一组特征图中的第一特征图和第二特征图：匹配单元810，用于对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；调整单元820，用于根据匹配置信图调整第二特征图的空间分布，使调整后的第二特征图具有与第一特征图相似的空间分布；识别单元830，用于根据第一特征图和调整后的第二特征图，得到对应分辨率下的特征向量。在每一组特征图获得对应分辨率下的特征向量后，识别单元830，还用于根据各组特征图的特征向量，确定目标再识别的结果。
可选地，识别单元830可以根据第一特征图和变换处理后的第二特征图的像素矩阵的差值，得到相似度度量图，然后根据相似度度量图确定对应分辨率下的特征向量。
可选地，识别单元830可以对根据各组特征图得到的特征向量进行合并，得到分类的特征向量，然后根据分类的特征向量确定第一图像与第二图像的相似度，根据相似度确定目标再识别的结果。
另外，本发明实施例还提供了一种电子设备，例如可以是移动终端、个人确定机(PC)、平板电脑、服务器等，该电子设备设置有本发明上述任一实施例的目标再识别装置。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人确定机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，确定机系统900包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信部912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器902和/或随机访问存储器930中通信以执行可执行指令，通过总线904与通信部912相连、并经通信部912与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使处理器901执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至总线904。通信部912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的确定机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能。
在一个或多个可选实施方式中，本发明实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的目标再识别方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本发明实施例还提供了一种目标再识别方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：第一装置向第二装置发送目标再识别指示，该指示使得第二装置执行上述任一可能的实施例中的目标再识别方法；第一装置接收第二装置发送的图像的目标检测结果。
在一些实施例中，该目标再识别指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行目标再识别，相应地，响应于接收到调用指令，第二装置可以执行上述目标再识别方法中的任意实施例中的步骤和/或流程。
应理解，本发明实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本发明实施例的限定。
还应理解，在本发明中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种目标再识别方法，其特征在于，包括：
对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；所述空间分布表征图像中目标的分布情况；所述第一图像包含待识别的目标；
根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。
2.根据权利要求1所述的方法，其特征在于，所述对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图，包括：
根据所述第一特征图与所述第二特征图的像素矩阵的张量积，得到所述匹配置信图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布，包括：
根据所述匹配置信图与所述第二特征图的像素矩阵的乘积，得到与所述第一特征图具有相似的空间分布的所述调整后的第二特征图。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果，包括：
根据所述第一特征图和所述调整后的第二特征图，确定所述第一图像与所述第二图像的相似度；
根据所述相似度确定目标再识别的结果。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图之前，还包括：
分别对所述第一图像的原始特征图和所述第二图像的原始特征图进行处理，得到至少二组分辨率不同的特征图，其中每一组所述特征图均包含分辨率相同的所述第一特征图和所述第二特征图；
对于每一组所述特征图中的所述第一特征图和所述第二特征图执行下列操作：
对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行匹配，得到匹配置信图；
根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
根据所述第一特征图和所述调整后的第二特征图，得到对应分辨率下的特征向量；
所述方法还包括：根据各组所述特征图的所述特征向量，确定目标再识别的结果。
6.一种目标再识别装置，其特征在于，包括：
匹配单元，用于对第一图像的第一特征图和第二图像的第二特征图进行匹配，得到匹配置信图；所述匹配置信图表征所述第一图像与所述第二图像在空间分布上的匹配信息；所述空间分布表征图像中目标的分布情况；所述第一图像包含待识别的目标；
调整单元，用于根据所述匹配置信图调整所述第二特征图的空间分布，使所述调整后的第二特征图具有与所述第一特征图相似的空间分布；
识别单元，用于根据所述第一特征图和所述调整后的第二特征图，确定目标再识别的结果。
7.一种电子设备，其特征在于，包括权利要求6所述的装置。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至5中任意一项所述的方法。
9.一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5中任意一项所述方法的指令。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810220690.XA CN108427927B (zh) | 2018-03-16 | 2018-03-16 | 目标再识别方法和装置、电子设备、程序和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810220690.XA CN108427927B (zh) | 2018-03-16 | 2018-03-16 | 目标再识别方法和装置、电子设备、程序和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108427927A true CN108427927A (zh) | 2018-08-21 |
| CN108427927B CN108427927B (zh) | 2020-11-27 |
Family
ID=63158754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810220690.XA Active CN108427927B (zh) | 2018-03-16 | 2018-03-16 | 目标再识别方法和装置、电子设备、程序和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108427927B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
| CN109376741A (zh) * | 2018-09-10 | 2019-02-22 | 平安科技（深圳）有限公司 | 商标侵权的识别方法、装置、计算机设备和存储介质 |
| CN109614970A (zh) * | 2018-12-05 | 2019-04-12 | 中国人民解放军火箭军工程大学 | 一种红外目标隐身效能的评估方法及系统 |
| CN109658481A (zh) * | 2018-12-24 | 2019-04-19 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
| CN110047076A (zh) * | 2019-03-29 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 一种图像信息的处理方法、装置及存储介质 |
| CN111031239A (zh) * | 2019-12-05 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| WO2020093837A1 (zh) * | 2018-11-07 | 2020-05-14 | 北京达佳互联信息技术有限公司 | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 |
| CN111259850A (zh) * | 2020-01-23 | 2020-06-09 | 同济大学 | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 |
| CN112259119A (zh) * | 2020-10-19 | 2021-01-22 | 成都明杰科技有限公司 | 基于堆叠沙漏网络的音乐源分离方法 |
| CN112990171A (zh) * | 2021-05-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113095341A (zh) * | 2019-12-23 | 2021-07-09 | 顺丰科技有限公司 | 一种图像匹配方法、装置及存储介质 |
| CN114092840A (zh) * | 2021-11-24 | 2022-02-25 | 四川大学锦江学院 | 一种应用于无人机中的类脑智能图像识别方法及装置 |
| CN114117682A (zh) * | 2021-12-03 | 2022-03-01 | 湖南师范大学 | 齿轮箱的故障识别方法、装置、设备及存储介质 |
| CN114529782A (zh) * | 2022-01-12 | 2022-05-24 | 南方电网深圳数字电网研究院有限公司 | 基于电网的模型训练方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090185746A1 (en) * | 2008-01-22 | 2009-07-23 | The University Of Western Australia | Image recognition |
| CN101567051A (zh) * | 2009-06-03 | 2009-10-28 | 复旦大学 | 一种基于特征点的图像配准方法 |
| CN102236901A (zh) * | 2011-06-30 | 2011-11-09 | 南京大学 | 基于图论聚类和色彩不变空间的目标跟踪方法 |
| US20120033852A1 (en) * | 2010-08-06 | 2012-02-09 | Kennedy Michael B | System and method to find the precise location of objects of interest in digital images |
| CN102393913A (zh) * | 2011-10-31 | 2012-03-28 | 北京航空航天大学 | 一种基于光谱指纹特征的弱小目标精确跟踪方法 |
| CN102663411A (zh) * | 2012-02-29 | 2012-09-12 | 宁波大学 | 一种目标人体识别方法 |
| US20130089260A1 (en) * | 2011-10-05 | 2013-04-11 | Carnegie Mellon University | Systems, Methods, and Software Implementing Affine-Invariant Feature Detection Implementing Iterative Searching of an Affine Space |
| CN103136545A (zh) * | 2011-11-22 | 2013-06-05 | 中国科学院电子学研究所 | 基于空间一致性的高分辨率遥感图像解析树自动提取方法 |
| CN103745203A (zh) * | 2014-01-15 | 2014-04-23 | 南京理工大学 | 基于视觉注意和均值漂移的目标检测与跟踪方法 |
| US20140369608A1 (en) * | 2013-06-14 | 2014-12-18 | Tao Wang | Image processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation |
| CN105809118A (zh) * | 2016-03-03 | 2016-07-27 | 重庆中科云丛科技有限公司 | 三维目标识别方法及装置 |
| CN106203393A (zh) * | 2016-07-22 | 2016-12-07 | 广东金杭科技股份有限公司 | 一种人脸采集识别方法和实现该方法的系统 |
-
2018
- 2018-03-16 CN CN201810220690.XA patent/CN108427927B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090185746A1 (en) * | 2008-01-22 | 2009-07-23 | The University Of Western Australia | Image recognition |
| CN101567051A (zh) * | 2009-06-03 | 2009-10-28 | 复旦大学 | 一种基于特征点的图像配准方法 |
| US20120033852A1 (en) * | 2010-08-06 | 2012-02-09 | Kennedy Michael B | System and method to find the precise location of objects of interest in digital images |
| CN102236901A (zh) * | 2011-06-30 | 2011-11-09 | 南京大学 | 基于图论聚类和色彩不变空间的目标跟踪方法 |
| US20130089260A1 (en) * | 2011-10-05 | 2013-04-11 | Carnegie Mellon University | Systems, Methods, and Software Implementing Affine-Invariant Feature Detection Implementing Iterative Searching of an Affine Space |
| CN102393913A (zh) * | 2011-10-31 | 2012-03-28 | 北京航空航天大学 | 一种基于光谱指纹特征的弱小目标精确跟踪方法 |
| CN103136545A (zh) * | 2011-11-22 | 2013-06-05 | 中国科学院电子学研究所 | 基于空间一致性的高分辨率遥感图像解析树自动提取方法 |
| CN102663411A (zh) * | 2012-02-29 | 2012-09-12 | 宁波大学 | 一种目标人体识别方法 |
| US20140369608A1 (en) * | 2013-06-14 | 2014-12-18 | Tao Wang | Image processing including adjoin feature based object detection, and/or bilateral symmetric object segmentation |
| CN103745203A (zh) * | 2014-01-15 | 2014-04-23 | 南京理工大学 | 基于视觉注意和均值漂移的目标检测与跟踪方法 |
| CN105809118A (zh) * | 2016-03-03 | 2016-07-27 | 重庆中科云丛科技有限公司 | 三维目标识别方法及装置 |
| CN106203393A (zh) * | 2016-07-22 | 2016-12-07 | 广东金杭科技股份有限公司 | 一种人脸采集识别方法和实现该方法的系统 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271895A (zh) * | 2018-08-31 | 2019-01-25 | 西安电子科技大学 | 基于多尺度特征学习和特征分割的行人重识别方法 |
| CN109376741A (zh) * | 2018-09-10 | 2019-02-22 | 平安科技（深圳）有限公司 | 商标侵权的识别方法、装置、计算机设备和存储介质 |
| WO2020093837A1 (zh) * | 2018-11-07 | 2020-05-14 | 北京达佳互联信息技术有限公司 | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 |
| US11373426B2 (en) | 2018-11-07 | 2022-06-28 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for detecting key points in skeleton, apparatus, electronic device and storage medium |
| CN109614970A (zh) * | 2018-12-05 | 2019-04-12 | 中国人民解放军火箭军工程大学 | 一种红外目标隐身效能的评估方法及系统 |
| CN109658481A (zh) * | 2018-12-24 | 2019-04-19 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| CN109658481B (zh) * | 2018-12-24 | 2023-12-26 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| CN110047076B (zh) * | 2019-03-29 | 2021-03-23 | 腾讯科技（深圳）有限公司 | 一种图像信息的处理方法、装置及存储介质 |
| CN110047076A (zh) * | 2019-03-29 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 一种图像信息的处理方法、装置及存储介质 |
| CN109948587A (zh) * | 2019-03-29 | 2019-06-28 | 清华大学 | 基于高判别力特征挖掘的车辆再识别方法及装置 |
| CN111031239A (zh) * | 2019-12-05 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN111031239B (zh) * | 2019-12-05 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN113095341A (zh) * | 2019-12-23 | 2021-07-09 | 顺丰科技有限公司 | 一种图像匹配方法、装置及存储介质 |
| CN111259850A (zh) * | 2020-01-23 | 2020-06-09 | 同济大学 | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 |
| CN111259850B (zh) * | 2020-01-23 | 2022-12-16 | 同济大学 | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 |
| CN112259119A (zh) * | 2020-10-19 | 2021-01-22 | 成都明杰科技有限公司 | 基于堆叠沙漏网络的音乐源分离方法 |
| CN112990171B (zh) * | 2021-05-20 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN112990171A (zh) * | 2021-05-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN114092840A (zh) * | 2021-11-24 | 2022-02-25 | 四川大学锦江学院 | 一种应用于无人机中的类脑智能图像识别方法及装置 |
| CN114117682B (zh) * | 2021-12-03 | 2022-06-03 | 湖南师范大学 | 齿轮箱的故障识别方法、装置、设备及存储介质 |
| CN114117682A (zh) * | 2021-12-03 | 2022-03-01 | 湖南师范大学 | 齿轮箱的故障识别方法、装置、设备及存储介质 |
| CN114529782A (zh) * | 2022-01-12 | 2022-05-24 | 南方电网深圳数字电网研究院有限公司 | 基于电网的模型训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108427927B (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427927B (zh) | 目标再识别方法和装置、电子设备、程序和存储介质 | |
| US11380017B2 (en) | Dual-view angle image calibration method and apparatus, storage medium and electronic device | |
| US10885365B2 (en) | Method and apparatus for detecting object keypoint, and electronic device | |
| US11232318B2 (en) | Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices | |
| US11436739B2 (en) | Method, apparatus, and storage medium for processing video image | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| CN108304775B (zh) | 遥感图像识别方法、装置、存储介质以及电子设备 | |
| CN108229322B (zh) | 基于视频的人脸识别方法、装置、电子设备及存储介质 | |
| CN108122234B (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| CN108229296B (zh) | 人脸皮肤属性识别方法和装置、电子设备、存储介质 | |
| CN108229353B (zh) | 人体图像的分类方法和装置、电子设备、存储介质、程序 | |
| CN108229297B (zh) | 人脸识别方法和装置、电子设备、计算机存储介质 | |
| CN108229531B (zh) | 对象特征提取方法、装置、存储介质和电子设备 | |
| EP4099217A1 (en) | Image processing model training method and apparatus, device, and storage medium | |
| CN108229301B (zh) | 眼睑线检测方法、装置和电子设备 | |
| WO2020019765A1 (zh) | 双目图像的深度估计方法及装置、设备、程序及介质 | |
| CN108229305B (zh) | 用于确定目标对象的外接框的方法、装置和电子设备 | |
| CN108229673B (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN108491872B (zh) | 目标再识别方法和装置、电子设备、程序和存储介质 | |
| JP7093427B2 (ja) | オブジェクト追跡方法および装置、電子設備並びに記憶媒体 | |
| CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN111985458A (zh) | 一种检测多目标的方法、电子设备及存储介质 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |