CN115359274A - 行人图像的匹配方法及装置 - Google Patents

行人图像的匹配方法及装置 Download PDF

Info

Publication number
CN115359274A
CN115359274A CN202210948555.3A CN202210948555A CN115359274A CN 115359274 A CN115359274 A CN 115359274A CN 202210948555 A CN202210948555 A CN 202210948555A CN 115359274 A CN115359274 A CN 115359274A
Authority
CN
China
Prior art keywords
vector
pedestrian
image
target
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210948555.3A
Other languages
English (en)
Inventor
黄泽元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Longzhi Digital Technology Service Co Ltd
Original Assignee
Beijing Longzhi Digital Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Longzhi Digital Technology Service Co Ltd filed Critical Beijing Longzhi Digital Technology Service Co Ltd
Priority to CN202210948555.3A priority Critical patent/CN115359274A/zh
Publication of CN115359274A publication Critical patent/CN115359274A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，提供了一种行人图像的匹配方法及装置。该方法包括：确定第一目标设备向量和第二目标设备向量，利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；基于第一图像特征矩阵和第二图像特征矩阵判断第一目标图像和第二目标图像是否属于同一个行人。

Description

行人图像的匹配方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种行人图像的匹配方法及装置。
背景技术
在一个时间段内，获得的所有监控图片中，如何判断两张或者多张监控图片是否属于同一个行人(匹配多张监控图片和匹配两张监控图片的方法是一样的，匹配多张监控图片就是多次匹配两张监控图片)，目前常用通用神经网络，提取监控图片的行人特征，然后基于行人特征，匹配监控图片。这种方法没有考虑图像背景以及不同获取图像的图像采集设备本身特征的影响，所以尤其在面对多个图像采集设备时，也就是不同的图像属于不同的图像采集设备，或者跨图像采集设备时，会造成较大的误差。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：在存在多个图像采集设备时，行人图像匹配精度低的问题。
发明内容
有鉴于此，本公开实施例提供了一种行人图像的匹配方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，在存在多个图像采集设备的场景中行人图像匹配精度低的问题。
本公开实施例的第一方面，提供了一种行人图像的匹配方法，包括：获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人。
本公开实施例的第二方面，提供了一种行人图像的匹配装置，包括：第一获取模块，被配置为获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；第二获取模块，被配置为获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；第一判断模块，被配置为判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；模型模块，被配置为利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；第一确定模块，被配置为基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；第二确定模块，被配置为基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；第二判断模块，被配置为基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人，因此，采用上述技术手段，可以解决现有技术中，在存在多个图像采集设备的场景中行人图像匹配精度低的问题，进而提高在存在多个图像采集设备的场景中行人图像匹配的精度。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种行人图像的匹配方法的流程示意图；
图3是本公开实施例提供的一种行人图像的匹配装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种行人图像的匹配方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备101、102和103、服务器104以及网络105。
终端设备101、102和103可以是硬件，也可以是软件。当终端设备101、102和103为硬件时，其可以是具有显示屏且支持与服务器104通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备101、102和103为软件时，其可以安装在如上的电子设备中。终端设备101、102和103可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备101、102和103上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器104可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器104可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器104可以是硬件，也可以是软件。当服务器104为硬件时，其可以是为终端设备101、102和103提供各种服务的各种电子设备。当服务器104为软件时，其可以是为终端设备101、102和103提供各种服务的多个软件或软件模块，也可以是为终端设备101、102和103提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络105可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
用户可以通过终端设备101、102和103经由网络105与服务器104建立通信连接，以接收或发送信息等。需要说明的是，终端设备101、102和103、服务器104以及网络105的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
图2是本公开实施例提供的一种行人图像的匹配方法的流程示意图。图2的行人图像的匹配方法可以由图1的计算机或服务器，或者计算机或服务器上的软件执行。如图2所示，该行人图像的匹配方法包括：
S201，获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；
图像采集设备可以是摄像头等常用的用以获取图像的设备。行人图像数据集中的图片是以获取行人图像数据集的时刻为终止时刻，获取终止时刻前预设时长内收集到的行人图像数据集。
S202，获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；
根据两个图像采集设备之间的距离，确定该两个图像采集设备对应的系数(两个图像采集设备之间的距离越远，对应的系数越小)，这样每两个图像采集设备对应的系数都确定了，那么所有图像采集设备对应的关系矩阵G(每个图像采集设备对应的系数就是关系矩阵中的一个元素)。获取初始化矩阵E，以及关系调整矩阵σ(E与σ为提前设置的)，根据E′＝(G*E)*σ
每个图像采集设备对应的设备向量对应矩阵E′中的一个行向量。
S203，判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；
通过判断行人图像数据集中任意两张图像是否属于同一个行人，就可以确定出行人图像数据集中每个行人对应的所有的图像。为了便于后续说明，将任意两张图像中的一个记作第一目标图像，另一个记作第二目标图像。
S204，利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；
特征提取及处理模型可以实现提取图像的特征提取及特征处理。
S205，基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；
第一图像特征矩阵可以是第一目标设备向量、第一行人特征向量和第一背景特征向量组成的。
S206，基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；
第二图像特征矩阵可以是第二目标设备向量、第二行人特征向量和第二背景特征向量组成的。
S207，基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人。
如果目标相似度大于预设阈值，那么第一目标图像和第二目标图像属于同一个行人。
根据本公开实施例提供的技术方案，通过获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人，因此，采用上述技术手段，可以解决现有技术中，在存在多个图像采集设备的场景中行人图像匹配精度低的问题，进而提高在存在多个图像采集设备的场景中行人图像匹配的精度。
在步骤S204中，利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量，包括：(也就是说，特征提取及处理模型包括如下结构或者计算)利用残差神经网络的输入层至第二阶段网络层的网络提取第一目标图像的第一目标特征图以及第二目标图像的第二目标特征图，其中，特征提取及处理模型，包括：残差神经网络的输入层至第二阶段网络层的网络；分别对第一目标特征图和第二目标特征图依次进行卷积计算、归一化计算、卷积计算、归一化计算、激活计算、卷积计算和归一化计算，得到第三目标特征图和第四目标特征图；利用归一化指数函数分别对第三目标特征图和第四目标特征图进行处理，以根据处理结果确定第一行人特征向量和第一背景特征向量，以及第二行人特征向量和第二背景特征向量。
经典的残差神经网络的结构分为：输入层、Stemblock层、第一阶段网络层、第二阶段网络层、第三阶段网络层、第四阶段网络层、全局平均池化层和全连接层。Stemblock用于下采样，第一阶段网络层、第二阶段网络层、第三阶段网络层和第四阶段网络层用于对Stemblock下采样得到的特征进行处理，全局平均池化层用于降低维度数，全连接层用于分类。在本公开中特征提取及处理模型包括了残差神经网络的输入层至第二阶段网络层的网络结构。可以理解为将第一目标图像和第二目标图像输入残差神经网络，从第二阶段网络层输出第一目标特征图和第二目标特征图。
比如，分别对第一目标特征图和第二目标特征图依次进行2次卷积核3x3的卷积计算(Conv)和批量归一化(BN)计算；再进行一次激活计算、3x3的卷积计算以及批量归一化计算，得到第三目标特征图和第四目标特征图。归一化指数函数是softmax函数。
利用归一化指数函数分别对第三目标特征图和第四目标特征图进行处理，以根据处理结果确定第一行人特征向量和第一背景特征向量，以及第二行人特征向量和第二背景特征向量，包括：利用归一化指数函数对第三目标特征图进行处理，并根据该处理结果确定第一目标图像对应的第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量和第一背景向量；利用归一化指数函数对第四目标特征图进行处理，并根据该处理结果确定第四目标图像对应的第二行人头部向量、第二行人胸部向量、第二行人腹部向量、第二行人左手向量、第二行人右手向量、第二行人左大腿向量、第二行人右大腿向量、第二行人左脚向量、第二行人右脚向量和第二背景向量；基于第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量，确定第一向量群，并基于第一向量群确定第一行人特征向量；基于第一背景向量确定第二向量群，并基于第二向量群确定第一背景特征向量；基于第二行人头部向量、第二行人胸部向量、第二行人腹部向量、第二行人左手向量、第二行人右手向量、第二行人左大腿向量、第二行人右大腿向量、第二行人左脚向量、第二行人右脚向量，确定第三向量群，并基于第三向量群确定第二行人特征向量；基于第二背景向量确定第四向量群，并基于第四向量群确定第二背景特征向量。
每一个图像都可以分为行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景，利用归一化指数函数处理图像，可以确定行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景总共10个部分(归一化指数函数可以给出每个部分是行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景的概率，概率最高的类别是该部分真实的类别)。可以从第三目标特征图的10个部分提取到第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量和第一背景向量。
基于第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量，组成向量群A，然后第一向量群Fa：
Fa＝W1A
基于第一背景向量(第一背景向量可以是多条)，组成第二向量群B，第二向量群Fb：
Fb＝W2B
W1和W2是提前设置好的矩阵。
确定第三向量群和确定第一向量群类似，确定第二行人特征向量与确定第一行人特征向量类似；确定第四向量群与确定第二向量群，确定第二背景特征向量与确定第一背景特征向量类似。
基于第一向量群确定第一行人特征向量，包括：对第一向量群依次进行第一阶段计算、第二阶段计算和第三阶段计算，得到第一行人特征向量；其中，每个阶段计算包括不少于两次的双轮注意力计算，双轮注意力计算，包括：同类别的自注意力计算和跨类别的自注意力计算。
对第一向量群进行第一阶段计算中的第一次双轮注意力计算，包括：将第一向量群按照向量的类别划分，得到九个第一向量组，并对每个第一向量组进行同类别的自注意力计算，得到第五向量群，其中，每个第一向量组只有一种类别的向量；将第五向量群按照向量的类别划分，得到N/9个第二向量组，并对每个第二向量组进行跨类别的自注意力计算，得到第六向量群，其中，每个第二向量组中每种类别的向量有且只有一条，N为第五向量群中的向量的条数；对第六向量群进行层归一化处理和矩阵运算，得到第七向量群；其中，第七向量群为第一阶段计算中第一次双轮注意力计算的结果，为第一阶段计算中的第二次双轮注意力计算的输入。
预设三个矩阵α，β，γ，另
y＝softmax(α(x)*β(x))*γ(x)＝SAT(x)
SAT(x)就是自注意力计算，x是计算的对象或者输入。Y为结果或输出。
将第一向量群Fa按照向量的类别划分，得到九个第一向量组，并对每个第一向量组进行同类别的自注意力计算，得到第五向量群
Figure BDA0003788226490000111
将第五向量群
Figure BDA0003788226490000112
按照向量的类别划分，得到N/9个第二向量组，并对每个第二向量组进行跨类别的自注意力计算，得到第六向量群
Figure BDA0003788226490000113
每个第一向量组只有一种类别的向量，也就是说每一种类别的向量构成一个第一向量组，第二向量组中每种类别的向量有且只有一条，也就是说第二向量组是每种类别的向量中选一条构成的，向量的类别有九类，分别为：第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量。对第六向量群进行层归一化处理(LN)和矩阵运算，得到第七向量群
Figure BDA0003788226490000114
矩阵运算是给经过层归一化处理后的第六向量群乘以一个预设的矩阵。上述计算定义为双轮注意力计算，用GSAT()表示，那么上述计算可以简写为
Figure BDA0003788226490000115
上述是对第一向量群进行第一阶段计算中的第一次双轮注意力计算，第一阶段计算还可以包括
Figure BDA0003788226490000116
给
Figure BDA0003788226490000117
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA0003788226490000118
的维度)，得到
Figure BDA0003788226490000121
对第一向量群进行第二阶段计算，包括：
Figure BDA0003788226490000122
Figure BDA0003788226490000123
给
Figure BDA0003788226490000124
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA0003788226490000125
的维度)，得到
Figure BDA0003788226490000126
对第一向量群进行第三阶段计算，包括：
Figure BDA0003788226490000127
Figure BDA0003788226490000128
给
Figure BDA0003788226490000129
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA00037882264900001210
的维度)，得到第一行人特征向量
Figure BDA00037882264900001211
确定第二行人特征向量与确定第一行人特征向量类似，在此不再赘述。
基于第二向量群确定第一背景特征向量，包括：对第二向量群进行第四阶段计算，得到第一背景特征向量；其中，第四阶段计算包括不少于两次的双轮注意力计算，双轮注意力计算，包括：同类别的自注意力计算。
第四阶段计算与第一阶段计算、第二阶段计算和第三阶段计算没有递进关系，此处只是为了区分对第二向量群进行的是第四阶段计算。
对第二向量群进行的是第四阶段计算，包括：
Figure BDA00037882264900001212
Figure BDA00037882264900001213
给
Figure BDA00037882264900001214
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA00037882264900001215
的维度)，得到第一背景特征向量
Figure BDA00037882264900001216
在计算第一背景特征向量中的GSAT()，实际上和在计算第一行人特征向量中的GSAT()有区别，区别在于计算第一背景特征向量中的GSAT()，只有两轮同类别的自注意力计算。
确定第二背景特征向量与确定第一背景特征向量类似，在此不再赘述。
基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，包括：基于第一图像特征矩阵和第二图像特征矩阵，确定第三图像特征矩阵和第四图像特征矩阵；分别对第三图像特征矩阵中的第一行人特征向量和第四图像特征矩阵中的第二行人特征向量进行归一化处理；对经过归一化处理后的第三图像特征矩阵和第四图像特征矩阵进行点乘计算，将点乘计算的结果作为目标相似度。
第一图像特征矩阵记作d1，第二图像特征矩阵记作d2
第三图像特征矩阵d3：
d3＝softmax(a(d1)*b(d2))*c(d2)
第四图像特征矩阵d4：
d4＝softmax(a(d2)*b(d1))*c(d1)
将d3和d4中前9个向量(行人特征向量是前9个)进行归一化(pool)，然后点乘计算目标相似度s：
s＝pool(d3)·pool(d4)
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种行人图像的匹配装置的示意图。如图3所示，该行人图像的匹配装置包括：
第一获取模块301，被配置为获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；
图像采集设备可以是摄像头等常用的用以获取图像的设备。行人图像数据集中的图片是以获取行人图像数据集的时刻为终止时刻，获取终止时刻前预设时长内收集到的行人图像数据集。
第二获取模块302，被配置为获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；
根据两个图像采集设备之间的距离，确定该两个图像采集设备对应的系数(两个图像采集设备之间的距离越远，对应的系数越小)，这样每两个图像采集设备对应的系数都确定了，那么所有图像采集设备对应的关系矩阵G(每个图像采集设备对应的系数就是关系矩阵中的一个元素)。获取初始化矩阵E，以及关系调整矩阵σ(E与σ为提前设置的)，根据E′＝(G*E)*σ
每个图像采集设备对应的设备向量对应矩阵E′中的一个行向量。
第一判断模块303，被配置为判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；
通过判断行人图像数据集中任意两张图像是否属于同一个行人，就可以确定出行人图像数据集中每个行人对应的所有的图像。为了便于后续说明，将任意两张图像中的一个记作第一目标图像，另一个记作第二目标图像。
模型模块304，被配置为利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；
特征提取及处理模型可以实现提取图像的特征提取及特征处理。
第一确定模块305，被配置为基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；
第一图像特征矩阵可以是第一目标设备向量、第一行人特征向量和第一背景特征向量组成的。
第二确定模块306，被配置为基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；
第二图像特征矩阵可以是第二目标设备向量、第二行人特征向量和第二背景特征向量组成的。
第二判断模块307，被配置为基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人。
如果目标相似度大于预设阈值，那么第一目标图像和第二目标图像属于同一个行人。
根据本公开实施例提供的技术方案，通过获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，行人图像数据集，包括：多个行人的多张图像；获取在目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；判断行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的任意两张图像分别记作第一目标图像和第二目标图像，将采集第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；利用特征提取及处理模型分别处理第一目标图像和第二目标图像，得到第一目标图像对应的第一行人特征向量和第一背景特征向量，以及第二目标图像对应的第二行人特征向量和第二背景特征向量；基于第一目标设备向量、第一行人特征向量和第一背景特征向量，确定第一目标图像对应的第一图像特征矩阵；基于第二目标设备向量、第二行人特征向量和第二背景特征向量，确定第二目标图像对应的第二图像特征矩阵；基于第一图像特征矩阵和第二图像特征矩阵，计算第一目标图像和第二目标图像之间的目标相似度，并基于目标相似度判断第一目标图像和第二目标图像是否属于同一个行人，因此，采用上述技术手段，可以解决现有技术中，在存在多个图像采集设备的场景中行人图像匹配精度低的问题，进而提高在存在多个图像采集设备的场景中行人图像匹配的精度。
可选地，模型模块304还被配置为利用残差神经网络的输入层至第二阶段网络层的网络提取第一目标图像的第一目标特征图以及第二目标图像的第二目标特征图，其中，特征提取及处理模型，包括：残差神经网络的输入层至第二阶段网络层的网络；分别对第一目标特征图和第二目标特征图依次进行卷积计算、归一化计算、卷积计算、归一化计算、激活计算、卷积计算和归一化计算，得到第三目标特征图和第四目标特征图；利用归一化指数函数分别对第三目标特征图和第四目标特征图进行处理，以根据处理结果确定第一行人特征向量和第一背景特征向量，以及第二行人特征向量和第二背景特征向量。
经典的残差神经网络的结构分为：输入层、Stemblock层、第一阶段网络层、第二阶段网络层、第三阶段网络层、第四阶段网络层、全局平均池化层和全连接层。Stemblock用于下采样，第一阶段网络层、第二阶段网络层、第三阶段网络层和第四阶段网络层用于对Stemblock下采样得到的特征进行处理，全局平均池化层用于降低维度数，全连接层用于分类。在本公开中特征提取及处理模型包括了残差神经网络的输入层至第二阶段网络层的网络结构。可以理解为将第一目标图像和第二目标图像输入残差神经网络，从第二阶段网络层输出第一目标特征图和第二目标特征图。
比如，分别对第一目标特征图和第二目标特征图依次进行2次卷积核3x3的卷积计算(Conv)和批量归一化(BN)计算；再进行一次激活计算、3x3的卷积计算以及批量归一化计算，得到第三目标特征图和第四目标特征图。归一化指数函数是softmax函数。
可选地，模型模块304还被配置为利用归一化指数函数对第三目标特征图进行处理，并根据该处理结果确定第一目标图像对应的第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量和第一背景向量；利用归一化指数函数对第四目标特征图进行处理，并根据该处理结果确定第四目标图像对应的第二行人头部向量、第二行人胸部向量、第二行人腹部向量、第二行人左手向量、第二行人右手向量、第二行人左大腿向量、第二行人右大腿向量、第二行人左脚向量、第二行人右脚向量和第二背景向量；基于第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量，确定第一向量群，并基于第一向量群确定第一行人特征向量；基于第一背景向量确定第二向量群，并基于第二向量群确定第一背景特征向量；基于第二行人头部向量、第二行人胸部向量、第二行人腹部向量、第二行人左手向量、第二行人右手向量、第二行人左大腿向量、第二行人右大腿向量、第二行人左脚向量、第二行人右脚向量，确定第三向量群，并基于第三向量群确定第二行人特征向量；基于第二背景向量确定第四向量群，并基于第四向量群确定第二背景特征向量。
每一个图像都可以分为行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景，利用归一化指数函数处理图像，可以确定行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景总共10个部分(归一化指数函数可以给出每个部分是行人头部、行人胸部、行人腹部、行人左手、行人右手、行人左大腿、行人右大腿、行人左脚、行人右脚和背景的概率，概率最高的类别是该部分真实的类别)。可以从第三目标特征图的10个部分提取到第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量和第一背景向量。
基于第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量，组成向量群A，然后第一向量群Fa：
Fa＝W1A
基于第一背景向量(第一背景向量可以是多条)，组成第二向量群B，第二向量群Fb：
Fb＝W2B
W1和W2是提前设置好的矩阵。
确定第三向量群和确定第一向量群类似，确定第二行人特征向量与确定第一行人特征向量类似；确定第四向量群与确定第二向量群，确定第二背景特征向量与确定第一背景特征向量类似。
可选地，模型模块304还被配置为对第一向量群依次进行第一阶段计算、第二阶段计算和第三阶段计算，得到第一行人特征向量；其中，每个阶段计算包括不少于两次的双轮注意力计算，双轮注意力计算，包括：同类别的自注意力计算和跨类别的自注意力计算。
可选地，模型模块304还被配置为将第一向量群按照向量的类别划分，得到九个第一向量组，并对每个第一向量组进行同类别的自注意力计算，得到第五向量群，其中，每个第一向量组只有一种类别的向量；将第五向量群按照向量的类别划分，得到N/9个第二向量组，并对每个第二向量组进行跨类别的自注意力计算，得到第六向量群，其中，每个第二向量组中每种类别的向量有且只有一条，N为第五向量群中的向量的条数；对第六向量群进行层归一化处理和矩阵运算，得到第七向量群；其中，第七向量群为第一阶段计算中第一次双轮注意力计算的结果，为第一阶段计算中的第二次双轮注意力计算的输入。
预设三个矩阵α，β，γ，另
y＝softmax(α(x)*β(x))*γ(x)＝SAT(x)
SAT(x)就是自注意力计算，x是计算的对象或者输入。Y为结果或输出。
将第一向量群Fa按照向量的类别划分，得到九个第一向量组，并对每个第一向量组进行同类别的自注意力计算，得到第五向量群
Figure BDA0003788226490000181
将第五向量群
Figure BDA0003788226490000182
按照向量的类别划分，得到N/9个第二向量组，并对每个第二向量组进行跨类别的自注意力计算，得到第六向量群
Figure BDA0003788226490000183
每个第一向量组只有一种类别的向量，也就是说每一种类别的向量构成一个第一向量组，第二向量组中每种类别的向量有且只有一条，也就是说第二向量组是每种类别的向量中选一条构成的，向量的类别有九类，分别为：第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量。对第六向量群进行层归一化处理(LN)和矩阵运算，得到第七向量群
Figure BDA0003788226490000191
矩阵运算是给经过层归一化处理后的第六向量群乘以一个预设的矩阵。上述计算定义为双轮注意力计算，用GSAT()表示，那么上述计算可以简写为
Figure BDA0003788226490000192
上述是对第一向量群进行第一阶段计算中的第一次双轮注意力计算，第一阶段计算还可以包括
Figure BDA0003788226490000193
给
Figure BDA0003788226490000194
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA0003788226490000195
的维度)，得到
Figure BDA0003788226490000196
对第一向量群进行第二阶段计算，包括：
Figure BDA0003788226490000197
Figure BDA0003788226490000198
给
Figure BDA0003788226490000199
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA00037882264900001910
的维度)，得到
Figure BDA00037882264900001911
对第一向量群进行第三阶段计算，包括：
Figure BDA00037882264900001912
Figure BDA00037882264900001913
给
Figure BDA00037882264900001914
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA00037882264900001915
的维度)，得到第一行人特征向量
Figure BDA00037882264900001916
确定第二行人特征向量与确定第一行人特征向量类似，在此不再赘述。
可选地，模型模块304还被配置为对第二向量群进行第四阶段计算，得到第一背景特征向量；其中，第四阶段计算包括不少于两次的双轮注意力计算，双轮注意力计算，包括：同类别的自注意力计算。
第四阶段计算与第一阶段计算、第二阶段计算和第三阶段计算没有递进关系，此处只是为了区分对第二向量群进行的是第四阶段计算。
对第二向量群进行的是第四阶段计算，包括：
Figure BDA0003788226490000201
Figure BDA0003788226490000202
给
Figure BDA0003788226490000203
左乘一个预设的矩阵，右乘以一个预设的矩阵(此步骤用于调整
Figure BDA0003788226490000204
的维度)，得到第一背景特征向量
Figure BDA0003788226490000205
在计算第一背景特征向量中的GSAT()，实际上和在计算第一行人特征向量中的GSAT()有区别，区别在于计算第一背景特征向量中的GSAT()，只有两轮同类别的自注意力计算。
确定第二背景特征向量与确定第一背景特征向量类似，在此不再赘述。
可选地，第二判断模块307还被配置为基于第一图像特征矩阵和第二图像特征矩阵，确定第三图像特征矩阵和第四图像特征矩阵；分别对第三图像特征矩阵中的第一行人特征向量和第四图像特征矩阵中的第二行人特征向量进行归一化处理；对经过归一化处理后的第三图像特征矩阵和第四图像特征矩阵进行点乘计算，将点乘计算的结果作为目标相似度。
第一图像特征矩阵记作d1，第二图像特征矩阵记作d2
第三图像特征矩阵d3：
d3＝softmax(a(d1)*b(d2))*c(d2)
第四图像特征矩阵d4：
d4＝softmax(a(d2)*b(d1))*c(d1)
将d3和d4中前9个向量(行人特征向量是前9个)进行归一化(pool)，然后点乘计算目标相似度s：
s＝pool(d3)·pool(d4)
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种行人图像的匹配方法，其特征在于，包括：
获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，所述行人图像数据集，包括：多个行人的多张图像；
获取在所述目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；
判断所述行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的所述任意两张图像分别记作第一目标图像和第二目标图像，将采集所述第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集所述第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；
利用特征提取及处理模型分别处理所述第一目标图像和所述第二目标图像，得到所述第一目标图像对应的第一行人特征向量和第一背景特征向量，以及所述第二目标图像对应的第二行人特征向量和第二背景特征向量；
基于所述第一目标设备向量、所述第一行人特征向量和所述第一背景特征向量，确定所述第一目标图像对应的第一图像特征矩阵；
基于所述第二目标设备向量、所述第二行人特征向量和所述第二背景特征向量，确定所述第二目标图像对应的第二图像特征矩阵；
基于所述第一图像特征矩阵和所述第二图像特征矩阵，计算所述第一目标图像和所述第二目标图像之间的目标相似度，并基于所述目标相似度判断所述第一目标图像和所述第二目标图像是否属于同一个行人。
2.根据权利要求1所述的方法，其特征在于，所述利用特征提取及处理模型分别处理所述第一目标图像和所述第二目标图像，得到所述第一目标图像对应的第一行人特征向量和第一背景特征向量，以及所述第二目标图像对应的第二行人特征向量和第二背景特征向量，包括：
利用残差神经网络的输入层至第二阶段网络层的网络提取所述第一目标图像的第一目标特征图以及所述第二目标图像的第二目标特征图，其中，所述特征提取及处理模型，包括：所述残差神经网络的输入层至第二阶段网络层的网络；
分别对所述第一目标特征图和所述第二目标特征图依次进行卷积计算、归一化计算、卷积计算、归一化计算、激活计算、卷积计算和归一化计算，得到第三目标特征图和第四目标特征图；
利用归一化指数函数分别对所述第三目标特征图和所述第四目标特征图进行处理，以根据处理结果确定所述第一行人特征向量和所述第一背景特征向量，以及所述第二行人特征向量和所述第二背景特征向量。
3.根据权利要求2所述的方法，其特征在于，所述利用归一化指数函数分别对所述第三目标特征图和所述第四目标特征图进行处理，以根据处理结果确定所述第一行人特征向量和所述第一背景特征向量，以及所述第二行人特征向量和所述第二背景特征向量，包括：
利用所述归一化指数函数对所述第三目标特征图进行处理，并根据该处理结果确定所述第一目标图像对应的第一行人头部向量、第一行人胸部向量、第一行人腹部向量、第一行人左手向量、第一行人右手向量、第一行人左大腿向量、第一行人右大腿向量、第一行人左脚向量、第一行人右脚向量和第一背景向量；
利用所述归一化指数函数对所述第四目标特征图进行处理，并根据该处理结果确定所述第四目标图像对应的第二行人头部向量、第二行人胸部向量、第二行人腹部向量、第二行人左手向量、第二行人右手向量、第二行人左大腿向量、第二行人右大腿向量、第二行人左脚向量、第二行人右脚向量和第二背景向量；
基于所述第一行人头部向量、所述第一行人胸部向量、所述第一行人腹部向量、所述第一行人左手向量、所述第一行人右手向量、所述第一行人左大腿向量、所述第一行人右大腿向量、所述第一行人左脚向量、所述第一行人右脚向量，确定第一向量群，并基于所述第一向量群确定所述第一行人特征向量；
基于所述第一背景向量确定第二向量群，并基于所述第二向量群确定所述第一背景特征向量；
基于所述第二行人头部向量、所述第二行人胸部向量、所述第二行人腹部向量、所述第二行人左手向量、所述第二行人右手向量、所述第二行人左大腿向量、所述第二行人右大腿向量、所述第二行人左脚向量、所述第二行人右脚向量，确定第三向量群，并基于所述第三向量群确定所述第二行人特征向量；
基于所述第二背景向量确定第四向量群，并基于所述第四向量群确定所述第二背景特征向量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一向量群确定所述第一行人特征向量，包括：
对所述第一向量群依次进行第一阶段计算、第二阶段计算和第三阶段计算，得到所述第一行人特征向量；
其中，每个阶段计算包括不少于两次的双轮注意力计算，所述双轮注意力计算，包括：同类别的自注意力计算和跨类别的自注意力计算。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第二向量群确定所述第一背景特征向量，包括：
对所述第二向量群进行第四阶段计算，得到所述第一背景特征向量；
其中，所述第四阶段计算包括不少于两次的双轮注意力计算，所述双轮注意力计算，包括：同类别的自注意力计算。
6.根据权利要求4所述的方法，其特征在于，包括：
对所述第一向量群进行所述第一阶段计算中的第一次所述双轮注意力计算，包括：
将所述第一向量群按照向量的类别划分，得到九个第一向量组，并对每个第一向量组进行同类别的自注意力计算，得到第五向量群，其中，每个第一向量组只有一种类别的向量；
将所述第五向量群按照向量的类别划分，得到N/9个第二向量组，并对每个第二向量组进行跨类别的自注意力计算，得到第六向量群，其中，每个第二向量组中每种类别的向量有且只有一条，N为所述第五向量群中的向量的条数；
对所述第六向量群进行层归一化处理和矩阵运算，得到第七向量群；
其中，所述第七向量群为所述第一阶段计算中第一次所述双轮注意力计算的结果，为所述第一阶段计算中的第二次所述双轮注意力计算的输入。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像特征矩阵和所述第二图像特征矩阵，计算所述第一目标图像和所述第二目标图像之间的目标相似度，包括：
基于所述第一图像特征矩阵和所述第二图像特征矩阵，确定第三图像特征矩阵和第四图像特征矩阵；
分别对所述第三图像特征矩阵中的所述第一行人特征向量和所述第四图像特征矩阵中的所述第二行人特征向量进行归一化处理；
对经过所述归一化处理后的第三图像特征矩阵和第四图像特征矩阵进行点乘计算，将所述点乘计算的结果作为所述目标相似度。
8.一种行人图像的匹配装置，其特征在于，包括：
第一获取模块，被配置为获取预设时长内在目标区域中通过多个图像采集设备采集到的行人图像数据集，其中，所述行人图像数据集，包括：多个行人的多张图像；
第二获取模块，被配置为获取在所述目标区域中的每个图像采集设备与其他图像采集设备之间的距离，并基于每个图像采集设备与其他图像采集设备之间的距离，确定每个图像采集设备对应的设备向量；
第一判断模块，被配置为判断所述行人图像数据集中任意两张图像是否属于同一个行人，并将待判断的所述任意两张图像分别记作第一目标图像和第二目标图像，将采集所述第一目标图像的图像采集设备对应的设备向量记作第一目标设备向量，将采集所述第二目标图像的图像采集设备对应的设备向量记作第二目标设备向量；
模型模块，被配置为利用特征提取及处理模型分别处理所述第一目标图像和所述第二目标图像，得到所述第一目标图像对应的第一行人特征向量和第一背景特征向量，以及所述第二目标图像对应的第二行人特征向量和第二背景特征向量；
第一确定模块，被配置为基于所述第一目标设备向量、所述第一行人特征向量和所述第一背景特征向量，确定所述第一目标图像对应的第一图像特征矩阵；
第二确定模块，被配置为基于所述第二目标设备向量、所述第二行人特征向量和所述第二背景特征向量，确定所述第二目标图像对应的第二图像特征矩阵；
第二判断模块，被配置为基于所述第一图像特征矩阵和所述第二图像特征矩阵，计算所述第一目标图像和所述第二目标图像之间的目标相似度，并基于所述目标相似度判断所述第一目标图像和所述第二目标图像是否属于同一个行人。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202210948555.3A 2022-08-09 2022-08-09 行人图像的匹配方法及装置 Pending CN115359274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210948555.3A CN115359274A (zh) 2022-08-09 2022-08-09 行人图像的匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210948555.3A CN115359274A (zh) 2022-08-09 2022-08-09 行人图像的匹配方法及装置

Publications (1)

Publication Number Publication Date
CN115359274A true CN115359274A (zh) 2022-11-18

Family

ID=84001505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210948555.3A Pending CN115359274A (zh) 2022-08-09 2022-08-09 行人图像的匹配方法及装置

Country Status (1)

Country Link
CN (1) CN115359274A (zh)

Similar Documents

Publication Publication Date Title
CN116403250A (zh) 存在遮挡的人脸识别方法及装置
CN114330565A (zh) 一种人脸识别方法及装置
CN116612500A (zh) 行人重识别模型训练方法及装置
CN115953803A (zh) 人体识别模型的训练方法及装置
CN115359274A (zh) 行人图像的匹配方法及装置
CN115359390A (zh) 一种图像处理方法及装置
CN113554035A (zh) 基于光流的特征匹配方法、智能终端及计算机存储介质
CN107368597B (zh) 信息输出方法和装置
CN115984783B (zh) 人群计数方法及装置
CN117456562B (zh) 姿态估计方法及装置
CN116258915B (zh) 多个目标部位联合检测的方法及装置
CN116912631B (zh) 目标识别方法、装置、电子设备及存储介质
CN115862117A (zh) 存在遮挡的人脸识别方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN115630182A (zh) 图片集中代表性图片的确定方法及装置
CN115937929A (zh) 针对难例样本的人脸识别模型的训练方法及装置
CN117935022A (zh) 图像识别方法、装置、电子设备及可读存储介质
CN115187912A (zh) 视频流中的人体匹配方法及装置
CN115995030A (zh) 目标检测中大规模数据集的生成方法及装置
CN115147871A (zh) 遮挡环境下行人再识别方法
CN112712461B (zh) 一种图像反卷积处理方法、装置及终端设备
CN116912633A (zh) 目标追踪模型的训练方法及装置
CN115760791A (zh) 图片质量评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination