CN116206332B - 一种基于姿态估计的行人重识别方法、系统和存储介质 - Google Patents

一种基于姿态估计的行人重识别方法、系统和存储介质 Download PDF

Info

Publication number
CN116206332B
CN116206332B CN202310107200.6A CN202310107200A CN116206332B CN 116206332 B CN116206332 B CN 116206332B CN 202310107200 A CN202310107200 A CN 202310107200A CN 116206332 B CN116206332 B CN 116206332B
Authority
CN
China
Prior art keywords
pedestrian
original
network
recognition
space conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310107200.6A
Other languages
English (en)
Other versions
CN116206332A (zh
Inventor
邱起璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co ltd
Priority to CN202310107200.6A priority Critical patent/CN116206332B/zh
Publication of CN116206332A publication Critical patent/CN116206332A/zh
Application granted granted Critical
Publication of CN116206332B publication Critical patent/CN116206332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于姿态估计的行人重识别方法、系统和存储介质，包括：基于姿态估计技术，获取每个原始行人图像样本的关节点数据，并利用每个原始行人图像样本及其对应的关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，改进的行人重识别网络包括：用于将不同姿态的行人图像转换为标准姿态的行人图像的原始空间转换网络，用于对行人图像进行行人重识别的原始行人重识别网络；基于姿态估计技术，获取待测行人图像的目标关节点数据，并将待测行人图像和目标关节点数据输入至目标行人重识别网络，得到行人重识别结果。本发明实现了将不同姿态的行人图像变换成相同姿态的行人图像，提升了行人重识别效果。

Description

一种基于姿态估计的行人重识别方法、系统和存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于姿态估计的行人重识别方法、系统和存储介质。
背景技术
行人重识别是利用深度学习算法对跨设备的行人图像或视频匹配的过程，即根据所给图像在不同设备的图像库检索出同一个行人。由于对智能安防、视频监控等方面有巨大的应用前景，行人重识别已经成为计算机视觉领域的研究焦点。由于现实中捕获的图片易受到拍摄角度、遮挡等因素影响，会导致大多图片中行人姿态不同的现象，影响行人重回识别效果。
因此，亟需提供一种技术方案解决上述技术问题。
发明内容
为解决上述技术问题，本发明提供了一种基于姿态估计的行人重识别方法、系统和存储介质。
本发明的一种基于姿态估计的行人重识别方法的技术方案如下：
基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，所述改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络，所述原始空间转换网络用于将不同姿态的行人图像转换为标准姿态的行人图像，所述原始行人重识别网络用于对行人图像进行行人重识别；
基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
本发明的一种基于姿态估计的行人重识别方法的有益效果如下：
本发明的方法通过姿态估计技术获取行人图像的关节点数据，以通过空间转换网络将不同姿态的行人图像进行特征转换，实现了将不同姿态的行人图像变换成相同姿态的行人图像，提升了行人重识别效果。
在上述方案的基础上，本发明的一种基于姿态估计的行人重识别方法还可以做如下改进。
进一步，所述改进的行人重识别网络包括：原始空间转换网络和原始行人重识别网络；所述利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络的步骤，包括：
利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本；
将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络。
进一步，还包括：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据；
所述利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络的步骤，包括：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失；
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回执行所述基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换的步骤，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络。
进一步，所述姿态损失包括：形态损失和尺寸损失；转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点；根据所述标准关节点数据和任一原始行人图像样本对应的转换关节点数据，得到该原始行人图像样本的姿态损失的步骤，包括：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
进一步，所述将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的目标识别结果的步骤，包括：
将所述待测行人图像和所述目标关节点数据输入至所述目标空间转换网络进行转换，得到所述待测行人图像对应的目标行人图像，并将所述目标行人图像输入至所述训练好的行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
本发明的一种基于姿态估计的行人重识别系统的技术方案如下：
包括：训练模块和识别模块；
所述训练模块用于：基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，所述改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络，所述原始空间转换网络用于将不同姿态的行人图像转换为标准姿态的行人图像，所述原始行人重识别网络用于对行人图像进行行人重识别；
所述识别模块用于：基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
本发明的一种基于姿态估计的行人重识别系统的有益效果如下：
本发明的系统通过姿态估计技术获取行人图像的关节点数据，以通过空间转换网络将不同姿态的行人图像进行特征转换，实现了将不同姿态的行人图像变换成相同姿态的行人图像，提升了行人重识别效果。
在上述方案的基础上，本发明的一种基于姿态估计的行人重识别系统还可以做如下改进。
进一步，所述改进的行人重识别网络包括：原始空间转换网络和原始行人重识别网络；所述训练模块包括：第一训练模块和第二训练模块；
所述第一训练模块用于：利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本；
所述第二训练模块用于：将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络。
进一步，还包括：处理模块；所述处理模块用于：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据；
所述第一训练模块具体用于：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失；
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回调用所述第一训练模块，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络。
进一步，所述姿态损失包括：形态损失和尺寸损失；转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点；所述第一训练模块具体用于：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种基于姿态估计的行人重识别方法的步骤。
附图说明
图1示出了本发明提供的一种基于姿态估计的行人重识别方法的实施例的流程示意图；
图2示出了本发明提供的一种基于姿态估计的行人重识别方法的实施例中的原始空间转换网络的结构示意图；
图3示出了本发明提供的一种基于姿态估计的行人重识别方法的实施例中的原始行人重识别网络的结构示意图；
图4示出了本发明提供的一种基于姿态估计的行人重识别系统的实施例的结构示意图。
具体实施方式
图1示出了本发明提供的一种基于姿态估计的行人重识别方法的实施例的流程示意图。如图1所示，包括如下步骤：
步骤110：基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络。
其中，①改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络。②原始空间转换网络用于：将不同姿态的行人图像转换为标准姿态的行人图像。原始行人重识别网络用于：对行人图像进行行人重识别。③姿态估计技术是指检测图像和视频中的人物形象的计算机视觉技术，可以确定某人的某个身体部位出现在图像中的位置，也就是在图像和视频中对人体关节进行定位。④原始行人图像样本为：随机选取且未进行任何图像处理的行人图像，用于对网络进行训练。⑤第一关节点数据包括：原始行人图像样本中人体的关节点坐标信息，如膝、肘、手等。⑥目标行人重识别网络为：经过多个原始行人图像样本训练后所得到的行人重识别网络。
步骤120：基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
其中，①待测行人图像为：需要进行行人重识别的图像。②目标关节点数据包括：待测行人图像中人体的关节点坐标信息，具体的关节点与第一关节点数据中的关节点类型相同。③行人重识别结果包括：待测行人图像中的人物是否为数据库中的待匹配人物。
较优地，所述利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络的步骤，包括：
利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本。
其中，①如图2所示，原始空间转换网络主要包括三个部分：本地网络(Localisation Network)、网格生成器(Grid Genator)和采样器(Sampler)。本地网络是常规CNN，其对变换参数进行回归。该网络自动学习增强全局准确性的空间变换。网格生成器在输入图像中生成与输出图像中的每个像素相对应的坐标网格。采样器使用变换的参数并将其应用于输入图像。此外，U表示原始图像(原始行人图像样本)，V表示转换后的图像(第一行人图像样本)，两者均是图像经过预处理之后的数据矩阵。
②目标空间转换网络为：原始空间转换网络经过训练后所得到的空间转换网络。③第一行人图像样本为：经过空间转换网络进行姿态转换后所得到的标准姿态的行人图像样本。
将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络。
其中，图3示出了本实施例中的原始行人重识别网络的结构示意图，其具体结构与功能为现有技术，在此不过多赘述。
较优地，还包括：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据。
其中，①标准行人姿态图像为：预先定义的标准姿态图像，例如两手张开自然站立的图像。②标准关节点数据为：标准行人姿态图像中人体的关节点坐标信息，具体的关节点与第一关节点数据中的关节点类型相同。
所述利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络的步骤，包括：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失。
具体地，利用原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，重复上述过程，直至得到每个原始行人图像样本的姿态损失。
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回执行所述基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换的步骤，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络。
其中，预设训练条件包括但不限于：达到最大迭代训练次数或损失函数收敛等。
具体地，根据所有的姿态损失，对原始空间转换网络进行优化，得到优化后的空间转换网络。判断优化后的空间转换网络是否满足预设训练条件，若是，则将优化后的空间转换网络确定为目标空间转换网络；若否，则将优化后的空间转换网络作为原始空间转换网络并返回执行基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换的步骤，直至优化后的空间转换网络满足预设训练条件时，将优化后的空间转换网络确定为目标空间转换网络。
较优地，根据所述标准关节点数据和任一原始行人图像样本对应的转换关节点数据，得到该原始行人图像样本的姿态损失的步骤，包括：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
其中，①姿态损失包括：形态损失和尺寸损失。②转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点。
需要说明的是，①从形态和尺寸两方面评估原始行人图像样本和标准行人姿态图像之间的差异。这两部分加权相加后得到训练空间转换网络的损失，即姿态损失。②根据姿态损失对空间转换网络进行迭代训练的过程为现有技术，在此不过多赘述。
较优地，所述将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的目标识别结果的步骤，包括：
将所述待测行人图像和所述目标关节点数据输入至所述目标空间转换网络进行转换，得到所述待测行人图像对应的目标行人图像，并将所述目标行人图像输入至所述训练好的行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
其中，目标行人图像为：待测行人图像经过空间转换网络进行姿态转换后所得到的标准姿态的行人图像。
本实施例的技术方案通过姿态估计技术获取行人图像的关节点数据，以通过空间转换网络将不同姿态的行人图像进行特征转换，实现了将不同姿态的行人图像变换成相同姿态的行人图像，提升了行人重识别效果。
图4示出了本发明提供的一种基于姿态估计的行人重识别系统的实施例的结构示意图。如图4所示，该系统200包括：训练模块210和识别模块220。
所述训练模块210用于：基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，所述改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络，所述原始空间转换网络用于将不同姿态的行人图像转换为标准姿态的行人图像，所述原始行人重识别网络用于对行人图像进行行人重识别；
所述识别模块220用于：基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
较优地，所述改进的行人重识别网络包括：原始空间转换网络和原始行人重识别网络；所述训练模块210包括：第一训练模块和第二训练模块；
所述第一训练模块用于：利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本；
所述第二训练模块用于：将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络。
较优地，还包括：处理模块；所述处理模块用于：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据；
所述第一训练模块具体用于：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失；
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回调用所述第一训练模块，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络。
较优地，所述姿态损失包括：形态损失和尺寸损失；转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点；所述第一训练模块具体用于：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
本实施例的技术方案通过姿态估计技术获取行人图像的关节点数据，以通过空间转换网络将不同姿态的行人图像进行特征转换，实现了将不同姿态的行人图像变换成相同姿态的行人图像，提升了行人重识别效果。
上述关于本实施例的一种基于姿态估计的行人重识别系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种基于姿态估计的行人重识别方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种基于姿态估计的行人重识别方法的步骤，具体可参考上文中一种基于姿态估计的行人重识别方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于姿态估计的行人重识别方法，其特征在于，包括：
基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，所述改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络，所述原始空间转换网络用于将不同姿态的行人图像转换为标准姿态的行人图像，所述原始行人重识别网络用于对行人图像进行行人重识别；
基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果；
所述利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络的步骤，包括：
利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本；
将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络；
还包括：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据；
所述利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络的步骤，包括：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失；
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回执行所述基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换的步骤，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络；
所述姿态损失包括：形态损失和尺寸损失；转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点；根据所述标准关节点数据和任一原始行人图像样本对应的转换关节点数据，得到该原始行人图像样本的姿态损失的步骤，包括：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
2.根据权利要求1所述的基于姿态估计的行人重识别方法，其特征在于，所述将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的目标识别结果的步骤，包括：
将所述待测行人图像和所述目标关节点数据输入至所述目标空间转换网络进行转换，得到所述待测行人图像对应的目标行人图像，并将所述目标行人图像输入至所述训练好的行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果。
3.一种基于姿态估计的行人重识别系统，其特征在于，包括：训练模块和识别模块；
所述训练模块用于：基于姿态估计技术，获取每个原始行人图像样本的第一关节点数据，并利用每个原始行人图像样本及其对应的第一关节点数据，对改进的行人重识别网络进行训练，得到目标行人重识别网络；其中，所述改进的行人重识别网络包括：依次连接的原始空间转换网络和原始行人重识别网络，所述原始空间转换网络用于将不同姿态的行人图像转换为标准姿态的行人图像，所述原始行人重识别网络用于对行人图像进行行人重识别；
所述识别模块用于：基于所述姿态估计技术，获取待测行人图像的目标关节点数据，并将所述待测行人图像和所述目标关节点数据输入至所述目标行人重识别网络进行识别，得到所述待测行人图像的行人重识别结果；
所述改进的行人重识别网络包括：原始空间转换网络和原始行人重识别网络；所述训练模块包括：第一训练模块和第二训练模块；
所述第一训练模块用于：利用每个原始行人图像样本及其对应的第一关节点数据，对所述原始空间转换网络进行训练，得到目标空间转换网络，并利用所述目标空间转换网络，获取每个原始行人图像样本对应的第一行人图像样本；
所述第二训练模块用于：将每个第一行人图像样本分别输入至所述原始行人重识别网络中进行训练，得到训练好的行人重识别网络，以根据所述目标空间转换网络和所述训练好的行人重识别网络，构建所述目标行人重识别网络；
还包括：处理模块；所述处理模块用于：
基于所述姿态估计技术，获取所述原始空间转换网络对应的标准行人姿态图像的标准关节点数据；
所述第一训练模块具体用于：
基于所述原始空间转换网络，对任一原始行人图像样本的第一关节点数据进行转换，得到该原始行人图像样本对应的转换关节点数据，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据，得到该行人图像样本的姿态损失，直至得到每个原始行人图像样本的姿态损失；
根据所有的姿态损失，对所述原始空间转换网络进行优化，得到优化后的空间转换网络，将所述优化后的空间转换网络作为所述原始空间转换网络并返回调用所述第一训练模块，直至所述优化后的空间转换网络满足预设训练条件时，将所述优化后的空间转换网络确定为所述目标空间转换网络；
所述姿态损失包括：形态损失和尺寸损失；转换关节点数据和标准关节点数据中的任一关节点数据对应有多个人体关节点；所述第一训练模块具体用于：
根据所述标准关节点数据和所述任一原始行人图像样本对应的转换关节点数据中的每对人体关节点的欧氏距离差，得到该行人图像样本的形态损失，并根据所述标准关节点数据和该原始行人图像样本对应的转换关节点数据中的每对人体关节点的长度差，得到该原始行人图像样本的尺寸损失。
4.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1或2所述的基于姿态估计的行人重识别方法。
CN202310107200.6A 2023-01-31 2023-01-31 一种基于姿态估计的行人重识别方法、系统和存储介质 Active CN116206332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310107200.6A CN116206332B (zh) 2023-01-31 2023-01-31 一种基于姿态估计的行人重识别方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310107200.6A CN116206332B (zh) 2023-01-31 2023-01-31 一种基于姿态估计的行人重识别方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN116206332A CN116206332A (zh) 2023-06-02
CN116206332B true CN116206332B (zh) 2023-08-08

Family

ID=86514135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310107200.6A Active CN116206332B (zh) 2023-01-31 2023-01-31 一种基于姿态估计的行人重识别方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN116206332B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN110543817A (zh) * 2019-07-25 2019-12-06 北京大学 基于姿势指导特征学习的行人再识别方法
CN111723611A (zh) * 2019-03-20 2020-09-29 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN112232184A (zh) * 2020-10-14 2021-01-15 南京邮电大学 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN114038007A (zh) * 2021-10-12 2022-02-11 西安工业大学 一种结合风格变换与姿态生成的行人重识别方法
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN114708617A (zh) * 2022-04-21 2022-07-05 长沙海信智能系统研究院有限公司 行人重识别方法、装置及电子设备
CN115272632A (zh) * 2022-07-07 2022-11-01 武汉纺织大学 基于姿态迁移的虚拟试衣方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443165B2 (en) * 2018-10-18 2022-09-13 Deepnorth Inc. Foreground attentive feature learning for person re-identification
US11544928B2 (en) * 2019-06-17 2023-01-03 The Regents Of The University Of California Athlete style recognition system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN111723611A (zh) * 2019-03-20 2020-09-29 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN110543817A (zh) * 2019-07-25 2019-12-06 北京大学 基于姿势指导特征学习的行人再识别方法
CN112232184A (zh) * 2020-10-14 2021-01-15 南京邮电大学 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN114038007A (zh) * 2021-10-12 2022-02-11 西安工业大学 一种结合风格变换与姿态生成的行人重识别方法
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN114708617A (zh) * 2022-04-21 2022-07-05 长沙海信智能系统研究院有限公司 行人重识别方法、装置及电子设备
CN115272632A (zh) * 2022-07-07 2022-11-01 武汉纺织大学 基于姿态迁移的虚拟试衣方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多粒度特征融合网络的行人重识别;张勃兴等;《光电子激光》;第33卷(第09期);977-983 *

Also Published As

Publication number Publication date
CN116206332A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110866953B (zh) 地图构建方法及装置、定位方法及装置
CN109426782B (zh) 对象检测方法和用于对象检测的神经网络系统
US11321966B2 (en) Method and apparatus for human behavior recognition, and storage medium
CN110796057A (zh) 行人重识别方法、装置及计算机设备
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
CN112720464B (zh) 基于机器人系统的目标拾取方法、电子设备、存储介质
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
CN106991364B (zh) 人脸识别处理方法、装置以及移动终端
CN110956131B (zh) 单目标追踪方法、装置及系统
CN112926462B (zh) 训练方法、装置、动作识别方法、装置及电子设备
CN111414840A (zh) 步态识别方法、装置、设备及计算机可读存储介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN117058595B (zh) 视频语义特征和可扩展粒度感知时序动作检测方法及装置
CN112820071A (zh) 一种行为识别方法和装置
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN112529149A (zh) 一种数据处理方法及相关装置
CN115240121A (zh) 一种用于增强行人局部特征的联合建模方法和装置
CN109711287B (zh) 人脸采集方法及相关产品
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN116758590B (zh) 用于身份认证的手掌特征处理方法、装置、设备和介质
CN116206332B (zh) 一种基于姿态估计的行人重识别方法、系统和存储介质
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
CN113894779A (zh) 一种应用于机器人交互的多模态数据处理方法
Fang et al. Understanding human-object interaction in RGB-D videos for human robot interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant