CN116524592B - 一种步态序列剪影生成方法、装置、电子设备及存储介质 - Google Patents

一种步态序列剪影生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116524592B
CN116524592B CN202310420328.8A CN202310420328A CN116524592B CN 116524592 B CN116524592 B CN 116524592B CN 202310420328 A CN202310420328 A CN 202310420328A CN 116524592 B CN116524592 B CN 116524592B
Authority
CN
China
Prior art keywords
silhouette
silhouettes
picture
initial
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310420328.8A
Other languages
English (en)
Other versions
CN116524592A (zh
Inventor
何永祺
戴知圣
曹雄
杨志成
李军
谢朝平
任军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaitong Technology Co ltd
Original Assignee
Kaitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaitong Technology Co ltd filed Critical Kaitong Technology Co ltd
Priority to CN202310420328.8A priority Critical patent/CN116524592B/zh
Publication of CN116524592A publication Critical patent/CN116524592A/zh
Application granted granted Critical
Publication of CN116524592B publication Critical patent/CN116524592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种步态序列剪影生成方法、装置、电子设备及存储介质，用于解决现有的步态剪影采集方法效果较差的技术问题。本发明包括：获取待分析图片及目标剪影数量；根据所述目标剪影数量在所述待分析图片中确定目标分析图片；获取所述目标分析图片的初始剪影及2D关节结构数据；将所述目标分析图片、所述初始剪影及所述2D关节结构数据输入预设双塔下采样模型中，输出图像特征；根据各所述目标分析图片的图像特征，生成预测剪影；当所述预测剪影及所述初始剪影的数量和达到所述目标剪影数量时，采用所述预测剪影及所述初始剪影生成步态序列剪影。

Description

一种步态序列剪影生成方法、装置、电子设备及存储介质
技术邻域
本发明涉及剪影生成技术邻域，尤其涉及一种步态序列剪影生成方法、装置、电子设备及存储介质。
背景技术
步态识别旨在从相同的行走行为中寻找和提取个体之间的变化特征，以实现自动的身份识别。
步态序列作为大部分步态和别的重要输入要素，其采集的数据的连续性、数量、质量等，对步态识别模型的推理有关键性的作用。
由于实际运用的场景比较复杂，会出现行走遮挡、视频卡顿、画面跳帧以及模型噪音等各种客观影响因素，导致步态序列的剪影残缺不齐。
现有解决方法通过运动目标检测实现，运动目标检测的目的在于将运动目标从图像中分割出来，随后目标跟踪将依赖检测的结果构建运动目标的图像序列，把步态序列基于二值化的方式获取步态剪影。
然而，基于运动目标检测的步态剪影采集方法存在以下问题：
1、依赖目标检测的模型检测准确度；
2、目标跟踪算法对目标检测的坐标与距离比较敏感；
3、跟踪算法因视频跳帧丢失目标，造成步态序列长度不够；
4、现场环境的网络波动，造成的视频质量问题，采集的步态序列连续性降低；
5、步态剪影在遮挡的情况下，分割人体形态属性会出现缺少；
6、目标人员非行走状态，产生的步态剪影并非后续模型所需的推理要素。
发明内容
本发明提供了一种步态序列剪影生成方法、装置、电子设备及存储介质，用于解决现有的步态剪影采集方法效果较差的技术问题。
本发明提供了一种步态序列剪影生成方法，包括：
获取待分析图片及目标剪影数量；
根据所述目标剪影数量在所述待分析图片中确定目标分析图片；
获取所述目标分析图片的初始剪影及2D关节结构数据；
将所述目标分析图片、所述初始剪影及所述2D关节结构数据输入预设双塔下采样模型中，输出图像特征；
根据各所述目标分析图片的图像特征，生成预测剪影；
当所述预测剪影及所述初始剪影的数量和达到所述目标剪影数量时，采用所述预测剪影及所述初始剪影生成步态序列剪影。
可选地，还包括：
当所述预测剪影及所述初始剪影的数量和未达到所述目标剪影数量时，计算所述目标剪影数量与所述数量和的数值差；
将所述数值差作为目标剪影数量，将所述预测剪影添加进所述待分析图片中，并返回根据所述目标剪影数量在所述待分析图片中确定目标分析图片的步骤。
可选地，所述根据各所述目标分析图片的图像特征，生成预测剪影的步骤，包括：
确定所述目标分析图片的初始帧图片和参考帧图片；
根据所述图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
根据所述特征差生成预测剪影。
可选地，所述根据所述图像特征计算初始帧图片与参考帧图片之间的特征差的步骤，包括：
根据所述图像特征计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差；
融合所述初始深度特征差、所述非局部邻域与边缘特征差及所述空间深度特征差，生成所述初始帧图片与所述参考帧图片之间的特征差。
可选地，所述根据所述特征差生成预测剪影的步骤，包括：
计算所述初始帧图片与所有参考帧图片之间的特征差的平均值；
分别将所述平均值与每一目标分析图片的图片特征相加，得到若干预测特征；
根据所述预测特征生成预测剪影。
本发明还提供了一种步态序列剪影生成装置，包括：
待分析图片及目标剪影数量获取模块，用于获取待分析图片及目标剪影数量；
目标分析图片确定模块，用于根据所述目标剪影数量在所述待分析图片中确定目标分析图片；
初始剪影及2D关节结构数据获取模块，用于获取所述目标分析图片的初始剪影及2D关节结构数据；
图像特征输出模块，用于将所述目标分析图片、所述初始剪影及所述2D关节结构数据输入预设双塔下采样模型中，输出图像特征；
预测剪影生成模块，用于根据各所述目标分析图片的图像特征，生成预测剪影；
步态序列剪影生成模块，用于当所述预测剪影及所述初始剪影的数量和达到所述目标剪影数量时，采用所述预测剪影及所述初始剪影生成步态序列剪影。
可选地，还包括：
数值差计算模块，用于当所述预测剪影及所述初始剪影的数量和未达到所述目标剪影数量时，计算所述目标剪影数量与所述数量和的数值差；
返回模块，用于将所述数值差作为目标剪影数量，将所述预测剪影添加进所述待分析图片中，并返回根据所述目标剪影数量在所述待分析图片中确定目标分析图片的步骤。
可选地，所述预测剪影生成模块，包括：
初始帧图片和参考帧图片确定子模块，用于确定所述目标分析图片的初始帧图片和参考帧图片；
特征差计算子模块，用于根据所述图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
预测剪影生成子模块，用于根据所述特征差生成预测剪影。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的步态序列剪影生成方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的步态序列剪影生成方法。
从以上技术方案可以看出，本发明具有以下优点：本发明通过获取待分析图片及目标剪影数量；根据目标剪影数量在待分析图片中确定目标分析图片；获取目标分析图片的初始剪影及2D关节结构数据；将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；根据各目标分析图片的图像特征，生成预测剪影；当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。从而可以得到序列长度足够、且剪影完整度较高的步态序列剪影，提高了步态序列剪影采集的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种步态序列剪影生成方法的步骤流程图；
图2为本发明另一实施例提供的一种步态序列剪影生成方法的步骤流程图；
图3为本发明实施例提供的一种步态序列剪影生成装置的结构框图。
具体实施方式
本发明实施例提供了一种步态序列剪影生成方法、装置、电子设备及存储介质，用于解决现有的步态剪影采集方法效果较差的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本邻域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种步态序列剪影生成方法的步骤流程图。
本发明提供的一种步态序列剪影生成方法，具体可以包括以下步骤：
步骤101，获取待分析图片及目标剪影数量；
剪影，早期指把纸剪成人头、人体的轮廓形象，现也比喻对事物作轮廓的描述；亦指比喻描写出的轮廓。
在本发明实施例中，可以获取待进行步态序列剪影提取的连续的待分析图片，该图片可以通过图像采集设备采集人体的运动情况得到。
由于步态识别在实际运用的场景比较复杂，会出现行走遮挡、视频卡顿、画面跳帧以及模型噪音等客观影响因素，导致采集到的图片数量不足，且相应的剪影存在残缺不齐的情况。为了得到完成的步态序列剪影，需要确定目标剪影数量。
步骤102，根据目标剪影数量在待分析图片中确定目标分析图片；
在本发明实施例中，待分析图片可以直接提取相关的剪影，但通常情况下，待分析图片的数量是少于目标剪影数量的，而在本发明实施例中，可以通过对待分析图片进行分析来预测出相邻待分析图片之间的预测步态，从而得到预测步态的剪影。而根据目标分析图片与目标剪影数量的差额，可以得到参与剪影预测的目标分析图片的数量。
在一个示例中，假设待分析图片的数量为5，目标剪影数量为8，则需要预测的剪影数量为3，参与剪影预测的目标分析图片要比预测的剪影数量多1，则参与剪影预测的目标分析图片的数量为4。
步骤103，获取目标分析图片的初始剪影及2D关节结构数据；
在本发明实施例中，可以获取目标分析图片的初始剪影，以及通过步态序列结合人体姿态评估(HumanPose Estimation)来获取人体各关节的2D姿态估计坐标。
其中，目标分析图片的初始剪影，可以采用本邻域技术人员所熟知的任意一种方式采集，本发明实施例对此不作具体限制。
步骤104，将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；
在获取到目标分析图片及其相应的初始剪影、2D关节结构数据后，可以将目标分析图片、相应的初始剪影和2D关节结构数据输入预设双塔下采样模型中，以得到图像特征。
在本发明实施例中，图像特征可以包括初始深度特征、非局部邻域与边缘特征和空间深度特征。
其中，非局部邻域与边缘特征用于反映目标分析图片中人员的轮廓特征。
步骤105，根据各目标分析图片的图像特征，生成预测剪影；
在本发明实施例中，在获取到各目标分析图片的图像特征后，可以采用各分析图片的图像特征来生成预测剪影。
在一个示例中，步态一般具有连续性，因此相邻两个目标分析图片的图像特征之间的数据变化是相对平滑的。因此，通过相邻两个目标分析图片的图像特征，可以预测相邻两个目标分析图片之间的剪影状态，得到预测剪影。
步骤106，当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。
在本发明实施例中，当预测剪影及初始剪影的数量和达到目标剪影数量时，可以采用预测剪影及初始剪影生成步态序列剪影。
在一个示例中，当目标剪影数量为10，待分析图片数量为5，则所有的待分析图片均作为目标分析图片，5张目标分析图片可以生成4张预测剪影，则完成一次预测后，总的剪影数量为9，不满足剪影数量。此时，可以将所有剪影数量对应的图片作为待分析图片，再次进行剪影预测，直到初始剪影和预测剪影的数量和达到10为止，将生成的预测剪影结合初始剪影生成步态序列剪影。
本发明通过获取待分析图片及目标剪影数量；根据目标剪影数量在待分析图片中确定目标分析图片；获取目标分析图片的初始剪影及2D关节结构数据；将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；根据各目标分析图片的图像特征，生成预测剪影；当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。从而可以得到序列长度足够、且剪影完整度较高的步态序列剪影，提高了步态序列剪影采集的效果。
请参阅图2，图2为本发明另一实施例提供的一种步态序列剪影生成方法的步骤流程图。具体可以包括以下步骤：
步骤201，获取待分析图片及目标剪影数量；
步骤202，根据目标剪影数量在待分析图片中确定目标分析图片；
步骤203，获取目标分析图片的初始剪影及2D关节结构数据；
步骤204，将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；
步骤201-204与步骤101-104相同，具体可以参考步骤101-104的描述，此处不再赘述。
需要说明的是，双塔下采样模型，可以根据本发明实施例最终输出的预测剪影与实际剪影的差异来迭代优化相关参数后得到。
步骤205，根据各目标分析图片的图像特征，生成预测剪影；
在本发明实施例中，在获取到各目标分析图片的图像特征后，可以采用各分析图片的图像特征来生成预测剪影。
在实际应用中，步态一般具有连续性，因此相邻两个目标分析图片的图像特征之间的数据变化是相对平滑的。因此，通过相邻两个目标分析图片的图像特征，可以预测相邻两个目标分析图片之间的剪影状态，得到预测剪影。
在一个示例中，根据各目标分析图片的图像特征，生成预测剪影的步骤，可以包括以下子步骤：
S51，确定目标分析图片的初始帧图片和参考帧图片；
S52，根据图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
在具体实现中，可以以目标分析图片中时序最靠前的图片作为初始帧图片，将其他目标分析图片作为参考帧图片；然后分别计算初始帧图片与每一参考帧图片之间的图像特征的特征差；作为预测剪影的生成基础。
在一个示例中，根据图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差的步骤，可以包括以下子步骤：
S521，根据图像特征计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差；
S522，融合初始深度特征差、非局部邻域与边缘特征差及空间深度特征差，生成初始帧图片与参考帧图片之间的特征差。
在具体实现中，图像特征可以包括初始深度特征、非局部邻域与边缘特征、空间深度特征。分别计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差，然后融合初始深度特征差、非局部邻域与边缘特征差及空间深度特征差，可以生成初始帧图片与参考帧图片之间的特征差。
S53，根据特征差生成预测剪影。
在获取到初始帧图片与各参考帧图片的特征差之后，可以采用该特征差来生成预测剪影。
S531，计算初始帧图片与所有参考帧图片之间的特征差的平均值；
S532，分别将平均值与每一目标分析图片的图片特征相加，得到若干预测特征；
S533，根据预测特征生成预测剪影。
在具体实现中，可以计算初始帧图片与所有参考帧图片之间的特征差的平均值，然后分别在每一目标待分析图片的图像特征上叠加平均值，得到叠加后的特征值作为预测特征。然后获取该预测特征对应的图片，并从中提取剪影作为预测剪影。
进一步地，为了减少帧距带来的误差，可以在获取到初始帧图片与参考帧图片的特征差后，根据帧距为每个特征差乘以一个相关系数，然后求取经由相关系数调整后的特征差的平均值。再分别在每一目标待分析图片的图像特征上叠加平均值，得到叠加后的特征值作为预测特征。
步骤206，当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。
在本发明实施例中，当预测剪影及初始剪影的数量和达到目标剪影数量时，可以采用预测剪影及初始剪影生成步态序列剪影。
步骤207，当预测剪影及初始剪影的数量和未达到目标剪影数量时，计算目标剪影数量与数量和的数值差；
步骤208，将数值差作为目标剪影数量，将预测剪影添加进待分析图片中，并返回根据目标剪影数量在待分析图片中确定目标分析图片的步骤。
在本发明实施例中，当预测剪影及初始剪影的数量和未达到目标剪影数量时，计算目标剪影数量与数量和的数值差，然后将数值差作为目标剪影数量，并将预测剪影添加进待分析图像中，并返回根据目标剪影数量在待分析图片中确定目标分析图片的步骤。
在一个示例中，当目标剪影数量为10，待分析图片数量为5，则所有的待分析图片均作为目标分析图片，5张目标分析图片可以生成4张预测剪影，则完成一次预测后，总的剪影数量为9，不满足剪影数量。此时，可以将所有剪影数量对应的图片作为待分析图片，再次进行剪影预测，直到初始剪影和预测剪影的数量和达到10为止，将生成的预测剪影结合初始剪影生成步态序列剪影。
例如，假设需要10张剪影，现有t0，t1，...，t4共5张剪影，则需要补全的剪影有5张，此时可以利用组合[t0，t1]、[t1，t2]、[t2、t3]、[t3、t4]来生成t01，t12，t23，t34共4张预测剪影进行插帧补全，补全后得到了9张剪影，还少1张，此时可以利用组合[t0，t01]来生成t001剪影进行插帧补全。
在另一个示例中，本发明实施例还可以对遮挡图片的剪影进行补全。假设存在t6、t7、t8共3张剪影，其中，t7为遮挡图片，则可以采用t6和t8来生成预测剪影t7’，采用t7’对t7进行遮挡补全。
本发明通过获取待分析图片及目标剪影数量；根据目标剪影数量在待分析图片中确定目标分析图片；获取目标分析图片的初始剪影及2D关节结构数据；将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；根据各目标分析图片的图像特征，生成预测剪影；当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。从而可以得到序列长度足够、且剪影完整度较高的步态序列剪影，提高了步态序列剪影采集的效果。
请参阅图3，图3为本发明实施例提供的一种步态序列剪影生成装置的结构框图。
本发明实施例提供了一种步态序列剪影生成装置，包括：
待分析图片及目标剪影数量获取模块301，用于获取待分析图片及目标剪影数量；
目标分析图片确定模块302，用于根据目标剪影数量在待分析图片中确定目标分析图片；
初始剪影及2D关节结构数据获取模块303，用于获取目标分析图片的初始剪影及2D关节结构数据；
图像特征输出模块304，用于将目标分析图片、初始剪影及2D关节结构数据输入预设双塔下采样模型中，输出图像特征；
预测剪影生成模块305，用于根据各目标分析图片的图像特征，生成预测剪影；
步态序列剪影生成模块306，用于当预测剪影及初始剪影的数量和达到目标剪影数量时，采用预测剪影及初始剪影生成步态序列剪影。
在本发明实施例中，还包括：
数值差计算模块，用于当预测剪影及初始剪影的数量和未达到目标剪影数量时，计算目标剪影数量与数量和的数值差；
返回模块，用于将数值差作为目标剪影数量，将预测剪影添加进待分析图片中，并返回根据目标剪影数量在待分析图片中确定目标分析图片的步骤。
在本发明实施例中，预测剪影生成模块305，包括：
初始帧图片和参考帧图片确定子模块，用于确定目标分析图片的初始帧图片和参考帧图片；
特征差计算子模块，用于根据图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
预测剪影生成子模块，用于根据特征差生成预测剪影。
在本发明实施例中，特征差计算子模块，包括：
初始深度特征差、非局部邻域与边缘特征差及空间深度特征差生成单元，根据图像特征计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差；
特征差生成单元，用于融合初始深度特征差、非局部邻域与边缘特征差及空间深度特征差，生成初始帧图片与参考帧图片之间的特征差。
在本发明实施例中，预测剪影生成子模块，包括：
平均值计算单元，用于计算初始帧图片与所有参考帧图片之间的特征差的平均值；
预测特征生成单元，用于分别将平均值与每一目标分析图片的图片特征相加，得到若干预测特征；
预测剪影生成单元，用于根据预测特征生成预测剪影。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的步态序列剪影生成方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的步态序列剪影生成方法。
所属邻域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本邻域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本邻域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本邻域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种步态序列剪影生成方法，其特征在于，包括：
获取待分析图片及目标剪影数量；
根据所述目标剪影数量在所述待分析图片中确定目标分析图片；
获取所述目标分析图片的初始剪影及2D关节结构数据；
将所述目标分析图片、所述初始剪影及所述2D关节结构数据输入预设双塔下采样模型中，输出图像特征；所述预设双塔下采样模型为输出初始深度特征、非局部邻域与边缘特征和空间深度特征的模型；所述非局部邻域与边缘特征用于反映目标分析图片中人员的轮廓特征；
根据各所述目标分析图片的图像特征，生成预测剪影；
当所述预测剪影及所述初始剪影的数量和达到所述目标剪影数量时，采用所述预测剪影及所述初始剪影生成步态序列剪影；
其中，还包括：
当所述预测剪影及所述初始剪影的数量和未达到所述目标剪影数量时，计算所述目标剪影数量与所述数量和的数值差；
将所述数值差作为目标剪影数量，将所述预测剪影添加进所述待分析图片中，并返回根据所述目标剪影数量在所述待分析图片中确定目标分析图片的步骤；
其中，所述根据各所述目标分析图片的图像特征，生成预测剪影的步骤，包括：
确定所述目标分析图片的初始帧图片和参考帧图片；
根据所述图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
根据所述特征差生成预测剪影；
其中，所述根据所述图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差的步骤，包括：
根据所述图像特征计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差；
融合所述初始深度特征差、所述非局部邻域与边缘特征差及所述空间深度特征差，生成所述初始帧图片与所述参考帧图片之间的特征差；
其中，所述根据所述特征差生成预测剪影的步骤，包括：
计算所述初始帧图片与所有参考帧图片之间的特征差的平均值；
分别将所述平均值与每一目标分析图片的图片特征相加，得到若干预测特征；
根据所述预测特征生成预测剪影。
2.一种步态序列剪影生成装置，其特征在于，包括：
待分析图片及目标剪影数量获取模块，用于获取待分析图片及目标剪影数量；
目标分析图片确定模块，用于根据所述目标剪影数量在所述待分析图片中确定目标分析图片；
初始剪影及2D关节结构数据获取模块，用于获取所述目标分析图片的初始剪影及2D关节结构数据；
图像特征输出模块，用于将所述目标分析图片、所述初始剪影及所述2D关节结构数据输入预设双塔下采样模型中，输出图像特征；所述预设双塔下采样模型为输出初始深度特征、非局部邻域与边缘特征和空间深度特征的模型；所述非局部邻域与边缘特征用于反映目标分析图片中人员的轮廓特征；
预测剪影生成模块，用于根据各所述目标分析图片的图像特征，生成预测剪影；
步态序列剪影生成模块，用于当所述预测剪影及所述初始剪影的数量和达到所述目标剪影数量时，采用所述预测剪影及所述初始剪影生成步态序列剪影；
其中，还包括：
数值差计算模块，用于当所述预测剪影及所述初始剪影的数量和未达到所述目标剪影数量时，计算所述目标剪影数量与所述数量和的数值差；
返回模块，用于将所述数值差作为目标剪影数量，将所述预测剪影添加进所述待分析图片中，并返回根据所述目标剪影数量在所述待分析图片中确定目标分析图片的步骤；
其中，所述预测剪影生成模块，包括：
初始帧图片和参考帧图片确定子模块，用于确定所述目标分析图片的初始帧图片和参考帧图片；
特征差计算子模块，用于根据所述图像特征计算初始帧图片与参考帧图片之间的图像特征的特征差；
预测剪影生成子模块，用于根据所述特征差生成预测剪影；
其中，特征差计算子模块，包括：
初始深度特征差、非局部邻域与边缘特征差及空间深度特征差生成单元，根据图像特征计算初始帧图片与参考帧图片之间的初始深度特征差、非局部邻域与边缘特征差及空间深度特征差；
特征差生成单元，用于融合初始深度特征差、非局部邻域与边缘特征差及空间深度特征差，生成初始帧图片与参考帧图片之间的特征差；
其中，预测剪影生成子模块，包括：
平均值计算单元，用于计算初始帧图片与所有参考帧图片之间的特征差的平均值；
预测特征生成单元，用于分别将平均值与每一目标分析图片的图片特征相加，得到若干预测特征；
预测剪影生成单元，用于根据预测特征生成预测剪影。
3.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1所述的步态序列剪影生成方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1所述的步态序列剪影生成方法。
CN202310420328.8A 2023-04-18 2023-04-18 一种步态序列剪影生成方法、装置、电子设备及存储介质 Active CN116524592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310420328.8A CN116524592B (zh) 2023-04-18 2023-04-18 一种步态序列剪影生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310420328.8A CN116524592B (zh) 2023-04-18 2023-04-18 一种步态序列剪影生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116524592A CN116524592A (zh) 2023-08-01
CN116524592B true CN116524592B (zh) 2024-02-06

Family

ID=87400435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310420328.8A Active CN116524592B (zh) 2023-04-18 2023-04-18 一种步态序列剪影生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116524592B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571917A (zh) * 2009-06-16 2009-11-04 哈尔滨工程大学 基于视频的正面步态周期检测方法
CN109784346A (zh) * 2018-12-04 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像的筛选方法、电子设备以及存储介质
CN109784206A (zh) * 2018-12-25 2019-05-21 杭州电子科技大学 一种基于超限学习机的步态识别方法
CN109785400A (zh) * 2018-11-20 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像制作方法、装置、电子设备及存储介质
CN109978964A (zh) * 2019-03-19 2019-07-05 广东智媒云图科技股份有限公司 一种图像制作方法、装置、存储介质及终端设备
CN110197130A (zh) * 2019-05-09 2019-09-03 广州番禺职业技术学院 一种生猪步态异常检测设备及系统
CN114219888A (zh) * 2021-12-15 2022-03-22 上海完美时空软件有限公司 三维角色动态剪影效果生成方法及装置、存储介质
CN114612934A (zh) * 2022-03-14 2022-06-10 银河水滴科技（北京）有限公司 一种基于质量维度的步态序列评估方法及系统
CN115439927A (zh) * 2022-08-09 2022-12-06 南方科技大学 基于机器人的步态监测方法、装置、设备及存储介质
CN115861869A (zh) * 2022-11-02 2023-03-28 南京视察者智能科技有限公司 一种基于Transformer的步态重识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571917A (zh) * 2009-06-16 2009-11-04 哈尔滨工程大学 基于视频的正面步态周期检测方法
CN109785400A (zh) * 2018-11-20 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像制作方法、装置、电子设备及存储介质
CN109784346A (zh) * 2018-12-04 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像的筛选方法、电子设备以及存储介质
CN109784206A (zh) * 2018-12-25 2019-05-21 杭州电子科技大学 一种基于超限学习机的步态识别方法
CN109978964A (zh) * 2019-03-19 2019-07-05 广东智媒云图科技股份有限公司 一种图像制作方法、装置、存储介质及终端设备
CN110197130A (zh) * 2019-05-09 2019-09-03 广州番禺职业技术学院 一种生猪步态异常检测设备及系统
CN114219888A (zh) * 2021-12-15 2022-03-22 上海完美时空软件有限公司 三维角色动态剪影效果生成方法及装置、存储介质
CN114612934A (zh) * 2022-03-14 2022-06-10 银河水滴科技（北京）有限公司 一种基于质量维度的步态序列评估方法及系统
CN115439927A (zh) * 2022-08-09 2022-12-06 南方科技大学 基于机器人的步态监测方法、装置、设备及存储介质
CN115861869A (zh) * 2022-11-02 2023-03-28 南京视察者智能科技有限公司 一种基于Transformer的步态重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Abnormal Gait Recognition Using 3D Joint information of Multiple Kinects System and RNN-LSTM";Deok-Won Lee etal;《IEEE》;第542-545页 *
"Inertial Sensor-Based Stride Parameter Calculation From Gait Sequences in Geriatric Patients";Alexander Rampp etal;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;第1089-1097页 *
"基于联合损失函数的多视角步态识别方法研究";赵佳鑫 等;《智能计算机与应用》;第13-17页 *
"面向多人多生物属性的跨视角步态追踪系统";黄彬源 等;《计算机系统应用》;第88-98页 *

Also Published As

Publication number Publication date
CN116524592A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110378264B (zh) 目标跟踪方法及装置
US20200019806A1 (en) Tracker assisted image capture
JP7274048B2 (ja) 動作認識方法、装置、コンピュータプログラム及びコンピュータデバイス
EP2378485B1 (en) Moving object detection method and moving object detection apparatus
US20140241625A1 (en) Image processing method, image processing apparatus, and computer program product
CN113658182B (zh) 基于并行多分支特征融合的表面缺陷区域分割方法及装置
CN111882408A (zh) 虚拟试用方法、装置、电子设备及存储设备
KR101959436B1 (ko) 배경인식을 이용한 물체 추적시스템
Liong et al. Mtsn: A multi-temporal stream network for spotting facial macro-and micro-expression with hard and soft pseudo-labels
CN116052276A (zh) 一种人体姿态估计行为分析方法
CN115984307A (zh) 视频对象分割方法、装置、电子设备及存储介质
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
JP5493747B2 (ja) 追跡方法、監視システム及びプログラム
CN116524592B (zh) 一种步态序列剪影生成方法、装置、电子设备及存储介质
CN110799984A (zh) 跟踪控制方法、设备、计算机可读存储介质
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010257267A (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
Chun et al. 3D human pose estimation from RGB-D images using deep learning method
CN113658231A (zh) 光流预测方法、装置、电子设备及存储介质
Hwang et al. Real-time background subtraction based on GPGPU for high-resolution video surveillance
CN113569591A (zh) 图像处理装置、图像处理方法和机器可读存储介质
EP3401843A1 (en) A method, an apparatus and a computer program product for modifying media content
CN111860070A (zh) 识别发生改变的对象的方法和装置
CN116129502B (zh) 人脸伪造视频检测模型的训练方法、装置及计算设备
Al-Shatnawi et al. Improving Real-Time Pedestrian Detection Using Adaptive Confidence Thresholding and Inter-Frame Correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant