CN116503958B - 人体姿态识别方法、系统、存储介质及计算机设备 - Google Patents

人体姿态识别方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN116503958B
CN116503958B CN202310760263.1A CN202310760263A CN116503958B CN 116503958 B CN116503958 B CN 116503958B CN 202310760263 A CN202310760263 A CN 202310760263A CN 116503958 B CN116503958 B CN 116503958B
Authority
CN
China
Prior art keywords
target node
node
joint
under
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310760263.1A
Other languages
English (en)
Other versions
CN116503958A (zh
Inventor
李汉曦
廖东宇
周锦华
范巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202310760263.1A priority Critical patent/CN116503958B/zh
Publication of CN116503958A publication Critical patent/CN116503958A/zh
Application granted granted Critical
Publication of CN116503958B publication Critical patent/CN116503958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出人体姿态识别方法、系统、存储介质及计算机设备，该方法包括：获取估计观测值；将估计观测值全部转化为同一空间坐标下的估计坐标值；计算出目标关节点与每个关联关节点的距离；以目标关节点与每个关联关节点的距离、当前帧下同一目标关节点下每份图像分别对应的估计坐标值、上一帧下目标关节点的预测坐标值为约束条件，得到条件概率分布和联合概率分布；根据条件概率分布和联合概率分布得到当前帧下目标关节点的预测坐标值，并遍历除目标关节点外的所有关节点，以输出所有关节点在当前帧下的预测坐标值。本发明能够解决传统技术中采用单阵列相机拍摄进行姿态估计的方式存在的准确性较低的问题。

Description

人体姿态识别方法、系统、存储介质及计算机设备
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种人体姿态识别方法、系统、存储介质及计算机设备。
背景技术
人体姿态估计（HumanPoseEstimation）是计算机视觉领域中的一个重要研究方向，其应用领域十分广泛,可用于人机交互、影视制作、运动分析、游戏娱乐等各种领域。人们可以利用人体姿态识别定位人体关节点运动轨迹并记录其运动数据,实现3D动画模拟人体运动来制作影视动漫;也可以通过记录的轨道和数据对运动进行分析;还可以实现人机交互、游戏娱乐,比如体感游戏就是通过对人体运动姿态进行识别来实现游戏互动的。
目前，3D人体姿态估计比较流行的做法是使用单个二维图像进行提取，因为从单一视图的信息中提取深度信息具有很大的灵活性，但是，3D姿态估计本身具有开放性并且由于外部因素影响，如人的外表，衣服或自我遮挡的变化之类的其他因素，导致难以精准定位各个关节点，再加上传统方式存在较大的数据抖动，从而使得采用单阵列相机拍摄进行姿态估计的准确性较低。
发明内容
基于此，本发明的目的是提出一种人体姿态识别方法、系统、存储介质及计算机设备，以解决传统技术中采用单阵列相机拍摄进行姿态估计的方式存在的准确性较低的问题。
根据本发明提出的一种人体姿态识别方法，所述方法包括：
根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值。
综上，根据上述的人体姿态识别方法，通过采用多个相机对每个关节点进行拍摄图像，进而得到同一关节点下的多份图像分别对应的估计观测值，而后引入相邻关节点的距离、上一帧关节点的预测坐标值共同作为约束条件，进行概率建模，从而求解出各个关节点概率分布最大时的空间坐标，以解决由于现实场景中可能存在因被遮挡、数据抖动较大等因素导致某些关节点难以被精确定位的问题。
在本发明较佳实施例中，所述从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离的步骤包括：
根据以下公式获取所述目标关节点与所述关联关节点的距离：
其中，表示选取的第n个目标关节点与第m个关联关节点之间的平均距离，T表示当前帧预测前的运行总帧数，K表示多阵列相机中的摄像头总数，/>表示第t帧下第k个摄像头对第n个目标关节点与第m个关联关节点的估计距离。
在本发明较佳实施例中，所述以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布的步骤还包括：
根据当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值定义所述目标关节点的可观测状态，并根据当前帧下所述目标关节点的预测坐标值定义所述目标关节点的隐藏状态；
根据以下公式获取所述可观测状态：
其中，表示第n个关节点的可观测状态，/>分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，/>表示上一帧下第n个关节点的预测坐标值；
根据以下公式获取所述隐藏状态：
其中，表示第n个关节点的隐藏状态，/>表示第n个关节点的预测坐标值；
根据所述目标关节点的可观测状态和所述目标关节点的隐藏状态获取所述条件概率分布；
获取所述关联关节点的隐藏状态，并根据所述目标关节点的隐藏状态和所述关联关节点的隐藏状态获取所述联合概率分布。
在本发明较佳实施例中，所述根据所述目标关节点的可观测状态和所述目标关节点的隐藏状态获取所述条件概率分布的步骤包括：
根据以下公式获取所述条件概率分布：
其中，表示在第n个目标关节点的可观测状态条件下的第n个目标关节点的隐藏状态的条件概率分布，/>表示正比于符号，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>、/>表示不同三维正态分布对应的权重；
所述获取所述关联关节点的隐藏状态，并根据所述目标关节点的隐藏状态和所述关联关节点的隐藏状态获取所述联合概率分布的步骤包括：
根据以下公式计算所述联合概率分布：
其中，表示第n个目标关节点和第m个关联关节点在空间中的联合概率分布，/>表示以/>为均值，d为方差的一维正态分布。
在本发明较佳实施例中，根据以下公式获取权重：
其中，α表示经验常数，表示第k个摄像头预测的第n个目标关节点的欧式空间距离。
在本发明较佳实施例中，所述根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值的步骤包括：
根据以下公式获取所有关节点的预测坐标值：
其中，表示预测坐标集合，/>表示第1个、第2个、第3个、第N个关节点的预测坐标值，/>表示概率乘积对应的最大概率的人体关节点的空间坐标，/>表示任意骨骼连接的两个关节点空间坐标的联合概率分布的乘积，/>表示所有关节点在约束条件下的条件概率分布的乘积，E表示相邻关节点的连边集合,/>，/>表示第i条连边，/>表示关节点集合，/>，/>表示第n个关节点，M表示连边总数，N表示关节点总数。
本发明另一方面还提供一种人体姿态识别系统，所述系统包括：
关节点信息获取模块，用于根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
坐标转化模块，用于将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
节点距离计算模块，用于从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
概率建模执行模块，用于以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
坐标预测模块，用于根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值。
本发明另一方面还提供一种存储介质，包括所述存储介质存储一个或多个程序，该程序被执行时实现如上述的人体姿态识别方法。
本发明另一方面还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现如上述的人体姿态识别方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明第一实施例提出的人体姿态识别方法方法的流程图；
图2为本发明第一实施例中的人体骨骼关节点示意图；
图3为本发明第一实施例中的人体关节点的树状概率图；
图4为本发明第二实施例提出的人体姿态识别系统的结构示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例中的人体姿态识别方法的流程图，该方法包括步骤S01至步骤S05，其中：
步骤S01：根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
请参阅图2，所示为人体骨骼关节点示意图，在本实施例中，根据人体骨骼结构定义了32个关节点，同时，该多阵列相机图像为RGB-D相机阵列，包含K个摄像头，在实际使用中，每个相机均会采用现有的深度学习算法估计出的人体关节点三维坐标，即估计观测值。
步骤S02：将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
需要说明的是，由于每个摄像头均有各自的空间坐标系，因此对于同一关节点下的多个摄像头分别得到的估计观测值本质上并不能混合使用，基于此，还需将同一关节点下由不同摄像头得到的估计观测值进行转化，即从所有的摄像头中选取一个主相机，其他的为副相机，然后将所有副相机得到的估计观测值进行坐标系对齐，从而完成转化。
步骤S03：从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
可以理解的，目标关节点与关联关节点之间的距离本质上为骨骼的长度，具体根据以下公式计算得到：
其中，表示选取的第n个目标关节点与第m个关联关节点之间的平均距离，T表示当前帧预测前的运行总帧数，K表示多阵列相机中的摄像头总数，/>表示第t帧下第k个摄像头对第n个目标关节点与第m个关联关节点的估计距离。
步骤S04：以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
需要说明的是，对于目标关节点，其上一帧已经预测出了具体的坐标值，由于人体在前后两帧几乎不可能出现大范围的移动，为了降低其他不可控因素（数据抖动、自我遮挡等）造成的预测精确度较低的问题，因此将上一帧的目标关节点的预测坐标值作为约束条件之一；
进一步地，由于人体骨骼的长度是固定的，也就是说目标关节点到相邻的关联关节点的距离理论上是固定的，为了进一步地提高预测精确度，还需将目标关节点到相邻的关联关节点的距离作为约束条件之一，同时需要指出的是，由于在实际预测中需要面对各种各样的人群，因此为了兼顾预测效率同时提高预测精确度，本实施例中求得的目标关节点到相邻的关联关节点的距离是多个摄像头在每个历史帧时得到的所有距离之和的平均值。
进一步地，可以理解的，目标关节点的预测坐标值理论上应该与每个相机估计得到的估计坐标值相差不大，因此，还需将当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值作为约束条件之一。
此外，在本发明一些可选的实施例中，通过上述三种约束条件进行概率建模的具体过程为：
请参阅图3，所示为人体关节点的树状概率图，首先根据当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值定义所述目标关节点的可观测状态，并根据当前帧下所述目标关节点的预测坐标值定义所述目标关节点的隐藏状态；
根据以下公式获取所述可观测状态：
其中，表示第n个关节点的可观测状态，/>分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，/>表示上一帧下第n个关节点的预测坐标值；
根据以下公式获取所述隐藏状态：
其中，表示第n个关节点的隐藏状态，/>表示第n个关节点的预测坐标值；
而后根据所述目标关节点的可观测状态和所述目标关节点的隐藏状态获取所述条件概率分布，具体为：
根据以下公式获取所述条件概率分布：
其中，表示在第n个目标关节点的可观测状态条件下的第n个目标关节点的隐藏状态的条件概率分布，/>表示正比于符号，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>、/>表示不同三维正态分布对应的权重，其中，/>为一常数值，在本实施例中为0.25，权重/>根据以下公式获取：
其中，α表示经验常数，表示第k个摄像头预测的第n个目标关节点的欧式空间距离。
获取所述关联关节点的隐藏状态，并根据所述目标关节点的隐藏状态和所述关联关节点的隐藏状态获取所述联合概率分布，具体为：
根据以下公式计算所述联合概率分布：
其中，表示第n个目标关节点和第m个关联关节点在空间中的联合概率分布，/>表示以/>为均值，d为方差的一维正态分布，d为一常数标量，可取10mm、9mm等较小的数值，以使得骨骼长度的先验对最后的预测结果有较强的约束力。
步骤S05：根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值。
根据以下公式获取所有关节点的预测坐标值：
其中，表示预测坐标集合，/>表示第1个、第2个、第3个、第N个关节点的预测坐标值，/>表示概率乘积对应的最大概率的人体关节点的空间坐标，/>表示任意骨骼连接的两个关节点空间坐标的联合概率分布的乘积，/>表示所有关节点在约束条件下的条件概率分布的乘积，E表示相邻关节点的连边集合,/>，/>表示第i条连边，/>表示关节点集合，/>，/>表示第n个关节点，M表示连边总数，N表示关节点总数。
综上，通过多台ak（azure kinect）自带的人体姿态估计算法（误差较大）以及对人体的姿态的先验知识与BP算法相结合，实现了较为稳定的实时的（20fps左右）3d人体姿态估计算法，相对于传统ak的人体姿态估计会出现部分关节坐标 在前后帧中抖动剧烈的情况，通过全新的三种约束条件进行概率建模而求解出的预测坐标值能克服这一问题，具有预测精确度较高的优点。
请参阅图4，所示为本发明第二实施例中的人体姿态识别系统的结构示意图，该系统包括：
关节点信息获取模块10，用于根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
坐标转化模块20，用于将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
节点距离计算模块30，用于从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
进一步地，所述节点距离计算模块30还包括：
平均距离更新单元，用于根据以下公式获取所述目标关节点与所述关联关节点的距离：
其中，表示选取的第n个目标关节点与第m个关联关节点之间的平均距离，T表示当前帧预测前的运行总帧数，K表示多阵列相机中的摄像头总数，/>表示第t帧下第k个摄像头对第n个目标关节点与第m个关联关节点的估计距离。
概率建模执行模块40，用于以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
进一步地，所述概率建模执行模块40还包括：
状态定义单元，用于根据当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值定义所述目标关节点的可观测状态，并根据当前帧下所述目标关节点的预测坐标值定义所述目标关节点的隐藏状态；
进一步地，所述状态定义单元还包括：
可观测状态获取子单元，用于根据以下公式获取所述可观测状态：
其中，表示第n个关节点的可观测状态，/>分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，/>表示上一帧下第n个关节点的预测坐标值；
隐藏状态获取子单元，用于根据以下公式获取所述隐藏状态：
其中，表示第n个关节点的隐藏状态，/>表示第n个关节点的预测坐标值；
条件概率分布获取单元，用于根据所述目标关节点的可观测状态和所述目标关节点的隐藏状态获取所述条件概率分布；
根据以下公式获取所述条件概率分布：
其中，表示在第n个目标关节点的可观测状态条件下的第n个目标关节点的隐藏状态的条件概率分布，/>表示正比于符号，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>、/>表示不同三维正态分布对应的权重。
联合概率分布获取单元，用于获取所述关联关节点的隐藏状态，并根据所述目标关节点的隐藏状态和所述关联关节点的隐藏状态获取所述联合概率分布；
根据以下公式计算所述联合概率分布：
其中，表示第n个目标关节点和第m个关联关节点在空间中的联合概率分布，/>表示以/>为均值，d为方差的一维正态分布。
坐标预测模块50，用于根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值。
进一步地，所述坐标预测模块50还包括：
预测坐标值计算单元，用于根据以下公式获取所有关节点的预测坐标值：
其中，表示预测坐标集合，/>表示第1个、第2个、第3个、第N个关节点的预测坐标值，/>表示概率乘积对应的最大概率的人体关节点的空间坐标，/>表示任意骨骼连接的两个关节点空间坐标的联合概率分布的乘积，/>表示所有关节点在约束条件下的条件概率分布的乘积，E表示相邻关节点的连边集合,/>，/>表示第i条连边，/>表示关节点集合，/>，/>表示第n个关节点，M表示连边总数，N表示关节点总数。
进一步地，在本发明一些可选的实施例中，该系统还包括：
权重计算模块，用于根据以下公式获取权重：
其中，α表示经验常数，表示第k个摄像头预测的第n个目标关节点的欧式空间距离。
本发明另一方面还提出存储介质，其上存储有一个或多个程序，该程序给处理器执行时实现上述的人体姿态识别方法。
本发明另一方面还提出一种计算机设备，包括存储器和处理器，其中存储器用于存放计算机程序，处理器用于执行存储器上所存放的计算机程序，以实现上述的人体姿态识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (7)

1.一种人体姿态识别方法，其特征在于，所述方法包括：
根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
根据当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值定义所述目标关节点的可观测状态，并根据当前帧下所述目标关节点的预测坐标值定义所述目标关节点的隐藏状态；
根据以下公式获取所述条件概率分布：
其中，表示在第n个目标关节点的可观测状态条件下的第n个目标关节点的隐藏状态的条件概率分布，/>表示正比于符号，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>、/>表示不同三维正态分布对应的权重, />表示第n个关节点的可观测状态，分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，表示上一帧下第n个关节点的预测坐标值, />表示第n个关节点的隐藏状态;
根据以下公式计算所述联合概率分布：
其中，表示第n个目标关节点和第m个关联关节点在空间中的联合概率分布，/>表示以/>为均值，d为方差的一维正态分布;
根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值；
根据以下公式获取所有关节点的预测坐标值：
其中，表示预测坐标集合，/>表示第1个、第2个、第3个、第N个关节点的预测坐标值，/>表示概率乘积对应的最大概率的人体关节点的空间坐标，表示任意骨骼连接的两个关节点空间坐标的联合概率分布的乘积，/>表示所有关节点在约束条件下的条件概率分布的乘积，E表示相邻关节点的连边集合,/>，/>表示第i条连边，/>表示关节点集合，，/>表示第n个关节点，M表示连边总数，N表示关节点总数。
2.根据权利要求1所述的人体姿态识别方法，其特征在于，所述从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离的步骤包括：
根据以下公式获取所述目标关节点与所述关联关节点的距离：
其中，表示选取的第n个目标关节点与第m个关联关节点之间的平均距离，T表示当前帧预测前的运行总帧数，K表示多阵列相机中的摄像头总数，/>表示第t帧下第k个摄像头对第n个目标关节点与第m个关联关节点的估计距离。
3.根据权利要求2所述的人体姿态识别方法，其特征在于，所述以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布的步骤还包括：
根据以下公式获取所述可观测状态：
其中，表示第n个关节点的可观测状态，/>分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，/>表示上一帧下第n个关节点的预测坐标值；
根据以下公式获取所述隐藏状态：
其中，表示第n个关节点的隐藏状态，/>表示第n个关节点的预测坐标值；
根据所述目标关节点的可观测状态和所述目标关节点的隐藏状态获取所述条件概率分布；
获取所述关联关节点的隐藏状态，并根据所述目标关节点的隐藏状态和所述关联关节点的隐藏状态获取所述联合概率分布。
4.根据权利要求1所述的人体姿态识别方法，其特征在于，根据以下公式获取权重：
其中，α表示经验常数，表示第k个摄像头预测的第n个目标关节点的欧式空间距离。
5.一种人体姿态识别系统，其特征在于，所述系统包括：
关节点信息获取模块，用于根据人体骨骼结构定义多个关节点，并获取在当前帧下与每个所述关节点对应的多阵列相机图像以及每份图像分别对应的所述关节点的估计观测值；
坐标转化模块，用于将当前帧下同一关节点下的每份图像分别对应的关节点估计观测值全部转化为同一空间坐标下的所述关节点的估计坐标值；
节点距离计算模块，用于从所有的关节点中依次选取一个所述关节点作为目标关节点，并获取与所述目标关节点相邻的关联关节点，并计算出所述目标关节点与每个所述关联关节点的距离；
概率建模执行模块，用于以所述目标关节点与每个所述关联关节点的距离、当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值为约束条件，得到当前帧下所述目标关节点的预测坐标值、上一帧下所述目标关节点的预测坐标值以及当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值三者之间的条件概率分布，并得到所述目标关节点与所有所述关联关节点之间的联合概率分布；
状态定义单元，用于根据当前帧下同一所述目标关节点下每份图像分别对应的估计坐标值、上一帧下所述目标关节点的预测坐标值定义所述目标关节点的可观测状态，并根据当前帧下所述目标关节点的预测坐标值定义所述目标关节点的隐藏状态；
条件概率分布获取单元，用于根据以下公式获取所述条件概率分布：
其中，表示在第n个目标关节点的可观测状态条件下的第n个目标关节点的隐藏状态的条件概率分布，/>表示正比于符号，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>表示以/>为均值，/>为协方差矩阵的三维正态分布，/>、/>表示不同三维正态分布对应的权重, />表示第n个关节点的可观测状态，分别表示当前帧下第1、第2、第K个摄像头对第n个关节点的估计坐标值，表示上一帧下第n个关节点的预测坐标值, />表示第n个关节点的隐藏状态;
联合概率分布获取单元，用于根据以下公式计算所述联合概率分布：
其中，表示第n个目标关节点和第m个关联关节点在空间中的联合概率分布，/>表示以/>为均值，d为方差的一维正态分布;
坐标预测模块，用于根据所述条件概率分布和所述联合概率分布得到当前帧下所述目标关节点的预测坐标值，并遍历除所述目标关节点外的所有所述关节点，以输出所有所述关节点在当前帧下的预测坐标值；
预测坐标值计算单元，用于根据以下公式获取所有关节点的预测坐标值：
其中，表示预测坐标集合，/>表示第1个、第2个、第3个、第N个关节点的预测坐标值，/>表示概率乘积对应的最大概率的人体关节点的空间坐标，表示任意骨骼连接的两个关节点空间坐标的联合概率分布的乘积，/>表示所有关节点在约束条件下的条件概率分布的乘积，E表示相邻关节点的连边集合,/>，/>表示第i条连边，/>表示关节点集合，，/>表示第n个关节点，M表示连边总数，N表示关节点总数。
6.一种存储介质，其特征在于，包括：所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-4任一项所述的人体姿态识别方法。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现权利要求1-4任一项所述的人体姿态识别方法。
CN202310760263.1A 2023-06-27 2023-06-27 人体姿态识别方法、系统、存储介质及计算机设备 Active CN116503958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310760263.1A CN116503958B (zh) 2023-06-27 2023-06-27 人体姿态识别方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310760263.1A CN116503958B (zh) 2023-06-27 2023-06-27 人体姿态识别方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN116503958A CN116503958A (zh) 2023-07-28
CN116503958B true CN116503958B (zh) 2023-10-03

Family

ID=87316976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310760263.1A Active CN116503958B (zh) 2023-06-27 2023-06-27 人体姿态识别方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN116503958B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
CN109323709A (zh) * 2017-07-31 2019-02-12 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
CN109670474A (zh) * 2018-12-28 2019-04-23 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112037312A (zh) * 2020-11-04 2020-12-04 成都市谛视科技有限公司 实时人体姿态逆向运动学求解方法及装置
CN113191243A (zh) * 2021-04-25 2021-07-30 华中科技大学 基于相机距离的人手三维姿态估计模型建立方法及其应用
WO2022252642A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 基于视频图像的行为姿态检测方法、装置、设备及介质
CN115457176A (zh) * 2022-09-23 2022-12-09 北京奇艺世纪科技有限公司 一种图像生成方法、装置、电子设备及存储介质
CN115565203A (zh) * 2022-09-30 2023-01-03 华中科技大学 一种跨模态弱监督的三维人体姿态估计方法及系统
WO2023273093A1 (zh) * 2021-06-30 2023-01-05 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571263B2 (en) * 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
KR102016551B1 (ko) * 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
CN109323709A (zh) * 2017-07-31 2019-02-12 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
CN109670474A (zh) * 2018-12-28 2019-04-23 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112037312A (zh) * 2020-11-04 2020-12-04 成都市谛视科技有限公司 实时人体姿态逆向运动学求解方法及装置
CN113191243A (zh) * 2021-04-25 2021-07-30 华中科技大学 基于相机距离的人手三维姿态估计模型建立方法及其应用
WO2022252642A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 基于视频图像的行为姿态检测方法、装置、设备及介质
WO2023273093A1 (zh) * 2021-06-30 2023-01-05 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN115457176A (zh) * 2022-09-23 2022-12-09 北京奇艺世纪科技有限公司 一种图像生成方法、装置、电子设备及存储介质
CN115565203A (zh) * 2022-09-30 2023-01-03 华中科技大学 一种跨模态弱监督的三维人体姿态估计方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Generating Multiple Hypotheses for 3D Human Pose Estimation With Mixture Density Network;Chen Li 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;全文 *
The Progress of Human Pose Estimation: A Survey and Taxonomy of Models Applied in 2D Human Pose Estimation;Tewodros Legesse Munea 等;《 IEEE Access 》;全文 *
一种基于人体骨架的任意角度坐姿识别方法;叶启朗等;《计算机应用研究》;全文 *
基于关节点遮挡推测的多相机手姿态估计方法;谢清超;晁建刚;柴秀娟;林万洪;熊颖;杨进;;载人航天(03);全文 *
基于模型约束的人体姿态视觉识别算法研究;刘今越;刘彦开;贾晓辉;郭士杰;;仪器仪表学报(04);全文 *
基于深度图像的实时多人体姿态估计;肖贤鹏;刘理想;胡莉;张华;;传感器与微系统(06);全文 *

Also Published As

Publication number Publication date
CN116503958A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
Dabral et al. Learning 3d human pose from structure and motion
US10254845B2 (en) Hand gesture recognition for cursor control
Lao et al. Automatic video-based human motion analyzer for consumer surveillance system
Dockstader et al. Multiple camera tracking of interacting and occluded human motion
Jojic et al. Tracking self-occluding articulated objects in dense disparity maps
CN102402288B (zh) 用于快速且概率性的骨架跟踪的系统
EP2843621A1 (en) Human pose calculation from optical flow data
CN112530019B (zh) 三维人体重建方法、装置、计算机设备和存储介质
US20120250982A1 (en) Image processing apparatus, image processing method, program, and recording medium
CN110705463A (zh) 基于多模态双流3d网络的视频人体行为识别方法及系统
CN102576466A (zh) 用于跟踪模型的系统和方法
CN112330729A (zh) 图像深度预测方法、装置、终端设备及可读存储介质
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
Liu et al. Combining 3d joints moving trend and geometry property for human action recognition
EP2899706B1 (en) Method and system for analyzing human behavior in an intelligent surveillance system
CN114581571A (zh) 基于imu和前向变形场的单目人体重建方法及装置
Yan et al. Human-object interaction recognition using multitask neural network
WO2021109118A1 (en) Object re-identification using pose part based models
Huynh-The et al. Learning action images using deep convolutional neural networks for 3D action recognition
Muhamada et al. Review on recent computer vision methods for human action recognition
Tao et al. Building a visual tracking system for home-based rehabilitation
Liang et al. Specificity and latent correlation learning for action recognition using synthetic multi-view data from depth maps
CN116503958B (zh) 人体姿态识别方法、系统、存储介质及计算机设备
Reza et al. Farsight: Long-range depth estimation from outdoor images
CN116958872A (zh) 一种羽毛球运动的智能化辅助训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant