CN114556268B - 一种姿势识别方法及装置、存储介质 - Google Patents

一种姿势识别方法及装置、存储介质 Download PDF

Info

Publication number
CN114556268B
CN114556268B CN202080071638.8A CN202080071638A CN114556268B CN 114556268 B CN114556268 B CN 114556268B CN 202080071638 A CN202080071638 A CN 202080071638A CN 114556268 B CN114556268 B CN 114556268B
Authority
CN
China
Prior art keywords
target
determining
depth
coordinates
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080071638.8A
Other languages
English (en)
Other versions
CN114556268A (zh
Inventor
周扬
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN114556268A publication Critical patent/CN114556268A/zh
Application granted granted Critical
Publication of CN114556268B publication Critical patent/CN114556268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本实施例提供了一种姿势识别方法及装置、存储介质，包括：获取第一特征图，并从第一特征图中确定目标关键点；第一特征图为深度图像中的目标区域对应的特征图；利用目标关键点，在第一特征图中建立三维坐标系，并预测其他关键点在三维坐标系中的其他三维坐标；其他关键点为第一特征图中除目标关键点外的关键点；基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于多个绝对坐标确定目标区域中的目标识别对象的姿势，多个关键点包括目标关键点和其他关键点。

Description

一种姿势识别方法及装置、存储介质
相关申请的交叉引用
本申请基于申请号为62/938，196、申请日为2019年11月20日、申请名称为“METHODAND SYSTEM TO RECOVER THE DEPTH OF 3D HAND POSE BY LOCAL 3D HAND POSEESTIMATION FOR A MOBILE TOF CAMERA”的在先美国临时专利申请提出，并要求该在先美国临时专利申请的优先权，该在先美国临时专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及图像识别技术领域，尤其涉及一种姿势识别方法及装置、存储介质。
背景技术
从图像中准确有效地重建手部姿势的能力，有望在虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、机器人控制和手语识别等领域中带来新的应用。尤其是随着深度相机的出现，使得重建手部姿势取得了长足的进步。但是，由于不受约束的全局和局部姿势变化、频繁的遮挡、局部自相似性以及高度的关节运动等问题，这仍然是一项艰巨的任务。
目前通过预测手部关键点的三维绝对坐标值来实现三维(Three Dimensional，3D)手部姿势估计，由于绝对坐标不是有界数并且显示出较大的方差，因此很难预测三维绝对坐标，导致姿势识别的误差大、准确性低的问题。
发明内容
本实施例提供一种姿势识别方法及装置、存储介质，能够降低姿势识别的误差，提高姿势识别的准确性。
本申请的技术方案是这样实现的：
第一方面，本申请提供一种姿势识别方法，所述方法包括：
获取第一特征图，并从所述第一特征图中确定目标关键点；所述第一特征图为深度图像中的目标区域对应的特征图；
利用所述目标关键点，在所述第一特征图中建立三维坐标系，并预测其他关键点在所述三维坐标系中的其他三维坐标；所述其他关键点为所述第一特征图中除所述目标关键点外的关键点；
基于所述目标关键点和所述其他三维坐标，确定多个关键点的多个绝对坐标，以基于所述多个绝对坐标确定所述目标区域中的目标识别对象的姿势，所述多个关键点包括所述目标关键点和所述其他关键点。
第二方面，本申请提供一种姿势识别装置，所述装置包括：
获取部分，配置为获取第一特征图；
确定部分，配置为从所述第一特征图中确定目标关键点；所述第一特征图为深度图像中的目标区域对应的特征图；基于所述目标关键点和所述其他三维坐标，确定多个关键点的多个绝对坐标，以基于所述多个绝对坐标确定所述目标区域中的目标识别对象的姿势，所述多个关键点包括所述目标关键点和所述其他关键点；
坐标系建立部分，配置为利用所述目标关键点，在所述第一特征图中建立三维坐标系；
坐标预测部分，配置为预测其他关键点在所述三维坐标系中的其他三维坐标；所述其他关键点为所述第一特征图中除所述目标关键点外的关键点。
第三方面，本实施例提供一种姿势识别装置，所述装置包括：处理器及存储器；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。
第四方面，本实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。
本实施例提供了一种姿势识别方法及装置、存储介质，该方法包括：获取第一特征图，并从第一特征图中确定目标关键点；第一特征图为深度图像中的目标区域对应的特征图；利用目标关键点，在第一特征图中建立三维坐标系，并预测其他关键点在三维坐标系中的其他三维坐标；其他关键点为第一特征图中除目标关键点外的关键点；基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于多个绝对坐标确定目标区域中的目标识别对象的姿势，多个关键点包括目标关键点和其他关键点。采用上述实现方案，姿势识别装置从第一特征图中确定目标关键点，并基于目标关键点建立三维坐标系，之后预测其他关键点在三维坐标系中的其他三维坐标，姿势识别装置根据其他三维坐标间接的计算多个关键点的多个绝对坐标，由于基于目标关键点建立的三维坐标系的计算误差小，进而降低了姿势识别的误差，提高姿势识别的准确性。
附图说明
图1为TOF摄像机捕获的深度图像示意图；
图2为边界框检测结果的示意图；
图3为手关键点的位置的示意图；
图4为2D手姿势估计结果的示意图；
图5为手部姿势检测的流程示意图；
图6为RoIAlign的可视化操作示意图；
图7为本实施例提供的一种姿势识别方法的流程图；
图8为本实施例提供的一种示例性的3D手势估计示意图；
图9为本实施例提供的一种示例性的关键点特征提取的示意图；
图10为本实施例提供的一种姿势识别装置的结构示意图一；
图11为本实施例提供的一种姿势识别装置的结构示意图二。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
飞行时间(ATime-Of-Flight，TOF)相机是一种范围成像相机系统，它采用飞行时间技术，通过测量由激光或LED提供的人造光信号的往返时间来解析相机与对象之间图像距离的距离。TOF相机输出尺寸为(H×W)的图像，该2D图像上的每个像素值表示对象的深度值(即，像素值的范围为0mm至3000mm)。图1列出了由TOF摄像机捕获的示例图像。在下文中，我们将此类TOF相机捕获的图像视为深度图像。
TOF相机捕获到深度图像之后，对深度图像进行手部检测，然后输出手存在的概率(即，从0到1的数字，较大的值表示手存在的置信度)，以及手边界框(即，代表手的位置和大小的边界框)。
图2显示了一个示例边界框检测结果，在上下文中，表示为(xmin，ymin，xmax，ymax)，其中(xmin，ymin)是边界框的左上角，(xmax，ymax)是该边界框的右下角边界框。
在手部检测输出手存在的概率以及手边界框之后，可以进行2D手部姿势估计和/或3D手部姿势估计。
对于2D手部姿势估计，输入深度图像，并输出手骨骼的2D关键点位置，图3中显示了这些手关键点的位置的示例图像。每个关键点都是2D坐标(例如(x，y)，其中x在水平图像轴上，y在垂直图像轴上)，代表位置。一个2D手姿势估计结果如图4所示。
对于3D手部姿势估计，输入深度图像，并输出手骨骼的3D关键点位置，图3中显示了手关键点位置的示例图像。每个关键点位置都是3D坐标(例如，(x，y，z)，其中x在水平图像轴上，y在垂直图像轴上，z在深度方向上)。在我们的上下文中，我们正在研究3D手势估计问题。
对于手部检测而言，典型的手部姿势检测流水线包括手部检测和手部姿势估计的过程，手部检测包括主干特征提取器和边界框检测头，手部姿势估计包括主干特征提取器和姿势估计头。手部姿势检测的流程示意图如图5所示。需要说明的是，手部检测和手部姿势估计的任务是完全分开的。为了连接这两个任务，将输出边界框位置调整为边界框内像素的质心，并且将边界框的大小略微放大以包括所有手形像素。调整后的边界框用于裁剪原始深度图像。裁剪后的图像被输入到手势估计任务中。当两次应用主干特征提取器提取图像特征时，发现重复的计算。
RoIAlign层消除了RoIPool的苛刻量化，将提取的特征与输入正确对齐。即避免对RoI边界或bin进行任何量化(即，使用x/16代替[x/16])。具体的，使用双线性插值法来计算每个RoI箱中四个定期采样位置的输入要素的准确值，并汇总结果(使用最大值或平均值)，有关详细信息，请参见图6。其中，虚线网格表示特征图，实线表示RoI(在此示例中为2*2格)，点为每个格中的4个采样点。RoIAlign通过双线性插值法从特征图上附近的网格点计算每个采样点的值。RoI，其bin或采样点中涉及的任何坐标都不会进行量化。
可以理解的是，只要不执行量化，结果对精确的采样位置或采样的点数都不敏感。
在实现手部姿势估计的过程中，需要计算特征关键点的UVD坐标和XYZ坐标，其中，UVD坐标和XYZ坐标之间的关系如下式1所示。UVD到XYZ，(x，y，z)是XYZ格式的坐标，(u，v，d)是UVD格式的纵坐标。Cx和Cy代表主要点，理想情况下应位于图像中心。fx和fy是x方向和y方向上的焦距。
可以通过卷积神经网络(Convolutional Neural Network，CNN)实现手部姿势估计，其中，CNN由一个输入层和一个输出层以及多个隐藏层组成。CNN的隐藏层通常由一系列与乘法或其他点积卷积的卷积层组成。激活函数通常是RELU层，随后是其他卷积，例如池化层，全连接层和归一化层，称为隐藏层，因为它们的输入和输出被激活函数和最终卷积掩盖了。反过来，最后的卷积通常涉及反向传播，以便更准确地称量最终产品。尽管这些层通俗地称为卷积，但这仅是约定。从数学上讲，它是滑点积或互相关。这对矩阵中的索引具有重要意义，因为它会影响在特定索引点确定权重的方式。
对CNN进行编程时，神经网络中的每个卷积层都应具有以下属性：
1、输入是具有形状(图像数量)x(图像宽度)x(图像高度)x(图像深度)的张量。
2、卷积核，其宽度和高度是超参数，并且其深度必须等于图像的深度。卷积层对输入进行卷积，并将其结果传递给下一层。这类似于视觉皮层中神经元对特定刺激的反应。
每个卷积神经元仅针对其接受场处理数据。尽管可以使用完全连接的前馈神经网络来学习特征以及对数据进行分类，但是将这种体系结构应用于图像并不实际。由于与图像相关联的非常大的输入大小(每个像素都是一个相关变量)，即使在较浅的结构(与深层结构相反)中，也需要非常大量的神经元。例如，大小为100x100的(小)图像的完全连接层在第二层中的每个神经元的权重为10,000。卷积操作为该问题提供了解决方案，因为它减少了可用参数的数量，从而允许使用更少的参数来使网络更深入。例如，无论图像大小如何，大小为5x5的切片区域均具有相同的共享权重，仅需要25个可学习的参数。这样，它通过反向传播解决了训练具有多层结构的传统多层神经网络时梯度消失或爆炸的问题。
卷积网络可以包括局部或全局池化层，以简化基础计算。池化层通过将一层神经元簇的输出组合到下一层中的单个神经元中来减少数据的大小。局部池结合了通常为2x2的小簇。全局池作用于卷积层的所有神经元。另外，合并可以计算最大值或平均值。最大池使用上一层中每个神经元簇的最大值。平均池使用上一层神经元集群中每个集群的平均值。
全连接层将一层中的每个神经元连接到另一层中的每个神经元。它在原则上与传统的多层感知器神经网络(Multi-Layer Perceptron，MLP)相同。展平的矩阵经过一个完全连接的层以对图像进行分类。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本实施例提供一种姿势识别方法，如图7所示，该方法可以包括：
S101、获取第一特征图，并从第一特征图中确定目标关键点；第一特征图为深度图像中的目标区域对应的特征图。
本实施例提出的一种姿势识别方法适用于3D手势估计的场景下。
3D手势估计包括手部检测和手部姿势估计两个流程，如图8所示，其中，手部检测流程包括主干特征提取器和边界框检测头，TOF相机捕获深度图像，并将深度图像依次传输至主干特征提取器和边界框检测头中进行处理，输出深度图像中的手部区域；之后，将手部区域依次输入边界框选择和RioAlign特征提取器中，得到手部区域对应的RioAlign特征图，本申请的姿势识别方法设置在RioAlign特征提取器之后，使用RioAlign特征图作为3D手部姿势估计任务的回归头，实现本申请中的姿势识别流程。
需要说明的是，本申请中的目标识别对象为手，则深度图像的目标区域即为上述手部区域，第一特征图即为手部区域的RioAlign特征图。
本实施例中，在获取到第一特征图之后，确定第一特征图中的目标关键点。
需要说明的是，在实现手部姿势识别的场景中，目标关键点为预先设置的手部关节的关键点，可以为拇指根关键点、食指根关键点等。
本实施例中，预先设置拇指根所处位置为三维坐标系的坐标原点，则拇指跟关键点即为目标关键点，姿势识别装置从第一特征图中查找拇指根关键点。
可以理解的是，由于在大部分手部姿势中拇指根均不会被遮挡，因此将拇指根关键点作为目标关键点，能够使得在第一特征图中确定出的三维坐标系更加准确，进而提高手势识别的准确性。本实施例不仅限于将拇指根关键点作为目标关键点，还可以基于其他选择策略预先设置目标关键点的类型，本实施例不对目标关键点的类型作具体的限定。
S102、利用目标关键点，在第一特征图中建立三维坐标系，并预测其他关键点在三维坐标系中的其他三维坐标；其他关键点为第一特征图中除目标关键点外的关键点。
在姿势识别装置从第一特征图中确定目标关键点之后，姿势识别装置利用目标关键点，在第一特征图中建立三维坐标系，并预测第一特征图中的其他关键点在三维坐标系中的其他三维坐标。
本实施例中，以目标关键点为三维坐标系的坐标原点，建立三维坐标系。即，目标关键点在三维坐标系中的坐标为(0，0，0)。
示例性的，可以将20个手部关节关键点设置为多个关键点，如图3所示，其中，拇指根关键点18为目标关键点，其他19个手部关节关键点为其他关键点。
本实施例中，将第一特征图依次输入XYZ编码器和全连接层，以基于三维坐标系得到其他关键点对应的其他三维坐标。
需要说明的是，三维坐标系为XYZ坐标系，其他三维坐标即为XYZ坐标系中的XYZ坐标。
需要说明的是，将第一特征图输入XYZ编码器之前，先利用基本特征提取器提取第一特征图上的关键点特征。
示例性的，如图9所示，对于7x7x256的特征图，首先应用3x3x128卷积层Convl将通道从256缩小到128，之后，将7x7x128的特征图与卷积层Conv2(3x3x128)卷积，进一步提取基本关键点特征，Conv2有跳跃连接，将Conv2的输入与Conv2的输出相加。这个Conv2和它的跳跃连接重复4次。之后，对7x7x128的关键点特征映射，使用3x3内核的最大池，即Pooll，向下采样2次，大小为3x3x128。
在利用基本特征提取器提取出第一特征图上的关键点特征之后，将第一特征图上的关键点特征依次输入XYZ编码器和全连接层中，得到其他关键点对应的其他三维坐标。
参考图9，将3x3x128的特征图输入局部XYZ编码器中，与Conv4进行卷积以输出相同大小的关键点特征图，之后跳过连接将Conv4的输入与Conv4的输出相加。带有相应跳过连接的Conv4重复4次。之后，通过内核3x3(即Pool3)的最大池化，将3x3x128关键点特征图下采样2次，大小为1x1x128。之后，将大小为1x1x128的特征图输入FC2全连接层，来回归其他关键点在XYZ坐标系中的其他XYZ坐标。
S103、基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于多个绝对坐标确定目标区域中的目标识别对象的姿势，多个关键点包括目标关键点和其他关键点。
在姿势识别装置预测了其他关键点在三维坐标系中的其他三维坐标之后，姿势识别装置基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，其中，多个关键点包括目标关键点和其他关键点，以供后续的基于多个绝对坐标识别出手部姿势。
本实施例中，首先确定目标关键点的目标绝对坐标；之后，基于目标绝对坐标和其他三维坐标，确定多个关键点的多个绝对坐标。其中，多个绝对坐标由目标绝对坐标和其他绝对坐标组成。
本实施例中，将目标绝对坐标分别与其他三维坐标相加，即可得到对应的其他关键点的其他绝对坐标。
本实施例中，确定目标关键点的目标绝对坐标的具体步骤包括：首先获取目标关键点的二维位置，之后根据二维位置确定出目标关键点的目标绝对深度；再基于目标关键点的目标绝对深度，确定出目标关键点的目标绝对坐标。
需要说明的是，通过UV编码器获取目标关键点的二维位置，具体的，将第一特征图输入UV编码器，得到目标关键点的目标UV坐标，将目标UV坐标确定为目标关键点的二维位置。
参考图9，将3x3x128的特征图输入UV编码器中，与Conv3进行卷积以输出相同大小的关键点特征图，之后跳过连接将Conv3的输入与Conv3的输出相加。带有相应跳过连接的Conv3重复4次。之后，通过内核3x3(即Pool2)的最大池化，将3x3x128关键点特征图下采样2次，大小为1x1x128。之后，将大小为1x1x128的特征图输入FC1全连接层，来回归出目标关键点的目标UV坐标。
需要说明的是，在获取到目标关键点的二维位置之后，判断该二维位置是否处于深度图像的背景，在确定出目标关键点的二维位置处于深度图像的背景的情况下，以二维位置为中心，确定预设范围内像素点的深度值，并从预设范围内像素点的深度值中确定最近深度，利用最近深度确定目标绝对深度。
示例性的，当拇指根关键点的2D位置落在背景上时，以拇指根关键点的2D位置为中心，查找5*5边界框(预设范围)内所有像素的深度值，并从中确定最近深度，之后根据最近深度计算拇指根关键点的绝对深度。
本实施例中，可以利用UV编码器，确定出二维位置为中心，预设范围内的所有像素的深度值。
进一步地，在确定出拇指根关键点的目标绝对深度之后，可以基于拇指根关键点的目标绝对深度和预测的其他关键点的其他三维坐标中的深度，得到其他关键点的绝对坐标中的绝对深度。
在得到第一特征图中的多个关键点的多个绝对坐标之后，即可通过多个绝对坐标还原出第一特征图中的目标识别对象的姿势，并基于目标识别对象的姿势，实现VR、AR、机器人控制和手语识别等功能。
可以理解的是，姿势识别装置从第一特征图中确定目标关键点，并基于目标关键点建立三维坐标系，之后预测其他关键点在三维坐标系中的其他三维坐标，姿势识别装置根据其他三维坐标间接的计算多个关键点的多个绝对坐标，由于基于目标关键点建立的三维坐标系的计算误差小，进而降低了姿势识别的误差，提高姿势识别的准确性。
本实施例提供一种姿势识别装置1，如图10所示，该装置1包括：
获取部分10，配置为获取第一特征图；
确定部分11，配置为从所述第一特征图中确定目标关键点；所述第一特征图为深度图像中的目标区域对应的特征图；基于所述目标关键点和所述其他三维坐标，确定多个关键点的多个绝对坐标，以基于所述多个绝对坐标确定所述目标区域中的目标识别对象的姿势，所述多个关键点包括所述目标关键点和所述其他关键点；
坐标系建立部分12，配置为利用所述目标关键点，在所述第一特征图中建立三维坐标系；
坐标预测部分13，配置为预测其他关键点在所述三维坐标系中的其他三维坐标；所述其他关键点为所述第一特征图中除所述目标关键点外的关键点。
可选的，所述坐标预测部分13，还配置为将所述第一特征图依次输入XYZ编码器和全连接层，以基于所述三维坐标系得到所述其他关键点对应的所述其他三维坐标。
可选的，所述确定部分11，还配置为确定所述目标关键点的目标绝对坐标；基于所述目标绝对坐标和所述其他三维坐标，确定所述多个绝对坐标。
可选的，所述获取部分10，还配置为获取所述目标关键点的二维位置；
所述确定部分11，还配置为根据所述二维位置确定出所述目标关键点的目标绝对深度；基于所述目标关键点的目标绝对深度，确定出所述目标关键点的目标绝对坐标。
可选的，所述确定部分11，还配置为将所述第一特征图输入UV编码器，得到所述目标关键点的目标UV坐标；将所述目标UV坐标确定为所述二维位置。
可选的，所述装置还包括：查找部分；
所述查找部分，配置为在确定出所述二维位置处于所述深度图像的背景的情况下，以所述二维位置为中心，确定预设范围内像素点的深度值，
所述确定部分11，还配置为从所述预设范围内像素点的深度值中确定最近深度；利用所述最近深度，确定所述目标绝对深度。
可选的，所述目标识别对象为手，所述目标关键点为拇指根关键点。
本实施例提供的一种姿势识别装置，获取第一特征图，并从第一特征图中确定目标关键点；第一特征图为深度图像中的目标区域对应的特征图；利用目标关键点，在第一特征图中建立三维坐标系，并预测其他关键点在三维坐标系中的其他三维坐标；其他关键点为第一特征图中除目标关键点外的关键点；基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于多个绝对坐标确定目标区域中的目标识别对象的姿势，多个关键点包括目标关键点和其他关键点。由此可见，本实施例提出的姿势识别装置，从第一特征图中确定目标关键点，并基于目标关键点建立三维坐标系，之后预测其他关键点在三维坐标系中的其他三维坐标，姿势识别装置根据其他三维坐标间接的计算多个关键点的多个绝对坐标，由于基于目标关键点建立的三维坐标系的计算误差小，进而降低了姿势识别的误差，提高姿势识别的准确性。
图11为本实施例提供的一种姿势识别装置1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图11所示，本实施例的姿势识别装置1包括：处理器14、存储器15及通信总线16。
在具体的实施例的过程中，上述获取部分10、确定部分11、坐标系建立部分12、坐标预测部分13和查找部分可由位于姿势识别装置1上的处理器14实现，上述处理器14可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理终端(DSPD，Digital SignalProcessing Device)、可编程逻辑终端(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本实施例中，上述通信总线16用于实现处理器14和存储器15之间的连接通信；上述处理器14执行存储器15中存储的运行程序时实现如上述实施例所述的姿势识别方法。
本实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于姿势识别装置中，该计算机程序实现如上述实施例所述的姿势识别方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
工业实用性
本实施例提供了一种姿势识别方法及装置、存储介质，该方法包括：获取第一特征图，并从第一特征图中确定目标关键点；第一特征图为深度图像中的目标区域对应的特征图；利用目标关键点，在第一特征图中建立三维坐标系，并预测其他关键点在三维坐标系中的其他三维坐标；其他关键点为第一特征图中除目标关键点外的关键点；基于目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于多个绝对坐标确定目标区域中的目标识别对象的姿势，多个关键点包括目标关键点和其他关键点。采用上述实现方案，姿势识别装置从第一特征图中确定目标关键点，并基于目标关键点建立三维坐标系，之后预测其他关键点在三维坐标系中的其他三维坐标，姿势识别装置根据其他三维坐标间接的计算多个关键点的多个绝对坐标，由于基于目标关键点建立的三维坐标系的计算误差小，进而降低了姿势识别的误差，提高姿势识别的准确性。

Claims (6)

1.一种姿势识别方法，所述方法包括：
获取第一特征图，并从所述第一特征图中确定目标关键点；所述第一特征图为深度图像中的目标区域对应的特征图；
基于所述目标关键点，在所述第一特征图中建立三维坐标系，并计算其他关键点在所述三维坐标系中的其他三维坐标；所述其他关键点为所述第一特征图中除所述目标关键点外的关键点；
基于所述目标关键点和所述其他三维坐标，确定多个关键点的多个绝对坐标，以基于所述多个绝对坐标确定所述目标区域中的目标识别对象的姿势，所述多个关键点包括所述目标关键点和所述其他关键点；
所述基于所述目标关键点和所述其他三维坐标，确定多个关键点的多个绝对坐标，包括：
确定所述目标关键点的目标绝对坐标；
基于所述目标绝对坐标和所述其他三维坐标，确定所述多个绝对坐标；
所述确定所述目标关键点的目标绝对坐标，包括：
获取所述目标关键点的二维位置；
根据所述二维位置确定出所述目标关键点的目标绝对深度；
基于所述目标关键点的目标绝对深度，确定出所述目标关键点的目标绝对坐标；
所述根据所述二维位置确定出所述目标关键点的目标绝对深度，包括：
在确定出所述二维位置处于所述深度图像的背景的情况下，以所述二维位置为中心，确定预设范围内像素点的深度值，并从所述预设范围内像素点的深度值中确定最近深度；
利用所述最近深度，确定所述目标绝对深度；
在确定出所述目标关键点的所述目标绝对深度之后，基于所述目标关键点的所述目标绝对深度和预测的所述其他关键点的所述其他三维坐标中的深度，得到所述其他关键点的绝对坐标中的绝对深度。
2.根据权利要求1所述的方法，其中，所述获取所述目标关键点的二维位置，包括：
将所述第一特征图输入UV编码器，得到所述目标关键点的目标UV坐标；
将所述目标UV坐标确定为所述二维位置。
3.根据权利要求1所述的方法，其中，所述目标识别对象为手，所述目标关键点为拇指根关键点。
4.一种姿势识别装置，所述装置包括：
获取部分，配置为获取第一特征图；
确定部分，配置为从所述第一特征图中确定目标关键点；所述第一特征图为深度图像中的目标区域对应的特征图；基于所述目标关键点和其他三维坐标，确定多个关键点的多个绝对坐标，以基于所述多个绝对坐标确定所述目标区域中的目标识别对象的姿势，所述多个关键点包括所述目标关键点和其他关键点；
坐标系建立部分，配置为利用所述目标关键点，在所述第一特征图中建立三维坐标系；
坐标预测部分，配置为预测其他关键点在所述三维坐标系中的其他三维坐标；所述其他关键点为所述第一特征图中除所述目标关键点外的关键点；
所述确定部分还配置为确定所述目标关键点的目标绝对坐标；以及基于所述目标绝对坐标和所述其他三维坐标，确定所述多个绝对坐标；
所述确定所述目标关键点的目标绝对坐标，包括：
获取所述目标关键点的二维位置；
根据所述二维位置确定出所述目标关键点的目标绝对深度；
基于所述目标关键点的目标绝对深度，确定出所述目标关键点的目标绝对坐标；
所述根据所述二维位置确定出所述目标关键点的目标绝对深度，包括：
在确定出所述二维位置处于所述深度图像的背景的情况下，以所述二维位置为中心，确定预设范围内像素点的深度值，并从所述预设范围内像素点的深度值中确定最近深度；
利用所述最近深度，确定所述目标绝对深度；
在确定出所述目标关键点的所述目标绝对深度之后，基于所述目标关键点的所述目标绝对深度和预测的所述其他关键点的所述其他三维坐标中的深度，得到所述其他关键点的绝对坐标中的绝对深度。
5.一种姿势识别装置，所述装置包括：处理器及存储器；所述处理器执行存储器存储的运行程序时实现如权利要求1至3任一项所述的方法。
6.一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
CN202080071638.8A 2019-11-20 2020-11-09 一种姿势识别方法及装置、存储介质 Active CN114556268B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962938196P 2019-11-20 2019-11-20
US62/938,196 2019-11-20
PCT/CN2020/127568 WO2021098543A1 (zh) 2019-11-20 2020-11-09 一种姿势识别方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN114556268A CN114556268A (zh) 2022-05-27
CN114556268B true CN114556268B (zh) 2023-10-27

Family

ID=75980383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080071638.8A Active CN114556268B (zh) 2019-11-20 2020-11-09 一种姿势识别方法及装置、存储介质

Country Status (4)

Country Link
US (1) US20220343687A1 (zh)
EP (1) EP4060458A4 (zh)
CN (1) CN114556268B (zh)
WO (1) WO2021098543A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3965071A3 (en) * 2020-09-08 2022-06-01 Samsung Electronics Co., Ltd. Method and apparatus for pose identification
CN113642471A (zh) * 2021-08-16 2021-11-12 百度在线网络技术（北京）有限公司 一种图像识别方法、装置、电子设备和存储介质
US12014508B2 (en) * 2021-10-18 2024-06-18 Ford Global Technologies, Llc Distance determination from image data
CN114898464B (zh) * 2022-05-09 2023-04-07 南通大学 一种基于机器视觉的轻量化精准手指语智能算法识别方法
CN116884095B (zh) * 2023-09-08 2023-11-21 烟台大学 仿生机械手的手势识别控制方法、系统、设备和存储介质
CN117934572B (zh) * 2024-03-21 2024-05-28 南京起源跃动科技有限公司 一种3d骨骼坐标系与vr头显坐标系对齐的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN106875465A (zh) * 2017-01-20 2017-06-20 深圳奥比中光科技有限公司 基于rgbd图像的三维操控空间的建立方法及设备
CN108549489A (zh) * 2018-04-27 2018-09-18 哈尔滨拓博科技有限公司 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
CN109635621A (zh) * 2017-10-07 2019-04-16 塔塔顾问服务有限公司 用于第一人称视角中基于深度学习识别手势的系统和方法
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110348524A (zh) * 2019-07-15 2019-10-18 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN109308459B (zh) * 2018-09-05 2022-06-24 南京大学 基于手指注意力模型和关键点拓扑模型的手势估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN106875465A (zh) * 2017-01-20 2017-06-20 深圳奥比中光科技有限公司 基于rgbd图像的三维操控空间的建立方法及设备
CN109635621A (zh) * 2017-10-07 2019-04-16 塔塔顾问服务有限公司 用于第一人称视角中基于深度学习识别手势的系统和方法
CN108549489A (zh) * 2018-04-27 2018-09-18 哈尔滨拓博科技有限公司 一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110348524A (zh) * 2019-07-15 2019-10-18 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP4060458A1 (en) 2022-09-21
EP4060458A4 (en) 2022-12-28
CN114556268A (zh) 2022-05-27
WO2021098543A1 (zh) 2021-05-27
US20220343687A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN114556268B (zh) 一种姿势识别方法及装置、存储介质
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
EP1975879B1 (en) Computer implemented method for tracking object in sequence of frames of video
Wu et al. Pixel-attentive policy gradient for multi-fingered grasping in cluttered scenes
CA3122315A1 (en) Eye tracking method and system
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN113553943B (zh) 目标实时检测方法以及装置、存储介质、电子装置
CN112085789A (zh) 位姿估计方法、装置、设备及介质
WO2021098587A1 (zh) 手势分析方法、装置、设备及计算机可读存储介质
Rudolph et al. Lightweight monocular depth estimation through guided decoding
CN114586078A (zh) 手部姿态估计方法、装置、设备以及计算机存储介质
CN113065575A (zh) 一种图像处理方法及相关装置
CN114310887A (zh) 3d人腿识别方法、装置、计算机设备及存储介质
Zhang et al. Data association between event streams and intensity frames under diverse baselines
JP2023519725A (ja) 画像処理システム及び方法
US20230036402A1 (en) Focused Computer Detection Of Objects In Images
JP2021026599A (ja) 画像処理システム
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
JP2019125128A (ja) 情報処理装置、制御方法、及びプログラム
JP7556142B2 (ja) 点群からの効率的な三次元物体検出
CN115909418B (zh) 人体指向确定、屏幕控制方法、装置及相关设备
US20240153139A1 (en) Object pose estimation in the context of neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant