CN116959024A - 手部三维姿态追踪方法、装置、设备及存储介质 - Google Patents

手部三维姿态追踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116959024A
CN116959024A CN202210361474.3A CN202210361474A CN116959024A CN 116959024 A CN116959024 A CN 116959024A CN 202210361474 A CN202210361474 A CN 202210361474A CN 116959024 A CN116959024 A CN 116959024A
Authority
CN
China
Prior art keywords
hand
dimensional
image
joint
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210361474.3A
Other languages
English (en)
Inventor
齐越
车云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210361474.3A priority Critical patent/CN116959024A/zh
Publication of CN116959024A publication Critical patent/CN116959024A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种手部三维姿态追踪方法、装置、设备及存储介质，该方法包括：通过图像拍摄装置对手部进行图像采集获得待处理图像，获取手部的各二维关键点在待处理图像中的位置信息、各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，计算获得目标方程的数据约束项，并将手部形状和手部姿态相关的目标参数代入目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，从而实现基于普通彩色相机的手部三维姿态追踪。此外，由于手部形状标定可以表征手部的各骨骼的长度，因此即使不同人的手部的各个骨骼长度的比例不同，也可以实现精准的手部三维姿态追踪，进而实现自然的人机交互。

Description

手部三维姿态追踪方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种手部三维姿态追踪方法、装置、设备及存储介质。
背景技术
随着科技的发展，增强现实(Augmented Reality，简称AR)技术和虚拟现实(Virtual Reality，简称VR)技术在日常生活中应用越来越广泛。AR/VR技术的关键点在于手部姿态追踪。
目前，现有技术中可以使用深度相机获取手部深度图像，配合使用深度神经网络估计手部在图像中的位置信息，再使用优化方程求解出手部各关节的旋转角度，从而实现手部三维姿态追踪。但是，由于不同的人的手部形状不同，因此使用上述方法获得的手部三维姿态追踪结果并不精准。此外，深度相机成像范围小且价格昂贵，无法广泛应用。然而，通过目前广泛使用的手机自带的普通彩色相机获取的手部图像，仅可配合使用神经网络获取手部的各二维关键点在图像中的位置信息，获取手部的二维姿态，从而无法实现自然的人机交互。
因此，如何能够实现基于普通彩色相机的精准的手部三维姿态追踪，进而实现自然的人机交互是亟待解决的问题。
发明内容
本申请提供一种手部三维姿态追踪方法、装置、设备及存储介质，用以实现基于普通彩色相机的精准的手部三维姿态追踪。
第一方面，本申请实施例提供一种手部三维姿态追踪方法，包括：
获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的；
获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应；
将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
进一步地，如上所述的方法，所述数据约束项的计算公式为：
Ei(Ti,Ji)＝(pi(xi-ui)2+pi(yi-vi)2)2
其中，Ei(Ti,Ji)为数据约束项，pi为第i个二维关键点的似然概率信息，xi、yi分别为第i个二维关键点在所述待处理图像中的横坐标和纵坐标，ui、vi分别为手部的第i个关节投影到二维平面后的横坐标和纵坐标；
所述目标方程为：
其中，E3D为手部形状标定后的手部各关节的旋转角度；Jpersp(i)为投影矩阵对应的雅可比矩阵，用于将手部的第i个关节从三维空间投影到二维平面；Jbone(i)为手部形状对应的雅可比矩阵，其中，i为手部的第i个关节对应的雅可比矩阵的第i列，用于表征第i个关节所对应的骨骼引起的伸缩形变；Jskel(i)为手部姿态对应的雅可比矩阵，其中，i为手部姿态对应的雅可比矩阵的第i列，用于表征第i个关节的角速度；δβ为预设的形状参数变量；δθ为预设的姿态参数变量；Ei(Ti,Ji)为数据约束项。
进一步地，如上所述的方法，所述将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，包括：
将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
进一步地，如上所述的方法，所述先验约束方程为：
其中，Erot为约束项，ω1和ω2为预设的与关节运动速度相关的权重，θi为手部第i个关节的旋转角，和/>为手部第i个关节对应的最小和最大旋转范围。
进一步地，如上所述的方法，所述获取待处理图像之后，还包括：
采用第一神经网络，检测手部在所述待处理图像中的位置信息；
根据所述手部在所述图像中的位置信息，采用第二神经网络，获得所述各二维关键点在所述待处理图像中的位置信息和所述各二维关键点的似然概率信息。
第二方面，本申请实施例提供一种手部三维姿态追踪装置，包括：
获取模块，用于获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的；
计算模块，用于获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应；
处理模块，用于将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
进一步地，如上所述的装置，所述处理模块，还用于将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
第三方面，本申请实施例提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的手部三维姿态追踪方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的手部三维姿态追踪方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的手部三维姿态追踪方法。
本申请提供一种手部三维姿态追踪方法、装置、设备及存储介质，通过图像拍摄装置对手部进行图像采集获得待处理图像，获取手部的各二维关键点在待处理图像中的位置信息、各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，计算获得目标方程的数据约束项，并将手部形状和手部姿态相关的目标参数代入目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，从而实现基于普通彩色相机的手部三维姿态追踪。此外，由于手部形状标定可以表征手部的各骨骼的长度，因此即使不同人的手部的各个骨骼长度的比例不同，也可以实现精准的手部三维姿态追踪，进而实现自然的人机交互。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为现有技术提供的一种应用场景的示意图；
图2为本申请实施例提供的手部三维姿态追踪方法的流程图；
图3为本申请实施例提供的一种应用场景的示意图；
图4为本申请实施例提供的手部三维姿态追踪方法的流程图；
图5为本申请实施例提供的第一神经网络的结构示意图；
图6为本申请实施例提供的第二神经网络的结构示意图；
图7为本申请实施例提供的手部三维姿态追踪装置的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与本申请的一些方面相一致的装置和方法的例子。
随着科技的革新和发展，AR/VR技术在日常生活中越来越重要。作为AR/VR技术的关键环节，手部姿态追踪一直是研究的热点。目前，现有技术中可以使用深度相机获取手部深度图像，配合使用深度神经网络估计手部在图像中的位置信息，再使用优化方程求解出手部各关节的旋转角度，从而实现手部三维姿态追踪。
但是，由于不同的人的手部形状不同，因此使用上述方法获得的手部三维姿态追踪结果并不精准。此外，通过目前广泛使用的手机自带的普通彩色相机获取的手部图像，仅可配合使用神经网络获取手部的各二维关键点在图像中的位置信息，获取手部的二维姿态，从而无法实现自然的人机交互。
图1为现有技术提供的一种应用场景的示意图，如图1所示，黑色圆点标示出的为使用神经网络获取的手部的各二维关键点，细线标示出的为，使用优化方程求解出手部各关节的旋转角度后，得到的手部三维姿态追踪结果。可以看出，追踪结果并不能准确反映出手部三维姿态。
本申请提供的手部三维姿态追踪方法、装置、设备及存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
图2为本申请实施例提供的手部三维姿态追踪方法的流程图，如图2所示，本实施例提供的手部三维姿态追踪方法包括以下步骤：
步骤101、获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的。
步骤102、获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应。
步骤103、将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
需要说明的是，本实施例提供的手部三维姿态追踪方法的执行主体可以为手部三维姿态追踪装置。在实际应用中，该手部三维姿态追踪装置可以通过计算机程序实现，例如应用软件等，也可以通过存储有相关计算机程序的介质实现，例如，U盘、光盘等，或者，还可以通过集成或安装有相关计算机程序的实体装置实现，例如，芯片、板卡等。
在本实施例中，为了避免由于不同人的手部形状不同，导致手部三维姿态追踪结果不准确，需要在对手部三维姿态进行追踪的过程中对手部形状进行标定。具体地，手部三维姿态追踪装置首先可以获取包含手部的待处理的图像，该待处理图像是通过图像拍摄装置采集获得的。
需要说明的是，该图像拍摄装置为传统的图像拍摄装置，而不是可以获得场景的深度信息的拍摄装置，其包括但不限于移动端单目彩色相机，也即手机自带的普通彩色相机。
接下来，手部三维姿态追踪装置可以根据目标方程求解获得待处理图像中的手部三维姿态。在此之前，需要获得目标方程的数据约束项。具体地，手部三维姿态追踪装置可以获取手部的各二维关键点在待处理图像中的位置信息、各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项。
其中，手部的各二维关键点在待处理图像中的位置信息为手部的各二维关键点在待处理图像中的横坐标和纵坐标。各二维关键点的似然概率信息为手部的各二维关键点在该位置的置信区间。该手部的各二维关键点在待处理图像中的位置信息和二维关键点的似然概率信息，可以通过神经网络或其他任意合适的方式获得，本实施例中对此不作限定。
此外，手部各关节投影到二维平面后的位置信息为手部各关节投影到二维平面后的横坐标和纵坐标，该位置信息可以通过图像拍摄装置的参数计算获得。
需要说明的是，各二维关键点与手部各关节一一对应。
另外，数据约束项以及目标方程的计算公式将在实施例二中进行详细说明，本实施例中对此不作赘述。目标方程可以为几何优化方程，也可为其他适用于手部三维姿态追踪的方程，本实施例中对此不作限定。
最后，在手部三维姿态追踪装置获得目标方程的数据约束项之后，将目标参数代入目标方程中，求解即可获得手部形状标定后的手部各关节的旋转角度，实现手部三维姿态追踪。
其中，目标参数包括图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及数据约束项。
其中，图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵以及手部姿态对应的雅可比矩阵用于表征手部的各关节误差对于手部姿态或手部型形状的影响程度的矩阵，均可通过合适的方式计算获得，具体计算方法本实施例中不作限定。预设的手部形状参数变量和预设的手部姿态参数变量为每次计算后用来更新的变量，可根据实际情况进行设定。
在实际应用中，首先可以使用投影矩阵将手部各关节从三维空间投影到二维平面，获取手部各关节投影到二维平面后的位置信息，依次计算手部的各二维关键点在待处理图像中的位置信息与手部各关节投影到二维平面后的位置信息之间的距离，不断迭代优化直到距离达到最小。在求解过程中，使用投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵以及手部姿态对应的雅可比矩阵描述手部姿态和手部形状对上述距离的影响程度，在一个示例中，手部姿态和手部形状具体可以为手部关节旋转角度和手部骨骼长度。
需要说明的是，手部形状标定可以表征手部的各骨骼的长度，也就是说，手部形状标定可以避免由于不同人手部的各骨骼的长度的比例不同，导致的追踪结果不准确。
图3为本申请实施例提供的一种应用场景的示意图，如图3所示，左侧为包含手部的待处理图像，中间为手部各二维关键点，右侧为进行手部形状标定后的手部三维姿态追踪的可视化结果。在一种可实现的应用场景中，将左侧的待处理图像输入到手部三维姿态追踪装置中，即可输出右侧的可视化结果图。可以看出，手部形状标定后的手部三维姿态追踪结果能够准确反映出手部的三维姿态。
本实施例提供的手部三维姿态追踪方法，通过图像拍摄装置对手部进行图像采集获得待处理图像，获取手部的各二维关键点在待处理图像中的位置信息、各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，计算获得目标方程的数据约束项，并将手部形状和手部姿态相关的目标参数代入目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，从而实现手部三维姿态追踪。也就是说，在本申请实施例中，可以通过对目标方程进行求解，实现基于普通彩色相机的手部三维姿态追踪。此外，由于手部形状标定可以表征手部的各骨骼的长度，因此即使不同人的手部的各个骨骼长度的比例不同，也可以实现精准的手部三维姿态追踪，进而实现自然的人机交互。
实施例二
在上述实施例一的基础上，为了进一步说明本申请的手部三维姿态追踪方法，步骤101中，所述数据约束项的计算公式为：
Ei(Ti,Ji)＝(pi(xi-ui)2+pi(yi-vi)2)2
其中，Ei(Ti,Ji)为数据约束项，pi为第i个二维关键点的似然概率信息，xi、yi分别为第i个二维关键点在所述待处理图像中的横坐标和纵坐标，ui、vi分别为手部的第i个关节投影到二维平面后的横坐标和纵坐标；
所述目标方程为：
其中，E3D为手部形状标定后的手部各关节的旋转角度；Jpersp(i)为投影矩阵对应的雅可比矩阵，用于将手部的第i个关节从三维空间投影到二维平面；Jbone(i)为手部形状对应的雅可比矩阵，其中，i为手部的第i个关节对应的雅可比矩阵的第i列，用于表征第i个关节所对应的骨骼引起的伸缩形变；Jskel(i)为手部姿态对应的雅可比矩阵，其中，i为手部姿态对应的雅可比矩阵的第i列，用于表征第i个关节的角速度；δβ为预设的形状参数变量；δθ为预设的姿态参数变量；Ei(Ti,Ji)为数据约束项
在本实施例中，为了根据目标方程求解获得手部形状标定后的手部三维姿态，首先需要计算获得目标方程的数据约束项。具体地，数据约束项的计算公式为：
Ei(Ti,Ji)＝(pi(xi-ui)2+pi(yi-vi)2)2
其中，Ei(Ti,Ji)为数据约束项，pi为第i个二维关键点的似然概率信息，xi、yi分别为第i个二维关键点在所述待处理图像中的横坐标和纵坐标，ui、vi分别为手部的第i个关节投影到二维平面后的横坐标和纵坐标。
在计算时，首先计算xi-ui和yi-vi，即第i个二维关键点在待处理图像中的横坐标减去手部的第i个关节投影到二维平面后的横坐标，第i个二维关键点在待处理图像中的纵坐标减去手部的第i个关节投影到二维平面后的纵坐标，得到第i个关节分别在横坐标和纵坐标上的L1距离值，再分别对第i个关节分别在横坐标和纵坐标上的L1距离值进行平方处理，获得第i个关节分别在横坐标和纵坐标上的L2欧式距离值，再分别将得到的L2欧式距离值与第i个二维关键点的似然概率信息进行相乘处理，获得第i个关节分别在横坐标和纵坐标上的似然距离值，分别将所有的关节点在横坐标和纵坐标上的似然距离值进行加法处理，即可获得目标方程的数据约束项。具体地，该目标方程的数据约束项用于表征在此次迭代过程中待处理图像中手部的各二维关键点和手部求解模型中手部各关节的真实的空间距离。
获得目标方程的数据约束项之后，便可根据目标方程求解获得手部形状标定后的手部三维姿态。具体地，目标方程为：
其中，E3D为手部形状标定后的手部各关节的旋转角度；Jpersp(i)为投影矩阵对应的雅可比矩阵，用于将手部的第i个关节从三维空间投影到二维平面；Jbone(i)为手部形状对应的雅可比矩阵，其中，i为手部的第i个关节对应的雅可比矩阵的第i列，用于表征第i个关节所对应的骨骼引起的伸缩形变；Jskel(i)为手部姿态对应的雅可比矩阵，其中，i为手部姿态对应的雅可比矩阵的第i列，用于表征第i个关节的角速度；δβ为预设的形状参数变量；δθ为预设的姿态参数变量；Ei(Ti,Ji)为数据约束项。
在进行求解时，首先计算各个雅可比矩阵，其中Jpersp(i)是图像拍摄装置的内参投影矩阵的一阶形式，Jbone(i)中第i行中第j列分别代表了第i个关节对第j个骨骼的影响因子，可以根据该关节是否被该骨骼驱动确定该项的值，在一种可能的情况中，如果第j个骨骼影响了第i个关节的运动，则将该项设为“1*关节似然系数”，在又一种可能的情况中，如果第j个骨骼未影响第i个关节的运动，则将该项设为0。Jskel(i)中第i行第j列分别代表了第i个关节对第j个旋转角的影响因子，在一种可能的情况中，如果第j个旋转角影响了第i个关节的运动，则将该项设为“关节旋转角的向量值在旋转方向上的投影值*关节似然系数”，在又一种可能的情况中，如果第j个旋转角未影响第i个关节的运动，则将该项设为0。
本实施例提供的手部三维姿态追踪方法，根据目标方程求解获得手部形状标定后的手部各关节的旋转角度，从而实现基于普通彩色相机的精准的手部三维姿态追踪。
实施例三
在上述实施例一的基础上，为了进一步说明本申请的手部三维姿态追踪方法，步骤103中，所述将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，包括：将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
在本实施例中，为了避免求解出不合常理的手部各关节的旋转角度，保证手部三维姿态追踪的准确性，需要对求解过程进行约束。具体地，手部三维姿态追踪装置可以将目标参数代入目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
其中，先验约束方程用于约束不合理的关节旋转。
通过上述方式，可以对求解过程进行约束，保证求解出的手部各关节的旋转角度为合理的旋转角度，从而实现精准的手部三维姿态追踪。
在上述实施例三的基础上，所述先验约束方程为：
其中，Erot为约束项，ω1和ω2为预设的与关节运动速度相关的权重，θi为手部第i个关节的旋转角，和/>为手部第i个关节对应的最小和最大旋转范围。
在本实施例中，先验约束方程为：
其中，Erot为约束项，ω1和ω2为预设的与关节运动速度相关的权重，θi为手部第i个关节的旋转角，和/>为手部第i个关节对应的最小和最大旋转范围。
需要说明的是，ω1和ω2用于平衡各个关节的旋转角度，由于不同层次的关节的运动速度不同，因此采用不同的权重。例如，运动速度更快的关节采用较小的权重。
在本实施方式中，为了避免仅依赖于目标方程的数据项进行求解可能会获得不合理的手部姿态的问题，可以使用先验约束项限制不合理的关节旋转。具体地，可以通过经验预先确定手部第i个关节对应的最小和最大旋转范围，也即和/>当求解过程中出现求解得到的手部旋转角度小于最小值或者大于最大值时，Erot的值会剧烈增加，从而导致目标函数的值急剧增大，从而可以判断此时获得的手部姿态为不合理的手部姿态。在求解过程中，对于第i个关节旋转角，其旋转约束误差为/>
本实施例提供的手部三维姿态追踪方法，采用先验约束方程对求解过程进行约束，保证求解出的手部各关节的旋转角度为合理的旋转角度，从而实现精准的手部三维姿态追踪。
实施例四
图4为本申请实施例提供的手部三维姿态追踪方法的流程图，如图4所示，本实施例提供的手部三维姿态追踪方法，在其它任一实施例的基础上，在步骤101中，所述获取待处理图像之后，还包括以下步骤：
步骤201、采用第一神经网络，检测手部在所述待处理图像中的位置信息。
步骤202、根据所述手部在所述图像中的位置信息，采用第二神经网络，获得所述各二维关键点在所述待处理图像中的位置信息和所述各二维关键点的似然概率信息。
在本实施例中，为了计算目标方程的数据约束项，需要获取各二维关键点在待处理图像中的位置信息和各二维关键点的似然概率信息。具体地，在手部三维姿态追踪装置获取到待处理图像之后，可以采用第一神经网络检测手部在待处理图像中的位置信息。
在一个示例中，第一神经网络可以为采用轻量的目标检测架构的手部检测网络，图5为本申请实施例提供的第一神经网络的结构示意图，如图5所示，本申请实施例提供的第一神经网络包括主干网络(Backbone)、特征金字塔网络(Feature Pyramid)以及全连接网络，其中，主干网络包括5个卷积网络层，用于对待处理图像中的手部进行特征提取，提取手部的几何结构，特征金字塔网络用于对主干网络提取到的手部的几何结构中的不同尺度的信息进行融合，从而可以提高不同尺度的手部检测的准确性，全连接网络用于对手部进行分类并输出手部在待处理图像中的位置信息。
在获取手部在待处理图像中的位置信息后，手部三维姿态追踪装置可以根据手部在待处理图像中的位置信息，采用第二神经网络，获得各二维关键点在待处理图像中的位置信息和各二维关键点的似然概率信息。
在又一个示例中，第二神经网络可以为采用轻量的关键点位置估计的手部关键点位置检测网络，图6为本申请实施例提供的第二神经网络的结构示意图，如图6所示，本实施例提供的第二神经网络包括多个不同尺度的卷积层，用于对手部不同关键点的不同尺度特征进行处理。
在实际应用中，可以将包含有手部位置信息的待处理图像进行归一化预处理后，输入第二神经网络的第一卷积层，在第一卷积层进行多通道特征提取，并将提取的多通道特征输入第二卷积层，进行2倍的图像下采样，将下采样后的图像依次输入16个串联的不同尺度的卷积层，并在该16个串联的卷积层中使用8次残差连接，从而可以提高第二网络对于不同尺度特征的提取能力，通过输出层输出多张包含有各二维关键点位置信息的手部关键点热图，其中，手部关键点热图的尺寸与输入的待处理图像的尺寸相一致，该手部关键点热图中每个像素的值用于表征该像素属于第i个关节点的似然概率，其中，手部关键点热图中每个像素的值均位于0到1之间。
本实施例提供的手部三维姿态追踪方法，利用神经网络，获得各二维关键点在待处理图像中的位置信息和各二维关键点的似然概率信息，其中，在第一神经网络中使用有特征金字塔网络，从而可以提高不同尺度的手部检测的准确性，在第二神经网络中使用有多个不同尺度的卷积层，从而可以在减少网络计算量的同时保证手部二维关键点信息预测的准确性，从而为获得准确的目标方程的数据约束项奠定基础。
实施例五
图7为本申请实施例提供的手部三维姿态追踪装置的结构示意图，如图7所示，本实施例提供的手部三维姿态追踪装置包括：获取模块71、计算模块72以及处理模块73。其中，获取模块71，用于获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的。计算模块72，用于获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应。处理模块73，用于将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
本实施例提供的手部三维姿态追踪装置，通过图像拍摄装置对手部进行图像采集获得待处理图像，获取手部的各二维关键点在待处理图像中的位置信息、各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，计算获得目标方程的数据约束项，并将手部形状和手部姿态相关的目标参数代入目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，从而实现手部三维姿态追踪。也就是说，在本申请实施例中，可以通过对目标方程进行求解，实现基于普通彩色相机的手部三维姿态追踪。此外，由于手部形状标定可以表征手部的各骨骼的长度，因此即使不同人的手部的各个骨骼长度的比例不同，也可以实现精准的手部三维姿态追踪，进而实现自然的人机交互。
可选实施方式中，所述数据约束项的计算公式为：
Ei(Ti,Ji)＝(pi(xi-ui)2+pi(yi-vi)2)2
其中，Ei(Ti,Ji)为数据约束项，pi为第i个二维关键点的似然概率信息，xi、yi分别为第i个二维关键点在所述待处理图像中的横坐标和纵坐标，ui、vi分别为手部的第i个关节投影到二维平面后的横坐标和纵坐标；
所述目标方程为：
其中，E3D为手部形状标定后的手部各关节的旋转角度；Jpersp(i)为投影矩阵对应的雅可比矩阵，用于将手部的第i个关节从三维空间投影到二维平面；Jbone(i)为手部形状对应的雅可比矩阵，其中，i为手部的第i个关节对应的雅可比矩阵的第i列，用于表征第i个关节所对应的骨骼引起的伸缩形变；Jskel(i)为手部姿态对应的雅可比矩阵，其中，i为手部姿态对应的雅可比矩阵的第i列，用于表征第i个关节的角速度；δβ为预设的形状参数变量；δθ为预设的姿态参数变量；Ei(Ti,Ji)为数据约束项。
可选实施方式中，所述处理模块73，还用于将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
可选实施方式中，所述先验约束方程为：
其中，Erot为约束项，ω1和ω2为预设的与关节运动速度相关的权重，θi为手部第i个关节的旋转角，和/>为手部第i个关节对应的最小和最大旋转范围。
可选实施方式中，所述手部三维姿态追踪装置，还包括：检测模块，用于采用第一神经网络，检测手部在所述待处理图像中的位置信息。所述获取模块71，还用于根据所述手部在所述图像中的位置信息，采用第二神经网络，获得所述各二维关键点在所述待处理图像中的位置信息和所述各二维关键点的似然概率信息。
需要说明的是，本实施例提供的手部三维姿态追踪装置执行的技术方案和效果可以参见前述方法实施例的相关内容，在此不再赘述。
实施例六
图8为本申请实施例提供的电子设备的结构示意图，如图8所示，本申请还提供了一种电子设备800，包括：存储器801和处理器802。
存储器801，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机执行指令。存储器801可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器802，用于执行存储器801存放的程序。
其中，计算机程序存储在存储器801中，并被配置为由处理器802执行以实现本申请任意一个实施例提供的手部三维姿态追踪方法。相关说明可以对应参见附图中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，本实施例中，存储器801和处理器802通过总线连接。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
实施例七
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请任意一个实施例提供的手部三维姿态追踪方法。
实施例八
本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例提供手部三维姿态追踪方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程手部三维姿态追踪装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种手部三维姿态追踪方法，其特征在于，包括：
获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的；
获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应；
将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
2.根据权利要求1所述的方法，其特征在于，所述数据约束项的计算公式为：
Ei(Ti,Ji)＝(pi(xi-ui)2+pi(yi-vi)2)2
其中，Ei(Ti,Ji)为数据约束项，pi为第i个二维关键点的似然概率信息，xi、yi分别为第i个二维关键点在所述待处理图像中的横坐标和纵坐标，ui、vi分别为手部的第i个关节投影到二维平面后的横坐标和纵坐标；
所述目标方程为：
其中，E3D为手部形状标定后的手部各关节的旋转角度；Jpersp(i)为投影矩阵对应的雅可比矩阵，用于将手部的第i个关节从三维空间投影到二维平面；Jbone(i)为手部形状对应的雅可比矩阵，其中，i为手部的第i个关节对应的雅可比矩阵的第i列，用于表征第i个关节所对应的骨骼引起的伸缩形变；Jskel(i)为手部姿态对应的雅可比矩阵，其中，i为手部姿态对应的雅可比矩阵的第i列，用于表征第i个关节的角速度；δβ为预设的形状参数变量；δθ为预设的姿态参数变量；Ei(Ti,Ji)为数据约束项。
3.根据权利要求1所述的方法，其特征在于，所述将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，包括：
将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
4.根据权利要求3所述的方法，其特征在于，所述先验约束方程为：
其中，Erot为约束项，ω1和ω2为预设的与关节运动速度相关的权重，θi为手部第i个关节的旋转角，和/>为手部第i个关节对应的最小和最大旋转范围。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取待处理图像之后，还包括：
采用第一神经网络，检测手部在所述待处理图像中的位置信息；
根据所述手部在所述图像中的位置信息，采用第二神经网络，获得所述各二维关键点在所述待处理图像中的位置信息和所述各二维关键点的似然概率信息。
6.一种手部三维姿态追踪装置，其特征在于，包括：
获取模块，用于获取待处理图像，所述待处理图像是通过图像拍摄装置对手部进行图像采集获得的；
计算模块，用于获取手部的各二维关键点在所述待处理图像中的位置信息、所述各二维关键点的似然概率信息和手部各关节投影到二维平面后的位置信息，采用数据约束项的计算公式，计算获得目标方程的数据约束项；其中，所述各二维关键点与手部各关节一一对应；
处理模块，用于将目标参数代入所述目标方程中，求解获得手部形状标定后的手部各关节的旋转角度，所述手部形状标定表征所述手部的各骨骼的长度；其中，所述目标参数包括所述图像拍摄装置对应的投影矩阵对应的雅可比矩阵、手部形状对应的雅可比矩阵、预设的手部形状参数变量、手部姿态对应的雅可比矩阵和预设的手部姿态参数变量以及所述数据约束项。
7.根据权利要求6所述的装置，其特征在于，所述处理模块，还用于将目标参数代入所述目标方程中进行求解，并采用先验约束方程对求解过程进行约束，获得手部形状标定后的手部各关节的旋转角度。
8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-5中任一项所述的手部三维姿态追踪方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-5任一项所述的手部三维姿态追踪方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的手部三维姿态追踪方法。
CN202210361474.3A 2022-04-07 2022-04-07 手部三维姿态追踪方法、装置、设备及存储介质 Pending CN116959024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361474.3A CN116959024A (zh) 2022-04-07 2022-04-07 手部三维姿态追踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361474.3A CN116959024A (zh) 2022-04-07 2022-04-07 手部三维姿态追踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116959024A true CN116959024A (zh) 2023-10-27

Family

ID=88442971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361474.3A Pending CN116959024A (zh) 2022-04-07 2022-04-07 手部三维姿态追踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116959024A (zh)

Similar Documents

Publication Publication Date Title
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
CN112444242B (zh) 一种位姿优化方法及装置
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN113689578B (zh) 一种人体数据集生成方法及装置
JP5833507B2 (ja) 画像処理装置
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
CN112686950B (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN114022560A (zh) 标定方法及相关装置、设备
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN111563458A (zh) 基于YOLOv3和OpenCV的目标检测与定位方法
CN111273701B (zh) 一种云台视觉控制系统以及控制方法
CN112258565B (zh) 图像处理方法以及装置
CN113814987B (zh) 多相机机器人手眼标定方法、装置、电子设备及存储介质
CN113635299B (zh) 一种机械臂的校正方法、终端设备及存储介质
CN112330726B (zh) 一种图像处理方法及装置
CN116959024A (zh) 手部三维姿态追踪方法、装置、设备及存储介质
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization
CN111583317B (zh) 图像对齐方法、装置及终端设备
US20210183082A1 (en) Image registration method, apparatus, computer system, and mobile device
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination