CN109002163A - 三维交互姿势采样方法、装置、计算机设备及存储介质 - Google Patents

三维交互姿势采样方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109002163A
CN109002163A CN201810750726.5A CN201810750726A CN109002163A CN 109002163 A CN109002163 A CN 109002163A CN 201810750726 A CN201810750726 A CN 201810750726A CN 109002163 A CN109002163 A CN 109002163A
Authority
CN
China
Prior art keywords
function
probability density
pair
dimensional
posterior probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810750726.5A
Other languages
English (en)
Other versions
CN109002163B (zh
Inventor
黄惠
尹康学
张皓
丹尼尔·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810750726.5A priority Critical patent/CN109002163B/zh
Publication of CN109002163A publication Critical patent/CN109002163A/zh
Application granted granted Critical
Publication of CN109002163B publication Critical patent/CN109002163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本申请涉及一种三维交互姿势采样方法、装置、计算机设备和存储介质。所述方法包括：获取带标注的采样视频帧，所述标注为二维姿势对；获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；根据所述先验函数与所述三维似然函数构建后验概率密度函数；获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯‑黑斯廷斯采样法对后验概率密度函数进行采样，获得三维姿势对。本方法通过利用较易获取的视频数据来生成大量的三维交互姿势对，操作简单，成本相对较低。

Description

三维交互姿势采样方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种三维交互姿势采样方法、装置、计算机设备及存储介质。
背景技术
目前，有许多从二维数据中恢复出三维人体姿态的工作。获取单个或孤立的人物角色的三维姿态的几何形态方面已经不算特别困难。如从单个图像中自动估计二维关节，并用三维统计人体模型拟合二维关节以获得三维姿态和身体形状。或者如从新的动作捕捉数据学习关节角度限制模型，包括伸展姿态各种广泛使用的模型来约束单个姿态二维到三维的转换。
但是当采集的对象为运动中的人物角色，如直接采集诸如摔跤、拉丁舞等包含大量三维人体交互姿态的数据时，采集的难度和成本都很高。
发明内容
基于此，有必要针对上述技术问题，提供一种能轻松采集大量三维人体交互姿势的三维交互姿势采样方法、装置、计算机设备及存储介质。
一种三维交互姿势采样方法，所述方法包括：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
在其中一个实施例中，所述获取先验函数，根据所述带标注的采样视频帧生成三维似然函数包括：
获取先验函数；
根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数；
计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布；
通过核密度估计建立摄像装置视角的概率密度函数；
通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
在其中一个实施例中，所述根据所述带标注的采样视频帧生成二维似然函数包括：
获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分；
通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组；
通过所述交互坐标确定两个二维姿势对间的不相似性方程；
通过所述不相似性方程确定二维似然函数。
在其中一个实施例中，所述获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对之前，还包括：
随机选取所述带标注的采样视频帧；
通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对；
对所述预设初始三维姿势对进行人工编辑处理。
在其中一个实施例中，所述获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对包括：
获取预设初始三维姿势对；
根据后验概率密度函数构建提议分布；
根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
在其中一个实施例中，所述根据后验概率密度函数构建提议分布之前，还包括：
获取所述预设初始三维姿势对的密度；
根据所述预设初始三维姿势对的密度更新所述后验概率密度函数；
所述根据后验概率密度函数构建提议分布包括：
根据更新后的后验概率密度函数构建提议分布；
所述遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对包括：
遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
一种三维交互姿势采样装置，所述装置包括：
标注数据获取模块，用于获取带标注的采样视频帧，所述标注为二维姿势对；
第一函数生成模块，用于获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
第二函数生成模块，用于根据所述先验函数与所述三维似然函数构建后验概率密度函数；
三维姿势采样模块，用于获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
上述三维交互姿势采样方法、装置、系统以及存储介质，初始的采样视频帧所携带的数据为二维姿势对数据，通过初始的采样视频数据生成三维似然函数，依据三维似然函数构建概率密度函数，将二维姿势对到三维姿势对的复杂重建问题改变为建立概率密度函数，并通过梅特罗波利斯-黑斯廷斯采样法对概率密度函数进行采样，通过概率密度函数来进行二维到三维转换的问题，显著降低采集三维姿势对难度和成本。
附图说明
图1为一个实施例中三维交互姿势采样方法的流程示意图；
图2为一个实施例中步骤S400的流程示意图；
图3为一个实施例中步骤S430的流程示意图；
图4为另一个实施例中三维交互姿势采样方法的流程示意图；
图5为一个实施例中步骤S800的流程示意图；
图6为另一个实施例中步骤S800的流程示意图；
图7为一个实施例中三维交互姿势采样装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的三维交互姿势采样方法，基于马尔可夫链蒙特卡洛采样方法，通过数据驱动的方法来生成大量真实的三维人体交互姿态的数据。通过本申请可以生成大量真实的三维人体交互数据，并能较好地覆盖二维输入数据所隐含的人体姿态空间。本申请的三维交互姿势采样方法可用于人体运动数据合成和运动追踪等方面。可以通过计算机程序来实现本申请的三维交互姿势采样方法。
在一个实施例中，如图1所示，提供了一种三维交互姿势采样方法，包括以下步骤：
S200，获取带标注的采样视频帧，所述标注为二维姿势对。
采样视频帧如图2最左侧所示，是指从人体交互的视频中选取的包含有人体交互动作的静态图像，标注指的是采样数据帧中的二维姿势对，二维姿势对具体为二维骨骼姿势对，二维姿势对用于描述人体交互动作。首先获取带有二维姿势对的采样视频帧，获取具体是指程序获取用户直接输入采样视频帧，或者是获取用户输入采样视频，而后根据采样视频生成采样视频帧并添加标注。
S400，获取先验函数，根据所述带标注的采样视频帧生成三维似然函数。
先验函数是指对三维姿势对的物理先验用的函数，三维似然函数是指关于统计三维姿势对模型参数的函数。三维姿势对由骨骼关节位置编码，具体可以包含两个根旋转、两个根转换以及骨骼关节间的旋转角度。首先获取先验函数，先验函数是对三维姿势对的物理先验函数。先验函数具体如下：
其中θ为三维姿势对，是与θ物理上最接近的有效姿态对。分别用三维姿态对中的两个单独姿态的关节角度限制模型来估计η是渗透深度的和，可以通过使用ODE(OpenDynamics Engine，开放动力学引擎)在人物角色模型的骨架中检测到。默认α＝10，σp＝0.05。isvalid函数用于检测三维姿势对是否符合物理规律，当三维姿势对不符合物理规律时f(θ)为0。根据先验函数与所获取的采样视频帧生成三维似然函数。先验函数与三维似然函数中的参数均为三维姿势对。
S600，根据所述先验函数与所述三维似然函数构建后验概率密度函数。
后验概率是指关于随机事件或者不确定性断言的条件概率，是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是，考虑相关事件已经被检视并且能够得到一些信息。后验概率密度函数与先验函数与似然函数的乘积成正比。对于给定的包含了标注的视频帧集合D，构建的三维姿态对的后验概率密度函数f(θ|D)，其中θ为三维姿势对。
S800，获取预设初始三维姿势对，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
预设初始三维姿势对可以根据所获取的包含标注的采样视频帧通过人工设计生成。采样是指根据后验概率密度函数从预设初始三维姿势对出发，在预设初始三维姿势对周围进行过增强采样，来获得一定数量的三维姿势对。在获取预设初始三维姿势对后，通过梅特罗波利斯-黑斯廷斯采样法对在预设初始三维姿势对周围后验概率密度函数进行采样，获得三维姿势对。
上述三维交互姿势采样方法、装置、系统以及存储介质，初始的采样视频帧所携带的数据为二维姿势对数据，通过初始的采样视频数据生成三维似然函数，依据三维似然函数构建概率密度函数，将二维姿势对到三维姿势对的复杂重建问题改变为建立概率密度函数，并通过梅特罗波利斯-黑斯廷斯采样法对概率密度函数进行采样，通过概率密度函数来进行二维到三维转换的问题，显著降低采集三维姿势对难度和成本。
如图3所示，在其中一个实施例中，S400包括：
S410，获取先验函数。
S430，根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数。
S450，计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布。
而后根据给定的带标注的二维数据帧，生成局部坐标系同时生成二维似然函数，局部坐标系是一个从二维标注图中定义的两种人体姿态相关的坐标系。可以通过使用Akhter and Black的方法来重建三维骨干从而定义局部坐标系。通过使用这个方法可以来估计每个二维标注的姿态对应的三维骨干，然后从三维骨干中计算出三维骨架。由于三维骨架比完整的三维姿态更容易估计，如根据某个而个二维标注图定义了关于二维标注图中的两个三维骨干的局部坐标系。将这两个骨干表示为B1和B2，有两个根点r1和r2，建立一个局部坐标系(i，j，k)。则
i＝N(r2-r1)；
j＝N(N(B1)+N(B2))；
k＝ixj；
其中N为归一化操作，i，j，k是列向量。
通过[i，j，k](a，b，c)T＝(0，0，1)T的求解可将摄像设备视角转到局部坐标系(i，j，k)。为更好计算，将(a，b，c)T转化到二维球面坐标v＝(ψ，φ)。并估计各个采样视频帧中的摄像设备视角在二维球面坐标中的分布。
S470，通过核密度估计建立摄像装置视角的概率密度函数。
接下来可以通过KDE(kernel density estimation，核密度估计)来建立摄像设备视角的概率密度函数：
其中pi是输入的采样视频帧的集合D中的一个二维标注，υ(pi)是pi的摄像设备视角估计，n代表D中的标注数量。是高斯核，均值为υ(pi)带宽为σ2。
S490，通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
为了估计三维似然函数将摄像设备视角υ加入方程。对于给定摄像设备视角分布f(υ)，我们通过摄像设备视角分布上的蒙特卡洛积分提升二维标注上定义的二维似然函数，从而得到三维似然函数
其中vi是摄像设备视角的一个采样，表明了在该视角下三维姿态对θ在二维上的投影。通过摄像设备视角的分解，可以让我们在局部坐标系下对姿态对进行采样，而不需要考虑全局坐标。
如图4所示，在其中一个实施例中，步骤S430包括：
S432，获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分。
S434，通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组。
首先获取带标注的采样视频帧中二维姿势对的德洛内三角剖分，而后通过IC(Interaction coordinates，交互坐标)来表示有密切交互的二维姿势对，即将三角剖分的交互坐标定义为德洛内三角剖分边缘上的向量数组。即：
I(θ，T)＝(...，uij(θ)＝Ji(θ)-Jj(θ)，...)，(i，j)∈T
其中T为二维姿势对的德洛内三角剖分，(i，j)是德洛内三角剖分的边缘，Ji(θ)表示姿态对的第i个关节。利用交互坐标编码两个二维姿态间的交互。两个人物角色之间的密切交互由于有姿态间的相互作用和自我遮挡，以及相互缠绕的手臂或身体部位产生受限的搜索空间等，使交互难以表达，通过德洛内三角剖分得到的交互坐标可以编码这种交互。
S436，通过所述交互坐标确定两个二维姿势对间的不相似性方程。
IC通过使用一个基于图形的全局表示来联合编码两个单独的姿态以及它们之间的交互，利用IC可以衡量两个二维姿态对θ1和θ2之间的不相似性：
其中1/max(β，||uij(θ)||)为权重，通过权重平衡德洛内角剖分长短边带来的影响，β＝0.05位默认值。W表示权重之和。
S438，通过所述不相似性方程确定二维似然函数。
而后根据不相似性方程来估计二维似然函数，二维似然函数具体如下：
其中dI是指不相似性方程。σl＝0.01为默认。在另外的实施例中，可以用其他诸如K最近邻(Knn)图、Gabriel图和最小权三角化(minimum weight triangulations)等代替德洛内三角化。
如图5所示，在其中一个实施例中，S800之前还包括：
S720，随机选取所述带标注的采样视频帧。
S740，通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对。
S760，对所述预设初始三维姿势对进行人工编辑处理。
姿势升维是指将二维姿势对升维为三维姿势对，人工编辑处理是指人工对三维姿势对进行调整，使其更符合实际。在获取预设初始三维姿势对，根据预设初始三维姿势对与后验概率密度函数通过梅特罗波利斯-黑斯廷斯采样法对所述带标注的待采样视频帧进行采样，获得三维姿势对之前可以通过带标注的采样视频帧生成预设初始三维姿势对。通过姿势升维与人工编辑可以获得质量更高的初始三维姿势对。
如图6所示，在其中一个实施例中，S800包括：
S810，获取预设初始三维姿势对。
S830，根据后验概率密度函数构建提议分布。
S850，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
根据后验概率密度函数构建提议分布Q(θ′|θi)，而后通过梅特罗波利斯-黑斯廷斯采样从预设初始三维姿态对开始，在后验概率密度函数的参数空间中随机游走，从提议分布Q(θ′|θi)中生成一个姿态对θ′，θ′会被认为是一个新的被采样的姿态对θi+1需要满足：
A(θ′|θi)＝[f(θ′|D)*Q(θi|θ′)]/[f(θi|D)*Q(θ′|θi)]≥1
当不满足时，A(θ′|θi)将作为接受θ′的概率变量。对于K个初始姿态对，我们可以同时进行K个梅特罗波利斯-黑斯廷斯算法过程。当采样数大幅度增加时，生成的三维新姿态对可以快速地传播，并且倾向于以新颖的方式覆盖从输入的采样视频帧中得到的有密切交互的姿态。
在其中一个实施例中，S830之前包括：
S821，获取所述预设初始三维姿势对的密度；
S823，根据所述预设初始三维姿势对的密度更新所述后验概率密度函数。
S830包括：
S832，根据更新后的后验概率密度函数构建提议分布；
S850包括：
S852，遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
对于给定一个预设初始三维姿态对θ0，我们将其密度表示为f0，可以以f0为参考截断目标密度函数：
其中c＝100，可以利用初始密度作为参考，为样本的密度值设定一个合理的范围，我们用代替f(θ|D)来避免非常低密度的离群点，同时可以避免非常高密度的冗余样本。
在其中一个实施例中，所述根据后验概率密度函数构建提议分布包括：
根据后验概率密度函数构建速度偏置的提议分布。
在本实施例中，可以采用速度偏置的提议分布，其中速度矢量投影较大的参数被赋予较大的方差。可以通过标注的视频帧所对应的视频来预测三维姿势对的运动速度。通过视频对速度进行预测，可以直接估计速度偏差的变化，然后转换到三维。在速度偏置高斯提议分布Q(θ′|θi)中，提议参数集θ′的分量θ′(k)的方差σ2(k)可被估计为：
其中σ0(k)是分配给θ′(k)的一个小的初始方差，Δpθi(k)是θi(k)在其所对应的采样视频帧对应的视频序列中的一个二维标注p周围的二维投影的局部微分，这里p是集合D*的一个成员。在IC空间中，选择D*中的每个与θi的投影最相似的二维标注。
在其中一个实施例中，用户可以浏览这些三维姿势对的采样点，选择他们喜欢的，然后从该采样点中重新启动对三维姿势对采样，根据用户的意愿从一个新的方向进行更多的探索。这是不是所有的用户都想从一个初始状态中获取大量的人体姿态。
在其中一个实施例中，本申请的三维交互姿势采样方法包括：
获取带标注的采样视频帧，所述标注为二维姿势对。获取先验函数，获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分，通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组。通过所述交互坐标确定两个二维姿势对间的不相似性方程。通过所述不相似性方程确定二维似然函数。根据所述带标注的采样视频帧生成局部坐标系，计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布，通过核密度估计建立摄像装置视角的概率密度函数，通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。根据所述先验函数与所述三维似然函数构建后验概率密度函数，随机选取所述带标注的采样视频帧，通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对，对所述预设初始三维姿势对进行人工编辑处理。获取预设初始三维姿势对，获取所述预设初始三维姿势对的密度，根据所述预设初始三维姿势对的密度更新所述后验概率密度函数。根据更新后的后验概率密度函数构建速度偏置的提议分布。遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种三维交互姿势采样装置，包括：
标注数据获取模块200，用于获取带标注的采样视频帧，所述标注为二维姿势对；
第一函数生成模块400，用于获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
第二函数生成模块600，用于根据所述先验函数与所述三维似然函数构建后验概率密度函数；
三维姿势对采样模块800，用于获取预设初始三维姿势对，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
在其中一个实施例中，所述第一函数生成模块400包括：
先验函数构建单元，用于获取先验函数；
坐标系及二维似然函数生成单元，用于根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数；
摄像装置坐标计算单元，用于计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布；
概率密度估计单元，用于通过核密度估计建立摄像装置视角的概率密度函数；
三维似然函数生成单元，用于通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
在其中一个实施例中，坐标系及二维似然函数生成单元用于：
获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分；
通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组；
通过所述交互坐标确定两个二维姿势对间的不相似性方程；
通过所述不相似性方程确定二维似然函数。
在其中一个实施例中，还包括初始三维姿势对获取模块，用于：
随机选取所述带标注的采样视频帧；
通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对；
对所述预设初始三维姿势对进行人工编辑处理。
在其中一个实施例中，三维姿势对采样模块800具体用于：
初始姿势对获取单元，用于获取预设初始三维姿势对；
提议分布构建单元，用于根据后验概率密度函数构建提议分布；
根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
在其中一个实施例中，维姿势对采样模块800还用于：
获取所述预设初始三维姿势对的密度；
根据所述预设初始三维姿势对的密度更新所述后验概率密度函数；
根据更新后的后验概率密度函数构建提议分布；
遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
在其中一个实施例中，提议分布构建单元用于：
根据后验概率密度函数构建速度偏置的提议分布。
关于三维交互姿势采样装置的具体限定可以参见上文中对于三维交互姿势采样方法的限定，在此不再赘述。上述三维交互姿势采样装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维交互姿势采样方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取先验函数；
根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数；
计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布；
通过核密度估计建立摄像装置视角的概率密度函数；
通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分；
通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组；
通过所述交互坐标确定两个二维姿势对间的不相似性方程；
通过所述不相似性方程确定二维似然函数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
随机选取所述带标注的采样视频帧；
通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对；
对所述预设初始三维姿势对进行人工编辑处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取预设初始三维姿势对；
根据后验概率密度函数构建提议分布；
根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述预设初始三维姿势对的密度；
根据所述预设初始三维姿势对的密度更新所述后验概率密度函数；
根据更新后的后验概率密度函数构建提议分布；
遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据后验概率密度函数构建速度偏置的提议分布。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取先验函数；
根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数；
计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布；
通过核密度估计建立摄像装置视角的概率密度函数；
通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分；
通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组；
通过所述交互坐标确定两个二维姿势对间的不相似性方程；
通过所述不相似性方程确定二维似然函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
随机选取所述带标注的采样视频帧；
通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对；
对所述预设初始三维姿势对进行人工编辑处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取预设初始三维姿势对；
根据后验概率密度函数构建提议分布；
根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述预设初始三维姿势对的密度；
根据所述预设初始三维姿势对的密度更新所述后验概率密度函数；
根据更新后的后验概率密度函数构建提议分布；
遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据后验概率密度函数构建速度偏置的提议分布。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维交互姿势采样方法，所述方法包括：
获取带标注的采样视频帧，所述标注为二维姿势对；
获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
根据所述先验函数与所述三维似然函数构建后验概率密度函数；
获取预设初始三维姿势对，根据所述预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
2.根据权利要求1所述的方法，其特征在于，所述获取先验函数，根据所述带标注的采样视频帧生成三维似然函数包括：
获取先验函数；
根据所述带标注的采样视频帧生成局部坐标系以及二维似然函数；
计算所述采样视频帧对应的摄像装置坐标在所述局部坐标系的分布；
通过核密度估计建立摄像装置视角的概率密度函数；
通过所述摄像装置视角的概率密度函数上的蒙特卡洛积分，提升二维似然函数，得到三维似然函数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述带标注的采样视频帧生成二维似然函数包括：
获取所述带标注的采样视频帧中的二维姿势对的德洛内三角剖分；
通过交互坐标表示所述二维姿势对，所述交互坐标为德洛内三角剖分边缘上的向量数组；
通过所述交互坐标确定两个二维姿势对间的不相似性方程；
通过所述不相似性方程确定二维似然函数。
4.根据权利要求1所述的方法，其特征在于，所述获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对之前，还包括：
随机选取所述带标注的采样视频帧；
通过姿态升维，将所述选取的带标注的采样视频帧转换为预设初始三维姿态对；
对所述预设初始三维姿势对进行人工编辑处理。
5.根据权利要求1所述的方法，其特征在于，所述获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对包括：
获取预设初始三维姿势对；
根据后验概率密度函数构建提议分布；
根据所述预设初始三维姿势对，通过梅特罗波利斯－黑斯廷斯采样，遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对。
6.根据权利要求5所述的方法，其特征在于，所述根据后验概率密度函数构建提议分布之前，还包括：
获取所述预设初始三维姿势对的密度；
根据所述预设初始三维姿势对的密度更新所述后验概率密度函数；
所述根据后验概率密度函数构建提议分布包括：
根据更新后的后验概率密度函数构建提议分布；
所述遍历所述后验概率密度函数的参数空间，从所述提议分布中生成三维姿势对包括：
遍历所述更新后后验概率密度函数的参数空间，从所述根据更新后的后验概率密度函数构建提议分布中生成三维姿势对。
7.根据权利要求5所述的方法，其特征在于，所述根据后验概率密度函数构建提议分布包括：
根据后验概率密度函数构建速度偏置的提议分布。
8.一种三维交互姿势采样装置，其特征在于，所述装置包括：
标注数据获取模块，用于获取带标注的采样视频帧，所述标注为二维姿势对；
第一函数生成模块，用于获取先验函数，根据所述带标注的采样视频帧生成三维似然函数；
第二函数生成模块，用于根据所述先验函数与所述三维似然函数构建后验概率密度函数；
三维姿势对采样模块，用于获取预设初始三维姿势对，根据预设初始三维姿势对，通过梅特罗波利斯-黑斯廷斯采样法对所述后验概率密度函数进行采样，获得三维姿势对。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810750726.5A 2018-07-10 2018-07-10 三维交互姿势采样方法、装置、计算机设备及存储介质 Active CN109002163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810750726.5A CN109002163B (zh) 2018-07-10 2018-07-10 三维交互姿势采样方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810750726.5A CN109002163B (zh) 2018-07-10 2018-07-10 三维交互姿势采样方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109002163A true CN109002163A (zh) 2018-12-14
CN109002163B CN109002163B (zh) 2021-09-17

Family

ID=64598835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810750726.5A Active CN109002163B (zh) 2018-07-10 2018-07-10 三维交互姿势采样方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109002163B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287764A (zh) * 2019-05-06 2019-09-27 深圳大学 姿势预测方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907459A (zh) * 2010-07-12 2010-12-08 清华大学 基于单目视频的实时三维刚体目标姿态估计与测距方法
CN103988233A (zh) * 2011-12-14 2014-08-13 松下电器产业株式会社 姿势估计装置以及姿势估计方法
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
CN105760898A (zh) * 2016-03-22 2016-07-13 电子科技大学 一种基于混合组回归方法的视觉映射方法
CN106325509A (zh) * 2016-08-19 2017-01-11 北京暴风魔镜科技有限公司 三维手势识别方法及系统
US20170309041A1 (en) * 2016-04-22 2017-10-26 Electronics And Telecommunications Research Institute Method and apparatus for deriving information about input device using marker of the input device
CN107392097A (zh) * 2017-06-15 2017-11-24 中山大学 一种单目彩色视频的三维人体关节点定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907459A (zh) * 2010-07-12 2010-12-08 清华大学 基于单目视频的实时三维刚体目标姿态估计与测距方法
CN103988233A (zh) * 2011-12-14 2014-08-13 松下电器产业株式会社 姿势估计装置以及姿势估计方法
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
CN105760898A (zh) * 2016-03-22 2016-07-13 电子科技大学 一种基于混合组回归方法的视觉映射方法
US20170309041A1 (en) * 2016-04-22 2017-10-26 Electronics And Telecommunications Research Institute Method and apparatus for deriving information about input device using marker of the input device
CN106325509A (zh) * 2016-08-19 2017-01-11 北京暴风魔镜科技有限公司 三维手势识别方法及系统
CN107392097A (zh) * 2017-06-15 2017-11-24 中山大学 一种单目彩色视频的三维人体关节点定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONG-LUONG DINH，HEE-SOK HAN: "Principal Direction Analysis-based Real-time 3D Human Pose Reconstruction from a Single Depth Image", 《SOICT "13: PROCEEDINGS OF THE FOURTH SYMPOSIUM ON INFORMATION AND COMMUNICATION TECHNOLOGY》 *
IJAZ AKHTER，MICHAEL J. BLACK: "Pose-conditioned joint angle limits for 3D human pose reconstruction", 《 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
XIAOWEI ZHOU, SPYRIDON LEONARDOS: "3D Shape Estimation from 2D Landmarks: A Convex Relaxation Approach", 《IEEE CONF. COMPUT. VIS. PATTERN RECOGNIT》 *
刘晨光: "基于单目视频无标记点的三维人体姿态估计的研究", 《中国博士学位论文全文数据库信息科技辑（月刊 ）》 *
刘琼: "基于粒子滤波算法的三维关节型人体运动跟踪", 《北京理工大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287764A (zh) * 2019-05-06 2019-09-27 深圳大学 姿势预测方法、装置、计算机设备和存储介质
CN110287764B (zh) * 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
US11348304B2 (en) 2019-05-06 2022-05-31 Shenzhen University Posture prediction method, computer device and storage medium

Also Published As

Publication number Publication date
CN109002163B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US10304244B2 (en) Motion capture and character synthesis
JP6934887B2 (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
US8169438B1 (en) Temporally coherent hair deformation
CN110062934A (zh) 使用神经网络确定图像中的结构和运动
US11087517B2 (en) Sketch-based abstraction for character posing and synthesis
CN109493417A (zh) 三维物体重建方法、装置、设备和存储介质
CN109118531A (zh) 透明物体的三维重建方法、装置、计算机设备及存储介质
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
CN111868738B (zh) 跨设备监控计算机视觉系统
CN114937125B (zh) 可重建度量信息预测方法、装置、计算机设备和存储介质
CN109901123A (zh) 传感器标定方法、装置、计算机设备和存储介质
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
JP2010211732A (ja) 物体認識装置および方法
Schröder et al. Design and evaluation of reduced marker layouts for hand motion capture
CN116524088B (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质
US9652879B2 (en) Animation of a virtual object
CN109002163A (zh) 三维交互姿势采样方法、装置、计算机设备及存储介质
US11954801B2 (en) Concurrent human pose estimates for virtual representation
US8872832B2 (en) System and method for mesh stabilization of facial motion capture data
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN114913287A (zh) 一种三维人体模型重建方法及系统
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质
Lee et al. Real-time camera tracking using a particle filter and multiple feature trackers
Pang et al. JointMETRO: a 3D reconstruction model for human figures in works of art based on transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant