CN117710468B - 基于关节网格形变的姿态重定向方法、装置、设备及介质 - Google Patents
基于关节网格形变的姿态重定向方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117710468B CN117710468B CN202410168236.XA CN202410168236A CN117710468B CN 117710468 B CN117710468 B CN 117710468B CN 202410168236 A CN202410168236 A CN 202410168236A CN 117710468 B CN117710468 B CN 117710468B
- Authority
- CN
- China
- Prior art keywords
- joint
- model
- grid
- constraint
- target model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 27
- 230000002452 interceptive effect Effects 0.000 claims description 20
- 230000005477 standard model Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007620 mathematical function Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract 1
- 210000003108 foot joint Anatomy 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 210000003141 lower extremity Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 240000002299 Symphytum officinale Species 0.000 description 1
- 235000005865 Symphytum officinale Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供的一种基于关节网格形变的姿态重定向方法、装置、设备及介质，通过姿态检测将输入的原始姿态图像生成关节点三维坐标位置信息，并与目标模型进行关节点简化匹配获得对应关节点简化集合；然后采用四面体化方法，将关节点简化集合转换成关节网格，获得目标模型关节网格；经网格形变约束函数对目标模型进行局部变形约束，并通过最小化变量来优化模型运动效果，获得重定向后的目标模型关节网格。此外，本发明采用线性最小二乘二次规划优化策略，优化目标模型，以提升虚拟人姿态重定向效果。本发明充分考虑模型交互中各部位的空间关系，能够提升虚拟人姿态重定向的准确度和可视效果。
Description
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种基于关节网格形变的姿态重定向方法、装置、设备及介质。
背景技术
人体姿态重定向是计算机动画领域的一个重要课题，其核心目标是将已有的运动数据应用于不同骨骼比例和形态的虚拟人体模型，以实现更高效的动画制作和重用。由于虚拟人模型的多样化，同一套运动数据重定向到不同骨骼结构的虚拟人时，会导致重定向后的运动失真，需要大量的人工干预，增加制作成本和时间，这限制了其在各种复杂运动场景中的自动化应用。
研究发现，现有的姿态重定向方法在处理这种身体部位紧密作用的交互动作方面并没有考虑空间关系的特性。常见的方法是根据关节角度和运动学约束来重定向运动，这类方法往往需要大量计算去迭代求解，同时动画设计师还需要事先指定所有运动学约束。从工业化的角度来看，这需要大量手动编辑工作，不利于算法自动化。为了提高交互姿态重定向的效率，需要找到一种有效的表示方法，允许从现有的运动数据中提取，并在合成的新运动中保持这些空间关系。
随着动作捕捉技术的广泛应用和普及，大量的运动数据变得可用，为虚拟人物的动画制作提供了更多的可能性。然而，要将这些数据应用于不同骨骼模型和动画场景，需要克服许多挑战：（1）骨骼结构差异：不同的虚拟人物模型具有不同的骨骼结构和关节配置。这意味着从源模型到目标模型的骨骼映射通常需要进行复杂的关节匹配和变换。这种差异可能导致在应用运动数据时出现不自然的姿势或动作；（2）环境互动：虚拟人物通常需要与环境互动，例如与物体交互、穿越障碍物或适应不同的地形。这种互动需要对运动数据进行适当的调整，以便虚拟人物能够与环境进行协调互动，实现这一点需要考虑到环境的物理特性以及虚拟人物与环境之间的相互影响；（3）实时性要求：在一些应用场景中，特别是虚拟现实和实时游戏中，需要实时性的姿态重定向。这意味着任何重定向方法都必须能够在几乎无感知的时间内完成，以确保用户获得流畅的体验。然而，实时性要求会限制对于复杂计算的使用，这又会影响到重定向的准确性。因此，姿态的智能化重定向尤为必要。
有鉴于此，申请人在研究了现有的技术后特提出本申请。
发明内容
本发明旨在提供一种基于关节网格形变的姿态重定向方法、装置、设备及介质，通过构建关节网格与网格形变技术实现虚拟人姿态的重定向，保持交互运动的高层动作语义，提高交互姿态重定向的效率，为虚拟现实、视频游戏和电影制作等领域提供一种创新的解决方案。
为解决上述技术问题，本发明通过以下技术方案实现：
一种基于关节网格形变的姿态重定向方法，其特征在于，包括以下步骤：
S1，获取输入的原始姿态图像及虚拟人模型，即目标模型；
S2,采用姿态检测网络检测所述原始姿态图像，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合与所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
S3,采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
S4,通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格。
优选地，所述姿态检测网络采用BlazePose姿态估计网络模型，则所述S2具体为：
S21,对所述原始姿态图像进行预处理，通过所述BlazePose姿态估计网络模型对预处理后的原始姿态图像进行检测,生成源模型关节点集合,公式为：
其中，，/>代表第/>个初始估计化关节点，/>为关节点个数，/>为预处理后的原始姿态图像；
S22,采用中间映射标准模型降低重定向的复杂度，对所述源模型关节点集合和目标模型关节点集合/>进行关节点简化匹配，获得源模型关节点简化集合/>与目标模型关节点简化集合/>，/>与/>是一一配对的关系，关节点中间映射匹配过程表示为：
其中,表示关节点与中间映射标准模型关节点的简化映射操作，，/>，/>表示中间映射标准模型中关节点的个数，所述目标模型关节点集合/>，其中/>为所述目标模型的关节点个数；
S23,计算所述源模型与目标模型的骨骼长度比，表达式为：
其中，表示目标模型中关节点/>与/>组成的一根骨骼的长度，/>表示源模型关节点集合中关节点/>与/>组成的一根骨骼的长度。
优选地，步骤S3具体为：
S31,采用Delaunay四面体化的方法对所述源模型关节点简化集合进行计算源模型关节网格，其中，所述源模型关节网格为三维网格,由简化后的源模型关节点集合、关节网格的边集与四面体集构成，则每帧图像的所述源模型关节网格/>表达式为：
其中，关节网格的边集，/>表示关节点/>与关节点/>组成的边，四面体集/>是由多个四个相邻关节点组成的四面体集合；
S32,根据所述源模型关节点简化集合与所述目标模型关节点简化集合/>一一配对的关系，将所述源模型关节网格/>的边集关系迁移到/>，获得目标模型关节网格/>，表示为/>。
优选地，步骤S4中所述网格形变约束函数包括网格顶点位置约束、骨骼长度约束、交互关节点位置约束中的至少一个。
优选地，所述网格顶点位置约束是利用拉普拉斯坐标计算所述源模型关节网格和所述目标模型关节网格/>上的每个网格顶点的位置变化量,通过最小化位置变化量来最小化/>与/>之间的差异达到平滑的效果，所述网格顶点位置约束的表达式为：
其中，表示中间映射标准模型中关节点的个数,/>表示源模型关节点简化集合的第j个关节点，/>表示目标模型关节点简化集合/>的第j个关节点，L为拉普拉斯算子，其计算公式如下：
其中，表示以关节点/>为顶点的单环邻域顶点集，/>是以关节点/>为中心顶点与其它单环邻域顶点集组合成的混合区域表面积，/>、/>表示以关节网格边/>形成的四面体相对的两个夹角值，/>为余切三角函数符号。
优选地，所述骨骼长度约束是通过最小化所述源模型关节网格和所述目标模型关节网格/>的骨骼长度差来使骨骼长度从原始比例变形为目标比例，用以解决骨骼异构性带来的动画失真，所述骨骼长度约束的表达式为：
，
其中，B是中间映射标准模型的骨骼集合，，中间映射标准模型的关节点集合/>，点对/>表示关节点/>与/>组成的一根骨骼，/>表示目标模型的骨骼长度，/>表示源模型的骨骼长度，/>是源模型与目标模型的骨骼长度比。
优选地，所述交互关节点位置约束是在特定场景交互形变中，受特定位置约束的身体关节点从原始位置逐渐变形为指定位置，所述交互关节点位置约束的表达式为：
，
其中，其中表示约束关节点在每个位置收到交互信息的约束集合，/>表示所有特定交互位置约束的关节点的索引集合，/>是位置约束的个数，/>表示约束关节点/>到目标模型关节点/>的欧式距离。
优选地，通过所述网格形变约束函数的加权和与调整权重参数来控制约束效果，用以减小形变误差、优化模型运动效果，避免过度约束，其中，
通过所述网格顶点位置约束与交互关节点位置约束的加权和计算，即软约束，用于使得目标模型的骨骼正确缩放到目标值，则所述软约束表示为：，
其中，为所述网格顶点位置约束，/>为所述交互关节点位置约束，/>是权重系数；
通过所述骨骼长度约束和所述交互关节点位置约束/>的加权和计算，即硬约束，用于使得目标模型中的支撑脚关节位置与地面贴合，避免出现重心悬浮的现象，则硬约束表示为:
，
其中是权重系数；
通过最小化所述软约束和所述硬约束来重定向角色的运动，用于更新骨骼长度和交互关节位置，表达式为：
，
其中，argmin函数是现有的数学函数，用于找到取得最小值的自变量值，为拉格朗日乘子。
优选地,所述姿态重定向方法采用线性最小二乘二次规划优化策略对姿态重定向关节点集进行优化，通过迭代调整参数，直至目标收敛，获得优化后的姿态重定向关节点集/>，从而得到优化后的目标模型关节网格/>，用以实现虚拟人姿态重定向，具体公式为：
其中为迭代次数标识符，/>和/>分别表示满足Karush-Kuhn-Tucker（KKT）条件后的极小化拉格朗日乘子，得到约束条件下的可行解，表达式为:
，
其中，为求导符号。
优选地，所述原始姿态图像采用单目摄像头设备获取。
本发明还提供了一种基于关节网格形变的姿态重定向装置，包括：
输入单元，用于获取输入的原始姿态图像及虚拟人模型，即目标模型；
关节点云获取单元，用于获取所述原始姿态图像的关节点信息，通过采用姿态检测网络检测所述原始姿态图像，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合与所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
关节网络构建单元，用于获取目标模型关节网格，采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
重定向单元,用于获取重定向后的目标模型关节网格，通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格。
本发明还提供了一种基于关节网格形变的姿态重定向设备，包括处理器以及存储器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上所述的一种基于关节网格形变的姿态重定向方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被计算机可读存储介质所在设备的处理器执行时实现如上所述的一种基于关节网格形变的姿态重定向方法。
综上所述，与现有技术相比，本发明主要通过构建点云关节网格和关节网格重定向来实现虚拟人姿态重定向方法。通过姿态检测方法，将输入的原始姿态图像转化生成关节点三维坐标位置信息，获得源模型关节点集合，为了降低重定向的复杂度，采用中间映射标准模型，将源模型与目标模型进行关节点简化匹配；为了考虑到不同身体部位之间的隐式空间关系，能够更好的保留身体部位之间的空间拓扑关系，采用点云关节网格构建方法来计算模型各关节点单环领域的特征，为了识别近邻顶点对关节点的相互作用，采用Delaunay四面体化构建关节网格三维网格，然后通过网格形变与最小化源模型与目标模型的关节网格的局部变形，使目标点云的姿态更贴合源点云，获得更精细的姿态重定向效果。本发明具有如下有益效果：
（1）本发明通过中间映射标准模型，将源模与目标模型的关节点进行简化、匹配，形成一一配对关系，降低了模型重定向的复杂度。
（2）本发明充分考虑模型交互中身体部位的空间关系，利用关节网格来描述单个模型姿态的语义，并通过网格形变来保持姿态重定向后的隐式空间关系，即使源模型与重定向的目标模型骨骼比例不一致，目标模型在通过骨骼长度约束重定向后仍能准确表达原本的运动语义。
（3）与现有技术相比，本发明在处理大量运动数据时具有较快的计算效率，能够在保持运动语义不失真的同时，具备实时性姿态重定向的优势，以确保用户获得流畅体验，这对于需要快速动画重定向的应用，如虚拟现实和实时游戏，具有重要价值。
（4）本发明有利于扩大姿态重定向的应用范围，在提供多样化虚拟人机交互技术方面有着重大的现实意义和广泛的应用前景。
综上，基于关节网格形变的姿态重定向方法在保证准确性的同时，兼具实时性的优势，为实时姿态重定向应用带来了一种创新的解决方案。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的基于关节网格形变的姿态重定向方法流程图。
图2为本发明第一实施例提供的基于关节网格形变的姿态重定向方法框图。
图3为本发明第一实施例提供的顶点权重的角度表示图。
图4为本发明第二实施例提供的基于关节网格形变的姿态重定向装置流程图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例一
如图1和图2所示，本发明实施例一提供了基于关节网格形变的姿态重定向方法，其可以由一种基于关节网格形变的姿态重定向设备（以下简称重定向设备）来实现，特别的，由所述重定向设备内一个或者多个处理器来执行。
在本实施例中，所述重定向设备可为配备处理器的电子设备，处理器带有该虚拟人姿态重定向方法的计算机程序且计算机程序能够被执行，例如计算机、智能手机、智能平板等。重定向设备通过配备有一种基于关节网格形变的姿态重定向方法的处理器，通过获取输入的原始姿态图像以及目标模型，采用姿态检测网络方法，将输入的原始姿态图像转化生成关节点三维坐标位置信息，获得源模型关节点结合，并与目标模型进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合；然后采用Delaunay四面体化方法，将关节点简化集合转换成关节网格，得到目标模型关节网格；经网格形变约束函数进行局部变形约束，通过最小化变量来优化模型运动效果，获得重定向后的目标模型关节网格。此外，该方法采用线性最小二乘二次规划优化策略进行优化，得到优化后的目标模型关节网格，以提升虚拟人姿态重定向效果。
一种基于关节网格形变的姿态重定向方法，包括步骤S1至S4。
S1，获取输入的原始姿态图像以及虚拟人模型，即目标模型。
在本实施例中，本发明的两个输入，第一个是单目RGB图片，即原始姿态图像，第二个是自定义虚拟人模型,即目标模型。
在本实施例中，采用日常使用电子设备中普遍配备的单目摄像头获取人体运动图像信息。
S2,采用姿态检测网络检测所述原始姿态图像的图像区域，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合和所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
在本实施例中，采用姿态检测网络获取单目RGB图片中人体关节点的三维坐标信息。
具体地，采用BlazePose姿态估计网络模型获取单目RGB图片中人体关节点的集合，即源模型关节点集合/>，通过该姿态估计模型检测出图像/>中的33个人体关节点，形式化表达为：
，
,其中/>代表第/>个初始估计化人体关节点。
同时，本发明将虚拟人模型作为重定向的目标，设目标模型关节点集合为，/>为虚拟人模型关节点个数。
在本实施例中，BlazePose是一个轻量级的卷积神经网络架构，用于人体姿态估计，该网络模型可以产生33个身体关键点的位置。
进一步地，为了降低后续重定向的复杂度，本实施例建立了一个由骨骼集合和关节点集合/>组成的中间映射标准模型/>，其中骨骼集合/>中的点对/>表示关节点/>与/>组成一根骨骼,关节点定为22个。
基于此，本发明统一对源模型关节点集合和目标模型关节点集合/>进行预处理，对关节点进行简化，仅保留与中间映射标准模型相匹配的关节点，这一操作可以使处理后获得的源模型关节点简化集合/>与目标模型关节点简化集合/>一一配对，关节点匹配过程表示为：
其中，表示关节点与中间映射标准模型关节点的简化映射操作，源模型关节点简化集合/>，目标模型关节点简化集合/>。
通过采用这一具体实施方式，本发明能够利用日常使用的电子设备上普遍配备的单目摄像头获取到的人体运动图像信息，并通过姿态估计模型实现对输入人体区域的准确定位和提取，使得整个系统更加便捷、易于实施，并能够适应各种常见电子设备中的单目摄像头，提高实际应用的可行性和普适性。
然后，通过所述源模型关节点集合，计算源模型与所述目标模型的骨骼长度比例，计算公式为：
，其中，/>表示目标模型关节点/>与/>组成的一根骨骼的长度，/>表示源模型关节点/>与/>组成的一根骨骼的长度。
S3,采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
研究发现，基于传统的关节角度重定向仅把关节角度视为角色姿态的唯一表示，并未考虑身体之间不同部位的隐式空间关系。当角色姿态涉及到多个身体部位的紧密交互如鼓掌，跳舞等运动时，身体部位之间的隐式空间关系对于捕获姿态语义十分重要。当重定向目标模型的骨骼长度与原始姿态角色的骨骼长度不一致时，会出现运动失真的问题，失去了原本运动的姿态语义。
本发明进一步扩展了传统的关节角度重定向，通过点云关节网格来缓解这一问题。
本发明通过关节网格的方法来计算各关节点单环领域的特征，以此来表示运动姿态的空间关系。重定向角色姿势时，我们需要提取能表达运动语义的隐式空间关系，这种关系能表达身体部位之间的相互作用。
在三维空间中，关节网格通常由边集和四面体集构成。边集表示关节点之间的连接关系，即关节点与关节点组成的边；而四面体集则是由多个四个相邻关节点组成的四面体集合，每个四面体都由四个相邻关节点构成，表示了关节点之间的空间关系和相对位置。
通过关节网格，可以对人体姿态进行估计和跟踪，从而进行运动分析和人体动画生成等应用。例如，在人体姿态估计中，可以使用关节网格来表示人体各个关节点的位置和方向，通过分析关节点之间的相对位置和运动关系，可以推断出人体的姿态和动作。
为了识别近邻顶点对关节点的相互作用，采用Delaunay四面体化的方法将点云构建成关节网格三维网格。Delaunay四面体化能确保生成的四面体具有空球性质，对于任何一个四面体，没有任何其他点位于该四面体的外接球内部，生成的四面体网格将空间有效地分割成互不重叠的区域，在空间上有效地分隔了不同的身体部分。以下是为每帧原始姿态图像的人体关节点计算源模型关节网格的表达式：
其中，源模型关节网格，是由源模型关节点简化集合/>，关节网格的边集/>与四面体集/>构成，/>表示源模型关节点/>与源模型关节点组成的边，四面体集/>是由多个四个相邻关节点组成的四面体集合。
由于源模型关节点简化集合与目标模型关节点简化集合/>的关节点是一一对应的关系，可以直接将源模型关节网格/>的边集关系迁移到/>，因此目标模型关节网格表示为/>。
S4,通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格。
进一步地，所述网格形变约束函数包括网格顶点位置约束、骨骼长度约束、交互关节点位置约束中的至少一个。
为了考虑运动姿态的一致性，本发明用网格形变函数作为约束，对源模型关节网格和目标模型关节网格/>上的每个顶点计算拉普拉斯坐标，最小化源模型关节网格与目标模型关节网格的拉普拉斯坐标距离，以此在重定向过程中保持网格的局部细节不变。
具体地，此处网格形变的约束函数定义为网格顶点位置约束，表达式为：
L为拉普拉斯的算子，表示源模型关节点简化集合/>的第j个关节点，/>表示目标模型关节点简化集合/>的第j个关节点，拉普拉斯算子L的计算公式如下：
其中，表示以关节点/>为顶点的单环邻域顶点集，/>是以/>为中心顶点和其它单环邻域顶点集组合成的混合区域表面积，如图3所示，/>、/>表示以关节网格边/>形成的四面体相对的两个夹角值，/>为余切三角函数符号。
进一步地，为考虑目标模型骨骼与源模型骨骼的异构性，本发明引入骨骼长度约束，在每个动画帧中，通过最小化源模型骨骼与目标模型的骨骼长度差来使骨骼长度从原始比例变形为目标比例，骨骼长度约束的表达式为：
，
其中，B是中间映射标准模型的骨骼集合，，中间映射标准模型的关节点集合/>，点对/>表示关节点/>与/>组成的一根骨骼，/>表示目标模型的骨骼长度，/>表示原始模型的骨骼长度，/>是源模型与目标模型的骨骼长度比，计算如下：
。
进一步地，为考虑某些场景交互中需要移动人体关节到指定位置，在每个姿态的形变中，受特定位置约束的身体关节点从原始位置逐渐变形到指定的位置，本发明采用交互关节点位置约束，其表达式为：
，
其中定义了约束关节点在每个位置收到交互信息的约束集合，表示所有特定交互位置约束的关节点的索引集合，/>是位置约束的个数，表示约束关节点/>到目标模型关节点/>的欧式距离。
进一步地，在另一优选实施例中，为了保证约束在不同任务场景的优先级，通过结合使用多个网格形变约束函数的加权和以及调整权重参数来控制约束效果，用以减小形变误差、最优化模型运动效果，避免过度约束，上述约束结合分为软约束和硬约束。
软约束是为了保证重定向之后的关节点符合目标模型。重定向过程中，为了使得目标模型的骨骼正确缩放到目标值，必须严格遵守骨骼长度约束，同时考虑交互关节点位置约束。因此，软约束可以表示为网格顶点位置约束和其它交互中需要移动关节位置交互关节点位置约束的加权和,则软约束可以表示为：
其中，为所述网格顶点位置约束，/>为交互关节点位置约束，/>是权重系数，值一般设置为1。
除了软约束外，虚拟人重定向过程中还需要考虑模型的运动合理性问题。例如，需要考虑目标模型中的支撑脚关节位置与地面的适配问题。若模型的支撑脚没有与地面贴合，会导致重定向后的模型出现重心悬浮的现象，运动姿态不符合物理原理。
而造成重定向后的脚关节与地面不贴合的主要原因是模型骨骼长度存在差异，源模型关节点是人体在支撑脚贴合地面时采集到的，脚关节点作为下肢末端关节点，容易受到下肢骨骼长度变化的影响，如果目标模型的下肢骨骼长度与原始模型有差异，会导致重定向后的脚关节点偏离地面。
此外，在单目设备获取姿态过程中可能存在测量的噪声，使得脚关节点轻微摆动。
为了解决上述问题，本实施例提供了另一优选实施例，当脚处于支撑脚阶段时，需要为脚关节指定硬约束。脚的垂直位置受到约束，使得高度可以与地面相同。在重定向中，脚关节从源模型人脚的高度逐渐改变为贴合地面。因此硬约束可以表示为骨骼长度约束和支撑脚的交互关节点位置约束的加权和，定义表示支撑脚的约束关节点集合,则硬约束可以表示为:
其中是权重系数，默认情况下值设置为0.2，可以根据所需的动画效果在软约束和硬约束之间切换。/>
在另一具体实施例中，更新模型的骨骼长度和关节位置，可通过最小化软约束和硬约束来重定向角色的运动，表达式为：
其中，argmin函数是现有的数学函数，用于找到取得最小值的自变量值，是拉格朗日乘子。
针对非线性目标函数和约束的优化问题，本发明采用线性最小二乘二次规划优化策略进行优化，通过迭代调整参数，以最小化目标函数，直至收敛，获得优化后的姿态重定向关节点集，从而得到优化后的目标模型关节网格/>，用以实现虚拟人姿态重定向，具体表现形式如下：
其中为迭代次数标识符，/>和/>分别通过足以下Karush-Kuhn-Tucker（KKT）条件后极小化拉格朗日乘子，可得到约束条件下的可行解为:
其中，为求导符号。
在本实施例中，Karush-Kuhn-Tucker（KKT）条件是用于求解约束优化问题的一种方法，拉格朗日乘子用于连接目标函数和约束条件，通过极小化拉格朗日乘子，可以找到满足约束条件的解，同时使得目标函数取得最小值。
为进一步评价本发明方法的性能，本发明从Human3.6M人体姿态识别的数据集中（Catalin Ionescu, Dragos Papava, Vlad Olaru and Cristian Sminchisescu,Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensingin Natural Environments, IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 36, No. 7, July 2014）选取了30个人体姿态，并从mixano虚拟人数据集（https://www.mixamo.com）中选取了10个虚拟人进行姿态重定向，并将本发明方法与一些姿态重定向方法进行了比较：
方法一： PBF（Seyoon Tak and Hyeong-Seok Ko. A physically-based motionretargeting filter. ACM Transactions on Graphics, 24(1):98–117, 2005. 2），基于物理的运动重定向滤波器，是由Seyoon Tak和Hyeong-Seok Ko在2005年提出的一种物理模拟技术，旨在解决动画角色运动重定向的问题。
方法二：EDM(Bernardin A, Hoyet L, Mucherino A, et al. NormalizedEuclidean distance matrices for human motion retargeting[C]//Proceedings ofthe 10th International Conference on Motion in Games. 2017: 1-6.)，是一种用于人体运动重定向的方法，通过计算和比较运动序列中关键帧之间的欧几里得距离矩阵，对运动进行重定向。
比较结果见表1：
表1
可见，本发明相较于方法一（PBF）和方法二（EDM）有着较小的均方误差，也意味着本发明重定向后的结果能够更好地保留身体部位之间的空间拓扑关系，从而获得更精细的姿态重定向效果。
此外，本发明的姿态重定向方法能够在1秒钟内处理12帧图像，可达到实时实现姿态重定向的目的。
与现有技术相比，本发明具有如下有益效果：
（1）本发明通过中间映射标准模型，将源模与目标模型的关节点进行简化、匹配，形成一一配对关系，降低了模型重定向的复杂度。
（2）本发明充分考虑模型交互中身体部位的空间关系，利用关节网格来描述单个模型姿态的语义，并通过网格形变来保持姿态重定向后的隐式空间关系，即使源模型与重定向的目标模型骨骼比例不一致，目标模型在通过骨骼长度约束重定向后仍能准确表达原本的运动语义。
（3）与现有技术相比，本发明在处理大量运动数据时具有较快的计算效率，能够在保持运动语义不失真的同时，具备实时性姿态重定向的优势，以确保用户获得流畅体验，这对于需要快速动画重定向的应用，如虚拟现实和实时游戏，具有重要价值。
（4）本发明有利于扩大姿态重定向的应用范围，在提供多样化虚拟人机交互技术方面有着重大的现实意义和广泛的应用前景。
综上，基于关节网格形变的姿态重定向方法在保证准确性的同时，兼具实时性的优势，为实时姿态重定向应用带来了一种创新的解决方案。
实施例二
如图4所示，本发明第二实施例还提供了一种基于关节网格形变的姿态重定向装置，包括：
输入单元，用于获取输入的原始姿态图像及虚拟人模型，即目标模型；
关节点云获取单元，用于获取所述原始姿态图像的关节点信息，通过采用姿态检测网络检测所述原始姿态图像，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合与所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
关节网络构建单元，用于获取目标模型关节网格，采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
重定向单元,用于获取重定向后的目标模型关节网格，通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格。
实施例三
本发明第三实施例还提供了一种基于关节网格形变的姿态重定向设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的基于关节网格形变的姿态重定向方法。
实施例四
本发明第四实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被计算机可读存储介质所在设备的处理器执行时实现如上述的基于关节网格形变的姿态重定向方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于关节网格形变的姿态重定向方法，其特征在于，包括以下步骤：
S1，获取输入的原始姿态图像及虚拟人模型，即目标模型；
S2,采用姿态检测网络检测所述原始姿态图像，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合与所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
S3,采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
S4,通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格；
其中，所述网格形变约束函数包括网格顶点位置约束、骨骼长度约束、交互关节点位置约束中的至少一个；
所述网格顶点位置约束是利用拉普拉斯坐标计算所述源模型关节网格和所述目标模型关节网格/>上的每个网格顶点的位置变化量,通过最小化位置变化量来最小化与/>之间的差异达到平滑的效果，所述网格顶点位置约束的表达式为：
其中，表示中间映射标准模型中关节点的个数,/>表示源模型关节点简化集合/>的第j个关节点，/>表示目标模型关节点简化集合/>的第j个关节点，L为拉普拉斯算子，其计算公式如下：
其中，表示以关节点/>为顶点的单环邻域顶点集，/>是以关节点/>为中心顶点与其它单环邻域顶点集组合成的混合区域表面积，/>、/>表示以关节网格边/>形成的四面体相对的两个夹角值，/>为余切三角函数符号；
所述骨骼长度约束是通过最小化所述源模型关节网格和所述目标模型关节网格的骨骼长度差使骨骼长度从原始比例变形为目标比例，所述骨骼长度约束的表达式为：
，
其中，B是中间映射标准模型的骨骼集合，，/>表示所述目标模型的骨骼长度，/>表示所述源模型的骨骼长度，/>是源模型与目标模型的骨骼长度比；
所述交互关节点位置约束是在特定场景交互形变中，受特定位置约束的身体关节点从原始位置逐渐变形为指定位置，所述交互关节点位置约束的表达式为：
，
其中，其中表示约束关节点在每个位置收到交互信息的约束集合，表示所有特定交互位置约束的关节点的索引集合，/>是位置约束的个数，表示约束关节点/>到目标模型关节点/>的欧式距离。
2.根据权利要求1所述的姿态重定向方法，其特征在于，所述姿态检测网络采用BlazePose姿态估计网络模型，则所述S2具体为：
S21,对所述原始姿态图像进行预处理，通过所述BlazePose姿态估计网络模型对预处理后的原始姿态图像进行检测,生成源模型关节点集合,公式为：
其中，，/>代表第/>个初始估计化关节点，/>为关节点个数，/>为预处理后的原始姿态图像；
S22,采用中间映射标准模型降低重定向的复杂度，对所述源模型关节点集合和目标模型关节点集合/>进行关节点简化匹配，获得源模型关节点简化集合/>与目标模型关节点简化集合/>，/>与/>是一一配对的关系，关节点中间映射匹配过程表示为：
其中,表示关节点与中间映射标准模型关节点的简化映射操作，，/>，/>表示中间映射标准模型中关节点的个数，所述目标模型的关节点集合/>，其中/>为所述目标模型的关节点个数；
S23,计算所述源模型与目标模型的骨骼长度比，表达式为：
其中，表示目标模型中关节点/>与/>组成的一根骨骼的长度，/>表示源模型关节点集合中关节点/>与/>组成的一根骨骼的长度。
3.根据权利要求2所述的姿态重定向方法，其特征在于,步骤S3具体为：
S31,采用Delaunay四面体化的方法对所述源模型关节点简化集合进行计算，得到源模型关节网格；其中，所述源模型关节网格为三维网格,由源模型关节点简化集合/>、关节网格的边集与四面体集构成，则每帧图像的所述源模型关节网格/>表达式为：
其中，关节网格的边集，/>表示关节点/>与关节点/>组成的边，四面体集是由多个四个相邻关节点组成的四面体集合；
S32,根据所述源模型关节点简化集合与所述目标模型关节点简化集合/>的一一配对的关系，将所述源模型关节网格/>的边集关系迁移到/>，获得目标模型关节网格/>，表示为/>。
4.根据权利要求3所述的姿态重定向方法，其特征在于,在步骤S4中：
通过所述网格顶点位置约束与交互关节点位置约束的加权和计算，即软约束，使得目标模型的骨骼正确缩放到目标值，所述软约束表示为：
其中，为所述网格顶点位置约束，/>为所述交互关节点位置约束，/>是权重系数；
通过所述骨骼长度约束和所述交互关节点位置约束/>的加权和计算，即硬约束，使得目标模型中的支撑脚关节位置与地面贴合，避免出现重心悬浮的现象，所述硬约束表示为:
其中是权重系数；
通过最小化所述软约束和所述硬约束来重定向角色的运动，更新骨骼长度和交互关节位置，表达式为：
，其中argmin函数是现有的数学函数，用于找到取得最小值的自变量值，/>为拉格朗日乘子。
5.根据权利要求4所述的姿态重定向方法，其特征在于,所述姿态重定向方法采用线性最小二乘二次规划优化策略对姿态重定向关节点集进行优化，通过迭代调整参数，直至目标收敛，获得优化后的姿态重定向关节点集/>，从而得到优化后的目标模型关节网格/>，实现虚拟人姿态重定向，具体公式为：
其中为迭代次数标识符，/>和/>分别表示满足Karush-Kuhn-Tucker条件后的极小化拉格朗日乘子，得到约束条件下的可行解，表达式为:
其中，为求导符号。
6.一种基于关节网格形变的姿态重定向装置，其特征在于，包括：
输入单元：用于获取输入的原始姿态图像及虚拟人模型，即目标模型；
关节点云获取单元：用于获取所述原始姿态图像的关节点信息，通过采用姿态检测网络检测所述原始姿态图像，生成所述原始姿态图像的关节点三维坐标位置信息，得到源模型关节点集合，将所述源模型关节点集合与所述目标模型的关节点集合进行关节点简化匹配，获得源模型关节点简化集合与目标模型关节点简化集合，通过所述源模型关节点简化集合，计算源模型与所述目标模型的骨骼长度比例；
关节网络构建单元，用于获取目标模型关节网格，采用Delaunay四面体化方法，将所述源模型关节点简化集合转换成源模型关节网格，根据所述源模型关节点简化集合与所述目标模型关节点简化集合一一对应的关系，将所述源模型关节网格的边集关系迁移到所述目标模型关节点简化集合，获得目标模型关节网格；
重定向单元,用于获取重定向后的目标模型关节网格，通过网格形变约束函数对所述源模型关节网格、所述目标模型关节网格以及所述源模型与所述目标模型的骨骼长度比例进行局部变形约束，获得重定向后的目标模型关节网格；
其中，所述网格形变约束函数包括网格顶点位置约束、骨骼长度约束、交互关节点位置约束中的至少一个；
所述网格顶点位置约束是利用拉普拉斯坐标计算所述源模型关节网格和所述目标模型关节网格/>上的每个网格顶点的位置变化量,通过最小化位置变化量来最小化与/>之间的差异达到平滑的效果，所述网格顶点位置约束的表达式为：
其中，表示中间映射标准模型中关节点的个数,/>表示源模型关节点简化集合/>的第j个关节点，/>表示目标模型关节点简化集合/>的第j个关节点，L为拉普拉斯算子，其计算公式如下：
其中，表示以关节点/>为顶点的单环邻域顶点集，/>是以关节点/>为中心顶点与其它单环邻域顶点集组合成的混合区域表面积，/>、/>表示以关节网格边/>形成的四面体相对的两个夹角值，/>为余切三角函数符号；
所述骨骼长度约束是通过最小化所述源模型关节网格和所述目标模型关节网格的骨骼长度差使骨骼长度从原始比例变形为目标比例，所述骨骼长度约束的表达式为：
，
其中，B是中间映射标准模型的骨骼集合，，/>表示所述目标模型的骨骼长度，/>表示所述源模型的骨骼长度，/>是源模型与目标模型的骨骼长度比；
所述交互关节点位置约束是在特定场景交互形变中，受特定位置约束的身体关节点从原始位置逐渐变形为指定位置，所述交互关节点位置约束的表达式为：
，
其中，其中表示约束关节点在每个位置收到交互信息的约束集合，表示所有特定交互位置约束的关节点的索引集合，/>是位置约束的个数，表示约束关节点/>到目标模型关节点/>的欧式距离。
7.一种基于关节网格形变的姿态重定向设备，其特征在于，包括处理器以及存储器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1-5任意一项所述的一种基于关节网格形变的姿态重定向方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被计算机可读存储介质所在设备的处理器执行时实现如权利要求1-5任意一项所述的一种基于关节网格形变的姿态重定向方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410168236.XA CN117710468B (zh) | 2024-02-06 | 2024-02-06 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410168236.XA CN117710468B (zh) | 2024-02-06 | 2024-02-06 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710468A CN117710468A (zh) | 2024-03-15 |
| CN117710468B true CN117710468B (zh) | 2024-05-17 |
Family
ID=90144726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410168236.XA Active CN117710468B (zh) | 2024-02-06 | 2024-02-06 | 基于关节网格形变的姿态重定向方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710468B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326353A (ja) * | 1997-05-23 | 1998-12-08 | Matsushita Electric Ind Co Ltd | ３次元キャラクタアニメーション表示装置および３次元動きデータ伝送システム |
| CN104183000A (zh) * | 2014-08-14 | 2014-12-03 | 合肥工业大学 | 类人角色全自动多源异构运动重定向方法 |
| CN107424203A (zh) * | 2017-08-02 | 2017-12-01 | 湖南大学 | 基于偏移映射法和雅克比矩阵算法相结合的运动重定向方法及装置 |
| CN107833271A (zh) * | 2017-09-30 | 2018-03-23 | 中国科学院自动化研究所 | 一种基于Kinect的骨骼重定向方法及装置 |
| CN111968208A (zh) * | 2020-07-07 | 2020-11-20 | 广东工业大学 | 一种基于人体软组织网格模型的人体动画合成方法 |
| CN112562072A (zh) * | 2020-12-25 | 2021-03-26 | 北京爱奇艺科技有限公司 | 一种动作重定向方法、装置、设备及存储介质 |
| CN112785690A (zh) * | 2021-01-28 | 2021-05-11 | 北京爱奇艺科技有限公司 | 一种三维模型构建方法、装置、系统及存储介质 |
| CN112785689A (zh) * | 2021-01-28 | 2021-05-11 | 北京爱奇艺科技有限公司 | 一种三维模型构建方法、装置、系统及存储介质 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN115861498A (zh) * | 2022-12-19 | 2023-03-28 | 北京百度网讯科技有限公司 | 动作捕捉的重定向方法和装置 |
| CN116091664A (zh) * | 2022-10-08 | 2023-05-09 | 北京达佳互联信息技术有限公司 | 动作重定向方法、装置、电子设备和存储介质 |
| CN116977502A (zh) * | 2023-02-01 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 运动重定向方法、装置、电子设备及计算机可读存储介质 |
| CN116977506A (zh) * | 2023-03-22 | 2023-10-31 | 北京搜狗科技发展有限公司 | 模型动作重定向的方法、装置、电子设备及存储介质 |
| CN117173380A (zh) * | 2023-09-06 | 2023-12-05 | 淮阴工学院 | 骨骼驱动四面体控制网格的多约束三维网格模型变形方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308673B2 (en) * | 2018-05-03 | 2022-04-19 | Magic Leap, Inc. | Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character |
-
2024
- 2024-02-06 CN CN202410168236.XA patent/CN117710468B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326353A (ja) * | 1997-05-23 | 1998-12-08 | Matsushita Electric Ind Co Ltd | ３次元キャラクタアニメーション表示装置および３次元動きデータ伝送システム |
| CN104183000A (zh) * | 2014-08-14 | 2014-12-03 | 合肥工业大学 | 类人角色全自动多源异构运动重定向方法 |
| CN107424203A (zh) * | 2017-08-02 | 2017-12-01 | 湖南大学 | 基于偏移映射法和雅克比矩阵算法相结合的运动重定向方法及装置 |
| CN107833271A (zh) * | 2017-09-30 | 2018-03-23 | 中国科学院自动化研究所 | 一种基于Kinect的骨骼重定向方法及装置 |
| CN111968208A (zh) * | 2020-07-07 | 2020-11-20 | 广东工业大学 | 一种基于人体软组织网格模型的人体动画合成方法 |
| CN112562072A (zh) * | 2020-12-25 | 2021-03-26 | 北京爱奇艺科技有限公司 | 一种动作重定向方法、装置、设备及存储介质 |
| CN112785690A (zh) * | 2021-01-28 | 2021-05-11 | 北京爱奇艺科技有限公司 | 一种三维模型构建方法、装置、系统及存储介质 |
| CN112785689A (zh) * | 2021-01-28 | 2021-05-11 | 北京爱奇艺科技有限公司 | 一种三维模型构建方法、装置、系统及存储介质 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN116091664A (zh) * | 2022-10-08 | 2023-05-09 | 北京达佳互联信息技术有限公司 | 动作重定向方法、装置、电子设备和存储介质 |
| CN115861498A (zh) * | 2022-12-19 | 2023-03-28 | 北京百度网讯科技有限公司 | 动作捕捉的重定向方法和装置 |
| CN116977502A (zh) * | 2023-02-01 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 运动重定向方法、装置、电子设备及计算机可读存储介质 |
| CN116977506A (zh) * | 2023-03-22 | 2023-10-31 | 北京搜狗科技发展有限公司 | 模型动作重定向的方法、装置、电子设备及存储介质 |
| CN117173380A (zh) * | 2023-09-06 | 2023-12-05 | 淮阴工学院 | 骨骼驱动四面体控制网格的多约束三维网格模型变形方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710468A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| US11348314B2 (en) | Fast and deep facial deformations | |
| Stoll et al. | Fast articulated motion tracking using a sums of gaussians body model | |
| US9747668B2 (en) | Reconstruction of articulated objects from a moving camera | |
| CN109307508A (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN107590708B (zh) | 一种生成用户特定体形模型的方法和装置 | |
| CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN108335353A (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| CN108022278B (zh) | 基于视频中运动跟踪的人物动画绘制方法及系统 | |
| CN110717494A (zh) | Android移动端室内场景三维重建及语义分割方法 | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN112862736B (zh) | 一种基于点的实时三维重建与优化方法 | |
| WO2019164497A1 (en) | Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics | |
| CN107330980A (zh) | 一种基于无标志物的虚拟家具布置系统 | |
| KR20200143228A (ko) | 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치 | |
| CN116134491A (zh) | 用于面部表情、身体姿态形态和衣服表演捕捉的使用隐式可微分渲染器的多视图神经人体预测 | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| CN113034681A (zh) | 空间平面关系约束的三维重建方法及装置 | |
| CN117710468B (zh) | 基于关节网格形变的姿态重定向方法、装置、设备及介质 | |
| CN111862278A (zh) | 一种动画获得方法、装置、电子设备及存储介质 | |
| CN109166176A (zh) | 三维人脸图像的生成方法与装置 | |
| CN115393538A (zh) | 基于深度学习的室内动态场景的视觉slam方法及系统 | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
| CN117557699B (zh) | 动画数据生成方法、装置、计算机设备和存储介质 | |
| CN117523206B (zh) | 一种基于跨源点云与多模态信息的自动化装配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |