CN116071470A - 一种用于合影的虚拟人姿态生成方法 - Google Patents
一种用于合影的虚拟人姿态生成方法 Download PDFInfo
- Publication number
- CN116071470A CN116071470A CN202211669128.8A CN202211669128A CN116071470A CN 116071470 A CN116071470 A CN 116071470A CN 202211669128 A CN202211669128 A CN 202211669128A CN 116071470 A CN116071470 A CN 116071470A
- Authority
- CN
- China
- Prior art keywords
- gesture
- data
- virtual
- facial
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000007477 logistic regression Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000000556 factor analysis Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 39
- 230000000694 effects Effects 0.000 description 8
- 210000001503 joint Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001226 toe joint Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000003049 pelvic bone Anatomy 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于合影的虚拟人姿态生成方法，属于软件开发技术领域，包括：该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。
Description
技术领域
本发明涉及软件开发技术领域，更具体地说，涉及一种用于合影的虚拟人姿态生成方法。
背景技术
虚拟现实技术在我们的日常生活中的应用逐渐增多，用户对虚拟人物的获取和逼真程度都提出较高要求，希望能够在三维虚拟环境中具有良好的虚拟人物形象，更多情况下还有用户形象与虚拟人物之间的互动需求。
在一些三维虚拟应用场景中，存在着虚拟人和用户之间的合影应用需求，其主要实现过程是通过计算机图形技术将数字化虚拟人姿势与用户姿势进行动态匹配。现有技术中，主要采用的实现方案是通过获取应用程序内部既存的虚拟人角色，该虚拟人角色具有内设的数种姿势，再通过图像识别算法自动匹配与用户姿势最优解方案，最后合成虚拟图像。
但是在实际使用过程中，固定设置的数种姿势无法匹配用户多样化的合影需求，特别是在加入周围的光、影、及其他环境景色后，虚拟人姿态和用户姿态的契合度曲线下降更加明显。即使加入标准化姿势指引提示，由于用户自身因素及环境的多样化，也无法很好地呈现具有动作协调并含有艺术美感的合影，不能满足用户的高端体验需求。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种用于合影的虚拟人姿态生成方法，本发明实时对用户姿态进行实时取样，且可以根据取样情况进行模型训练，并通过模型回归生成姿态影响因子，再通过3D姿态预测模型动态调整虚拟人物姿态，实现用户与虚拟人物合影。
2.技术方案
为解决上述问题，本发明采用如下的技术方案：
一种用于合影的虚拟人姿态生成方法，该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；
将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；
将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。
作为本发明的一种优选方案，所述双重摄像捕捉系统包括两个Azure Kinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。
作为本发明的一种优选方案，所述面部情态数据是通过CLNF模型(ConstrainedLocalNeuralField)进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。
作为本发明的一种优选方案，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：
S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；
S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，
S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。
作为本发明的一种优选方案，生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5-1.5μs。
作为本发明的一种优选方案，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：
S21：提取身体数据中的关节点信息，并通过HMR算法得到SMPL模型；利用HMR算法获得了人体的β，θ参数，然后通过θ得到SMPL的三维关节位置，接着将SMPL模型的姿态拟合到Kinect关节上；
S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；
S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚拟人体姿态成像。
作为本发明的一种优选方案，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子，具体包括以下步骤：
S31:将身体数据中的关节点信息R(βi)组成集合，计算出集合中所有相邻关节之间姿态角θi，通过罗德里格斯公式计算出姿态特征向量I(θi)，所述βi表示人体姿态参数，所述姿态角θi表示相邻关节之间旋转的轴角；
S32:采用Holt双参指数平滑算法对面部情态参数进行平滑预测，并匹配姿态得到匹配后的面部情态Qi；
S33:通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，输出匹配度结果Y，将匹配度为1的定义为匹配，将匹配度为0的定义为不匹配，
S34：构建以姿态特征向量I(θi)和面部情态Qi为自变量Xj，匹配度结果Y为因变量的二元逻辑回归模型，得出影响匹配度Y的主要影响因子，并进行因子分析，得到成分矩阵。
作为本发明的一种优选方案，将用户姿态表情数据φn和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影，具体包括以下步骤：
S41：通过将用户姿态表情数据通过特征工程将特征数据从原始空间转换到新的特征空间；
S42：结合姿态影响因子，利用多尺度小波分析方法从特征数据中提取高频细节特征和低频细节特征；
S43：结合高频细节特征和低频细节特征，采用seq2seq姿态预测模型，对虚拟人物姿态进行预测及调整。
作为本发明的一种优选方案，所述seq2seq姿态预测模型预测未来200-500ms以内姿态数据。在其他实施例中，也可以采用更长预测时间的姿态预测模型。
作为本发明的一种优选方案，通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，是将姿态特征向量I(θi)与模型三维关键位置X(θ,β)投影至彩色图像上，并通过神经网络训练学习融合度及匹配度评估体系，神经网络模型采用三层网络，将训练样本进行分类，得到匹配度结果，该结果包括：“匹配”的虚拟人姿态和“不匹配”的虚拟人姿态，并对匹配度进行赋值。在神经网络样本训练中，将70％数据作为训练样本，30％作为测试样本，神经网络从下至上输出分别为256、128和2个，最终输出的匹配度是2个，分别赋值为匹配度0则为不匹配，匹配度1则为匹配。
3.有益效果
相比于现有技术，本发明的优点在于：
本发明通过双重摄像头获取面部情态和身体姿态，并根据面部情态和身体姿态进行同步，生成用户姿态表情数据；通过对身体数据进行SMPL人体模型训练，得到姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；最后将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合，实现用户与虚拟人物最佳合影。本方法拟合效果好，虚拟人物姿态能够根据用户姿态动态实时调整，拓展并丰富了虚拟人物的运用场景。
附图说明
图1为本发明一种用于合影的虚拟人姿态生成方法的步骤示意图；
图2为本发明一种用于合影的虚拟人姿态生成方法中SMPL人体模型训练后的关节点；
图3为本发明一种用于合影的虚拟人姿态生成方法中二元逻辑回归模型。
图4为本发明经二元逻辑回归模型到部分主要影响因子。
图5为本发明经二元逻辑回归模型到另一主要影响因子。
图6为本发明方法用于实际运用场景中的效果示意图。
上述各附图中涉及的附图标记说明如下：
10、双重摄像头
20、面部数据
30、身体数据
40、匹配时间戳
50、姿态表情数据
60、SMPL人体模型
70、姿态特征向量
80、姿态影响因子
90、3D姿态预测模型
1、头骨
2、颈关节
3、脊关节
4、左肩关节
5、左肘关节
6、左腕关节
7、左手关节
8、右肩关节
9、右肘关节
11、右腕关节
12、右手关节
13、腰关节
14、盆骨关节
15、左股关节
16、左膝关节
17、左踝关节
18、左趾关节
19、右股关节
21、右膝关节
22、右踝关节
23、右趾关节。
具体实施方式
为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。
除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。
在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。
在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。
在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。
与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。
在本申请实施例的描述中，所使用的与空间相关的表述，诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本申请的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本申请实施例的限制。
除非另有明确的规定或限定，在本申请实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属技术领域的技术人员而言，可以根据具体情况理解上述用语在本申请实施例中的具体含义。
请参阅图1-6，本发明提供了一种用于合影的虚拟人姿态生成方法，该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据φn；
将身体数据通过SMPL参数化人体模型进行训练，生成虚拟训练数据，并对分类器进行训练，并通过该分类器获得姿态影响因子；
将用户姿态表情数据φn和姿态影响因子作为约束项加入3D姿态预测模型拟合目标行数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。
在本发明的具体实施例中，所述双重摄像捕捉系统包括两个AzureKinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。所述面部情态数据是通过CLNF模型(ConstrainedLocalNeural Field)进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。该CLNF模型能够按照帧率实时更新虚拟人物面部表情，以获取更为真实生动的面部动画效果。
在本发明的具体实施例中，对用户面部情态和身体姿态数据进行时间同步，能够让用户面部情态和身体姿态在后续数据融合过程中误差大大减小。才能够在三维空间过程中，呈现更好的虚拟人物效果。
具体包括以下步骤：
S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；
S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，
S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5-1.5μs。
上述时间戳是通过TCP网络传输时间戳的同步方法，来是先面部情态与身体姿态数据上的同步。TCP发送过程中海通过标准数据表封装模式，避免丢包、滞后等情况，提高数据传输效率，保障画面实时显示质感。
在本发明的具体实施例中，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：
S21：提取身体数据中的关节点信息，SMPL模型将每一个顶点都绑定到若干关节，并给每个关节赋予权重。并通过HMR算法得到SMPL模型；利用HMR算法获得了人体的β，θ参数，然后通过θ得到SMPL的三维关节位置，接着将SMPL模型的姿态拟合到Kinect关节上；
S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；
S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚拟人体姿态成像
具体参考图3所示，在本发明的具体实施例中，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子，具体包括以下步骤：
S31:将身体数据中的关节点信息R(βi)组成集合，计算出集合中所有相邻关节之间姿态角θi，通过罗德里格斯公式计算出姿态特征向量I(θi)，所述βi表示人体姿态参数，所述姿态角θi表示相邻关节之间旋转的轴角；
S32:采用Holt双参指数平滑算法对面部情态参数进行平滑预测，并匹配姿态得到匹配后的面部情态Qi；
S33:通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，输出匹配度结果Y，将匹配度为1的定义为匹配，将匹配度为0的定义为不匹配，
S34：构建以姿态特征向量I(θi)和面部情态Qi为自变量Xj，匹配度结果Y为因变量的二元逻辑回归模型，得出影响匹配度Y的主要影响因子，并进行因子分析，得到成分矩阵。本实施例中，自变量X1-X5分别为部分关节信息的组合，自变量X6为面部情态。
在本发明的具体实施例中，将用户姿态表情数据φn和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影，具体包括以下步骤：
S41：通过将用户姿态表情数据通过特征工程将特征数据从原始空间转换到新的特征空间；
S42：结合姿态影响因子，利用多尺度小波分析方法从特征数据中提取高频细节特征和低频细节特征；
S43：结合高频细节特征和低频细节特征，采用seq2seq姿态预测模型，对虚拟人物姿态进行预测及调整。
作为本发明的一种优选方案，所述seq2seq姿态预测模型预测未来200-500ms以内姿态数据。在其他实施例中，也可以采用更长预测时间的姿态预测模型。
作为本发明的一种优选方案，通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，是将姿态特征向量I(θi)与模型三维关键位置X(θ,β)投影至彩色图像上，并通过神经网络训练学习融合度及匹配度评估体系，神经网络模型采用三层网络，将训练样本进行分类，得到匹配度结果，该结果包括：“匹配”的虚拟人姿态和“不匹配”的虚拟人姿态，并对匹配度进行赋值。在神经网络样本训练中，将70％数据作为训练样本，30％作为测试样本，神经网络从下至上输出分别为256、128和2个，最终输出的匹配度是2个，分别赋值为匹配度0则为不匹配，匹配度1则为匹配。
本发明通过双重摄像头获取面部情态和身体姿态，并根据面部情态和身体姿态进行同步，生成用户姿态表情数据；通过对身体数据进行SMPL人体模型训练，得到姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；最后将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合，实现用户与虚拟人物最佳合影。本方法拟合效果好，虚拟人物姿态能够根据用户姿态动态实时调整，拓展并丰富了虚拟人物的运用场景。参考图6所示，左边是用户姿态，右边是虚拟人姿态，通过本发明的方法，可以很好地体现出效果，虚拟人姿态能够根据用户姿态实时调整，合影效果好。
最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。
Claims (10)
1.一种用于合影的虚拟人姿态生成方法，其特征在于，包括：该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；
将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；
将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。
2.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述双重摄像捕捉系统包括两个AzureKinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。
3.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述面部情态数据是通过CLNF模型进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。
4.根据权利要求3所述的一种用于合影的虚拟人姿态生成方法，其特征在于，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：
S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；
S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，
S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。
5.根据权利要求4所述的一种用于合影的虚拟人姿态生成方法，其特征在于，生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5-1.5μs。
6.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：
S21：提取身体数据中的关节点信息，并通过HMR算法得到SMPL模型；
S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；
S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚拟人体姿态成像。
7.根据权利要求6所述的一种用于合影的虚拟人姿态生成方法，其特征在于，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子，具体包括以下步骤：
S31:将身体数据中的关节点信息R(βi)组成集合，计算出集合中所有相邻关节之间姿态角θi，通过罗德里格斯公式计算出姿态特征向量I(θi)，所述βi表示人体姿态参数，所述姿态角θi表示相邻关节之间旋转的轴角；
S32:采用Holt双参指数平滑算法对面部情态参数进行平滑预测，并匹配姿态得到匹配后的面部情态Qi；
S33:通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，输出匹配度结果Y；
S34：构建以姿态特征向量I(θi)和面部情态Qi为自变量Xj，匹配度结果Y为因变量的二元逻辑回归模型，得出影响匹配度Y的主要影响因子，并进行因子分析，得到成分矩阵。
8.根据权利要求7所述的一种用于合影的虚拟人姿态生成方法，其特征在于，将用户姿态表情数据φn和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影，具体包括以下步骤：
S41：通过将用户姿态表情数据通过特征工程将特征数据从原始空间转换到新的特征空间；
S42：结合姿态影响因子，利用多尺度小波分析方法从特征数据中提取高频细节特征和低频细节特征；
S43：结合高频细节特征和低频细节特征，采用seq2seq姿态预测模型，对虚拟人物姿态进行预测及调整。
9.根据权利要求8所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述seq2seq姿态预测模型预测未来200-500ms以内姿态数据。
10.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，是将姿态特征向量I(θi)与模型三维关键位置X(θ,β)投影至彩色图像上，并通过神经网络训练学习融合度及匹配度评估体系，神经网络模型采用三层网络，将训练样本进行分类，得到匹配度结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211669128.8A CN116071470A (zh) | 2022-12-23 | 2022-12-23 | 一种用于合影的虚拟人姿态生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211669128.8A CN116071470A (zh) | 2022-12-23 | 2022-12-23 | 一种用于合影的虚拟人姿态生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116071470A true CN116071470A (zh) | 2023-05-05 |
Family
ID=86179524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211669128.8A Pending CN116071470A (zh) | 2022-12-23 | 2022-12-23 | 一种用于合影的虚拟人姿态生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071470A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118069754A (zh) * | 2024-04-18 | 2024-05-24 | 江西耀康智能科技有限公司 | 一种训练台与虚拟现实环境数据同步方法 |
| CN118982443A (zh) * | 2024-07-25 | 2024-11-19 | 南京莱医特电子科技有限公司 | 一种基于姿态识别的自然灾害逃生演练方法及系统 |
-
2022
- 2022-12-23 CN CN202211669128.8A patent/CN116071470A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118069754A (zh) * | 2024-04-18 | 2024-05-24 | 江西耀康智能科技有限公司 | 一种训练台与虚拟现实环境数据同步方法 |
| CN118069754B (zh) * | 2024-04-18 | 2024-07-12 | 江西耀康智能科技有限公司 | 一种训练台与虚拟现实环境数据同步方法 |
| CN118982443A (zh) * | 2024-07-25 | 2024-11-19 | 南京莱医特电子科技有限公司 | 一种基于姿态识别的自然灾害逃生演练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7001841B2 (ja) | 画像処理方法及び装置、画像デバイス並びに記憶媒体 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
| Capin et al. | Virtual human representation and communication in VLNet | |
| KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
| CN112437950A (zh) | 用于对虚拟头像制作动画的骨架系统 | |
| CN116071470A (zh) | 一种用于合影的虚拟人姿态生成方法 | |
| Kolsch | Vision based hand gesture interfaces for wearable computing and virtual environments | |
| CN112602090A (zh) | 用于插值不同输入的方法和系统 | |
| CN109801379A (zh) | 通用的增强现实眼镜及其标定方法 | |
| CN110506296A (zh) | 用于跟踪身体或其部分的系统、方法、和装置 | |
| JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
| Pandzic et al. | Realistic avatars and autonomous virtual humans | |
| CN108564642A (zh) | 基于ue引擎的无标记表演捕捉系统 | |
| Aristidou | Hand tracking with physiological constraints | |
| US11403768B2 (en) | Method and system for motion prediction | |
| WO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
| JP2022512262A (ja) | 画像処理方法及び装置、画像処理機器並びに記憶媒体 | |
| CN119137621A (zh) | 用于虚拟表示的并发人类身体姿态估计 | |
| Bekaroo et al. | Ai-assisted extended reality toward the 6g era: challenges and prospective solutions | |
| Fechteler et al. | Markerless multiview motion capture with 3D shape model adaptation | |
| Pandzic et al. | Towards natural communication in networked collaborative virtual environments | |
| Waldow et al. | Deep neural labeling: Hybrid hand pose estimation using unlabeled motion capture data with color gloves in context of german sign language | |
| US11783542B1 (en) | Multi-view three-dimensional mesh generation | |
| Guo et al. | [Retracted] Scene Construction and Application of Panoramic Virtual Simulation in Interactive Dance Teaching Based on Artificial Intelligence Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |