CN116385666A - 基于反馈式循环神经网络的人体模型重定向方法及装置 - Google Patents

基于反馈式循环神经网络的人体模型重定向方法及装置 Download PDF

Info

Publication number
CN116385666A
CN116385666A CN202310647687.7A CN202310647687A CN116385666A CN 116385666 A CN116385666 A CN 116385666A CN 202310647687 A CN202310647687 A CN 202310647687A CN 116385666 A CN116385666 A CN 116385666A
Authority
CN
China
Prior art keywords
human body
neural network
skeleton
parameters
feedback loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310647687.7A
Other languages
English (en)
Other versions
CN116385666B (zh
Inventor
戴翘楚
吴翼天
曹静萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yilan Technology Co ltd
Original Assignee
Hangzhou Yilan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yilan Technology Co ltd filed Critical Hangzhou Yilan Technology Co ltd
Priority to CN202310647687.7A priority Critical patent/CN116385666B/zh
Publication of CN116385666A publication Critical patent/CN116385666A/zh
Application granted granted Critical
Publication of CN116385666B publication Critical patent/CN116385666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，公开了一种基于反馈式循环神经网络的人体模型重定向方法及装置，包括：获取姿态参数训练数据池和体型参数训练数据池；预训练人体重定向的关节回归矩阵；生成旋转矩阵R和平移向量T，并抽取姿态参数
Figure ZY_1
和体型参数
Figure ZY_2
；得到人体参数和骨架坐标，转换为动作捕捉输出的骨架格式；对反馈循环神经网络进行训练；将动作捕捉的骨架输入，迭代三次后取出对应人体模型参数。本发明提供的基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络来进行人体重定向的梯度预测，具有收敛速度更快和收敛路径更鲁棒的优势，且神经梯度方法可以利用大规模人体姿态数据库的隐空间先验信息，对不合理的姿态拟合起到更好的滤波作用。

Description

基于反馈式循环神经网络的人体模型重定向方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于反馈式循环神经网络的人体模型重定向方法及装置。
背景技术
三维重建是计算机视觉领域的重点问题。而人体三维重建问题在安防监控，体育康复，电影CG，虚拟直播，VR游戏等领域都有十分重要的发展前景，是三维重建领域的一个重点问题，但同时也是一个难点问题。基于红外光学动捕和惯性传导动捕的方法已经在很多领域有了广泛的落地应用，但两者都具有穿戴繁琐，采集流程复杂等缺陷。最新的基于卷积神经网络的无标记动捕系统一方面改进了这些方面，但另一方面无标记动捕的输出结果噪声较大，并且关节定义相对简略，因此直接使用传统的IK解算方法来重定向avatar的效果并不理想。
发明内容
本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络来进行人体重定向的梯度预测，相对于解析链式求导的重定向方法具有收敛速度更快和收敛路径更鲁棒的优势，并且神经梯度方法可以利用大规模人体姿态数据库的隐空间先验信息，对不合理的姿态拟合起到更好的滤波作用。
本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，包括：
获取姿态参数训练数据池和体型参数训练数据池；
预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；
生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure SMS_1
和体型参数/>
Figure SMS_2
；
根据所述姿态参数
Figure SMS_3
、体型参数/>
Figure SMS_4
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；
根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；
将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
进一步地，所述获取姿态参数训练数据池和体型参数训练数据池的步骤，包括：
采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；
将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；
采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。
进一步地，所述预训练人体重定向的关节回归矩阵，所所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标的步骤，包括：
令人体参数化模型的骨架坐标为
Figure SMS_5
，令动作捕捉的重建骨架坐标为
Figure SMS_6
，令插值回归矩阵为/>
Figure SMS_7
，最小化以下能量函数来训练/>
Figure SMS_8
：
Figure SMS_9
，
其中，
Figure SMS_10
指的是约束人体拓扑对称性的正则项。
进一步地，根据所述姿态参数
Figure SMS_11
、体型参数/>
Figure SMS_12
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式的步骤中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为/>
Figure SMS_13
以及/>
Figure SMS_14
。
进一步地，所述根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络的步骤，包括：
设反馈循环神经网络迭代次数为
Figure SMS_16
，则反馈循环神经网络包含/>
Figure SMS_19
层循环神经元，第/>
Figure SMS_22
次迭代时，输入当前的人体模型骨架/>
Figure SMS_17
相对于给定重定向骨架/>
Figure SMS_18
的残差，通过反馈循环神经网络输出参数的更新量/>
Figure SMS_21
,/>
Figure SMS_24
,/>
Figure SMS_15
,/>
Figure SMS_20
，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为/>
Figure SMS_23
，参数更新过程为：
Figure SMS_25
，
第一次迭代时，令
Figure SMS_26
为零；
最终损失函数为：
Figure SMS_27
，
其中，
Figure SMS_28
表示不同迭代次数的权重；/>
Figure SMS_29
时，取/>
Figure SMS_30
。
进一步地，所述第一次迭代时，还可以令
Figure SMS_31
为数据集的平均值。
进一步地，所述将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向的步骤中，每帧输入动作捕捉的骨架为
Figure SMS_32
，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为/>
Figure SMS_33
。
本发明还提供了一种基于反馈式循环神经网络的人体模型重定向装置，包括：
获取模块，用于获取姿态参数训练数据池和体型参数训练数据池；
预训练模块，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；
抽取模块，用于生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure SMS_34
和体型参数
Figure SMS_35
；
转换模块，用于根据所述姿态参数
Figure SMS_36
、体型参数/>
Figure SMS_37
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；
训练模块，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；
迭代模块，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
本发明的有益效果为：
本发明对于动作捕捉系统重建的人体骨架，在采集完人体骨骼信息和运动模态后，利用深度学习方法，重新定向到一个人体表面蒙皮模型；同时，利用反馈式循环神经网络来迭代优化重定向过程，每次迭代过程利用网络来预测优化方向与步长，相对于传统解析求导链式法则的方法大大减小了计算开销，并且可以有效的改善陷入局部极小的情况。除此之外，在一个丰富的人体动作序列库中进行采样监督训练，得到了人体运动的隐空间表征，从而约束了梯度预测空间，避免硬梯度下降方法出现的动作不合理的问题，基于深度循环网络的梯度预测方法具有对不同体型和姿态的重定向问题自适应调整能量项权重的优势，提升了方法的易用性和鲁棒性。
附图说明
图1为本发明一实施例的方法流程示意图。
图2为本发明中反馈循环神经网络的结构示意图。
图3为本发明一实施例的装置结构示意图。
图4为本发明一实施例的计算机设备内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种基于反馈式循环神经网络的人体模型重定向方法，利用循环神经网络代替传统解析式梯度下降或高斯牛顿算法，并且将姿态的轴角参数解空间映射为隐向量编码表示，实现了减小计算开销并且提高算法鲁棒性的效果，具体包括以下步骤：
S1、获取姿态参数训练数据池和体型参数训练数据池。
如上述步骤S1所述，对于姿态参数训练数据池：在大规模人体姿态运动序列上进行动作采样，并且叠加高斯噪声来进行数据集增广和增强，具体为：
采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池。
对于体型参数训练数据池：在人体测量数据库上对不同性别、体型的样本进行采样，同样叠加高斯噪声对数据集进行增强，具体为：
采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。采集的大量不同性别、年龄的人体测量数据加入一些随机正态分布扰动来进行数据集扩充，生成体型参数的训练数据池。
S2、预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标，即从重定向人体参数化模型的骨架到输入的动捕骨架之间的插值回归矩阵。
如上述步骤S2所述，由于骨架定义的关节坐标与人体参数化模型的关节坐标具有一定的偏移，直接进行映射会存在系统误差，因此需要预训练一个插值回归矩阵。具体地，令人体参数化模型的骨架坐标为
Figure SMS_38
，令动作捕捉的重建骨架坐标为/>
Figure SMS_39
，令插值回归矩阵为/>
Figure SMS_40
，最小化以下能量函数来训练/>
Figure SMS_41
：
Figure SMS_42
，
其中，
Figure SMS_43
指的是约束人体拓扑对称性的正则项。
S3、生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure SMS_44
和体型参数/>
Figure SMS_45
；
S4、根据所述姿态参数
Figure SMS_46
、体型参数/>
Figure SMS_47
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为
Figure SMS_48
以及/>
Figure SMS_49
。
如上述步骤S3-S4所述，在姿态数据池和体型数据池中抽样对应参数，结合随机的全局旋转与平移扰动驱动人体模型，得到成对匹配的人体参数和骨架坐标，再通过步骤S2中的回归矩阵转换为动捕输出的骨架格式，即，生成配对的骨架训练数据：分别从姿态参数池和体型参数池中随机抽取对应的人体姿态参数
Figure SMS_50
和体型参数/>
Figure SMS_51
，然后另外生成一组旋转矩阵/>
Figure SMS_52
和平移向量/>
Figure SMS_53
作为全局的刚性运动扰动，通过这些参数计算出人体表面蒙皮模型
Figure SMS_54
以及/>
Figure SMS_55
。
S5、根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络。
参照图2，图2示出了反馈循环神经网络的结构示意图，进行反馈循环神经网络的训练，约束每次迭代过后的拟合误差尽可能小：设反馈循环神经网络迭代次数为
Figure SMS_57
，则反馈循环神经网络包含/>
Figure SMS_60
层循环神经元（LSTM或GRU），第/>
Figure SMS_64
次迭代时，输入当前的人体模型骨架
Figure SMS_58
相对于给定重定向骨架/>
Figure SMS_61
的残差，通过反馈循环神经网络输出参数的更新量/>
Figure SMS_63
,/>
Figure SMS_65
,
Figure SMS_56
,/>
Figure SMS_59
，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为/>
Figure SMS_62
，参数更新过程为：
Figure SMS_66
，
第一次迭代时，令
Figure SMS_67
为零，还可以令/>
Figure SMS_68
为数据集的平均值；
最终损失函数为：
Figure SMS_69
，
其中，
Figure SMS_70
表示不同迭代次数的权重（逐次递增）；典型地，对于/>
Figure SMS_71
时，取
Figure SMS_72
。
S6、将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。在测试和使用过程中则只需输入动捕的骨架，然后通过网络迭代优化三次后取出对应的人体模板参数即可完成重定向过程。
完成实际动捕骨架运动序列的重定向：每帧输入动作捕捉的骨架为
Figure SMS_73
，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为/>
Figure SMS_74
。
本发明涉及动态三维人体重建的方法，对于动作捕捉系统（包括光学动捕，惯性动捕或无标记动捕等）重建的人体骨架，在采集完人体骨骼信息和运动模态后，利用深度学习方法，重新定向到一个人体表面蒙皮模型。其中包括两个难点：其一是三维骨骼关节坐标骨骼作为输入缺少了关节的旋转运动信息，以此来重建人体蒙皮模型是一个具有多义性的病态问题；其二是不同性别、体型的人体骨骼动作捕捉结果对人体模型重定向方法的鲁棒性有不小的挑战。传统的基于梯度下降优化的人体重定向方法存在易陷入局部极小，计算开销大等问题，并且很难利用到现有的人体动作序列库中的姿态先验信息。本发明利用反馈式循环神经网络来迭代优化重定向过程，每次迭代过程利用网络来预测优化方向与步长，相对于传统解析求导链式法则的方法大大减小了计算开销，并且可以有效的改善陷入局部极小的情况。除此之外，在一个丰富的人体动作序列库中进行采样监督训练，得到了人体运动的隐空间表征，从而约束了梯度预测空间，避免硬梯度下降方法出现的动作不合理的问题。基于深度循环网络的梯度预测方法天然地具有对不同体型和姿态的重定向问题自适应调整能量项权重的优势，提升了方法的易用性和鲁棒性。
如图3所示，本发明还提供了一种基于反馈式循环神经网络的人体模型重定向装置，包括：
获取模块1，用于获取姿态参数训练数据池和体型参数训练数据池；
预训练模块2，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；
抽取模块3，用于生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure SMS_75
和体型参数
Figure SMS_76
；
转换模块4，用于根据所述姿态参数
Figure SMS_77
、体型参数/>
Figure SMS_78
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；
训练模块5，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；
迭代模块6，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
在一个实施例中，获取模块1，包括：
第一采集单元，用于采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；
扩充单元，用于将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；
第二采集单元，用于采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。
在一个实施例中，预训练模块2，包括：
第一训练单元，用于令人体参数化模型的骨架坐标为
Figure SMS_79
，令动作捕捉的重建骨架坐标为/>
Figure SMS_80
，令插值回归矩阵为/>
Figure SMS_81
，最小化以下能量函数来训练/>
Figure SMS_82
：
Figure SMS_83
，
其中，
Figure SMS_84
指的是约束人体拓扑对称性的正则项。
在一个实施例中，转换模块4中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为
Figure SMS_85
以及/>
Figure SMS_86
。
在一个实施例中，训练模块5，包括：
第二训练单元，用于设反馈循环神经网络迭代次数为
Figure SMS_89
，则反馈循环神经网络包含
Figure SMS_91
层循环神经元，第/>
Figure SMS_94
次迭代时，输入当前的人体模型骨架/>
Figure SMS_88
相对于给定重定向骨架/>
Figure SMS_92
的残差，通过反馈循环神经网络输出参数的更新量/>
Figure SMS_95
,/>
Figure SMS_96
,/>
Figure SMS_87
,/>
Figure SMS_90
，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为/>
Figure SMS_93
，参数更新过程为：
Figure SMS_97
，
第一次迭代时，令
Figure SMS_98
为零；
最终损失函数为：
Figure SMS_99
，
其中，
Figure SMS_100
表示不同迭代次数的权重；/>
Figure SMS_101
时，取/>
Figure SMS_102
。
在一个实施例中，第二训练单元中，所述第一次迭代时，还可以令
Figure SMS_103
为数据集的平均值。
在一个实施例中，迭代模块6中，每帧输入动作捕捉的骨架为
Figure SMS_104
，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为/>
Figure SMS_105
。
上述各模块、单元均是用于对应执行上述基于反馈式循环神经网络的人体模型重定向方法中的各个步骤，其具体实现方式参照上述方法实施例所述，在此不再进行赘述。
如图4所示，本发明还提供了一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于反馈式循环神经网络的人体模型重定向方法的过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于反馈式循环神经网络的人体模型重定向方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一个基于反馈式循环神经网络的人体模型重定向方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于反馈式循环神经网络的人体模型重定向方法，其特征在于，包括：
获取姿态参数训练数据池和体型参数训练数据池；
预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；
生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure QLYQS_1
和体型参数/>
Figure QLYQS_2
；
根据所述姿态参数
Figure QLYQS_3
、体型参数/>
Figure QLYQS_4
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；
根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；
将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
2.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述获取姿态参数训练数据池和体型参数训练数据池的步骤，包括：
采集人体的运动序列，对所述运动序列每隔五帧采样得到关节的运动信息；其中，所述运动信息以轴角表示；
将姿态参数加上随机正态分布扰动进行扩充，以生成姿态参数训练数据池；
采集不同性别、年龄的人体测量数据，并加上随机正态分布扰动进行扩充，以生成体型参数训练数据池。
3.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标的步骤，包括：
令人体参数化模型的骨架坐标为
Figure QLYQS_5
，令动作捕捉的重建骨架坐标为
Figure QLYQS_6
，令插值回归矩阵为/>
Figure QLYQS_7
，最小化以下能量函数来训练/>
Figure QLYQS_8
：
Figure QLYQS_9
，
其中，
Figure QLYQS_10
指的是约束人体拓扑对称性的正则项。
4.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，根据所述姿态参数
Figure QLYQS_11
、体型参数/>
Figure QLYQS_12
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式的步骤中，所述动作捕捉输出的骨架格式为人体表面蒙皮模型，其表示为
Figure QLYQS_13
以及/>
Figure QLYQS_14
。
5.根据权利要求4所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络的步骤，包括：
设反馈循环神经网络迭代次数为
Figure QLYQS_17
，则反馈循环神经网络包含/>
Figure QLYQS_20
层循环神经元，第/>
Figure QLYQS_22
次迭代时，输入当前的人体模型骨架/>
Figure QLYQS_16
相对于给定重定向骨架/>
Figure QLYQS_18
的残差，通过反馈循环神经网络输出参数的更新量/>
Figure QLYQS_21
,/>
Figure QLYQS_24
,/>
Figure QLYQS_15
,/>
Figure QLYQS_19
，累加到对应参数上，令反馈循环神经网络的隐藏层状态向量为/>
Figure QLYQS_23
，参数更新过程为：
Figure QLYQS_25
，
第一次迭代时，令
Figure QLYQS_26
为零；
最终损失函数为：
Figure QLYQS_27
，
其中，
Figure QLYQS_28
表示不同迭代次数的权重；/>
Figure QLYQS_29
时，取/>
Figure QLYQS_30
。
6.根据权利要求5所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述第一次迭代时，还可以令
Figure QLYQS_31
为数据集的平均值。
7.根据权利要求1所述的基于反馈式循环神经网络的人体模型重定向方法，其特征在于，所述将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向的步骤中，每帧输入动作捕捉的骨架为
Figure QLYQS_32
，由所述反馈循环神经网络迭代三次后取出对应的人体模型参数为
Figure QLYQS_33
。
8.一种基于反馈式循环神经网络的人体模型重定向装置，其特征在于，包括：
获取模块，用于获取姿态参数训练数据池和体型参数训练数据池；
预训练模块，用于预训练人体重定向的关节回归矩阵，所述关节回归矩阵为插值回归矩阵，用于将人体参数化模型的骨架坐标转换为动作捕捉的重建骨架坐标；
抽取模块，用于生成一组旋转矩阵R和平移向量T作为全局的刚性运动扰动，并从所述姿态参数训练数据池和体型参数训练数据池中随机抽取对应的姿态参数
Figure QLYQS_34
和体型参数/>
Figure QLYQS_35
；
转换模块，用于根据所述姿态参数
Figure QLYQS_36
、体型参数/>
Figure QLYQS_37
、旋转矩阵R和平移向量T，得到成对匹配的人体参数和骨架坐标，并采用所述关节回归矩阵将成对匹配的人体参数和骨架坐标转换为动作捕捉输出的骨架格式；
训练模块，用于根据转换后成对匹配的人体参数和骨架坐标对反馈循环神经网络进行训练，得到训练完成的反馈循环神经网络；
迭代模块，用于将动作捕捉的骨架输入训练完成的反馈循环神经网络，并由所述反馈循环神经网络迭代三次后取出对应的人体模型参数，完成人体模型重定向。
CN202310647687.7A 2023-06-02 2023-06-02 基于反馈式循环神经网络的人体模型重定向方法及装置 Active CN116385666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310647687.7A CN116385666B (zh) 2023-06-02 2023-06-02 基于反馈式循环神经网络的人体模型重定向方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310647687.7A CN116385666B (zh) 2023-06-02 2023-06-02 基于反馈式循环神经网络的人体模型重定向方法及装置

Publications (2)

Publication Number Publication Date
CN116385666A true CN116385666A (zh) 2023-07-04
CN116385666B CN116385666B (zh) 2024-02-27

Family

ID=86967874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310647687.7A Active CN116385666B (zh) 2023-06-02 2023-06-02 基于反馈式循环神经网络的人体模型重定向方法及装置

Country Status (1)

Country Link
CN (1) CN116385666B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724459A (zh) * 2020-06-22 2020-09-29 合肥工业大学 一种面向异构人体骨骼的运动重定向的方法及系统
CN111899317A (zh) * 2020-08-07 2020-11-06 北京中科深智科技有限公司 一种基于神经网络的运动数据重定向方法
CN112634419A (zh) * 2020-12-31 2021-04-09 魔珐(上海)信息科技有限公司 一种运动重定向方法、装置、电子设备及存储介质
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
US20210319629A1 (en) * 2019-07-23 2021-10-14 Shenzhen University Generation method of human body motion editing model, storage medium and electronic device
CN114119911A (zh) * 2020-08-27 2022-03-01 北京陌陌信息技术有限公司 一种人体模型神经网络训练方法、设备和存储介质
CN114550292A (zh) * 2022-02-21 2022-05-27 东南大学 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN114693570A (zh) * 2020-12-28 2022-07-01 北京陌陌信息技术有限公司 一种人体模型图像的融合处理方法、设备和存储介质
CN114863038A (zh) * 2022-07-07 2022-08-05 杭州像衍科技有限公司 基于显式几何形变的实时动态自由视角合成方法及装置
CN115330950A (zh) * 2022-08-17 2022-11-11 杭州倚澜科技有限公司 基于时序上下文线索的三维人体重建方法
CN115761117A (zh) * 2022-11-04 2023-03-07 中国电子科技集团公司第十研究所 一种基于star模型的三维人体重建方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319629A1 (en) * 2019-07-23 2021-10-14 Shenzhen University Generation method of human body motion editing model, storage medium and electronic device
CN111724459A (zh) * 2020-06-22 2020-09-29 合肥工业大学 一种面向异构人体骨骼的运动重定向的方法及系统
CN111899317A (zh) * 2020-08-07 2020-11-06 北京中科深智科技有限公司 一种基于神经网络的运动数据重定向方法
CN114119911A (zh) * 2020-08-27 2022-03-01 北京陌陌信息技术有限公司 一种人体模型神经网络训练方法、设备和存储介质
CN114693570A (zh) * 2020-12-28 2022-07-01 北京陌陌信息技术有限公司 一种人体模型图像的融合处理方法、设备和存储介质
CN112634419A (zh) * 2020-12-31 2021-04-09 魔珐(上海)信息科技有限公司 一种运动重定向方法、装置、电子设备及存储介质
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
CN114550292A (zh) * 2022-02-21 2022-05-27 东南大学 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN114863038A (zh) * 2022-07-07 2022-08-05 杭州像衍科技有限公司 基于显式几何形变的实时动态自由视角合成方法及装置
CN115330950A (zh) * 2022-08-17 2022-11-11 杭州倚澜科技有限公司 基于时序上下文线索的三维人体重建方法
CN115761117A (zh) * 2022-11-04 2023-03-07 中国电子科技集团公司第十研究所 一种基于star模型的三维人体重建方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RUBEN VILLEGAS ET AL: "Neural Kinematic Networks for Unsupervised Motion Retargetting", NEURAL KINEMATIC NETWORKS FOR UNSUPERVISED MOTION RETARGETTING *
周阳: "面向关节坐标运动数据的运动重定向方法研究", 面向关节坐标运动数据的运动重定向方法研究, vol. 2021, no. 2 *
王磊: "自定义虚拟化身的骨骼运动数据生成方法研究", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》, vol. 2023, no. 5 *
赵明富 等: "基于残差独立循环神经网络的空间增强人体骨架行为识别", 《激光杂志》, 25 July 2020 (2020-07-25) *

Also Published As

Publication number Publication date
CN116385666B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Pavllo et al. Quaternet: A quaternion-based recurrent model for human motion
US10593021B1 (en) Motion deblurring using neural network architectures
CN111652124A (zh) 一种基于图卷积网络的人体行为识别模型的构建方法
CN112434655B (zh) 一种基于自适应置信度图卷积网络的步态识别方法
CN111223168B (zh) 目标对象控制方法、装置、存储介质和计算机设备
CN110139046B (zh) 一种基于张量的视频帧合成方法
CN114581613B (zh) 一种基于轨迹约束的人体模型姿态和形状优化方法和系统
Wang et al. Robust differentiable SVD
An et al. Adaptive robust noise modeling of sparse representation for bearing fault diagnosis
CN109345604B (zh) 图片处理方法、计算机设备和存储介质
CN111714124B (zh) 磁共振电影成像方法、装置、成像设备及存储介质
Marban et al. Estimation of interaction forces in robotic surgery using a semi-supervised deep neural network model
CN114550292A (zh) 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN106407932B (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN115761117A (zh) 一种基于star模型的三维人体重建方法及系统
Li et al. Image-guided human reconstruction via multi-scale graph transformation networks
CN113706670B (zh) 生成动态三维人体网格模型序列的方法及装置
Li et al. An iterative solution for improving the generalization ability of unsupervised skeleton motion retargeting
Madadi et al. Deep unsupervised 3D human body reconstruction from a sparse set of landmarks
CN116385666B (zh) 基于反馈式循环神经网络的人体模型重定向方法及装置
Pajot et al. Unsupervised adversarial image inpainting
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN116342836B (zh) 一种基于深度隐式细节表征的人体建模方法
Pan et al. Fast human motion transfer based on a meta network
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant