CN116563952B - 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 - Google Patents
一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 Download PDFInfo
- Publication number
- CN116563952B CN116563952B CN202310829172.9A CN202310829172A CN116563952B CN 116563952 B CN116563952 B CN 116563952B CN 202310829172 A CN202310829172 A CN 202310829172A CN 116563952 B CN116563952 B CN 116563952B
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- skeleton
- neural network
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 50
- 238000011084 recovery Methods 0.000 title claims abstract description 38
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000005096 rolling process Methods 0.000 claims abstract description 12
- 239000003550 marker Substances 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 9
- 230000001771 impaired effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 claims 2
- 230000007774 longterm Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 244000198134 Agave sisalana Species 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，包括以下步骤：S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标；该方法提高缺失点坐标恢复精度和骨长的恢复精度，对缺失间隙的长度和缺失标记的数量具有更强的鲁棒性。
Description
技术领域
本发明涉及计算机数据处理技术领域，具体涉及一种结合图神经网络和骨长约束的动捕缺失数据恢复方法。
背景技术
运动捕捉(motion capture, MOCAP)是一种获取真实运动数据的技术，旨在通过传感设备记录人体在三维空间中的运动轨迹, 并将其转化为抽象的运动数据以驱动虚拟人或物体运动的仿真技术。随着虚拟现实技术的飞速发展，MOCAP数据已经广泛地应用于计算机动画、影视游戏、教育医学、运动分析、体育训练和运动仿真等领域。然而，由于捕捉和运动跟踪过程中常常存在测量误差、校准误差和传感器分辨率差等因素的影响，以及采集数据时标记点被物体或者身体的其他部位遮挡，使传感器无法捕获完整标记点，从而造成捕捉数据缺失问题。在实际应用中，有效的缺失数据重构恢复能够较好地便于后续运动编辑、合成和重用等实际应用数据的处理。
人类运动捕捉数据已被广泛应用于现实的角色动画中，而由于关节遮挡、标记脱落和设备精度不足导致的标记缺失问题往往会影响后续运动编辑、合成和数据重用等实际应用性能。现有的一些捕捉数据恢复方法在刻画人体结构的时空约束方面常常存在不自然现象，并在长序列数据恢复中出现运动失真情况，较难满足实际使用需求。
发明内容
本发明的目的在于提供一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，该结合图神经网络和骨长约束的动捕缺失数据恢复方法提高缺失点坐标恢复精度的同时也提升了骨长的恢复精度，对缺失间隙的长度和缺失标记的数量具有更强的鲁棒性。
为实现上述目的，本发明采用以下技术方案：
一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，包括以下步骤：
S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；
S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；
S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；
S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标。
优选地，步骤S1的具体过程为：
S11、在一个具有d个关节和n帧的骨架序列上，构建一个无向时空图， 在该无向时空图中，节点集/>包含一个骨架序列中的所有关节，其中，t为帧序号，i为关节序号；
S12、根据人体结构的连通性，将同一帧内的关节用边连接起来，则边集E描述了每一帧的骨架连接，表示为，其中，H是自然连接的人体关节集合。
优选地，步骤S2中基于骨架图的图神经网络为：
在时间的单个帧上，有d个联合节点，以及骨架边； 设/>为骨架图G的邻接矩阵，如果第/>和第j个关节连接，则/>，否则为0, 则邻接矩阵A完整地描述了骨架结构；设为度矩阵，其中/>；一个矩阵由一系列帧组成，其中每个帧记录每个关节的三维位置，其数据形式表示为，其中/>，n表示运动序列中所包含的帧数，d为人体关节总数，每个节点以三维坐标形式表示；若/>是完整的MOCAP数据，并让/>表示一个受损的运动序列，缺失标记的值通过二进制掩码/>记录在MOCAP数据中：
（1）
其中，表示两个矩阵对应位置元素进行乘积，设/>、/>分别为原始、受损序列中第t帧联合节点组成的坐标向量，则 其中，，设/>、/>分别为原始、受损运动序列中第t帧上的第/>个关节的坐标向量，则：/> 。
优选地，步骤S2中所述编码器由图卷积神经网络和全连接神经网络连接组成，编码器通过运动数据中未缺失的部分建立缺失数据的预测模型，充分地利用骨架图的空间信息；所述编码器使用图卷积神经网络提取骨架特征，其引入了每个关节的相邻特征的加权平均值；骨架图G中的每个节点添加所有直接连接的相邻节点的隐藏状态以更新当前节点的隐藏状态，这个过程如下式所示: （2）
其中, 表示节点u在第/>层第t帧的特征状态，/>表示节点v在第层第t帧的特征状态，/>为第t帧中节点v的邻接节点集，每一帧的节点在每一层都有其特征表示；其中，/>，第K层是通过k跳后的节点信息的低维表征向量；将编码过程划分为两个阶段：节点间的特征传递与各节点的状态更新分别由函数/>和完成；在第t帧处，将节点v的输入特征/>作为其隐藏状态的初始态/>后，编码器对隐藏状态的更新如下式表示：/>（3）
其中，表示节点u在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>代表图卷积的第层，w为邻域各节点的权值；第/>层的输入依赖于第/>层的输出表示，其中初始的第0层表示等于输入节点特征/>；所述编码器的整个过程从输入节点特征开始，通过在骨架图上转换和聚合特征的图神经网络来计算骨架节点的嵌入特征；给定关节点v一个嵌入特征/>，/>取决于骨架节点v的输入特征和该节点周围的图结构；设当前骨架节点v的嵌入特征为/>，其对应的邻域节点的嵌入特征集合为，邻域各节点的权值集合为/>，其中，/>表示点v的邻域节点集合，则骨架节点v的特征传递与状态更新过程的公式如下所示： （4）（5）/>（6）其中，为单位矩阵，/>为ReLU函数，W为各节点的权值集合；当前骨架节点v的嵌入特征/>经特征传递与状态更新操作后取值/>。
优选地，步骤S2中解码器对来自编码器的全局特征进行解码，设为编码器的输出特征，/>为自动编码器恢复的运动序列在第t帧的联合节点坐标向量；在自动编码的过程中，编码器以/>作为输入，经过两层的图卷积网络提取关节的空间信息，最后一个图卷积模块被连接到一个全连接神经网络进行解码，全连接神经网络将图神经网络的输出/>映射为新的恢复特征/>，其中，/>，函数g为两层图卷积网络映射函数，函数f为全连接层映射函数。
优选地，步骤S3中基于关节在运动时存在的协作关系，将人体骨架结构划分成多个骨块链，每个骨块链都是两个相邻关节点的集合，对于同一个骨块链的两个标记点计算骨长，即针对相邻的两个标记点和/>，利用关节点三维空间坐标之间的空间欧式距离来计算骨长/>进行约束学习。
优选地，步骤S4的具体过程为：
S41、采用重建损失和骨长损失来训练网络；
重建损失用于约束模型保存序列可见部分的信息，重建损失公式如下： （7）
其中，代表/>范数；
骨长损失用于约束整个生成运动序列的骨长不变，使恢复的人体运动更加平滑，骨长损失公式如下：（8）
其中,表示运动帧中的第/>帧的第j块骨长,/>为对应段的恢复运动，编码器的损失函数最终表示为：/>（9）
其中, 和/>是用于调整每个损失项重要性的超参数；
S42、将运动恢复任务转换为优化函数和/>，最小化恢复的运动序列与完整的运动序列V之间的差异为：（10）
利用编码器来拟合函数和/>，编码器/>将/>映射到高维表示；
S43、解码器将其映射回输入流以重建原始信号，再根据运动序列的时域稳定性把连续几帧的数据组合起来，并利用平均滑动窗口进行平滑后处理。
采用上述技术方案后，本发明具有如下有益效果：本发明的结合图神经网络和骨长约束的动捕缺失数据恢复方法通过图卷积的自动编码器深度挖掘人体关节之间的空间关系，并根据挖掘的已知数据信息建立缺失数据的预测模型，有效地利用了人体结构的潜在相关性；同时，考虑到帧间的相互关联及人体运动空间物理约束特性，本发明还设计了一个有约束的标记选择算法来有效地提升骨长的恢复精度，最大限度地保证了恢复后运动的逼真性。经实验证明，该方法对缺失间隙的长度和缺失标记的数量具有更强的鲁棒性，无论在长、短序列或不同缺失分布的情况下，都能较大幅度地降低重构误差率同时保证骨骼长度的恢复精度，使得重构后的运动数据更逼近于真实运动数据，表现在运动姿态上则更加自然、逼真。此外，该方法不依赖于未来的帧，因此该方法也适用于在线系统。
附图说明
图1为本发明的流程图；
图2为本发明的框架结构示意图；
图3为本发明的结合图神经网络和骨长约束的动捕缺失数据恢复方法在三种不同运动序列上恢复的可视化结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1至图3所示，一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，包括以下步骤：
S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；
步骤S1的具体过程为：
S11、在一个具有d个关节和n帧的骨架序列上，构建一个无向时空图，在该无向时空图中，节点集/>包含一个骨架序列中的所有关节，其中，t为帧序号，i为关节序号；
S12、根据人体结构的连通性，将同一帧内的关节用边连接起来，则边集E描述了每一帧的骨架连接，表示为，其中，H是自然连接的人体关节集合；
S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；
步骤S2中基于骨架图的图神经网络为：
在时间的单个帧上，有d个联合节点，以及骨架边； 设/>为骨架图G的邻接矩阵，如果第/>和第j个关节连接，则/>，否则为0, 则邻接矩阵A完整地描述了骨架结构；设为度矩阵，其中/>；一个矩阵由一系列帧组成，其中每个帧记录每个关节的三维位置，其数据形式表示为，其中/>，n表示运动序列中所包含的帧数，d为人体关节总数，每个节点以三维坐标形式表示；若/>是完整的MOCAP数据，并让/>表示一个受损的运动序列，缺失标记的值通过二进制掩码/>记录在MOCAP数据中：
（1）
其中，表示两个矩阵对应位置元素进行乘积，设/>、/>分别为原始、受损序列中第t帧联合节点组成的坐标向量，则/> 其中，/>，设/>、/>分别为原始、受损运动序列中第t帧上的第/>个关节的坐标向量，则： ；
步骤S2中所述编码器由图卷积神经网络和全连接神经网络连接组成，编码器通过运动数据中未缺失的部分建立缺失数据的预测模型，充分地利用骨架图的空间信息；所述编码器使用图卷积神经网络提取骨架特征，其引入了每个关节的相邻特征的加权平均值；骨架图G中的每个节点添加所有直接连接的相邻节点的隐藏状态以更新当前节点的隐藏状态，这个过程如下式所示: （2）
其中, 表示节点u在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>为第t帧中节点v的邻接节点集，每一帧的节点在每一层都有其特征表示；其中，/>，第K层是通过k跳后的节点信息的低维表征向量；将编码过程划分为两个阶段：节点间的特征传递与各节点的状态更新分别由函数/>和/>完成；在第t帧处，将节点v的输入特征/>作为其隐藏状态的初始态/>后，编码器对隐藏状态的更新如下式表示：/>（3）
其中，表示节点u在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>代表图卷积的第层，w为邻域各节点的权值；第/>层的输入依赖于第/>层的输出表示，其中初始的第0层表示等于输入节点特征/>；所述编码器的整个过程从输入节点特征开始，通过在骨架图上转换和聚合特征的图神经网络来计算骨架节点的嵌入特征；给定关节点v一个嵌入特征/>，/>取决于骨架节点v的输入特征和该节点周围的图结构；设当前骨架节点v的嵌入特征为/>，其对应的邻域节点的嵌入特征集合为，邻域各节点的权值集合为/>，其中，/>表示点v的邻域节点集合，则骨架节点v的特征传递与状态更新过程的公式如下所示： （4） />（5）（6）
其中，为单位矩阵，/>为ReLU函数，W为各节点的权值集合；当前骨架节点v的嵌入特征/>经特征传递与状态更新操作后取值/>；
步骤S2中解码器对来自编码器的全局特征进行解码，设为编码器的输出特征，/>为自动编码器恢复的运动序列在第t帧的联合节点坐标向量；在自动编码的过程中，编码器以/>作为输入，经过两层的图卷积网络提取关节的空间信息，最后一个图卷积模块被连接到一个全连接神经网络进行解码，全连接神经网络将图神经网络的输出/>映射为新的恢复特征/>，其中/>，，函数g为两层图卷积网络映射函数，函数f为全连接层映射函数；
S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；
步骤S3中基于关节在运动时存在的协作关系，将人体骨架结构划分成多个骨块链，每个骨块链都是两个相邻关节点的集合，对于同一个骨块链的两个标记点计算骨长，即针对相邻的两个标记点和/>，利用关节点三维空间坐标之间的空间欧式距离来计算骨长/>进行约束学习；
S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标；
步骤S4的具体过程为：
S41、采用重建损失和骨长损失来训练网络；
重建损失用于约束模型保存序列可见部分的信息，重建损失公式如下： （7）
其中，代表/>范数；
骨长损失用于约束整个生成运动序列的骨长不变，使恢复的人体运动更加平滑，骨长损失公式如下：（8）
其中,表示运动帧中的第/>帧的第j块骨长,/>为对应段的恢复运动，编码器的损失函数最终表示为：/>（9）
其中, 和/>是用于调整每个损失项重要性的超参数；
S42、将运动恢复任务转换为优化函数和/>，最小化恢复的运动序列与完整的运动序列V之间的差异为：（10）
利用编码器来拟合函数和/>，编码器/>将/>映射到高维表示；图2为本发明的框架结构示意图，a) 编码阶段：网络输入骨架图的邻接矩阵A、度矩阵D及原始节点特征/>进行多层空间图卷积操作生成更高层次的特征，b) 解码阶段：将编码阶段生成的特征输入到全连接神经网络进行解码得到恢复运动的三维坐标；
S43、解码器将其映射回输入流以重建原始信号，再根据运动序列的时域稳定性把连续几帧的数据组合起来，并利用平均滑动窗口进行平滑后处理。
一、实验及结果分析
1.1 数据预处理
本实施例的实验基于CMU MOCAP数据库，数据预处理对损坏序列用大小为3的滑动窗口进行均值滤波处理得到平滑序列，深度图卷积神经网络以/>作为输入，本实施例将该发明提出的结合图神经网络和骨长约束的动捕缺失数据恢复方法和其他方法在相同的配置上进行评估，为模拟关节随机缺失的情况，在训练和测试过程中，随机去除一定数量的活动关节。
1.2 实施和基线
为了更好地验证发明提出的结合图神经网络和骨长约束的动捕缺失数据恢复方法的性能，本实施例选择了四种方法进行比较：双向循环自动编码器(BRA)、注意力机制的长短期记忆网络(A-LSTM)、基于时间反演对称性 (TRS)和图匹配网络（GMN）的方法。本实施例采用均方根误差( RMSE)来衡量恢复的结果：其中，/>是完整姿态，/>是恢复姿态，是缺失关节的总数，/>是一个退化算子，它将删除所有未缺失的关节。此外，骨长误差(bone length error, BLE)是确定恢复的运动序列在视觉上是否合理和自然的一个重要标准, 即: />其中，/>和 />分别是完整和恢复运动序列中第/>帧的所有骨长之和,/>是缺失关节的总数。
1.3 恢复结果比较
当各种类型的运动序列(如跑步、跳舞和剑术)随机缺失40%的关节时（节点随机缺失）可视化了恢复结果，恢复结果如图3所示。本实施例挑选七个不同时刻对应的视觉恢复结果，在每个子图中，第一行是原始运动，第二行是受损运动，第三行是恢复运动。值得注意的是，在大多数运动类型中，本实施例框架恢复的运动帧与原始帧非常相似，即使在大规模运动(如跑步、跳舞和剑术)的情况下, 本发明获得的结果仍然具有鲁棒性。
由于人类运动的不确定性和多样性，长期的人类运动恢复是一个具有挑战性的问题。为了检验结合图神经网络和骨长约束的动捕缺失数据恢复方法的局限性，本实施例进行了一组实验以测试标记点在长期缺失情况下的恢复误差，尽管这种情况发生的频率较低。本实施例选择6个长度为2500帧的运动序列，并将这6个序列分为三类：周期性运动 (攀爬)、非周期性运动(太极、 打篮球、拳击)和大规模运动(剑术、舞蹈)，组成这些序列的帧连续缺失，每帧的缺失率为40%。由表1可观察到，本发明的方法在所有情况下都优于其它的四种方法。这是由于编码器通过构建关系网络聚合节点之间的共现信息， 各节点之间通过不断聚合更新自适应地学习骨架图，捕获关于恢复缺失标记的有用的非局部信息，而TSR及GMN由于难以捕捉长期的依赖关系同时难以利用骨架结构的空间信息，恢复效果欠佳。随着运动持续时间的增加，本发明的结合图神经网络和骨长约束的动捕缺失数据恢复方法的优点逐渐出现，而其他四种方法的性能也逐渐下降。由此可知，本发明的结合图神经网络和骨长约束的动捕缺失数据恢复方法仍然适合于长期的运动恢复。
表1: 在CMU数据集的6个活动上, 本发明和其他方法在短期、长期运动序列上的RMSE定量比较
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，包括以下步骤：
S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；
S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；
步骤S2中基于骨架图的图神经网络为：
在时间的单个帧上，有d个联合节点，以及骨架边/>；设/>为骨架图G的邻接矩阵，如果第/>和第j个关节连接，则/>，否则为0,则邻接矩阵A完整地描述了骨架结构；设/>为度矩阵，其中/>；一个矩阵由一系列帧组成，其中每个帧记录每个关节的三维位置，其数据形式表示为，其中/>，n表示运动序列中所包含的帧数，d为人体关节总数，每个节点以三维坐标形式表示；若/>是完整的MOCAP数据，并让/>表示一个受损的运动序列，缺失标记的值通过二进制掩码记录在MOCAP数据中：
（1）
其中，表示两个矩阵对应位置元素进行乘积，设/>、/>分别为原始、受损序列中第t帧联合节点组成的坐标向量，则/> 其中，/>，设/>、/>分别为原始、受损运动序列中第t帧上的第/>个关节的坐标向量，则： ；
步骤S2中所述编码器由图卷积神经网络和全连接神经网络连接组成，编码器通过运动数据中未缺失的部分建立缺失数据的预测模型，充分地利用骨架图的空间信息；所述编码器使用图卷积神经网络提取骨架特征，其引入了每个关节的相邻特征的加权平均值；骨架图G中的每个节点添加所有直接连接的相邻节点的隐藏状态以更新当前节点的隐藏状态，这个过程如下式所示:
（2）
其中，表示节点u在第/>层第t帧的特征状态，/>表示节点V在第/>层第t帧的特征状态，/>为第t帧中节点v的邻接节点集，每一帧的节点在每一层都有其特征表示；其中，/>，第K层是通过k跳后的节点信息的低维表征向量；将编码过程划分为两个阶段：节点间的特征传递与各节点的状态更新分别由函数/>和/>完成；在第t帧处，将节点v的输入特征/>作为其隐藏状态的初始态/>后，编码器对隐藏状态的更新如下式表示：/> （3）
其中，表示节点u在第/>层第t帧的特征状态，/>表示节点v在第/>层第t帧的特征状态，/>表示节点V在第/>层第t帧的特征状态，/>代表图卷积的第层，w为邻域各节点的权值；第/>层的输入依赖于第/>层的输出表示，其中初始的第0层表示等于输入节点特征/>；所述编码器的整个过程从输入节点特征开始，通过在骨架图上转换和聚合特征的图神经网络来计算骨架节点的嵌入特征；给定关节点v一个嵌入特征/>，/>取决于骨架节点v的输入特征和该节点周围的图结构；设当前骨架节点v的嵌入特征为/>，其对应的邻域节点的嵌入特征集合为/>，邻域各节点的权值集合为/>，其中，/>表示点v的邻域节点集合，则骨架节点v的特征传递与状态更新过程的公式如下所示：
（4）
（5）
（6）
其中，为单位矩阵，/>为ReLU函数，W为各节点的权值集合；当前骨架节点v的嵌入特征/>经特征传递与状态更新操作后取值/>；
步骤S2中解码器对来自编码器的全局特征进行解码，设为编码器的输出特征，/>为自动编码器恢复的运动序列在第t帧的联合节点坐标向量；在自动编码的过程中，编码器以/>作为输入，经过两层的图卷积网络提取关节的空间信息，最后一个图卷积模块被连接到一个全连接神经网络进行解码，全连接神经网络将图神经网络的输出/>映射为新的恢复特征/>，其中/>，，函数/>为两层图卷积网络映射函数，函数/>为全连接层映射函数；
S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；
S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标；
步骤S4的具体过程为：
S41、采用重建损失和骨长损失来训练网络；
重建损失用于约束模型保存序列可见部分的信息，重建损失公式如下： （7）
其中，代表/>范数；骨长损失用于约束整个生成运动序列的骨长不变，使恢复的人体运动更加平滑，骨长损失公式如下：/>（8）
其中,表示运动帧中的第/>帧的第j块骨长,/>为对应段的恢复运动，编码器的损失函数最终表示为：/>（9）
其中, 和/>是用于调整每个损失项重要性的超参数；
S42、将运动恢复任务转换为优化函数和/>，最小化恢复的运动序列/>与完整的运动序列V之间的差异为：
（10）
利用编码器来拟合函数和/>，编码器/>将/>映射到高维表示；
S43、解码器将其映射回输入流以重建原始信号，再根据运动序列的时域稳定性把连续几帧的数据组合起来，并利用平均滑动窗口进行平滑后处理。
2.如权利要求1所述的一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，步骤S1的具体过程为：S11、在一个具有d个关节和n帧的骨架序列上，构建一个无向时空图，在该无向时空图中，节点集/>包含一个骨架序列中的所有关节，其中，t为帧序号，/>为关节序号；
S12、根据人体结构的连通性，将同一帧内的关节用边连接起来，则边集E描述了每一帧的骨架连接，表示为，其中，H是自然连接的人体关节集合。
3.如权利要求2所述的一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，步骤S3中基于关节在运动时存在的协作关系，将人体骨架结构划分成多个骨块链，每个骨块链都是两个相邻关节点的集合，对于同一个骨块链的两个标记点计算骨长，即针对相邻的两个标记点和/>，利用关节点三维空间坐标之间的空间欧式距离来计算骨长/>进行约束学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310829172.9A CN116563952B (zh) | 2023-07-07 | 2023-07-07 | 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310829172.9A CN116563952B (zh) | 2023-07-07 | 2023-07-07 | 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563952A CN116563952A (zh) | 2023-08-08 |
| CN116563952B true CN116563952B (zh) | 2023-09-15 |
Family
ID=87491839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310829172.9A Active CN116563952B (zh) | 2023-07-07 | 2023-07-07 | 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563952B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800126A (zh) * | 2012-07-04 | 2012-11-28 | 浙江大学 | 基于多模态融合的实时人体三维姿态恢复的方法 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
| CN109584345A (zh) * | 2018-11-12 | 2019-04-05 | 大连大学 | 基于卷积神经网络的人体运动合成方法 |
| CN109858390A (zh) * | 2019-01-10 | 2019-06-07 | 浙江大学 | 基于端到端时空图学习神经网络的人体骨架的行为识别方法 |
| CN112419419A (zh) * | 2019-11-27 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于人体姿势和形状估计的系统和方法 |
| WO2022006784A1 (zh) * | 2020-07-08 | 2022-01-13 | 香港中文大学（深圳） | 人体骨架检测方法、装置、系统、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11474593B2 (en) * | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
| US11475577B2 (en) * | 2020-11-01 | 2022-10-18 | Southwest Research Institute | Markerless motion capture of animate subject with prediction of future motion |
| KR102643198B1 (ko) * | 2021-10-15 | 2024-03-05 | 한국과학기술원 | 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법 |
-
2023
- 2023-07-07 CN CN202310829172.9A patent/CN116563952B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800126A (zh) * | 2012-07-04 | 2012-11-28 | 浙江大学 | 基于多模态融合的实时人体三维姿态恢复的方法 |
| CN107993248A (zh) * | 2017-10-27 | 2018-05-04 | 浙江理工大学 | 一种运动数据失真恢复方法 |
| CN109584345A (zh) * | 2018-11-12 | 2019-04-05 | 大连大学 | 基于卷积神经网络的人体运动合成方法 |
| CN109858390A (zh) * | 2019-01-10 | 2019-06-07 | 浙江大学 | 基于端到端时空图学习神经网络的人体骨架的行为识别方法 |
| CN112419419A (zh) * | 2019-11-27 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 用于人体姿势和形状估计的系统和方法 |
| WO2022006784A1 (zh) * | 2020-07-08 | 2022-01-13 | 香港中文大学（深圳） | 人体骨架检测方法、装置、系统、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Efficient motion capture data recovery via relationship-aggregated graph network and temporal pattern reasoning;chuanqin zheng;Mathematical biosciences and engineering;第20卷(第6期);全文 * |
| 人体三维运动捕捉数据失真恢复研究;鲁涛;优秀硕士学位论文;全文 * |
| 基于骨骼约束的人体运动捕捉数据失真恢复;汪亚明;鲁涛;韩永华;;计算机系统应用(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563952A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110637323B (zh) | 基于部分的跟踪的方法、设备和系统 | |
| Yang et al. | S3: Neural shape, skeleton, and skinning fields for 3d human modeling | |
| Zhao et al. | A simple, fast and highly-accurate algorithm to recover 3d shape from 2d landmarks on a single image | |
| Stoll et al. | Fast articulated motion tracking using a sums of gaussians body model | |
| US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
| CN101216952B (zh) | 用于人体运动捕捉数据的动态时空耦合降噪处理方法 | |
| CN107993248B (zh) | 一种运动数据失真恢复方法 | |
| CN112037310A (zh) | 基于神经网络的游戏人物动作识别生成方法 | |
| Yang et al. | Reconstructing animatable categories from videos | |
| CN114581613B (zh) | 一种基于轨迹约束的人体模型姿态和形状优化方法和系统 | |
| CN113808047B (zh) | 一种人体运动捕捉数据去噪方法 | |
| Chen et al. | Mocap-solver: A neural solver for optical motion capture data | |
| US20230126829A1 (en) | Point-based modeling of human clothing | |
| CN112308110A (zh) | 一种能够实现人机交互的手部运动识别方法及系统 | |
| CN113688683A (zh) | 光学运动捕捉数据处理方法、模型训练方法及装置 | |
| Jinka et al. | Peeledhuman: Robust shape representation for textured 3d human body reconstruction | |
| JP2012141881A (ja) | 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム | |
| Chen et al. | Prior-knowledge-based self-attention network for 3D human pose estimation | |
| Liu et al. | Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model | |
| CN116563952B (zh) | 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法 | |
| Perales | Human motion analysis and synthesis using computer vision and graphics techniques. State of art and applications | |
| CN111860417A (zh) | 一种人体动作识别方法 | |
| Zhu et al. | Attention-Based Recurrent Autoencoder for Motion Capture Denoising | |
| KR101547208B1 (ko) | 손목 궤적을 이용한 전신 동작 생성 장치 및 방법 | |
| Zhang et al. | Particle swarm optimization for markerless full body motion capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |