CN112907631B - 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 - Google Patents
一种引入反馈机制的多rgb相机实时人体动作捕捉系统 Download PDFInfo
- Publication number
- CN112907631B CN112907631B CN202110194157.2A CN202110194157A CN112907631B CN 112907631 B CN112907631 B CN 112907631B CN 202110194157 A CN202110194157 A CN 202110194157A CN 112907631 B CN112907631 B CN 112907631B
- Authority
- CN
- China
- Prior art keywords
- human body
- camera
- dimensional
- joint
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn - After Issue
Links
- 230000008713 feedback mechanism Effects 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 230000007797 corrosion Effects 0.000 claims abstract description 4
- 238000005260 corrosion Methods 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 210000002478 hand joint Anatomy 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 abstract description 20
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract 2
- 230000003993 interaction Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，主要包括平台搭建、数据处理、姿态重建及反馈优化等步骤，结合深度学习的技术来完成人体姿态的估计，通过引入人体线性蒙皮模型以及人手检测器，对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。通过引入反馈机制，将上一帧的人体模型渲染到当前帧并进行腐蚀膨胀处理，得到当前帧的启发式算法的一个合理初值，并且引入了三维的可见性信息，避免了歧义性，从而可以提高算法的收敛速度和精度，从而完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。
Description
技术领域
本发明涉及到计算机视觉人体动作捕捉技术领域，尤其涉及到一种引入反馈机制的多RGB相机实时人体动作捕捉系统。
背景技术
随着计算机计算能力的提高以及图形卡的不断迭代，深度学习技术得以迅猛发展，极大地推动了计算机视觉领域。目前的重建技术主要分为两种，一种是利用普通的RGB相机，通过多目特征点匹配并三角化得到深度信息，另一种是直接利用深度相机，得到深度图进行重建，比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建，把这种技术推向消费领域。
但相对于RGB相机，深度相机的缺点有受环境光干扰大，深度检测距离有限等，价格昂贵等，因此利用普及率高的RGB相机进行人体重建具有更大的潜力，主要可以应用在虚拟试衣，CG游戏等领域。而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高，因此，我们结合了深度学习技术，有必要完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。
发明内容
本发明的目的是为了克服现有技术的不足，提供了一种引入反馈机制的多RGB相机实时人体动作捕捉系统及系统。
本发明是通过以下技术方案实现：
本发明提供了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，旨在利用多目RGB相机实时对人体动作进行捕捉重建，包括以下步骤：
S1：将多个相机架围出捕捉区域，并对各个相机进行参数标定；
S2：通过标定好的多个相机采集捕捉人体动作图像，并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片；
S3：利用转码缩放的RGB图片完成单目的人体姿态估计；
S4：通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图，对关节热点图进行非极大值抑制边缘检测得到各个关节坐标；
S5：利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束，构造出稀疏4D图；
S6：利用启发式算法对4D图进行分割，得到人体在各个视角下的2D关节坐标，再利用相机参数对各个视角下匹配关节的坐标进行三角化，得到三维人体骨架及三维关节坐标；
S7：将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列，第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，接下来通过人手姿态的PCA系数计算出二维人手位置，继而修正矩形ROI区域的误差以便于跟踪；
S8：对不同视角的人手检测结果进行去噪，即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值，去噪后得到的人手参数；
S9：使用得到的三维关节坐标和人手参数拟合出三维人体模型，即将求解结果转换为线性蒙皮模型的关节点和表面点约束，并用高斯牛顿法迭代交替优化参数模型，同时添加高斯混合模型作为正则项；
S10：引入一个反馈，用当前帧的三维人体模型作为下一帧的骨架优化的先验，将优化后的三维人体模型重新投影回各个视角下，渲染出和各个视角对齐的缩略MASK图，得到可视性信息，并对缩略MASK图进行类腐蚀膨胀处理；
S11：在下一帧再次执行步骤S6时，可以直接先利用经过处理的缩略MASK图进行分配结果的初始化，以保证系统的鲁棒性。
优选的，所述相机为多目RGB工业相机。
优选的，对所述相机进行参数标定时，标定的参数包括相机内参和相机外参。
优选的，对所述相机进行参数标定时，利用棋盘格和matlab工具箱进行标定。
优选的，所述相机架设的个数为4-8个，且呈矩形状围出捕捉区域。
优选的，将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片时，加上伽马校正来提高图像质量。
本发明结合了深度学习的技术来完成人体姿态的估计，我们通过引入人体线性蒙皮模型以及人手检测器，提高了人与人紧密交互场景下的性能。由于现有技术仅仅利用了人体身体姿态估计的结果，分辨率较低，对于紧密交互的情况性能不理想，而我们通过引入人手检测器，使得对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。另一方面，我们通过引入反馈机制，将上一帧的人体模型渲染到当前帧并进行腐蚀膨胀处理，得到当前帧的启发式算法的一个合理初值，并且引入了三维的可见性信息，避免了歧义性，从而可以提高算法的收敛速度和精度。在试验环境下，可以实时对多人进行身体姿态、手势、表情捕捉，以及对人体表面纹理和细节进行重建。本发明结合深度学习技术，完成了一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。
附图说明
图1是本发明提供的一个具体实施例的实施示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解本发明实施例提供的引入反馈机制的多RGB相机实时人体动作捕捉系统及系统，下面结合附图及具体的实施例对其进行详细说明。
本发明实施例提供了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，旨在利用多目RGB相机实时对人体动作进行捕捉重建，包括以下步骤：
S1：将多个相机架围出捕捉区域，并对各个相机进行参数标定。
所述相机架设的个数为4-8个，且呈矩形状围出捕捉区域。具体的，把4-8个相机架设到试验场地，距离地面高度约为1.2m，相机之间距离为3-5m左右，呈矩形状围出捕捉区域。
S2：通过标定好的多个相机采集捕捉人体动作图像，并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片。
所述相机优选为多目RGB工业相机。对所述相机进行参数标定时，标定的参数包括相机内参和相机外参。对所述相机进行参数标定时，利用棋盘格和matlab工具箱进行标定。
具体的，首先用棋盘格对相机内参进行标定，标定时，对手持不同姿态的棋盘格进行拍照20张，然后调用matlab标定工具箱对相机内参进行标定，标定参数包括相机的焦距和畸变参数等。标定完相机内参后继续标定相机外参，同样利用棋盘格和matlab工具箱进行标定。如果对精度要求更高，可以在场景中心铺上富纹理材料使用photoscan进行辅助标定。
转码缩放时，将相机捕捉到的人体动作图像数据通过PCIe接口传送到电脑主机的采集卡上，通过cuda程序把捕捉到的人体动作图像转码，缩放成三通道RGB矩阵形式的RGB图片。
将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片时，可以加上伽马校正来提高图像质量。
S3：利用转码缩放的RGB图片完成单目的人体姿态估计。具体可以使用的有开源工具有openpose、alphapose、pose-proposal network等。
S4：通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图，对关节热点图进行非极大值抑制边缘检测得到各个关节坐标。
S5：利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束，构造出稀疏4D图。
S6：利用启发式算法对4D图进行分割，得到人体在各个视角下的2D关节坐标，再利用相机参数对各个视角下匹配关节的坐标进行三角化，得到三维人体骨架及三维关节坐标。
S7：将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列，第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，接下来通过人手姿态的PCA系数计算出二维人手位置，继而修正矩形ROI区域的误差以便于跟踪。
具体的，我们选取一个时间窗口内对这个矩形ROI区域进行跟踪预测插值，从而可以得到一个更准确的矩形区域，从而进一步提高人手检测器的性能。
S8：对不同视角的人手检测结果进行去噪，即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值，去噪后得到的人手参数。
S9：使用得到的三维关节坐标和人手参数拟合出三维人体模型，即将求解结果转换为线性蒙皮模型的关节点和表面点约束，并用高斯牛顿法迭代交替优化参数模型，同时添加高斯混合模型作为正则项。
由于关节坐标无法约束肢体的自转，可能会出现一些很扭曲的姿态，因此需要加上一个高斯混合模型作为正则项。这个高斯混合模型表示的是人体较为合理的姿态分布，需要提前完成训练。
S10：引入一个反馈，用当前帧的三维人体模型作为下一帧的骨架优化的先验，将优化后的三维人体模型重新投影回各个视角下，渲染出和各个视角对齐的缩略MASK图，得到可视性信息，并对缩略MASK图进行类腐蚀膨胀处理，这样便于处理运动的情况。
S11：在下一帧再次执行步骤S6时，可以直接先利用经过处理的缩略MASK图进行分配结果的初始化，以保证系统的鲁棒性。
具体的，可以直接先利用经过处理的缩略MASK图进行一个分配结果的初始化，解决了现有技术中可见性的歧义性，从而大大提高了启发式算法的收敛速度和收敛精度，而这个初始结果也会随着启发式算法的进行而不断改进，从而保证了系统的鲁棒性。
在一个具体实施例中，如图1所示，图1是本发明提供的一个具体实施例的实施示意图。下面结合图1，对该具体实施例进行详细描述，该具体实施例操作如下：
平台搭建。按照3-5m的间隔架设相机，并围出矩形区域，相机距离地面高度为1.2m，用matlab工具箱完成相机内参和外参的标定。
数据处理。把相机采集到的信息转码成RGB图像，用预先训练好的卷积神经网络进行检测，得到每个视角下的人体关节信息，再通过多目约束条件找到匹配关节进行三角化，从而得到三维关节坐标，然后重新投影三维骨架信息得到人手区域，用神经网络估计得到对应参数。
姿态重建。利用三维关节坐标信息和人手参数估计优化人体模型的姿态参数和形状参数，并且通过时域优化使结果趋于稳定，消除抖动。
反馈优化。将重建的三维模型重新投影回原图片，利用可视性信息给启发式算法一个更合理的初值，提高算法收敛速度和精度。
通过上述描述不难看出，本发明结合了深度学习的技术来完成人体姿态的估计，我们通过引入人体线性蒙皮模型以及人手检测器，提高了人与人紧密交互场景下的性能。由于现有技术仅仅利用了人体身体姿态估计的结果，分辨率较低，对于紧密交互的情况性能不理想，而我们通过引入人手检测器，使得对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。在试验环境下，可以实时对多人进行身体姿态、手势、表情捕捉，以及对人体表面纹理和细节进行重建。本发明结合深度学习技术，完成了一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种引入反馈机制的多RGB相机实时人体动作捕捉系统，旨在利用多目RGB相机实时对人体动作进行捕捉重建，其特征在于，包括以下步骤：
S1：将多个相机架围出捕捉区域，并对各个相机进行参数标定；
S2：通过标定好的多个相机采集捕捉人体动作图像，并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片；
S3：利用转码缩放的RGB图片完成单目的人体姿态估计；
S4：通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图，对关节热点图进行非极大值抑制边缘检测得到各个关节坐标；
S5：利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束，构造出稀疏4D图；
S6：利用启发式算法对4D图进行分割，得到人体在各个视角下的2D关节坐标，再利用相机参数对各个视角下匹配关节的坐标进行三角化，得到三维人体骨架及三维关节坐标；
S7：将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列，第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，接下来通过人手姿态的PCA系数计算出二维人手位置，继而修正矩形ROI区域的误差以便于跟踪；
S8：对不同视角的人手检测结果进行去噪，即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值，去噪后得到的人手参数；
S9：使用得到的三维关节坐标和人手参数拟合出三维人体模型，即将求解结果转换为线性蒙皮模型的关节点和表面点约束，并用高斯牛顿法迭代交替优化参数模型，同时添加高斯混合模型作为正则项；
S10：引入一个反馈，用当前帧的三维人体模型作为下一帧的骨架优化的先验，将优化后的三维人体模型重新投影回各个视角下，渲染出和各个视角对齐的缩略MASK图，得到可视性信息，并对缩略MASK图进行类腐蚀膨胀处理；
S11：在下一帧再次执行步骤S6时，可以直接先利用经过处理的缩略MASK图进行分配结果的初始化，以保证系统的鲁棒性。
2.如权利要求1所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，所述相机为多目RGB工业相机。
3.如权利要求2所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，对所述相机进行参数标定时，标定的参数包括相机内参和相机外参。
4.如权利要求3所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，对所述相机进行参数标定时，利用棋盘格和matlab工具箱进行标定。
5.如权利要求4所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，所述相机架设的个数为4-8个，且呈矩形状围出捕捉区域。
6.如权利要求5所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片时，加上伽马校正来提高图像质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110194157.2A CN112907631B (zh) | 2021-02-20 | 2021-02-20 | 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110194157.2A CN112907631B (zh) | 2021-02-20 | 2021-02-20 | 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907631A CN112907631A (zh) | 2021-06-04 |
| CN112907631B true CN112907631B (zh) | 2021-11-19 |
Family
ID=76124047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110194157.2A Withdrawn - After Issue CN112907631B (zh) | 2021-02-20 | 2021-02-20 | 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907631B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643419B (zh) * | 2021-06-29 | 2024-04-23 | 清华大学 | 一种基于深度学习的人体反向动力学求解方法 |
| CN113421286B (zh) * | 2021-07-12 | 2024-01-02 | 北京未来天远科技开发有限公司 | 一种动作捕捉系统及方法 |
| CN113487674B (zh) * | 2021-07-12 | 2024-03-08 | 未来元宇数字科技(北京)有限公司 | 一种人体位姿估计系统和方法 |
| CN113487726B (zh) * | 2021-07-12 | 2024-05-14 | 未来元宇数字科技(北京)有限公司 | 动作捕捉系统和方法 |
| CN116385666B (zh) * | 2023-06-02 | 2024-02-27 | 杭州倚澜科技有限公司 | 基于反馈式循环神经网络的人体模型重定向方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
| CN106600626B (zh) * | 2016-11-01 | 2020-07-31 | 中国科学院计算技术研究所 | 三维人体运动捕获方法与系统 |
| CN109325995B (zh) * | 2018-09-13 | 2022-11-25 | 叠境数字科技（上海）有限公司 | 基于人手参数模型的低分辨率多视角手部重建方法 |
| CN110378948B (zh) * | 2019-07-02 | 2023-08-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
| CN110599540B (zh) * | 2019-08-05 | 2022-06-17 | 清华大学 | 多视点相机下的实时三维人体体型与姿态重建方法及装置 |
| CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
| CN111932678B (zh) * | 2020-08-13 | 2021-05-14 | 北京未澜科技有限公司 | 多视点实时人体运动、手势、表情、纹理重建系统 |
-
2021
- 2021-02-20 CN CN202110194157.2A patent/CN112907631B/zh not_active Withdrawn - After Issue
Non-Patent Citations (1)
| Title |
|---|
| Towards Viewpoint Invariant 3D Human Pose Estimation;Albert Haque等;《ECCV 2016》;20161231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907631A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599540B (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
| CN112907631B (zh) | 一种引入反馈机制的多rgb相机实时人体动作捕捉系统 | |
| CN111932678B (zh) | 多视点实时人体运动、手势、表情、纹理重建系统 | |
| CN108154550B (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
| US11210804B2 (en) | Methods, devices and computer program products for global bundle adjustment of 3D images | |
| US9235928B2 (en) | 3D body modeling, from a single or multiple 3D cameras, in the presence of motion | |
| CN106780619B (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
| CN111339870B (zh) | 一种针对物体遮挡场景的人体形状和姿态估计方法 | |
| CN103106688A (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN105225269A (zh) | 基于运动机构的三维物体建模系统 | |
| CN109325995B (zh) | 基于人手参数模型的低分辨率多视角手部重建方法 | |
| CN113077519B (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
| CN110021039A (zh) | 序列图像约束的多视角实物表面点云数据初始配准方法 | |
| Moussa et al. | An automatic procedure for combining digital images and laser scanner data | |
| Khoshelham et al. | Generation and weighting of 3D point correspondences for improved registration of RGB-D data | |
| CN113610889A (zh) | 一种人体三维模型获取方法、装置、智能终端及存储介质 | |
| CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
| Wan et al. | A study in 3D-reconstruction using kinect sensor | |
| EP2800055A1 (en) | Method and system for generating a 3D model | |
| Dias et al. | Automatic registration of laser reflectance and colour intensity images for 3D reconstruction | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| CN112132971A (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
| CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
| Nguyen et al. | Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras | |
| CN112284293B (zh) | 一种空间非合作目标精细三维形貌测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20211119 Effective date of abandoning: 20231030 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20211119 Effective date of abandoning: 20231030 |
|
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |