CN116958450B - 一种面向二维数据的人体三维重建方法 - Google Patents
一种面向二维数据的人体三维重建方法 Download PDFInfo
- Publication number
- CN116958450B CN116958450B CN202311182380.0A CN202311182380A CN116958450B CN 116958450 B CN116958450 B CN 116958450B CN 202311182380 A CN202311182380 A CN 202311182380A CN 116958450 B CN116958450 B CN 116958450B
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- axis
- representing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000001217 buttock Anatomy 0.000 claims description 2
- 230000036544 posture Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Computing Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Graphics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种面向二维数据的人体三维重建方法，该方法利用mediapipe获取视频中的人体关键点位，在Blender中确定人体的坐标系，通过transform设计4×4投影矩阵进行透视变换，训练模型并生成符合vrm格式的人体模型。本发明通过单个摄像头获取到的图片信息，解决从二维平面中获取三维人体模型数据的问题。本发明提出利用mediapipe获取关键点位并通过投影矩阵进行透视变换的方法在人体二维到三维坐标转换方面具有创新性和优势，能够提高准确性、鲁棒性和实时性能，以及适应不同姿态和视角的需求。与传统的基于传感器或特殊设备的方法相比，该方法在获取人体三维坐标时更为非侵入性。
Description
技术领域
本发明涉及一种面向二维数据的人体三维重建方法，属于人体三维重建技术领域。
背景技术
人体三维重建技术是计算机图形学领域的重要研究方向，主要用于从二维图像或视频中恢复出人体的三维结构。人体三维重建技术广泛应用于虚拟现实、增强现实、游戏开发等领域，具有重要的应用价值和商业前景。目前，人体三维重建技术主要分为两类：基于多视角的方法和基于单视角的方法。基于多视角的方法需要多个相机同时拍摄同一场景，然后通过三角测量等方法将多个视角下的图像信息融合在一起。基于单视角的方法只需要一个摄像机或者一个视频流，通过对图像进行分析和处理，推测出人体的三维结构。其中，通过投影矩阵进行透视变换方法是基于单视角的方法之一，通过对图像进行透视变换，将人体的二维坐标转换为三维坐标，实现从二维到三维的转换。
从数据质量和准确性来看：转换的准确性取决于输入的二维坐标的质量和准确性。如果二维坐标存在噪声、误差或不完整性，可能会导致转换结果的不准确性。从姿态和视角的变化来看：人体的姿态和视角的变化对于二维到三维坐标转换具有挑战性。不同的姿态和视角可能会导致投影矩阵的变化，因此需要确保模型具备对多种姿态和视角的鲁棒性。这些技术问题需要仔细考虑和解决，因此，需要提出一种能够将人体的二维坐标准确、可靠转换为三维坐标的方法。
发明内容
本发明所要解决的技术问题是：提供一种面向二维数据的人体三维重建方法，利用机器学习可以隐式的方式从二维数据中建模人体三维模型，以实现人体结构的三维重建。
本发明为解决上述技术问题采用以下技术方案：
一种面向二维数据的人体三维重建方法，包括如下步骤：
步骤1，获取视频中的人体关键点二维坐标；
步骤2，根据人体模型库中的人体模型或创建一个人体模型，确定人体模型的坐标系；
步骤3，利用transform深度学习模型学习4×4投影矩阵进行透视变换，将人体关键点二维坐标映射到三维空间中；
步骤4，设计transform深度学习模型的损失函数，使采用上述模型映射得到的三维坐标与实际坐标之间的误差最小，从而得到符合vrm格式的人体模型。
作为本发明的一种优选方案，所述步骤1中，采用mediapipe作为人体关键点检测工具，利用mediapipe中的姿态估计模型获取视频中的人体关键点二维坐标，人体关键点包括脸部、手部和躯干关键点。
作为本发明的一种优选方案，所述步骤2中，在Blender中确定人体模型的坐标系，具体为：首先使用Blender的导入功能，将人体模型加载到Blender的场景中；然后使用Blender的移动、旋转和缩放工具调整人体模型的位置和比例，使得调整后的人体模型适合步骤1的视频场景和坐标系的参考；最后在人体模型上创建骨骼系统，使用骨骼约束和关节控制器模拟人体的骨骼结构和关节运动。
作为本发明的一种优选方案，所述步骤3中，利用transform深度学习模型学习4×4投影矩阵，该4×4投影矩阵将人体关键点二维坐标映射到三维空间中，所述4×4投影矩阵包括平移变换矩阵、缩放变换矩阵和旋转变换矩阵；
根据步骤2确定的坐标系，将两肩的中间位置作为坐标系的原点，左肩到右肩的方向定义为x轴，肩膀到臀部的方向定义为y轴，根据该坐标系将二维坐标转换为符合three.js，vector3的三维坐标；
平移变换矩阵的形式如下：
，
矩阵运算为：
其中，由二维坐标/>拓展而来，/>分别表示沿X轴、Y轴、Z轴方向平移的距离；
缩放变换矩阵的形式如下：
，
矩阵运算为：
其中，分别表示沿X轴、Y轴、Z轴方向上缩放的大小；
沿X轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕X轴顺时针旋转的角度；
沿Y轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕Y轴顺时针旋转的角度；
沿Z轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕Z轴顺时针旋转的角度。
作为本发明的一种优选方案，所述步骤4中，利用transform的自注意力机制强化对人体结构关键点位的学习，使采用transform深度学习模型映射得到的三维坐标与实际坐标之间的误差最小，模型的损失函数为：
，
其中，表示损失函数，/>分别表示3D坐标和2D坐标损失函数的权重，/>表示3D人体模型顶点损失，/>表示3D人体模型关键顶点损失，/>表示3D人体模型关键顶点回归损失，/>表示2D关键点投影损失， />表示3D人体模型顶点的训练值，/>表示3D人体模型顶点的真实三维坐标，/>表示3D人体模型关键顶点的训练值，/>表示3D人体模型关键顶点的真实三维坐标，/>表示关键顶点的回归值，/>，/>为回归矩阵，表示2D人体模型关键顶点的训练值，/>表示3D人体模型关键顶点的真实二维坐标，/>表示顶点的个数，/>表示一个人的关节数， />表示L1范数。
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的面向二维数据的人体三维重建方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的面向二维数据的人体三维重建方法的步骤。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明利用常见的二维图像作为输入，无需额外的传感器或设备，提供了更方便和实用的解决方案，与传统的基于传感器或特殊设备的方法相比，本发明在获取人体三维坐标时更为非侵入性。
2、本发明基于深度学习框架的投影矩阵透视变换方法具有较好的实时性能。通过有效的算法和硬件加速支持，可以在实时或近实时的应用场景中快速地将二维图像坐标转换为三维坐标，满足实时跟踪、姿态估计和增强现实等实时应用的需求。
3、本发明通过采用深度学习框架，可以从大量的二维图像数据中学习人体的三维坐标映射，具备对于不同人体样本和多样化数据的处理能力。使得该方法在处理各种人体形态和动作时更具通用性和适应性。
附图说明
图1是本发明一种面向二维数据的人体三维重建方法的流程图；
图2是Blender中确定人体的坐标系示意图；
图3是脸部重建效果图；
图4是手部重建效果图；
图5是躯干重建效果图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提出一种面向二维数据的人体三维重建方法，通过单个摄像头获取到的图片信息，解决从二维平面中获取三维人体模型数据的问题。该方法利用transform深度学习框架，通过投影矩阵进行透视变换实现人体二维数据到三维坐标转换，能够提高准确性、鲁棒性和实时性能，以及适应不同姿态和视角的需求。
如图1所示，具体操作步骤如下：
步骤1：利用mediapipe获取视频中的人体关键点位。
在本发明中，利用了mediapipe作为人体姿态估计的工具。mediapipe是一个由Google开发的机器学习框架，主要用于处理图像和视频数据。它内置了一系列计算机视觉模型，可以实现人脸检测、手势识别、姿态估计等功能。本发明使用了mediapipe中的姿态估计模型，获取了视频中的人体关键点位。
mediapipe的姿态估计模型基于机器学习算法，可以对人体进行准确的姿态估计。该模型使用的是一种双阶段的检测和回归算法，首先对图像进行检测，得到候选的人体区域，然后再对候选区域进行精细的关键点定位。该算法具有高精度和高鲁棒性的特点，可以在不同光照、背景等复杂情况下，依然可以实现准确的姿态估计。
步骤2：在Blender中确定人体的坐标系。
导入人体模型：使用Blender的导入功能，将人体模型加载到Blender的场景中。可以使用现有的人体模型库或自己创建一个人体模型，如图2所示。
调整模型位置和比例：根据实际需求，使用Blender的移动、旋转和缩放工具调整人体模型的位置和比例，使其适合场景和坐标系的参考。
创建骨骼系统：在人体模型上创建骨骼系统，通常使用骨骼约束和关节控制器来模拟人体的骨骼结构和关节运动。
通过在Blender中确定人体的坐标系，可以为后续的操作和分析提供一个统一的参考框架。这样，当进行人体的二维坐标到三维坐标的转换时，可以确保转换结果与确定的人体坐标系保持一致，进而实现准确的坐标转换和可视化。
步骤3：通过transform设计4×4投影矩阵进行透视变换。
在本发明中，改进了现有的transform技术，使其可以将二维点位转换为三维点位/>。具体而言，本发明使用了透视变换的方法，将二维点位变换到三维空间中。
透视变换的原理是，将二维点位表示为一个二维向量，然后将其扩展为一个三维向量/>，最后通过矩阵乘法，将其变换为一个三维向量/>。在本发明中，使用了一个4×4的变换矩阵，包括平移、旋转、缩放等操作，将二维点位变换到三维空间中。
具体而言，本发明首先确定了人体的坐标系，将两肩部中间位置作为坐标系的原点，将X轴定义为左肩到右肩的方向，Y轴定义为肩膀到臀部的方向，Z轴定义为垂直于人体坐标系的方向。然后，根据这个坐标系，将二维点位转换为三维点位。具体的变换矩阵如下：
平移变换矩阵的形式如下：
，
矩阵运算为：
其中，由二维坐标/>拓展而来，/>分别表示沿X轴方向、沿Y轴方向、沿Z轴方向平移的距离；
缩放变换矩阵的形式如下：
，
矩阵运算为：
其中，分别表示沿X轴、Y轴和Z轴方向上缩放的大小；
沿X轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕X轴顺时针旋转的角度；
沿Y轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕Y轴顺时针旋转的角度；
沿Z轴顺时针旋转变换矩阵的形式如下：
，
矩阵运算为：
其中，/>表示绕Z轴顺时针旋转的角度；
其中平移的距离，可以根据人体的坐标系和人体关键点位的位置来计算，旋转和缩放的操作可以根据人体的姿态和尺寸来确定，具体的透视变换可以根据实际需要进行调整。
步骤4：训练模型并生成符合vrm格式的人体模型。
利用transform的自注意力机制强化对人体结构特征点位的学习，将3D人物模型骨骼的预测点位与实际点位间的误差降到最小，最重要的是设计模型的损失函数。将训练的数据集设计为D，D表示为：
，
其中，T是训练图像的总数，表示3D人体模型网格顶点的地面真实三维坐标，M表示顶点的个数；/>表示身体关节的地面真实三维坐标，K是一个人的关节数；/>表示身体关节的真实2D坐标。
对于3D人体模型顶点的实三维坐标和身体关节的三维坐标/>，定义损失函数：
其中，
使用回归矩阵将身体关节的三维坐标/>进行正则化操作，即：
该部分的损失函数：
将二维重投影用于增强图像中的网格对齐，以及帮助在图像中进行可视化的重建。使用估计的摄像机参数将三维关节投影到二维空间，将二维投影和实际二维显示之间的误差最小化，该部分损失函数定义为：
为了在进行大规模的训练的同时做到更好的泛化，利用二维和三维训练数据集，使用一种混合训练策略，利用不同的训练数据集，实现从单一图像到三维人体姿态和网格重建。最终，总的损失函数设计为：
其中，分别表示3D坐标和2D坐标损失函数的权重，由实际泛化效果确定。
在进行训练模型之后，本发明得到了符合three.js，vector3的三维结构，可以直接用于人体三维重建的应用中。在这个过程中，本发明充分利用了mediapipe提供的人体关键点位信息，将其转换为三维坐标，实现了从二维到三维的转换，如图3、图4、图5所示，分别展示了脸部、手部、躯干部重建效果图。
基于同一发明构思，本申请实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的面向二维数据的人体三维重建方法的步骤。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前述的面向二维数据的人体三维重建方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (6)
1.一种面向二维数据的人体三维重建方法，其特征在于，包括如下步骤：
步骤1，获取视频中的人体关键点二维坐标；
步骤2，根据人体模型库中的人体模型或创建一个人体模型，确定人体模型的坐标系；
所述步骤2中，在Blender中确定人体模型的坐标系，具体为：首先使用Blender的导入功能，将人体模型加载到Blender的场景中；然后使用Blender的移动、旋转和缩放工具调整人体模型的位置和比例，使得调整后的人体模型适合步骤1的视频场景和坐标系的参考；最后在人体模型上创建骨骼系统，使用骨骼约束和关节控制器模拟人体的骨骼结构和关节运动；
步骤3，利用transform深度学习模型学习4×4投影矩阵进行透视变换，将人体关键点二维坐标映射到三维空间中；
步骤4，设计transform深度学习模型的损失函数，使采用上述模型映射得到的三维坐标与实际坐标之间的误差最小，从而得到符合vrm格式的人体模型。
2.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤1中，采用mediapipe作为人体关键点检测工具，利用mediapipe中的姿态估计模型获取视频中的人体关键点二维坐标，人体关键点包括脸部、手部和躯干关键点。
3.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤3中，利用transform深度学习模型学习4×4投影矩阵，该4×4投影矩阵将人体关键点二维坐标映射到三维空间中，所述4×4投影矩阵包括平移变换矩阵、缩放变换矩阵和旋转变换矩阵；
根据步骤2确定的坐标系，将两肩的中间位置作为坐标系的原点，左肩到右肩的方向定义为X轴，肩膀到臀部的方向定义为Y轴，根据该坐标系将二维坐标转换为符合three.js，vector3的三维坐标；
平移变换矩阵的形式如下：
矩阵运算为：
其中，[x y 0 1]由二维坐标(x,y)拓展而来，Tx、Ty、Tz分别表示沿X轴、Y轴、Z轴方向平移的距离；
缩放变换矩阵的形式如下：
矩阵运算为：
其中，Sx、Sy、Sz分别表示沿X轴、Y轴、Z轴方向上缩放的大小；
沿X轴顺时针旋转变换矩阵的形式如下：
矩阵运算为：
其中，θx表示绕X轴顺时针旋转的角度；
沿Y轴顺时针旋转变换矩阵的形式如下：
矩阵运算为：
其中，θy表示绕Y轴顺时针旋转的角度；
沿Z轴顺时针旋转变换矩阵的形式如下：
矩阵运算为：
其中，θz表示绕Z轴顺时针旋转的角度。
4.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤4中，利用transform的自注意力机制强化对人体结构关键点位的学习，使采用transform深度学习模型映射得到的三维坐标与实际坐标之间的误差最小，模型的损失函数为：
其中，表示损失函数，α、β分别表示3D坐标和2D坐标损失函数的权重，/>表示3D人体模型顶点损失，/>表示3D人体模型关键顶点损失，/>表示3D人体模型关键顶点回归损失，表示2D关键点投影损失，V3D表示3D人体模型顶点的训练值，/>表示3D人体模型顶点的真实三维坐标，J3D表示3D人体模型关键顶点的训练值，/>表示3D人体模型关键顶点的真实三维坐标，/>表示关键顶点的回归值，/>G为回归矩阵，J2D表示2D人体模型关键顶点的训练值，/>表示3D人体模型关键顶点的真实二维坐标，M表示顶点的个数，K表示一个人的关节数，||·||1表示L1范数。
5.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的面向二维数据的人体三维重建方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的面向二维数据的人体三维重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182380.0A CN116958450B (zh) | 2023-09-14 | 2023-09-14 | 一种面向二维数据的人体三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182380.0A CN116958450B (zh) | 2023-09-14 | 2023-09-14 | 一种面向二维数据的人体三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958450A CN116958450A (zh) | 2023-10-27 |
| CN116958450B true CN116958450B (zh) | 2023-12-12 |
Family
ID=88442737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311182380.0A Active CN116958450B (zh) | 2023-09-14 | 2023-09-14 | 一种面向二维数据的人体三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958450B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160381A (zh) * | 2021-03-23 | 2021-07-23 | 清华大学 | 多视角动物三维几何与纹理自动化重建方法和装置 |
| CN114581502A (zh) * | 2022-03-10 | 2022-06-03 | 西安电子科技大学 | 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质 |
| CN114782621A (zh) * | 2022-03-28 | 2022-07-22 | 南京邮电大学 | 基于协同对抗的人体三维姿态点群智重建方法 |
| CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
| CN116580151A (zh) * | 2023-04-27 | 2023-08-11 | 深圳市即构科技有限公司 | 人体三维模型构建方法、电子设备及存储介质 |
| CN116740281A (zh) * | 2023-06-19 | 2023-09-12 | 科大讯飞(苏州)科技有限公司 | 三维头部模型的生成方法、装置、电子设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018138582A1 (en) * | 2017-01-27 | 2018-08-02 | Banuba Limited | Computer systems and computer-implemented methods specialized in processing electronic image data |
-
2023
- 2023-09-14 CN CN202311182380.0A patent/CN116958450B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160381A (zh) * | 2021-03-23 | 2021-07-23 | 清华大学 | 多视角动物三维几何与纹理自动化重建方法和装置 |
| CN114581502A (zh) * | 2022-03-10 | 2022-06-03 | 西安电子科技大学 | 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质 |
| CN114782621A (zh) * | 2022-03-28 | 2022-07-22 | 南京邮电大学 | 基于协同对抗的人体三维姿态点群智重建方法 |
| CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
| CN116580151A (zh) * | 2023-04-27 | 2023-08-11 | 深圳市即构科技有限公司 | 人体三维模型构建方法、电子设备及存储介质 |
| CN116740281A (zh) * | 2023-06-19 | 2023-09-12 | 科大讯飞(苏州)科技有限公司 | 三维头部模型的生成方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "3D Face Reconstruction from Front and Profile Images for Low Computational Devices";Sankarshan Dasgupta等;《2021 International Conference on Computational Science and Computational Intelligence (CSCI)》;1611-1616 * |
| "数字化虚拟人体器官的研究进展";杨芷菁 等;《北京生物医学工程》;第31卷(第3期);309-314 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958450A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
| Wang et al. | Video-based hand manipulation capture through composite motion control | |
| CN109840940B (zh) | 动态三维重建方法、装置、设备、介质和系统 | |
| Yang | The study and improvement of Augmented reality based on feature matching | |
| CN115943436A (zh) | 快速和深度脸部变形 | |
| JP6483832B2 (ja) | Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム | |
| CN100369064C (zh) | 一种基于视频内容的人体姿态变形方法 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| Chen et al. | A particle filtering framework for joint video tracking and pose estimation | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| Ueda et al. | Hand pose estimation using multi-viewpoint silhouette images | |
| Yin et al. | Virtual reconstruction method of regional 3D image based on visual transmission effect | |
| CN102663812A (zh) | 基于变分光流的三维运动检测与稠密结构重建的直接方法 | |
| CN110008873B (zh) | 面部表情捕捉方法、系统及设备 | |
| CN116958450B (zh) | 一种面向二维数据的人体三维重建方法 | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| CN112734628B (zh) | 一种经三维转换后的跟踪点的投影位置计算方法及系统 | |
| CN112181135B (zh) | 一种基于增强现实的6-dof视触觉交互方法 | |
| Liu et al. | Articulated object tracking by high-speed monocular rgb camera | |
| Zhang et al. | Human model adaptation for multiview markerless motion capture | |
| Jian et al. | Realistic face animation generation from videos | |
| Rabbi et al. | 3D model visualization and interaction using a cubic fiducial marker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |