CN108122281B - 一种大范围实时人体三维重建方法 - Google Patents
一种大范围实时人体三维重建方法 Download PDFInfo
- Publication number
- CN108122281B CN108122281B CN201711403509.0A CN201711403509A CN108122281B CN 108122281 B CN108122281 B CN 108122281B CN 201711403509 A CN201711403509 A CN 201711403509A CN 108122281 B CN108122281 B CN 108122281B
- Authority
- CN
- China
- Prior art keywords
- model
- deformation
- data
- current frame
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- ZAKOWWREFLAJOT-CEFNRUSXSA-N D-alpha-tocopherylacetate Chemical group CC(=O)OC1=C(C)C(C)=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1C ZAKOWWREFLAJOT-CEFNRUSXSA-N 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 abstract description 2
- 238000009825 accumulation Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
一种大范围实时人体三维重建方法，该方法包括数据采集、运动变形和数据融合三个步骤，所述数据采集，通过多台相机采集场景中的人体图像；所述运动变形，根据下一帧模型的变化对上一帧生成的模型进行变形，直到上一帧生成的模型变形到与下一帧模型相同时停止运动变形；所述数据融合，将变形后的模型关键帧与模型当前帧数据进行融合，得到制作完成的模型，通过模型变化展示动作。本发明通过多帧数据的累积，大大消除了模型当前帧的噪声，补充了模型当前帧数据的缺陷，提高了每一帧数据的质量并具有良好的连续性。
Description
技术领域
本发明涉及三维图像重建技术领域，具体的说是一种大范围实时人体三维重建方法。
背景技术
在过去的十年中，智能化的通讯和交互技术得到了快速地发展。随着智能手机的普及和广泛应用，使得人们对交互的方式有了更新的认识和更高的要求，人们开始探求如何能让交互方式变得更加真实，虚拟现实技术应运而生。2015年9月，在AltspaceVR的发布会上，Altspace宣布将支持三星Gear VR头盔，然而它并没有直播创始人兼CEO恩里克·罗莫的演讲，而是罗莫的虚拟形象与一群记者的虚拟形象在一个虚拟的环境中一起交谈，其中虚拟形象的动作是由罗莫和这群记者动作的映射而来的。同样，2016年10月，在OculusConnect3的开发者大会上，扎克伯格和他的同事带上了Oculus Rift头盔和Oculus Touch手柄在虚拟环境中做了一段VR社交的实际操作演示。这些VR社交的技术都是针对社交对象的位置、方向、基本姿态、表情等的跟踪，并不能让真实的人体对象在虚拟三维场景当中重现。
关于人体三维重建，目前主要分为多个RGB-D传感器配准融合的方法和单个RGB-D传感器移动扫描的方法。第一种，比如Cyberware公司研制的两款全身彩色三维扫描仪产品WB4和WBX，通过四个扫描头从头到脚进行三维测量，在几十秒的时间内创建一个准确的三维数据集；第二种，比如微软Alexander Weiss等人研发的基于红外线的深度传感器Kinect，通过移动单个Kinect传感器扫描人体来获取整个三维人体模型。这两种方法都是可以实现对人体模型的重建，但不能实时重建动态的人体。
目前，针对大范围场景如人体及周围环境的三维重建主要以局部扫描并重建、先多次扫描并拼接之后合成重建等过程，因为数据量庞大、处理复杂度高，因此，很难做到实时采集、处理并且在实时的情况下很难保证生成模型的质量。
发明内容
为了解决上述技术问题，本发明提供了一种大范围实时人体三维重建方法，能够让真实的人体对象在虚拟三维场景中重现，并且能很好地解决在VR社交中看不到真实社交对象的问题，实现实时生成多角度的三维数据后，进行拼接融合，并生成高质量的人体模型。
本发明为解决上述技术问题采用的技术方案为：一种大范围实时人体三维重建方法，该方法包括如下步骤：
步骤一、数据采集：通过多台相机采集场景中的人体图像，并且对采集的人体图像进行如下处理：
（1）、通过计算视差获得整个场景各个角度的深度信息，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用Marching Cube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；
（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；
（3）、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；
步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：
S1、对步骤一得到的关键帧模型的顶点采样得到变形点；
S2、对变形点变形参数初始化，得初始化之后的变形参数；
S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化；
S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；
步骤三、数据融合：将步骤二变形后的关键帧数据与当前帧数据进行融合，并采用Marching Cube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作。
作为一种优选方案，步骤一中的多台相机均为高清红外工业相机。
作为一种优选方案，步骤一所述通过深度信息计算出当前帧数据的具体实现步骤如下：
T1、将深度信息转化为相对于相机坐标系下的光线尺寸信息，所述光线尺寸信息为相机光心到每个像素所对应的物体表面的距离信息；
T2、建立空间距离信号场SDF，将光线尺寸信息投射到SDF中，在每个空间位置产生一个距离误差信息，所述距离误差信息为光线尺寸信息与光心到SDF对应位置的距离之差，之后通过阈值截断不符合要求的距离误差信息，并把保留下来的距离误差信息填充到SDF对应的位置，此时的SDF即为当前帧数据；
T3、对步骤T2得到的当前帧数据中第一帧以及之后时序中上一个关键帧数据变形点少于阈值要求的当前帧数据进行记录，将其存储为关键帧数据。
作为一种优选方案，步骤S3所述变形能量函数的优化过程包括如下步骤：
S31、运动变形模块初始化；
S32、计算变形能量误差，所述变形能量误差
S33、通过对不同的变形能量误差附以不同的权重生成变形能量函数：
其中，
为关键帧模型中每个顶点与当前帧模型中每个对应顶点的空间距离误差，
为每个变形点中变形矩阵G的正则化误差，
为变形点与相邻k个变形点之间的分布平滑度误差，
为关键帧模型中每个顶点分布在可视壳外部所产等的误差，
为rgb图像中前一帧和当前帧模型对应点投射到空间所产生的距离误差。
作为一种优选方案，步骤一所述可视壳模型的生成方法为计算相机坐标系下的光线轨迹，筛选掉分割图中属于背景部分的光线所经过的空间区域，获得空间中属于前景部分的空间区域，得可视壳模型。
作为一种优选方案，本方法所述计算均采用GPU并行计算。
与现有技术相比，本发明具有以下有益效果：
（1）本发明提供了一种大范围实时人体三维重建方法，为了获得更高精度的三维数据，通过多台高清红外工业相机同时采集，再通过两两相机间标定相机参数计算视差获得整个场景各个角度的深度信息，这种方法获得的三维数据具有数据量大、精度高等优点，对后续重建出的模型质量具有很大的提升效果，且每台相机的像素数为400万，采用八组相机每组生成400万个深度数据，拼接合成后生成三维数据的数据量为200万，通过实际测量，每个三维数据的精度可以达到2毫米以内；
（2）本发明提供了一种大范围实时人体三维重建方法，有别于现有技术手段直接通过三维数据合成三维模型，制作出的模型含有大量噪声，实时生成的模型间没有关联，模型连续性差；本发明通过下一帧模型的变化对上一帧生成的模型进行变形，直到上一帧生成的模型变形到与下一帧模型相同时停止运动变形，之后将变形后的数据与当前帧数据进行融合，通过多帧数据的融合，大大消除了当前帧模型的噪声，补充了当前帧模型的缺陷，提高了每一帧数据的质量并具有良好的连续性；
（3）本发明提供了一种大范围实时人体三维重建方法，运动变形的计算过程中采用GPU并行计算进行加速，使得运动变形中的计算满足每秒生成30帧数据实时性要求。
附图说明
图1为本发明流程图；
图2为本发明步骤一生成的RGB对应图；
图3为本发明步骤一深度信息示意图；
图4为本发明步骤一生成的分割图；
图5为本发明步骤S2对关键帧模型采样得到的变形点示意图；
图6为本发明步骤二变形后的关键帧模型示意图。
具体实施方式
下面结合具体实施例对本发明作详细说明，本实施例以本发明技术方案为前提，给出了详细的实施方式和具体的操作过程。
如图1所示，一种大范围实时人体三维重建方法，该方法包括如下步骤：
步骤一、数据采集：通过多台相机采集场景中的人体图像，作为优选的，不同于现有技术中直接采用RGBD相机的技术手段，为了获得更高精度的三维数据，本发明采用的多台相机均为400万像素高清红外工业相机，且采用八组相机每组生成400万个深度数据，对采集的人体图像进行如下处理：
（1）、通过两两相机间标定相机参数计算视差获得整个场景各个角度的深度信息，如图3所示，再经过拼接算法将多角度深度信息数据计算为整个场景的三维空间数据。通过三维空间数据计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用Marching Cube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；
其中，Marching Cube方法是由空间规则数据场计算模型定点与面片的经典方法，通过空间数据分布的规律计算出等值面，将等值面作为模型表面，表面中每一个单元为一个三角面片，每一个三角面片由三个顶点组成，最终由这些计算出的顶点和面片组成整个模型。本发明采用空间距离信号场（SDF）融合空间数据，因此采用本方法来计算模型。
作为优选的，所述多台相机采集用到一种图像采集装置，图像采集装置固定连接相机组和红外散斑生成器，相机组包括并列设置的红外左相机、RGB相机和红外右相机，其中红外左相机用于获取左视角图像，红外右相机用于获取右视角图像，RGB相机用于获取基准图像。所述通过两两相机间标定相机参数计算视差获得整个场景各个角度的深度信息，具体包括如下步骤：
首先、获取左视角图像和右视角图像，左视角图像和右视角图像均为红外图像，并且为左视角图像和右视角图像上的每一个像素随机分配一个当前视差值并根据该视差值计算当前视差分数；
其次、分别将左视角图像和右视角图像拆分成若干个大小为32×32的传播区块，而且任意两个相邻的传播区块之间均有一个重叠区，重叠区为32个排列成行的像素或者32个排列成列的像素；
最后、对左视角图像和右视角图像中每个传播区块进行视差值迭代更新，即通过迭代更新的方式来修正左视角图像和右视角图像中每个像素的视差值。迭代更新过程中传播区块的所有像素值存入到GPU的纹理内存中，视差值迭代更新过程的过程参数存入到GPU的共享内存中。过程参数包括像素的当前视差值和当前视差分数，当前视差值存储为short类型，占用两个字节，也可以存储为int类型，占用四个字节，当前视差分数存储为double类型，占用八个字节。在CUDA架构中内存有不同类型，包括全局内存和共享内存，其中全局内存容量大且对每个线程可见但速度慢，因为像素值在视差值迭代更新过程中只读取而不修改，因此选择从全局内存中选取一部分作为纹理内存来存储像素值，而共享内存容量小（一个block最大可用48KB）且只对block中的线程可见但速度快，因此将需要频繁更改的过程参数存入到共享内存中，能够显著加快视差计算的速度，从而获得整个场景各个角度的深度信息；
（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图中的对应点，如图2所示，这些对应点在后续过程中被转换为帧与帧之间的对应初始化信息，用于初始化变形点中携带的变形参数；
（3）、计算生成前景部分和背景部分的分割图，如图4所示，用于生成可视壳模型；
步骤二、运动变形：在获取步骤一提供的深度信息、RGB对应信息和分割图后，将深度信息拼接处理为当前帧的三维数据，RGB对应信息生成为帧与帧之间的对应关系，分割图生成可视壳模型，之后建立变形运动场，根据下一帧当前帧模型的变化对上一帧生成的关键帧数据进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；图6为变形后的关键帧模型示意图，所述运动变形包括如下步骤：
S1、对步骤一得到的关键帧模型的顶点采样得到变形点，如图5所示；其中顶点数量一般为20万个左右，采样方式为均匀采样，即每隔半径4mm的空间距离采集一个顶点，最终采样得到的变形点数量一般在1800个左右；
S2、对变形点变形参数初始化，每采集一次新的关键帧数据，变形点参数矩阵初始化为单位矩阵，其他情况下均初始化为上一帧相同位置变形点的变形参数数据，通过此方式获得初始化之后的变形参数；
S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化；获得最优变形矩阵G，每个变形点对应的最优变形矩阵G中包括一个旋转矩阵和一个平移矩阵；
S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；采用步骤S3获得的变形矩阵G对原先的模型关键帧数据进行变形，所述变形包括变形其中的距离误差信息和变形法向信息。变形计算过程是采用最优变形矩阵G中的旋转矩阵和平移矩阵对关键帧数据在SDF中的位置进行变换，之后通过统计数据的分布计算出对应于当前帧数据上每一点位置的最佳融合数据，来提高后期数据融合的效果；
步骤三、数据融合：将步骤二变形后的关键帧数据与当前帧数据进行融合，并采用Marching Cube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作。
作为优选的，步骤一所述通过深度信息计算出当前帧数据的具体实现步骤如下：
T1、将深度信息转化为相对于相机坐标系下的光线尺寸信息，所述光线尺寸信息为相机光心到每个像素所对应的物体表面的距离信息；
T2、建立空间距离信号场SDF，将光线尺寸信息投射到SDF中，在每个空间位置产生一个距离误差信息，所述距离误差信息为光线尺寸信息与光心到SDF对应位置的距离之差，之后通过阈值截断不符合要求的距离误差信息，并把保留下来的距离误差信息填充到SDF对应的位置，此时的SDF即为当前帧数据；
T3、对步骤T2得到的当前帧数据中第一帧以及之后时序中上一个关键帧数据变形点少于阈值要求的当前帧数据进行记录，将其存储为关键帧数据。即上一帧的关键帧数据的变形点会随着不断的变形计算而减少，如果减少到一定程度，这个模型关键帧就不能用了，因此，需要去当前帧数据中采集一个新的关键帧数据。
作为优选的，步骤S3所述变形能量函数的优化过程包括如下步骤：
S31、运动变形模块初始化；
S32、计算变形能量误差，所述变形能量误差
S33、通过对不同的变形能量误差附以不同的权重生成变形能量函数：
其中，
为关键帧模型中每个顶点与当前帧模型中每个对应顶点的空间距离误差，其对应过程是由关键帧模型和当前帧模型的各点在同一相机视角发射出的同一条光线上所确定的，
为每个变形点中变形矩阵G的正则化误差，即变形矩阵中的旋转矩阵在优化过程中可能会偏离正则化要求，然后通过以下公式计算这种偏离带来的误差：
其中，Ci为旋转矩阵的列向量，i=1、2、3；
为变形点与相邻k个变形点之间的分布平滑度误差，即相邻k个变形点之间因为优化过程带来的变形参数不一致产生的误差，通过变形点采用自带变形参数和相邻变形点携带的变形参数计算的不同空间位置的距离误差来衡量这种不一致性。
为关键帧模型中每个顶点分布在可视壳外部所产等的误差，
为rgb图像中前一帧和当前帧对应点投射到空间所产生的距离误差。
作为优选的，步骤一所述可视壳模型的生成方法为计算相机坐标系下的光线轨迹，筛选掉分割图中属于背景部分的光线所经过的空间区域，获得空间中属于前景部分的空间区域，得可视壳模型。
作为优选的，本方法所述计算均采用GPU并行计算。变形过程中，每个步骤的计算量都比较大，要整体达到实时，需要每个步骤都达到实时，所以通过GPU并行计算的方式减少了计算时间，使整个变形过程中的每个步骤都能达到每秒计算完成并输出30帧数据的要求，从而实现实时人体三维重建。
本发明提供了一种大范围实时人体三维重建方法，该方法实现了人体三维模型的实时高精度重建，并带有清晰的纹理，未来可以应用在虚拟现实游戏、远程交互、影视动画制作等案例中。在虚拟现实游戏中，可以让玩家站在重建环境中进行游戏，重建出的玩家的形态能清晰的展现给与其共同游戏的其他玩家。远程交互时通过对不同交互者的模型的建立，将其真实的展现在对方的面前，可以带来沉浸式的体验。影视动画制作的真人模型将免去大量手工制作模型人工成本的消耗，均可以通过本方法实时的生成。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例描述如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述所述技术内容作出的些许更动或修饰均为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (2)
1.一种大范围实时人体三维重建方法，其特征在于：该方法包括如下步骤：
步骤一、数据采集：通过多台400万像素高清红外工业相机采集场景中的人体图像，采用八组相机每组生成400万个深度数据，并且对采集的人体图像进行如下处理：
(1)、通过两两相机间标定相机参数计算视差获得整个场景各个角度的深度信息，再经过拼接算法将多角度深度信息数据计算为整个场景的三维空间数据，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用Marching Cube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；
其中，所述通过深度信息计算出当前帧数据的具体实现步骤如下：
T1、将深度信息转化为相对于相机坐标系下的光线尺寸信息，所述光线尺寸信息为相机光心到每个像素所对应的物体表面的距离信息；
T2、建立空间距离信号场SDF，将光线尺寸信息投射到SDF中，在每个空间位置产生一个距离误差信息，所述距离误差信息为光线尺寸信息与光心到SDF对应位置的距离之差，之后通过阈值截断不符合要求的距离误差信息，并把保留下来的距离误差信息填充到SDF对应的位置，此时的SDF即为当前帧数据；
T3、对步骤T2得到的当前帧数据中第一帧以及之后时序中上一个关键帧数据变形点少于阈值要求的当前帧数据进行记录，将其存储为关键帧数据；
(2)、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；
(3)、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；
步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：
S1、对步骤一得到的关键帧模型的顶点采样得到变形点；
S2、对变形点变形参数初始化，得初始化之后的变形参数；
S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化，具体包括如下步骤：
S31、运动变形模块初始化；
S32、计算变形能量误差，所述变形能量误差为Econ、Erot、Esmooth、Ehull、Ergb；
S33、通过对不同的变形能量误差附以不同的权重生成变形能量函数：
E(G)＝θconEcon+θconErot+θconEsmooth+θconEhull+θconErgb
其中，Econ为关键帧模型中每个顶点与当前帧模型中每个对应顶点的空间距离误差，Erot为每个变形点中变形矩阵G的正则化误差，Esmooth为变形点与相邻k个变形点之间的分布平滑度误差，Ehull为关键帧模型中每个顶点分布在可视壳外部所产等的误差，Ergb为rgb图像中前一帧和当前帧模型对应点投射到空间所产生的距离误差。
S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；
步骤三、数据融合：将步骤二变形后的关键帧数据与模型当前帧数据进行融合，并采用Marching Cube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作；
本方法所述计算均采用GPU并行计算
2.如权利要求1所述的一种大范围实时人体三维重建方法，其特征在于：步骤一所述可视壳模型的生成方法为：计算相机坐标系下的光线轨迹，筛选掉分割图中属于背景部分的光线所经过的空间区域，获得空间中属于前景部分的空间区域，得可视壳模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711403509.0A CN108122281B (zh) | 2017-12-22 | 2017-12-22 | 一种大范围实时人体三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711403509.0A CN108122281B (zh) | 2017-12-22 | 2017-12-22 | 一种大范围实时人体三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122281A CN108122281A (zh) | 2018-06-05 |
| CN108122281B true CN108122281B (zh) | 2021-08-24 |
Family
ID=62231045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711403509.0A Active CN108122281B (zh) | 2017-12-22 | 2017-12-22 | 一种大范围实时人体三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122281B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840940B (zh) * | 2019-02-11 | 2023-06-27 | 清华-伯克利深圳学院筹备办公室 | 动态三维重建方法、装置、设备、介质和系统 |
| CN110007754B (zh) * | 2019-03-06 | 2020-08-28 | 清华大学 | 手与物体交互过程的实时重建方法及装置 |
| CN112396686B (zh) * | 2019-07-31 | 2024-08-06 | 富联精密电子(天津)有限公司 | 三维场景工程模拟与实景融合系统及方法 |
| CN111739080A (zh) * | 2020-07-23 | 2020-10-02 | 成都艾尔帕思科技有限公司 | 多台深度相机共同构建3d空间及3d物体的方法 |
| CN111932670B (zh) * | 2020-08-13 | 2021-09-28 | 北京未澜科技有限公司 | 基于单个rgbd相机的三维人体自画像重建方法及系统 |
| CN112767534B (zh) * | 2020-12-31 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| US9053571B2 (en) * | 2011-06-06 | 2015-06-09 | Microsoft Corporation | Generating computer models of 3D objects |
| CN104956404A (zh) * | 2013-01-30 | 2015-09-30 | 高通股份有限公司 | 具有功率有效深度传感器使用的实时三维重建 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105989625A (zh) * | 2015-02-04 | 2016-10-05 | 华为技术有限公司 | 数据处理的方法和装置 |
| US9619933B2 (en) * | 2014-06-16 | 2017-04-11 | Occipital, Inc | Model and sizing information from smartphone acquired image sequences |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
-
2017
- 2017-12-22 CN CN201711403509.0A patent/CN108122281B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053571B2 (en) * | 2011-06-06 | 2015-06-09 | Microsoft Corporation | Generating computer models of 3D objects |
| CN104956404A (zh) * | 2013-01-30 | 2015-09-30 | 高通股份有限公司 | 具有功率有效深度传感器使用的实时三维重建 |
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| US9619933B2 (en) * | 2014-06-16 | 2017-04-11 | Occipital, Inc | Model and sizing information from smartphone acquired image sequences |
| CN105989625A (zh) * | 2015-02-04 | 2016-10-05 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于Kinect的人体模板化三维模型拟合重建";袁仁奇 等;《丝绸》;20171031;第54卷(第10期);第32-36页 * |
| "多视角立体三维重建方法研究";李兆歆;《中国博士学位论文全文数据库 信息科技辑》;20170215(第02期);第2-5章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122281A (zh) | 2018-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122281B (zh) | 一种大范围实时人体三维重建方法 | |
| CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| US11748934B2 (en) | Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium | |
| US10560687B2 (en) | LED-based integral imaging display system as well as its control method and device | |
| CN105704479B (zh) | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 | |
| US11501118B2 (en) | Digital model repair system and method | |
| Matsuyama et al. | Real-time dynamic 3-D object shape reconstruction and high-fidelity texture mapping for 3-D video | |
| JP7386888B2 (ja) | 画面上の話者のフューショット合成 | |
| CN108475327A (zh) | 三维采集与渲染 | |
| JP5966256B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP2020515937A (ja) | 没入型ビデオフォーマットのための方法、装置、及びストリーム | |
| Tomiyama et al. | Algorithm for dynamic 3D object generation from multi-viewpoint images | |
| CN103077552A (zh) | 一种基于多视点视频的三维展示方法 | |
| CN113393566A (zh) | 使用先验深度场景进行的基于深度的3d重建 | |
| CN110174940A (zh) | 飞行仿真模拟器虚实空间实时融合方法 | |
| CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
| LUCAS1a et al. | Recover3d: A hybrid multi-view system for 4d reconstruction of moving actors | |
| JP6814036B2 (ja) | 要素画像群生成装置及びそのプログラム | |
| CN111932670A (zh) | 基于单个rgbd相机的三维人体自画像重建方法及系统 | |
| WO2020193703A1 (en) | Techniques for detection of real-time occlusion | |
| Thatte et al. | Real-World Virtual Reality With Head-Motion Parallax | |
| CN109407329B (zh) | 一种空间光场显示方法及其装置 | |
| US12051168B2 (en) | Avatar generation based on driving views | |
| CN107845130A (zh) | 一种环境三维重构方法 | |
| WO2024174050A1 (zh) | 视频通信方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |