CN107862718A

CN107862718A - 4d全息视频捕捉方法

Info

Publication number: CN107862718A
Application number: CN201711061006.XA
Authority: CN
Inventors: 张旺; 谭金开; 周晓辉
Original assignee: Shenzhen Free Visual Technology Co Ltd
Current assignee: Changsha Stereoscopic Vision Technology Co ltd
Priority date: 2017-11-02
Filing date: 2017-11-02
Publication date: 2018-03-30
Anticipated expiration: 2037-11-02
Also published as: CN107862718B

Abstract

本发明提供一种4D全息视频捕捉方法，通过多相机图像序列同步采集系统捕捉到场景和对象的图像信息，采用图像处理和计算机视觉处理方法，根据所得每一帧图像数据以及相机参数创建出精确的每一帧拍摄对象对应的3D对象模型，通过纹理渲染对拍摄对象的纹理进行渲染重建，得到逼真重现的三维拍摄主体，每一帧可以从各个角度观看的拍摄对象的三维模型，各帧连续播放得到4D全息视频，能够高度逼真的复现出三维静态或动态对象物体。

Description

4D全息视频捕捉方法

技术领域

本发明涉及视频成像技术领域，具体的涉及一种4D全息视频捕捉方法。

背景技术

4D视频包括三维空间维度和一维时间维度4个维度。4D全息捕捉是指对现实空间静态或动态场景高质量、逼真的4D虚拟复现方法。现有3D电影通常通过在用户观看的视角上分别形成左、右眼睛成像视图，从而在用户的视角形成一种3D立体的观看体验，其实际上只是得到了2.5维的深度信息，并没有复原出拍摄对象真正的3D视图效果。

高质量实时的4D视频在虚拟现实(VR)、增强现实(AR)或混合现实(MR)具有很多潜在的应用。例如，可用于3D游戏、3D动画的角色创建，在服装领域，4D视频可实现拍摄主体的虚拟在线试衣、服装走秀等场景；在影视传媒领域，可以结合AR技术做AR转播，以及影视特效；在体育领域，可用于训练、比赛分析等。

虽然目前国内外VR市场已经出现了各种VR全景相机、VR眼镜、头盔等设备和产品，但可观赏的VR内容非常缺乏，限制了相关产品和应用的推广。现有便捷式全景相机可拍摄360视频，但是360视频中的主视角位置和走动都由拍摄者决定，无法完全由用户决定。而且所得360视频并不是真正的VR视频。目前采用3D软件如3D Max、Maya等工具可以创建3D人体模型，但这种CG模型创建过程复杂，逼真度低，图像失真严重，无法满足真正VR视频的要求。目前的方法均无法既满足VR视频要求，又以3D形式逼真的在虚拟世界或混合世界中创建出拍摄对象。

当前，采用基于激光扫描、结构光或立体视觉的三维重建仅能针对静态场景，并且重建的精度和逼真度较差；采用kinect等深度传感器设备可以获得物体的深度信息，通过多个kinect数据融合的方法也可以得到3D信息，但基于kinect的方法受限于kinect的有效工作距离，对于需要较大运动空间的拍摄对象，无法进行拍摄。而且现有4D全息视频捕捉方法无法针对动态场景，高效率的实现4D捕捉。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种4D全息视频捕捉方法。

本发明提供的4D全息捕捉方法，能高效的获得高度逼真、精确的动态3D模型。相对于现有的3D重建或扫描方法，4D全息捕捉不仅支持对静止的，也支持对运动的人体(物体)进行3D逼真重建，所重建复现的包括物体纹理、皱褶等精细的细节。

本发明提供4D全息捕捉方法，所获得的4D视频相对于普通视频是单一视角，能够支持无限视角观看，用户通过交互可以实现从任意角度观看；4D全息捕捉方法是一种AR\VR\MR内容创建方法，能够便捷的提供4D内容。

本发明提供的4D全息捕捉方法，相对现有3D软件创建3D模型的方法，具有自动、便捷和逼真的优点。

本发明提供一种4D全息视频捕捉方法及其装置，包括以下步骤：

S1：采用多相机同步标定方法，对用于全方位拍摄拍摄对象的标定相机的相机参数进行标定，之后设置各标定相机的颜色校正矩阵参数，环绕拍摄对象布置标定相机，拍摄得到拍摄对象的图像序列；

S2：提取每帧图像序列中拍摄对象的序列特征信息，根据序列特征信息采用基于多相机的三维重建方法，获取每帧图像序列中拍摄对象的三维点云数据，对三维点云数据进行三角网络化，获得每帧图像序列中拍摄对象的三维网络模型；

S3：采用基于视点的纹理渲染方法，对每帧三维网络模型的纹理分别进行渲染重建，得到多帧含拍摄对象的可任意旋转多角度观看的渲染模型，按图像序列顺序播放每帧渲染模型得到4D全息视频。

进一步地，三维网络模型的获得，包括以下步骤：

1)从每帧图像序列中提取拍摄对象的特征信息；

2)根据特征信息以及特征信息之间的空间平滑性，创建融合轮廓、边缘、颜色和深度信息的残差方程；

3)对残差方程进行全局最优化求解，得到点云数据；

4)对点云重建数据进行三角片化处理，获得三维网络模型。

进一步地，多相机图像序列同步采集系统包括：多个标定相机和幕布，标定相机固定于支架上，环绕拍摄对象布置，且各标定相机的成像背景均为幕布；幕布设置于支架的外侧。

进一步地，多相机图像序列同步采集系统还包括：用于使拍摄对象获取足量均匀光照的多个拍摄灯，拍摄灯设置于拍摄对象的顶部。

进一步地，多相机同步标定方法包括以下步骤：

1)在多相机图像序列采集系统的拍摄区域中，挥舞并移动两端均设置标定物的标定杆经过各标定相机，获得标定图像序列；

2)检测定位任一标定相机获得的标定图像序列中每一帧标定图像中的标定物，并提取各帧标定图像中的标定物的轮廓；

3)根据任意相邻两帧标定图像上的标定物特征点以及分处任意相邻两帧标定图像中同一标定物之间的距离，估计各相机参数的近似估计值；

4)以近似估计值为初始值，分别通过光束平差法迭代优化计算各标定相机的相机参数的精确值；

相机参数包括：相机内参数、相对同一空间坐标系下的位置和姿态参数、白平衡增益参数。

进一步地，标定杆包括长度为L的连接杆，连接杆的两端分别设置第一标注物和第二标志物，第一标志物、第二标志物以及幕布三者的颜色各不相同。

进一步地，标定相机为遥控相机，分辨率为800×600，镜头为焦距适配，支持采集帧率为30帧/s。

进一步地，标定相机为8个以上，标定相机距地面高度为1～2米。

进一步地，标定相机为12个。

进一步地，幕布为绿色遮光幕布。

进一步的，纹理渲染方法包括以下步骤：

1)相机选择：根据虚拟视点方位，以最靠近拍摄对象的几个相机所得虚拟图像作为模型纹理合成的基础数据；

2)可见面片计算：计算虚拟图像中虚拟视点方位上所能显示的三维模型三角面的集合，作为可见三角面。纹理贴图仅针对可见三角面进行处理；

3)可见面片纹理提取：计算各可见三角面在所选择的邻接相机像面上对应的纹理及各顶点的颜色值；

4)融合权重图计算：计算各个参与纹理合成的相机对合成纹理各个像素上的权重值；

5)边缘融合：合成的纹理在边缘上进行羽化处理，使得过渡平滑；

6)合成渲染：对合成的纹理进行渲染显示。

本发明的技术效果：

本发明提供4D全息视频捕捉方法，通过环绕拍摄对象设置多个成像背景为幕布的标定摄像机，获取拍摄对象的全方位图像序列，单独对每帧图像中的拍摄对象构建三维网络模型，之后通过对三维网络模型进行渲染后，获得能连续播放的4D全息视频。该视频不同于现有将分别拍摄左右眼所见三维视频后，叠加所得4D视频的错位、虚假感，所得视频中拍摄对象的逼真度、清晰度均得到较大提高。相对于现有的3D重建或扫描方法，4D全息捕捉不仅支持对静止的，也支持对运动的人体(物体)进行3D逼真重建，所重建复现的包括物体纹理、皱褶等精细的细节。

本发明提供4D全息视频捕捉方法，所获得的4D视频相对于单一视角的普通视频，能够支持无限视角观看，用户通过交互装置可以实现从任意角度观看；

发明提供4D全息视频捕捉方法，相对现有3D软件创建3D模型后再生成4D视频，具有自动、便捷和逼真的优点。

具体请参考根据本发明的4D全息视频捕捉方法及其装置提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明提供的4D全息视频捕捉方法流程示意框图；

图2是本发明优选实施例中4D全息视频捕捉方法的拍摄场地布置示意图；

图3是本发明优选实施例中所用相机标定杆与标志物示意图；

图4是本发明优选实施例中标定杆标定过程示意图；

图5是本发明优选实施例中所得三维网络模型的效果示意图，其中a)为拍摄对象的背面图；b)为拍摄对象的侧面图；

图6是本发明优选实施例中由图5所得三维网络模型经步骤S3处理后所得4D全息视频示意图，其中第一个对应图5中的b)，第三个对应图5中的a)。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

本发明所指4D视频创建是指一种对现实空间静态或动态场景高质量、逼真的4D虚拟复现技术，也称为4D全息捕捉。4D包括三维空间维度和一维时间维度。4D全息捕捉在计算机生成的虚拟世界中高度逼真复现出的4D虚拟内容，本发明称之为4D全息视频或4D视频。与2D视频类似，4D视频可在浏览器或其他客户端进行播放，并可压缩、存储和传输。不同于2D视频是由摄像机在某一角度对场景进行2D成像复现，4D视频是对场景物体全方位的3D复现，能随着用户交互从任意角度对创建的场景物体进行观察，也能够无缝融合到普通视频或图像之中去。

参见图1，本发明提供的4D全息视频捕捉方法，包括以下步骤：

内参数包括相机的等效焦距和光心主点坐标等内部参数。

此处的特征信息可以为轮廓、边缘、纹理、深度等特征。所用图像特征提取方法可以为自动前景分割算法等常用的特征提取方法。

采用基于视点的纹理渲染方法，能提高渲染主体的逼真度，从而高度还原拍摄对象，通过渲染每一帧图像序列数据得到可以从各个角度观看的三维主体对象。该基于视点的纹理渲染方法是融合在视点邻接范围内的数个相机视图纹理数据，根据点云法向量和深度信息来查找最适合的纹理块。多个纹理块通过加权融合得到最终的纹理模型。其中所用基于视点的纹理渲染方法、三角网络化，均按现有方法进行处理。

与现有的2D、3D重建或扫描技术相比，4D全息捕捉能够对运动的人体(物体)进行3D动态复现。

4D视频相对于普通视频具有：4D视频是无限视角，用户可以通过主动交互从任意视角观看；4D视频可在浏览器或其他客户端进行播放，并可压缩、存储和传输；4D视频是对场景物体全方位的复现，能随着用户的交互从任意角度对创建的场景物体进行观察，也能够无缝融合到普通视频或图像之中去。

参见图2，优选的，多相机图像序列同步采集系统包括：多个标定相机和幕布，标定相机固定于支架上，环绕拍摄对象布置，且各标定相机的成像背景均为幕布；幕布设置于支架的外侧。

多个标定相机固定后相互配合组成多相机图像序列采集系统。这些标定相机按照一定的姿态和位置固定围绕安装在拍摄区域周围。标定相机从各个角度覆盖拍摄对象。标定相机通过外触发装置可以同步拍摄对象。拍摄灯安装在拍摄区域上方或其他合适位置，优选的，多相机图像序列同步采集系统还包括：用于使拍摄对象获取足量均匀光照的多个拍摄灯，拍摄灯设置于拍摄对象的顶部。使得拍摄对象主体光照足够且均匀，各拍摄灯安装位置需避开各标定相机的视场范围。拍摄对象可以为各类物体可以为运动姿态也可以为静止状态。

此处的标定相机为一系列高分辨率相机，优选的，相机为遥控相机，分辨率为800×600的工业相机，镜头为焦距适配的镜头，支持采集帧率为30帧/s。

优选的，标定相机为8个以上，更优选的，标定相机为12个。各个标定相机可以按均匀角度安装布置。标定相机的安装高度根据拍摄对象的高度设定。例如对人体进行拍摄，则标定相机距地面高度为1～2米。标定相机与计算机连接进行图像后续处理。一般的一台计算机可支持4-8台标定相机，优选的，采用USB 3.0作为数据接口连接相机和计算机，USB数据线通过PCIE扩展卡连接到计算机主板。

为了有足够的承重，支架宜选择牢固稳定的铝合金或铁质杆构成。设计拍摄场地大小的半径为3米、高为3米的圆柱体空间。拍摄对象在该空间内活动，围绕安装在不同角度的每个标定相机视场均可以覆盖拍摄对象及其活动区域。优选的，幕布为绿色抠图专用的遮光幕布。

各拍摄灯安装位置需避开各标定相机的视场范围。优选的，拍摄灯采用专业的拍摄补光灯，一般是LED白灯。例如对于5米半径、3米高度的拍摄区域，安装额定功率为60w的六盏LED灯。拍摄时拍摄对象应位于拍摄区域中心，使得各个相机能够覆盖可见，调整光照亮度使得拍摄对象亮度足够，没有阴影。动态拍摄对象应注意运动范围和幅度，保证运动过程保持在各标定相机的可见区域内。

参见图4，优选的，多相机同步标定方法包括以下步骤：

这种标定方法使得各个标定相机都有重叠的视场区域，保证了标定过程快速准确。

参见图3，标定杆包括长度为L的连接杆，连接杆的两端分别设置第一标注物和第二标志物，第一标志物、第二标志物以及幕布三者的颜色各不相同。这种颜色设置方便精确的对标志物进行球体形状检测和轮廓提取。

具体的，假定相机个数为N，各相机的3×4投影矩阵为P_i＝[p_i1；p_i2；p_i3]，其中p_i1、p_i2、p_i3为1×3的向量，这些参数即为需要标定计算的参数。假定所得特征点个数为M，每个特征点即在每个相机的标定图像上都有相应的提取像素点。设u_ij＝(u_ij,v_ij)为第j个特征点在第i个相机上的像素提取坐标，X_j为特征点对应的三维空间位置坐标，为未知量。建立以下残差方程：

通过光束平差方法迭代优化求解出上述投影矩阵，得到各相机的位置和姿态参数。

优选的，对标定相机进行颜色标定包括以下步骤：

1)在正常拍摄灯光环境下，拍摄白色纸张；

2)提取白色纸张像素区域，获得像素区域的像素集合；

3)分别计算RGB三个通道的像素值，得到sumR、sumG、sumB三个数值；

4)由以下公式计算RGB增益系数：

gainR＝maxSum/sumR

gainG＝maxSum/sumG

gainB＝maxSum/sumB

其中，maxSum为各sumR、sumG、sumB中的最大值。

通过各相机拍摄白色纸张，提取纸张中白色区域，计算出各个相机颜色RGB增益系数，进而对各相机RGB通道进行调整。根据色温水平选择设置对应的颜色校正矩阵参数，从而使得各个相机的颜色准确、饱满，保持空间上的一致性；通过上述颜色标定方法标定各个相机白平衡增益参数，并设置颜色校正矩阵参数，从而使得各个相机的色彩保持一致性，便于纹理渲染处理。

优选的，三维网络模型的获得，包括以下步骤：

1)从每帧图像序列中提取拍摄对象的特征信息；

3)对残差方程进行全局最优化求解，得到点云数据；

4)对点云重建数据进行三角片化处理，获得三维网络模型。

通过本发明提供的方法重建拍摄对象的效果示例如图5所示。由图5可见，拍摄对象的耳朵、裤子皱褶等细节，均可在所得三维图像中较好重建显示，重建图像的精度较高。

所用基于多相机的三维重建方法，按现有方法步骤进行即可。获得拍摄对象的三维点云数据。对点云数据进行三角网络化，获得主体对象的三维网络模型。采用一种基于多视图立体视觉方法重建出主体对象的三维点云数据。该方法建立了一个以深度估计数据、颜色数据、轮廓数据以及边缘检测数据为基础的约束方程，通过一种全局优化算法对该方程系统进行优化计算，从中解算出准确描述各类观测量和约束的三维点云数据集。获得点云数据集后，再采用三角面片网络模型创建方法，从点云数据中重建主体对象模型的三维网络模型。

优选的，基于视点的纹理渲染方法包括以下步骤：

6)合成渲染：对合成的纹理进行渲染显示。

采用基于视点的纹理渲染方法，对主体对象的纹理进行渲染重建，从而得到逼真的主体对象。对每一帧图像序列数据得到一帧可以从各个角度观看的三维主体对象，从而得到4D全息视频。该基于视点的纹理渲染方法是融合在视点邻接范围内的数个相机视图纹理数据，根据点云法向量和深度信息来查找最适合的纹理块。多个纹理块通过加权融合得到最终的纹理模型。所得结果如图6所示，所得图像各细节均能得到较好表现，逼真度较好，人物立体真实。

以下结合具体实例对本发明提供的方法进行详细说明。

本发明提出的4D全息捕捉装置主要由以下几个部分组成：

1)相机采集装置包括：相机和镜头、相机数据线、控制信号线以及采集计算机系统。

2)4D重建装置：包括图像预处理计算机装置和4D重建和渲染计算机装置，其中图像预处理计算机装置包括各采集系统的计算机，主要用于图像采集、图像增强处理；4D重建和渲染计算机装置采用高性能CPU和显卡配置，以图像预处理计算机系统的输出图像数据作为输入，对其进行对象主体的三维重建和纹理渲染。

3)4D视频播放平台：支持对4D视频进行播放，与普通视频一样具有视频播放控制的各个功能，不同的是，用户可以通过交互从任意角度观看4D视频的内容。用户可通过手持设备如手机、平板电脑或普通PC机来使用4D视频播放系统。用户可以通过交互方式，旋转、平移或缩放4D视频主体对象，使得可以从各个角度进行观看4D视频。比如，在手机或平板电脑上，用户通过手点击屏幕，通过滑动使得4D主体对象按照对应的方向旋转；通过两只手指打开滑动的方式对4D主体对象进行缩小或放大；通过按住4D主体对象进行拖动，使得4D主体对象平移。例如一种交互方式：在平板电脑上通过手指操作，切换被拍摄对象的不同角度视角。图6为4D视频贴图渲染和交互效果示例，用户可以通过交互从任意角度观看被拍摄对象。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims

1.一种4D全息视频捕捉方法，其特征在于，包括以下步骤：

S1：采用多相机同步标定方法，对用于全方位拍摄拍摄对象的标定相机的相机参数进行标定，之后设置各所述标定相机的颜色校正矩阵参数，环绕所述拍摄对象布置所述标定相机，拍摄得到所述拍摄对象的图像序列；

S2：提取每帧所述图像序列中所述拍摄对象的序列特征信息，根据所述序列特征信息采用基于多相机的三维重建方法，获取每帧所述图像序列中所述拍摄对象的三维点云数据，对所述三维点云数据进行三角网络化，获得每帧所述图像序列中所述拍摄对象的三维网络模型；

S3：采用基于视点的纹理渲染方法，对每帧所述三维网络模型的纹理分别进行渲染重建，得到多帧含所述拍摄对象的可任意旋转多角度观看的渲染模型，按所述图像序列顺序播放每帧所述渲染模型得到4D全息视频。

2.根据权利要求1所述的4D全息视频捕捉方法，其特征在于，所述三维网络模型的获得，包括以下步骤：

1)从每帧所述图像序列中提取所述拍摄对象的特征信息；

2)根据所述特征信息以及所述特征信息之间的空间平滑性，创建融合轮廓、边缘、颜色和深度信息的残差方程；

3)对所述残差方程进行全局最优化求解，得到点云数据；

4)对所述点云重建数据进行三角片化处理，获得所述三维网络模型。

3.根据权利要求1所述的4D全息视频捕捉方法，其特征在于，所述多相机图像序列同步采集系统包括：多个所述标定相机和幕布，所述标定相机固定于支架上，环绕所述拍摄对象布置，且各所述标定相机的成像背景均为所述幕布；所述幕布设置于所述支架的外侧。

4.根据权利要求3所述的4D全息视频捕捉方法，其特征在于，所述多相机图像序列同步采集系统还包括：用于使所述拍摄对象获取足量均匀光照的多个拍摄灯，所述拍摄灯设置于所述拍摄对象的顶部。

5.根据权利要求1所述的4D全息视频捕捉方法，其特征在于，所述多相机同步标定方法包括以下步骤：

1)在所述多相机图像序列采集系统的拍摄区域中，挥舞并移动两端均设置标定物的标定杆经过各所述标定相机，获得标定图像序列；

2)检测定位任一所述标定相机获得的所述标定图像序列中每一帧标定图像中的所述标定物，并提取各帧所述标定图像中的所述标定物的轮廓；

3)根据任意相邻两帧所述标定图像上的所述标定物特征点以及分处任意相邻两帧所述标定图像中同一所述标定物之间的距离，估计各所述相机参数的近似估计值；

4)以所述近似估计值为初始值，分别通过光束平差法迭代优化计算各所述标定相机的所述相机参数的精确值；

所述相机参数包括：相机内参数、相对同一空间坐标系下的位置和姿态参数、白平衡增益参数。

6.根据权利要求5所述的4D全息视频捕捉方法，其特征在于，所述标定杆包括长度为L的连接杆，所述连接杆的两端分别设置第一标注物和第二标志物，所述第一标志物、所述第二标志物以及所述幕布三者的颜色各不相同。

7.根据权利要求6所述的4D全息视频捕捉方法，其特征在于，所述标定相机为遥控相机，分辨率为800×600，镜头为焦距适配，支持采集帧率为30帧/s。

8.根据权利要求6所述的4D全息视频捕捉方法，其特征在于，所述标定相机为8个以上，所述标定相机距地面高度为1～2米。

9.根据权利要求8所述的4D全息视频捕捉方法，其特征在于，所述标定相机为12个。

10.根据权利要求9所述的4D全息视频捕捉方法，其特征在于，所述幕布为绿色遮光幕布。