CN101872491B - 基于光度立体的自由视角重光照方法和系统 - Google Patents

Abstract

本发明提出一种基于光度立体的自由视角重光照方法，包括利用多视角摄像阵列采集目标物体的多视角动态视频图像；根据采集的所述多视角动态视频图像获取所述目标物体的三维模型及模型表面反射特性；获得所述目标物体的静态三维物体重光照模型及所述目标物体的三维运动轨迹；根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照。本发明提供了一种高效的、支持自由视角观察的动态场景重光照方法。

Description

基于光度立体的自由视角重光照方法和系统

技术领域

本发明涉及数字图像处理领域，特别涉及一种结合光度立体，利用多视角摄像阵列在可控光照条件下采集动态视频，恢复目标物体的法向及反射特性，并进行自由视角重光照的方法和系统。

背景技术

随着数字采集及处理技术的飞速发展，动态视频已成为日常生活和科学研究中广泛存在的一种媒体格式。而在对视频进行处理和播放的过程中，光照条件对视频质量和效果有着至关重要的影响，另外拍摄的角度不同，也会带来不同的效果。尤其对于感兴趣的动态物体，为实现从自由视角对该物体的观察，和生成该物体在任意光照条件下的不同效果，需要基于动态视频对该目标物体进行自由视角的重光照操作。

现有的物体重光照方法主要包括基于光度立体及基于图像的重光照操作两类。

基于光度立体的重光照方法，通过在多种可控光照条件下，对物体进行拍摄，并结合参数化光照模型，恢复物体表面的几何及反射属性信息，从而根据光照模型在新的光照条件下对物体进行重光照操作，并渲染至自由视角进行显示。但是由于此类方法需要在多种可控光照下对场景进行采集，且计算过程中采用无穷远摄像机模型对物体表面的几何信息进行恢复，因此目前已有的基于光度立体的重光照方法多是针对单视角静态场景进行处理，少数针对动态场景的处理方法也需要使用造价昂贵的高速摄像头；且由于需要使用参数化光照模型进行求解，如漫反射光照模型或球面谐波等，因此此类方法也往往受限于对郎伯表面进行处理。

基于图像的重光照方法，是将多种密集可控光照条件下采集的物体图像作为基向量，通过对基向量进行线性组合，实现目标物体的重光照操作。由于在这一过程中，无需利用解析光照模型进行参数求解，而是直接将采集图像作为基向量进行组合，因此重光照效果的真实性较高。但相应的代价是，此种方法需要对目标物体在密集光照条件下进行采集，采集成本及复杂度均较高，且由于三维几何信息的缺失，此类方法很难实现自由视角的渲染。

总之，目前需要本领域技术人员迫切解决的一个技术问题就是，如何提供一种高效的，支持自由视角观察且渲染效果具有高真实感的动态场景重光照方法。

发明内容

本发明的目的在于克服已有技术的不足之处，特别是解决现有技术中对动态场景重光照困难的缺陷。

本发明提出了一种用于动态场景的，基于光度立体的自由视角重光照方法，包括以下步骤：

在预设的可控变化光照条件下，利用多视角摄像阵列采集目标物体的多视角动态视频图像；

根据采集的所述多视角动态视频图像获取所述目标物体的三维模型及模型表面反射特性；

根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，并根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；

根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和

基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照，

其中，

在预设的可控变化光照条件下，利用多视角摄像阵列采集目标物体的多视角动态视频图像的步骤包括：

根据所述预设的可控变化光照条件设置可控光源序列，所述可控光源序列包括多个LED光源；

对所述多视角摄像阵列进行几何及颜色校准，以及对所述多视角摄像阵列和所述可控光源序列进行同步校准；

在采集场景中央放水晶球，在所述预设的可控变化光照条件下利用所述多视角摄像阵列对所述水晶球进行拍摄；和

对拍摄的多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图；

所述获取目标物体的三维模型及模型表面反射特性的步骤包括：

利用获得的每个单视角中所述目标物体的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和

对获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性，

其中，

所述利用获得的每个单视角的动态视频，获取目标物体在对应的单视角中的可见区域表面的法向和反射特性的步骤包括：

对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹；

对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐；

利用鲁棒的主分量分析方法RPCA对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选；以及

利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在所述单视角中的可见区域表面的法向及反射特性信息，

其中，所述利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息的步骤包括：

根据漫反射光照模型I^d＝ρ^d(N*L)，恢复所述目标物体在单视角中的可见区域表面的法向N及漫反射特性ρ^d，其中，L根据所述场景光照环境图计算获得；

根据镜面反射特性I^s＝I-I^d，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域表面的镜面反射特性

其中，分别对应1到k阶的镜面反射多项式系数；和

对所述漫反射特性ρ^d和所述镜面反射特性进行综合得到所述可见区域表面的反射特性

所述对获取的目标物体在各个单视角中的可见区域表面的法向及反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性的步骤包括：

采用匹配误差能量函数对相邻视角中目标物体可见区域表面的法向及反射属性进行匹配，并利用对极约束去除错误匹配点；

基于相邻视角匹配结果，对所述目标物体在各单视角中的可见区域表面的法向及反射特性信息进行融合，计算目标物体的三维模型及模型表面各点对应的反射特性；和

基于平滑性约束对目标物体表面存在的漏洞或不可见区域的法向及反射特性进行填充，以获得目标物体完整且连续的三维模型及模型表面的法向和反射特性信息；

根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型的步骤包括：

根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型；

根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹的步骤包括：

根据所述目标物体的三维模型及表面各点的反射特性，并以所述二维运动轨迹为约束条件，结合所述摄像阵列的参数，利用最小二乘方法求解三维模型表面各点的三维空间中的三维运动轨迹；和

根据所述目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作。

根据本发明的一个实施例，所述多项式纹理模型为：

其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量。

根据本发明的一个实施例，还包括，在可见区域内的每个子块内对所述目标物体的法向及表面反射特性添加局部平滑约束，所述可见区域被划分为多个子块。

本发明实施例还提出了一种用于动态场景的，基于光度立体的自由视角重光照系统，包括：

可控光源，用于产生预设的可控变化光照条件；

多视角摄像阵列，用于在预设的可控变化光照条件下采集目标物体的动态视频图像；和

重光照装置，用于根据所述多视角摄像阵列采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，和根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹，之后根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型，以及基于预定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体约自由视角重光照，

其中，

所述重光照装置包括场景光照环境图获取模块，用于根据所述多视角摄像阵列在所述预设的可控变化光照条件下对采集场景中央的水晶球拍摄的多视角视频，对所述多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图；

所述重光照装置包括：

第一计算模块，用于根据所述多视角摄像阵列采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，和根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；

第二计算模块，用于根据所述第一计算模块获得的所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和

自由视角渲染模块，用于接收用户设定的自由视角，并对所述第二计算模块获得的所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照；

其中，

所述第一计算模块包括：

单视角处理子模块，用于利用获得的每个单视角的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和

融合子模块，用于对所述单视角处理子模块获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性，

其中，

所述单视角处理子模块对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹，接着对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐，之后利用鲁棒的主分量分析方法RPCA对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选，以及利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息；

所述单视角处理子模块先根据漫反射光照模型I^d＝ρ^d(N*L)，恢复所述目标物体在单视角中的可见区域表面的法向N及漫反射特性ρ^d，其中，L根据所述场景光照环境图计算获得，再根据镜面反射特性I^s＝I-I^d，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域的镜面反射特性，其中，

分别对应1到k阶的镜面反射多项式系数，之后对所述漫反射特性ρ^d和所述镜面反射特性

进行综合得到所述可见区域表面的反射特性 $\mathrm{\ρ}=({\mathrm{\ρ}}^d,{\mathrm{\ρ}}_1^s,L,{\mathrm{\ρ}}_K^s);$

所述融合子模块采用匹配误差能量函数对相邻视角中目标物体可见区域表面的法向及反射属性进行匹配，并利用对极约束去除错误匹配点，以及基于相邻视角匹配结果，对所述目标物体在各单视角中的可见区域表面的法向及反射特性信息进行融合，计算目标物体的三维模型及模型表面各点对应的反射特性；和

所述融合子模块基于平滑性约束对目标物体表面存在的漏洞或不可见区域的法向及反射特性进行填充，以获得目标物体完整且连续的三维模型及模型表面的法向和反射特性信息；

所述第一计算模块根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型；

所述第二计算模块根据所述目标物体的三维模型及表面各点的反射特性，并以所述二维运动轨迹为约束条件，结合所述摄像阵列的参数，利用最小二乘方法求解三维模型表面各点的三维空间中的三维运动轨迹；

所述第二计算模块还根据所述目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作。

根据本发明的一个实施例，所述摄像阵列和所述可控光源之间同步。

根据本发明的一个实施例，所述多项式纹理模型为：

其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量。

本发明实施例为针对动态场景的动态重光照方法和系统，且支持自由视角的重光照效果观察，原理简单，明确，易于实现。

在本发明的一个实施例中，基于多项式纹理模型恢复所述单视角中可见区域的法向及反射特性信息，可以保证场景重光照得到真实的渲染效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的用于动态场景的，基于光度立体的自由视角重光照方法的流程图；

图2a和2b分别为根据本发明实施例的在可控变化光照条件下采集的动态视频示意图和多视角摄像阵列的示意图；

图3为根据本发明实施例获得目标物体的三维模型及模型表面反射特性的流程图；

图4为根据本发明实施例的动态视频对齐前后的示意图；

图5为根据本发明实施例进行自由视角动态重光照的流程图；

图6为根据本发明实施例的用于动态场景的基于光度立体的自由视角重光照系统结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明的核心构思在于，利用多视角拍摄的可控光照下的动态场景视频，并结合置信度判断的结果对每个单视角获得的视频图像进行光度立体计算，以获得目标物体在每个单视角可见区域内表面的法向及反射特性信息。接着，对每个单视角可见区域内表面的法向及反射特性信息进行融合以获取目标物体的三维模型及模型表面反射特性，并依据获取的三维模型及模型表面反射特性计算该目标物体的静态三维物体重光照模型，以及结合三维模型、模型表面反射特性和动态视频图像获得目标物体的三维运动轨迹。从而，根据该目标物体的静态三维物体重光照模型和三维运动轨迹获得该目标物体的动态三维物体重光照模型，并可依据该动态三维物体重光照模型进行依赖视角的渲染，以实现目标物体自由视角的动态重光照。

如图1所示，为本发明实施例的用于动态场景的，基于光度立体的自由视角重光照方法的流程图，该方法包括以下步骤：

步骤S101，对目标物体，在可控变化光照条件下，利用多视角摄像阵列采集目标物体的动态视频。例如，在本发明的一个实施例中，可由30个LED光源形成15种可控变化光照条件(L₁，L₂，K，L_M，M＝15)，具体地，在可控变化光照条件(L₁，L₂，K，L_M，M＝15)中，光源强度与多视角摄像阵列的光照时间相互配合，从而保证动态场景在采集结果中表现出正常曝光的效果。另外，光照变化速率也与动态场景的运动规模相配合，在对于运动速率较慢的动态场景进行采集时，可控光照条件的中两个均匀光照状态之间可以相隔较长的时间，而在对快速运动的动态场景进行采集时，应在完整变光照序列中插于较多的均匀光照状态，保证运动跟踪及后续运动轨迹计算的准确性。如图2a所示，为根据本发明实施例的在可控变化光照条件下采集的动态视频示意图，需要说明的是图2a仅是示意性的，本领域技术人员应该明白可在图2a中加入更多的均匀光照状态，这些均应包含在本发明的包含范围之内。

根据本发明的一个实施例，可由10个摄像头构成多视角摄像阵列，以在该可控变化光照条件下利用多视角摄像阵列采集目标物体的动态视频，如图2b所示，为根据本发明实施例的多视角摄像阵列的示意图。当然本领域技术人员应当知道，上述的LED光源、可控变化光照条件及摄像头的数量是可以增加或减少的，这些均应包含在本发明的保护范围之内。在本发明实施例中，对于动态场景，不需要对每一个动作状态都要进行在15种光照状态下的拍摄，而是对每个动作状态只对应当前时刻的一种光照条件进行拍摄即可，因此可以使采集效率有所提高。在本发明的另一个实施例中，如果采集设备采用高速摄像机进行拍摄的话，可以在相同的时间内，采集更多的图像帧。并且，在其他实施例中，本发明实施例使用的光照条件数目还可以进一步提高，从而对光照空间进行更为密集的采样。因此本发明实施例通过上述可控变化光照条件及摄像机的组合方案，以保证对动态场景在光照空间的高速采样。该步骤具体包括：

步骤1.1，对多视角摄像阵列进行几何及颜色校准，并将多视角摄像阵列与可控光源进行同步校准，从而保证采集得到的各图像帧均是在稳定的光照条件下采集得到的。

步骤1.2，在采集场景中央放一枚水晶球，在完整的15种可控变化光照条件下以预定的光照序列利用多视角摄像阵列对水晶球进行同步采集。

步骤1.3，对10组视角拍摄的视频中的各帧水晶球图像进行全景拼图，得到对应步骤1.2中15种可控变化光照条件的场景光照环境图。

步骤1.4，将目标物体置于采集场景中，并利用多视角摄像阵列采集得到多个视角的目标物体的动态视频。

步骤S102，利用采集得到的目标物体在每个单视角中的动态视频，获取目标物体在对应单视角中的可见区域表面的法向和反射特性信息，如图3所示，该步骤具体包括：

步骤2.1，对单视角视频中在均匀光照下拍摄的两帧进行对齐操作，获得目标物体的运动轨迹，例如在本发明的实施例中，可对在均匀光照L₁，L₁₆下拍摄的两帧进行对齐操作。

步骤2..2，对已获得的目标物体的运动轨迹进行插值，并将变化点光源下拍摄的目标物体的各帧图像与均匀光照下拍摄的目标物体的图像对齐，如图4所示，为根据本发明实施例的动态视频对齐前后的示意图。

步骤2.3，利用鲁棒的主分量分析方法(RPCA)对各像素的置信度进行筛选。因为对于常见的多种材质，光照特性主要还是以低频分量为主，而视频图像采集过程中存在的噪声、遮挡阴影、高光区域的过饱和状态等则是以不符合这一低频特性的差残分量存在的，因此本发明实施例可以考虑利用RPCA对这类区域首先进行剔除，选出正常表示物体光照特性的像素区域进行后续计算，这部分正常表示物体光照特性的像素区域即为高置信度区域。因此，在本发明的一个实施例中，所述根据置信度进行筛选包括对各像素在不同时刻采集数据中的过饱和和/或不可见性进行筛选。本发明实施例通过对过饱和和/或具有不可见性的像素进行筛选，从而能够使光度立体的恢复结果准确性得到保证。

步骤2.4，对筛选后得到的满足置信度条件采集得到的图像帧中的各个像素进行独立处理，并基于多项式纹理模型恢复目标物体在对应的单视角中的可见区域表面的法向及反射特性信息。

对于图像帧中各像素进行独立处理包括：选择步骤2.3中筛选得到的高置信度光照角度作为数据集，首先考虑漫反射光照模型I^d＝ρ^d(N*L)，恢复该单视角中可见区域表面的法向N及漫反射特性ρ^d，其中，L由利用步骤1.3得到的场景光照环境图(Map_L)计算得到，具体地， $L=\underset{p}{\mathrm{\Σ}}{L}_p,L_p={\mathrm{Map}}_L\left(p\right)\·\mathrm{dir}\left(p\right),$ 其中，Map为光照环境图，p为光照环境图内的某一像素点，dir(p)为p点所对应的空间光源方向。之后，再考虑镜面反射特性I^s＝I-I^d，其中，I为采集图像中的像素值，并基于多项式纹理模型恢复相应可见区域表面的镜面反射特性其中，

分别对应1到k阶的镜面反射多项式系数。在本发明的一个实施例中，多项式纹理模型可为

其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，例如K＝5，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量，当然本领域技术人员也可选择其他的多项式纹理模型以达到类似的技术效果。之后对两者进行综合得到该可见区域表面的反射特性

此外，可以以可见区域内每个子块内对可见区域表面的法向及反射特性添加局部平滑约束，从而可以解决矩阵求解中可能存在的欠定问题。因此，本发明实施例通过上述的多项式纹理模型进行光度立体计算，可以保证场景重光照能够得到真实的渲染效果。

步骤S103，对各单视角获取的目标物体在单视角中的可见区域表面的法向及反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性。本发明使用光流方法结合光度立体恢复结果，可以融合生成完整的三维模型及反射特性。该步骤具体包括：

步骤3.1，采用匹配误差能量函数对相邻视角p和q的法向N^p，N^q及反射特性ρ^p，ρ^q进行匹配，并利用对极约束去除错误匹配点：

$\begin{array}{c}q=\underset{q}{\min }\left({\mathrm{\α}}_1\right||N^p-N^q||+{\mathrm{\α}}_2|{\mathrm{\ρ}}^p-{\mathrm{\ρ}}^q|+{\mathrm{\α}}_3|\mathrm{SIFT}\left({\mathrm{\ρ}}^p\right)-\mathrm{SIFT}\left({\mathrm{\ρ}}^q\right)\left|\right)\\ s.t.q=F\·p\end{array},$ 其中，α_1，2，3为权重因子，函数SIFT(.)为SIFT(Scale-invariant feature transform)特征描述符的计算结果，F为相邻视角间的基本矩阵，s.t.(subject to)为对极约束条件。

步骤3.2，基于相邻视角匹配结果，对各单视角的光度立体恢复结果进行融合，计算目标物体的完整三维模型及模型表面各点对应的反射特性。具体地融合包括，基于步骤3.1中已经找到了匹配点，因此在该步骤中，对同一个像素点在若干单视角中的计算结果进行合并，例如可以选择各单视角计算结果的中值或平均值作为最终结果，或是选择对多项式纹理模型拟合误差最小的单视角的计算结果做为融合后的结果。

步骤3.3，对于三维模型中可能存在的漏洞或不可见区域，基于平滑性约束对该漏洞或不可见区域的法向及反射特性进行填充，获得目标物体完整且连续的三维模型及模型表面的反射特性信息。

步骤S104，基于得到的三维模型以及模型表面的反射特性信息对目标物体进行静态重光照操作，在用户设定的理想光照条件下，对目标物体进行渲染，得到目标物体的静态三维物体重光照模型，如图5所示，该步骤具体包括：

步骤4.1，根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对步骤2.1.2中对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型：

基于漫反射光照模型I^d′＝ρ^d(N*L′)，其中，

其中，p为光照环境图中的一个像素；并

基于多项式纹理模型： $I^{s^{\′}}=\underset{p}{\mathrm{\Σ}}\left|\right|L_p^{\′}\left|\right|\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ρ}}_k^s{(N*H_p^{\′})}^k,H_p^{\′}=1/2(V+L_p^{\′}),$

得到静态三维物体重光照模型：I′＝I^d′+I^s′。

步骤S105，估计目标物体对应动态视频的三维运动轨迹，以得到各时刻的动态三维物体重光照模型。该步骤具体包括：

步骤5.1，将步骤2.1中估计得到的多视角视频中的各像素的二维运动轨迹作为约束条件，利用已有的目标物体表面法向信息及反射特性信息，并结合多视角摄像阵列的参数，例如摄像阵列中各视角摄像机对应的内参矩阵(常用K表示)，及外参矩阵(常用[Rt]表示)，和最小化三维运动轨迹驱动的变形模型在各单视角的投影与实拍数据间的差异，求解三维模型表面各点在三维空间中的三维运动轨迹。

具体地，按照以下公式计算的运动轨迹运动的模型(即三维运动轨迹驱动的变形模型)表面各点的三维运动在各视角中的二维投影，与实际采集图像中的各视角中的对应投影像素之间的二维运动轨迹(由光流计算得到)的差异。

$\underset{x^{t_2},y^{t_2},z^{t_2}}{\min }\underset{v\∈V_S}{\mathrm{\Σ}}\left|\right|P_v\·\left[\begin{array}{c}{x}^{t_2}-x^{t_1}\\ y^{t_2}-y^{t_1}\\ z^{t_2}-z^{t_1}\end{array}\right]-m_v(P_v\·\left[\begin{array}{c}{x}^{t_1}\\ y^{t_1}\\ z^{t_1}\end{array}\right])\left|\right|$

$+w\left|\right|\mathrm{\Δ}(x^{t_2}-x^{t_1})\left|\right|+w\left|\right|\mathrm{\Δ}(y^{t_2}-y^{t_1})\left|\right|+w\left|\right|\mathrm{\Δ}(z^{t_2}-z^{t_1})\left|\right|$

$+|\mathrm{\ρ}(x^{t_2},y^{t_2},z^{t_2})-\mathrm{\ρ}(x^{t_1},y^{t_1},z^{t_1})|$

其中，v为属于点

与

均可见的视角范围V_s中的某一视角，P_v为该视角对应的投影矩阵，m_v表示该视角对应的二维运动轨迹，Δ(·)为拉普拉斯算子，w为权重因子，受该点在运动轨迹计算的起始、终止时刻的局部法向一致性影响，在本发明的一个实施例中，例如 $w=\left|\right|\mathrm{\Δ}(N(x^{t_2},y^{t_2},z^{t_2})-N(x^{t_1},y^{t_1},z^{t_1}))\left|\right|,$ 即如果某像素点在运动过程中，局部法向的一致性发生了变化，那可能在这一局部区域内部发生了非刚体的运动，因此这样的区域则不应该再要求区域内各点的运动轨迹具有较好的平滑性，因此这类区域的w取值应较小。

上式中的第一项对三维运动轨迹与各单视角二维运动轨迹之间的一致性进行约束，第二至四项约束模型表面各点三维运动轨迹的空间平滑性，第五项对两时刻对应点的反射特性一致性进行约束。

步骤5.2，根据所述目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作，保证得到目标物体三维模型的完整且连续的三维运动轨迹。

步骤5.3，根据步骤4.1中的对齐时刻静态三维物体重光照模型，及三维运动轨迹，得到动态视频中各时刻对应的动态三维物体重光照模型。具体地，在本发明的一个实施例中，对于起始时刻模型表面之上的各点，按照目标物体的三维运动轨迹，保拓扑地运动到动态视频中每一时刻的对应位置，而重光照后的各点的色彩信息保持不变，从而得到了对应各时刻的目标物体重光照模型，将各时刻的信息合在一起即可以看作是动态三维物体重光照模型。

步骤S106，基于用户给定的任意自由视角，对目标物体重光照后的动态三维物体重光照模型进行依赖视角的渲染，以实现该目标物体的自由视角动态重光照。

本发明实施例另一方面还提出了一种用于动态场景的，基于光度立体的自由视角重光照系统。如图6所示，为根据本发明实施例的用于动态场景的基于光度立体的自由视角重光照系统结构图。该系统包括可控光源100，与可控光源100同步的多视角摄像阵列200，以及与多视角摄像阵列200相连接的重光照装置300。其中，可控光源100用于产生预设的可控变化光照条件。多视角摄像阵列200用于采集目标物体的动态视频图像。重光照装置300用于根据多视角摄像阵列200采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，和根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹，之后根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型，以及基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖视角的渲染，以实现所述目标物体的自由视角重光照。

在本发明的一个实施例中，重光照装置300包括场景光照环境图获取模块310，场景光照环境图获取模块310用于根据多视角摄像阵列200在所述预设的可控变化光照条件下对采集场景中央的水晶球拍摄的多视角视频，对多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图。

在本发明的一个实施例中，该重光照装置300包括第一计算模块320、第二计算模块330和自由视角渲染模块340。其中，第一计算模块320用于根据多视角摄像阵列200采集的动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，以及根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹。第二计算模块330用于根据第一计算模块320获得的所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型。自由视角渲染模块340用于接收用户设定的自由视角，并对第二计算模块330获得的所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照。

在本发明的一个实施例中，更具体地，第一计算模块320包括单视角处理子模块321和融合子模块322。其中，单视角处理子模块321用于利用获得的每个单视角的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息。融合子模块322用于对单视角处理子模块321获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性。具体地，单视角处理子模块321对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹，接着对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐，之后利用鲁棒的主分量分析方法(RPCA)对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选，以及利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息。更为具体地，单视角处理子模块321先根据漫反射光照模型I^d＝ρ^d(N*L)，恢复所述目标物体在单视角中可见区域表面的法向N及漫反射特性ρ^d，其中，L根据所述场景光照环境图计算获得，再根据镜面反射特性I^s＝I-I^d，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域的镜面反射特性其中，

分别对应1到k阶的镜面反射多项式系数，之后对所述漫反射特性ρ^d和所述镜面反射特性

进行综合得到所述可见区域表面的反射特性

其中，在本发明的一个实施例中，多项式纹理模型可为：其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量。

在本发明的一个实施例中，第一计算模块320根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型。

在本发明的一个实施例中，融合子模块322采用匹配误差能量函数对相邻视角中目标物体可见区域表面的法向及反射属性进行匹配，并利用对极约束去除错误匹配点，以及基于相邻视角匹配结果，对所述目标物体在各单视角中的可见区域表面的法向及反射特性信息进行融合，计算目标物体的三维模型及模型表面各点对应的反射特性。

在本发明的另一个实施例中，融合子模块322基于平滑性约束对目标物体表面存在的漏洞或不可见区域的法向及反射特性进行填充，以获得目标物体完整且连续的三维模型及模型表面的法向和反射特性信息。

在本发明的一个实施例中，第二计算模块330根据目标物体的三维模型及表面各点的反射特性，并以二维运动轨迹为约束条件，结合多视角摄像阵列200的参数，利用最小二乘方法求解三维模型表面各点的三维空间中的三维运动轨迹。

在本发明的另一个实施例中，第二计算模块330还根据目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作。

根据本发明所公开的上述系统，能够很容易地实现对目标物体的自由视角重光照。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种用于动态场景的，基于光度立体的自由视角重光照方法，其特征在于，包括以下步骤：

在预设的可控变化光照条件下，利用多视角摄像阵列采集目标物体的多视角动态视频图像；

根据采集的所述多视角动态视频图像获取所述目标物体的三维模型及模型表面反射特性；

根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，并根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；

根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和

基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照，

其中，

在预设的可控变化光照条件下，利用多视角摄像阵列采集目标物体的多视角动态视频图像的步骤包括：

根据所述预设的可控变化光照条件设置可控光源序列，所述可控光源序列包括多个LED光源；

对所述多视角摄像阵列进行几何及颜色校准，以及对所述多视角摄像阵列和所述可控光源序列进行同步校准；

在采集场景中央放水晶球，在所述预设的可控变化光照条件下利用所述多视角摄像阵列对所述水晶球进行拍摄；和

对拍摄的多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图；

所述获取目标物体的三维模型及模型表面反射特性的步骤包括：

利用获得的每个单视角中所述目标物体的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和

对获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性，

其中，

所述利用获得的每个单视角的动态视频，获取目标物体在对应的单视角中的可见区域表面的法向和反射特性的步骤包括：

对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹；

对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐；

利用鲁棒的主分量分析方法RPCA对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选；以及

利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在所述单视角中的可见区域表面的法向及反射特性信息，

其中，所述利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息的步骤包括：

根据漫反射光照模型I^d＝ρ^d(N*L)，恢复所述目标物体在单视角中的可见区域表面的法向N及漫反射特性ρ^d，其中，L根据所述场景光照环境图计算获得；

根据镜面反射特性I^s＝I-I^d，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域表面的镜面反射特性

其中，

分别对应1到k阶的镜面反射多项式系数；和

对所述漫反射特性ρ^d和所述镜面反射特性

进行综合得到所述可见区域表面的反射特性

所述对获取的目标物体在各个单视角中的可见区域表面的法向及反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性的步骤包括：

采用匹配误差能量函数对相邻视角中目标物体可见区域表面的法向及反射属性进行匹配，并利用对极约束去除错误匹配点；

基于相邻视角匹配结果，对所述目标物体在各单视角中的可见区域表面的法向及反射特性信息进行融合，计算目标物体的三维模型及模型表面各点对应的反射特性；和

基于平滑性约束对目标物体表面存在的漏洞或不可见区域的法向及反射特性进行填充，以获得目标物体完整且连续的三维模型及模型表面的法向和反射特性信息；

根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型的步骤包括：

根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型；

根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹的步骤包括：

根据所述目标物体的三维模型及表面各点的反射特性，并以所述二维运动轨迹为约束条件，结合所述摄像阵列的参数，利用最小二乘方法求解三维模型表面各点的三维空间中的三维运动轨迹；和

根据所述目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作。

2.如权利要求1所述的方法，其特征在于，所述多项式纹理模型为：

$I^s=\underset{p}{\mathrm{\Σ}}\left|\right|L_p\left|\right|\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ρ}}_k^s{(N*H_p)}^k,$ 其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量。

3.如权利要求2所述的方法，其特征在于，还包括，在可见区域内的每个子块内对所述目标物体的法向及表面反射特性添加局部平滑约束，所述可见区域被划分为多个子块。

4.一种用于动态场景的，基于光度立体的自由视角重光照系统，其特征在于，包括：

可控光源，用于产生预设的可控变化光照条件；

多视角摄像阵列，用于在预设的可控变化光照条件下采集目标物体的动态视频图像；和

重光照装置，用于根据所述多视角摄像阵列采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，和根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹，之后根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型，以及基于预定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照，

其中，

所述重光照装置包括场景光照环境图获取模块，用于根据所述多视角摄像阵列在所述预设的可控变化光照条件下对采集场景中央的水晶球拍摄的多视角视频，对所述多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图；

所述重光照装置包括：

第一计算模块，用于根据所述多视角摄像阵列采集的所述动态视频图像获取所述目标物体的三维模型及模型表面反射特性，并根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，和根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；

第二计算模块，用于根据所述第一计算模块获得的所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和

自由视角渲染模块，用于接收用户设定的自由视角，并对所述第二计算模块获得的所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照；

其中，

所述第一计算模块包括：

单视角处理子模块，用于利用获得的每个单视角的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和

融合子模块，用于对所述单视角处理子模块获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性，

其中，

所述单视角处理子模块对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹，接着对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐，之后利用鲁棒的主分量分析方法RPCA对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选，以及利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息；

所述单视角处理子模块先根据漫反射光照模型I^d＝ρ^d(N*L)，恢复所述目标物体在单视角中的可见区域表面的法向N及漫反射特性ρ^d，其中，L根据所述场景光照环境图计算获得，再根据镜面反射特性I^s＝I-I^d，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域的镜面反射特性，其中，

分别对应1到k阶的镜面反射多项式系数，之后对所述漫反射特性ρ^d和所述镜面反射特性进行综合得到所述可见区域表面的反射特性 $\mathrm{\ρ}=({\mathrm{\ρ}}^d,{\mathrm{\ρ}}_1^s,L,{\mathrm{\ρ}}_K^s);$

所述融合子模块采用匹配误差能量函数对相邻视角中目标物体可见区域表面的法向及反射属性进行匹配，并利用对极约束去除错误匹配点，以及基于相邻视角匹配结果，对所述目标物体在各单视角中的可见区域表面的法向及反射特性信息进行融合，计算目标物体的三维模型及模型表面各点对应的反射特性；和

所述融合子模块基于平滑性约束对目标物体表面存在的漏洞或不可见区域的法向及反射特性进行填充，以获得目标物体完整且连续的三维模型及模型表面的法向和反射特性信息；

所述第一计算模块根据用户给定的光照环境，以及根据恢复得到的目标物体的法向及反射特性信息，利用多项式纹理模型，对对齐时刻的目标物体的三维模型进行静态重光照操作，得到静态三维物体重光照模型；

所述第二计算模块根据所述目标物体的三维模型及表面各点的反射特性，并以所述二维运动轨迹为约束条件，结合所述摄像阵列的参数，利用最小二乘方法求解三维模型表面各点的三维空间中的三维运动轨迹；

所述第二计算模块还根据所述目标物体表面上的各点三维运动轨迹的场景平滑性约束，对获得的三维模型表面进行补绘及滤波操作。

5.如权利要求4所述的系统，其特征在于，所述摄像阵列和所述可控光源之间同步。

6.如权利要求4所述的系统，其特征在于，所述多项式纹理模型为：

$I^s=\underset{p}{\mathrm{\Σ}}\left|\right|L_p\left|\right|\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ρ}}_k^s{(N*H_p)}^k,$ 其中，H_p＝1/2(V+L_p)，K为多项式纹理模型的阶数，L_p为入射光方向，V为观察视角方向，H_p为利用L_p和V计算得到的半角向量。

Images