CN102236912A - 变光照条件下运动目标的三维重建方法及三维重建装置 - Google Patents

Abstract

本发明公开了一种变光照条件下运动目标的三维重建方法，包括如下步骤：采集运动目标在光源提供的变光照条件下的多个视角的图像；根据多台摄像机在每一时刻采集得到的运动目标的多个视角的图像，建立运动目标的初始三维模型；通过运动估计和运动补偿得到每个时刻的运动目标的多光照图像；联合初始三维模型和多光照图像恢复得到初始三维模型的法向信息；对初始三维模型的几何信息和初始三维模型的法向信息进行联合优化，得到运动目标的优化三维模型。本发明还公开了一种变光照条件下运动目标的三维重建装置。本发明联合多视角立体和光度立体方法的优势，结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维模型的重建。

Description

变光照条件下运动目标的三维重建方法及三维重建装置

技术领域

本发明涉及计算机图形学和计算机视觉技术领域，特别涉及一种变光照条件下运动目标的三维重建方法及三维重建装置。

背景技术

从多视角视频序列中获取精确的动态场景的三维模型是当前计算机视觉、计算机图形学等学科领域的热点研究问题。传统的基于图像的多视角立体重建方法在缺少纹理的区域难以建立精确的三维模型，但是可以建立出全视角的三维模型。传统的光度立体方法是利用单一视角的多光照图像，通过估计模型表面的法向信息进而估计出深度图来建立单一视角的三维模型，光度立体方法虽然可以建立出较为精细的三维模型，但是这个模型是非全视角的三维模型。从而导致对于运动目标又不能直接采集到同一时刻的多光照的图像。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为此，本发明的第一个目的在于提供一种变光照条件下运动目标的三维重建方法，该方法联合多视角立体和光度立体方法的优势，结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维模型的重建。

本发明的第二个目的在于提供一种变光照条件下运动目标的三维重建装置。

为达到上述目的，本发明第一方面的实施例提出一种变光照条件下运动目标的三维重建方法，包括如下步骤：

利用多台摄像机采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述光源周期性地向所述运动目标提供变光照条件；

根据所述多台摄像机在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的摄像机的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；

计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；

联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像恢复得到所述初始三维模型的法向信息，包括：根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；

对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。

根据本发明实施例的变光照条件下运动目标的三维重建方法，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。

本发明第二方面的实施例提出了一种变光照条件下运动目标的三维重建装置，包括：采集模块，所述采集模块用于采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述采集模块包括多个采集单元，每个采集单元用于采集所述运动目标在光源提供的变光照条件下的每个视角的图像，所述光源周期性地向所述运动目标提供变光照条件；初始三维模型建立模块，所述初始三维模型建立模块与所述采集模块相连，所述初始三维模型建立模块用于根据所述采集模块在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的采集单元的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；多光照图像获取模块，所述多光照图像获取模块与所述初始三维模型建立模块相连，所述多光照图像获取模块用于计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；法向信息恢复模块，所述法向信息恢复模块分别与所述初始三维模型建立模块和所述多光照图像获取模块相连，所述法向信息恢复模块用于联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像，根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；联合优化模块，所述联合优化模块与所述初始三维模型建立模块和所述法向信息恢复模块相连，所述联合优化模块用于对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。

根据本发明实施例的变光照条件下运动目标的三维重建装置，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的变光照条件下运动目标的三维重建方法的流程图；

图2为运动目标变光照条件下的多个视角的图像；

图3为光源提供的光照条件的变化示意图；

图4为两个周期内采集到的运动目标的图像；和

图5为根据本发明实施例的变光照条件下运动目标的三维重建装置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参考图1至图4描述根据本发明实施例的变光照条件下运动目标的三维重建方法。

如图1所示，本发明实施例提供的变光照条件下运动目标的三维重建方法包括如下步骤：

S101：采集变光照条件下的运动目标的多视角图像。

利用多台摄像机和光源组成可以实现多视角且变光照的图像采集设备。具体而言，多台摄像机可以采集运动目标的多个视角的图像，光源可以周期性地向运动目标提供变光照条件。其中，所述变光照条件是指施加到运动目标上的光照强度是变化的。利用多台摄像机采集运动目标在变光照条件下的多个视角的图像。

在本发明的一个实施例中，利用硬件同步设备对多个摄像机和光源进行同步，以保证多视角变光照的采集环境。

如图2所示，多台摄像机采集运动目标的20个视角的图像，包括视角1、视角2、视角3、视角4...视角20。同一行的图像为同一台摄像机拍摄的不同时刻的变光照条件下同一视角的图像，同一列的图像为同一时刻同一光照条件下的不同视角的图像。如图3所示，随着时间的推移，光照强度逐渐减弱。结合图3所示的光照条件，图2中同一行的同一视角的图像的随着时间的推移，图像的光照强度逐渐减弱。

但是需要说明的是，上述的20个视角的具体数目只是出于示例的目的，而不是为了限制本发明的保护范围。

S102：建立运动目标的初始三维模型。

根据步骤101中由多台摄像机在每一个时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。根据运动目标的轮廓信息和标定得到的摄像机的参数建立可视凸壳。可视凸壳描述了运动目标的外轮廓形状。其中，所述标定得到的摄像机为对应于每个视角的摄像机的参数。

利用建立的可视凸壳建立运动目标的初始三维模型。其中，现有的多视角立体的方法均可以实现建立初始三维模型的方法的目的。在本发明的一个实施例中，多视角体素方法、表面进化方法、深度图融合的方法和特征扩展方法均可以实现本发明实施例中建立初始三维模型的目的。例如：基于点云的三维重建方法和基于面片的三维重建方法。

S103：获取同一时刻运动目标的多光照图像；

在本步骤中，采用基于传统运动估计方法的周期性变光照条件下的运动估计和运动补偿来获得同一时刻运动目标的多光照图像。

具体而言，首先计算运动目标在多个周期中的相同光照条件下的运动估计结果。多个周期对应于光源周期性地向运动目标提供变光照条件的周期。在本发明的一个实施例中，通过计算运动目标在多个周期中的相同光照条件下的光流估计结果实现对运动目标在多个周期中的相同光照条件下的运动估计结果的计算。

根据运动目标在多个周期中的相同光照条件的运动估计结果初始化运动向量，联合上述运动向量，利用迭代优化的方法获取最终的运动估计向量。利用获取的最终运动估计向量进行运动补偿得到运动目标在每个时刻的多光照图像。

在同一周期p中，相邻的三帧的运动目标的运动估计向量之间满足下述线性运动关系。其中，同一周期中的每帧图像对应于不同的光照条件。

x_p，i-1＝x_p，i-w_p，i

x_p，i+1＝x_p，i+w_p，i，

其中，x_p，i为第i帧的运动目标的运动位置，x_p，i-1为第i-1帧的运动目标的运动位置，x_p，i+1第i+1帧的运动目标的运动位置，w_p，i为第i帧的运动目标的运动估计向量。

在本发明的一个实施例中，多个周期可以选取为两个周期。具体而言，计算运动目标在两个周期中的相同光照条件下的光流估计结果，联合所述两个周期中相同光照条件下的光流估计结果以实现对运动目标进行周期性变光照条件下的非线性运动的光流估计。根据运动目标在两个周期中的相同光照条件的运动估计结果初始化运动向量，联合上述运动向量，利用迭代优化的方法获取最终的运动估计向量，利用获取的最终运动估计向量进行运动补偿得到运动目标在每个时刻的多光照图像。

图4示出了运动目标在两个周期内的变光照条件下的图像。光源在每个周期内提供六种光照条件。在第一个周期内，光照条件包括光照条件1、光照条件2、光照条件3、光照条件4、光照条件5和光照条件6。在第二个周期内，光照条件包括光照条件1’、光照条件2’、光照条件3’、光照条件4’、光照条件5’和光照条件6’。其中，光照条件1与光照条件1’的光照强度相同，光照条件2与光照条件2’的光照强度相同，光照条件3与光照条件3’的光照强度相同，光照条件4与光照条件4’的光照强度相同，光照条件5与光照条件5’的光照强度相同，光照条件6与光照条件6’的光照强度相同。

在第一周期内，运动目标在光照条件1处的运动位置为x_1，0，此时运动目标对应的图像A1，运动目标在光照条件4处对应的图像A2。由图3可以看出，光照条件4相对于光照条件1的光照强度减弱。在第二个周期内，运动目标在光照条件1’处的运动位置为x_2，0，此时运动目标对应的图像A1’。w₁为两个周期相同光照条件下运动目标的运动估计向量，dx_1，1优化过程中第一帧的逼近步长，即运动目标在第一帧的运动估计向量与目标位置的差值。dx_1，2优化过程中第二帧的逼近步长，即运动目标在第二帧的运动估计向量与目标位置的差值。

根据上文中描述的相邻的三帧的运动目标的运动估计向量之间满足下述线性运动关系，利用初始化得到的光流估计向量作为约束，得到第二周期的运动位置。

x_2，i＝x_1，i+w_i。

其中，x_1，i为第一个周期的第i帧的运动目标的运动位置，x_2，i为第二个周期的第i帧的运动目标的运动位置，w_i相邻两个周期的第i帧的运动目标的运动估计向量。

为了准确的对非线性运动进行光流估计，利用一阶泰勒展开 $x_{p,i}^{k+1}=x_{p,i}^k+{\mathrm{dx}}_{p,i}^k.$

联合两个光照周期的约束信息，可以得到

${\mathrm{dx}}_{1,i-1}^k-{2\mathrm{dx}}_{1,i}^k+{\mathrm{dx}}_{1,i+1}^k=-x_{p,i-1}^k+{2x}_{p,i}^k-x_{p,i+1}^k$

${\∂x}_{2,i}^k{\mathrm{dx}}_{1,i-1}^k-{2\∂x}_{2,i}^k{\mathrm{dx}}_{1,i}^k+{\∂x}_{2,i}^k{\mathrm{dx}}_{1,i+1}^k=-x_{p,i-1}^k+{2x}_{p,i}^k-x_{p,i+1}^k.$

利用最小二乘的方法得到

然后利用迭代优化的算法最终实现对光流的准确估计，进而实现对非线性运动的精确光流估计。

根据上述迭代优化方法得到的最终的运动估计向量，进行运动补偿，得到每个时刻的运动目标的多光照图像。

可以理解的是，获取每个时刻的多光照图像也可以采用现有的其他光流估计方法。

S104：获取初始三维模型的法向信息；

联合步骤102中得到的初始三维模型和步骤103中得到的每个时刻的运动目标的多光照图像恢复得到初始三维模型的法向信息。

采用低阶的圆谐波来表示光照强度，I_n×m＝L_n×9S_9×m。

其中I_n×m中的每一行表示运动目标表面在同一光照条件下的亮度，n为行数，即光照条件的数目，m为列数，即运动目标的表面的面片的数目。I_n×m可以由步骤103中的每个时刻的运动目标的多光照图像获取。L_n×9中的每一行表示每一种光照条件下的谐波系数，S_9×m的每一列表示运动目标的一个面片的九维谐波空间。其中，运动目标表面的法向信息可以利用九维谐波空间来表示。

根据初始三维模型提供的法向信息初始化表面法向量，利用最小二乘的方法优化得到L_n×9。在本发明的一个实施例中，根据初始三维模型提供的法向信息初始化表面法向量，还可以采用交替方向算法(alternating direction algorithm)、拉格朗日增量算法(augmented Lagrangian method)或交替收缩起始点算法(iterativeshrinkage-thresholding algorithm)优化得到L_n×9。然后根据得到的L_n×9采用最小二乘的方法优化得到S_9×m。在本发明的一个实施例中，根据得到的L_n×9还可以采用交替方向算法(alternating direction algorithm)、拉格朗日增量算法(augmented Lagrangianmethod)或交替收缩起始点算法(iterative shrinkage-thresholding algorithm)优化得到S_9×m。通过上述迭代优化的方法得到初始三维模型的法向信息。

S105：获取优化三维模型。

联合步骤102得到初始三维模型的几何信息和步骤104得到的初始三维模型表面的法向信息，通过对几何信息和法向信息的联合优化得到运动目标的优化三维模型，即运动目标的精度更高的三维模型。

在本步骤中，运动目标的优化三维模型可以通过下式实现。

E＝λE^p+(1-λ)Eⁿ

其中，p为优化的三维模型，E^p表示初始三维模型几何顶点之间的关系，

Eⁿ表示初始三维模型几何顶点的切空间与法向恢复得到的法向信息之间的关系，其中P_i表示优化得到的模型几何顶点的位置，T(P_i)表示模型几何顶点的切空间，N_i表示法向恢复得到的法向信息；E为加权E^p与Eⁿ得到的惩罚目标函数。

根据本发明实施例提供的变光照条件下运动目标的三维重建方法，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。

下面参考图5描述根据本发明实施例的变光照条件下运动目标的三维重建装置500。

如图5所示，本发明实施例提供的变光照条件下运动目标的三维重建装置500包括采集模块510、初始三维模型建立模块520、多光照图像获取模块530、法向信息恢复模块540和联合优化模块550。其中，初始三维模型建立模块520与采集模块510相连，多光照图像获取模块530与初始三维模型建立模块520相连，法向信息恢复模块540分别与初始三维模型建立模块520和多光照图像获取模块530相连，联合优化模块550分别与初始三维模型建立模块520和法向信息恢复模块540相连。

采集模块510用于采集运动目标在光源提供的变光照条件下的多个视角的图像。其中，采集模块510包括多个采集单元，每个采集单元用于采集运动目标在光源提供的变光照条件下的每个视角的图像。在本发明的一个示例中，采集单元可以为摄像机、移动终端等具有录影功能的设备。具体而言，多台摄像机可以采集运动目标的多个视角的图像，光源可以周期性地向运动目标提供变光照条件。其中，所述变光照条件是指施加到运动目标上的光照强度是变化的。利用多台摄像机采集运动目标在变光照条件下的多个视角的图像。

在本发明的一个实施例中，采集模块510进一步包括同步单元，该同步单元分别与多个采集单元和光源相连，用于将每个采集单元和光源进行同步，以保证多视角变光照的采集环境。当采集单元为摄像机时，同步单元将每台摄像机与光源进行同步。

初始三维模型建立模块520根据采集模块510在每一个时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。初始三维模型建立模块520根据运动目标的轮廓信息和标定得到的摄像机的参数建立可视凸壳。可视凸壳描述了运动目标的外轮廓形状。其中，所述标定得到的摄像机为对应于每个视角的摄像机的参数。

初始三维模型建立模块520利用可视凸壳建立运动目标的初始三维模型。其中，初始三维模型建立模块520采用现有的多视角立体的方法均可以实现建立初始三维模型的方法的目的。在本发明的一个实施例中，初始三维模型建立模块520可以采用多视角体素方法、表面进化方法、深度图融合的方法和特征扩展方法建立初始三维模型的目的。例如：基于点云的三维重建方法和基于面片的三维重建方法。

多光照图像获取模块530采用基于传统运动估计方法的周期性变光照条件下的运动估计和运动补偿来获得同一时刻运动目标的多光照图像。

具体而言，多光照图像获取模块530首先计算运动目标在多个周期中的相同光照条件下的运动估计结果。多个周期对应于光源周期性地向运动目标提供变光照条件的周期。在本发明的一个实施例中，多光照图像获取模块530通过计算运动目标在多个周期中的相同光照条件下的光流估计结果实现对运动目标在多个周期中的相同光照条件下的运动估计结果的计算。

多光照图像获取模块530根据运动目标在多个周期中的相同光照条件的运动估计结果初始化运动向量，联合上述运动向量，利用迭代优化的方法获取最终的运动估计向量。多光照图像获取模块530利用获取的最终运动估计向量进行运动补偿得到运动目标在每个时刻的多光照图像。

在同一周期p中，相邻的三帧的运动目标的运动估计向量之间满足下述线性运动关系。其中，同一周期中的每帧图像对应于不同的光照条件。

x_p，i-1＝x_p，i-w_p，i

x_p，i+1＝x_p，i+w_p，i，

其中，x_p，i为第i帧的运动目标的运动位置，x_p，i-1为第i-1帧的运动目标的运动位置，x_p，i+1第i+1帧的运动目标的运动位置，w_p，i为第i帧的运动目标的运动估计向量。

在本发明的一个实施例中，多个周期可以选取为两个周期。具体而言，多光照图像获取模块530计算运动目标在两个周期中的相同光照条件下的光流估计结果，联合所述两个周期中相同光照条件下的光流估计结果以实现对运动目标进行周期性变光照条件下的非线性运动的光流估计。根据运动目标在两个周期中的相同光照条件的运动估计结果初始化运动向量，联合上述运动向量，利用迭代优化的方法获取最终的运动估计向量，利用获取的最终运动估计向量进行运动补偿得到运动目标在每个时刻的多光照图像。

图4示出了运动目标在两个周期内的变光照条件下的图像。光源在每个周期内提供六种光照条件。在第一个周期内，光照条件包括光照条件1、光照条件2、光照条件3、光照条件4、光照条件5和光照条件6。在第二个周期内，光照条件包括光照条件1’、光照条件2’、光照条件3’、光照条件4’、光照条件5’和光照条件6’。其中，光照条件1与光照条件1’的光照强度相同，光照条件2与光照条件2’的光照强度相同，光照条件3与光照条件3’的光照强度相同，光照条件4与光照条件4’的光照强度相同，光照条件5与光照条件5’的光照强度相同，光照条件6与光照条件6’的光照强度相同。

在第一周期内，运动目标在光照条件1处的运动位置为x_1，0，此时运动目标对应的图像A1，运动目标在光照条件4处对应的图像A2。由图3可以看出，光照条件4相对于光照条件1的光照强度减弱。在第二个周期内，运动目标在光照条件1’处的运动位置为x_2，0，此时运动目标对应的图像A1’。w₁为两个周期相同光照条件下运动目标的运动估计向量，dx_1，1优化过程中第一帧的逼近步长，即运动目标在第一帧的运动估计向量与目标位置的差值。dx_1，2优化过程中第二帧的逼近步长，即运动目标在第二帧的运动估计向量与目标位置的差值。

多光照图像获取模块530根据上文中描述的相邻的三帧的运动目标的运动估计向量之间满足下述线性运动关系，利用初始化得到的光流估计向量作为约束，得到第二周期的运动位置。

x_2，i＝x_1，i+w_i。

其中，x_1，i为第一个周期的第i帧的运动目标的运动位置，x_2，i为第二个周期的第i帧的运动目标的运动位置，w_i相邻两个周期的第i帧的运动目标的运动估计向量。

为了准确的对非线性运动进行光流估计，多光照图像获取模块530利用一阶泰勒展开 $x_{p,i}^{k+1}=x_{p,i}^k+{\mathrm{dx}}_{p,i}^k.$

联合两个光照周期的约束信息，可以得到

${\mathrm{dx}}_{1,i-1}^k-{2\mathrm{dx}}_{1,i}^k+{\mathrm{dx}}_{1,i+1}^k=-x_{p,i-1}^k+{2x}_{p,i}^k-x_{p,i+1}^k$

${\∂x}_{2,i}^k{\mathrm{dx}}_{1,i-1}^k-{2\∂x}_{2,i}^k{\mathrm{dx}}_{1,i}^k+{\∂x}_{2,i}^k{\mathrm{dx}}_{1,i+1}^k=-x_{p,i-1}^k+{2x}_{p,i}^k-x_{p,i+1}^k.$

多光照图像获取模块530利用最小二乘的方法得到

然后利用迭代优化的算法最终实现对光流的准确估计，进而实现对非线性运动的精确光流估计。

多光照图像获取模块530根据上述迭代优化方法得到的最终的运动估计向量，进行运动补偿，得到每个时刻的运动目标的多光照图像。

可以理解的是，多光照图像获取模块530获取每个时刻的多光照图像也可以采用现有的其他光流估计方法。

联合初始三维模型建立模块520中得到的初始三维模型和多光照图像获取模块530得到的每个时刻的运动目标的多光照图像恢复得到初始三维模型的法向信息。

法向信息恢复模块540采用低阶的圆谐波来表示光照强度，I_n×m＝L_n×9S_9×m。

其中I_n×m中的每一行表示运动目标表面在同一光照条件下的亮度，n为行数，即光照条件的数目，m为列数，即运动目标的表面的面片的数目。I_n×m可以由多光照图像获取模块530获取。L_n×9中的每一行表示每一种光照条件下的谐波系数，S_9×m的每一列表示运动目标的一个面片的九维谐波空间。其中，运动目标表面的法向信息可以利用九维谐波空间来表示。

法向信息恢复模块540根据初始三维模型提供的法向信息初始化表面法向量，利用最小二乘的方法优化得到L_n×9。在本发明的一个实施例中，法向信息恢复模块540还可以采用交替方向算法(alternating direction algorithm)、拉格朗日增量算法(augmented Lagrangian  method)或交替收缩起始点算法(iterativeshrinkage-thresholding algorithm)优化得到L_n×9。法向信息恢复模块540然后根据得到的L_n×9采用最小二乘的方法优化得到S_9×m。在本发明的一个实施例中，法向信息恢复模块540还可以采用交替方向算法(alternating direction algorithm)、拉格朗日增量算法(augmented Lagrangian method)或交替收缩起始点算法(iterativeshrinkage-thresholding algorithm)优化得到S_9×m。法向信息恢复模块540通过上述迭代优化的方法得到初始三维模型的法向信息。

联合优化模块550联合初始三维模型建立模块520得到初始三维模型的几何信息和法向信息恢复模块540得到的初始三维模型表面的法向信息，通过对几何信息和法向信息的联合优化得到运动目标的优化三维模型，即运动目标的精度更高的三维模型。

联合优化模块550通过下式建立运动目标的优化三维模型。

E＝λE^p+(1-λ)Eⁿ

其中，p为优化的三维模型，E^p表示初始三维模型几何顶点之间的关系，

Eⁿ表示初始三维模型几何顶点的切空间与法向恢复得到的法向信息之间的关系，

其中P_i表示优化得到的模型几何顶点的位置，T(P_i)表示模型几何顶点的切空间，N_i表示法向恢复得到的法向信息；E是加权E^p与Eⁿ得到的惩罚目标函数。

根据本发明实施例的变光照条件下运动目标的三维重建装置，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种变光照条件下运动目标的三维重建方法，其特征在于，包括如下步骤：

利用多台摄像机采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述光源周期性地向所述运动目标提供变光照条件；

根据所述多台摄像机在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的摄像机的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；

计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；

联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像恢复得到所述初始三维模型的法向信息，包括：根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；

对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。

2.如权利要求1所述的三维重建方法，其特征在于，所述多台摄像机与所述光源为同步。

3.如权利要求1所述的三维重建方法，其特征在于，所述联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，包括如下步骤：

根据所述运动目标在多个周期中的相同光照条件下的运动估计结果初始化运动向量；

联合所述初始化后的运动向量，采用的迭代优化方法得到最终运动估计向量；

利用所述最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像。

4.如权利要求3所述的三维重建方法，其特征在于，所述多个周期为两个周期。

5.如权利要求1所述的三维重建方法，其特征在于，所述初始三维模型的法向信息利用九维谐波空间表示。

6.一种变光照条件下运动目标的三维重建装置，其特征在于，包括：

采集模块，所述采集模块用于采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述采集模块包括多个采集单元，每个采集单元用于采集所述运动目标在光源提供的变光照条件下的每个视角的图像，所述光源周期性地向所述运动目标提供变光照条件；

初始三维模型建立模块，所述初始三维模型建立模块与所述采集模块相连，所述初始三维模型建立模块用于根据所述采集模块在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的采集单元的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；

多光照图像获取模块，所述多光照图像获取模块与所述初始三维模型建立模块相连，所述多光照图像获取模块用于计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；

法向信息恢复模块，所述法向信息恢复模块分别与所述初始三维模型建立模块和所述多光照图像获取模块相连，所述法向信息恢复模块用于联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像，根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；和

联合优化模块，所述联合优化模块与所述初始三维模型建立模块和所述法向信息恢复模块相连，所述联合优化模块用于对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。

7.如权利要求6所述的三维重建装置，其特征在于，所述采集模块进一步包括同步单元，所述同步单元分别与所述多个采集单元和所述光源相连，用于将每个采集单元与所述光源同步。

8.如权利要求6所述的三维重建装置，其特征在于，所述多光照图像获取模块根据所述运动目标在多个周期中的相同光照条件下的运动估计结果初始化运动向量，联合所述初始化后的运动向量，采用的迭代优化方法得到最终运动估计向量，利用所述最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像。

9.如权利要求8所述的三维重建装置，其特征在于，所述多个周期为两个周期。

10.如权利要求6所述的三维重建装置，其特征在于，所述初始三维模型的法向信息利用九维谐波空间表示。

Images