CN109919911A - 基于多视角光度立体的移动三维重建方法 - Google Patents

Abstract

基于多视角光度立体的移动三维重建方法，包括相机参数标定与光源标定；采集图像，第一帧记为参考帧，绕参考帧拍摄多张；获取每帧的相机位姿，以及目标物体的稀疏三维点云；进行单帧法向估计；对目标物体三维重建，通过以上步骤即完成了在参考帧视角下的三维重建。本发明实现了在相机移动状态下完成对目标物体的高精度三维重建。该方法简化了光度立体技术对设备的要求，仅需要一个相机和一个光源，进而提高了其在实际使用中便携性；同时，本方法充分利用了所获取的相机位姿和点云信息，优化了匹配等关键部分的计算方法，提高了方法整体的计算速度，从而增强了多视角光度立体方法的实用性，可进一步用于实时三维重建应用中。

Description

基于多视角光度立体的移动三维重建方法

技术领域

本发明属于计算机视觉三维重建技术领域，涉及一种基于多视角光度立体的移动三维重建方法。

背景技术

三维重建是计算机视觉的研究热点，是指通过摄像机及辅助设备获取场景物体的数据图像，根据单视 图或者多视图的图像重建物体在现实环境中的三维信息的过程。三维重建具有广泛的应用领域，包括物体 三维模型建立、3D打印、立体显示、三维测距、无人机避障导航、增强现实等。基于激光线扫描、双目立 体视觉、运动恢复结构等视觉三维重建方法的设备已应用于市场。

光度立体是一种基于表面反射光强变化恢复立体三维的技术。相比与双目、运动恢复结构等技术，光 度立体可以重建表面精细特征，恢复更多细节，具有高精度，高分辨率的优点。但是，光度立体技术需要 在固定单一视角下，拍摄多张不同光照条件下的图像，然后根据物体的光强变化获得三维信息。因而，光 度立体设备在图像采集阶段要求采集设备静止，且多个光源使得设备体积较大。这使得光度立体难以应用 于消费级的便携设备，或者移动设备，也无法应用于大尺度的扫描成像。综上，光度立体技术受限于多光 照成像的要求，且移动物体的三维重建具有更高的要求，因而现有的光度立体技术无法应用于移动物体的 三维重建，需要提出一种基于多视角光度立体的移动三维重建方法。

发明内容

本方法针对当前光度立体多采用多光源分时拍摄而无法应用于移动重建的局限性，提出基于多视角光 度立体的移动三维重建方法。

基于多视角光度立体的移动三维重建方法，其特征是包括以下步骤：

S1.相机参数标定与光源标定：首先设定相机参数使其在拍摄过程中保持不变；标定相机的内参；然后标 定相机光源的光照主方向，测得相机光轴与光源光路的夹角，并在拍摄过程中保持不变；

S2.图像采集：打开光源，使其一直处于开启状态，使用相机对目标物体进行移动多视角拍摄，

即首先将目标物体置于平面，对目标物体进行拍摄；将物体上方或斜上方拍摄的第一帧记为参考帧，以参 考帧的相机光轴为中心，绕轴拍摄K帧图像----记为非参考帧图像组；非参考帧相机光轴与参考帧的相机 光轴的夹角在10-30度之间；选取与参考帧相机光轴垂直的平面作为参考帧垂面，将非参考帧光轴及其在 参考帧垂面上的垂直投影所构成的平面称为光轴平面，并使得每两次拍摄时的光轴平面的夹角在20度至 360/K度之间；对目标物体至少拍摄五帧，即拍摄总数为K+1帧，K+1≥5；

S3.图像预处理：使用运动恢复结构技术(StructurefromMotion)获取每帧的相机位姿，以及目标物体的 稀疏三维点云；

S4.单帧法向估计：结合每帧的相机姿态和已获取的目标物体的稀疏三维点云，基于朗伯反射模型，对参 考帧中有目标物体的区域——简称目标区域每个像素对应的物体点计算其法向信息，具体如下：

(K1)光照转换：将不同视角下的光照方向，统一表示在参考帧的相机坐标系下；

根据已知的每帧图像对应的相机位姿信息，包括每帧图像的旋转矩阵(R₁～R_K+1)和每帧图像的平移 矩阵(t₁～t_K+1)，将每一非参考帧视角下的光照方向l_c转换到参考帧坐标系(R_r，t_r)下，使得：

其中，为光照方向从第k个非参考帧的相机坐标系变换到世界坐标系下的变换矩阵k＝1，...，K；l_k为 第k非参考帧图像下的光照在参考帧的相机坐标系中的表示；

(K2)视角转换：将同一物体点在多个视角下对应的像素点进行关联，从而使参考帧的目标区域得以 采用光度立体技术求解物体表面法向量；

参考帧和非参考帧图像间采用双目立体视觉技术两两建立联系；将参考帧和非参考帧图像进行双目图 像矫正，使两图像矫正后的像平面平行，同一物体点在参考帧和非参考帧图像中的纵坐标相同，横坐标上 存在视差d，从而降低了密集匹配的复杂度，使得本方法只需要在矫正图像的横坐标方向实现密集匹配； 矫正后得到参考帧和非参考帧图像对应的矫正变换矩阵和透视投影矩阵：

[T_r，T_k，M′_r，M′_k]

其中，T_r、T_k表示参考帧图像和第k个非参考帧图像的矫正变换矩阵，M_r′、M_k′表示矫正后的参考帧图 像和第k个非参考帧图像的透视投影矩阵；

根据相机透视成像原理，将步骤S3的稀疏三维点云映射到每帧图像中，并在各帧图像间建立关键点 匹配关联；稀疏三维点云在矫正后的参考帧图像和第k个非参考帧图像间产生关键匹配点，关系如下：

其中，q_r′、q_k′分别表示矫正后的参考帧图像和第k个帧图像上的关键匹配点；Q表示稀疏三维点云中的任 一物体点；

同时采用基于图像块相似性的匹配方法验证上述匹配的准确性，筛选出可靠的关键匹配点；即对上述 由稀疏三维点云在参考帧图像上的产生的匹配点，在第k个非参考帧图像的横坐标方向搜索最大相似点； 所用匹配策略如下：

C(d)＝∑_(x，y)∈s(I′_r(x，y)-I′_k(x-d，y))² (2)

其中，C为匹配图像区域的误差，d是视差，为待求量；S为关键匹配点对应的图像区域，(x，y)为区域S 内点的坐标；I_r′，I_k′分别为矫正后的参考帧图像和第k非参考帧图像的的光强值(即图像的灰度值)；I′_r(x，y) 为点(x，y)在矫正后的参考帧图像上的光强值；因非参考帧图形上的点与其在参考帧图形上对应的点存 在横坐标上的视差d，故以I′_k(x-d，y)表示点(x-d，y)在矫正后的第k个非参考帧上的光强值，使得C 取得最小值的匹配区域所对应的匹配点，即为所求的匹配点；

对于矫正后的参考帧上的关键匹配点q_r′，公式(1)、(2)表示的两种匹配方法所求得的在第k个非参 考帧图像中的匹配点分别为q′_k、q′_k2；则筛选出的可靠匹配为其q′_k中的点在q′_k2中具有像素差异在五个像素 以内的那些；

获得可靠的关键匹配点后，采用薄板样条插值方法(Thin-Plate Spline)进行插值，形成密集匹配； 即在薄板样条插值方法中，参考帧的坐标为基坐标，非参考帧的横坐标为插值目标；从而以该方法获得参 考帧和非参考帧在横坐标上的视差；然后，非参考帧与参考帧建立像素级匹配；最后，将多幅图像中目标 物体的成像统一到参考帧的视角下；所采用的非参考帧到参考帧视角的转换方法如下：

其中，p_r、p_k分别表示参考帧和第k个非参考帧图像上的点；T_r、T_k表示参考帧和第k非参考帧图像 的矫正变换矩阵；d_tps表示矫正后的参考帧和第k个非参考帧图像在横坐标上的视差；

(K3)用光度立体技术求解物体表面法向量：

为了满足朗伯反射模型，首先将各个图像中阴影(低于10)及高光区域(高于250)移除，不在三维 恢复的范围内；然后将各个图像中的目标区域的光强值(即图像的灰度值)进行均匀归一化处理，以统一 图像组的光照强度；在此基础上，对于参考帧上的每一点像素p对应的目标物体点P，采用基于朗伯反射模 型的光度立体模型表示：

E(P)＝ρ(P)n(P)L(P) (3)

其中，E(P)表示物体点P在K幅非参考帧图像下的光照强度集合，为步骤K2得到的已知量；ρ表示目 标物体点P的反照率，为未知量；n(P)表示物体点P在参考帧的相机坐标系下的单位法向量，为未知量；L(P)表示在参考帧的相机坐标系下K幅非参考帧图像中的光照方向的集合，为步骤K1获得的已知量；

采用最小二乘法对公式(3)进行求解，可同时计算得到ρ与n，即求得目标物体的法向信息；

S5.目标物体三维重建：对目标物体高精度地恢复其表面的细节，具体如下：

(A1)首先，采用基于最小二乘法的局部积分方法对目标区域进行法向积分，计算得到像素级的物体 高度H；

(A2)接着，根据稀疏三维点云，将像素级的物体高度H转换为相机坐标系下的深度D：

从步骤S3中的稀疏三维点云中任选一点Q，作为尺度转换参考点；设Q在参考相机坐标系下表示为 (X₀，Y₀，Z₀)、其对应于图像上像素点q，则可实现的光度立体高度转换为：

其中，D为转换后的目标物体的深度，f是相机焦距，h、H分别为步骤A1中得到的q点和目标物体的 像素级高度；

(A3)然后，再根据已知稀疏三维点云，采用平滑薄板样条插值方法获得深度偏差分布，该深度偏差 为步骤A2中得到的深度数据和真实数据间的误差；通过在步骤A2中得到的深度数据上叠加由平滑薄板样 条插值方法得到的深度偏差，得到矫正偏差后的真实深度数据Z_c；

(A4)最后，根据相机透视原理和深度数据Z_c，计算相机坐标系下物体的三维信息；再根据参考帧所 对应相机的位姿信息(即旋转和平移关系)，将估算的三维信息从相机坐标系转换到世界坐标系，即本方 法所需求的物体的真实三维重建；

所述的转换方法如下：

P＝Z_cM^-1p，

其中，P为物体点在世界坐标系下的表示，p为参考帧图像的目标区域内像素点，Z_c为相机坐标系下物体 深度，M为从世界坐标系到参考图像的透视投影矩阵，可由S1中标定得到。

通过以上步骤即完成了在参考帧视角下的三维重建。

所述步骤S1中，所设定的相机参数包括焦距、光圈、曝光时间。

本发明将单个相机与单个光源组成摄像装置用于图像采集。摄像装置的光源和相机的位置相对固定， 其中光源的光照主方向与相机的光轴方向也相对固定。本发明使用所描述的摄像模块，多视角移动状态下， 对目标物体或者场景采集图像。图像采集过程中，光源一直处于开启状态。然后，利用采集的图像序列， 使用本发明所提出的多视角光度立体方法，对图像中的目标物进行三维重建。

本发明的有益效果是，所提出的基于多视角光度立体的移动三维重建方法，实现了在相机移动状态下 完成对目标物体的高精度三维重建。该方法简化了光度立体技术对设备的要求，仅需要一个相机和一个光 源，进而提高了其在实际使用中便携性；同时，本方法充分利用了所获取的相机位姿和点云信息，优化了 匹配等关键部分的计算方法，提高了方法整体的计算速度，从而增强了多视角光度立体方法的实用性，可 进一步用于实时三维重建应用中。

附图说明

图1是本发明方法的流程图。

图2是本发明中多视角光度立体技术原理图。

图3是设备采集示意图

图4是本发明中摄像装置采用相机光源非集成的形态。

图5是本发明中摄像装置采用相机光源集成化的形态。

其中，1光源，2相机，3支架，4壳体。

具体实施方式

本发明提出的一种基于多视角光度立体的移动三维重建方法，所使用的摄像装置存在多种形态，如图 4为非集成形态，使用设备形态光源1和相机2的组合，又如图5为集成形态，使用模块形态光源1和相 机2的组合，而本方法中所拍摄的图像即发明人用个人手机拍摄。

如图1-3，本方法包括如下步骤：

S1.相机2参数标定与光源1标定：首先设定相机2参数使其在拍摄过程中保持不变；标定相机2的内参； 然后标定相机光源1的光照主方向，测得相机2光轴与光源1光路的夹角，并在拍摄过程中保持不变；

S2.图像采集：打开光源1，使其一直处于开启状态，使用相机2对目标物体进行移动多视角拍摄，

即首先将目标物体置于平面，对目标物体进行拍摄；将物体上方或斜上方拍摄的第一帧记为参考帧，以参 考帧的相机光轴为中心，绕轴拍摄K帧图像----记为非参考帧图像组；非参考帧相机光轴与参考帧的相机 光轴的夹角在10-30度之间；选取与参考帧相机光轴垂直的平面作为参考帧垂面，将非参考帧光轴及其在 参考帧垂面上的垂直投影所构成的平面称为光轴平面，并使得每两次拍摄时的光轴平面的夹角在20度至 360/K度之间；对目标物体至少拍摄五帧，即拍摄总数为K+1帧，K+1≥5；

S3.图像预处理：使用运动恢复结构技术(StructurefromMotion)获取每帧的相机位姿，以及目标物体的 稀疏三维点云；

S4.单帧法向估计：结合每帧的相机姿态和已获取的目标物体的稀疏三维点云，基于朗伯反射模型，对参 考帧中有目标物体的区域——简称目标区域每个像素对应的物体点计算其法向信息，具体如下：

(K1)光照转换：将不同视角下的光照方向，统一表示在参考帧的相机坐标系下；

根据已知的每帧图像对应的相机位姿信息，包括每帧图像的旋转矩阵(R₁～R_K+1)和每帧图像的平移 矩阵(t₁～t_K+1)，将每一非参考帧视角下的光照方向l_c转换到参考帧坐标系(R_r，t_r)下，使得：

其中，为光照方向从第k个非参考帧的相机坐标系变换到世界坐标系下的变换矩阵k＝1，...，K； l_k为第k非参考帧图像下的光照在参考帧的相机坐标系中的表示；

(K2)视角转换：将同一物体点在多个视角下对应的像素点进行关联，从而使参考帧的目标区域得以 采用光度立体技术求解物体表面法向量；

参考帧和非参考帧图像间采用双目立体视觉技术两两建立联系；将参考帧和非参考帧图像进行双目图 像矫正，使两图像矫正后的像平面平行，同一物体点在参考帧和非参考帧图像中的纵坐标相同，横坐标上 存在视差d，从而降低了密集匹配的复杂度，使得本方法只需要在矫正图像的横坐标方向实现密集匹配； 矫正后得到参考帧和非参考帧图像对应的矫正变换矩阵和透视投影矩阵：

[T_r，T_k，M′_r，M′_k]

其中，T_r、T_k表示参考帧图像和第k个非参考帧图像的矫正变换矩阵，M_r′、M_k′表示矫正后的参考帧图 像和第k个非参考帧图像的透视投影矩阵；

根据相机透视成像原理，将步骤S3的稀疏三维点云映射到每帧图像中，并在各帧图像间建立关键点 匹配关联；稀疏三维点云在矫正后的参考帧图像和第k个非参考帧图像间产生关键匹配点，关系如下：

其中，q_r′、q_k′分别表示矫正后的参考帧图像和第k个帧图像上的关键匹配点；Q表示稀疏三维点云中的任 一物体点；

同时采用基于图像块相似性的匹配方法验证上述匹配的准确性，筛选出可靠的关键匹配点；即对上述 由稀疏三维点云在参考帧图像上的产生的匹配点，在第k个非参考帧图像的横坐标方向搜索最大相似点； 所用匹配策略如下：

C(d)＝∑_(x，y)∈s(I′_r(x，y)-I′_k(x-d，y))² (2)

其中，C为匹配图像区域的误差，d是视差，为待求量；S为关键匹配点对应的图像区域，(x，y)为区域S 内点的坐标；I_r′，I_k′分别为矫正后的参考帧图像和第k非参考帧图像的的光强值(即图像的灰度值)；I′_r(x，y) 为点(x，y)在矫正后的参考帧图像上的光强值；因非参考帧图形上的点与其在参考帧图形上对应的点存 在横坐标上的视差d，故以I′_k(x-d，y)表示点(x-d，y)在矫正后的第k个非参考帧上的光强值，使得C 取得最小值的匹配区域所对应的匹配点，即为所求的匹配点；

对于矫正后的参考帧上的关键匹配点q_r′，公式(1)、(2)表示的两种匹配方法所求得的在第k个非参 考帧图像中的匹配点分别为q′_k、q′_k2；则筛选出的可靠匹配为其q′_k中的点在q′_k2中具有像素差异在五个像素 以内的那些；

获得可靠的关键匹配点后，采用薄板样条插值方法(Thin-Plate Spline)进行插值，形成密集匹配； 即在薄板样条插值方法中，参考帧的坐标为基坐标，非参考帧的横坐标为插值目标；从而以该方法获得参 考帧和非参考帧在横坐标上的视差；然后，非参考帧与参考帧建立像素级匹配；最后，将多幅图像中目标 物体的成像统一到参考帧的视角下；所采用的非参考帧到参考帧视角的转换方法如下：

其中，p_r、p_k分别表示参考帧和第k个非参考帧图像上的点；T_r、T_k表示参考帧和第k非参考帧图像 的矫正变换矩阵；d_tps表示矫正后的参考帧和第k个非参考帧图像在横坐标上的视差；

(K3)用光度立体技术求解物体表面法向量：

为了满足朗伯反射模型，首先将各个图像中阴影(低于10)及高光区域(高于250)移除，不在三维 恢复的范围内；然后将各个图像中的目标区域的光强值(即图像的灰度值)进行均匀归一化处理，以统一 图像组的光照强度；在此基础上，对于参考帧上的每一点像素p对应的目标物体点P，采用基于朗伯反射模 型的光度立体模型表示：

E(P)＝ρ(P)n(P)L(P) (3)

其中，E(P)表示物体点P在K幅非参考帧图像下的光照强度集合，为步骤K2得到的已知量；ρ表示目 标物体点P的反照率，为未知量；n(P)表示物体点P在参考帧的相机坐标系下的单位法向量，为未知量； L(P)表示在参考帧的相机坐标系下K幅非参考帧图像中的光照方向的集合，为步骤K1获得的已知量；

采用最小二乘法对公式(3)进行求解，可同时计算得到ρ与n，即求得目标物体的法向信息；

S5.目标物体三维重建：对目标物体高精度地恢复其表面的细节，具体如下：

(A1)首先，采用基于最小二乘法的局部积分方法对目标区域进行法向积分，计算得到像素级的物体 高度H；

(A2)接着，根据稀疏三维点云，将像素级的物体高度H转换为相机坐标系下的深度D：

从步骤S3中的稀疏三维点云中任选一点Q，作为尺度转换参考点；设Q在参考相机坐标系下表示为 (X₀，Y₀，Z₀)、其对应于图像上像素点q，则可实现的光度立体高度转换为：

其中，D为转换后的目标物体的深度，f是相机焦距，h、H分别为步骤A1中得到的q点和目标物体的 像素级高度；

(A3)然后，再根据已知稀疏三维点云，采用平滑薄板样条插值方法获得深度偏差分布，该深度偏差 为步骤A2中得到的深度数据和真实数据间的误差；通过在步骤A2中得到的深度数据上叠加由平滑薄板样 条插值方法得到的深度偏差，得到矫正偏差后的真实深度数据Z_c；

(A4)最后，根据相机透视原理和深度数据Z_c，计算相机坐标系下物体的三维信息；再根据参考帧所 对应相机的位姿信息(即旋转和平移关系)，将估算的三维信息从相机坐标系转换到世界坐标系，即本方 法所需求的物体的真实三维重建；

所述的转换方法如下：

P＝Z_cM^-1p，

其中，P为物体点在世界坐标系下的表示，p为参考帧图像的目标区域内像素点，Z_c为相机坐标系下物体 深度，M为从世界坐标系到参考图像的透视投影矩阵，可由S1中标定得到。

通过以上步骤即完成了在参考帧视角下的三维重建。

Claims (2)

1.基于多视角光度立体的移动三维重建方法，其特征是包括以下步骤：

S1.相机参数标定与光源标定：首先设定相机参数使其在拍摄过程中保持不变；标定相机的内参；然后标定相机光源的光照主方向，测得相机光轴与光源光路的夹角，并在拍摄过程中保持不变；

S2.图像采集：打开光源，使其一直处于开启状态，使用相机对目标物体进行移动多视角拍摄，即首先将目标物体置于平面，对目标物体进行拍摄；将物体上方或斜上方拍摄的第一帧记为参考帧，以参考帧的相机光轴为中心，绕轴拍摄K帧图像----记为非参考帧图像组；非参考帧相机光轴与参考帧的相机光轴的夹角在10-30度之间；选取与参考帧相机光轴垂直的平面作为参考帧垂面，将非参考帧光轴及其在参考帧垂面上的垂直投影所构成的平面称为光轴平面，并使得每两次拍摄时的光轴平面的夹角在20度至360/K度之间；对目标物体至少拍摄五帧，即拍摄总数为K+1帧，K+1≥5；

S3.图像预处理：使用运动恢复结构技术(StructurefromMotion)获取每帧的相机位姿，以及目标物体的稀疏三维点云；

S4.单帧法向估计：结合每帧的相机姿态和已获取的目标物体的稀疏三维点云，基于朗伯反射模型，对参考帧中有目标物体的区域——简称目标区域每个像素对应的物体点计算其法向信息，具体如下：

K1)光照转换：将不同视角下的光照方向，统一表示在参考帧的相机坐标系下；

根据已知的每帧图像对应的相机位姿信息，包括每帧图像的旋转矩阵(R₁～R_K+1)和每帧图像的平移矩阵(t₁～t_K+1),将每一非参考帧视角下的光照方向l_c转换到参考帧坐标系(R_r,t_r)下，使得：

其中，为光照方向从第k个非参考帧的相机坐标系变换到世界坐标系下的变换矩阵k＝1,...,K；l_k为第k非参考帧图像下的光照在参考帧的相机坐标系中的表示；

K2)视角转换：将同一物体点在多个视角下对应的像素点进行关联，从而使参考帧的目标区域得以采用光度立体技术求解物体表面法向量；

参考帧和非参考帧图像间采用双目立体视觉技术两两建立联系；将参考帧和非参考帧图像进行双目图像矫正，使两图像矫正后的像平面平行，同一物体点在参考帧和非参考帧图像中的纵坐标相同，横坐标上存在视差d，从而降低了密集匹配的复杂度，使得本方法只需要在矫正图像的横坐标方向实现密集匹配；矫正后得到参考帧和非参考帧图像对应的矫正变换矩阵和透视投影矩阵：

[T_r,T_k,M′_r,M′_k]

其中，T_r、T_k表示参考帧图像和第k个非参考帧图像的矫正变换矩阵，M_r′、M_k′表示矫正后的参考帧图像和第k个非参考帧图像的透视投影矩阵；

根据相机透视成像原理，将步骤S3的稀疏三维点云映射到每帧图像中，并在各帧图像间建立关键点匹配关联；稀疏三维点云在矫正后的参考帧图像和第k个非参考帧图像间产生关键匹配点，关系如下：

其中，q_r′、q_k′分别表示矫正后的参考帧图像和第k个帧图像上的关键匹配点；Q表示稀疏三维点云中的任一物体点；

同时采用基于图像块相似性的匹配方法验证上述匹配的准确性，筛选出可靠的关键匹配点；即对上述由稀疏三维点云在参考帧图像上的产生的匹配点，在第k个非参考帧图像的横坐标方向搜索最大相似点；所用匹配策略如下：

C(d)＝∑_(x,y)∈s(I′_r(x,y)-I′_k(x-d,y))² (2)

其中，C为匹配图像区域的误差，d是视差，为待求量；S为关键匹配点对应的图像区域，(x,y)为区域S内点的坐标；I_r′,I_k′分别为矫正后的参考帧图像和第k非参考帧图像的的光强值(即图像的灰度值)；I′_r(x,y)为点(x，y)在矫正后的参考帧图像上的光强值；因非参考帧图形上的点与其在参考帧图形上对应的点存在横坐标上的视差d，故以I′_k(x-d,y)表示点(x-d，y)在矫正后的第k个非参考帧上的光强值，使得C取得最小值的匹配区域所对应的匹配点，即为所求的匹配点；

对于矫正后的参考帧上的关键匹配点q_r′，公式(1)、(2)表示的两种匹配方法所求得的在第k个非参考帧图像中的匹配点分别为q′_k、q′_k2；则筛选出的可靠匹配为其q′_k中的点在q′_k2中具有像素差异在五个像素以内的那些；

获得可靠的关键匹配点后，采用薄板样条插值方法(Thin-Plate Spline)进行插值，形成密集匹配；即在薄板样条插值方法中，参考帧的坐标为基坐标，非参考帧的横坐标为插值目标；从而以该方法获得参考帧和非参考帧在横坐标上的视差；然后，非参考帧与参考帧建立像素级匹配；最后，将多幅图像中目标物体的成像统一到参考帧的视角下；所采用的非参考帧到参考帧视角的转换方法如下:

其中，p_r、p_k分别表示参考帧和第k个非参考帧图像上的点；T_r、T_k表示参考帧和第k非参考帧图像的矫正变换矩阵；d_tps表示矫正后的参考帧和第k个非参考帧图像在横坐标上的视差；

(K3)用光度立体技术求解物体表面法向量:

为了满足朗伯反射模型，首先将各个图像中阴影(低于10)及高光区域(高于250)移除，不在三维恢复的范围内；然后将各个图像中的目标区域的光强值(即图像的灰度值)进行均匀归一化处理，以统一图像组的光照强度；在此基础上，对于参考帧上的每一点像素p对应的目标物体点P,采用基于朗伯反射模型的光度立体模型表示：

E(P)＝ρ(P)n(P)L(P) (3)

其中，E(P)表示物体点P在K幅非参考帧图像下的光照强度集合，为步骤K2得到的已知量；ρ表示目标物体点P的反照率，为未知量；n(P)表示物体点P在参考帧的相机坐标系下的单位法向量，为未知量；L(P)表示在参考帧的相机坐标系下K幅非参考帧图像中的光照方向的集合，为步骤K1获得的已知量；

采用最小二乘法对公式(3)进行求解，可同时计算得到ρ与n，即求得目标物体的法向信息；

S5.目标物体三维重建：对目标物体高精度地恢复其表面的细节，具体如下:

A1)首先，采用基于最小二乘法的局部积分方法对目标区域进行法向积分，计算得到像素级的物体高度H；

A2)接着，根据稀疏三维点云，将像素级的物体高度H转换为相机坐标系下的深度D：

从步骤S3中的稀疏三维点云中任选一点Q，作为尺度转换参考点；设Q在参考相机坐标系下表示为(X₀,Y₀,Z₀)、其对应于图像上像素点q，则可实现的光度立体高度转换为：

其中，D为转换后的目标物体的深度，f是相机焦距，h、H分别为步骤A1中得到的q点和目标物体的像素级高度；

A3)然后，再根据已知稀疏三维点云，采用平滑薄板样条插值方法获得深度偏差分布，该深度偏差为步骤A2中得到的深度数据和真实数据间的误差；通过在步骤A2中得到的深度数据上叠加由平滑薄板样条插值方法得到的深度偏差，得到矫正偏差后的真实深度数据Z_c；

A4)最后，根据相机透视原理和深度数据Z_c，计算相机坐标系下物体的三维信息；再根据参考帧所对应相机的位姿信息(即旋转和平移关系)，将估算的三维信息从相机坐标系转换到世界坐标系，即本方法所需求的物体的真实三维重建；

所述的转换方法如下：

P＝Z_cM^-1p，

其中，P为物体点在世界坐标系下的表示，p为参考帧图像的目标区域内像素点，Z_c为相机坐标系下物体深度，M为从世界坐标系到参考图像的透视投影矩阵，可由S1中标定得到。

2.如权利要求1所示的方法，其特征是所述步骤S1中，所设定的相机参数包括焦距、光圈、曝光时间。