CN102519391B - 基于弱饱和二维图像的物体表面三维立体图像重建方法 - Google Patents

Abstract

本发明公开了一种基于弱饱和二维图像的物体表面三维立体图像重建方法。本发明方法包括：利用一光源在至少三个不同位置分别对待重建物体表面进行照射，并利用一位置固定的摄像装置分别对待重建物体表面进行拍摄，得到一组对比度小于400：1的对应于不同光源照射位置的弱饱和二维图像；建立三维立体坐标系；利用采集到的二维图像信息，并结合参数化的光照模型，获得待重建物体表面的三维立体信息；根据重建物体表面的三维立体信息，重建出三维坐标系下的静态高度立体模型并显示为三维立体图像。本发明还对三维立体图像进行区域化分块滤波去噪处理。本发明具有简便易行、重建图像清晰逼真的优点，尤其适用于微纳尺度物体的表面三维图像重建。

Description

基于弱饱和二维图像的物体表面三维立体图像重建方法

技术领域

本发明涉及一种物体表面三维立体图像重建方法，尤其涉及一种基于弱饱和二维图像的物体表面三维立体图像重建方法，属于光电子学和集成光学技术领域。

背景技术

随着光子集成技术的飞速发展，光纤通信已成为现代通信的主要技术支柱之一，光子芯片技术也逐渐走向成熟。使得封装技术必然得到高度重视,而光子集成芯片制造并不是一件容易的事情，光子器件具有三维结构，比二维结构的半导体集成要复杂得多。因而对光子芯片与光纤对准耦合的要求也越来越高，尤其需要一种有效易行的光子芯片三维表面重构方法。

在目前光子芯片与光纤耦合、对准、封装中多是使用到显微镜通过人眼来观察或通过摄像机电子设备成像来观察。其系统架构复杂、庞大、成本高，而且不能得到目标对象其它角度的全方位图像，不利于精确地耦合对准。

经对现有技术的文献检索发现，基于二维图像的三维重构主要应用于大型场景的恢复，对微纳尺寸物体的三维立体重构还没有较简单有效的表面重构方法。

总之，目前需要本领域技术人员迫切解决的一个技术问题就是，如何提供一个简单易行，且恢复出的三维效果较为逼真的微纳尺寸物体表面重构方法。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于弱饱和二维图像的物体表面三维立体图像重建方法，该方法简便易行，重建出的图像效果逼真，尤其适合于微纳尺度物体的表面三维重建。

本发明具体采用以下技术方案解决上述技术问题：

一种基于弱饱和二维图像的物体表面三维立体图像重建方法，包括以下步骤：

步骤A、利用一光源在至少三个不同位置分别对待重建物体表面进行照射，并利用一位置固定的摄像装置分别对待重建物体表面进行拍摄，得到一组对比度小于400：1的对应于不同光源照射位置的弱饱和二维图像；所述各不同位置距待重建物体表面的距离相等，且其中至少有三个位置满足以下条件：入射光线与物体表面法线的夹角和相应摄像装置镜头轴线与入射光线两者在待重建物体表面平面上的投影之间的夹角分别大于、小于和等于180°；

步骤B、根据实验场景建立三维立体坐标系；利用采集到的二维图像信息，并结合参数化的光照模型，获得待重建物体表面的三维立体信息；

步骤C、根据重建物体表面的三维立体信息，重建出三维坐标系下的静态高度立体模型并显示为三维立体图像。

进一步地，所述步骤C之后还包括对重建出的三维立体图像进行校正的步骤D，具体如下：

首先将三维立体图像分割为一系列平行于坐标系的矩形区域；然后将分割出的各矩形区域分别填充为同一灰度值，各矩形区域所填充的灰度值根据相邻未填充区域的灰度值确定。

优选地，所述将三维立体图像分割为一系列平行于坐标系的矩形区域，利用gen_rectangle1算子实现；所述将分割出的各矩形区域分别填充为同一灰度值，利用paint_region算子实现。

与现有技术相比，本发明具有如下有益效果：

利用光度立体基于光照模型的方法实现了对目标物体表面的三维重建，通过获得同一目标物体不同光照条件下的二维图像，将多幅图像融合之后，直接恢复出其三维表面形貌，达到或接近扫描电镜图，并揭示出二维图片隐藏的信息，很大程度上简化了观察和照明系统构成、降低了系统成本。

附图说明

图1为光子芯片表面三维图像重建时的照明和成像光路示意图，其中，坐标系为XOZ，PLC代表芯片，Rib waveguide代表脊波导平面光路，Facet代表芯片端面，Normal代表芯片表面法向，Viewer代表观察方向，用观察角e表征；illumination代表照明方向，第k个入射光线角度用入射角i_k和入射投影角θ_k组成的数组（i_k,θ_k）表征；

图2为物体表面高度坐标为z(x,y)的任一点在梯度空间(p,q)中的不同反射比曲线；

图3为入射光线角度（55°,185°）时拍摄的二维图像；

图4为入射光线角度（29°,175°）时拍摄的二维图像；

图5为入射光线角度（70°,180°）时拍摄的二维图像；

图6为入射光线角度（64°,190°）时拍摄的二维图像；

图7为入射光线角度（38°,171°）时拍摄的二维图像；

图8为入射光线角度（80°,180°）时拍摄的二维图像；

图9为入射光线角度（55°,179°）时拍摄的二维图像；

图10为最终显示的光子芯片表面三维立体图；

图11为光子芯片表面扫描电镜图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明方法特别适用于微纳尺度物体的表面三维图像重建，下面就以微纳尺度的光子芯片为例，来进一步对本发明的技术方案进行说明。

本发明方法中涉及的各项参数如下表1所示：

表1

本发明的基于弱饱和二维图像的物体表面三维立体图像重建方法，包括以下步骤：

步骤A、利用一光源在至少三个不同位置分别对待重建物体表面进行照射，并利用一位置固定的摄像装置分别对待重建物体表面进行拍摄，得到一组对比度小于400：1的对应于不同光源照射位置的弱饱和二维图像；所述各不同位置距待重建物体表面的距离相等，且其中至少有三个位置满足以下条件：入射光线与物体表面法线的夹角和相应摄像装置镜头轴线与入射光线两者在待重建物体表面平面上的投影之间的夹角分别大于、小于和等于180°。

首先，调整入射光源位置和摄像机焦距，入射光线投射到物体上，经目标物体反射后被摄像机接受，最终使得摄像机能清晰的拍摄到目标物体。在此基础上，逐渐调整摄像机的放大倍数（直至达到需要的放大倍率），并微调摄像机的焦距，调整光源入射角度，始终保持摄像机拍摄到的目标物体表面清晰。固定成像角度，取相机成像观察角为e（相机与光子芯片法线的夹角）；将摄像机焦点对焦在所需要重构的位置（本具体实施方式是针对微纳尺寸的目标物体，对其进行三维图像重建时采用放大倍数在2000倍左右的摄像机）。

为简便起见，本具体实施方式中以摄像机对焦的焦点处为坐标原点，取半径为r的半球面，在此半球面上调整入射光源的角度，在不同入射光线下，由于漫反射使得摄像机可以拍摄到目标物体在相同位置、不同光照角度下的弱饱和二维图像。

同一光源改变光照角度获得不同图像，如图1所示，源入射角记为i_k（入射光线与光子芯片法线的夹角）、摄像机镜头轴线与入射光线两者在光子芯片波导平面上的投影之间的夹角记为θ_k。从信息融合的完备性、正交性出发，修正光度立体算法要求入射角i_k、入射投影角θ_k和观察角e满足：

0°<i_k<90°,k=1,2,3......

0°<e<90°

180°<θ₁<270°

90°<θ₂<180°

θ₃=180°

90°<θ_l<270°,l=4,5,6......

重构至少需三个照明角度（入射角i₁、i₂、i₃和相应投影角θ₁、θ₂、θ₃）分别大于、小于和等于180°，也就是相对于脊波导端面至少有正面和两个侧面的不同照明，才能保证信息的完备性。

其次，拍摄时要注意选择合适对比度CR的图片，对比度既不能太低，也不能使有用信息过饱和，也即要求的对比度小于400：1的弱饱和二维图像。图3-图9分别为7个不同入射光线角度下采集的原始二维弱饱和图像数据，（i，θ）值分别为（55°,185°）、（29°,175°）、（70°,180°）、（64°,190°）、（38°,171°）、（80°,180°）、（55°,179°）。

步骤B、根据实验场景建立三维立体坐标系；利用采集到的二维图像信息，并结合参数化的光照模型，获得待重建物体表面的三维立体信息。

为简便起见，以摄像机镜头对焦的焦点为原点，取摄像机镜头轴线在光子芯片波导平面上的投影方向为X轴正方向，在光子芯片波导平面上逆时针方向90度位置取为Y轴正方向，按右手法则确定Z轴正方向，由此建立出三维坐标系。在该坐标系下，即可确定入射光线的空间入射角度。采集到的弱饱和图像中，光照方向、阴影的位置即可得到确定。

所述利用采集到的二维图像信息，并结合参数化的光照模型，获得待重建物体表面的三维立体信息，其基本原理及过程如下：

记R₁、R₂、R₃为物体表面任一点高度坐标为z(x,y)在梯度空间(p,q)中的不同反射比曲线，（p_s,q_s）为光源方向。其中

$R_i(p,q)=\frac{R_0(1+{\mathrm{pp}}_{s_i}+{\mathrm{qq}}_{s_i})}{{(1+p^2+q^2)}^{1/2}{(1+{p_{s_i}}^2+{q_{s_i}}^2)}^{1/2}},i=\mathrm{1,2,3}......$

表面一点的方向梯度为：

$p=\frac{\&PartialD;z}{\&PartialD;x},q=\frac{\&PartialD;z}{\&PartialD;y}$

光度立体的基本思想是尽量减少目标物体表面一点在梯度空间的可能位置，R₀作为该点的绝对反射率，是图像中的一个恒定亮度值，它使得表面方向在梯度空间中被限制为一个锥形截面曲线，也即反射比曲线。不同光照下表面一点的表观反射比在（p，q）空间为一封闭曲线，指明了表面方向。不同照明点L_i打到物体表面，得到不同的反射比R_i(p,q)曲线。若照明点L₃不在由照明点L₁、L₂及物点Z(x,y)所唯一确定的平面中，则三条反射比曲线唯一交于一点（p，q）（如图2所示），由此可求出唯一的绝对反射率R₀，由点（p，q）恢复出物点的高度坐标z(x，y)。

绝对反射率R₀的计算如下：

物体表面辐照度矢量E，摄像机和光源照明角度关系矩阵记为V，Vi为照明点L_i和相机的空间矢量关系，n为物体表面的法线方向即物体的表面朝向，则：

E=R₀Vn

其中

E=(E₁,E₂,E₃)^T

$V=\left(\begin{array}{c}{V}_1^T\\ V_2^T\\ V_3^T\end{array}\right)$

由于矢量V₁、V₂、V₃不共面，所以V是非奇异矩阵，则可以得出绝对反射率R₀和n分别为：

R₀=|V^-1E|

n=V^-1E/R₀

绘制反射比曲线时，光源方向L和法线方向n相同时R_i=1，光源方向L垂直于法线方向n时R_i下降为0。

由求得光子芯片表面各点的高度坐标z(x,y)可以唯一的确定出各点在空间中的位置，结合表面朝向n可以将物体表面较为平滑的显示出来。

步骤C、根据重建物体表面的三维立体信息，重建出三维坐标系下的静态高度立体模型并显示为三维立体图像。

根据朗伯表面反射特性，由图像灰度信息的平滑变化恢复出目标物体表面朝向，从而恢复出较粗糙的目标物体的三维立体图。例如可以利用现有的基于光度立体算法的Halcon软件实现。但由于此时的立体图只是恢复出一个初步的三维模型，其边缘、端面等部分由于白噪声等的影响参差不齐。为了使最终得到的三维立体图像更清晰逼真，本发明进一步对步骤C得到的初步的三维立体图像进行区域化分块滤波去噪处理，即执行步骤D：首先将三维立体图像分割为一系列平行于坐标系的矩形区域；然后将分割出的各矩形区域分别填充为同一灰度值，各矩形区域所填充的灰度值根据相邻未填充区域的灰度值确定。

具体的处理过程如下：由于非均匀照明和倾斜角度成像的离焦会造成波导表面轮廓的几何失真，光子芯片实体在同一水平面的部分，在高度图中却是弧形平滑下降的。对高度图中的这部分灰度值不均匀的区域，需要进行滤波去噪处理后使其灰度值被修正为一定值。而芯片实体其边缘或切槽处是较为粗糙的表面，由于材料反射特性和光照角度的原因，其在高度图中的显示误差会比较大，统一的滤波去噪处理并不能很好的恢复出真实场景。由于是边缘、切槽部位，所以将其本身的粗糙表面滤波去噪平滑处理后再添加噪声以恢复原貌。其中，算子gen_rectangle1用于计算出一个平行于坐标系的矩形区域，而算子paint_region将选定的区域以一个恒定的灰度值绘制到图像中，经过灰度值恒定处理后，最终出来的三维立体图，其各位置处的高度在相同的平面都是相等的。修正时，需要一个区域、一个区域地分别修复，参照未修复部分灰度值的比例进行修正，以保证修正工作不至于失真。经过步骤D处理后最终得到的光子芯片表面三维立体图如图10所示，其基本达到光子芯片表面的扫描电镜图（参见图11），并揭示出二维图片隐藏的信息（图3至图9中粗糙的台阶表面）。

Claims (4)

1.一种基于弱饱和二维图像的物体表面三维立体图像重建方法，其特征在于，包括以下步骤：

步骤A、利用一光源在至少三个不同位置分别对待重建物体表面进行照射，并利用一位置固定的摄像装置分别对待重建物体表面进行拍摄，得到一组对比度小于400：1的对应于不同光源照射位置的弱饱和二维图像；所述各不同位置距待重建物体表面的距离相等，且其中至少有三个位置满足以下条件：入射光线与物体表面法线的夹角和相应摄像装置镜头轴线与入射光线两者在待重建物体表面平面上的投影之间的夹角分别大于、小于和等于180°；

步骤B、根据实验场景建立三维立体坐标系；利用采集到的二维图像信息，并结合参数化的光照模型，获得待重建物体表面的三维立体信息；

步骤C、根据待重建物体表面的三维立体信息，重建出三维坐标系下的静态高度立体模型并显示为三维立体图像。

2.如权利要求1所述基于弱饱和二维图像的物体表面三维立体图像重建方法，其特征在于，所述步骤C之后还包括对重建出的三维立体图像进行校正的步骤D，具体如下：

首先将三维立体图像分割为一系列平行于坐标系的矩形区域；然后将分割出的各矩形区域分别填充为同一灰度值，各矩形区域所填充的灰度值根据相邻未填充区域的灰度值确定。

3.如权利要求2所述基于弱饱和二维图像的物体表面三维立体图像重建方法，其特征在于，所述将三维立体图像分割为一系列平行于坐标系的矩形区域，利用gen_rectangle1算子实现；所述将分割出的各矩形区域分别填充为同一灰度值，利用paint_region算子实现。

4.如权利要求1-3任一项所述基于弱饱和二维图像的物体表面三维立体图像重建方法，其特征在于，所述物体为微纳尺度物体，所述摄像装置具有与物体尺度相适应的放大倍数。

Images