CN103606181A - 一种显微三维重构方法 - Google Patents

Abstract

一种显微三维重构方法，在数字显微镜光路中添加可用电压控制焦距的液体透镜，通过且利用其作为变焦元件，对被观察物体的连续深度范围内进行一系列聚焦，拍摄一系列连续的局部聚焦图片，局部聚焦图像之间的高度差可事先通过液体透镜的标定得到。利用三维重建算法将被测量物体的三维信息从这一系列图像中提取出来，得到物体的三维模型，并将通过图像融合得到二维清晰图像作为纹理贴到三维模型上，完成对物体的三维重构。本发明可以有效解决显微光学系统由于景深过短而在二维方向上观察物体的局限。

Description

一种显微三维重构方法

技术领域

本发明设计光电检测技术中的显微视觉领域，并且更具体地涉及一种获取显微三维重构模型的装置及方法。 

背景技术

光学显微镜由于景深过短，在观察物体的深度信息时存在限制，当物体表面存在凹凸不平时，若显微镜的景深短，则拍摄到的物体的图像局部就会模糊不清，因此传统的三维重建方法比如双目视觉三维重构、结构光三维重构无法适用于显微三维重构。 

利用精密升降台控制被观察物体或者显微镜镜头上下移动，并同时拍摄物体图像和记录每幅图像所对应的高度，后期利用三维重构算法恢复出三维物貌信息可以实现三维重构，但该种方法受到精密升降台的精度与速度限制，同时系统相对复杂。 

液体透镜是一种基于电湿效应原理的新型光学透镜，通过改变加在其两端电极上的电压可迅速精确的改变其焦距，因此可利用其置于显微光路中代替电动精密升降台，由于液体透镜响应快和稳定，可提高自动对焦系统的速度和精度，同时液体透镜体积小，可轻便的将其引入现成的显微成像光学系统中。 

发明内容

本发明的技术解决问题：在不损失显微成像系统分辨率的基础上，保持系统轻便性的同时，实现三维显微重构。 

本发明的技术方案是：本发明由光学显微镜、相机、液体透镜及其驱动部分、计算机以及超景深成像软件构成。为了保持放大率不变，经过ZEMAX光学软件对成像系统的放大率进行仿真，计算得到当液体透镜位于显微物镜的后端面时放大率不变，因此特意设计转接件将 其固定在显微物镜的后端面，然后通过改变液体透镜的驱动电压来改变整个光学系统的对焦位置。这样我们在拍摄连续的图像序列时，连续的以一定电压步长改变液体透镜驱动电压，可以拍摄一个物体在不同深度的聚焦图像，利用之前对液体透镜的标定得到每幅图像对应的物体深度，然后运用三维重构方法从这些局部聚焦图像中得到物体的三维模型。 

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚，其中： 

图1是根据本发明实施例的方法流程图。 

图2是根据本发明实施例的显微镜系统光路图。 

图3是根据本发明实施例的液体透镜转接口。 

图4是根据本发明实施例的液体透镜原理框图。 

图5是根据本发明实施例的液体透镜的驱动电压和对应光学显微镜清晰成像的物平面深度标定曲线图。 

具体实施方式

下面将参照附图来描述根据本发明的实施例。在附图中，相同的参考标号自始至终表示相同的元件。 

参照附图来描述根据本发明实施例的显微镜成像系统光路。 

图1示出了根据本发明实施例的显微镜系统光路图。如图1所示，显微镜系统光路10中包括被测物体11，物镜12，液体透镜13，适配镜14和探测器CCD15。液体透镜13放置于物镜12与适配镜14之间。 

图2示出了本发明实施例的方法流程图，通过利用液体透镜作为变焦元件，对被观察物体的连续深度范围内进行一系列聚焦，拍摄一系列连续的局部聚焦图片，利用三维重建算法将被测量物体的三维信息从这一系列图像中提取出来，得到物体的三维模型， 

图3示出了根据本发明实施例的液体透镜转接口30。如图2所示，转接头由两部分31、32构成，31下部螺纹与32上部螺纹可连接 起来，并将液体透镜至于其内固定，31上部可通过螺纹和转接镜连接，32下部可通过螺纹与物镜相连接，同时32侧面开的槽可放置液体透镜的驱动线。 

其次，简要说明本发明的原理。 

首先简要介绍液体透镜的原理及特性。液体变焦透镜是基于电湿效应原理的一种新型光学透镜。图4出了液体透镜的工作原理图，液体透镜包含两种液体，一种为导电液体，另一种为绝缘液体，两种液体互不浸润且有一定的折射率差。两种液体装在内壁镀有透明电极的容器中，透明电极的表面沉淀一层疏水介电层，这样，就在两层液体之间形成两个接触角和接触面。当在导电液体和内壁透明电极之间施加电压后，导电液体与电极间电场改变，从而使得接触角和接触面的形状发生改变，液体透镜的焦距也就发生改变。液体变焦透镜技术目前已基本成熟，已有市场化产品，国内有代理，并且价格也较低，一个液体变焦透镜大约几百元。利用液体透镜的可变焦特性，将其加入数字显微成像系统中，当液体透镜的驱动电压发生变化时，则其焦距也发生变化，根据双透镜焦距合成公式，可知整个显微系统的合成焦距发生变化，因此显微成像系统所能够清晰成像的物平面距离也发生变化，因此液体透镜的驱动电压和加入液体透镜的数字显微系统的工作距离具有一一对应的关系， 

在进行三维重构之前，需要对液体透镜引入光学系统后的驱动电压和对应的聚焦深度曲线进行标定，该曲线可经过计算得到，在本发明中，我们采用实验的方法得到液体透镜的驱动电压和对应的聚焦深度曲线。 

标定过程如下：首先我们规定液体透镜的初始驱动电压，在标定过程中，我们以液体透镜的驱动电压作为自变量，令其在一定范围内以一定为步长进行变化，在每一个驱动电压下利用精密电动升降台进行被动对焦，并记录对焦完毕后的精密电动升降台的位置，图5示出了液体透镜的驱动电压-聚焦深度标定结果图。我们利用得到的数据，对其进行拟合，便可得到聚焦深度y和液体透镜驱动电压x的关系： 

y＝ax²+bx+c    （1） 

用该函数拟合曲线的R平方值大于或等于0.9995，表明该标定曲线和所测得的数据吻合度很高。 

同时还需要对显微系统进行摄像机标定，标定过程再次不赘述。 

然后便可通过液体透镜变焦将其聚焦于被观察物体上部，拍摄图像，以一定的步长增大液体透镜驱动电压，并拍摄图像，直到拍摄的图像覆盖液体透镜的深度范围。在该过程中，需要注意液体透镜驱动电压的步长必须足够小以保证相邻两幅局部聚焦图像具有重合的部分，这样才不会导致拍摄过程中信息的缺失。 

接着介绍一下如何从这些拍摄的各个深度上局部聚焦的图像得到物体的三维模型。本发明中，我们采用的是Shape-from-Focus算法，首先利用改进的拉普拉斯算子对图像进行处理来得到图像每个像素点的聚焦评价值。 

$\mathrm{ML}(x,y)=\begin{array}{c}|2f(x,y)-f(x-s,y)-f(x+s,y)|\\ +|2f(x,y)-f(x,y-s)-f(x,y+s)|\end{array}---\left(2\right)$

s为可变步长，在实际应用中我们可通过改变s的大小来适应不同的被观察物体纹理尺寸。 

每幅图像都需要通过公式（1）计算得到一幅新的图像，新图像的每个像素点的值表示原图中每个点在（2s+1）*（2s+1）邻域中的聚焦评价值，然后对全部处理后的图像进行比较，找到每个像素的最大的聚焦评价值所在的原图及其对应的液体透镜驱动电压，并由上文中提到的驱动电压-聚焦深度函数关系得到其对应的聚焦深度值，由此，每个像素点的聚焦深度都可得到，物体的大致深度信息便可得到。 

在拍摄一系列聚焦图像时，由于液体透镜的驱动电压是离散变化的，因此得到的深度图成阶梯状而不光滑，最终得到的深度在较大概率上并不位于聚焦评价曲线的极值上。因此为了获得较为精确的深度图，我们用高斯函数拟合聚焦评价曲线，并得到聚焦评价极值所在深度与其两侧离散聚焦评价值的关系如下： 

$\stackrel{\‾}{d}=\frac{({\ln F}_m-{\ln F}_{m+1})(d_m^2-d_{m-1}^2)}{2\mathrm{\Δd}\{({\ln F}_m-\ln F_{m-1})+({\ln F}_m-\ln F_{m+1})\}}---\left(3\right)$

$-\frac{({\ln F}_m-\ln F_{m-1})(d_m^2-d_{m+1}^2)}{2\mathrm{\Δd}\{({\ln F}_m-\ln F_{m-1})+({\ln F}_m-{\ln F}_{m+1})\}}$

其中F_m表示点（x,y）所对应的最大聚焦评价函数值，F_m-1和F_m+1分别表示最大聚焦评价函数值对应图像前一幅和后一幅图像在点（x,y）的自动聚焦评价函数值，d_m、d_m-1和d_m+1分别表示对应图像拍摄时聚焦部分的深度，Δd为相邻两幅图像之间聚焦部分的深度差，则插值后的深度可由上式计算而得。 

我们可以利用之前对显微成像系统的标定结果得到每个像素点所对应的x-y平面上的世界坐标，由此可得到物体的三维点坐标。 

对拍摄的一系列图像进行图像融合，得到一幅全聚焦的清晰图像，作为物体三维重构的纹理图，至此我们便可利用物体的三维点坐标和该纹理图进行进行物体的三维显示，三维重构完成。 

尽管已经示出和描述了本发明的示例实施例，本领域技术人员应当理解，在不背离权利要求及其等价物中限定的本发明的范围和精神的情况下，可以对这些示例实施例做出各种形式和细节上的变化。 

Claims (3)

1.一种显微三维重构方法，其特征在于：将液体透镜引入光学显微镜光路中作为变焦元件，通过改变其驱动电压改变液体透镜焦距来控制整个显微成像系统的聚焦深度，对液体透镜的驱动电压连续以一定的步长变化来对物体的各个深度部分成像拍摄一系列局部聚焦图像，并通过三维重构算法恢复出物体的三维结构。

2.根据权利要求1所述的显微三维重构方法，其特征在于：通过改变液体透镜的驱动电压，来改变其焦距，进而改变整个光学显微镜系统的焦距，对静止的物体不同深度成像，来获取一系列分别在不同深度聚焦的局部聚焦图像。

3.根据权利要求1所述的显微三维重构方法，其特征在于：对拍摄的一系列局部聚焦图像通过三维重构算法恢复出被观察物体的三维信息。

Images