CN103487926A - 显微视觉检测系统景深扩展装置及方法 - Google Patents

Abstract

提供了一种用于显微视觉检测系统的景深扩展装置和方法，该景深扩展装置主要由光学显微镜、液体透镜及其驱动部分、数字相机构成，其特征在于：在光学显微镜物镜后端面加入液体透镜，通过在相机的一个曝光时间内连续改变液体透镜的屈光度，从而在探测器上获得中间模糊图像，然后利用光场法和直接拍摄方法获取系统的瞬时点扩散函数，并对采集到的模糊图像和点扩散函数进行反卷积运算，最终获得景深扩展后的清晰图像。液体透镜位于显微镜物镜的后端面，使得系统点扩散函数不随物体深度变化，实现了显微视觉检测系统的放大倍数基本不变。该方法实现景深扩展的同时，可保持成像系统放大率不变且可实现一次成像。

Description

显微视觉检测系统景深扩展装置及方法

技术领域

本发明涉及光电检测技术中的视觉检测领域，并且更具体地涉及一种用于显微镜视觉检测系统的景深扩展方法。

背景技术

景深决定着视觉检测系统在光轴方向上能成清晰像的范围，景深越大，在视觉检测系统的光轴方向上能看到的深度范围也就越大。因此，扩展景深是当前视觉检测系统的迫切所需。在视觉检测系统中，放大倍数恒定是一个关键问题，只有放大倍数恒定才能保证检测系统的尺寸当量一致。此外，为了满足实时或在线测量，需要视觉检测系统不仅具有大的景深，还要有恒定的放大倍数，而且能够实现一次成像。

然而，传统的景深扩展方法如浸液镜头等只能获得较低的景深扩展率，无法满足当前视觉检测系统的要求，而变焦距法、变孔径法、离焦法和景深叠加法等方法可以获得超景深的图像，但需要多次采集图像，不适合实时或在线使用。近年来提出了简单改进型、图像复原型、增加元件型和计算成像型等数十种景深扩展方法，虽然可以获得十倍到数十倍的景深扩展率，但这些方法考虑的只是图像的清晰度，而没有考虑系统放大倍数的变化。

因此，为了实现显微视觉检测系统的实时和在线测量，需要一种新的景深扩展技术，该技术不仅可以扩展系统的景深，还可以保证在扩展的景深范围内系统的放大倍数基本不变，并且只需一次成像。

发明内容

考虑到以上问题而做出了本发明。本发明的一个目的是提供一种基于液体透镜和光场法的景深扩展技术，即通过在显微镜系统中加入液体透镜实现景深扩展，该技术能够在获得大景深的同时保持成像系统的放大倍数基本不变，并且实现一次成像。本发明的另外一个目的是提供一种图像复原算法，其中利用光场法和直接拍摄法获得系统的点扩散函数，然后通过反卷积运算复原得到景深扩展后的清晰图像。

根据本发明的一个方面，提供了一种放大倍数基本不变的景深扩展光路系统，该光路系统包括：物镜；液体透镜，液体透镜位于物镜后端面；转接口，连接物镜、液体透镜和镜筒；适配镜和探测器，代替目镜进行图像采集。

根据本发明的另一个方面，提供了一种确定液体透镜安放位置、液体透镜屈光度变化范围和探测器曝光时间的方法，用于保证成像系统放大倍数基本不变。该方法包括：根据几何光学原理和ZEMAX参数优化设计确定液体透镜安放位置；根据成像系统的视场范围确定液体透镜的屈光度变化范围；根据液体透镜屈光度变化响应时间以及成像质量确定探测器曝光时间。

根据本发明的另一个方面，提供了一种转接装置，用于将液体透镜和探测器加入到显微镜系统中，该固定装置包括：转接口，将液体透镜按照光路系统设计中的位置加入到物镜后端面，连接物镜和镜筒；适配镜，连接镜筒和探测器，采用探测器代替目镜进行图像采集。

根据本发明的另一方面，提供了一种快速图像复原算法。该图像复原算法包括：基于光场法计算成像系统的瞬时点扩散函数，累积探测器一个曝光时间得到系统的点扩散函数；利用模拟点光源的方法直接拍摄成像系统的点扩散函数；通过对比两种方法获得的点扩散函数并综合优化，最终确定显微成像系统的点扩散函数，然后采用反卷积运算复原出清晰图像。

根据本发明的另一方面，提供了一种自动采集图像软件。该软件包括：图像采集模块，设置液体透镜屈光度变化范围以及探测器曝光时间，保证液体透镜屈光度随着探测器曝光时间同步变化，实现了一次成像；图像处理模块，根据点扩散函数设计图像复原算法，最终得到景深扩展后的清晰图像。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚，其中：

图1是根据本发明实施例的显微镜系统光路图。

图2是根据本发明实施例的液体透镜转接口。

图3是根据本发明实施例的景深扩展框图。

图4是根据本发明实施例的屈光度和曝光时间变化曲线。

图5是根据本发明实施例的光场分析图。

图6是依照本发明实施例的显微镜系统光场模型。

图7是依照本发明实施例的未加液体透镜显微镜系统的点扩散函数。

图8是依照本发明实施例的加入液体透镜显微镜系统的点扩散函数。

图9是根据本发明实施例的图像复原框图。

图10是依照本发明实施例的图像采集软件模块图。

图11是依照本发明实施例的景深扩展技术流程图。

图12是依照本发明实施例的图像复原算法的流程图。

具体实施方式

下面将参照附图来描述根据本发明的实施例。在附图中，相同的参考标号自始至终表示相同的元件。

参照附图来描述根据本发明实施例的显微镜成像系统光路。

图1示出了根据本发明实施例的显微镜系统光路图。如图1所示，显微镜系统光路10中包括被测物体11，物镜12，液体透镜13，适配镜14和探测器CCD15。液体透镜13放置于物镜12与适配镜14之间，液体透镜13距离物镜12为d，被测物体11与物镜12之间的距离为l₁，物镜l₂与适配镜14之间的距离为L₂，适配镜14的口径为A，它距离探测器CCD15之间的距离为L₃。物镜、液体透镜以及适配镜的焦距分别为f₁'、f₂'和f₃'，由于物体具有一定深度，在探测器CCD15上形成了弥散斑，其直径为b。为了使成像系统的放大倍数基本不变，通过几何光学原理和ZEMAX仿真优化得到d＝0时，成像系统放大倍数变化最小。

图2示出了根据本发明实施例的液体透镜转接口20。如图2所示，液体透镜13位于物镜的后端面，转接口20的作用是固定液体透镜的位置，并将物镜12和液体透镜13连接到镜筒，而不破坏显微镜系统的原始机械结构。图2中21和22均有螺纹，分别用来连接镜筒和物镜，24端面处放置液体透镜，23凹槽用来安放液体透镜连接导线。

其次，简要说明本发明的原理。

本发明利用景深扩展的基本原理。图3是景深扩展原理示意图，显微成像系统景深扩展技术30实现原理为：将液体透镜加入到显微镜系统31中，在探测器的一次曝光时间内，液体透镜的屈光度发生变化，这就导致整个光学成像系统的合成焦距发生变化，当物体具有一定深度时，在探测器探测器平面上得到了中间模糊图像32，然后通过图像复原算法，最终得到景深扩展后的清晰图像33。

下面，详细描述放大倍数基本不变的景深扩展光路设计，其中包括液体透镜安放位置、液体透镜屈光度变化步长与探测器曝光时间的确定方法。

在探测器一个曝光时间内，液体透镜屈光度Φ'₂发生变化，为了得到放大倍数基本不变的景深扩展光路，基于几何光学原理得到显微镜系统的放大倍数β为：

$\mathrm{\β}=\frac{L_3(L_2+d{\mathrm{\Φ}}_2^{\′}-{\mathrm{dL}}_2{\mathrm{\Φ}}_2^{\′})-f_3^{\′}(L_2+L_3+d^2{L}_2{\mathrm{\Φ}}_2^{\′}-{\mathrm{dL}}_3{\mathrm{\Φ}}_2^{\′})-f_1^{\′}(L_3(1+d{\mathrm{\Φ}}_2-L_2{\mathrm{\Φ}}_2)+f_3^{\′}(-1-d{\mathrm{\Φ}}_2+L_2{\mathrm{\Φ}}_2+L_3{\mathrm{\Φ}}_2))}{f_1^{\′}{f}_3^{\′}}$ (1)

利用Matlab进行理论仿真，当d＝0时，显微成像系统放大倍数变化最小。为了进一步确定液体透镜的安放位置，根据显微镜系统的实际参数采用ZEMAX进行仿真，当液体透镜位于物镜的后端面时，成像系统的点扩散函数不随物体深度变化，并且综合像差小。因此，最终确定液体透镜应置于物镜的后端面。

如图4所示，为了实现显微成像系统的一次成像，需要使液体透镜屈光度变化与探测器曝光时间同步，即需控制液体透镜屈光度变化步长以及探测器曝光时间。当液体透镜外加电压发生变化时，液体透镜的屈光度成线性变化。液体透镜屈光度初始值为Φ'₂₀，图像采集过程中液体透镜屈光度Φ'₂可以用变化步长s与探测器曝光时间T表示为：

Φ'₂＝Φ'₂₀+sT  (2)液体透镜在25℃时变化两个屈光度的响应时间大约为70ms，如图1所示，液体透镜13加入到显微镜成像系统中以后，系统信噪比降低，通过延长探测器CCD15的积分时间可以提高系统的信噪比，为了采集到高质量的图像，本实施例中设置探测器CCD15的积分时间T为200ms。

由于显微镜成像系统的视场范围比较小，当大范围改变液体透镜屈光度时，被采集的区域出现在视场范围之外，这就导致物体一部分信息的丢失。选取屈光度变化范围为[-5,-2]m^-1，此时液体透镜屈光度变化步长为s＝0.015m^-1ms^-1

下面，详细介绍利用光场法计算显微成像系统点扩散函数的方法。

首先，简要介绍光场分析的基本理论。

图5示出了光场分析法的示意图，选取待测物体表面坐标系st和孔径光阑平面坐标系uv建立4D光场分析理论。s面上的一点发出一条光线41，在光场坐标uv中就是一点42，依次类推，位于不同深度的平面物体经光学成像系统投射到探测器时，不同深度的表面在光场坐标中表示为不同斜率的线，探测器的积分曲线可表示为图5（b）中的粗线43，当探测器积分曲线与某一深度表面的光场线斜率相同时，表示当前的光学成像系统刚好聚焦在该深度表面上。如果将探测器积分曲线对孔径坐标u积分，就可得到该系统的点扩散函数，如图5（c）所示。

下面，介绍利用光场法建立系统模型，并求解显微镜系统的点扩散函数。

为了求解显微成像系统的点扩散函数，需要对系统基于光场法建模，如图6所示，每个元件所在的平面光场可以用(X,U)来表示，令物平面的光场L_i(x)为脉冲响应函数δ(x)，即L_i(x)＝δ(x)，则探测器平面的光场为：

$L_i\left(x\right)=\mathrm{\δ}((\frac{l_1}{L_3}-\frac{L_2}{L_3}-\frac{l_1{L}_2}{f_1^{\′}{L}_3}-\frac{l_1{L}_2}{f_2^{\′}{L}_3})x+(1+\frac{l_1}{f_1^{\′}}+\frac{l_1}{f_2^{\′}}-\frac{L_2}{f_3^{\′}}-\frac{l_1{L}_2}{f_2^{\′}{f}_3^{\′}}-\frac{l_1}{L_3}+\frac{L_2}{L_3}+\frac{l_1{L}_2}{f_1^{\text{\′}}{L}_3}+\frac{l_1{L}_2}{f_2^{\′}{L}_3})u)---\left(3\right)$

根据脉冲响应函数的性质，得到系统的点扩散函数可以由矩形函数Π(r)表示为：

$\mathrm{PST}(l_1,r)=\frac{4}{{\mathrm{\π}}^2{A}^2{A}_l{L}_3{f}_3^{\′}\left|\mathrm{\Δ}\right|}\mathrm{\Π}\left(\frac{r}{A_l\mathrm{\Δ}}\right)---\left(4\right)$

因此，对探测器的一个曝光时间T积分得到成像系统的点扩散函数为：

$\mathrm{IPSF}(l_1,r)=\underset{0}{\overset{T}{\∫}}\frac{4}{{\mathrm{\π}}^2{A}^2{A}_l{L}_3{f}_3^{\′}\left|\mathrm{\Δ}\right|}\mathrm{\Π}\left(\frac{r}{A_l\mathrm{\Δ}}\right)\mathrm{dt}---\left(5\right)$

图7和图8分别示出了未加液体透镜和加入液体透镜后显微镜系统的点扩散函数，横坐标代表入射到像面上的像素坐标值r，纵坐标表示系统的点扩散函数值。如图7和图8所示，加入液体透镜后的点扩散函数几乎不随物距的改变而改变。

下面，介绍利用直接拍摄法得到显微成像系统的点扩散函数。

在本实施例中，模拟一个点光源，表示冲击函数，将显微成像系统搭建在一个暗室中，在外部噪声达到最小时拍摄该点光源的输出像，此输出像的光场分布为成像系统的点扩散函数。

对比理论计算和实际拍摄得到的点扩散函数，进行算法优化后确定本实施例中的显微镜成像系统的点扩散函数。

图9示出了根据本发明实施例的图像复原框图。在本实施例中，图像复原过程就是利用上一步得到的显微成像系统点扩散函数51，对在探测器一次曝光时间内采集到的模糊图像进行反卷积运算52，最终得到景深扩展后的清晰图像33。

下面介绍该显微成像系统图像采集软件各模块功能。

图10示出了本实施例的图像采集软件各模块实现的功能。该图像采集软件包括图像采集和图像处理两个模块，其中图像采集模块用来设置液体透镜屈光度变化范围以及探测器曝光时间参数，并设计图像采集算法实现屈光度于探测器曝光时间同步。当采集到中间模糊图像之后，在图像处理模块中设计图像复原算法，为了将复原后的大图像显示在基于MFC的图片控件中，添加了一个图像压缩程序，实现扩展后的清晰图像的实时显示，

图11示出了本实施例的图像采集流程。利用探测器采集被测物体的图像，首先对探测器的参数进行初始化。步骤61是设置探测器的曝光时间。设置探测器为扩展曝光模式并支持外部触发。步骤62是开启液体透镜的USB控制，通过USB可以由上位机设置液体透镜的电压值，变化液体透镜的屈光度。当探测器的触发模式已开启时，步骤63中探测器开始曝光，同时液体透镜的屈光度开始变化，探测器可以采集到一系列模糊图像，并将其保存。

图12示出了本实施例的图像复原算法的流程图，利用图像采集软件采集复原中间模糊图像，得到景深扩展后的清晰图像。首先读入一幅在探测器一次曝光时间内采集到的模糊图像，同时读入一幅显微成像系统的点扩散函数图，通过维纳滤波算法对模糊图像和系统的点扩散函数进行反卷积运算，获得复原后的清晰图像。在本实施例中，图像复原过程也包括图像平滑滤波、图像灰度变化等基本图像处理操作。

尽管已经示出和描述了本发明的示例实施例，本领域技术人员应当理解，在不背离权利要求及其等价物中限定的本发明的范围和精神的情况下，可以对这些示例实施例做出各种形式和细节上的变化。

Claims (12)

1.一种用于显微视觉检测系统的景深扩展装置，其特征在于：所述景深扩展装置包括：

显微物镜；

液体透镜，置于物镜的后端面；

液体透镜转接口，连接物镜、液体透镜和显微镜筒；

适配器，连接显微镜筒和探测器；

探测器，用于采集图像；

图像处理系统，用于复原图像。

2.根据权利要求1所述的景深扩展装置，其特征在于：所述液体透镜的安放位置为物镜后端面，可以实现显微镜成像系统放大倍数基本不变。

3.根据权利要求1所述的景深扩展装置液体透镜转接口，其特征在于：所述液体透镜转接口的两端均有螺纹，分别用来连接镜筒和物镜，内部端面处放置液体透镜，有一个凹槽用来安放液体透镜连接导线，不破坏显微镜系统的原始机械结构。

4.根据权利要求1所述的景深扩展装置，其特征在于：所述液体透镜的屈光度由外部电压控制，探测器开始曝光时液体透镜屈光度同步改变，液体透镜屈光度呈线性变化。

5.根据权利要求1所述的景深扩展装置，其特征在于：所述液体透镜的屈光度变化范围为液体透镜屈光度变化能力的部分或全部。

6.根据权利要求1所述的景深扩展装置，其特征在于：所述探测器的曝光时间根据液体透镜屈光度变化范围和采集到的模糊图像质量确定。

7.根据权利要求1所述的景深扩展装置，其特征在于：所述图像处理系统包括：

图像采集模块，设置液体透镜屈光度变化范围以及探测器曝光时间，保证液体透镜屈光度随着探测器曝光时间同步变化，实现了一次成像；

图像处理模块，根据点扩散函数设计图像复原算法，最终得到景深扩展后的清晰图像。

8.一种用于显微视觉检测系统的景深扩展方法：其特征在于：所述景深扩展方法包括：

中间模糊图像获取过程；

和模糊图像复原过程。

9.根据权利要求8所述的景深扩展方法，其特征在于：所述的中间模糊图像获取过程是在探测器的一次曝光时间内实现的，在探测器开始曝光的同时同步控制液体透镜屈光度改变，从而在探测器的探测器平面上获得了中间模糊图像。

10.根据权利要求8所述的景深扩展方法，其特征在于：所述的模糊图像复原过程是对系统的点扩散函数和在探测器一次曝光时间内采集到的中间模糊图像进行反卷积运算，获得超景深的清晰图像。

11.根据权利要求8所述的景深扩展方法，其特征在于：所述的模糊图像复原过程的点扩散函数利用光场法获得，利用光场分析原理计算成像系统的瞬时点扩散函数，累积一个探测器曝光时间即可获得点扩散函数。

12.根据权利要求8所述的景深扩展方法，其特征在于：所述的模糊图像复原过程的点扩散函数利用直接拍摄法获得，模拟一个点光源，在探测器一个曝光时间内改变液体透镜屈光度，最终获得的模糊弥散斑即为点扩散函数。

Images