CN101305899A - 基于振幅型透射光栅投影的三维内窥测量装置和方法 - Google Patents

Abstract

一种基于振幅型透射光栅的光学内窥三维测量装置和方法。该装置结构包括：LED光源，准直透镜，振幅型透射光栅，投影微透镜组，微型面阵CCD图像探测系统，传输线，图像采集卡和计算机，所述计算机包含三维测量信息重建算法和软件。利用振幅型透射光栅作为编码条纹的产生源，将编码条纹传输到测量目标表面得到调制，采集调制后发生变化的光栅条纹，经过计算机图像处理，通过三维面形重构算法，重建测量目标的三维面形分布。本发明能够获得内窥对象的三维面形信息，并具有测量速度快、测量精度高和方法简单的特点。

Description

基于振幅型透射光栅投影的三维内窥测量装置和方法

技术领域

本专利涉及三维内窥测量装置，特别是一种基于振幅型透射光栅投影的三维内窥测量装置和方法。

背景技术

内窥镜是一种光机电相结合的精密仪器，用于观察人眼所不能直接观察到或者不方便观察的体内组织和结构，为医学诊断，特别是微创手术提供科学的诊断信息。从最初的硬管内窥镜到现在的纤维内窥镜以及电子内窥镜，内窥镜的技术发展日臻成熟。

现行的内窥镜，包括纤维内窥镜和电子内窥镜。内窥镜在结构上包括照明系统和图像采集系统。照明系统将光源(常用的如卤素冷光源)产生的照明光束导入待测组织内部，为成像系统提供观察所需的光能量。现行的照明系统多采用非结构光光源照明，照明光源本身不包含任何编码信息。图像采集系统通过导像束或者CCD相机采集待测组织的光场的分布信息，得到待测组织的二维图像。

这种内窥图像所包含的信息反映了待测组织的平面信息，图像处理工作集中在提高现有平面图像的质量(例如，清晰度和彩色图像)和消除由于系统产生的各种像差。法国的J.F.Rey等将内窥镜输出的视频信号采集到计算机中进行图像分析和处理[参见在先技术1：J.F.Rey，etc，al.，Electronic Video Endoscopy：Preliminary Results ofImaging Modification，Endoscopy，Vol.20，1988：8-10]。意大利的S.Guadagni等以电子内窥镜和一台386计算机为核心，研制了电子内窥镜图像处理分析系统[参见在先技术2：S.Guadagni，etc，al.，Imaging in Digestive Videoendoscopy，SPIE，Optic Fibers inMedicine，Vol.1420，1991：178-182]。特别是微型CCD的出现，极大的提高了平面图像所包含的信息质量。这些技术的发展为医学诊断创造了良好的条件。

但是，现行的内窥镜由于光源所包含的信息非常少，只能得到待测组织的平面二维信息，显然在测量过程中丢失了包含物体相对深度和横向尺寸的三维面形分布信息。这种三维面形分布信息的丢失给科学诊断带来了很大的限制。克服这种缺点的方法是采用光学的三维测量技术，这种技术能有效同内窥成像技术进行结合，从而得到测量目标的三维面形分布，提供测量目标的三维面形信息。

光学三维面形测量技术是一类成熟的测量技术，广泛应用于工业测量等领域，具有精度高，速度快以及非接触性测量等优点。基于结构光投影的光学三维面形测量技术采用主动光学三维测量，对光源进行编码，产生结构光源(点，线，光栅条纹等)，利用产生的结构光源照明测量目标。通过测量目标三维表面对照明结构光进行调制的结果，获取测量目标表面面形信息的光场分布。通过图像采集系统采集测量目标表面光场分布，经过三维面型信息解调算法，得到物体的三维面形数据，重建测量目标的三维面形分布。特别的，利用光栅条纹作为结构光的傅立叶变换轮廓术(FTP)，Takeda Mitsuo等于1983年提出此种方法[参见在先技术3：Takeda Mitsuo，Mutoh Kazuhiro，“Fourier transform profilometry for the automatic measurement of 3-Dobject shapes”，Applied Optics，Vol.22，Issue.24，1983]。这种方法利用光栅条纹光场作为结构光源，通过对图像强度分布进行傅立叶变换、滤波、反傅立叶变换、位相展开等图像处理和信息解调算法，得到测量目标的三维面形分布。

一种已知内窥三维测量技术方案基于激光高度扫描技术。但是这种高度扫描系统控制结构复杂，所需时间较长，实施方案繁琐。

周常河，王晓鑫，张军等提出的基于导像束的光栅投影三维测量方法和装置(周常河，王晓鑫，张军等，“基于光栅投影的三维内窥测量装置和方法”，发明专利，申请号200810037012.6)。上述发明中利用导像束作为照明结构光的传输通道，实施中必须考虑到导像束的分辨率匹配，导像束和光路之间的耦合。

发明内容

本发明的目的是要克服上述现有内窥镜输出图像中三维面形信息的丢失的技术问题，提供一种基于振幅型透射光栅的三维内窥测量装置和方法，以获得内窥测量目标的三维面形分布信息，并具有测量速度快、测量精度高和方法简单的特点。

本发明的技术解决方案如下：

一种基于振幅型透射光栅的三维内窥测量装置，其特征在于由发光二极管光源(以下简称为LED光源)、准直透镜组、振幅型透射光栅、投影微透镜组、微型面阵CCD相机、导线、LED光源供电模块、信号传输线、图像采集卡、数据传输线和计算机构成，各部件的连接关系是：所述LED光源电源模块经过所述的导线与所述的LED光源连接，所述的LED光源发出的光束依次经所述的准直透镜、振幅型透射光栅形成和投影微透镜组，照射在待测目标表面，由所述的微型面阵CCD相机采集被待测目标三维面形调制的光栅投影条纹，所述的微型面阵CCD相机经信号传输线、图像采集卡、数据传输线进入所述的计算机，所述计算机具有相应的图像处理和三维面形重构算法和软件，所述的投影微透镜组、振幅型透射光栅、准直透镜组、LED光源和微型面阵CCD相机都集成在一直管套筒之内。

所述的微型面阵CCD相机的光轴和投影微透镜组的光轴之间有一小夹角，该夹角的取值范围为10°～15°。

利用上述基于振幅型透射光栅的三维内窥测量装置进行测量的方法，包括下列步骤：

①采集参考平面上的光栅条纹图像：

测量物体三维面形之前，首先利用所述的微型面阵CCD相机和图像采集卡采集一幅参考平面上的光栅条纹图像，

存储于所述的计算机中；

②采集待测目标上的形变光栅条纹图像：

将所述的微型面阵CCD相机对准待测目标，调整位置，使待测目标在该微型面阵CCD相机上清晰成像，采集待测目标三维面形调制而产生形变的光栅条纹图像

存储于所述的计算机中；

③所述的计算机计算两幅图像位相差，重构待测目标的三维面形：

·采集参考平面条纹图像，对图像进行处理，得到参考平面条纹图像的复数信号： ${\hat{g}}_0(x,y)=A_1{r}_0(x,y)\exp (i2\mathrm{\π}{f}_{0}x+{\mathrm{\φ}}_0(x,y)),$ 并存储在所述的计算机中；

·采集测量目标调制的形变条纹图像，对图像进行处理，得到形变条纹图像复数信号： $\hat{g}(x,y)=A_{1}r(x,y)\exp (i2\mathrm{\π}{f}_{0}x+\mathrm{\φ}(x,y)),$ 存储在所述的计算机中；

·将上述参考条纹图像的复数信号和形变条纹图像的复数信号代入下式进行计算：

得到两幅图像的相对位相差；

·由于计算机计算的反正切值位于[-π，π]，因此相对位相分布存在不连续跃变，要对计算的位相差进行相位展开；

·最后利用

重构出所测目标的三维面形分布，式中：r₀(x，y)、r(x，y)分别表参考平面和待测目标的表面反射率，A_n表示各级傅立叶级数的权重因子，

和

表示条纹图像未经调制和经过调制的位相分布，f₀表示振幅型透射光栅的光栅条纹的基频。

所述的图像处理包括前期图像处理和傅立叶变换、基频滤波、傅立叶逆变换，所述的前期图像处理包括通常的数字图像的中值滤波和均值滤波；图像的几何变换，剪除边缘畸变部分，以防止相位展开中不连续点的扩散；图像的色彩变换，彩色图像向灰度图像的转换，所述的前期图像处理用以提高图像的对比度，减少图像噪声。

所述的参考平面条纹图像的采集、处理一次完成，数据存储在所述的计算机中，可反复使用。

本发明的技术效果：

本发明基于振幅型透射光栅的三维内窥测量装置和方法，将傅立叶变换轮廓术应用于内窥测量，解决扫描部件复杂、控制精度要求高、测量时间长等技术问题。这种测量方法只需要一帧被测量目标高度调制的形变条纹图像就可以计算出物体的三维面形分布。相比现有的内窥镜系统，它能够获得内窥对象的三维高度分布信息，并具有测量速度快、测量精度高和方法简单的特点。同时，本发明还避免了导像束方案存在的分辨率匹配，导像束和光路耦合等问题，结构简单，实施方便。

附图说明

图1是本发明基于振幅型透射光栅的三维内窥测量装置的示意图。

图2是本发明所采用的傅立叶变换轮廓术的原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

先请参阅图1，图1是本发明基于振幅型透射光栅的三维内窥测量装置的示意图。由图可见，本发明基于振幅型透射光栅的三维内窥测量装置，由LED光源5、准直透镜组4、振幅型透射光栅3、投影微透镜组2、微型面阵CCD相机6、导线7、LED光源供电模块8、信号传输线9、图像采集卡10、数据传输线11和计算机12构成，各部件的连接关系是：所述LED光源电源模块8经过导线7与所述的LED光源5连接，所述的LED光源5发出的光束依次经所述的准直透镜4、振幅型透射光栅3和投影微透镜组2，照射在待测目标表面，由所述的微型面阵CCD相机6采集被待测目标三维面形调制的光栅投影条纹，所述的微型面阵CCD相机6经所述的信号传输线9、图像采集卡10、数据传输线11进入计算机12，所述计算机12具有相应的图像处理和三维面形重构算法和软件，所述的投影微透镜组2、振幅型透射光栅3、准直透镜组4、LED光源5和微型面阵CCD相机6都集成在一直管套筒13之内。

本发明的所采用的测量原理即傅立叶变换轮廓术的基本物理原理如下：

参阅图2，图2是本发明所采用的傅立叶变换轮廓术的光路原理图。P1P2表示投影光路的光轴方向，L1L2表示图像采集光路的光轴方向。参考平面S0是一个假想的平面，作为待测平面S1的测量参考。h(x，y)表示在物体表面D点相对参考平面对应坐标处的高度，d表示图像采集光路的入瞳和光栅投影光路之间的距离，当光路结构确定后，d为已知量。L₀表示图像采集光路入瞳和参考平面的距离，同样在系统中为已知量。

没有待测表面时即h(x，y)＝0，在参考平面上，条纹图像为原始的投影条纹，没有形变，其光场分布可以表示为：

当上述原始投影条纹图像投影到待测表面时，待测表面的高度分布h(x，y)≠0，得到形变的条纹图像，其光场分布可以表示为：

其中，r₀(x，y)r₀，r(x，y)表示上述两种情况的非均匀的表面反射，A_n表示各级傅立叶级数的权重因子，和

表示条纹图像未经调制和经过调制两种情况下的位相分布，f₀表示投影条纹的基频。

对(1)式沿x轴进行一维傅立叶变换获得傅立叶频谱，选择合适的滤波函数(常用的滤波函数有矩形窗函数)，对得到的频谱进行滤波，提取基频分量后进行傅立叶反变换，可以得到复数信号：

${\hat{g}}_0(x,y)=A_1{r}_0(x,y)\exp (i2\mathrm{\π}{f}_{0}x+{\mathrm{\φ}}_0(x,y))---\left(3\right)$

对(2)式进行同样的处理，结果得到变形条纹图像的复数信号：

$\hat{g}(x,y)=A_{1}r(x,y)\exp (i2\mathrm{\π}{f}_{0}x+\mathrm{\φ}(x,y))---\left(4\right)$

比较(3)和(4)式，所测物体三维面形调制投影光栅条纹的结果导致复指数项中的位相发生了变化，大小为

另外一个方面，从光路示意图2中，由几何光路可知：

AC/d＝h/(L₀-h)    (7)

由(6)(7)式可以计算待测高度h(x，y)和高度调制导致的位相差

之间的表达关系式：

在具体的测量过程中，通过(5)式从参考条纹图像和受到测量目标高度调制的形变条纹图像中进行差值计算，得到位相差

的数值，然后由(8)式给出高度分布的信息。

利用上述光栅投影的三维内窥测量装置进行测量的方法，包括下列步骤：

①采集参考平面上的条纹分布图样：测量物体三维面形之前，首先利用微型面阵CCD相机和图像采集卡采集一幅参考平面上的光栅条纹图像，存储于计算机中；

②采集测量目标上的形变光栅条纹分布图像：将所述的内窥三维测量装置的微型面阵CCD相机对准被测对象，调整位置，使测量目标在该微型面阵CCD相机上清晰成像，采集待测目标三维面形调制而产生形变的光栅条纹图像，存储于计算机中；

③计算机计算两幅图像位相差，重构所测目标的三维面形：

·采集参考平面条纹图像，并对图像进行处理和分析：利用微型面阵CCD相机拍摄，进行必要的前期图像处理：包括通常的数字图像的中值滤波和均值滤波；图像的几何变换，剪除边缘畸变部分，以防止相位展开中不连续点的扩散；图像的色彩变换，彩色图像向灰度图像的转换。所述的前期图像处理用以提高图像的对比度，减少图像噪声。然后进行傅立叶变换、基频滤波、傅立叶逆变换，得到参考平面条纹图像的复数信号 ${\hat{g}}_0(x,y)=A_1{r}_0(x,y)\exp (i2\mathrm{\π}{f}_{0}x+{\mathrm{\φ}}_0(x,y)),$ 并存储在计算机中；

·采集测量目标调制的形变条纹图像，并对图像进行处理和分析：利用微型面阵CCD相机拍摄测量目标调制的形变条纹图像，进行必要的前期图像处理。包括数字图像滤波技术，中值滤波，均值滤波；图像的几何变换，剪除边缘畸变部分，防止相位展开中不连续点的扩散。图像的色彩变换，彩色图像向灰度图像的转换。所述的前期图像处理用以提高图像的对比度，减少图像噪声。然后进行通常的傅立叶变换、基频滤波、傅立叶逆变换，得到形变条纹图像的复数信号：

$\hat{g}(x,y)=A_{1}r(x,y)\exp (i2\mathrm{\π}{f}_{0}x+\mathrm{\φ}(x,y)),$ 存储在计算机中；

·计算参考条纹图像和受到测量目标面形调制的形变条纹图像包含的信息差值，即相位差值。将上述所存储的参考条纹图像的处理结果和所存储的受到测量目标面形调制的形变条纹图像的处理结果代入下式进行计算：

得到两幅图像的相对位相差；

·由于计算机计算的反正切值位于[-π，π]，因此相对位相分布存在不连续跃变，要对计算的位相差进行相位展开；

·最后利用

重构出所测目标的三维面形分布，

上述式中：r₀(x，y)、r(x，y)分别表参考平面示上述参考平面和所测目标两种情况的非均匀的表面反射率，A_n表示各级傅立叶级数的权重因子，

和表示条纹图像未经调制和经过调制两种情况下的位相分布，f₀表示投影光栅条纹的基频。

下面给出实施例的具体参数：所述的微型面阵CCD相机6和投影微透镜组2所在光轴存在小夹角，由CCD相机(6)视场决定。本实施例中的匹配角度为10°。

特别的，本发明所述的振幅型透射光栅3所用光栅为周期为150μm的铬膜光栅模板，开口比为1∶3。所述LED光源5产生的光束经过准直微透镜4，得到准直特性很好的照明光束，利用所述的振幅型透射光栅3对准直后的光束进行编码调制，得到携带特定编码信息的照明投影条纹。编码后的照明投影条纹经投影微透镜组2照明于测量目标的表面。微型面阵CCD相机6采集被物体表面调制的形变条纹图样，由信号传输线9与图像采集卡10连接，将采集的图像信号经过采集卡数据传输线11传送到计算机12。所述计算机12具有相应的图像处理和三维面形计算重构算法和软件。

采集参考平面上条纹的分布图样。测量目标面形分布之前，首先利用微型面阵CCD相机6和图像采集卡10，由计算机12控制，采集一幅参考平面(高度分布为h(x，y)＝0)上光栅条纹图像，存储在计算机中作为参考平面数据，以便计算相对相位差，提取待测平面与参考平面的相对位置高度。为了可靠地提取三维面形分布信息，所置参考平面与微型面阵CCD相机6的距离和测量目标和微型面阵CCD相机6的距离大致相当。

采集测量目标高度调制的形变条纹图样。将图1中所述的三维内窥测量装置的前端置于被测物体前面，调整位置，使测量目标在微型面阵CCD相机6上清晰成像。通过图像采集卡10采集微型面阵CCD相机6拍摄的测量目标高度调制的条纹图样，存储于计算机12，进行下一步的图像处理。

计算存储于计算机12的参考平面条纹的分布图样和受到测量目标高度调制的形变条纹图样的相位差，重构测量目标表面三维面形分布。为了提高测量的速度，参考平面条纹图像处理可以先行处理，计算数据可以先行存储在计算机12中。对CCD相机采集的图像，进行必要的前期图像处理。包括数字图像滤波技术，中值滤波，均值滤波；图像的几何变换，剪除边缘畸变部分，防止相位展开中不连续点的扩散。图像的色彩变换，彩色图像向灰度图像的转换。所述的前期图像处理用以提高图像的对比度，减少图像噪声。进行傅立叶变化、滤波、反傅立叶变换，将处理的结果存储在计算机12中。受到测量目标高度调制的形变条纹图样经过同样的图像处理和分析过程，计算的结果和已存储的参考条纹图像的处理结果进行如下的数学计算：

得到相对的相位差值。由于计算机计算的反正切值位于[-π，π]，相邻象素间的相位存在不连续，因此需要对所述的相对相位差的计算结果进行相位展开。计算机程序从展开的相位中重构待测目标高度分布，依据公式

计算出测量目标的三维分布图。

本发明所述的基于振幅型透射光栅的光学内窥三维测量装置，具有操作方便，测量速度快，实施简单，测量精度高等优点，利用计算机处理信息，可以高速动态监控，具有重要的实用价值和前景。

Claims (5)

1、一种基于振幅型透射光栅的三维内窥测量装置，其特征在于由LED光源(5)、准直透镜组(4)、振幅型透射光栅(3)、投影微透镜组(2)、微型面阵CCD相机(6)、导线(7)、LED光源供电模块(8)、信号传输线(9)、图像采集卡(10)、数据传输线(11)和计算机(12)构成，各部件的连接关系是：所述LED光源电源模块(8)经过导线(7)与所述的LED光源(5)连接，所述的LED光源(5)发出的光束依次经所述的准直透镜(4)和振幅型透射光栅(3)形成和投影微透镜组(2)，照射在待测目标表面，由所述的微型面阵CCD相机(6)采集被待测目标三维面形调制的光栅投影条纹，所述的微型面阵CCD相机(6)经信号传输线(9)、图像采集卡(10)、数据传输线(11)进入计算机(12)，所述计算机(10)具有相应的图像处理和三维面形重构算法和软件，所述的投影微透镜组(2)、振幅型透射光栅(3)、准直透镜组(4)、LED光源(5)和微型面阵CCD相机(6)都集成在一直管套筒(13)之内。

2、根据权利要求1所述的基于振幅型透射光栅的三维内窥测量装置，其特征在于所述的微型面阵CCD相机(6)的光轴和投影微透镜组(2)的光轴之间有一小夹角，该夹角的取值范围为10°～15°。

3、利用权利要求1所述的基于振幅型透射光栅的三维内窥测量装置的测量方法，包括下列步骤：

①采集参考平面上的光栅条纹图像：

测量物体三维面形之前，首先利用微型面阵CCD相机(6)和图像采集卡(10)采集一幅参考平面上的光栅条纹图像，

存储于所述的计算机(12)中；

②采集待测目标上的形变光栅条纹图像：

将所述的微型面阵CCD相机(6)对准待测目标，调整位置，使待测目标在该微型面阵CCD相机(6)上清晰成像，采集待测目标三维面形调制而产生形变的光栅条纹图像存储于所述的计算机(12)中；

③所述的计算机(12)计算两幅图像位相差，重构待测目标的三维面形：

·采集参考平面条纹图像，对图像进行处理，得到参考平面条纹图像的复数信号：

${\hat{g}}_0(x,y)=A_1{r}_0(x,y)\exp (i2\mathrm{\π}{f}_{0}x+{\mathrm{\φ}}_0(x,y)),$ 并存储在所述的计算机(12)中；

·采集测量目标调制的形变条纹图像，对图像进行处理，得到形变条纹图像复数信号：

$\hat{g}(x,y)=A_{1}r(x,y)\exp (i2\mathrm{\π}{f}_{0}x+\mathrm{\φ}(x,y)),$ 存储在所述的计算机(12)中；

·将上述参考条纹图像的复数信号和形变条纹图像的复数信号代入下式进行计算：

得到两幅图像的相对位相差；

·由于计算机计算的反正切值位于[-π，π]，因此相对位相分布存在不连续跃变，要对计算的位相差进行相位展开；

·最后利用重构出所测目标的三维面形分布，

式中：r₀(x，y)、r(x，y)分别表参考平面和待测目标的表面反射率，A_n表示各级傅立叶级数的权重因子，

和

表示条纹图像未经调制和经过调制的位相分布，f₀表示振幅型透射光栅的光栅条纹的基频。

4、根据权利要求3所述的测量方法，其特征在于所述的图像处理包括前期图像处理和傅立叶变换、基频滤波、傅立叶逆变换，所述的前期图像处理包括通常的数字图像的中值滤波和均值滤波；图像的几何变换，剪除边缘畸变部分，以防止相位展开中不连续点的扩散；图像的色彩变换，彩色图像向灰度图像的转换，所述的前期图像处理用以提高图像的对比度，减少图像噪声。

5、根据权利要求3所述的测量方法，其特征在于所述的参考平面条纹图像的采集、处理一次完成，数据存储在所述的计算机(12)中，反复使用。

Images