CN108332684A - 一种基于结构光照明显微技术的三维轮廓测量方法 - Google Patents

Abstract

本发明公开一种基于结构光照明显微技术(Structured Illumination Microscopy，SIM)的三维轮廓测量方法，其具体包括以下步骤：步骤一，利用三维面形测量方法获得被测量物体的三维面型分布点云数据；步骤二，利用结构光照明方法获得被测量物体的二维平面图像；步骤三，对步骤二获得的二维平面图像进行边缘提取处理，得到被测量物体的超分辨边缘轮廓；步骤四，将步骤一得到的三维面型分布点云数据和步骤三得到的物体的边缘轮廓进行融合，获得边缘轮廓准确的三维面型点云图像。本发明将三维面形测量方法与SIM技术相结合，可以准确获得被测物体的三维边缘信息，可有效弥补的当前3D面型测量技术的缺陷。

Description

一种基于结构光照明显微技术的三维轮廓测量方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于结构光照明显微技术的三维轮廓测量方法。

背景技术

随着计算机技术和计算机图形学的快速发展，光学非接触三维轮廓测量方法被深入研究和广泛应用。三维面形测量(即三维物体表面轮廓测量)是获取物体形态特征的一种重要手段，也是记录、比较、复制物体形态特征的基础。三维面形测量技术在机器视觉、自动加工、工业检测、产品质量控制、实物仿形、生物和医学等领域具有重要意义和广阔的应用前景。

传统的三维面形测量的基本方法主要有：（1）飞行时间法；（2）莫尔条纹法；（3）激光三角测量法；（4）傅里叶变换轮廓术；（5）相位测量轮廓术；（6）空间相位检测法等。

在上述方法中，相位测量轮廓术(Phase Measurement Profilometry, PMP)由于速度较快，精度较高，已发展成为用于复杂物体三维面形测量最主要的手段之一。

基于相位法的结构光三维测量技术已经成为目前三维测量的主要趋势。利用结构光可以简单、快速并且精确地对被测物体进行三维测量和重建。然而，该技术仍然存在无法测量有锋利边缘或突变特征物体、测量盲区导致无法完全提取面形数据、测量数据需要人为修补以及多目视觉测量时数据拼接技术不成熟等难题。其中，如何实现对边沿锋利或存在突变物体的精确测量是该技术面临的最大难点之一。利用传统测量方法获得的重构图像，在物体边缘或突变区域往往存在信息缺失，导致获得的三维轮廓边缘失真（如图7（a）所示，边缘凹凸不平），与真实的轮廓边缘（如图7（b）所示，边缘光滑平整）不符，严重限制该技术的应用范围。

发明内容

为了解决上述技术问题，本发明提出了一种基于结构光照明显微技术的三维轮廓测量方法。

为了达到上述目的，本发明的技术方案如下：

一种基于结构光照明显微技术的三维轮廓测量方法，具体包括以下步骤：

步骤一，利用三维面形测量方法获得被测量物体的三维面型分布点云数据；

步骤二，利用结构光照明方法获得被测量物体的二维平面图像；

步骤三，对步骤二获得的二维平面图像进行图像处理，得到被测量物体的超分辨边缘轮廓；

步骤四，将步骤一得到的三维面型分布点云数据和步骤三得到的物体的边缘轮廓进行融合，获得边缘轮廓准确的三维面型点云图像。

本发明提出一种基于结构光照明显微技术的三维轮廓测量方法，上述的结构光照明方法即为结构光照明荧光显微术（Structured Illumination Microscopy，SIM）。本发明将三维面形测量方法与SIM技术相结合，可以准确获得被测物体的三维边缘信息，有效弥补的当前传统测量方案的技术缺陷。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，在步骤一中，三维面形测量方法可以为以下一种或多种方法：飞行时间法、莫尔条纹法、激光三角测量法、傅立叶变换轮廓法、相位测量轮廓法以及空间相位检测法。

采用上述优选的方案，本发明主要是将结构光照明方法与现有的三维面形测量方法进行结合，其范围广，可以有效弥补现有三维面形测量方法存在的缺陷。

作为优选的方案，在步骤一中，当三维面形测量方法为相位测量轮廓法时，结构光照明方法与三维面形测量方法共用同一组光学仪器进行测量。

采用上述优选的方案，结构简单，成本低，无需再重新构建光学仪器。

作为优选的方案，光学仪器具体包括：投影仪以及相机，投影仪和相机安装于多维度调整架上，投影仪和相机均可实现多个自由度上的调整。

采用上述优选的方案，结构简单，成本低，安装便捷。其中相机可以为工业CCD相机。

作为优选的方案，在步骤一中，当三维面形测量方法为相位测量轮廓法时，步骤一具体为：将光学仪器切换呈PMP成像模式，利用投影仪投射相位满足多步移相算法的结构光条纹图像，并利用相机同步采集被测量物体的三维轮廓分布。

采用上述优选的方案，操作简单，可以有效采集被测量物体的三维轮廓分布。

作为优选的方案，在步骤一中，当三维面形测量方法为相位测量轮廓法时，步骤二具体为：将光学仪器切换呈SIM成像模式，利用投影仪投射相位和方向角满足SIM超分辨重构算法的结构光条纹图像，利用相机同步采集获得多张原始图像，利用图像重构算法对上述原始图像进行处理，重建获得被测物体对应的二维平面图像。

采用上述优选的方案，可以有效获得被测物体对应的二维平面图像。

作为优选的方案，在步骤一中，多步移相算法可以为以下的一种或多种：三步移相法、四步移相法、五步移相法以及六步移相法。

采用上述优选的方案，根据具体情形，选择合适的某一种多步移相算法进行运算。

作为优选的方案，三维轮廓测量方法还包括以下步骤：

步骤五，对步骤四获得的三维面型点云数据进行算法外推和曲面拟合，补齐因步骤一导致的边缘缺失，得到被测量物体的准确三维轮廓分布。

采用上述优选的方案，可以得到更为精准的三维轮廓分布。

作为优选的方案，步骤三主要对步骤二获得的二维平面图像进行二值化处理以及边缘提取处理，从而准确获得被测量物体的边缘轮廓。

采用上述优选的方案，可以获得被测量物体更准确的边缘轮廓。

附图说明

图1为相位测量轮廓法采用的光学仪器结构图。

图2为SIM技术原理图；

图2(a)为莫尔效应产生莫尔条纹图；

图2(b)传统宽场成像技术探测图像频谱范围图；

图2(c)单方向照明的SIM图像频谱范围图；

图2(d)三方向角照明的SIM频谱范围图。

图3为投影的三个方向角（分别为0度、60度和120度）和三个相位（0度、120度和240度）的9张正弦分布的照明结构光条纹图像。

图4为传统宽场成像与SIM成像对比图；

图4(a)为传统成像技术获得图像频谱图；

图4(b)为 SIM成像获得图像频谱图；

图4(c)为传统成像技术获得时域图；

图4(d)为SIM成像获得时域图；

图4(e)为图4 (c)中A部局部放大图；

图4(f)为图4(d)中B部局部放大图。

图5为本发明实施例提供的基于结构光照明显微技术的三维轮廓测量方法采用的光学仪器结构图。

图6为本发明实施例提供的示意图；

图6(a)为由PMP模式获得的被测物体的三维轮廓分布图；

图6(b)为由SIM模式获得高分辨图像提取的被测物体准确的边缘分布图；

图6(c)为SIM模式结果与PMP模式结果融合，获得边缘分布准确的三维轮廓。

图7(a)为采用三维面形测量方法获得的被测物体的边缘示意图；

图7(b)为被测物体的真实边缘示意图。

其中：1投影仪、2相机、3物体。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，一种基于结构光照明显微技术的三维轮廓测量方法的其中一些实施例中，一种基于结构光照明显微技术的三维轮廓测量方法，具体包括以下步骤：

步骤一，利用三维面形测量方法获得被测量物体的三维面型分布点云数据；

步骤二，利用结构光照明方法获得被测量物体的二维平面图像；

步骤三，对步骤二获得的二维平面图像进行图像处理，得到被测量物体的超分辨边缘轮廓；

步骤四，将步骤一得到的三维面型分布点云数据和步骤三得到的物体的边缘轮廓进行融合，获得边缘轮廓准确的三维面型点云图像。

本发明提出一种基于结构光照明显微技术的三维轮廓测量方法，上述的结构光照明方法即为结构光照明荧光显微术（Structured Illumination Microscopy，SIM）。本发明将三维面形测量方法与SIM技术相结合，可以准确获得被测物体的三维边缘信息，提高被测物体边缘轮廓的检测精度，有效弥补的当前传统测量方案的技术缺陷。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤一中，当三维面形测量方法为相位测量轮廓法时，结构光照明方法与三维面形测量方法共用同一组光学仪器进行测量。

采用上述优选的方案，结构简单，成本低，无需再重新构建光学仪器。

进一步，光学仪器具体包括：投影仪1以及相机2，投影仪1和相机2安装于多维度调整架上，投影仪和相机均可实现三个自由度上的调整。

采用上述优选的方案，结构简单，成本低，安装便捷。其中相机可以为工业CCD相机。

为了更好的说明本发明的技术效果，下面对相位测量轮廓法和SIM方法进行描述。

相位测量轮廓法采用的光学仪器结构如图1所示，投影仪1和工业CCD相机2被安装在多维度调整架上，可分别对投影仪1和工业CCD相机2的高度和俯仰进行三自由度高精度调整，并且可以独立调整它们之间的距离。其中，投影仪1光轴SJ和工业CCD相机2光轴EO都垂直于参考平面R，投影仪与摄像机的连线SE平行于参考平面，距离参考平面L，参考平面上的光栅频率为f₀。当未放置被测物体时，入射光线SC与参考平面交于点C，相机上观察到的相位为；当有物体3时，入射光线就交物体表面于点A，此时A点的相位相当于直接入射在参考平面上D点的相位，；因此，由物体3高度产生的光栅相位调制，。由几何关系易得，根据相似三角形定理可得物体高度h：

(1)

从而可计算得：

(2)

式中：L和d为系统参数，通过系统标定即可准确获得；相位和被测物体高度h是一一映射的。只要测得了位相的分布，即可获得被测物体的三维轮廓信息。

基于上述原理，相位测量轮廓方法的基本思想就是通过采集多张具有一定相位差的条纹图，利用多步移相算法进行相位提取，当前，绝大多数PMP测量系统主要利用三步相移法，四步相移法，五步相移法和六步相移法进行位相提取。

这里，以四步移相算法为例进行算法说明。

四步移相法对应的移相步长分别为0，π/2，π，3π/2，此时获得的变形条纹分别为：

(3)

对式(3)整理可得变形条纹相位分布为：

(4)

上式子相求解采用反正切函数进行相位主值的运算，因此求得的相位主值被包裹在反正切函数的值域(-π,π)之间，通过解包裹运行进行相位展开即可求得真实相位。最后，利用式（2）的相位-高度映射关系即可重建出被测物体三维轮廓。

然而，当被测量物体的存在锋利边缘，或局部存在剧烈突变时，通常无法获得完整的变形条纹，导致上述位置处对应的位相信息丢失，无法获得准确的面形高度分布。

目前，基于PMP原理的结构光三维轮廓测量系统已普遍商用，产品繁多，如基恩士、卡尔蔡司等皆推出各自的商用产品。然而，当前几乎所有的基于PMP原理的三维面型测量系统面临的一个共性问题是无法准确获取被测物体的边缘信息。大多商业化产品采用外推法数据拟合的手段对上述边缘信息进行修复，其结果常因欠拟合或过度拟合而导致测量结果不准。

结构光照明荧光显微术（Structured Illumination Microscopy，SIM）是一种可突破阿贝衍射极限的宽场显微成像技术，因其非侵入、成像速度快及光损伤小等优点已经被广泛应用于生物医学研究中。该技术利用强度正弦调制的结构光照明被观测物体产生“莫尔效应”，将原本不在远场空间传播的高频信息编码到低频图像中，通过图像重构算法解码出高频成分实现分辨率提高。从光学系统成像过程看，采集到的原始图像可表述为：

(5)

式中，为被观测物体，为照明光场，为成像光学系统点扩散函数，为探测器噪声，代表卷积运算。对于线性SIM技术而言，发射光场强度与照明光场强度成正比，通常采用正弦分布的结构光场照明被观测物体：

(6)

式中，和分别为结构光空间频率和初始相位。将式(6)带入式(5)并进行傅里叶变换可得：

(7)

式中，为荧光频谱图像，为被观测物体频谱，为成像光学系统传递函数，为噪声谱。其中右边第一项代表普通宽场显微频谱，另两项相对于第一项分别平移了k₀，相当于系统将大于截止频率k_c的高频成分编码到光学传递函数低频区域。为分析简单令：，，，则有：

(8)

其中，为原始图像频谱，为不同位相值。

通常采集三个方向、三个不同相位共9张原始图像带入上述方程组进行联立求解将三个谐波项（、和）分离开；对两频谱项和平移解码出高频信息并拼接到的高频区域，最后基于为纳滤波即可重构出高分辨图像。

图2所示为SIM技术基本原理示意。图2a)所示为莫尔效应产生莫尔条纹图，显示出了莫尔效应调制产生高频信息。图2b)所示为普通宽场成像技术可探测图像频谱范围。图2c)-d)为线性SIM频谱拓展示意，具体为，图2c)所示为单方向照明的SIM图像频谱范围，图2d)所示为三方向角照明的SIM频谱范围。

图3所示为投影的三个方向角（分别为0度、60度和120度）和三个相位（0度、120度和240度）的9张正弦分布的照明结构光条纹图像。

图4所示为传统宽场成像与SIM成像对比。(a)、(c)、(e)分别代表传统成像技术获得图像频谱图、时域图及A部局部放大图；(b)、(d)、(f)分别代表SIM成像获得图像频谱图、时域图及B部局部放大图。

对线性SIM技术而言，其重构出的超分辨图像横向分辨率较传统宽场成像技术提高约1倍左右。

本发明利用如图5所示的光学仪器进行测量。当三维面形测量方法为相位测量轮廓法时，本发明的步骤可具体为：

步骤一，将光学仪器切换呈PMP成像模式，利用投影仪1投射相位满足四步移相算法的结构光条纹图像，并利用CCD相机2同步采集被测量物体的三维轮廓分布，如图6（a）。

步骤二，将光学仪器切换呈SIM成像模式，利用投影仪1投射相位和方向角满足SIM超分辨重构算法的结构光条纹图像，利用CCD相机2同步采集获得9张原始图像，利用图像重构算法对上述原始图像进行处理，重建获得被测物体对应的二维平面图像，如图6（b）。

步骤三，对步骤二获得的二维平面图像进行边缘提取处理，得到被测量物体的超分辨边缘轮廓；

步骤四，将步骤一得到的三维图像和步骤三得到的物体的边缘轮廓进行融合，得到被测量物体的三维轮廓信息，如图6（c）。

从图6可以发现，本发明将PMP技术与SIM技术相结合后，可以准确获得被测物体的三维边缘信息，提高被测物体边缘轮廓的检测精度。

在上述步骤一中，多步移相算法也可以为三步移相法，或五步移相法，或六步移相法，或其他多步移相算法，根据具体情形选择。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，三维轮廓测量方法还包括以下步骤：

步骤五，对步骤四获得的三维面型点云数据进行算法外推和曲面拟合，补齐因步骤一导致的边缘缺失，得到被测量物体的准确三维轮廓分布。

采用上述优选的方案，当采集的被测量物体的三维轮廓的边缘锋利或突变位置存在缺失信息时，通过拟合算法进行修补，可以得到更为精准的三维轮廓分布。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤三主要对步骤二获得的二维平面图像进行二值化处理以及边缘提取处理，从而准确获得被测量物体的边缘轮廓。

采用上述优选的方案，可以获得被测量物体更准确的边缘轮廓。

本发明公开一种基于结构光照明显微技术的三维轮廓测量方法，可实现对边缘锋利或存在突变物体的三维轮廓精确、快速测量，可为工业检测、军事和医疗等领域的机器视觉任务提供一种更加准确可靠的测量手段。

值得注意的是，本发明利用三维面形测量方法得到三维图形，利用SIM方法得到二维平面图，对该高分辨率的二维平面图进行简单的图像处理，再将两者进行融合，可以有效得到物体的三维轮廓分布，精度得到很大的提高。

在现有技术中，本领域的技术人员在不经过创造性思维的前提下，难以想到将结构光照明方法与三维面形测量方法进行结合，并产生了意想不到的有益效果。

同时，上述实施例以相位测量轮廓法为例进行描述，其二者的光学仪器可以共用，无需再设置其他的设备，更节约成本。而上述实施例仅是为了更好的展现本发明的技术内容及技术效果，本发明并不仅仅局限于相位测量轮廓法，其他的三维面形测量方法（如：飞行时间法、莫尔条纹法、激光三角测量法、傅立叶变换轮廓法以及空间相位检测法）与结构光照明方法的结合来实现三维轮廓的测量也属于本发明的保护范围。

对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于结构光照明显微技术的三维轮廓测量方法，其特征在于，具体包括以下步骤：

步骤一，利用三维面形测量方法获得被测量物体的三维面型分布点云数据；

步骤二，利用结构光照明方法获得被测量物体的二维平面图像；

步骤三，对所述步骤二获得的二维平面图像进行图像处理，得到被测量物体的超分辨边缘轮廓；

步骤四，将所述步骤一得到的三维面型分布点云数据和所述步骤三得到的物体的边缘轮廓进行融合，获得边缘轮廓准确的三维面型点云图像。

2.根据权利要求1所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，在所述步骤一中，所述三维面形测量方法可以为以下一种或多种方法：飞行时间法、莫尔条纹法、激光三角测量法、傅立叶变换轮廓法、相位测量轮廓法以及空间相位检测法。

3.根据权利要求2所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，在所述步骤一中，当所述三维面形测量方法为相位测量轮廓法时，所述结构光照明方法与所述三维面形测量方法共用同一组光学仪器进行测量。

4.根据权利要求3所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，所述光学仪器具体包括：投影仪以及相机，所述投影仪和所述相机安装于多维度调整架上，所述投影仪和所述相机均可实现多个自由度上的调整。

5.根据权利要求4所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，在所述步骤一中，当所述三维面形测量方法为相位测量轮廓法时，所述步骤一具体为：将所述光学仪器切换呈PMP成像模式，利用所述投影仪投射相位满足多步移相算法的结构光条纹图像，并利用所述相机同步采集被测量物体的三维轮廓分布。

6.根据权利要求5所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，在所述步骤一中，当所述三维面形测量方法为相位测量轮廓法时，所述步骤二具体为：将所述光学仪器切换呈SIM成像模式，利用所述投影仪投射相位和方向角满足SIM超分辨重构算法的结构光条纹图像，利用所述相机同步采集获得多张原始图像，利用图像重构算法对上述原始图像进行处理，重建获得被测物体对应的二维平面图像。

7.根据权利要求5或6所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，在所述步骤一中，所述多步移相算法可以为以下的一种或多种：三步移相法、四步移相法、五步移相法以及六步移相法。

8.根据权利要求1-6任一项所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，所述三维轮廓测量方法还包括以下步骤：

步骤五，对所述步骤四获得的三维面型点云数据进行算法外推和曲面拟合，补齐因所述步骤一导致的边缘缺失，得到被测量物体的准确三维轮廓分布。

9.根据权利要求1-6任一项所述的基于结构光照明显微技术的三维轮廓测量方法，其特征在于，所述步骤三主要对所述步骤二获得的二维平面图像进行二值化处理以及边缘提取处理，从而准确获得被测量物体的超分辨边缘轮廓。