CN103411533A - 结构光自适应多次曝光法 - Google Patents

Abstract

一种三维测量领域的结构光自适应多次曝光拍摄法。利用已拍摄结构光条纹图像的质量参数来自动确定下一次拍摄的曝光时间，并判断拍摄何时结束。具体方法是计算结构光条纹图像上位置的质量参数值，用来判断这些位置是否达到理想的曝光质量，并确定下一次拍摄的曝光时间，通过条纹的低质量参数的像素比例判断拍摄是否结束，最后将不同曝光时间下的高质量参数的图像进行数据拼接。本发明可有效克服焊缝表面复杂状况对结构光条纹图像的干扰，获取清晰可靠且无局部数据缺失的结构光条纹图像，从而提高三维测量的精确度和稳定性。

Description

结构光自适应多次曝光法

技术领域

本发明涉及的是一种三维测量领域的图像拍摄方法，具体是一种提高结构光图像拍摄质量的自适应多次曝光方法。

背景技术

基于结构光的三维视觉测量技术具有非接触式、检测精度高、动态响应快等特点，因而广泛应用于工业生产的各个行业中。结构光视觉检测中，被测物体表面的结构光图像是反映目标物体三维形貌的信息源，结构光图像的质量直接关系到三维测量数据的可靠性与精确度。但是，由于被测物体表面材质反光特性的不均匀，以及复杂的轮廓结构都会造成结构光条纹的粗细不均，局部信息丢失、灰度变化强烈、噪声较多等问题，影响三维测量的计算精度、可靠性与稳定性。

根据对现有文献的检索，在Proceedings of the SPIE，2009，Vol.7066上刊登了“High dynamic range scanning technique”一文，在《工具技术》，2011，Vol.45，No.3上刊登了“基于结构光技术的高光表面三维测量方法”一文。两者都介绍了结构光条纹图像的多次曝光法，具体做法是以不同的曝光时间拍摄一组图像，从每一幅图像中选择高质量像素，并将选择结果拼合成一张完整的图像。但是它们介绍的方法具有两个不足之处：1）仅凭经验值判断一幅图像中哪些像素点满足图像处理的要求，没有定量的判断标准。2）每幅图像的曝光时间是预先设置的，无法自适应地调整拍摄的曝光时间。

发明内容

本发明针对现有技术的不足，提供一种结构光自适应多次曝光法，采用质量参数作为衡量结构光条纹图像局部质量优劣的一个指标，条纹图像上某个位置的质量参数的数值高，意味着条纹在这个位置具有合适的亮度，没有数据缺失或数据变异；解决了现有技术中仅凭经验值判断一幅图像中哪些像素点满足图像处理的要求，没有定量的判断标准的问题。可有效克服被测物体表面复杂状况对结构光条纹成像的干扰，获取清晰可靠且无局部数据缺失的结构光图像。

本发明提供的结构光自适应多次曝光法，将质量参数作为反馈值指导下一幅图像的曝光时间的选择，可以自适应地调整拍摄的曝光时间，减少条纹图像的冗余，可以尽可能地减小拍摄次数，提高三维测量的实时性。

本发明是通过以下技术方案实现的，利用图像传感器以自适应多次曝光流程拍摄一组曝光时间不同的条纹图像，最后将不同曝光时间下拍摄的条纹图像进行数据拼接。

本发明提供的结构光自适应多次曝光法，包括如下步骤：

步骤一：选取并设置自适应多次曝光法的参数：质量参数阈值T、初始曝光时间t_max、曝光时间调节步长△t以及合格采样比阈值K；

步骤二：以初始曝光时间t_max为曝光时间拍摄条纹图像，计算条纹图像上每个位置的质量参数，记录当前的剩余位置，其中剩余位置是指质量参数小于所述质量参数阈值T的位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则进行步骤三；

步骤三：以曝光时间调节步长△t为步长逐渐减小曝光时间，直到满足第一曝光条件，获取当前曝光时间下的条纹图像；在当前曝光时间下的条纹图像中，对步骤二中记录的剩余位置中的每个位置，计算质量参数，记录当前的剩余位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则进行步骤四；以及

步骤四：以曝光时间调节步长△t为步长逐渐增大曝光时间，直到满足第二曝光条件，获取当前曝光时间下的条纹图像；在当前曝光时间下的条纹图像中，对步骤三中记录的剩余位置中的每个位置，计算质量参数，记录当前的剩余位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则重复步骤三；

其中，所述第一曝光条件是：在当前曝光时间下拍摄的条纹图像中，在上一个步骤中记录的剩余位置中，平均灰度最大的位置的质量参数大于所述质量参数阈值T；

所述第二曝光条件是：在当前曝光时间下拍摄的条纹图像中，在上一个步骤中记录的剩余位置中，平均灰度最小的位置的质量参数大于所述质量参数阈值T；

所述停止拍摄条件是：当前合格采样比大于所述合格采样比阈值K。

采用本发明提供的结构光自适应多次曝光法，质量参数阈值T是衡量结构光条纹图像局部质量优劣的一个指标，条纹图像上某个位置的质量参数的数值高，意味着条纹在这个位置具有合适的亮度，没有数据缺失或数据变异；因而克服了现有结构光多次曝光技术中，判断一幅图像中哪些像素点满足图像处理的要求，没有定量的判断标准的问题；对条纹图像的局部“过亮”和“过暗”进行量化的评判指标，从而保证获取的结构光条纹图像的质量，有效克服焊缝表面复杂状况对结构光条纹图像的干扰，获取清晰可靠且无局部数据缺失的结构光条纹图像，从而提高三维测量的精确度和稳定性。

采用本发明提供的结构光自适应多次曝光法，将质量参数作为反馈值指导下一幅图像的曝光时间的选择，减少条纹图像的冗余；随着拍摄次数的增加，所获得图像中质量参数小于质量参数阈值T的区域不断缩小；这样可以尽可能地减小拍摄次数，提高三维测量的实时性。

进一步地，步骤1中选取所述初始曝光时间t_max满足：在初始曝光时间t_max下获取的条纹图像上的每个位置中，平均灰度最小的位置的质量参数大于质量参数阈值T。

用质量参数阈值T来选取初始曝光时间t_max，可以进一步减少拍摄次数，提高三维测量的实时性。

进一步地，质量参数的计算方法是，将条纹图像上一个位置的截面灰度值按高斯模型进行拟合；并积分求和，得到条纹截面能量和；将能量和减去条纹的基底噪声，得到该位置的条纹质量参数。

进一步地，条纹的基底噪声的计算方法是，以条纹的一个位置拟合出的高斯模型的中心点向左和向右各扩展条纹截面的宽度范围内的灰度值之和。

进一步地，计算当前合格采样比方法是：计算当前曝光时间下的条纹图像的不合格采样比，等于记录的质量参数小于所述质量参数阈值T的位置个数与条纹图像上所有位置个数的比值；用1减去当前曝光时间下的条纹图像的不合格采样比，获得当前合格采样比。

本发明还提供一种图像拼接方法，用于将如权利要求1所述的方法获得的条纹图像进行拼接，所述方法包括：

步骤一：在不同曝光时间下获得的各幅结构光条纹图像中，选取质量参数大于质量参数阈值T的位置；

步骤二：获取所述位置的中心点坐标；

步骤三：将所述位置的中心点放置在同一幅图像中，得到一幅显示条纹位置中心点的完整图像。

将质量参数高的条纹位置用于最终的数据拼接，可以确保剔除数据缺失和曝光过度的条纹位置，并确保拍摄的一系列图像能覆盖整段结构光条纹数据；使得拼合的图像质量高、精度高，从而保证三维测量的计算精度、可靠性与稳定性。

本发明针对结构光视觉检测中，由于被测物体的表面特性和轮廓结构造成的条纹粗细不均，局部条纹缺失、灰度变化剧烈、噪声较多等问题，提出一种多次曝光的方法来提高图像的采集质量。在多次曝光的过程中，引入条纹质量评价机制用于判断局部位置的曝光质量是否达到理想要求，并设计了一套自适应确定下次曝光时间和判断曝光是否结束的方法。

本发明可以有效提高三维测量的效率和稳定性，适合于在高速自动化三维测量产品中使用，具有极大的市场前景。

附图说明

图1为本发明自适应多次曝光法的流程图；

图2为采用激光器和相机获取角焊缝表面结构光图像的示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，但本发明的保护范围不限于下述的实施例。

采用如图2所示的方式获取角焊缝表面的结构光图像。结构光即激光，激光器2发射出一字形激光，照射到焊缝3表面，CCD相机1以自适应多次曝光法获取焊缝3表面的结构光条纹图像。激光器2发出的扇形光面与焊缝3的筋板4和底板5垂直，CCD相机1的光轴与激光器2的扇形光面成α角，在本实施例中，α角为45度角。

在本实施例中，自适应多次曝光法按照图1所示的流程进行，参数设置如下：质量参数阈值T=2000，初始曝光时间t_max=42ms，曝光时间调节步长△t=8ms，合格采样比阈值K=96%。

质量参数阈值T，曝光时间调节步长△t，合格采样比阈值K这三个参数可根据经验值选取。一般来说，T和K的值越大，则获取的结构光条纹图像质量越好，但所需的曝光次数也越多。质量参数，是本发明中衡量结构光条纹图像局部质量优劣的一个指标，条纹某个位置的质量参数的数值高，意味着条纹在这个位置具有合适的亮度，没有数据缺失或数据变异。

初始曝光时间t_max也可以根据经验值选取。

优选地，选取初始曝光时间t_max满足：在该曝光时间下获得的条纹图像中，条纹的平均灰度最小的位置上的质量参数大于质量参数阈值T。用质量参数阈值T来选取初始曝光时间t_max，可以进一步减少拍摄次数，提高三维测量的实时性。

在不同的曝光时间下，获取结构光条纹图像，并计算条纹中每个位置的平均灰度值和质量参数，质量参数大于质量参数阈值T的位置个数与所有位置个数的比值，即合格采样比，记作q。

获得当前合格采样比的方法是：计算当前曝光时间下的条纹图像的不合格采样比，该不合格采样比等于当前记录的质量参数小于所述质量参数阈值T的位置个数与条纹图像上所有位置个数的比值，即当前剩余位置的个数与条纹图像上所有位置个数的比值；用1减去当前曝光时间下的条纹图像的不合格采样比，即可获得当前合格采样比。

这里所说的位置是指沿条纹图像的长度方向依次排列的垂直于条纹的线段，线段的长度是3个条纹宽度。两个位置之间的间隔可根据实际情况确定，本实施例中的间隔为2个像素。

这里所说的每个位置的平均灰度值，是指每个位置的线段包括的像素点的平均灰度值。

以t_max=42ms为初始曝光时间获取结构光条纹图像，此时条纹图像上每个位置的平均灰度值最小为82，该平均灰度值最小位置的质量参数为2270，大于质量参数阈值T，当前合格采样比q的值为39.65%，可见一半以上的条纹区域不满足质量的要求。记录下质量参数小于T的位置，称其为“剩余位置”，在以后计算中，只需关注当前“剩余位置”上的质量参数是否满足条件。由于“剩余位置”在一系列不同的曝光时间下不断变小，且变小的速度很快，所以对图像的计算时间在逐步减少。

以8ms为步长逐渐减小曝光时间，每次获取的图像都查看其“剩余位置”是否满足：平均灰度最大的位置上的质量参数大于质量参数阈值T，即第一曝光条件。当曝光时间变为2ms时，“剩余位置”上的平均灰度值最大为140，该位置的质量参数为2200，大于质量参数阈值T，满足第一曝光条件。获取当前曝光时间的结构光条纹图像，同样记录下此时的“剩余位置”。当前合格采样比q的值为71.06%，与上一步中的q值相比增加很快，但仍小于合格采样比阈值K，不满足停止拍摄条件，执行图1所示的下一步骤。

以8ms为步长逐渐增大曝光时间，每次获取的图像都查看其“剩余位置”是否满足：平均灰度最小的位置上的质量参数大于质量参数阈值T，即第二曝光条件。当曝光时间变为26ms时，“剩余位置”上的平均灰度值最小为68，该位置的质量参数为2080，大于质量参数阈值T，满足第二曝光条件。获取当前曝光时间的结构光条纹图像，记录下此时的“剩余位置”，当前合格采样比q的值为88.77%，小于合格采样比阈值K，不满足停止拍摄条件，执行图1所示的下一步骤，回到以8ms为步长逐渐减小曝光时间的步骤。

以8ms为步长逐渐减小曝光时间，每次获取的图像都查看其“剩余位置”是否满足：平均灰度最大的位置上的质量参数大于质量参数阈值T，即第一曝光条件。当曝光时间变为18ms时，“剩余位置”上的平均灰度值最大为140，该位置的质量参数为2200，大于质量参数阈值T，满足第一曝光条件；当前合格采样比q的值为96.94%，大于合格采样比阈值K，满足停止拍摄条件，自适应多次曝光流程结束。

质量参数的具体计算方法描述如下：

a)估计条纹截面宽度。设条纹中心点处灰度值为p_c，以该点为中心，沿法线方向向两边延伸依次搜寻p_c的20%的灰度点作为该处条纹横截面的起始点A和终止点B，则条纹截面宽度即为A，B间的像素点长度。

b)高斯曲线拟合。设条纹中心点处的灰度值为p_c，中心点在沿法线方向建立的坐标系中的坐标为（x_c，y_c），可以找到与之相对应的高斯模型

$G\left(x\right)=\mathrm{Aexp}[-\frac{{(x-\mathrm{\μ})}^2}{{2\mathrm{\σ}}^2}]$

其中，μ为高斯模型中心点横坐标，A为中心点灰度值，由于条纹截面是一维离散序列，因此利用最小二乘法来最佳拟合唯一的未知量σ。

c)计算高斯模型能量和。计算条纹截面的能量和，即为灰度值和。对a)中计算出的条纹截面宽度范围内的高斯模型进行积分求和，条纹截面能量E可表示为：

$E={\mathrm{\Σ}}_{x_i=x_c-w}^{x_i=x_c+w}G\left(x_i\right)$

其中，w是条纹截面的半宽。

d)计算基底噪声。由于图像在拍摄过程中，条纹会产生一些由干扰因素引起的噪声，它将影响条纹局部的质量。在条纹截面宽度以外，2w宽度范围内将灰度值的和作为噪声基底N：

$N={\mathrm{\Σ}}_{x_i=x_c-2w}^{x_i=x_c-w}f(x_i,y_c)+{\mathrm{\Σ}}_{x_i=x_c+w}^{x_i=x_c+2w}f(x_i,y_c)$

最终结构光条纹的质量参数C表示为：

C=E-N

采用本发明的方法，获得不同曝光时间下的条纹图像后，再获取下一个条纹图像；获得一组不同曝光时间下的条纹图像后，使用以下方法进行拼接：

步骤一：在不同曝光时间下获得的各幅结构光条纹图像中，选取质量参数大于质量参数阈值T的位置；

步骤二：获取所述位置的中心点坐标；

步骤三：将所述位置的中心点放置在同一幅图像中，得到一幅显示条纹位置中心点的完整图像。

应用本实施例方法获取角焊缝表面结构光图像，可以克服焊缝表面因为氧化物、油污等引起的条纹灰度不均匀，噪声大等问题，将本实施例方法获取的数据用于焊缝宽度计算，并将计算结果与焊缝剖开后的实际测量值比较，发现本实施例方法准确性好，重复精度高，适用于高精度的非接触式三维测量。

以上详细描述了本发明的具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种结构光自适应多次曝光法，其中所述方法包括如下步骤：

步骤一：选取并设置自适应多次曝光法的参数：质量参数阈值T、初始曝光时间t_max、曝光时间调节步长△t以及合格采样比阈值K；

步骤二：以所述初始曝光时间t_max为曝光时间拍摄条纹图像，计算所述条纹图像上每个位置的质量参数，记录当前的剩余位置，其中剩余位置是指质量参数小于所述质量参数阈值T的位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则进行步骤三；

步骤三：以所述曝光时间调节步长△t为步长逐渐减小曝光时间，直到满足第一曝光条件，获取当前曝光时间下的条纹图像；在当前曝光时间下的条纹图像中，对步骤二中记录的剩余位置中的每个位置，计算质量参数，记录当前的剩余位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则进行步骤四；以及

步骤四：以所述曝光时间调节步长△t为步长逐渐增大曝光时间，直到满足第二曝光条件，获取当前曝光时间下的条纹图像；在当前曝光时间下的条纹图像中，对步骤三中记录的剩余位置中的每个位置，计算质量参数，记录当前的剩余位置；计算当前合格采样比，判断是否满足停止拍摄条件，若满足则停止拍摄，不满足则重复步骤三；

其中，所述第一曝光条件是：在当前曝光时间下拍摄的条纹图像中，在上一个步骤中记录的剩余位置中，平均灰度最大的位置的质量参数大于所述质量参数阈值T；

所述第二曝光条件是：在当前曝光时间下拍摄的条纹图像中，在上一个步骤中记录的剩余位置中，平均灰度最小的位置的质量参数大于所述质量参数阈值T；

所述停止拍摄条件是：当前合格采样比大于所述合格采样比阈值K。

2.如权利要求1所述的结构光自适应多次曝光法，其中步骤1中选取所述初始曝光时间t_max满足：在所述初始曝光时间t_max下获取的条纹图像上的每个位置中，平均灰度最小的位置的质量参数大于所述质量参数阈值T。

3.如权利要求1所述的结构光自适应多次曝光法，其中所述质量参数的计算方法是，将所述条纹图像上一个位置的截面灰度值按高斯模型进行拟合；并积分求和，得到条纹截面能量和；将能量和减去条纹的基底噪声，得到该位置的条纹质量参数。

4.如权利要求3所述的结构光自适应多次曝光法，其特征是，所述条纹的基底噪声的计算方法是，以条纹的一个位置拟合出的高斯模型的中心点向左和向右各扩展条纹截面的宽度范围内的灰度值之和。

5.如权利要求1所述的结构光自适应多次曝光法，其中计算当前合格采样比方法是：计算当前曝光时间下的条纹图像的不合格采样比，等于当前记录的质量参数小于所述质量参数阈值T的位置个数与条纹图像上所有位置个数的比值；用1减去当前曝光时间下的条纹图像的不合格采样比，获得当前合格采样比。

6.一种图像拼接方法，用于将如权利要求1所述的方法获得的条纹图像进行拼接，所述方法包括：

步骤一：在不同曝光时间下获得的各幅结构光条纹图像中，选取质量参数大于质量参数阈值T的位置；

步骤二：获取所述位置的中心点坐标；

步骤三：将所述位置的中心点放置在同一幅图像中，得到一幅显示条纹位置中心点的完整图像。

Images