CN106979749B - 一种光条图像成像参数的模糊自适应调整方法 - Google Patents

Abstract

一种光条图像成像参数的模糊自适应调整方法，包括步骤：a)首先，通过、调用模糊推理系统编辑器Fuzzy，然后调用evalfis进行解模糊，得到运算结果；b)根据提供的COM接口完成与其他编程语言的数据交互，进行数据处理，返回处理结果；c)通过USB2.0接口调用相机API的动态链接库实现图像的采集和相机初始化以及采集参数的设置。

Description

一种光条图像成像参数的模糊自适应调整方法

技术领域

本专利涉及线结构光三维视觉测量中光条图像成像参数的自适应调整问题，属于模糊控制及图像质量评价领域。

背景技术

随着数字技术和电荷耦合器件的发展，基于线结构光的三维视觉测量技术由于具有高精度、实时性强、主动受控、结构简单等优势，在逆向工程、工业检测、文物保护等领域获得了广泛应用，成为光学非接触测量中的重要分支。根据激光三角法的工作原理，激光器投射出的线结构光光平面和被测物体表面相交，所成交线由图像传感器捕获形成二维光条纹图像，通过光学标定环节，获得当前摄像机和激光器的相对位姿，由此建立起光条纹中心点和被测物表面被测点之间一一对应的关系，经过一个位姿的测量，可获得当前光条上所有点的三维信息，线结构光传感器再结合柔性关节臂装置，即可获得被测物完整的三维形貌信息。

其中，光条纹作为整个测量系统的信息源，无论在标定环节还是在实际测量中，其中心点坐标的提取是线结构光三维视觉测量中最为关键的环节，提取的精度、速度和稳定性直接影响到整个测量系统的性能。光条纹提取的效果和的光条图像的质量息息相关。在实际的测量中，光条作为光条图像中不变的成像要素，其形态受被测物表面形状、颜色、粗糙度等性质的调制，同时，图像传感器的成像受到系统光源、环境光、背景等外界干扰的影响。在激光器和摄像机的几何位置、镜头成像畸变等系统结构参数优化的基础上，被测物、测量状态等众多不确定因素的参与，会导致光条图像的成像具有很大的不确定性，影响最后的测量精度，相应的误差影响可能使测量结果变得毫无意义。如何在未知多变的测量任务中，根据测量条件对系统参数进行智能自适应调整，保证系统采集光条图像的品质，成为充分发挥Steger算法亚像素提取精度这一优势的重中之重。

目前，国内外学者的大量研究集中在光条提取算法的改进，相比之下，对光条图像成像参数自适应调整方面的研究较少，相关研究主要在基于亮度直方图的自动曝光方法研究、激光三角法位移测量中的模糊自适应控制和基于图像相对照度指标、光条高斯模型的图像质量评价等几个方向。基于对理想曝光时间和增益的精确计算，算法复杂度较高，可采用DSP和FPGA实现自动控制，一些算法虽然可以避免算法的复杂性，简单易行，但算法的有效性和自动化程度有待提高。本专利在前人研究工作的基础上，通过提取直方图的有效特征定义评价因子，表征光条图像的质量，并通过模糊控制实现摄像机曝光时间以及增益参数的自适应调整，控制过程在通用开发平台Visual Studio 2010中实现，在不增加系统复杂度并满足需求的条件下，硬件复杂度低。

发明内容

一种光条图像成像参数的模糊自适应调整方法，包括步骤：a)首先，通过、调用模糊推理系统编辑器Fuzzy，然后调用evalfis进行解模糊，得到运算结果；b)根据提供的COM接口完成与其他编程语言的数据交互，进行数据处理，返回处理结果；c)通过USB2.0接口调用相机API的动态链接库实现图像的采集和相机初始化以及采集参数的设置。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了根据本发明的方法的光条图像的灰度直方图；

图2(a)示出了根据本发明的方法的VGA变化的采样实物图；

图2(b)示出了根据本发明的方法的VGA变化的灰度直方图；

图3(a)示出了根据本发明的方法的Lines变化的采样实物图；

图3(b)示出了根据本发明的方法的Lines变化的灰度直方图；

图4示出了根据本发明的方法的Lines变化的灰度直方图；

图5示出了根据本发明的方法的特征S的模糊集；

图6示出了根据本发明的方法的输出模糊集dV；

图7示出了根据本发明的方法的输出模糊集dE；

图8(a)示出了根据本发明的方法的调整前光条图像；

图8(b)示出了根据本发明的方法的调整前的直方图；

图9(a)示出了根据本发明的方法的调整后的光条图像；

图9(b)示出了根据本发明的方法的调整后的灰度直方图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本专利公开了一种基于模糊控制的相机参数自适应调整方法。针对结构光测量系统中激光光条易受多种因素调制成像质量不稳定的问题，以灰度直方图为基础，分析光条图像具有代表性的灰度分布特征，研究了摄像机曝光时间和增益两种可控的系统采集参数与直方图特征变化之间的规律，提出了一种基于模糊控制策略的相机参数自适应调整方法，利用C#编程语言和MATLAB的COM组件搭建测试环境。实验结果表明，激光扫描测头系统经过成像参数的自适应调整，光条图像能够达到到预期的效果，满足Steger算法对光条和背景的处理要求。

Steger算法在提取光条中心的时候，为了使算法更加稳定和准确，光条信息需要能够在图像背景中分离出来。然而，光条图像的成像往往受到多种因素的影响，例如，环境光的变化、相机曝光和增益值。如何在不同的环境光下采用合适的相机参数以获得合适的图像作为Steger算法的输入，是本专利研究的核心内容。尽可能的从图像中抽取光条部分的有效信息同时抑制背景的干扰是Steger算法保证其稳定性和精度的前提。

CCD的成像是多重因素参与综合效果，普通意义上的图像质量是指清晰度，而清晰度评价易受采集场景中参数变化的影响，对于相同清晰度不同曝光下的同一场景，评价函数给出的评价结果不一致。对于光条图像成像质量的评价，没有量化的数学模型，只能根据算法的具体要求提取合理的图像特征。如图1所示，为光条图像的灰度直方图，由于测头系统中激光光条的特殊性，光条自身的亮度和背景的亮度明显有所区分，Steger提取算法本身也要求二者有较高的对比度，以排除无用信息的干扰。直方图中，整体灰度区间可划分为两个区域，灰度靠近0的低亮度区域，宽度为LBarea，和灰度靠近255的高亮度区域，宽度为HBarea。LBarea包含较多的灰度级和陡峭的峰值，对应图像中丰富的边缘和线条，代表图像中整体亮度偏低的背景区域信息，l1和l2分别为LBarea左、右边界的灰度级，相比于前者，HBarea包含的灰度级峰值平坦，灰度级成分较少，低频分量丰富，对应图像中的内容复杂度低，即相对纯粹的光条信息，h1和h2分别为HBarea左、右边界的灰度级，D为高亮区和低亮区的灰度级差值，D区域的存在，能够通过阈值法将背景LBarea消除，保留HBarea部分有用的光条信息部分。S为高亮区的右边界h2到最大灰度级255之间的安全溢出距离。

相机增益，即图像传感器前端模拟电路中数字可编程增益放大器的放大系数，系统中VGA即其控制调节参数。如图2所示，VGA为0时，图像整体偏暗，灰度位于低亮度区域，HBarea较小，安全溢出距离S>0，随着VGA的增加，图像亮度趋于正常，灰度级逐渐扩展，边界li、hi(i＝1,2)右移，S减小，LBarea、HBarea增加，VGA等于240时，HBarea和LBarea重叠，光条区域被淹没在低亮度区域且灰度级发生溢出，S＝0，继续增加VGA，图像整体偏亮，噪点逐渐增多最后直至整张图像全白，对应灰度图中LBarea减小为0，所有灰度级溢出。由以上调整过程可以看出，增益对整张图像的灰度值影响呈近似正相关，因为它直接控制增益放大器的放大系数，与CCD的硬件有关，因此，无论是光条部位还是环境光都会明显受到增益的影响。

根据曝光量的计算公式，系统总曝光由快门速度、光圈值和感光度三个参数共同决定。本系统中，MS为相机的真实曝光时间，光圈值和感光度不变，曝光时间的调节可通过曝光参数Lines实现，MS和参数Lines之间拟合关系如下，见(1)式，单位毫秒。

MS＝0.0533×Lines+0.0071 (1)

当参数Lines为0时，图像整体为黑，像素全部集中在灰度为0的一端，HBarea＝0。随着Lines增加，如图3所示，当Lines参数等于250时，图像整体偏暗，对应灰度直方图中光条区域开始出现，HBarea>0，当Lines∈[250,550]，灰度级扩展，LBarea、HBarea增加，低亮区域变化速度较快，l2、h1的灰度级之差D逐渐减小至0，LBarea和HBarea区域产生重叠，S>0，继续增大曝光，LBarea右边界l2和HBarea左边界h1的灰度级开始合并，右侧的两个波峰逐渐融合，如图3(b)Lines＝1350时图像曝光过度，缺乏层次感，图像光条和背景对比度下降。

可以看出，在调节曝光参数Lines时，直方图特征特征D变化明显，S变化不明显。这是由于激光能量较高，即使曝光较低，被反射进入镜头的激光也可使图像传感器饱和；而背景区域的成像灰度是随着曝光水平的提高而增加，在低曝光时成像灰度较低，当曝光达到一定程度才会使图像传感器饱和，此时，激光和背景区域的干扰混在一起，不利于Steger算法对于光条中心的提取。

本方法的具体实现方案为：

实验采用凯视佳工业相机CatchBEST UD274M，CCD分辨率为1628pixel×1236pixel，像元尺寸4.4um，所用镜头焦距12mm，光圈大小手动控制，不进行自适应调节。采用的半导体激光器为红光一字，工作电压为5V，输出波长660nm。

首先，通过MATLAB调用模糊推理系统编辑器Fuzzy，将3.1节设计的控制器导出为.fis文件。MATLAB脚本使用readfis函数将fis文件读取到MATLAB工作空间，然后调用evalfis进行解模糊，得到运算结果。

然后，根据MATLAB提供的COM接口完成与其他编程语言的数据交互，如C#、VB、C++等。本系统中，使用C#将数据送至MATLAB，并执行MATLAB脚本文件进行数据处理，处理结果最后返回到C#编程语言中。

最后，通过USB2.0接口调用相机API的动态链接库实现图像的采集和相机初始化以及采集参数的设置。开发环境为Visual Studio 2010。

光条图像直方图特征的变化和相机参数的调整密切相关，增益参数VGA和特征S之间、曝光参数Lines和特征D之间均呈负相关。考虑到直方图特征与相机参数之间没有精确的数学模型，在实际测量中，系统参数通过人工操作可以达到理想的效果，具体的调节规律具有经验性和模糊性，所以，本系统可采用模糊控制策略进行自适应参数调节，它是非线性系统建模和控制强有力的工具。

MATLAB模糊控制工具箱为模糊控制器的设计提供了非常便捷的途径，利用MATLAB模糊工具箱，不需要进行复杂的模糊化、模糊推理及反模糊化运算，通过相应参数的设计，可得到我们所需要的控制器，模糊控制器的设计如下。

通过多次实验，光条图像的直方图特征S达到35左右时，调整效果较好，如图4所示，为特征S模糊集的定义。直方图特征D达到80附近及以上时，光条图像能够较好地将背景干扰信息去除，特征S模糊集的定义如图5所示。

由于相机参数和直方图特征没有清晰的对应关系，在不同的环境下，即使相机的参数相同，也会产生不同的直方图特征，因此，相机参数调整时采用增量式的调整方法。定义相机增益的输出增量为dV，曝光的输出增量为dE，增益对特征S的影响显著，选取较小的步长，输出模糊集dV的定义如图6所示。曝光的变化范围较大，选取较大的步长，以使光条图像直方图的被控特征快速收敛，定义输出模糊集dE如图7所示。

模糊规则是对系统输入与输出关系的定义。根据激光扫描测头用于工程测量实践的经验，若光条图像直方图特征S较大，则应加大增益参数VGA使S减小，反之，若特征S比较小，应减小增益使S增大，特征S与dV的模糊关系如表1所示。与特征S类似，特征D与曝光参数Lines呈负相关，不同的是，特征D过大时不影响光条信息的提取和背景的去除，特征D和dE的模糊关系见表2。

表1直方图特征S与dV之间的模糊关系

表2直方图特征D与dE之间的模糊关系

将相机曝光参数Lines初始值设置为500，增益VGA初始值设置为400，被测物体的初始成像如图8(a)所示；其灰度直方图特征S＝0，特征D＝38，如图8(b)。从灰度直方图上可以看出，背景部分占据了80％以上的信息，而光条的灰度值则集中在了255的灰度级。采用本专利设计的自动调整方法调整后，相机曝光参数Lines为98，增益参数VGA为251，被测物体成像如图9(a)所示，灰度直方图如图9(b)所示，其度直方图特征S＝34，特征D＝81，调整结果较为理想。实验结果表明，基于模糊控制的相机参数自适应调整方法是可行的。

针对光条图像成像质量不稳定的问题，本专利提出了一种基于模糊控制的相机参数自适应调整方法。该方法通过对光条图像灰度直方图的分析，提取了可用于质量评价的有效特征，在此基础上确定了CCD相机曝光时间和增益两种成像参数的调整和直方图特征的变化之间的规律，并利用通用开发平台搭建测试环境，最后，利用模糊控制策略实现成像参数调节的自动化过程。实验结果表明，该方法能够有效地根据场景对相机参数的初始设置进行自适应调节，使激光扫描测头系统的成像克服测量环境的多样性，增加测头工作的鲁棒性，该方法复杂度低，易于实现。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (4)

1.一种光条图像成像参数的模糊自适应调整方法，包括步骤：

a)利用工业相机，激光器以及计算机搭建线结构光视觉测量系统；

b)通过MATLAB调用模糊推理系统编辑器Fuzzy，然后调用evalfis进行解模糊，得到运算结果，其中，相机参数调整采用增量式的调整方法，若相机增益对光条图像的直方图特征S的影响显著，则选取较小的步长；

若相机曝光的变化范围较大，则选取较大的步长；

若光条图像的直方图特征S较大，则加大增益参数VGA，反之，若光条图像的直方图特征S较小，则减小增益参数VGA；

若光条图像的直方图特征D较大，则加大曝光参数，反之，若光条图像的直方图特征D较小，则减小曝光参数；

其中，光条图像的直方图特征D为高亮度区与低亮度区的灰度级差值；光条图像的直方图特征S为高亮度区的右边界h2到最大灰度级255之间的安全溢出距离；

c)根据MATLAB提供的COM接口完成与C#编程语言的数据交互，进行数据处理，返回处理结果；

d)通过USB接口调用相机API的动态链接库实现图像的采集和相机初始化以及采集参数的设置。

2.根据权利要求1所述的方法，其特征在于，所述步骤a)中的系统硬件平台为：型号为CatchBEST UD274M的凯视佳工业相机，CCD分辨率为1628pixel×1236pixel，像元尺寸4.4um，所用镜头焦距12mm，采用的半导体激光器为红光一字，工作电压为5V，输出波长660nm。

3.根据权利要求1所述的方法，其特征在于，所述步骤b)中的编程环境分别为MATLAB2014a；

4.根据权利要求1所述的方法，其特征在于，所述步骤c)和d)中的开发环境为VisualStudio 2010，调用相机API的动态链接库的接口为USB2.0。