CN105469439B - 采用残差反馈的slm显微视觉数据重构方法 - Google Patents

Abstract

本发明涉及采用残差反馈的SLM显微视觉数据重构方法，特别是涉及以针孔摄像机模型为基础通过进行残差分析对其进行改进而提升SLM显微视觉系统重构精度的方法。该方法主要包括以下步骤：等间距采集SLM立体图像对，图像对准与视差畸变矫正，建立初始视觉模型，重构残差计算，重构残差精度评估，残差补偿。本发明在保留针孔摄像机模型优势的基础上，通过建立残差补偿模型，对SLM视觉系统在重构数据过程中存在的多种误差进行补偿，降低了参数标定难度，克服现有针孔模型在微光领域应用时的不足，新模型具有更强的实用性。对于任意一种SLM视觉系统，只要确定了残差补偿模型就可以输出高精度的重构数据。

Description

采用残差反馈的SLM显微视觉数据重构方法

技术领域：

本发明涉及一种采用残差反馈的SLM显微视觉数据重构方法，特别是涉及以针孔摄像机模型为基础通过建立残差补偿模型对其进行改进而提升SLM显微视觉系统重构精度的方法。

背景技术：

光学体式显微镜是一种精密的光学仪器，主要分为CMO型SLM(stereo lightsystem)，Greenough型SLM。CMO型SLM的两套子光路共享前端大物镜，共包含三条光轴，并且相互平行。在CMO型SLM的子光路像面处安装CCD相机可构成SLM显微立体视觉系统，SLM显微视觉系统属于典型的计算机双目立体视觉系统，拥有较大的工作空间，而且属于非接触式光学测量，通过相机可实时拍摄物空间的整个场景，不存在类似电子显微镜的信号延时，这些特点使其逐渐在微操作，微测量，微装配等领域中广泛使用。对微小物体进行微操作，微测量需对其三维物空间进行准确重构，高效准确的视觉建模是进行工作的关键所在。

视觉建模是SLM显微视觉系统在进行微操作，微测量过程中的重要研究内容之一。针孔模型为线性模型，在宏观立体视觉中广泛应用，是一种成熟简便的视觉模型，但并不适合直接用于SLM显微视觉坐标的重构。由于CMO-styleSLM的成像过程不符合针孔成像的原理，直接使用针孔摄相机模型进行三维重构时会产生较大定位误差。极易造成误匹配，误操作，降低微测量，微操作，微装配，过程中的工作效率。Kim(1990)使用了简易的视觉模型，比较早的把量化的SLM显微视觉系统应用到微观世界测量中，很有意义，但是模型使用了较少的参数对透镜畸变抵抗能力较弱。Danuser(1999)建立了一个高精度的视觉模型，比较系统的论述了参数的标定过程，很有代表性，但是模型引入大量的参数来拟合畸变，需要设计复杂的标定过程估计参数，如果选择了不合适的优化过程，大量参数的引入往往会导致标定结果的不稳定性，Danuser(1999)提出的模型使用起来比较困难。

发明内容

针对上述重构方法标定过程复杂，精度低，直接使用针孔模型在SLM显微视觉系统中由图像坐标重构物空间世界坐标时存在的较大定位误差问题，本发明推出了采用残差反馈的SLM显微视觉数据重构方法，其目的是在保留针孔模型优势的基础上，降低参数标定难度，通过建立残差补偿方法，克服现有针孔模型在微光领域应用时的不足，提高微结构三维形貌数据重构精度，新方法具有更强的实用性。

本发明所涉及的采用残差反馈的SLM显微视觉数据重构方法，是建立在针孔摄相机模型之上，对SLM显微视觉重构数据的残差进行分析补偿。所述的方法包括以下步骤：

1、等间距采集SLM立体图像对

通过SLM显微视觉系统在世界坐标系中沿x轴，y轴，z轴等间距采集立体图像对，输出x轴图像序列,y轴图像序列，z轴图像序列。获取图像格点世界坐标真值集合P₁。

2、图像对准与视差畸变矫正

在x轴图像序列中，利用拟合算法，分别对所采集到的左图像、右图像中图像特征点行进轨迹进行拟合，估计左右图像相对旋转角及相对偏移，进行左右图像对准，矫正左右图像视差曲面畸变。

3、建立初始视觉模型

采用标定软件通过针孔摄像机模型理论，对SLM视觉系统进行初始标定，输出标定参数。利用沿z轴采集到的图像序列，对左右立体图像对视差数据进行统计，建立视差增量与z轴坐标增量线性关系，输出视差增量比例系数E，给出初始的视觉模型。

4、重构残差计算

等间距采集图像序列时，图像由位置1移动到位置2时，所有格点具有相同的移动距离D₁。利用初始模型重构x轴图像序列，y轴图像序列，z轴图像序列格点的世界坐标，获得所有格点世界坐标的测量值集合P₂，计算格点由位置1移动到位置2的相对重构距离D₂。以D₁作为真值，D₂作为测量值，对重构格点间相对位移残差参数进行计算。相对位移残差参数包括重构x轴图像序列时沿x轴轴向偏移残差,沿y轴径向偏移残差,沿z轴径向偏移残差；重构y轴图像序列时，沿y轴轴向偏移残差,沿x轴径向偏移残差,沿z轴径向偏移残差；重构z轴图像序列时，沿z轴轴向偏移残差,沿x轴径向偏移残差,沿y轴径向偏移残差。

5、重构残差精度评估

根据SLM显微视觉系统数据重构精度要求，选定残差区间，为保证较高重构精度，残差区间可从(-5μm，5μm)至(-200μm，200μm)范围内进行选取。残差区间范围越小则重构精度越高，依用户决定。统计位于该区间内的残差样本点的数量K，参与统计的总的残差样本点数量记为U，定义有效比例系数S＝K/U。当残差区间设置越小，S越大，说明重构精度越高，残差数据发散度越小。记重构残差精度评估参数为M。根据有效比例系数S的值对重构残差精度进行评估。当S<M时，认为重构精度低，需进行残差补偿。当S>M时，认为重构精度满足要求。为获得较高重构精度，选定得重构残差精度评估参数M的值应大于等于0.85。

6、残差补偿

采用线性补偿法分别对重构残差精度低参数进行补偿。在初始模型基础上，首先对重构x轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，得到第一次补偿后世界坐标向量。在此基础上，对重构z轴图像序列时重构残差精度低参数进行线性补偿，输出补偿参数，得到第二次补偿后世界坐标向量。最后对重构y轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，输出高精度重构数据。

本发明所涉及的采用残差反馈的SLM显微视觉数据重构方法，首先，建立了视差畸变矫正的方法，从标定样板图像中获取需要的各类数据，采用线性拟合、多项式拟合等方法矫正视差畸变；然后，在传统针孔摄像机模型理论基础上修正z坐标的重构方法，建立初始的视觉模型；最后，对初始视觉模型进行误差补偿，建立残差补偿模型，输出高精度的重构数据。在以SLM显微视觉系统为基础的微操作，微装配系统中的重构误差来自多种因素，如视觉模型本身的缺陷、透镜畸变、驱动组件的定位精度等，重构数据的残差是所有误差的综合体，残差补偿模型对重构数据的残差进行拟合，补偿重构误差。这种建模方法具有更强的适应能力，对于任意一种SLM视觉系统，只要确定了残差补偿模型就可以输出高精度的重构数据。

附图如下

图1为本发明涉及的采用残差反馈的SLM显微视觉数据重构方法流程图

图2为本发明涉及的图像对准与视差畸变矫正方法的流程图

图3为本发明涉及的建立初始视觉模型的流程图

图4为本发明涉及的残差补偿流程图

图5为采用残差反馈的SLM显微视觉数据重构方法重构后的残差数据分布图

图6为本发明涉及的使用针孔模型重构方法的残差数据分布图

具体实施方式：

现结合附图对本发明作进一步详细阐述。图1显示本发明涉及的采用残差反馈的SLM显微视觉数据重构方法流程图，如图所示，采用残差反馈的SLM显微视觉数据重构方法包括以下步骤：

1、等间距采集SLM立体图像对

通过MEMS工艺制作网格状平面标定样板，标定样板上设计7行×7列圆形图案，直径为0.15mm，相邻标志图案圆形间距为0.3mm,阵列格点的定位精度为±0.25μm,圆形图案的中心点定义为格点。把标定样板固定在驱动装置上，图像采集平面基本位于SLM的聚焦面处，SLM具有有效深度范围，以聚焦面为中心，所使用SLM的有效深度范围约为±1.13mm。

标定样板分别沿世界坐标系x轴，y轴，z轴等间距移动,间隔设置为0.1mm通过SLM显微视觉系统等间距采集标定样板立体图像对S11，x轴、y轴和z轴的采集长度范围分别为4.1mm，2.9mm和3.1mm，输出x轴图像序列S21，y轴图像序列S22，z轴图像序列S23。获取图像格点世界坐标真值集合S31,记为P₁(x_w1,y_w1,z_w1)。

2、图像对准与视差畸变矫正

(1)SLM显微视觉的一项重要功能是利用视差估计物空间的深度，即世界坐标系的纵向坐标，为了建立线性度较高的视觉模型，需进行图像对准与视差畸变矫正S41。输入x轴图像序列S21，格点在图像中的运行轨迹近似为直线，运行方向沿图像的x轴方向，但与x轴并不平行。利用拟合算法如：最小二乘法，分别对所采集到的左图像、右图像中每个图像格点行进轨迹进行拟合S24，由左图像序列获得拟合直线斜率集合k_l，各拟合直线相对x轴旋转角为α_l＝arctank_l,由右图像序列获得拟合直线斜率集合k_r,各拟合直线相对x轴旋转角为α_r＝arctank_r。令α_l与α_r作差并求其平均值α，作为左右图像相对旋转角。以左图像为基准，右图像坐标旋转-α角，实现对左右图像序列对相对旋转进行校正S25。输出图像格点坐标S26。记旋转后左图像序列格点图像坐标集合为(x_l,y_l),右图像序列格点图像坐标集合为(x_r,y_r)。

(2)输入图像格点坐标S26，输入y轴图像序列S22，输入z轴图像序列S23共同估计左右图像在竖直方向上的相对偏移距离T。令每个图像序列中左右图像对应格点图像纵坐标y_l与y_r作差,所有差值求和后取平均值，即为左右图像纵向相对偏移距离T。以左图像为基准，右图像在y轴方向平移T，实现对左右图像纵向相对偏移进行校正。通过对左右图像相对旋转与偏移进行校正实现左右图像对准S32。输出经对准后格点图像坐标(x₂,y₂)。左图像序列格点图像坐标记为(x_2l,y_2l)，右图像序列格点图像坐标记为(x_2r,y_2r)。

(3)在SLM视觉系统中，视差是重构世界坐标系中z坐标的重要技术指标，需采用经图像对准的x轴图像序列对左右图像视差畸变进行矫正。格点初始视差P由公式P＝y_2r-y_2l计算得出，在x轴图像序列中，一个格点对应一条视差轨迹曲线，使用直线拟合格点横坐标x₂与视差P对应关系,拟合视差直线S33。输出视差直线方程：Y＝K_px₂+B，式中K_p为拟合视差直线斜率集合,B为截距集合,Y为拟合视差值。计算直线拟合残差N，公式为：N＝Y-P。利用拟合算法如：最小二乘法，拟合残差N与格点横坐标x₂多项式关系，拟合二阶通式为：N₁＝A(x₂)²+B(x₂)²+C。得到视差矫正公式P₀＝P-N₁。最终实现对图像序列对准与视差畸变矫正。输出格点图像坐标向量S36。

3、建立初始视觉模型

输入格点图像坐标向量S36，根据针孔摄像机模型理论，建立由图像坐标到世界坐标转化的初始视觉模型S51。采用相机标定软件如：Halcon，对SLM视觉系统中单光路内部参数a，右相机相对左相机的外部参数b，左相机相对世界坐标系的位姿参数c进行估计，输出模型参数S52。利用沿z轴图像序列S23，可获取多组立体图像对。以第一组立体图像对的格点视差为基准，计算每一组立体图像对中格点的视差增量，对视差增量数据进行统计，确立视差增量比例系数S54，记为E。利用拟合算法如：最小二乘法，拟合立体图像对格点视差P₀与z坐标增量线性关系S53，即z＝E×P₀,E即为视差增量比例系数，代表图像视差变化1像素对应的z坐标的增量。输出对Z坐标重构精度进行改善后的初始视觉模型。输出经初始视觉模型重构的图像序列格点世界坐标向量S61。

4、重构残差计算

等间距采集图像序列时，图像序列格点具有真实世界坐标集合P₁(x_w1,y_w1,z_w1)，标定样板由采集位置1移动到采集位置2时，标定样板上49个格点具有相同位移D₁。在x轴图像序列，y轴图像序列，z轴图像序列上均以第一个图像采集点作为参考位置，定义在所有其余采集位置时49个格点世界坐标相对第一个图像采集位置格点的世界坐标相对位移集合为G₁。当利用初始模型重构x轴图像序列，y轴图像序列，z轴图像序列格点的世界坐标，获得所有格点世界坐标的重构值集合S55，记为P₂(x_w2,y_w2,z_w2)，计算标定样板上格点由位置1移动到位置2的相对重构位移D₂，49个格点相对重构位移D₂并不相等。以第一个图像采集点作为参考位置，定义在所有其余采集位置时49个格点重构世界坐标相对第一个图像采集位置格点的重构世界坐标相对位移集合为G₂。

以G₁作为真值，G₂作为测量值，令G₁与G₂作差，分别计算在世界坐标系中沿x轴等间距采集图像时，重构格点间相对位移残差参数E_X。包括重构x轴图像序列时沿x轴轴向偏移残差E_XX,沿y轴径向偏移残差E_XY,沿z轴径向偏移残差E_XZ。沿y轴等间距采集图像时，重构格点间相对位移残差参数E_Y，包括沿y轴轴向偏移残差E_YY,沿x轴径向偏移残差E_YX,沿z轴径向偏移残差E_YZ。沿z轴等间距采集图像时，重构格点间相对位移残差参数E_Z，包括沿z轴轴向偏移残差E_ZZ,沿x轴径向偏移残差E_ZX,沿y轴径向偏移残差E_ZY。一共包含九个相对位移残差参数。

5、重构残差精度评估

对重构残差精度进行评估S81，给定残差区间(-10μm,10μm)，在x轴图像序列，y轴图像序列，z轴图像序列中统计相对偏移残差参数E_XX，E_XY,E_XZ,E_YY，E_YX,E_YZ，E_ZZ，E_ZX，E_ZY位于该区间内的残差样本点的数量K，参与统计的总的残差样本点数量记为U，定义有效比例系数S＝K/U，当残差区间设置越小，S越大，说明重构精度越高，残差数据发散度越小。记重构残差精度评估参数为M。根据有效比例系数S的值对重构残差精度进行评估。为保证重构精度，取M＝0.95。当S<M时，认为重构精度低，需进行残差补偿。当S>M时，认为重构精度满足要求。对于重构精度不满足要求时，需进行残差补偿。进行残差精度评估后发现E_XX，E_YY，E_YX，E_ZX，E_ZY五个参数重构精度低，需进行残差补偿S91。

6、残差补偿

采用线性补偿法分别矫正E_XX，E_YY，E_YX，E_ZX，E_ZY。在初始模型基础上，首先对x，y轴轴向重构残差E_XX，E_YY两个参数进行线性补偿S92，公式为x_w3＝x_w2(1+K_X)，y_w3＝y_w2(1+K_Y)，输出x轴轴向补偿系数K_X,输出y轴轴向补偿系数K_Y，得到第一次补偿后世界坐标向量(x_w3,y_w3,z_w3)。在此基础上，对z轴径向重构残差E_ZX，E_ZY进行线性补偿S94，公式为x_w4＝x_w3+(K_XZ·z_w3)，y_w4＝y_w3+(K_YZ·z_w3)。输出z轴径向补偿系数K_XZ，K_YZ，得到第二次补偿后世界坐标向量(x_w4,y_w4,z_w4)。最后对y轴图像序列上相对位移沿x轴方向的径向残差E_YX进行线性补偿S96，公式为x_w5＝x_w4+(K_XY·y_w4)，输出补偿系数K_XY，输出第三次补偿后世界坐标向量(x_w5,y_w5,z_w5)。输出高精度重构数据S101。

为了说明本方法在SLM显微视觉系统中的高精度重构能力，我们使用Halcon软件提供的针孔摄像机模型的标定、重构模块计算x轴图像序列、y轴图像序列和z轴图像序列中格点的世界坐标，统计针孔模型重构结果的残差数据，并与本文方法进行重构后的残差数据进行比较。如图所示，图5为使用本方法重构后的残差数据分布图。图示中ΔX_X,A为x轴图像序列的采集距离，ΔY_Y,A为y轴图像序列的采集距离,ΔZ_Z,A为z轴图像序列的采集距离。从图中可以看出，E_XX，E_XY,E_XZ,E_YY，E_YX,E_YZ，E_ZX，E_ZY的数据分布于残差区间(-10μm,10μm)内，有效比例系数S值均超过95％，完全满足重构精度要求。在SLM有效深度范围±1.13mm内，即当|ΔZ_Z,A|<2.26时，E_ZZ的数据在残差区间(-10μm,10μm)内的有效比例系数S值为96.4％，能够满足Z坐标重构精度的要求。

图6为使用针孔模型重构方法的残差数据分布图，从图中可以看出，它的E_XX、E_XY的数据分布于(-10μm,10μm)区间内，E_XZ的数据发散度较大，最大残差接近0.15mm。|E_YX|、|E_YY|、|E_ZX|、|E_ZY|和|E_ZZ|的最大值分别接近0.04mm、0.08mm、0.1mm、0.2mm、0.2mm，E_YZ的数据主要分布于±0.02mm的残差区间内。图6说明针孔摄像机模型的重构精度远远低于本发明方法的重构精度，本发明方法具有更强的适应能力，更高的重构精度能力，对于任意一种SLM视觉系统，只要确定了残差补偿模型就可以输出高精度的重构数据。

Claims (3)

1.采用残差反馈的SLM显微视觉数据重构方法，特征在于包括以下步骤：等间距采集SLM立体图像对，图像对准与视差畸变矫正，建立初始视觉模型，重构残差计算，重构残差精度评估，残差补偿；等间距采集SLM立体图像对具体为：通过SLM显微视觉系统在世界坐标系中沿x轴，y轴，z轴等间距采集立体图像对，输出x轴图像序列,y轴图像序列，z轴图像序列；获取图像格点世界坐标真值集合P₁；

图像对准与视差畸变矫正具体为：在x轴图像序列中，利用拟合算法，分别对所采集到的左图像、右图像中图像特征点行进轨迹进行拟合，估计左右图像相对旋转角及相对偏移，进行左右图像对准，矫正左右图像视差曲面畸变；

建立初始视觉模型具体为：采用标定软件通过针孔摄像机模型理论，对SLM视觉系统进行初始标定，输出标定参数；利用沿z轴采集到的图像序列，对左右立体图像对视差数据进行统计，建立视差增量与z轴坐标增量线性关系，输出视差增量比例系数E，给出初始的视觉模型；

重构残差计算具体为：等间距采集图像序列时，图像由位置1移动到位置2时，所有格点具有相同的移动距离D₁；利用初始模型重构x轴图像序列，y轴图像序列，z轴图像序列格点的世界坐标，获得所有格点世界坐标的测量值集合P₂，计算格点由位置1移动到位置2的相对重构距离D₂；以D₁作为真值，D₂作为测量值，对重构格点间相对位移残差参数进行计算；残差包括重构x轴图像序列时沿x轴轴向偏移残差,沿y轴径向偏移残差,沿z轴径向偏移残差；重构y轴图像序列时，沿y轴轴向偏移残差,沿x轴径向偏移残差,沿z轴径向偏移残差；重构z轴图像序列时，沿z轴轴向偏移残差,沿x轴径向偏移残差,沿y轴径向偏移残差。

2.根据权利要求1所述的采用残差反馈的SLM显微视觉数据重构方法，其特征在于，重构残差精度评估具体为：残差区间从(-5μm，5μm)至(-200μm，200μm)范围内进行选取；统计位于该区间内的残差样本点的数量K，参与统计的总的残差样本点数量记为U，定义有效比例系数S＝K/U；当残差区间设置越小，S越大，说明重构精度越高，残差数据发散度越小；记重构残差精度评估参数为M；根据有效比例系数S的值对重构残差精度进行评估；当S<M时，认为重构精度低，需进行残差补偿；当S>M时，认为重构精度满足要求；为获得较高重构精度，选定的重构残差精度评估参数M的值应大于等于0.85。

3.根据权利要求1所述的采用残差反馈的SLM显微视觉数据重构方法，其特征在于，残差补偿具体为：采用线性补偿法分别对重构残差精度低参数进行补偿；在初始模型基础上，首先对重构x轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，得到第一次补偿后世界坐标向量；在此基础上，对重构z轴图像序列时重构残差精度低参数进行线性补偿，输出补偿参数，得到第二次补偿后世界坐标向量；最后对重构y轴图像序列时，重构残差精度低参数进行线性补偿，输出补偿参数，输出高精度重构数据。