CN105303528A - 用于slm显微立体视觉图像畸变矫正的结构形状分析方法 - Google Patents

Abstract

本发明涉及一种用于SLM显微立体视觉图像畸变矫正的形状结构分析方法，属于视觉图像畸变的矫正领域，特别是涉及对整体单元点分别按行和列进行线形拟合，通过整体直线单元的形变估计矫正立体图像对畸变。该方法主要包括如下步骤：输入SLM左右图像，图像横向畸变矫正，图像纵向畸变矫正，视差曲面平整度矫正，输出畸变矫正参数。本发明通过对采集到的左右图像整体单元格点进行线性拟合分析后，获取立体图像对畸变矫正参数，完成SLM显微立体视觉系统下立体图像对视差曲面的矫正，为计算图像物空间高精度3D坐标奠定基础。矫正方法极具新颖性，对于在SLM视觉系统下进行微操作，微装配工作时更加高效准确。

Description

用于SLM显微立体视觉图像畸变矫正的结构形状分析方法

技术领域

本发明涉及一种用于SLM显微立体视觉图像畸变的矫正方法，特别是涉及对SLM显微图像整体单元点分别按行和列进行线性拟合，通过整体直线单元的形变估计立体图像对畸变，建立了高精度的畸变矫正方法。

背景技术

SLM是一种高精密光学体式显微镜，包括一个主光轴和两套子光路,其双光路结构模拟了人眼的立体成像原理，在两个成像平面处安装相机构成SLM显微立体视觉系统，物空间范围在几个mm量级，在SLM视觉系统下的左图像和右图像从两个角度精确反映物空间的几何结构，该类系统已在微测量、微操作、微装配、微注射等领域中广泛应用。在此光学体式显微镜内部由于其主光轴与每个子光路光轴是互相平行但不重合的，这种光路结构存在明显的偏心位置使得立体图像对中存在特殊畸变。这种畸变将会直接导致测量精度下降，操作效率降低。伴随SLM双光路系统的偏心畸变，在微操作工作中，由于操作对象均为微米级的微小对象，SLM显微视觉系统放大倍率较高，微器件的瞬时移动，外界微小的机械振动等均会对图像造成干扰，使显微图像发生畸变，造成误操作、误匹配，降低操作效率。对显微立体视觉图像进行特殊的高精度畸变矫正已成为微装配，微操作等领域重要技术环节。

目前，传统相机光学系统通常考虑相机镜头的径向畸变，轴向畸变和薄透镜畸变等，由于SLM显微立体视觉系统是双光路结构，体视显微镜的子光路光轴与主光轴不重合，子光路光轴之间存在一定间距，SLM视觉系统的特殊结构特点使左图像和右图像产生变形，这种变形与径向畸变、切向畸变、薄透镜畸变存在很大差异，左图像和右图像具有一定相关性需要同时矫正。使用传统已有的畸变矫正方法难以很好的补偿SLM双光路系统的偏心畸变。并且不同厂家的SLM产品在畸变幅度和变形方式上也不同，畸变具有一定特殊性。当前SLM视觉系统的畸变矫正方法大多是针对立体图像对上一些单个图像点进行矫正而缺少对整体图像点进行畸变评估矫正，矫正精度较低，无法满足微操作，微测量等过程中微器件的精确3D坐标定位与重构的高精度要求。Danuser(1999)针对SLM显微视觉图像畸变建立了一个高精度的视觉模型，比较系统的论述了参数的标定过程，很有代表性，但是模型引入大量的参数来拟合畸变，需要设计复杂的标定过程估计参数，如果选择了不合适的优化过程，大量参数的引入往往会导致标定结果的不稳定性，Danuser(1999)提出的模型使用和实施起来比较困难。

发明内容：

针对精密光学体式显微镜系统存在的特殊偏心畸变问题，本发明推出了对SLM显微视觉图像整体单元进行线性拟合分析，实现对SLM显微视觉左右图像进行高精度畸变矫正，其目的在于通过对采集到的左右图像中整体单元格点分别进行严格的横向，纵向线性拟合分析，对SLM视觉系统下左右图像畸变进行评估与矫正，经过矫正后，恢复了图像空间中的线性关系和平行关系，最终获取SLM视觉系统下左右图像畸变矫正参数，为后期进行微操作过程中微器件3D坐标定位与高精度重构奠定基础。矫正方法极具新颖性，对于在SLM视觉系统下进行微操作，微装配工作时更加高效准确。所述的SLM显微视觉图像畸变矫正方法包括以下步骤：

1、输入左右图像

利用SLM显微视觉系统拍摄物空间上单元格点的左图像，右图像，向计算机输入左右图像。

2、输出格点图像坐标

在左右图像上分别通过亚像素边缘提取算法和圆拟合方法获取每行格点图像坐标，分别输出左右图像格点图像坐标集合。

3、图像横向畸变矫正

利用拟合算法对左右图像中格点按行拟合直线，获取直线方程。计算每行拟合直线最大拟合误差，给出畸变判定依据，对行曲线识别，若判定结果为曲线则需要建立行格点坐标与拟合误差之间多项式关系，进行多项式残差补偿后输出直线方程。若判定结果为直线则直接输出直线方程。

经一阶直线拟和及多项式残差补偿后，对每行拟合直线间的平行度进行矫正，获取图像横向畸变矫正参数。

4、图像纵向畸变矫正

在上述经过横向矫正的格点坐标基础上，为矫正左右图像纵向畸变，利用拟合算法对左右图像中的所有格点在列方向上进行线性拟合。

根据直线方程参数，计算每列拟合直线最大拟合误差，给出畸变判定依据，对列曲线识别，若判定结果为曲线则需要建立列格点坐标与拟合误差之间多项式关系，进行多项式残差补偿后输出直线方程。若为直线，则直接输出直线方程。

经一阶直线拟和及多项式残差补偿后，对每列直线间的平行度进行矫正，获取图像纵向畸变矫正参数。

5、视差曲面平整度矫正

计算左右图像视差，利用拟合算法拟合水平视差直线，根据直线方程参数，计算每行拟合视差直线最大拟合误差，给出畸变判定依据，对视差曲线进行曲线识别，若判定结果为曲线，则进行多项式残差补偿，将其矫正为直线。若为直线则直接输出每行视差直线方程。通过对视差直线的矫正，实现对视差曲面平整度进行矫正，获取视差曲面矫正参数。

6、输出畸变矫正参数

输出横向畸变矫正参数，纵向畸变矫正参数，视差曲面矫正参数，获取SLM视觉系统畸变矫正后的左图像，右图像。

本发明所涉及的SLM显微视觉图像畸变矫正的方法，对左右图像单元格点分别按行和列进行线性拟合后，统计拟合误差，通过直线单元的形变估计图像的畸变，矫正视差曲面变形，经过矫正后，恢复了图像空间中的线性关系和平行关系，可获取畸变矫正参数。本发明建立了专门针对在SLM精密光学立体显微镜下进行微操作，微装配等过程中所产生的特殊畸变的矫正方法，只需根据首次获取的畸变矫正参数，对SLM视觉系统下所采集的一系列图像可实现快速、高精度的畸变矫正。矫正方法极具新颖性，操作简便，降低了在微操作时的误操作率，提高了视觉系统下微操作的定位精度，对于在SLM视觉系统下进行微操作工作时更加高效准确。从本质上改善了现有体式光学显微镜在畸变矫正方法上的技术瓶颈。

附图说明

图1为本发明涉及的SLM显微立体视觉图像畸变矫正方法流程图

图2为本发明涉及的SLM显微立体视觉图像格点坐标按行拟合后的理想图像

图3为本发明涉及的SLM显微立体视觉图像格点坐标按行拟合后的一类畸变图像

图4为本发明涉及的SLM显微立体视觉图像格点坐标按行拟合后的二类畸变图像

图5为本发明涉及的SLM显微立体视觉图像横向畸变矫正方法组成

图6为本发明涉及的SLM显微立体视觉图像格点拟合行直线间平行度矫正图像

图7为本发明涉及的SLM显微立体视觉图像格点坐标按列拟合后的理想图像

图8为本发明涉及的SLM显微立体视觉图像格点坐标按列拟合后的一类畸变图像

图9为本发明涉及的SLM显微立体视觉图像格点坐标按列拟合后的二类畸变图像

图10为本发明涉及的SLM显微立体视觉图像纵向畸变矫正方法组成

图11为本发明涉及的SLM显微立体视觉理想视差平面图像

图12为本发明涉及的SLM显微立体视觉视差曲面图像

图13为本发明涉及的SLM显微立体视觉图像视差曲面平整度矫正方法组成

附图中标记说明：

x、标定样板水平轴方向

y、标定样板竖直轴方向

μ₁、标定样板水平轴方向上坐标

L₁、沿x方向拟合出的过原点的第1行基准直线

L₂、沿x方向拟合出的过原点的第2行直线

L₃、沿x方向拟合出的过原点的第3行直线

L₄、沿x方向拟合出的过原点的第4行直线

L_M、沿x方向拟合出的过原点的第M行直线

D_(2→1)、以直线L₁为基准，在x＝μ₁时，在竖直方向上L₂相对L₁的偏移距离

D_(3→1)、以直线L₁为基准，在x＝μ₁时，在竖直方向上L₃相对L₁的偏移距离

D_(4→1)、以直线L₁为基准，在x＝μ₁时，在竖直方向上L₄相对L₁的偏移距离

D_(M→1)、以直线L₁为基准，在x＝μ₁时，在竖直方向上L_M相对L₁的偏移距离

具体实施方式

现结合附图对本发明作进一步详细阐述。图1、图5、图10、图13显示本发明涉及的用于SLM显微立体视觉图像多阶畸变矫正形状分析方法的流程图，图2-图4，图7-图9，图11图12，为本发明所涉及的显微立体视觉系统中存在的畸变图像与理想图像的对比。用于SLM显微立体视觉图像畸变矫正的结构形状分析方法包括以下步骤：

1、输入左右图像

通过光刻法制作高精度的网格状平面标定样板，标定样板的阵列单元采用圆形图案，直径为0.1mm，圆形图案的中心点定义为格点，相邻标志图案圆形间距为0.2mm,阵列格点的定位精度为±0.25mm,SLM视觉系统的视场大小x向y向z向为6*4*3mm,采用27行×29列的阵列格点布局能够充满视场，可实现采集图像质量的最优化。故使用这种高精度阵列单元对SLM视觉系统的图像进行评估和矫正。

利用SLM显微视觉系统拍摄物空间上标定样板的左右图像S1，获取立体图像对，向计算机输入左右图像。

2、输入图像格点坐标

使用亚像素级边缘提取算法对左右图像中所有圆形边缘进行提取，采用圆拟合算法拟合圆形图案所在边界圆，输出左右图像亚像素级格点图像坐标集合S3。

3、图像横向畸变矫正

(1)利用线性拟合算法如：最小二乘法，对左右图像格点图像坐标S3分别拟合行直线系列S41，获取每行直线方程y₀＝k₀x₀+b₀，其中k₀,b₀分别为每行拟合直线的斜率与截距集合。

(2)利用拟合后直线方程以格点实际横坐标x₁为自变量计算出理论纵坐标y₁，令理论纵坐标y₁与格点实际纵坐标y₂作差，得出每一格点纵向拟合误差H_纵，统计行直线拟合误差集合S42。根据系统需要，给定误差统计的阈值Tmax₁，计算所有满足条件H_纵＜Tmax₁的格点的数目U₁，计算拟合度S₁＝U₁/(M×N),其中M、N分别代表所选取标定样板中格点的行数与列数，给定比例阈值范围0.80～1，根据系统精度功能要求在此范围内选定比例阈值T₁。给出下面的畸变判定进行行曲线识别：如果S₁≤T₁，则说明在该行进行线性拟合时，图像中有相当一部分格点不满足直线拟合的要求，畸变属于曲线形式如图3所示。需要进行多项式残差补偿S44。若S₁＞T₁，则认为格点按行进行线性拟合时，位于一直线上，则直接进入步骤(4)对行直线平行度进行矫正。

(3)对于畸变属于曲线形式，需进行多项式残差补偿S44，将其矫正为标准直线。多项式包括二阶多项式，三阶多项式等,本方法只考虑二阶多项式残差补偿。首先使用多项式按行拟合误差集合S42，公式如下：H₁＝a₁x²+b₁x+c₁,其中x为格点图像横坐标。然后对畸变曲线进行二阶多项式残差补偿：y₃＝y₁+H₁，式中y₃为经H₁残差补偿后图像格点纵坐标。矫正完毕后，输出横向畸变矫正参数a₁,b₁,c₁。输出经残差补偿后的格点图像坐标集合S46。利用S46拟合行直线系列S47。获取每行拟合直线方程。

(4)拟合行直线间并不严格平行，存在相对偏移如图4所示。为提高矫正精度需对所有拟合行直线间进行平行度矫正。为统一描述经步骤(2)，(3)矫正后的格点图像坐标记为(x,y₄)。所有拟合行直线方程记为y₄＝k_hx+b_h，其中k_h，b_h分别为经步骤(2)(3)矫正拟合后所有行直线斜率与截距集合。

如图6所示令所有拟合行直线过原点,记直线方程为y₄＝k_hx。在x＝μ₁时以L₁直线为基准,记L₂，L₃，L₄……L_M相对L₁直线的偏移距离分别为D_(2→1),D_(3→1),D_(4→1)……D_(M→1)。建立一阶线性畸变矫正关系S52：y₅＝y₄[1+F(x)],式中F(x)展开为x的多项式，可以是一阶，二阶，三阶等，本方法只考虑一阶线性关系，即F(x)＝Ex。参数E通过如下步骤获取。

以图6中第一行直线L₁作为基准，计算x＝μ₁时直线系列对应的两个值，一个值根据过原点直线方程y₄＝k_hx,计算结果记为G，一种根据方程y₄＝k_hx+b_h，计算结果记为R。μ₁取图像的横向分辨率。第一行直线G值记为G₁，第i行直线G值记为G_i，其中1<i<M，G₁与Gi作差即可反映出直线间偏移程度。计算第i行直线相对L₁直线的矫正系数如下：E＝(G₁-G_i)/(μ₁R)，选取E平均值作为直线偏移矫正系数E₁，对拟合行直线间平行度进行矫正，使图像在行方向上满足平行度要求。输出经横向矫正后的格点图像坐标集合(x₆,y₆),记为S5,输出平行度畸变矫正参数E₁。

4、图像纵向畸变矫正

(1)输入左右图像格点图像坐标S5，利用拟合算法：如最小二乘法，对左右图像所有格点拟合列直线S61。直线方程为x_z＝k_zy_z+b_z,式中y_z为经图像横向畸变矫正后的格点图像纵坐标。k_z,b_z分别为所有拟合列直线斜率与截距集合。拟合结果如图7，图8，图9所示。图7为理想拟合情况。

(2)利用拟合后直线方程以格点实际纵坐标y_z为自变量,计算出理论横坐标x₇，令理论横坐标x₇与格点实际横坐标x₆作差，得出每一格点横向拟合误差H_横，统计列直线拟合误差集合S62。根据系统精度需要，给定误差统计的阈值Tmax₂，计算所有满足条件H_横＜Tmax₂的格点的数目U₂，计算拟合度S₂＝U₂/(M×N),其中M、N分别代表所选取标定样板中格点的行数与列数,给定比例阈值范围0.8～1。在此范围内根据系统精度功能要求选取比例阈值T₂。给出下面的畸变判定依据进行列曲线识别：如果S₂≤T₂，则说明在该列进行线性拟合时，图像中有相当一部分格点不满足直线拟合的要求，畸变属于曲线形式如图8所示。需进行多项式残差补偿S64。若S₂＞T₂，则认为格点按列进行线性拟合时，位于一列直线上，直接进入步骤(4)对列直线平行度进行矫正。

(3)对于畸变属于曲线形式，需进行多项式残差补偿S64，将其矫正为一系列标准直线。多项式拟合包括有二阶多项式拟合，三阶多项式拟合等,此方法只考虑二阶多项式残补偿差。使用二阶多项式按列拟合误差集合，公式如下：H₂＝a₂y_z ²+b₂y_z+c₂。对畸变曲线进行二阶多项式残差补偿，以此将曲线转化为直线，公式如下：x₈＝x₇+H₂，其中x₈为经H₂残差补偿后格点图像横坐标。矫正完毕后，输出横向畸变矫正参数a₂,b₂,c₂。输出格点图像坐标S66，利用S66拟合列直线系列S67。

(4)拟合列直线间并不严格平行，存在相对偏移。为提高矫正精度需对所有拟合列直线间进行平行度矫正。经图像纵向畸变矫正步骤(2)，(3)矫正后的坐标记为(x₉,y₉)，所有拟合列直线方程记为x₉＝k_ty₉+b_t，其中k_t，b_t分别为所有拟合列直线斜率与截距集合。

令所有拟合列直线过原点,直线方程为x₉＝k_ty₉，建立一阶线性畸变矫正关系：x₁₀＝x₉[1+F(y₉)],把F(y₉)展开为y₉的多项式，可以是一阶，二阶，三阶等，本方法只考虑一阶线性关系，即F(y₉)＝Ey₉。参数E需要通过如下步骤获取。

以图像左侧第一列格点拟合直线作为基准，计算当纵坐标y＝w₁时直线系列对应的两个横坐标值，其中w₁取图像纵向分辨率。一种根据过原点直线方程x＝k_ty₉,计算结果记为Z，一种根据方程x₉＝k_ty₉+b_t，计算结果记为Q。过原点第一列直线Z值记为Z₁，第i列直线Z值记为Z_i，其中1<i<N，Z₁与Zi作差即可反映出列直线间偏移程度。计算第i条拟合列直线相对左侧第一条列直线的矫正系数如下：E＝(Z₁-Z_i)/(w₁×Q)，选取E平均值作为直线偏移矫正系数E₂，对拟合列直线间平行度进行矫正，使图像在列方向上满足要求。输出校正后的格点坐标系列,输出平行度畸变矫正参数E₂。

5、视差曲面平整度矫正

SLM双目立体视觉的一个重要特点是提供纵向定位能力，通过左右图像视差间接反映不同像点之间纵向坐标的差别，理想情况下视差平面是应一个平面，如图11所示，但是实际情况中通过SLM视觉系统的视差平面通常情况下是一个曲面，如图12所示。因此在进行图像横向和纵向矫正的基础上必须进一步矫正视差曲面平整度。

(1)输入左图像格点坐标系列，根据拟合算法如最小二乘法，沿行方向拟合直线，获取直线斜率k_l，计算每条直线相对x轴的偏转角α_l＝arctank_l,输入右图像格点坐标系列，根据拟合算法如最小二乘法，沿行方向拟合直线，获取直线斜率k_r，计算每条直线相对x轴的偏转角α_i＝arctank_r，对左右图像每行拟合直线偏转角求差后即为对应两条直线间的相对偏转角，取所有直线间相对偏转角平均数作为右图像相对左图像的旋转角，矫正左右图像间相对旋转。令左右图像每行对应格点纵坐标在列方向上作差，取所求差值的平均值作为左右图像间的相对平移量，即为左右相机面在竖直方向上的相对偏移距离，矫正左右相机面间的相对偏移，使左图像和右图像满足外极限约束条件。

(2)输入左右图像初始视差S82，以左图像行格点坐标x作为自变量，视差P作为因变量，利用最小二乘法拟合视差直线S83，直线方程为P＝Kx+B，利用拟合后直线方程以格点实际横坐标x_P为自变量计算出理论视差P₁，令理论视差P₁与左右图像实际视差P₂作差，获得视差直线拟合误差集合，记为H_视差。根据系统需求，选取误差统计阈值Tmax₃，统计满足条件H_视差＜Tmax₃的格点的数目U₃，计算拟合度S₃＝U₃/(M×N),其中M、N分别代表所选取标定样板中格点的行数与列数,给定比例阈值范围0.8～1。在此范围内根据系统精度功能要求选取比例阈值T₃。

给出畸变判定依据进行拟合视差曲线识别：如果S₃≤T₃，则说明按行拟合视差直线时，不满足直线拟合的要求，畸变属于曲线形式。需要进行多项式残差补偿S86，多项式拟合包括有二阶多项式拟合，三阶多项式拟合等,此方法只考虑二阶多项式拟合。利用二阶多项式拟合误差集合，公式如下：H₃＝a₃x²+b₃x+c₃。通过公式P＝P₁+H₃，对视差曲线进行二阶多项式残差补偿,将其矫正转化为直线，输出矫正图像格点坐标集合S87，利用S87再次拟合视差直线S88，完成视差曲面的矫正。输出视差曲面畸变矫正参数a₃,b₃,c₃。若S₃＞T₃，则说明格点按行拟合视差直线时，符合精度要求，直接输出视差曲面矫正参数K，B。

6、输出畸变矫正参数

输出图像横向畸变矫正参数，纵向畸变矫正参数，视差曲面矫正参数，获取矫正后的SLM显微视觉系统左图像，右图像。

对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。

Claims (5)

1.一种SLM显微立体视觉图像畸变矫正方法，特征在于包括以下步骤：输入左右图像，图像横向畸变矫正，图像纵向畸变矫正，视差曲面平整度矫正，输出畸变矫正参数，获取矫正后的左图像，右图像；横向畸变矫正，纵向畸变矫正时矫正先后顺序能互换。

2.根据权利要求1所述的SLM显微立体视觉图像畸变矫正方法，其特征在于，左右图像获得具体为：利用SLM显微视觉系统拍摄物空间上单元格点的左图像，右图像，向计算机输入左右图像；在左右图像上分别通过亚像素边缘提取算法和圆拟合方法获取每行格点坐标，输出左右图像上所有格点图像坐标集合。

3.根据权利要求1所述的SLM显微立体视觉图像畸变矫正方法，其特征在于，图像横向畸变矫正具体为：对左右图像进行利用拟合算法对左右图像中所有格点按行拟合直线，获取直线方程；计算每行拟合直线最大拟合误差，给出畸变判定依据，对行曲线识别，若判定结果为曲线则需要建立行格点坐标与拟合误差之间多项式关系，进行多项式残差补偿后输出直线方程；若判定结果为直线则直接输出直线方程；然后对每行直线间的平行度进行矫正，获取图像横向畸变矫正参数。

4.根据权利要求1所述的SLM显微立体视觉图像畸变矫正方法，其特征在于，图像纵向畸变矫正具体为：根据拟合算法对左右图像中格点按列拟合直线；根据直线方程参数，计算每列拟合直线最大拟合误差，给出畸变判定依据，对列曲线识别，若判定结果为曲线则需要建立列格点坐标与拟合误差之间多项式关系，进行多项式残差补偿后输出直线方程；若为直线，则直接输出直线方程；然后对每列直线间的平行度进行矫正，获取图像纵向畸变矫正参数。

5.根据权利要求1所述的SLM显微立体视觉图像畸变矫正方法，其特征在于，视差曲面平整度矫正具体为：计算左右图像视差，利用拟合算法拟合水平视差直线，根据直线方程参数，计算每行拟合直线最大拟合误差，给出畸变判定依据，对视差曲线进行曲线识别，若判定结果为曲线，则进行多项式残差补偿，将其矫正为直线；若判定结果为直线，则直接输出直线方程；实现对视差曲面平整度进行矫正，获取视差曲面矫正参数。