CN106907988B

CN106907988B - 基础数据矩阵显微视觉建模方法

Info

Publication number: CN106907988B
Application number: CN201710106626.4A
Authority: CN
Inventors: 王跃宗; 赵志忠; 隆超
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-02-27
Filing date: 2017-02-27
Publication date: 2019-03-22
Anticipated expiration: 2037-02-27
Also published as: CN106907988A

Abstract

本发明涉及一种用于SLM微操作高精度定位的基础数据矩阵建模方法，该方法使用复合式体视显微镜立体视觉测量系统，采集多维空间立体图像对，系统包括三维操作台、旋转台、横向位移台、体视显微镜和左、右相机，该方法的主要步骤：获取每个物空间点的坐标和左右图像，建立视差空间，错误点数据的排除，物空间基础数据矩阵和视差空间对应关系的确立，基础数据矩阵模型的确定，测试模型精度。采用基础数据矩阵建模方法实现精确定位，以基础数据矩阵实现物空间和图像空间的对应关系，输出目标物的物空间位置和物空间距离，实现高精度的显微立体测量。该方法能能够解决显微立体视觉中定位误差大，受图像畸变影响大等精密视觉测量问题。

Description

基础数据矩阵显微视觉建模方法

技术领域

本发明涉及一种高精度定位的基础数据矩阵建模方法，该方法使用复合式体视显微镜(Stereo light microscope,简称SLM)立体视觉测量系统采集多组空间立体图像对，系统包括三维操作台、旋转台、横向位移台、SLM和左、右相机(采用CCD相机)，特别是涉及采用基础数据矩阵建模方法实现精确定位，以基础数据矩阵实现物空间和图像空间的对应关系，输出目标物的物空间位置和物空间距离，实现高精度的显微立体测量。

背景技术

SLM具有两套光路，呈一定夹角，可以与两个相机组合后构成显微立体视觉系统，通过立体图像对的匹配反求微观对象的物空间位置，在计算机中输出物空间的位置和距离，可用于微观对象的立体结构测量，如长度、宽度、高度、表面粗糙度。现有的测量模型主要包括两种，一种是由Kim，Bovik和Sano等在1998年提出的简单模型，这类模型不需要复杂的标定参数，但是只有比较低的重构精度。另外一种是由Danuser和张广军等提出的复杂模型，Danuser提出的模型，在放大倍数为1.6×，测量范围为0.05mm时，径向和轴向的精度分别可以达到0.1％和1-2％，张广军提出的模型精度为0.12％在放大倍数为3.024×，测量范围为0.3125mm。现有视觉模型多基于投影法建立，通过畸变参数的矫正改善模型定位精度，该过程通常采用参数优化的方法来实现，参数标定结果受优化策略、方法类别及物像数据的影响极为明显。

本发明针对现有的体视显微镜视觉系统，提出了一种视觉模型，配合三维操作台、旋转台、横向位移台直接采集空间位置的原始立体图像对，形成视差空间和物空间的对应关系，构成空间图像序列，包含了整个视场空间的信息，依赖于基础数据矩阵，克服了非线性优化初值对定位精度的影响。该模型可以实现在微观领域的精确定位。与传统的模型相比，建模过程简单，模型精度高，不依赖于初值。

发明内容

针对现有视觉模型存在的问题，本发明实现了物空间和视差空间点的对应关系，在立方体内部采用插值，改变影响系数等方法实现由双目立体视觉获得的两幅图像确定物空间坐标，本发明的实现流程如图1所示：左图像(S3)和右图像(S4)形成左原始图像序列(S1)和右原始图像序列(S2)，通过图像处理的方法可以获得左右图像的坐标矩阵(S5和S6)。左右图像的坐标矩阵可以获得视差空间矩阵(S7)，三维操作台提供物空间坐标(S8)，视差空间矩阵(S7)和物空间坐标(S8)可以获得物空间基础数据，基础数据结构，视差空间基础数据(S9)，这样就构成基础数据矩阵模型(S10)。当已知物空间一点的左右图像(S12)时，可以获得视差空间坐标(S13)，视差空间坐标根据搜索算法和单元格结构(S11)，可以得出物空间坐标(S14)。

本发明所涉及的基础数据矩阵建模方法,是由SLM显微视觉系统采集原始立体图像对并保存对应的物空间坐标，建立基础数据模型，当已知物空间图像对时，即可以根据物空间图像对的图像坐标求得视差坐标，可由物空间和视差空间的对应关系，获得物空间的坐标。所述的基础数据矩阵建模方法包括以下步骤：

1、数据采集

SLM显微视觉系统的主体为体视显微镜5，左相机6和右相机7分别固定于体视显微镜5的固定架1与2上面，显微物镜14固定在体视显微镜5的下端，环形光源13固定在显微物镜14的下端。被测物体8置于旋转台9上面，旋转台9安放在横向位移台10上，载物台3与三维操作台4固定。移动台控制器12与三维操作台4、旋转台9、横向位移台10连接并控制三维操作台4、旋转台9、横向位移台10动作。左相机6和右相机7通过USB口与计算机11连接，移动台控制器12通过串口与计算机11通信。计算机11采集左相机6和右相机7中的立体图像对并进行处理，通过串行口控制移动台控制器12输出脉冲信号，控制三维操作台4移动。控制三维平移台4在物空间运动一系列点，保存每个点在物空间的坐标,同时采集每个点的左右图像。

2、基础数据矩阵建立

分别提取左右图像的图像空间坐标，左右图像各有一个二维的坐标系，通过配准使左右图像的纵坐标相等，视差坐标的值由左右图像横坐标的差确定，由此可以确定视差空间的三维坐标。而物空间的三维坐标是已知的，物空间的点坐标和视差空间的顶点坐标形成对应关系。也就建立了物空间和视差空间的数据矩阵。

3、基础数据矩阵修正

在运动过程中，由于震动、噪声等原因，可能会造成采集的图像或物空间的某个点数据错误，根据物空间中的每个点的距离相等，在视差空间的点的距离相近，若视差空间点的距离超出某个值，则排除掉错误的点，采用拟合的方法，用新的点数据代替错误点数据。

4、物空间和视差空间映射关系确定

物空间单元格是标准的立方体，由于图像畸变等原因，视差空间的单元格有一定变形，根据物空间的点和与之对应的视差空间的点，物空间单元格和视差空间单元格的特点，可以确定物空间和视差空间的对应关系。

5、定位策略

当已知一点的左右图像时，则可以根据该点的左右图像确定该点的视差坐标。此时，问题转换为已知视差空间的一点，确定对应的物空间的点。视差空间点的位置分两种情况，一种是该点位于视差单元格的顶点，则可以直接通过搜索获得该点的物空间坐标。另一种情况是位于视差单元格的内部，则通过单元格的顶点确定物空间点的坐标。

6、输出物空间坐标

在视觉系统下，三维平移台带动标定样板运动，在物空间采集一系列的点并保存每点的物空间位置和图像，采用图像计算的物空间坐标和用运动控制卡记录的物空间坐标进行比较。

附图说明

图1为本发明的实现流程图

图2为本发明涉及的SLM立体视觉测量系统

图3为本发明涉及的物空间点的位置

图4为本发明涉及的物空间对应的左右图像对序列

图5为本发明涉及的提取的左右图像的坐标

图6为本发明涉及的视差空间点的位置

图7为本发明涉及的数据流程图

图8为本发明涉及的整体测试精度结果

图9为本发明涉及的采用针孔模型的精度结果

附图中标记说明

1、左相机固定架

2、右相机固定架

3、载物台

4、三维操作台

5、体视显微镜

6、左相机

7、右相机

8、被测物体

9、旋转台

10、横向位移台

11、计算机

12、移动台控制器

13、环形光源

14、显微物镜

物空间第N层，第1行，第1列的点

物空间第N层，第1行，第K列的点

物空间第N层，第M行，第1列的点

A₁、物空间第1层

A₂、物空间第2层

A₃、物空间第3层

A_N、物空间第N层

第N层，第1行，第1列点的左图像

第N层，第1行，第K列点的左图像

第N层，第M行，第1列点的左图像

IL₁、物空间第1层点的左图像

IL₂、物空间第2层点的左图像

IL₃、物空间第3层点的左图像

IL_N、物空间第N层点的左图像

第N层，第1行，第1列点的右图像

第N层，第1行，第K列点的右图像

第N层，第M行，第1列点的右图像

IR₁、物空间第1层点的右图像

IR₂、物空间第2层点的右图像

IR₃、物空间第3层点的右图像

IR_N、物空间第N层点的右图像

第N层，第1行，第1列点的左图像的坐标

第N层，第1行，第K列点的左图像的坐标

第N层，第M行，第1列点的左图像的坐标

DL₁、物空间第1层点的左图像的坐标

DL₂、物空间第2层点的左图像的坐标

DL₃、物空间第3层点的左图像的坐标

DL _N、物空间第N层点的左图像的坐标

第N层，第1行，第1列点的右图像的坐标

第N层，第1行，第K列点的右图像的坐标

第N层，第M行，第1列点的右图像的坐标

DR₁、物空间第1层点的右图像的坐标

DR₂、物空间第2层点的右图像的坐标

DR₃、物空间第3层点的右图像的坐标

DR_N、物空间第N层点的右图像的坐标

第N层，第1行，第1列点的视差坐标

第N层，第1行，第K列点的视差坐标

第N层，第M行，第1列点的视差坐标

D₁、物空间第1层点的视差坐标

D₂、物空间第2层点的视差坐标

D₃、物空间第3层点的视差坐标

D_N、物空间第N层点的视差坐标

T1、物空间基础数据

T2、基础数据结构

T3、视差空间基础数据

T4、基础数据模型参数

T5、视差坐标

T6、物空间坐标

<SUGA>、搜索算法

<MR>、表示单元格的结构

P、物空间的点

P^d、视差空间的点

E_XX、X方向上运动时X方向的误差

E_YX、X方向上运动时Y方向的误差

E_ZX、X方向上运动时Z方向的误差

E_XY、Y方向上运动时X方向的误差

E_YY、Y方向上运动时Y方向的误差

E_ZY、Y方向上运动时Z方向的误差

E_XZ、Z方向上运动时X方向的误差

E_YZ、Z方向上运动时Y方向的误差

E_ZZ、Z方向上运动时Z方向的误差

具体实施方式

现结合附图对本发明作进一步详细阐述。图1-图9显示本发明涉及的基础数据矩阵建模方法的流程图和误差分析图，基础数据矩阵建模方法包括以下步骤：

共建立如下四个坐标系：物空间坐标系XYZ(图3所示)，建立在驱动组件上；左图像坐标系建立在左图像中；右图像坐标系(图5所示)，建立在右图像中，左(右)图像坐标系均以像素为单位；视差坐标系(图6所示)，它由左右图像的视差D和左图像的坐标构成。

1、数据采集

三维平移台带动标定样板在物空间运动如图3中所示的空间位置，空间位置共有N层，每层分别定义为A₁，A₂，A₃…A_N，其中第N层共有K×M个点。这些点的定义为：沿X轴方向上，有点共K列，沿Y轴方向上，有点共M行。三维平移台在空间按照图3所示的空间位置运动一系列的点，保存每个点在物空间的坐标和每个点的左右图像，保存的左右图像如图4所示,视场内的每一个点分别在左右图像平面上成像,物空间的每一个点都会形成一个左图像和右图像，左右图像的图像集合分别记为IL和IR，沿X方向的左图像记为共K列，沿Y轴方向上的左图像记为共M行，左图像每一层分别标记为IL₁，IL₂，IL₃…IL_N；沿X方向的右图像记为共K列，沿Y轴方向上的右图像记为共M行，右图像每一层分别标记为IR₁，IR₂，IR₃,…IR_N，由此，完成了物空间图像的采集。

2、基础数据矩阵建立

提取左右图像中标记点的坐标，如图5所示：左图像提取的图像坐标与左图像相对应，沿方向第N层的图像的坐标为沿方向第N层的图像的坐标为左图像坐标每一层分别标记为DL₁，DL₂，DL₃…DL_N；右图像提取的图像坐标与右图像相对应，沿方向第N层的图像的坐标为沿方向第N层的图像的坐标为右图像坐标每一层分别标记为DR₁，DR₂，DR₃…DR_N；根据视差公式确定左右图像的视差，由此可以确定视差空间的坐标，视差空间的点与物空间的点相对应，如图6所示，沿方向第N层的图像的坐标为沿方向记为视差空间坐标不同层分别标记为D₁，D₂，D₃…D_N。

3、基础数据矩阵修正

在系统运动过程中，由于震动、噪声等原因，可能会造成采集的图像或物空间的某个点出现偏差，物空间中的每个点的距离相等，在视差空间的点的距离近似相等，采用相邻点的距离在小于某个偏差值，排除掉错误的点，采用拟合的方法，用新的点数据代替错误点数据。

4、物空间和视差空间映射关系确定

经过步骤1和步骤2可以获得物空间基础数据(T1)和视差空间基础数据(T3)，同时可以获得基础数据结构(T2)，由这三部分可以确定基础数据模型参数(T4)，<SUGA>表示搜索算子，<MR>表示单元格的结构。

物空间的每个点和视差空间的每个点是对应的，即分别与X，Y对应，D与Z方向对应；分别与对应，分别与对应，A₁，A₂，A₃…A_N和D₁，D₂，D₃…D_N分别对应。

5、定位策略

物空间的单元格和视差空间的单元格是一一对应的关系，当已知一点的左右图像时，则可以根据该点的左右图像确定该点的视差坐标，从而确定对应的物空间的点的坐标。

由于成像系统，光照，机械结构等方面的原因，视差空间的单元格有一定的变形，但D三个方向上的单元格边仍然保持平行。

假设视差空间的点为P^d，与其对应的物空间的点为P。通过左右图像可以获得P^d点的视差坐标，设为视差空间基础数据设为当P^d在视差单元格的内部时，通过比较P^d与V的距离，可以确定P^d周围的8个点(设为VD)和这8个点的位置。把P^d分别按视差单元格的棱的三个方向进行投影，这样会得到P^d点在各个棱上的投影点，记为P^dt。RelationD为视差空间点与视差单元格顶点的关系，LD为视差单元格的边长，则RelationD可以用下式表示：

RelationD＝(P^dt-V)/LD

LO为物空间单元格的边长，VO为物空间单元格的顶点坐标，则P点的坐标可以由下式求得：

P＝RelationD*LO+VO

当视差坐标系中的点不在视差单元格的内部时，则用周围的12个点，18个点，27个点进行计算。若由<SUGA>确定周围的点为12个，则说明测试点在两个视差单元格相交的面上，则用这两个视差单元格分别计算。若点的个数为18个，则证明测试点在4个单元格相交的棱上，用4个单元格分别计算，然后求均值。若点的个数为27个，则用周围的8个单元格计算，然后求8个单元格计算的均值。

P点距离哪个点近，由该点计算出的P点的值接近真值的可能性就越大，离P点的距离越远，由该点求出的值接近真值的可能性就越低，在求物空间的坐标时，分别在XYZ三个方向上，用距离的倒数作为影响因子来估算P点的值。

确定基础数据矩阵模型，当输入视差坐标(T5)时，则可以确定物空间坐标(T6)。

6、输出物空间坐标

在物空间运动一系列的点，覆盖整个视差空间，比较这些点和运动控制卡记录的物空间坐标的差，结果如图8所示，在E_XX、E_YX、E_XY、E_YY、E_XZ、E_YZ方向上的误差在±5μm范围内，在E_ZX、E_ZY、E_ZZ方向上的误差在±10μm范围内。

为了说明本方法在SLM显微视觉系统中的高精度重构能力，我们使用Halcon软件提供的针孔摄像机模型的标定、重构模块计算x轴图像序列、y轴图像序列和z轴图像序列中格点的世界坐标，统计针孔模型重构结果的残差数据，并与本文方法进行重构后的残差数据进行比较。

图9为使用针孔模型重构方法的残差数据分布图，从图中可以看出，它的E_XX、E_XY的数据分布于(-10μm,10μm)区间内，E_XZ的数据发散度较大，最大残差接近0.15mm。|E_YX|、|E_YY|、|E_ZX|、|E_ZY|和|E_ZZ|的最大值分别接近0.04mm、0.08mm、0.1mm、0.2mm、0.2mm，E_YZ的数据主要分布于±0.02mm的残差区间内。图9说明针孔摄像机模型的重构精度远远低于本发明方法的重构精度，本发明方法具有更强的适应能力，更高的重构精度能力。

对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。

Claims

1.用于SLM微操作高精度定位的基础数据矩阵建模方法，其特征在于，包含以下步骤：物空间图像采集，建立视差空间，模型错误点排除，物空间基础数据矩阵和视差空间对应关系的确立，基础数据矩阵模型的确定；

物空间图像采集具体为：利用SLM显微视觉系统拍摄物空间上单元格点的左图像，右图像，向计算机输入左右图像，同时保存左右图像和对应的物空间坐标；

建立视差空间具体为：在左右图像上分别通过亚像素边缘提取算法和圆拟合方法获取格点坐标，计算每个点对应的视差坐标；

模型错误点具体为：排除掉错误的点，采用拟合的方法，用新的点数据代替错误点数据；

物空间基础数据矩阵和视差空间对应关系的确立具体为：根据物空间的点和与之对应的视差空间的点，物空间单元格和视差空间单元格的特点，确定物空间和视差空间的对应关系；

物空间基础数据矩阵和视差空间对应关系的确立具体为：物空间的单元格与视差空间的单元格是对应的关系，当已知一点的左右图像时，则能根据该点的左右图像确定该点的视差坐标，确定对应的物空间的点的坐标；视差空间点的位置分两种情况，一种是该点位于视差单元格的顶点，则直接通过搜索获得该点的物空间坐标；另一种情况是位于视差单元格的内部，则通过单元格的顶点确定物空间点的坐标；

最后在视觉系统下，三维平移台带动标定样板运动，在物空间采集一系列的点并保存每点的物空间位置和图像，采用图像计算的物空间坐标和用运动控制卡记录的物空间坐标进行比较。