CN108765495A - 一种基于双目视觉检测技术的快速标定方法及系统 - Google Patents

Abstract

本发明公开了一种基于双目视觉检测技术的快速标定方法及系统，利用双目视觉系统对在标定空间内移动的靶纸进行图像采集，得到整个标定空间的靶纸图像；获取每张图像的最佳全局阈值，提取各图像中成阵列排布的网格点的像素坐标，定义靶纸上一个实际坐标原点，计算靶纸上每一点的实际坐标，建立网格坐标数据库，结合坐标系映射关系实现系统标定。本发明的方法向并行化发展，提高匹配速度，减少运算量，增强系统的实用性，适应性强。

Description

一种基于双目视觉检测技术的快速标定方法及系统

技术领域

本发明涉及一种基于双目视觉检测技术的快速标定方法及系统。

背景技术

随着光学、电子学以及计算机技术的发展，双目立体检测技术广泛应用于工业检测，生物医学，虚拟现实等领域。双目立体视觉具有测量精度高、系统结构简单、获取信息丰富、效率高和适应性强等优点，是目前非接触自动在线检测和质量控制等研究中最受欢迎的视觉传感技术之一。但实践证明：当双目视觉检测技术应用于恶劣环境时，受到各种复杂因素影响，导致两相机中特征点的识别、匹配以及跟踪困难，另外对两相机同步采集图像品质要求也很高，而且大部分需要辅助光源，额外增加了研究成本，并且有的重建精度也有待提高。

如何建立更有效的双目立体视觉模型，充分反映立体视觉不确定性的本质属性，为匹配提供更多的约束信息，探索新的适用于全面立体视觉的计算理论和匹配选择有效的匹配准则和算法结构，以解决相机畸变等匹配问题，如何提高匹配速度，减少运算量，增强系统的实用性已成为亟待解决的问题。

发明内容

本发明为了解决上述问题，提出了一种基于双目视觉检测技术的快速标定方法及系统，本发明能够降低立体匹配难度，简化算法，提高匹配速度及精度，达到适用性广、适应性强的目的。

为了实现上述目的，本发明采用如下技术方案：

一种基于双目视觉检测技术的快速标定方法，包括以下步骤：

利用双目视觉系统对在标定空间内移动的靶纸进行图像采集，得到整个标定空间的靶纸图像；

获取每张图像的最佳全局阈值，提取各图像中成阵列排布的网格点的像素坐标，定义靶纸上一个实际坐标原点，计算靶纸上每一点的实际坐标，建立网格坐标数据库，结合坐标系映射关系实现系统标定。

进一步的，获取每张图像的最佳全局阈值的具体过程包括：

设置初始阈值，得到标靶图像上的所有连通区域，选择连通区域的面积众数作为图像网格点的面积众数，进而确定最大允许面积；

更改阈值，将阈值分割网格点最大面积作为反馈因子，此时的阈值就认为是最佳阈值。

更进一步的，若使用当前阈值对图像二值化后其连通域最大面积超过了允许值，则通过减小阈值的方法来消除背景色对图像网格点的扩展作用，多次循环直至所有网格点的面积都在一定范围内。

更进一步的，最大允许面积为面积的众数与第一系数的乘积。

进一步的，坐标系映射关系的确定时，需建立点阵像素坐标系(X,Y)到世界坐标系(x,y,z)的映射，而世界坐标系中y值的大小只取决于标靶所处的位置，与像素坐标无关；在标靶图像中寻找距离待求点最近的四个网格点，根据四点的像素坐标矩阵P、世界坐标矩阵W求得转换矩阵T，基于转换矩阵T获得待求点的计算世界坐标。

进一步的，结合坐标系映射关系实现系统标定时，将待求点的像素坐标分别代入双目视觉系统中的两相机各组对应标靶图像中，获得一系列对应世界坐标，分别表示待求点根据对应标靶计算的两组世界坐标，当待求点位于两标靶之间时，计算对应世界坐标间的距离。

更进一步的，将距离小的两组标靶视为待求点的最临近的标靶，假设待求点与两临近标靶的世界坐标中的x轴坐标的平均值相等，根据相似三角形定理，求得待求点的其他坐标值。

一种基于双目视觉检测技术的快速标定系统，包括双目视觉系统、移动单元和图像处理系统，其中：

所述双目视觉系统包括两个并列设置的相机，所述相机的图像采集窗口与标定空间以及靶纸移动距离相适配，将靶纸朝着相机移动的方向定为正方向，靶纸从坐标原点开始沿正方向移动，每次移动适当距离，得到所需整个标定空间的靶纸图像；

所述移动单元控制标靶在x、y和z三个方向上运动；

所述图像处理系统，被配置为接收两相机采集的靶纸图像，提取各图像中成阵列排布的网格点的像素坐标，在靶纸上定义一个实际坐标原点，计算出靶纸上每一点的实际坐标，建立网格坐标数据库，结合坐标系映射关系与坐标数据库，实现标定。

进一步的，所述两个相机设置在同一滑槽内，并通过夹持装置活动设置于滑槽内，两个相机的位置、相对距离与角度均可调。

进一步的，所述移动单元为步进装置，所述步进装置上设置有靶纸，所述靶纸根据实际需要来设计靶纸网格大小和间距。

进一步的，所述靶纸为网格点阵、网格、棋盘或任意相关形状。

与现有技术相比，本发明的有益效果为：

本发明适用于全面立体视觉的计算理论和匹配选择有效的匹配准则和算法结构，算法简单。

本发明应用于复杂环境时，不需要辅助光源，降低研究成本。

本发明通过预设坐标系标定可良好避免相机畸变等匹配问题。

本发明基于双目视觉系统，可拍摄区域大，角度可调整范围广；由于整个系统全部采用螺纹连接，刚度大，抗扰动能力强，系统稳定性高。

本发明的方法向并行化发展，提高匹配速度，减少运算量，增强系统的实用性，适应性强。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明快速标定系统原理图；

图2为本发明双相机夹持装置结构示意图；

图3为本发明插值算法空间几何关系图；

图4为本发明实施例1标定系统结构图；

图5为本发明实施例1标准铝合金块及其长度恢复图；

其中：图5中的(a)、(c)、(e)为相机A的图像，(b)、(d)、(f)为相机B的图像。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

一种基于双目视觉检测的快速标定系统，它由双相机夹持装置、带有坐标原点标识的移动标靶、图像处理系统构成。通过夹持装置及滑槽实现精确调节两相机间相对位置、相对距离及角度；高精度步进装置控制标靶在三个方向上运动。图像处理系统中的自适应阈值获取算法，对靶纸图像进行处理提取像素坐标。

作为优选的，在其他实施例中，还可以增加坐标恢复系统，能够保证双相机夹持装置、移动标靶恢复到初始状态。在此不再赘述其结构。

本实施方式中两相机与夹持装置之间，夹持装置及滑槽之间，全部采用螺纹连接，这样的连接方式刚度大，抗扰动能力强，系统稳定性高。

作为更为优选的方案，出于轻量化以及耐蚀防锈考虑，夹持装置可以采用硬铝合金材料，并对其表面进行电镀处理使得装置表面漆黑，避免铝合金光亮表面反射弧光而影响图像拍摄。

夹持装置夹持相机后，相机相对位置不限。

可移动标靶系统由靶纸和高精度步进装置构成，所述的靶纸可根据实际需要来设计靶纸网格大小和间距，且靶纸可为网格点阵、网格、棋盘或任意相关形状。

高精度步进装置(可选用高精度步进电机或螺旋测微器等仪器)控制标靶在三个方向上运动。

标定时，将两相机位置固定，将靶纸朝着相机移动的方向定为正方向，靶纸从坐标原点开始沿正方向移动，每次移动适当距离，以此类推得到所需整个标定空间的靶纸图像。在不同实施情况下，两相机相对位置不限，如图1所示。

当然，图1仅仅给出了一种具体实施方式而已，在实际应用中，对于相机之间的位置关系并不限定，如两个相机可以并排横向设置。

视觉传感系统选用本发明研发出适用的可高精度步进的移动标靶进行坐标标定。

视觉检测系统中两个相机的空间位置对三维恢复的空间区域具有重要的影响，本发明通过夹持装置及滑槽来调整两相机间的相对位置，实现改变二者相对距离及角度，如图2所示。

标定时，靶纸沿正方向移动，每次移动适当距离。同时，始终保证坐标原点在标定空间内，用两相机采集靶纸图像。获得靶纸图像后，需用图像处理算法提取各图像中网格点阵的像素坐标，而后建立网格坐标数据库。

系统标定中使用的图像处理算法主要分为：基于效果反馈的自适应阈值获取算法的图像二值化、噪点处理、网格点阵提取。最后结合坐标映射关系便能实现系统标定。

具体的，首先，得到靶纸图像后，需用图像处理算法提取各图像中网格点阵的像素坐标，图像处理进行二值化的关键在于自动获取每张图像的最佳全局阈值。

本发明利用适用的基于效果反馈的自适应阈值获取算法，首先取合适的初始阈值，由此得到标靶图像上的所有连通区域，选择连通区域的面积众数作为图像网格点的面积众数，再用该众数乘以合适的系数作为网格点的最大允许面积。更改阈值，将阈值分割网格点最大面积作为反馈因子。若使用当前阈值对图像二值化后其连通域最大面积超过了允许值，则通过减小阈值的方法来消除背景色对图像网格点的“扩展”作用，多次循环直至所有网格点的面积都在一定范围内，则此时的阈值就认为是最佳阈值。

利用本发明图像处理算法进行噪点处理，首先计算出图像二值化后所有网格点面积的众数，将该众数乘以一定系数(本系统取0.13)作为所有网格点的最小允许面积。一旦某一网格点面积小于最小允许面积，就视为噪点直接去除。

提取各图像中成阵列排布的网格点像素坐标，根据靶纸上已标识的坐标原点，计算出靶纸上每一点的相对实际坐标，建立网格坐标数据库，至此建立完成所得靶纸上网格点的像素坐标与其实际坐标的对应关系，系统标定完成。

下一步将待测物体放入标定区内，运用该双目视觉检测系统进行图像拍摄。采用“Speeded-UpRobustFeatures”算法，获得两相机图像中一系列对应匹配点，即为待恢复点。为得到某一待恢复点Q的相对实际坐标，需对对应匹配点进行坐标映射和插值计算。具体过程包括：建立点阵像素坐标系(X,Y)到世界坐标系(x,y,z)的关系。由于世界坐标系中y值的大小只取决于标靶所处的位置，与像素坐标无关，因此只需确定(X,Y)与(x,z)的映射关系。在标靶图像中寻找距离映射点最近的四个网格点，根据四点的像素坐标矩阵P、世界坐标矩阵W求得转换矩阵T，基于转换矩阵T可获得映射点的计算世界坐标，如下所示。

由T_2X2×P_2X4＝W_2X4，得，

T＝W×P^-1

式中X、X₁、X₂、X₃、X₄、Y、Y₁、Y₂、Y₃、Y₄为像素坐标；

x、x₁、x₂、x₃、x₄、z、z₁、z₂、z₃、z₄为点阵世界坐标；

P为像素坐标矩阵；

W为世界坐标矩阵；

T为转换矩阵。

将待恢复点Q的像素坐标分别代入两相机各组对应标靶图像中，获得一系列对应世界坐标w₁、w₂，w₁、w₂分别表示Q点根据对应标靶计算的两组世界坐标(x,y,z)。当Q点位于两标靶之间时，计算对应w₁、w₂间的距离。

将距离小的两组标靶视为Q点的最临近的标靶，其空间几何关系如图3所示(采集视角垂直于靶纸移动方向)。

由于靶纸移动的间距很小，所以假设Q点x坐标等于两临近标靶x坐标的平均值，即：

根据相似三角形定理，可求得y_Q和z_Q，如下所示

据此实现该待恢复点Q的三维坐标恢复。同理，对于其他待恢复点重复此过程，直到恢复其三维形貌及尺寸，得到标定的最后结果。

实施例1：采用本发明一种基于双目视觉检测技术的快速标定方法，用于本实施例装置，选取三块不同尺寸的标准铝合金块进行长度恢复，所述加持装置夹持相机暂选用竖直夹持，高精度步进装置暂选用三个螺旋测微器控制标靶，如图4所示，由于图像在竖直方向畸变较小，这里只对铝合金块端面边长l进行误差测定。

如上所述完成系统坐标标定后，将三个不同尺寸的标准铝合金块分别任意置于标定区域内，并拍摄图像，采用三维恢复算法还原出其世界坐标，如图5中的(a)-(f)所示。计算值和测量值如表1所示。

表1实物恢复结果比较

由表1可知，对铝合金块实物三维恢复的系统最大相对误差为0.6％，说明该系统已具备足够高的精度和稳定性，并且算法简单、匹配速度快。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于双目视觉检测技术的快速标定方法，其特征是：包括以下步骤：

利用双目视觉系统对在标定空间内移动的靶纸进行图像采集，得到整个标定空间的靶纸图像；

获取每张图像的最佳全局阈值，提取各图像中成阵列排布的网格点的像素坐标，定义靶纸上一个实际坐标原点，计算靶纸上每一点的实际坐标，建立网格坐标数据库，结合坐标系映射关系实现系统标定。

2.如权利要求1所述的一种基于双目视觉检测技术的快速标定方法，其特征是：获取每张图像的最佳全局阈值的具体过程包括：

设置初始阈值，得到标靶图像上的所有连通区域，选择连通区域的面积众数作为图像网格点的面积众数，进而确定最大允许面积；

更改阈值，将阈值分割网格点最大面积作为反馈因子，此时的阈值就认为是最佳阈值。

3.如权利要求2所述的一种基于双目视觉检测技术的快速标定方法，其特征是：若使用当前阈值对图像二值化后其连通域最大面积超过了允许值，则通过减小阈值的方法来消除背景色对图像网格点的扩展作用，多次循环直至所有网格点的面积都在一定范围内。

4.如权利要求1所述的一种基于双目视觉检测技术的快速标定方法，其特征是：最大允许面积为面积众数与第一系数的乘积。

5.如权利要求1所述的一种基于双目视觉检测技术的快速标定方法，其特征是：坐标系映射关系的确定时，需建立点阵像素坐标系(X,Y)到世界坐标系(x,y,z)的映射，而世界坐标系中y值的大小只取决于标靶所处的位置，与像素坐标无关；在标靶图像中寻找距离待求点最近的四个网格点，根据四点的像素坐标矩阵P、世界坐标矩阵W求得转换矩阵T，基于转换矩阵T获得待求点的计算世界坐标。

6.如权利要求1所述的一种基于双目视觉检测技术的快速标定方法，其特征是：结合坐标系映射关系实现系统标定时，将待求点的像素坐标分别代入双目视觉系统中的两相机各组对应标靶图像中，获得一系列对应世界坐标，分别表示待求点根据对应标靶计算的两组世界坐标，当待求点位于两标靶之间时，计算对应世界坐标间的距离。

7.如权利要求6所述的一种基于双目视觉检测技术的快速标定方法，其特征是：将距离小的一组标靶视为待求点的最临近的标靶，假设待求点与两临近标靶的世界坐标中的x轴坐标的平均值相等，根据相似三角形定理，求得待求点的其他坐标值。

8.一种基于双目视觉检测技术的快速标定系统，其特征是：包括双目视觉系统、移动单元和图像处理系统，其中：

所述双目视觉系统包括两个并列设置的相机，所述相机的图像采集窗口与标定空间以及靶纸移动距离相适配，将靶纸朝着相机移动的方向定为正方向，靶纸从坐标原点开始沿正方向移动，每次移动适当距离，得到所需整个标定空间的靶纸图像；

所述移动单元控制标靶在x、y和z三个方向上运动；

所述图像处理系统，被配置为接收两相机采集的靶纸图像，提取各图像中成阵列排布的网格点的像素坐标，在靶纸上定义一个实际坐标原点，计算出靶纸上每一点的实际坐标，建立网格坐标数据库，结合坐标系映射关系与坐标数据库，实现标定。

9.如权利要求8所述的一种基于双目视觉检测技术的快速标定系统，其特征是：所述两个相机设置在同一滑槽内，并通过夹持装置活动设置于滑槽内，两个相机的位置、相对距离与角度均可调。

10.如权利要求8所述的一种基于双目视觉检测技术的快速标定系统，其特征是：所述移动单元为步进装置，所述步进装置上设置有靶纸，所述靶纸根据实际需要来设计靶纸网格大小和间距；

或，所述靶纸为网格点阵、网格或棋盘状。