CN111833405B - 基于机器视觉的标定识别方法及装置 - Google Patents

Abstract

本发明提供了一种基于机器视觉的标定识别方法及装置。该方法包括：识别标定图像中X角点的位置及方向，其中，X角点为标定图像的圆心；寻找N×N矩阵的中心点及四个定位点；根据中心点及四个定位点在相机图像中的位置，求解单应矩阵H；通过搜索法，找出标定点模板与图像X角点之间的对应点；将配对成功的X角点，对比中心点的方向进行编码。本发明提供的基于机器视觉的标定识别方法及装置实现了一种精度高，速度快，对遮挡、图像大小、图像质量鲁棒性强的Marker定义方法。

Description

基于机器视觉的标定识别方法及装置

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种基于机器视觉的标定识别方法及装置。

背景技术

在计算机视觉中，三维空间定位一直是研究的热点问题。目前空间三维定位可以分成无Marker定位和有Marker定位两类。无Marker定位主要用于定位与地图构建(SLAM)、物体表面三维重建等领域，它的优点在于无需在物体表面附着Marker，而是通过左右相机图像的对应关系、前后两帧图像的对应关系或者通过解码结构光的方式来还原物体的表面形状或者运动情况，它的缺点在于计算量大、精度低，且往往需要融合模式识别或者与物体理论模型进行配准，才能对目标物体进行定位，在实际使用中多有不便。有Marker定位是指在目标物体表面固连一个或多个Marker，Marker完全由用户自身定义，用户通过解析Marker的姿态来推算物体运动的位姿。在对于精度要求较高且场景可控的情况下，多数采用的是有Marker的定位方式，例如Micron Tracker，NDI等。

有Marker定位中，定位的方式主要有X角点、圆形靶点、红外反光小球、二维码等，另外还有它们的组合：X角点与二维码组合如Charuco标记点；二维码与圆形靶点组合如环形编码。

技术方案1：采用三个及以上不共线的X角点组成Marker，通过识别十字交叉点的位置对其进行定位。

技术方案2：采用三个及以上不共线的红外反光小球组成Marker，通过识别小球外轮廓，拟合出小球的中心位置来进行定位，优于小球是圆形的，所以该方案对角度偏转的适应性较好。

技术方案3：采用三个及以上不共线的圆形靶点组成Marker，通过识别圆形靶点外轮廓，拟合出靶点的中心位置来进行定位。

技术方案4：采用一个及以上二维码进行定位，通过解析二维码得到其编码信息进行识别，通过每个二维码的四个顶点，使用pnp算法计算出其位置进行定位。

技术方案5：采用三个及以上不共线的X角点，为每个角点配置对应的二维码，如charuco编码，利用二维码进行信息识别，利用X角点进行定位。

技术方案6：采用三个及以上不共线的圆形靶点，在每个靶点周围配置对应的二维码，如环形编码，利用二维码进行信息识别，利用圆形靶点进行定位。

现有技术方案1、2和3存在的共同缺点是包含的信息太少，只能通过X角点之间的相对位置信息来进行各个Marker之间的区分，一旦两组Marker的相对位置接近则可能会发生误识别。技术方案2中红外相机价格昂贵，难以普及。

现有技术方案4存在缺点是定位精度差、怕遮挡且对图像质量有很高的要求，一旦图像模糊或者分辨率太低则难以进行识别和定位。

现有技术方案5和6也都存在对图像清晰度要求高的缺点。

发明内容

本发明要解决的技术问题是提供一种基于机器视觉的标定识别方法及装置，实现了一种精度高，速度快，对遮挡、图像大小、图像质量鲁棒性强的Marker定义方法。

为解决上述技术问题，本发明提供了一种基于机器视觉的标定识别方法，使用的标定点上印制有呈N×N矩阵排列的标定图像，N为奇数，由处于中心的标定图像向外围，处于相同外周层次的标定图像中，除编号处于第一个的标定图像与之前的标定图像相同以外，其余均相较于之前的标定图像，顺时针或逆时针旋转90°，所述标定方法包括：识别标定图像中X角点的位置及方向，其中，X角点为标定图像的圆心；寻找N×N矩阵的中心点及四个定位点；根据中心点及四个定位点在相机图像中的位置，求解单应矩阵H；通过搜索法，找出标定点模板与图像X角点之间的对应点；将配对成功的X角点，对比中心点的方向进行编码。

在一些实施方式中，标定图像为圆形图像，标定图像由经过圆心且相互垂直的两条直线划分为四个区域，四个区域包括两个深色区域及两个浅色区域，两个深色区域相互不相邻，两个浅色区域相互不相邻。

在一些实施方式中，呈N×N矩阵排列的各个相邻标定图像相互之间等距。

在一些实施方式中，处于中心的标定图像与N×N矩阵的上边沿及下边沿等距，且与左边沿及右边沿等距。

在一些实施方式中，处于相同外周层次是指，与处于中心的标定图像之间间隔相同数量的标定图像。

在一些实施方式中，编号次序为：将处于右上角的标定图像标记为第一个标记图像，沿顺时针方向顺序编号。

在一些实施方式中，M的取值为3，N的取值为9。

在一些实施方式中，通过搜索法，找出标定点模板与图像X角点之间的对应点，包括：采用已配对X角点之间的几何关系，推算未配对X角点的位置，结合阈值进行判断，从而完成配对。

此外，本发明还提供了一种机器视觉的标定识别装置，所述装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的机器视觉的标定识别方法。

采用这样的设计后，本发明至少具有以下优点：

本发明的优点在于：其一，采用精度高的X角点作为靶点，采用高效的算子进行识别，在识别位置的同时识别X角点的方向，因此具有精度高、速度快、识别率高的优点。其二，本方法的Marker编码方式是从中心点开始，只要3*3＝9个X角点为受遮挡，该Marker总能被成功识别，在一部分Marker被遮挡的情况下，用户也可根据从剩下未遮挡的X角点中提取自己想要的信息，用户可以根据自身的需求设计Marker，信息量大。其三，由于X角点结构简单且特殊，因此在识别时对图像质量没有很高的要求，普适性高。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1是本发明实施例提供的基于机器视觉的标定识别方法的流程图；

图2是本发明实施例提供的基于机器视觉的标定点的主视图；

图3A是本发明实施例提供的X角点的主视图；

图3B是本发明实施例提供的图3A的局部放大图；

图4A是本发明实施例提供的X角点的方向区分图；

图4B是本发明实施例提供的方向为0的标定点的主视图；

图4C是本发明实施例提供的方向为4的标定点的主视图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种高精度可编码的Marker：通过特殊的X角点编码和解码算法，实现一种精度高，速度快，对遮挡、图像大小、图像质量鲁棒性强的Marker定义方法。参见图1，识别的具体步骤如下：

步骤1、定义和制作Marker。

用户在使用Marker前需设计好自己需要的Marker，设置好自身需要的编码内容。Marker的大小为N×N(N≥3，且为奇数)，即每一行有N个X角点，一共N行，X角点的行列间距一致。需要定义的尺寸参数包括相邻Marker之间的距离d₁，单个X角点的直径d₂，注意d₁＞d₂，以及X角点到Marker板边缘的距离d₃，如图2所示，图中N＝9，d₁＝15mm，d₂＝12mm，d₃＝9mm。

定义好Marker的个数和大小之后，需要对每个X角点的方向进行设计，由于在使用过程中Marker的姿态不固定，因此定义X角点的绝对方向没有意义，取而代之的是定义其相对方向。

本方法将整个标定板的原点设置为正中心(图2中标号为0)的X角点，处于三个方面：首先，中心位置受到遮挡的可能性最小，对来自每个方向的防遮挡效果一致；其次，中心X角点具有唯一性；最后，中心X角点是到整个Marker所有X角点距离平方和最小的点，更容易找出。

设置中心X角点的方向θ，将其编码定义为0，定义方向为1的X角点为方向为0的X角点顺/逆时针旋转90°(如图2中标号为2的角点)。

为了更方便准确识别X角点，将所有Marker的前9个点的编码固定为001111111，后文将具体介绍如何识别。从第10个点开始，用户可以根据自己的需要进行定义。因此每个Marker所携带的编码数量是由N决定的，即信息量I＝N*N–9，如图2中的编码为C＝001111111100000000000000001111111111111111111111110000000000000000000000000000000，信息量I＝72。

程序根据用户定义的N、d₁、d₂、d₃、C生成标定板文件，检测除了原点是否有其他点与周围点也满足001111111编码，若没有，按照1：1打印出来即可使用。

步骤2、识别X角点的位置和方向。

X角点是两个暗块和两个亮块图案交替排列形成图案的公共点，如图3A所示。

2.1X角点识别定位算法

在X角点的识别上，首先采用形态学的方式进行筛选。从数十万个图像像素中找出数十个候选点，这需要有高效的过滤算子。本文采用的是Bennett等人提出的角点响应值算子。如图3B所示，定义当前像素点20的和响应值(SR)、微分响应(DR)、平均响应值(MR)和最终响应值R如下：

加权求和得到该点的总响应值R：

R＝SR-DR-16R

R越高表示它越接近X角点。然后对像素点采用阈值过滤、非极大值抑制等方法，就能将X角点准确地筛选出来。

2.2X角点方向识别算法

在X角点的识别和定位中，仅仅使用X角点的位置往往是不够的，X角点的方向往往也是一个非常重要的信息。在设计Marker时，有意对X角点的方向进行限定可以帮助后期更好地对其进行识别，如图4B、4C所示。

本文在计算X角点的响应值时，将和响应值SR略作修改即可粗略计算出X角点此时的朝向。定义当前像素的方向响应值(DrR)如下：

DrX＝MAX((I_n+I_n+8)-(I_n+4+I_n+12))(n＝0,…,3)

考虑到X角点是由黑块和白块交替构成，此时取n＝0时DrR都是最大值，需要进一步判断。因此，找出DrR最大时对应的n后，记为d，通过判断(I_d+I_d+8)-(I_d+4+I_d+12)的正负来确定最终的方向，最终的方向D：

在实际计算过程中，假设有两个X角点，计算得出的方向分别为D₁、D₂，当|D₁-D₂|＜2或者|D₁-D₂|＞6时，认为两个角点的方向一致，否则不一致。

步骤3、Marker识别。

3.1寻找中心点和四个定位点

由步骤1中的模板设计可以看出，模板的中心点是整个模板中到所有点距离平方和最小的点，但由于遮挡问题的存在，该前提可能不成立，因此将方向约束加入到中心点的查找中，定义两个角点的方向差D₁₂:

定义角点p_i的得分S_i：

其中，|p_i-p_k|表示p_i和p_k之间的距离，|p_i-p₁|表示p_i与距离其最近的X角点之间的距离，相除是为了归一化，减少数据的规模。求出所有X角点之后，得分S最小的点即为Marker的中心点。

确定中心点之后，使用距离、角度、方向等约束找出围绕原点的八个角点，其中四个定位点(图2中1、3、5、7)，确定中心点和四个定位点之后即确定了Marker的坐标系。

步骤4、对Marker模板中的点进行逐一匹配。

4.1采用投影法求解

在相机不存在畸变或者畸变较小的情况下，可以通过求解Marker模板到相机图像之间的单应矩阵H，然后将Marker模板上所有点投影到相机图像中，通过距离约束寻找对应点。定义单应阵H：

则有：

其中，(x，y)是Marker模板上点的坐标，(x’，y’)是相机图像上点的坐标。注意单应矩阵只对平面变换有效，因此Marker模板的Z坐标默认为0。

使用步骤3中的k个点(k≥4，通常采用4个定位点)，建立线性方程组，可以求解单应矩阵H。即：

解出H阵之后，使用H阵将模板点投影至图像坐标系下，通过阈值过滤的方式找出对应点。投影法可以简单快速的寻找对应点，但是在相机畸变较大的情况下，结果往往不准确。原因在于单应阵难以表述含有畸变的变换关系，因此越往边缘，投影点距离实际X角点的距离就越远。

4.2采用搜索法求解

本发明提出另一种基于搜索策略的匹配算法，即使在畸变严重的情况下也能准确地找出Marker模板与图像X角点之间的对应点。其核心思想是，采用已配对X角点之间的几何关系，推算未配对X角点的位置，结合阈值进行判断，从而完成配对。例如：

p₁₁≈p₂+(p₂-p₀)

p₉≈p₁+(p₁-p₀)

p₅₁≈p₂₇+(p₂₇-p₁₁)

循环遍历，直到Marker上所有的点都完成配对或者没有可以进行配对的X角点为止。

步骤5、解析编码保存X角点坐标。

将配对成功的X角点，对比中心点的方向进行编码，与之方向相同的赋为0，与之不同的赋值为1，受遮挡等因素未成功匹配的赋值为其他数字，如2。由于可能出现未匹配成功的现象，用户在编码中可以将所需信息重复编码，以提高识别的鲁棒性。

保存X角点坐标，可以用于多种用途，例如：在相机未标定的情况下，结合配对X角点和Marker模板点坐标，可以实现相机内参标定。在相机已标定的情况下，结合配对X角点和Marker模板点坐标，可以求解Marker相对于相机的位姿，即外参。

本发明还提供一种基于机器视觉的标定识别装置可以用于充当机器视觉系统中的空间标定设备。如本文所述，基于机器视觉的标定识别装置可以用于在机器视觉系统中实现对空间准确标定的功能。基于机器视觉的标定识别装置可以在单个节点中实现，或者基于机器视觉的标定识别装置的功能可以在网络中的多个节点中实现。本领域的技术人员应意识到，术语基于机器视觉的标定识别装置包括广泛意义上的设备，基于机器视觉的标定识别装置仅是其中一个示例。包括基于机器视觉的标定识别装置是为了表述清楚，并不旨在将本发明的应用限制为特定的基于机器视觉的标定识别装置实施例或某一类基于机器视觉的标定识别装置实施例。本发明所述的至少部分特征/方法可以在网络装置或组件，例如，基于机器视觉的标定识别装置中实现。例如，本发明中的特征/方法可以采用硬件、固件和/或在硬件上安装运行的软件实现。基于机器视觉的标定识别装置可以是任何通过网络处理，存储和/或转发数据帧的设备，例如，服务器，客户端，数据源等。基于机器视觉的标定识别装置可以包括收发器(Tx/Rx)，其可以是发射器，接收器，或其组合。Tx/Rx可以耦合到多个端口(例如上行接口和/或下行接口)，用于从其他节点发送和/或接收帧。处理器可耦合至Tx/Rx，以处理帧和/或确定向哪些节点发送帧。处理器可以包括一个或多个多核处理器和/或存储器设备，其可以用作数据存储器，缓冲区等。处理器可以被实现为通用处理器，或者可以是一个或多个专用集成电路(application specific integrated circuit，简称ASIC)和/或数字信号处理器(digital signal processor，简称DSP)的一部分。

在本发明的一些备选实施方式中，X角点识别中，采用其他的算子同样能识别出X角点的位置，如Harris角点检测，Fast角点检测等。

在本发明的另一些备选实施方式中，在X角点的方向识别中，采用本方法的8个方向或是12个方向、16个方向甚至更多方向都可以实现方向的确定，而且分得越细越精确。

在本发明的另一些备选实施方式中，X角点方向识别中，采用拟合正弦/余弦波形的方法，通过求取峰值同样能得到X角点的方向信息。

在本发明的另一些备选实施方式中，寻找中心点算法中，得分S的定义不是唯一的，采用其他S的定义方式在本专利的保护范围之内。

在本发明的另一些备选实施方式中，在X角点与Marker模板的匹配中，除了本发明提出的投影法和搜索法，采用其他算法来进行匹配在本专利的保护范围之内。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (7)

1.一种基于机器视觉的标定识别方法，其特征在于，定义和制作标定点模板Marker，Marker的大小为N×N，N≥3，即每一行有N个X角点，一共N行，X角点的行列间距一致；使用的标定点模板上印制有呈N×N矩阵排列的标定图像，N为奇数，以标定图像中心点的X角点为原点，相对于原点处于相同外周层次的标定图像中，除编号处于第一个的标定图像与之前的标定图像相同以外，其余均相较于之前的标定图像，顺时针或逆时针旋转90°，所述标定方法包括：

识别标定图像中X角点的位置及方向，其中，X角点为标定图像的圆心；

寻找N×N矩阵的中心点及四个定位点,包括：确定中心点之后，使用距离、角度、方向约束找出围绕原点的八个角点，其中四个为定位点；定义D₁、D₂为X角点的方向，两个角点的方向差为D₁₂:

定义角点p_i的得分S_i：

其中，|p_i-p_k|表示p_i和p_k之间的距离，|p_i-p₁|表示p_i与距离其最近的X角点之间的距离，求出所有X角点之后，得分S最小的点即为Marker的中心点；

根据中心点及四个定位点在相机图像中的位置，求解单应矩阵H；

通过搜索法，找出标定点模板与图像X角点之间的对应点；采用已配对X角点之间的几何关系，推算未配对X角点的位置，结合阈值进行判断，从而完成配对；

将配对成功的X角点，对比中心点的方向进行编码。

2.根据权利要求1所述的基于机器视觉的标定识别方法，其特征在于，标定图像为圆形图像，标定图像由经过圆心且相互垂直的两条直线划分为四个区域，四个区域包括两个深色区域及两个浅色区域，两个深色区域相互不相邻，两个浅色区域相互不相邻。

3.根据权利要求1所述的基于机器视觉的标定识别方法，其特征在于，呈N×N矩阵排列的各个相邻标定图像相互之间等距。

4.根据权利要求3所述的基于机器视觉的标定识别方法，其特征在于，处于中心的标定图像与N×N矩阵的上边沿及下边沿等距，且与左边沿及右边沿等距。

5.根据权利要求4所述的基于机器视觉的标定识别方法，其特征在于，处于相同外周层次是指，与处于中心的标定图像之间间隔相同数量的标定图像。

6.根据权利要求1所述的基于机器视觉的标定识别方法，其特征在于，编号次序为：将处于右上角的标定图像标记为第一个标记图像，沿顺时针方向顺序编号。

7.一种基于机器视觉的标定识别装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至6任意一项所述的基于机器视觉的标定识别方法。