CN109829951B - 平行等位检测方法、装置与自动驾驶系统 - Google Patents

Abstract

本发明提供平行等位检测方法、装置与自动驾驶系统，用于检测双目相机的平行等位状态。该平行等位检测方法包括：获取预设二维平面标定板的左视图、右视图，以及由预设二维平面标定板上的预设方格图形组成的模板库；从所述模板库中依次输出所述预设方格图形，并与左视图与右视图分别进行模板匹配，基于匹配位置，对左视图与右视图上相应的方格图形进行ID编号；基于ID编号获取左视图与右视图上的内角点，并提取所述内角点的亚像素坐标；根据亚像素坐标计算左视图与右视图一一对应内角点的平行等位误差。本发明通过对预设二维平面标定板上的小方格进行平行匹配，以计算左视图与所述右视图一一对应内角点的平行等位误差。

Description

平行等位检测方法、装置与自动驾驶系统

技术领域

本发明涉及双目相机领域，尤其涉及一种平行等位检测方法、装置与自动驾驶系统。

背景技术

在双目相机的实际使用中，左右相机对应像素行对齐(平行等位)是至关重要的。平行等位效果好的双目设备，可以为后续立体匹配、三维重建、测距等处理手段提供更加准确的双目图像。传统的双目标定方案中，对于双目相机是否达到平行等位状态没有明确的约束指标。

鉴于此，提出本发明。

发明内容

本发明提出一种平行等位检测方法、装置与自动驾驶系统，用于解决现有技术中双目相机平行等位的状态检测问题。

为实现上述目的，根据本发明的一个方面，提供一种平行等位检测方法，并采用如下技术方案：

一种平行等位检测方法，应用于双目相机系统，包括：获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差。

根据本发明的另外一个方面，提供一种平行等位检测装置，并采用如下技术方案：

一种平行等位检测装置，应用于双目相机系统，包括：获取模块，用于获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；匹配模块，用于从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；提取模块，用于基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；计算模块，用于根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差。

根据本发明的又一个方面，提供一种自动驾驶系统，并采用如下技术方案：

该自动驾驶系统包括上述的检测装置。

本发明通过定义平行等位误差来度量真实情况下平行等位状态与理想平行等位状态之间的差距，以此对双目相机系统的平行等位状态进行检测，以为后续立体匹配、三维重建、测距等处理手段提供更加准确的双目图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1表示本发明实施例所述的平行等位理想状态示意图；

图2表示本发明实施例所述的未达到平行等位理想状态示意图；

图3表示本发明实施例所述的平行等位检测方法的流程图；

图4表示本发明实施例所述的ArUCo码二维标定板示意图；

图5表示本发明实施例所述的内角点提取示意图；

图6表示本发明实施例所述的平行等位检测装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

将左右相机像素行一一对应的状态，称为平行等位状态。如图1所示，表示为理想状态下的平行等位状态，图2所示，表示为未达到平行等位状态下的情况。在双目相机的实际使用中，由于装配工艺限制，以及标定算法的数学模型的局限性，无法实现将双目图像完全校正为图1所示的理想平行等位状态。因此我们定义平行等位误差来度量真实情况下平行等位状态与理想平行等位状态之间的差距。如图2所示，δ即为定义的平行等位误差。因此，本发明的目的在于求取双目相机的左视图与右视图的平行等位误差δ。

图3表示本发明实施例所述的平行等位检测方法的流程图。

参见图3所示，一种平行等位检测方法，应用于双目相机系统，该平行等位检测方法包括：

S101：获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；

S103：从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；

S105：基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；

S107：根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差。

在步骤S101中，获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库。具体的，预设二维平面标定板是一张基于ArUCo码的二维平面标定板，参见图4所示。本实施例中，标定板共由16*9个黑、白小方格构成，黑色格子内填充白色ArUCo码，白色格子内填充黑色ArUCo码。每一个小方块内的ArUCo码的像素排列方式都与其他小方框内的ArUCo不同，这样保证每一个小方格都有自己的特征可以与其他位置的小方格相区别。将所有组成二维标定板的小方格ArUCo码图形集合一个模板库，将所有的ArUCo码图像的像素尺寸归一化为M*N的模板图像。利用标定好的双目相机拍摄图4所示ArUCo码二维标定板。并得到校正后的左视图与右视图。

在步骤S103中，从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号。

具体的，分别从步骤S101建立的模板库中，逐个拿出ArUCo码图像，在左视图与右视图中进行模板匹配，以分别寻找左视图与右视图中相同的ArUCo码小方块。

且，模板匹配的方式主要采用如下公式(1)进行相关匹配：

以左图为例，其中S表示边长为N的正方形模板图像，本实施例中采用25行25列的模板区域，T表示左视图中提取的相同大小的待匹配区域窗口，按照上述公式进行相关性计算。然后按照从左往右，从上向下的方向，以s像素为步长，本实施例中取s＝5，在左图像上滑动T窗口，分别与S模板按照上述公式计算相关系数。其中，S_ij表示第i行第j列的ArUCo码模板库的模板图像，T表示待匹配图像，R(i,j)表示的匹配结果。T(m,n)表示T的范围内第m行n列的像素灰度值，同理S_ij(m,n)表示S_ij范围内第m行n列的像素灰度值，M和N分别表示大小为M*N的模板图像范围。

对于同一副左视图，记录所有的相关系数，并选取其中最大数值所对应的T窗口位置，为匹配位置。若出现多个最大值时，在每一个T窗口位置基础上，选取边长为m的正方形感兴趣区域T’，本实施例中，采用29行29列的区域，即在原始T窗口基础之上，分别向上下左右各扩张两个像素。在T’内按照从左至右、从上至下的方向，以t像素为步长，本实施例中取t＝1，滑动T窗口，并分别与S模板进行相关匹配，选取其中最大相关系数为T’的相关值。

在步骤S105中，基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标。

即分别对比不同T’的相关值，选取其中最大值对应的T窗口位置为匹配位置。并按照不同ArUCo模板对应的编号赋予匹配位置ID号码。右视图按照相同的匹配方式进行计算并编号ID。由此可以得到两幅图片上相同ID的对应关系，即可以找到同一个ArUCo码小方块分别在左、右视图中的对应成像位置。

步骤S105中，还进行了内角点的提取，首先对内角点进行定义：上下左右相邻的四个ArUCo确定的一个公共点称为内角点，如图5所示。

由步骤S103得到的ArUCo码位置，可以得到每一个ArUCo码的四个角点像素坐标。如图5所示四个相邻位置的ArUCo码可以通过如下公式计算内角点的大致位置。

其中(Xc，Yc)表示内角点坐标，(X1，Y1)表示左上ArUCo的右下角坐标，(X2，Y2)表示右上ArUCo的左下角坐标，(X3，Y3)表示左下ArUCo的右上角坐标，(X4，Y4)表示右下ArUCo的左上角坐标。

以上面得到的内角点坐标(Xc，Yc)为核心，半径r像素，提取2r+1边长的正方形待检测区域，本实施例中取r＝2。由上至下，从左至右，以w像素为步长，本实施例中取w＝1，滑动边长为t0的正方形的检测窗口M，本实施例中取t0＝3，则按照下述公式计算M窗口的Hessian特征矩阵。

其中：

f″_xx＝[f(x+1，y)+f(x-1，y)-2f(x，y)]/2

f″_yy＝[f(x，y+1)+f(x，y-1)-2f(x，y)]/2

f″_xy＝f″_yx＝[f(x+1，y+1)+f(x-1，y-1)-f(x+1，y-1)-f(x-1，y+1)]/4

其中，f表示本例中的3*3的窗口，f″_xx表示横坐标方向的二阶差分，f″_yy表示纵坐标方向的二阶差分，f″_xy表示先做横坐标方向的一阶差分再做纵坐标方向的一阶差分，f″_yx表示先做纵坐标方向的一阶差分，再做横坐标方向的一阶差分。

由此可以得到M的Hessian特征矩阵，并按照如下公式计算该矩阵的两个特征值λ₁和λ₂。

|λI-Hessian|＝0 公式(4)

I表示2阶单位矩阵其中λ表示特征值向量，λ＝[λ1；λ2]。按照公式(5)对特征值进行判别。

满足上述特征值约束的M，其中心点认为是内角点。

在步骤S107中，根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差。

分别在左、右视像上按照步骤S105提取得到内角点，由相同四个ID号的ArUCo码确定的内角点是一组左右对应的内角点，因此可以得到左、右图像一一对应的内角点(xL,yL)和(xR，yR)。

得到一一对应的内角点对之后，以左视图为模板，在右视图进行对应的亚像素匹配。

分别以(xL,yL)和(xR,yR)为核心，提取3*3的模板modL，modR。以modL为模板，modR分别在左、右方向各位移一个像素，并按照公式(1)计算相关系数，以x₀-1，x₀，x₀+1新的函数空间下的横坐标，其中x₀表示modR的纵坐标；对应的新的函数空间下的纵坐标，求解二次抛物线y＝ax²+bx+c中的参数a、b、c。由：

计算得到右图中y的亚像素坐标。

至此，可以得到一一配对的内角点坐标的纵坐标：左图表示为yLp，右图表示为yRp。

平行等位误差被定义为如下形式。

其中n指的是左右一一配对的内角点个数。由上面公式(7)可以得到平行等位误差。

在实际使用中，δ的大小表示平行等位状态的好坏，由定义可知，δ是一个非负的值，因此，在物理意义上讲，δ越小，则双目图像的平行等位关系就越好。

图6表示本发明实施例所述的平行等位检测装置结构示意图。

参见图6所示，一种平行等位检测装置包括：获取模块60，用于获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；匹配模块62，用于从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；提取模块64，用于基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；计算模块66，用于根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差。

优选的，所述预设方格图形包括：黑方格和白方格，其中黑方格内填充白色ArUCo码，白方格内填充黑色ArUCo码，且每个所述ArUCo码均不相同，且所述ArUCo码的图像尺寸均归一化为25*25的模板图像。

本发明提供的一种自动驾驶系统包括上述的检测装置。

本发明通过是一张基于ArUCo码的二维平面标定板。并将所有组成二维标定板的小方格ArUCo码图形集合一个模板库，将所有的ArUCo码图像的像素尺寸归一化为25*25的模板图像。从模板库中，逐个拿出ArUCo码图像，在左、右图中进行模板匹配，以分别寻找左右图像中相同的ArUCo码小方块。右图按照相同的匹配方式进行计算并编号ID。由此可以得到两幅图片上相同ID的对应关系，即可以找到同一个ArUCo码小方块分别在左、右图像中的对应成像位置。将上下左右相邻的四个ArUCo确定的一个公共点称为内角点，可以得到每一个ArUCo码的四个角点像素坐标。分别在左、右图像上按照第四步提取得到内角点，由相同四个ID号的ArUCo码确定的内角点是一组左右对应的内角点，因此可以得到左、右图像一一对应的内角点(xL,yL)和(xR,yR)。得到一一对应的内角点对之后，以左图为模板，在右图进行对应的亚像素匹配，并计算一一对应内角点的像素误差，即平行等位像素误差。在实践中，平行等位效果好的双目设备，可以为后续立体匹配、三维重建、测距等处理手段提供更加准确的双目图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种平行等位检测方法，应用于双目相机系统，其特征在于，包括：

获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；

从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；

基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；

根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差；

其中，平行等位误差的计算公式如下：

其中，n指的是所述左视图与所述右视图一一对应的内角点个数，δ表示平行等位误差，yLp表示所述左视图内角点亚像素坐标，yRp表示所述右视图内角点亚像素坐标。

2.如权利要求1所述的检测方法，其特征在于，所述预设方格图形包括：

黑方格和白方格，其中黑方格内填充白色ArUCo码，白方格内填充黑色ArUCo码，且每个所述ArUCo码均不相同，且所述ArUCo码的图像尺寸均归一化为M*N的模板图像。

3.如权利要求2所述的检测方法，其特征在于，所述从所述模板库中依次输出所述预设方格图形，与所述左视图与所述右视图分别进行模板匹配包括：

通过公式(1)进行模板匹配：

其中，S_ij表示第i行第j列的ArUCo码模板库的模板图像，T表示待匹配图像，R(i,j)表示的匹配结果，T(m,n)表示T的范围内第m行n列的像素灰度值，同理S_ij(m，n)表示S_ij范围内第m行n列的像素灰度值，M和N分别表示大小为M*N的模板图像范围；

然后按照从左往右，从上向下的方向，以s像素为步长，在所述左视图上滑动T窗口，并分别与S模板按照公式(1)计算相关性；

对于同一左视图，记录所有的相关系数，并选取其中相关系数的最大数值所对应的T窗口位置，为匹配位置。

4.如权利要求3所述的检测方法，其特征在于，在所述相关系数有多个最大值时，所述检测方法还包括：

在每一个T窗口位置基础上，选取边长为m的正方形感兴趣区域T’，在T’内按照从左至右、从上至下的方向，以t像素为步长，滑动T窗口，并分别与S模板进行相关匹配，选取其中最大相关系数为T’的相关值，并根据所述相关值确定所述匹配位置。

5.如权利要求1所述的检测方法，其特征在于，所述基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标包括：

基于所述ID编号通过公式(2)计算内角点的位置：

其中(Xc，Yc)表示内角点坐标，(X1，Y1)表示左上方格图形的右下角坐标，(X2，Y2)表示右上方格图形的左下角坐标，(X3，Y3)表示左下方格图形的右上角坐标，(X4，Y4)表示右下方格图形的左上角坐标；

以上述得到的内角点坐标(Xc，Yc)为核心，半径r像素，提取2r+1边长的正方形待检测区域，由上至下，从左至右，以w像素为步长，滑动边长为t0的正方形的检测窗口M，则按照下述公式(3)计算M窗口的Hessian特征矩阵：

其中：

f″_xx＝[f(x+1，y)+f(x-1，y)-2f(x，y)]/2

f″_yy＝[f(x，y+1)+f(x，y-1)-2f(x，y)]/2

f″_xy＝f″_yx＝[f(x+1，y+1)+f(x-1，y-1)-f(x+1，y-1)-f(x-1，y+1)]/4

其中，f表示3*3的窗口，f″_xx表示横坐标方向的二阶差分，f″_yy表示纵坐标方向的二阶差分，f″_xy表示先做横坐标方向的一阶差分再做纵坐标方向的一阶差分，f″_yx表示先做纵坐标方向的一阶差分，再做横坐标方向的一阶差分；

由此得到M的Hessian特征矩阵，并按照如下公式(4)计算该矩阵的两个特征值λ₁和λ₂：

|λI-Hessian|＝0 公式(4)

其中，λ表示特征值向量，λ＝[λ₁；λ₂]，I表示2阶单位矩阵，按照公式(5)对特征值进行判别；

满足上述特征值约束的M，其中心点确认为内角点。

6.如权利要求5所述的检测方法，其特征在于，所述基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标还包括：

根据所述内角点，分别表示为：(xL,yL)和(xR,yR)；

以所述左视图为模板，在所述右视图进行对应的亚像素匹配；

分别以(xL,yL)和(xR,yR)为核心，提取3*3的模板modL，modR；

再以modL为模板，modR分别在左、右方向各位移一个像素，并按照公式(1)计算相关系数，以x₀-1，x₀，x₀+1为新的函数空间下的横坐标，其中x₀表示modR的纵坐标；

对应的三个相关系数为新的函数空间下的纵坐标，求解二次抛物线y＝ax²+bx+c中的参数a、b、c，并通过公式(6)

与y＝ax²+bx+c，一起计算得到右视图中y的亚像素坐标。

7.一种平行等位检测装置，应用于双目相机系统，其特征在于，包括：

获取模块，用于获取预设二维平面标定板的左视图、右视图，以及由所述预设二维平面标定板上的预设方格图形组成的模板库；

匹配模块，用于从所述模板库中依次输出所述预设方格图形，并与所述左视图与所述右视图分别进行模板匹配，基于匹配位置，对所述左视图与所述右视图上相应的方格图形进行ID编号；

提取模块，用于基于所述ID编号获取所述左视图与所述右视图上的内角点，并提取所述内角点的亚像素坐标；

计算模块，用于根据所述亚像素坐标计算所述左视图与所述右视图一一对应内角点的平行等位误差；

其中，平行等位误差的计算公式如下：

其中，n指的是所述左视图与所述右视图一一对应的内角点个数，δ表示平行等位误差，yLp表示所述左视图内角点亚像素坐标，yRp表示所述右视图内角点亚像素坐标。

8.如权利要求7所述的检测装置，其特征在于，所述预设方格图形包括：

黑方格和白方格，其中黑方格内填充白色ArUCo码，白方格内填充黑色ArUCo码，且每个所述ArUCo码均不相同，且所述ArUCo码的图像尺寸均归一化为25*25的模板图像。

9.一种自动驾驶系统，其特征在于，包括权利要求7至8任一项所述的检测装置。

Images