CN109813278B - 测距模型修正方法、测距方法、装置以及自动驾驶系统 - Google Patents

Abstract

本发明提供一种双目相机的测距模型修正方法、测距方法、装置以及自动驾驶系统，用于双目相机的精准测距。该测距模型修正方法包括：定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；基于所述第一光轴与所述第二光轴得到第一测距模型，根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型。本发明通过对双目相机的理想模型进行修正和补偿，使双目相机的测距精度进一步得到提升。

Description

测距模型修正方法、测距方法、装置以及自动驾驶系统

技术领域

本发明涉及双目相机领域，尤其涉及双目相机的测距模型修正方法、测距方法、装置以及自动驾驶系统。

背景技术

双目相机由左、右两台平行等位的摄像机组成。其测距过程如下：两台摄像机对于同一个目标成像；求取目标在两台摄像机中所成像的“视差”(两幅图像横向坐标之差)；通过相似三角形的几何关系，计算双目相机与目标之间的实际距离。

通常，由于制造精度与加工工艺的局限性，无法按照理想的双目相机测距模型制造出双目相机。例如，无法保证两台摄像机的光轴绝对平行。通常，通过内、外参标定的方法去弥补制造偏差导致的测距失准。内、外参标定后，通常认为双目相机符合理想的测距模型。

实际上，内、外参标定在很大程度上弥补了制造偏差导致的测距失准，提高了双目相机的测距精度。但是，由于标定板制作精度的局限、角点提取算法的局限、标定算法的局限等因素，使得内、外参标定后的双目相机，两个光轴仍然无法达到完全的平行，标定得到的焦距与基线值与实际情况仍然存在很小的偏差，从而影响测距精度的进一步提升。

鉴于此，提出本发明。

发明内容

本发明提出一种双目相机的测距模型修正方法、测距方法、装置以及自动驾驶系统，用于解决现有技术中双目相机的理想光轴与实际光轴存在偏差而造成的测距精度不够精准的问题。

为实现上述目的，根据本发明的第一个方面，提供一种双目相机的测距模型修正方法，并采用如下技术方案：

一种双目相机的测距模型修正方法，包括：定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；基于所述第一光轴与所述第二光轴得到第一测距模型为：

根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a_常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距。

根据本发明的第二方面，提供一种双目相机的测距方法，并采用如下技术方案：

一种双目相机的测距方法，应用于双目相机系统，包括：启动阶段：调用预设在所述双目相机系统内的第二测距模型；标定阶段：根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；测距阶段：根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离。

根据本发明的第三方面，提供一种双目相机的测距模型修正装置，并采用如下技术方案：

一种双目相机的测距模型修正装置，包括计算模块，用于：定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；基于所述第一光轴与所述第二光轴得到第一测距模型为：

根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a_常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距。

根据本发明的第四方面，提供一种双目相机的测距装置，并采用如下技术方案：

一种双目相机的测距装置，应用于双目相机系统，包括：启动模块，用于在启动阶段，调用预设在所述双目相机系统内的第二测距模型；标定模块，用于在标定阶段，根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；测距模块，用于在测距阶段，根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离。

根据本发明的第五方面，提供一种自动驾驶系统，并采用如下技术方案：

一种自动驾驶系统，包括上述的测距装置。

本发明基于理想光轴与实际光轴存在的偏转夹角，对理想测距模型进行修正和补偿，得到实际测距模型。在相机标定时，通过加载实际测距模型，对多个已知距离的目标计算对应的视差值，并把多组距离及其对应的视差值带入实际测距模型，对实际测距模型中的修正参数进行计算或拟合，得出实际测距模型中的修正参数值。在实际测距过程中，即可反复使用获取已知修正参数的实际测距模型进行测距，使得测距结果更加精准。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1表示本发明实施例所述的双目相机理想测距模型示意图；

图2表示本发明实施例所述的一种双目相机的测距模型修正方法的流程图；

图3表示本发明实施例所述的双目相机实际测距模型示意图；

图4表示本发明实施例所述的双目相机的测距方法的流程图；

图5表示本发明实施例所述的双目相机的测距装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，图1表示本发明实施例所述的双目相机理想测距模型示意图。参见图1所示，O1、O2为左右相机的光心；O1O2的长度称为双目相机的基线距离，以B来表示；X轴与相机基线共线；Y轴为相机基线的中垂线，指向相机测距的方向；Z1O1、Z2O2为左、右相机的理想光轴，即实施例中的第一光轴与第二光轴，与X轴(基线方向)垂直；Z1＇与Z2＇为第一光轴、第二光轴与各自sensor的交点，则Z1＇O1与Z2＇O2的长度为相机的焦距，通常用f表示；W为与基线垂直距离为Z的任意一点；角β₁与角β₂为Y轴与WO1、WO2的夹角；X1、X2分别为W在sensor1与sensor2中所成像点；WO_w垂直于X轴，并于X轴相交于O_w点；设O1O_w的距离为B1，O2O_w的距离为B2，且B1+B2等于基线距离B，Z1＇X1代表点Z1＇到点X1的距离，Z2＇X2代表点Z2＇到点X2的距离。

由相似三角形关系可知：

合并上述两公式可得：

其中，Z1＇X1+Z2＇X2即为双目相机的视差距离d，在测距过程中可通过左、右相机的图像实时计算得到；f为左、右相机的焦距(内参标定得到的常数)；B为双目相机的基线距离(外参标定得到的常数)；Z为被测物与双目相机的距离，即被测值。

但是，由于标定板制作精度的局限、角点提取算法的局限、标定算法的局限等因素，使得标定得到的常数B、f并不精确，也使得两理想光轴并不平行，其存在小角度夹角，这就是双目相机存在测距误差的主要原因。

图2表示本发明实施例所述的一种双目相机的测距模型修正方法的流程图。

S101：定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；

S103：基于所述第一光轴与所述第二光轴得到第一测距模型为：

S105：根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a_常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距。

具体的，步骤S101中，相互平行的第一光轴与第二光轴分别为左相机的理想光轴和右相机的理想光轴。而理想光轴都发生了偏转，因此，第三光轴为左相机的实际光轴，第四光轴为右相机的实际光轴。步骤S103中的第一测距模型是基于理想光轴得出的测距模型，并在步骤S105中，基于α₁度夹角以及α₂度夹角，对理想模型进行修正，得到第二测距模型，即实际测距模型。

可选地，所述根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型包括：

定义所述被测物与左光心连线为第一连线，所述第一连线与所述第一光轴夹角为β₁，所述被测物与右光心连线为第二连线，所述第二连线与所述第二光轴夹角为β₂；

参见图3所示，左、右相机的实际光轴Z1＇O1与Z2＇O2相对于理想光轴Z1O1、Z2O2发生了偏转，且偏转角度分别为α₁与α₂；且光轴Z1＇O1与WO1所成的夹角为β₁-α₁、光轴Z2＇O2与WO2所成的夹角为β₂-α₂。

根据正切函数分别得到：

其中，A1为所述左相机的成像点与第三光轴的垂直距离，由于α₁是标定后存在的很小的夹角，则tanα₁的值极小，故tanβ₁·tanα₁相对于1可忽略不计，因此，简化公式(4)得到公式(5)，同理得到公式(6)，A2为所述右相机的成像点与第四光轴的垂直距离：

合并公式5与公式6，可得：

同样由正切函数可知公式(8)与公式(9)，并将公式(8)与公式(9)带入公式(7)，得出公式(10)：

其中，A1+A2等于双目相机的视差距离d，B1为过所述被测物与基线垂线的垂足到左光心距离，B2为过所述被测物与基线垂线的垂足到右光心距离，且B1+B2等于基线距离B。

其中，对同一双目相机，B·f为常数，令B·f＝a_常数；对同一双目相机，f·tanα₁+f·tanα₂也为常数，令f·tanα₁+f·tanα₂＝b_常数，由公式10得出公式(2)：

图4表示本发明实施例所述的双目相机的测距方法的流程图。

参见图4所示，双目相机的测距方法包括：

S401：启动阶段：调用预设在所述双目相机系统内的第二测距模型；

S403：标定阶段：根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；

S405：测距阶段：根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离。

首先，在步骤S401中，首次使用目标双目相机时，会加载内置在所述双目相机系统内的第二测距模型，该第二测距模型为对理想测距模型进行修正和补偿后的实际测距模型。在步骤S403的标定阶段，基于步骤S401调用的第二测距模型，通过对设置多组障碍物所测得的已知距离，以及对这些障碍物算出的对应视差值，并将多组已知距离及对应视差值带入所述第二测距模型进行计算或拟合，得到修正参数。步骤S405为具体的测距过程，即每次使用该部双目相机进行测距时，均可使用步骤S403中已获取该部双目相机修正参数的实际测距模型进行测距。

本发明提供的一种双目相机的测距模型修正装置，包括计算模块，计算模块用于：

定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；基于所述第一光轴与所述第二光轴得到第一测距模型为：

根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a_常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距。

图5表示本发明实施例所述的双目相机的测距装置的结构示意图。

参见图5所示，一种双目相机的测距装置包括：启动模块50，用于在启动阶段，调用预设在所述双目相机系统内的第二测距模型；标定模块52，用于在标定阶段，根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；测距模块54，用于在测距阶段，根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离。

一种自动驾驶系统包括上述的测距装置。

本发明基于理想光轴与实际光轴存在的偏转夹角，对理想测距模型进行修正和补偿，得到实际测距模型。在相机标定时，通过加载实际测距模型，对多个已知距离的目标计算对应的视差值，并把多组距离及其对应的视差值带入实际测距模型，对实际测距模型中的修正参数进行计算或拟合，得出实际测距模型中的修正参数值。在实际测距过程中，即可反复使用获取已知修正参数的实际测距模型进行测距，使得测距结果更加精准。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (3)

1.一种双目相机的测距方法，应用于双目相机系统，其特征在于，包括：

启动阶段：调用预设在所述双目相机系统内的第二测距模型；

标定阶段：根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；

测距阶段：根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离；

其中，所述第二测距 模型的获取方法为：

定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；

基于所述第一光轴与所述第二光轴得到第一测距模型为：

根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a _常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距；

所述根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型包括：

定义所述被测物与左光心连线为第一连线，所述第一连线与所述第一光轴夹角为β₁，所述被测物与右光心连线为第二连线，所述第二连线与所述第二光轴夹角为β₂；

根据正切函数分别得到：

其中，A1为所述左相机的成像点与第三光轴的垂直距离，简化公式(4)得到公式(5)，同理得到公式(6)，A2为所述右相机的成像点与第四光轴的垂直距离：

合并公式5与公式6，可得：

同样由正切函数可知公式(8)与公式(9)，并将公式(8)与公式(9)带入公式(7)，得出公式(10)：

其中，A1+A2等于双目相机的视差距离d，B1为过所述被测物与基线垂线的垂足到左光心距离，B2为过所述被测物与基线垂线的垂足到右光心距离，且B1+B2等于基线距离B；

其中，对同一双目相机，B·f为常数，令B·f＝a_常数；对同一双目相机，f·tanα₁+f·tanα₂也为常数，令f·tanα₁+f·tanα₂＝b_常数，由公式10得出公式(2)：

2.一种双目相机的测距装置，应用于双目相机系统，其特征在于，包括：

启动模块，用于调用预设在所述双目相机系统内的第二测距模型；

标定模块，用于根据所述第二测距模型、多组距离及对应的视差值，计算出所述第二测距模型中的修正参数；

测定模块，用于根据所述修正参数、所述第二测距模型及实时计算出的视差值，计算被测物与所述双目相机之间的待测距离；

所述启动模块包括：获取模块，所述获取模块用于：

定义所述双目相机的左相机与右相机相互平行的光轴分别为第一光轴和第二光轴；偏离所述第一光轴的为第三光轴，所述第一光轴与所述第三光轴成α₁度夹角，偏离所述第二光轴的为第四光轴，所述第二光轴与所述第四光轴成α₂度夹角；

基于所述第一光轴与所述第二光轴得到第一测距模型为：

根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型为：

其中，d为双目相机的视差距离，Z为被测物与双目相机的待测距离，且a _常数与b_常数为所述修正参数，B为双目相机的基线距离，f为左相机与右相机的焦距；

所述根据所述第一测距模型，所述α₁度夹角以及所述α₂度夹角推算出的第二测距模型包括：

定义所述被测物与左光心连线为第一连线，所述第一连线与所述第一光轴夹角为β₁，所述被测物与右光心连线为第二连线，所述第二连线与所述第二光轴夹角为β₂；

根据正切函数分别得到：

其中，A1为所述左相机的成像点与第三光轴的垂直距离，简化公式(4) 得到公式(5)，同理得到公式(6)，A2为所述右相机的成像点与第四光轴的垂直距离：

合并公式5与公式6，可得：

同样由正切函数可知公式(8)与公式(9)，并将公式(8)与公式(9)带入公式(7)，得出公式(10)：

其中，A1+A2等于双目相机的视差距离d，B1为过所述被测物与基线垂线的垂足到左光心距离，B2为过所述被测物与基线垂线的垂足到右光心距离，且B1+B2等于基线距离B；

其中，对同一双目相机，B·f为常数，令B·f＝a_常数；对同一双目相机，f·tanα₁+f·tanα₂也为常数，令f·tanα₁+f·tanα₂＝b_常数，由公式10得出公式(2)：

3.一种自动驾驶系统，其特征在于，包括权利要求2所述的测距装置。

Images