CN113259589B - 一种基线自适应调整的双目相机智能感知方法及其装置 - Google Patents

Abstract

本发明公开了一种基线自适应调整的双目相机智能感知方法及其装置，所述方法包括以下步骤：从图像中检测出目标物体，获取目标物体的像素位置；根据当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；自动将基线调整至期望的基线B2处；通过双目相机在线标定技术，从环境中提取特征点，并在左右图像中进行特征匹配，以获取新的外部参数；根据新的外部参数和基线B2，重新计算目标物体的深度及深度不确定性，本发明可以根据被测物体距离远近，自动调整基线，确保深度估计误差符合预期。

Description

一种基线自适应调整的双目相机智能感知方法及其装置

技术领域

本发明涉及视觉测量技术领域，特别涉及一种基线自适应调整的双目相机智能感知方法及其装置。

背景技术

当前，在机器人、无人驾驶、安防监控、智能交通等领域，为了增强设备的感知能力，多种传感器被采用，比如，单目相机、双目相机、热感相机、激光雷达等。在众多传感器中，双目相机因其能同时提供环境的图像与密集的深度信息，并具备较低的成本，而得到广泛应用。

但是，现有的双目相机大多采用固定基线的方案，导致其对远、近物体的深度估计的误差有较大差异。具体而言，就是随着被测物体的距离增加，深度估计的误差成平方倍地快速增加。因此，固定基线的双目相机对于距离较近的物体，深度估计的误差小；对于距离较远的物体，深度估计的误差大。如果希望对于远近物体深度估计的误差保持不变，则需要改变相机的基线。

尽管目前存在一些变基线的双目相机，但其无法根据被测物体的远近自动地确定合适的基线长度，并调节基线到合适的位置。在某些场合下，我们往往只对某一类物体，比如：行人、汽车、飞机等感兴趣，需要获取其深度信息，误差波动应尽可能小，以便于进行三维动态跟踪。因此，一个能根据被测物体的深度自动调节基线大小，使得对被测物体深度估计的误差波动较小的双目相机，具备重要的实用价值。

发明内容

本发明的目的在于克服现有技术中的上述缺陷，提供了一种可根据被测物体距离远近，自适应调整基线，以确保深度估计误差符合预期的双目相机智能感知方法及其装置。

为实现上述目的，本发明提供了一种基线自适应调整的双目相机智能感知方法，包括以下步骤：

步骤S1，从图像中检测出目标物体，获取目标物体的像素位置；

步骤S2，根据当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；

步骤S3，判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；

步骤S4，自动将基线调整至期望的基线B2处；

步骤S5，通过双目相机在线标定技术，从环境中提取特征点，并在左右图像中进行特征匹配，以获取新的外部参数；

步骤S6，根据新的外部参数和基线B2，重新计算目标物体的深度及深度不确定性。

作为优选的，所述步骤S1中包括以下步骤：

步骤S11，确定任务关注的目标物体类别；

步骤S12，所述双目相机中的左相机获取原始图像，采用相机参数完成图像预处理：取消原始图像的畸变和对原始图像进行矫正；

步骤S13，将处理后的图像输入深度卷积神经网络，获取目标物体的像素位置。

作为优选的，所述步骤S2中包括以下步骤：

步骤S21，通过双目相机标定算法，完成当前设定的基线B1的参数标定；

步骤S22，通过双目相机深度估计算法，计算在当前设定的基线B1时的视差图与深度图，以及每个深度值对应的不确定性；

步骤S23，结合步骤S1中已获取的目标物体的像素位置，得到目标物体的深度及深度不确定性。

作为优选的，所述步骤S3中包括以下步骤：

步骤S31，判断在当前设定的基线B1时，目标物体深度不确定性是否超过期望的深度不确定性；

步骤S32，若没有超过期望的深度不确定性时，就不需要将基线B1进行调整；若超过期望的深度不确定性时，则根据双目相机深度估计的原理，计算目标物体在当前深度处，期望的深度不确定性所对应的基线B2。

作为优选的，所述步骤S4中包括以下步骤：

步骤S41，根据期望的基线B2与当前的基线B1的差值B2-B1，计算需要调节的基线值；

步骤S42，根据需要调节的基线值发送运动指令并控制电机将双目相机基线调整到期望的基线B2处。

作为优选的，所述步骤S5中包括以下步骤：

步骤S51，在期望的基线B2处，分别利用左右相机采集左右图像；

步骤S52，对左右图像分别进行边缘提取、逆距离变换；

步骤S53，构建目标函数，以最小化左右图像的边缘匹配误差，待优化变量为左右相机之间的外部参数；

步骤S54，通过列文伯格-马夸尔特求解以上优化问题，获取基线B2时双目相机的外部参数。

作为优选的，所述步骤S6中包括以下步骤：

步骤S61，根据当前的基线B2，以及步骤S5中获取的外部参数；根据双目相机深度估计算法重新计算视差图、深度图；

步骤S62，结合步骤S1中目标物体的像素位置，得到目标物体新的深度值。

本发明还提供了一种基线自适应调整的双目相机智能感知装置，包括：

图像获取模块，用于获取目标物体的图像，获得目标物体在图像中的位置；

分析计算模块，与图像获取模块相连接，用于根据当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；

分析比较模块，与分析计算模块相连接，用于判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；

信号输出模块，与分析比较模块相连接，用于发送出需要调节的基线值的运动指令；

基线调整模块，与信号输出模块相连接，用于将双目相机基线调整到期望的基线B2处。

与现有技术相比，本发明的有益效果在于：

本发明的硬件平台为一台双目相机，左相机固定，右相机可以根据需求左右移动以调节基线的长短，本发明的根据图像中检测出的目标物体，自动计算和判断目标物体的深度及深度不确定性数值，具体而言，如果目标物体太远，导致深度不确定性大于期望的不确定性，则增加基线长度，以减小深度不确定性，并达到期望的深度不确定性，从而确保不论目标物体在远端还是近端，双目相机均能比较稳定地估计其深度，使误差保持在一定范围内，最终稳定的深度估计将有助于确保后续任务的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基线自适应调整的双目相机智能感知方法的步骤示意图；

图2是本发明提供的一种基线自适应调整的双目相机智能感知装置的示意图。

具体实施方式

下面将结合本发明本实施方式中的附图，对本发明本实施方式中的技术方案进行清楚、完整地描述，显然，所描述的本实施方式是本发明的一种实施方式，而不是全部的本实施方式。基于本发明中的本实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他本实施方式，都属于本发明保护的范围。

实施例一

请参考图1，本发明实施例一提供了一种基线自适应调整的双目相机智能感知方法，所述方法包括以下步骤：

步骤S1，从图像中检测出目标物体，获取目标物体的像素位置。

具体的，所述步骤S1中包括以下步骤：首先，确定作业任务要关注的目标物体类别，例如：树木、行人、汽车等；其次，所述双目相机中的左相机获取当前场景的原始图像，使用左相机的内部参数，对原始图像进行实时的图像预处理，例如：取消原始图像的畸变和对原始图像进行矫正；最后，将处理后的图像输入深度卷积神经网络，从其输出结果中可以确定目标物体的像素位置。

步骤S2，根据当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性。

具体的，所述步骤S2中包括以下步骤：首先，通过双目相机标定算法，完成当前设定的基线B1的参数标定；可以通过双目相机标定技术，基于张氏标定法，用棋盘格标定板获取了双目相机精确的内部参数和外部参数；其次，通过双目相机深度估计算法，利用去畸变与矫正后的左右图像，计算在当前设定的基线B1时的视差图，并进一步计算出深度图，以及每个深度值对应的不确定性；最后，结合步骤S1中已获取的目标物体的像素位置，得到目标物体的深度及深度不确定性。

步骤S3，判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2。

具体的，所述步骤S3中包括以下步骤：首先，判断在当前设定的基线B1时，目标物体深度不确定性是否超过期望的深度不确定性；其次，若没有超过期望的深度不确定性时，就不需要将基线B1进行调整；最后，若超过期望的深度不确定性时，则根据双目相机深度估计的原理，计算目标物体在当前深度处，期望的深度不确定性所对应的基线B2，进一步的，所述基线B2根据双目相机深度估计的深度不确定性公式计算。

步骤S4，自动将基线调整至期望的基线B2处。

具体的，所述步骤S4中包括以下步骤：首先，根据期望的基线B2与当前的基线B1的差值B2-B1，计算需要调节的基线值；其次，根据需要调节的基线值发送运动指令并控制电机将双目相机基线调整到期望的基线B2处。

步骤S5，通过双目相机在线标定技术，从环境中提取特征点，并在左右图像中进行特征匹配，以获取新的外部参数。

具体的，对基线进行调整后，左右相机的内部参数和畸变参数都不会变化，但是外部参数会变化，其中主要变化的参数是平移向量T，其中旋转矩阵R仅有细微的变化，本步骤中，将通过在线的标定获取左右相机之间的外部参数。

根据期望的基线B2，外部参数可以确定一个较好的初值；通过使用较好的初值，可以对外部参数进行精炼，以获得更精确的外部参数；精炼的方法是在左右图像中分别提取SIFT特征点，进行特征匹配，最后通过最小化特征点的重投影误差获取最优的外部参数。

进一步的，所述步骤S5中包括以下步骤：

步骤S51，在期望的基线B2处，分别利用左右相机采集左右图像；

步骤S52，对左右图像分别进行边缘提取、逆距离变换；

步骤S53，构建目标函数，以最小化左右图像的边缘匹配误差，待优化变量为左右相机之间的外部参数；

步骤S54，通过列文伯格-马夸尔特求解以上优化问题，获取基线B2时双目相机的外部参数。

步骤S6，根据新的外部参数和基线B2，重新计算目标物体的深度及深度不确定性。

具体的，所述步骤S6中包括以下步骤：首先，根据当前的基线B2，以及步骤S5中获取的外部参数；其次，根据双目相机深度估计算法，重新计算当前配置下的目标物体视差图、深度图及深度不确定性；再次，此时的深度不确定性将小于步骤S2，也因此确保了不论目标物体的远近，其深度不确定性均稳定在一个较小的值，进而为后续任务的性能可靠稳定性提供保障；最后，结合步骤S1中目标物体的像素位置，得到目标物体新的深度值。

本发明的硬件平台为一台双目相机，左相机固定，右相机可以根据需求左右移动以调节基线的长短，本发明的根据图像中检测出的目标物体，自动计算和判断目标物体的深度及深度不确定性数值，具体而言，如果目标物体太远，导致深度不确定性大于期望的不确定性，则增加基线长度，以减小深度不确定性，并达到期望的深度不确定性，从而确保不论目标物体在远端还是近端，双目相机均能比较稳定地估计其深度，使误差保持在一定范围内，最终稳定的深度估计将有助于确保后续任务的性能。

因此，在上述基础上，各项三维视觉感知任务可以达到稳定的性能，例如：对目标物体在三维空间的稳定跟踪、速度预测、轨迹预测、异常行为检测等。

实施例二

请参考图2，本发明实施例二提供了一种基线自适应调整的双目相机智能感知装置，所述装置包括：

图像获取模块1，用于获取目标物体的图像，获得目标物体在图像中的位置；

分析计算模块2，与图像获取模块1相连接，用于根据当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；

分析比较模块3，与分析计算模块2相连接，用于判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；

信号输出模块4，与分析比较模块3相连接，用于发送出需要调节的基线值的运动指令；

基线调整模块5，与信号输出模块4相连接，用于将双目相机基线调整到期望的基线B2处。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基线自适应调整的双目相机智能感知方法，其特征在于，包括以下步骤：

步骤S1，从图像中检测出目标物体，获取目标物体的像素位置；

步骤S2，结合步骤S1中已获取的目标物体的像素位置、当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；

步骤S3，判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；

步骤S4，所述双目相机包括左相机和右相机，左相机固定，右相机根据需求移动调节基线的长短，自动将基线调整至期望的基线B2处；

所述步骤S4中包括以下步骤：

步骤S41，根据期望的基线B2与当前的基线B1的差值B2-B1，计算需要调节的基线值；

步骤S42，根据需要调节的基线值发送运动指令并控制电机将双目相机基线调整到期望的基线B2处；

步骤S5，通过双目相机在线标定技术，从环境中提取特征点，并在左右图像中进行特征匹配，以获取新的外部参数；

所述步骤S5中包括以下步骤：

步骤S51，在期望的基线B2处，分别利用左右相机采集左右图像；

步骤S52，对左右图像分别进行边缘提取和逆距离变换；

步骤S53，构建目标函数，以最小化左右图像的边缘匹配误差，待优化变量为左右相机之间的外部参数；

步骤S54，通过列文伯格-马夸尔特求解以上优化问题，获取基线B2时双目相机的外部参数；

步骤S6，根据新的外部参数和基线B2，重新计算目标物体的深度及深度不确定性。

2.根据权利要求1所述的一种基线自适应调整的双目相机智能感知方法，其特征在于，所述步骤S1中包括以下步骤：

步骤S11，确定任务关注的目标物体类别；

步骤S12，所述双目相机中的左相机获取原始图像，采用相机参数完成图像预处理；

步骤S13，将处理后的图像输入深度卷积神经网络，获取目标物体的像素位置。

3.根据权利要求1所述的一种基线自适应调整的双目相机智能感知方法，其特征在于，所述步骤S2中包括以下步骤：

步骤S21，通过双目相机标定算法，完成当前设定的基线B1的参数标定；

步骤S22，通过双目相机深度估计算法，计算在当前设定的基线B1时的视差图与深度图，以及每个深度值对应的不确定性；

步骤S23，结合步骤S1中已获取的目标物体的像素位置，得到目标物体的深度及深度不确定性。

4.根据权利要求1所述的一种基线自适应调整的双目相机智能感知方法，其特征在于，所述步骤S3中包括以下步骤：

步骤S31，判断在当前设定的基线B1时，目标物体深度不确定性是否超过期望的深度不确定性；

步骤S32，若没有超过期望的深度不确定性时，就不需要将基线B1进行调整；若超过期望的深度不确定性时，则根据双目相机深度估计的原理，计算目标物体在当前深度处，期望的深度不确定性所对应的基线B2。

5.根据权利要求3所述的一种基线自适应调整的双目相机智能感知方法，其特征在于，所述步骤S6中包括以下步骤：

步骤S61，根据当前的基线B2，以及步骤S5中获取的外部参数；根据双目相机深度估计算法重新计算视差图和深度图；

步骤S62，结合步骤S1中目标物体的像素位置，得到目标物体新的深度值。

6.一种基线自适应调整的双目相机智能感知装置，其特征在于，所述装置用于执行权利要求1至5中任意一项所述的一种基线自适应调整的双目相机智能感知方法；所述装置还包括：

图像获取模块，用于获取目标物体的图像，获得目标物体在图像中的像素位置；

分析计算模块，与图像获取模块相连接，用于根据目标物体的像素位置、当前设定的基线B1以及相机内部和外部参数，通过双目深度估计算法计算目标物体的深度及深度不确定性；

分析比较模块，与分析计算模块相连接，用于判断当前的深度不确定性是否过大，若大于期望的深度不确定性，则通过期望的深度不确定性计算期望的基线B2；

信号输出模块，与分析比较模块相连接，用于发送出需要调节的基线值的运动指令；

基线调整模块，与信号输出模块相连接，用于将双目相机基线调整到期望的基线B2处。

Images