CN112330754A - 双目视觉校正方法及装置、电子设备、存储介质 - Google Patents

Abstract

一种双目视觉校正方法及装置、电子设备、存储介质，该方法包括：根据双目视觉装置采集的图像，获取该双目视觉装置与测距目标的第一距离数据，其中，上述采集的图像中包含测距目标；通过雷达采集该雷达与上述测距目标的第二距离数据，该雷达与上述双目视觉装置处于同一场景；根据上述第一距离数据和第二距离数据计算得到差值积分结果，当该差值积分结果大于安全阈值时，对上述双目视觉装置进行校正。实施本申请实施例，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

Description

双目视觉校正方法及装置、电子设备、存储介质

技术领域

本申请涉及视觉技术领域，尤其涉及一种双目视觉校正方法及装置、电子设备、存储介质。

背景技术

当前，双目视觉装置常常被用来实现测距、标定等功能，从而可以应用于自动驾驶、工业检测等场景。然而，在实践中发现，随着使用时间的推移，双目视觉装置往往会出现如镜头老化、形变等问题，导致使用双目视觉装置进行测距时的偏差逐渐增大，降低了测距精度。

发明内容

本申请实施例公开了一种双目视觉校正方法及装置、电子设备、存储介质，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

本申请实施例第一方面公开一种双目视觉校正方法，包括：

根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，其中，所述采集的图像中包含所述测距目标；

通过雷达采集所述雷达与所述测距目标的第二距离数据，所述雷达与所述双目视觉装置处于同一场景；

根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，当所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正。

实施上述双目视觉校正方法，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，包括：

计算在相同时刻获取的第一距离数据和第二距离数据之间的差值；

对计算得到的多个差值进行积分，得到积分值；

通过经验系数对所述积分值进行调整，将得到的调整结果作为差值积分结果。

通过计算上述差值积分，能够对双目视觉装置可能存在的细微偏差进行放大，有利于及时发现双目视觉装置的畸变等问题，并尽早进行校正，从而能够提升双目视觉装置的测距精度。

作为一种可选的实施方式，在本申请实施例第一方面中，所述计算在相同时刻获取的第一距离数据和第二距离数据之间的差值，包括：

计算在当前时刻获取的第一距离数据和第二距离数据之间的差值；

所述对计算得到的多个差值进行积分，得到积分值，包括：

获取在上一个时刻得到的积分值，对在所述当前时刻计算得到的差值及所述上一个时刻得到的积分值进行积分，得到当前时刻的积分值，将所述当前时刻的积分值作为所述上一个时刻的积分值，并继续执行所述计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，直至满足积分停止条件。

通过上述方式进行差值积分，能够对当前时刻计算出的差值进行实时积分，进而可以实时地进行后续的计算和判断，从而能够及时确定双目视觉装置的偏差并进行校正。

作为一种可选的实施方式，所述积分停止条件，包括：

计算所述差值的次数达到次数阈值；或

所述雷达采集所述第二距离数据的时长达到时间阈值；或

所述双目视觉装置采集图像的时长达到所述时间阈值。

通过设置上述积分停止条件，能够在恰当的时机结束实时的积分计算，从而得到所需范围内的积分值，进而提升计算差值积分结果的准确性。

作为一种可选的实施方式，在本申请实施例第一方面中，所述根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，包括：

在双目视觉装置的移动过程中，根据所述双目视觉装置在当前位置采集的图像确定所述当前位置对应的测距目标，并根据所述在当前位置采集的图像，获取所述双目视觉装置与所述当前位置对应的测距目标的第一距离数据；

所述通过雷达采集所述雷达与所述测距目标的第二距离数据，包括：

通过雷达采集第二距离数据，所述第二距离数据为所述雷达与所述当前位置对应的测距目标之间的距离。

实施上述双目视觉校正方法，能够在双目视觉装置应用于车辆驾驶等移动场景时，根据移动过程中确定的测距目标计算双目视觉装置的偏差并进行动态累积，从而能够准确确定双目视觉装置在多种实际应用场景下的实际偏差，确保后续进行校正的有效性。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述根据所述第一距离数据和所述第二距离数据计算得到差值积分结果之前，所述方法还包括：

判断所述第一距离数据和所述第二距离数据中是否存在干扰数据，若存在干扰数据，剔除所述干扰数据，从而能够避免不可信的数据对差值积分结果的计算造成干扰，有利于提升计算的准确性和可靠性。

作为一种可选的实施方式，在本申请实施例第一方面中，所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第一校正参数；

通过所述第一校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像。

实施上述双目视觉校正方法，能够对双目视觉装置采集的图像进行实时校正，以获得校正后的已消除偏差的图像，从而能够根据校正后的图像进行准确的测距，提升测距结果的精确性。

作为一种可选的实施方式，在本申请实施例第一方面中，在所述通过所述校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像之后，所述方法还包括：

根据所述校正图像，获取所述双目视觉装置与所述测距目标的第三距离数据；

根据所述第三距离数据和所述第二距离数据计算得到校验值，当所述校验值不小于校验阈值时，根据所述校验值对所述校正参数进行调整。

实施上述双目视觉校正方法，能够在对双目视觉装置采集的图像进行校正后，对校正的效果进行检验，从而进一步修正校正参数，不断提升测距精度。

作为一种可选的实施方式，在本申请实施例第一方面中，所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第二校正参数；

通过所述第二校正参数对所述双目视觉装置的内部参数和外部参数分别进行校正。

实施上述双目视觉校正方法，能够对双目视觉装置自身的内部参数和外部参数进行校正，从而实现对双目视觉装置的准确标定，以提升利用双目视觉装置进行测距的准确性。

本申请实施例第二方面公开一种双目视觉校正装置，包括：

第一获取单元，用于根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，其中，所述采集的图像中包含所述测距目标；

第二获取单元，用于通过雷达采集所述雷达与所述测距目标的第二距离数据，所述雷达与所述双目视觉装置处于同一场景；

计算单元，用于根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，当所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正。

采用上述双目视觉校正装置，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

作为一种可选的实施方式，在本申请实施例第二方面中，所述双目视觉校正装置还包括：

校正单元，用于当所述计算单元计算出所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正，其中，

所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第一校正参数；

通过所述第一校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像；

或者，根据所述差值积分结果计算得到所述双目视觉装置的第二校正参数；

通过所述第二校正参数对所述双目视觉装置的内部参数和外部参数分别进行校正。

采用上述双目视觉校正装置，能够对双目视觉装置采集的图像进行实时校正，以获得校正后的已消除偏差的图像，从而能够根据校正后的图像进行准确的测距，提升测距结果的精确性。或者，还能够直接实现对双目视觉装置的重新标定，校正可能存在的镜头畸变等问题，以提升利用双目视觉装置进行测距的准确性。

本申请实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的任意一种双目视觉校正方法中的全部或部分步骤。

本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的任意一种双目视觉校正方法中的全部或部分步骤。

本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种双目视觉校正方法中的全部或部分步骤。

与现有技术相比，本申请实施例具有以下有益效果：

本申请实施例中，通过使用雷达测距的冗余数据与双目视觉装置的测距数据进行差值积分，能够获得双目视觉装置在测距过程中累积的差值积分结果，并在该差值积分结果大于安全阈值时对上述双目视觉装置进行校正，从而能够利用雷达在检测范围内测距精度不变的特点尽可能消除双目视觉装置可能存在的偏差，得到更准确的测距结果。可见，实施本申请实施例，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种双目视觉校正方法的应用场景示意图；

图2是本申请实施例公开的一种双目视觉校正方法的流程示意图；

图3是本申请实施例公开的另一种双目视觉校正方法的流程示意图；

图4是本申请实施例公开的又一种双目视觉校正方法的流程示意图；

图5是本申请实施例公开的又一种双目视觉校正方法的流程示意图；

图6是本申请实施例公开的一种双目视觉校正装置的模块化示意图；

图7是本申请实施例公开的一种电子设备的模块化示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种双目视觉校正方法及装置、电子设备、存储介质，能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

以下将结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种双目视觉校正方法的应用场景示意图，示例性地，该应用场景为车辆驾驶场景。如图1所示，双目视觉装置11可以安装在车辆10上，该车辆10上还可以同时安装有雷达12，从而双目视觉装置11和雷达12可以处于同一场景，两者可以对同一测距目标20分别进行测距，得到双目视觉装置11相对于该测距目标20的第一距离数据，以及雷达12相对于该测距目标20的第二距离数据。其中，该车辆10可以为自动驾驶车辆，也可以为辅助驾驶车辆，从而上述双目视觉装置11和雷达12的测距结果可以应用于自动驾驶或辅助驾驶中以实现路况探测、路线规划、碰撞预警、车位检测等功能。可以理解的是，图1中所示的应用场景为车辆驾驶场景，这仅仅是一种示例，不构成对本申请实施例所涉及的双目视觉校正方法的实际应用场景的限制。

其中，上述双目视觉装置11，可以包括能够实现双目视觉功能的各类设备或系统，如各类双目摄像头。上述雷达12，也可以包括能够实现测距功能的各类雷达，如毫米波雷达、激光雷达等，本申请实施例不作具体限定。

需要说明的是，即便双目视觉装置11和雷达12处于同一场景，两者分别在车辆10上安装的位置也必然有所差异，例如双目视觉装置11通常安装在车辆10的前挡风玻璃附近，而雷达12则可以安装在该车辆10的车架各处。从而，通过上述双目视觉装置11获取的第一距离数据和通过雷达12采集的第二距离数据，实际上是基于两者不同的坐标系计算得到的。在此基础上，为使针对同一测距目标20的第一距离数据和第二距离数据相匹配，需要先对第一距离数据进行坐标变换(如变换至雷达12的坐标系)，或对第二距离数据进行坐标变换(如变换至双目视觉装置11的坐标系)，或同时对第一距离数据和第二距离数据进行坐标变换(如变换至车辆10的坐标系)。通过进行上述坐标变换，得到的第一距离数据和第二距离数据才具备比较意义。可以理解的是，为免赘述，本申请所涉及的第一距离数据和第二距离数据一般指进行了坐标变换之后的距离数据。

在本申请实施例中，通过在车辆10上设置双目视觉装置11以及雷达12，两者均可进行测距，从而雷达12的测距结果可以作为冗余数据，用于对双目视觉装置11的测距结果进行检测和校正。首先，双目视觉装置11在采集图像时，可以通过其内置的图像处理模块(未图示)处理得到采集的图像，并将其传输至控制器13，进而控制器13可以根据该采集的图像获取该双目视觉装置11与测距目标20的第一距离数据，其中，双目视觉装置11所采集的图像中可以包含上述测距目标20，即该测距目标20可以从双目视觉装置11所采集的图像中事先确定。在确定测距目标20之后，可以通过与上述双目视觉装置11处于同一场景(即上述车辆驾驶场景)的雷达12，同时采集该雷达12与上述测距目标20的第二距离数据。在此基础上，控制器13可以根据上述第一距离数据和第二距离数据，计算得到差值积分结果，并判断该差值积分结果是否大于安全阈值，当该差值积分结果大于安全阈值时，可以对上述双目视觉装置11进行校正，从而尽可能降低通过双目视觉装置11进行测距的偏差，有利于提升测距精度。

请参阅图2，图2是本申请实施例公开的一种双目视觉校正方法的流程示意图。如图2所示，该双目视觉校正方法可以包括以下步骤：

202、根据双目视觉装置采集的图像，获取该双目视觉装置与测距目标的第一距离数据，其中，上述采集的图像中包含测距目标。

示例性地，双目视觉装置可以包括能够实现双目视觉功能的各类设备或系统，如各类双目摄像头，其主要包括两个相互配合的摄像头(如可见光摄像头、红外摄像头等)。

在本申请实施例中，双目视觉装置采集的图像通常是成对的，即每次采集可以分别获得双目各自采集的左视点图像和右视点图像。通过双目匹配，将上述左视点图像和右视点图像中对应的特征点进行匹配，可以获得对应于当前拍摄场景的视差图，进而可以转换为深度图，根据该深度图可以获取该双目视觉装置与测距目标的第一距离数据。

其中，上述测距目标，可以包含在双目视觉装置采集的图像中。在一种实施例中，可以设置固定的测距目标在双目视觉装置前方，以供该双目视觉装置采集包含该测距目标的图像；在另一种实施例中，也可以从该双目视觉装置采集的图像中选取测距目标，如选取图像中心点对应的测距目标、某一特征点(该特征点可以通过对采集的图像进行特征提取获得)对应的测距目标等。

作为一种可选的实施方式，还可以预先设定标准测距距离(如10米、15米等)，并从双目视觉装置采集的图像中确定目标测距距离与该标准测距距离相近的目标作为测距目标，其中，上述目标测距距离，指根据双目视觉装置采集的图像对应的深度图获取的目标测距距离。示例性地，上述目标测距距离与该标准测距距离相近，可以指该目标测距距离和标准测距距离的差值小于预设阈值。例如，当预先设定的标准测距距离为10米，而预设阈值为0.1米时，可以从双目视觉装置采集的图像中确定出目标测距距离为10±0.1米的目标，并将其确定为测距目标；当通过上述方式确定的测距目标多于一个时，可以从多于一个的测距目标中筛选出目标测距距离最接近上述标准测距距离的测距目标。

204、通过雷达采集该雷达与上述测距目标的第二距离数据，该雷达与上述双目视觉装置处于同一场景。

示例性地，上述雷达可以包括能够实现测距功能的各类雷达，如毫米波雷达、激光雷达等。

具体地，以毫米波雷达为例，当确定测距目标后，该毫米波雷达可以向该测距目标发出发射信号，该发射信号经过测距目标反射后，毫米波雷达可以接收到接收信号，通过对上述发射信号以及接收信号的频率进行对比，即可计算出毫米波雷达与测距目标之间的距离，作为第二距离数据。可以理解的是，毫米波雷达也可以发出非定向的发射信号，从而获取当前拍摄场景中的多个目标的距离，并在从上述多个目标确定出上述测距目标后，获取对应于该测距目标的距离作为第二距离数据。

206、根据上述第一距离数据和第二距离数据计算得到差值积分结果，当该差值积分结果大于安全阈值时，对上述双目视觉装置进行校正。

在本申请实施例中，由于双目视觉装置和雷达处于同一场景(如车辆驾驶场景、地标测距场景等)，因此雷达采集的相对于测距目标的第二距离数据可以作为双目视觉装置相对于该测距目标的第一距离数据的冗余数据。同时，由于雷达(如毫米波雷达、激光雷达等)在其检测范围内的测距精度不变，而双目视觉装置的测距精度容易随检测距离增大而降低，且容易随使用时间的推移而出现畸变等问题，因此可以以上述第二距离数据为基准，判断上述第一距离数据是否出现偏差，进而确定是否需要对该双目视觉装置进行校正。

在一种实施例中，可以对上述第一距离数据和第二距离数据进行差值积分，并将差值积分的积分值作为差值积分结果。具体地，若双目视觉装置与雷达具有相同的帧率，则在对该双目视觉装置和雷达进行同步后，可以对每次在相同时刻获取的第一距离数据和第二距离数据作差得到差值，并按时间顺序对上述获得的差值进行积分，得到积分值作为双目视觉装置的差值积分结果。若双目视觉装置与雷达具有不同的帧率，则可以在每次获取第一距离数据和第二距离数据之前，对该双目视觉装置以及雷达进行同步，然后再将相同时刻获取的第一距离数据和第二距离数据作差得到差值，并将每次同步后计算得到的差值按时间顺序进行积分，得到的积分值可以作为双目视觉装置的差值积分结果。可选地，在得到上述差值积分的积分值之后，还可以对该积分值进行调整(如乘以参数、上下浮动等)，再将得到的调整结果作为差值积分结果，从而能够调整该差值积分结果的值域，方便进行后续的阈值判断、双目视觉装置校正等步骤。

作为一种可选的实施方式，当判断出上述差值积分结果不大于安全阈值时，可以判定双目视觉装置不存在偏差，或存在较小偏差但暂时无需进行校正。在此基础上，可以将上述差值积分结果存储至指定位置，并对该指定位置存储的一个或多个差值积分结果进行统计，根据统计结果修正上述安全阈值。举例来说，当安全阈值设为S时，若分别通过多次计算得到的多个差值积分结果s1、s2……Sn均不大于该安全阈值S，可以依次存储该多个差值积分结果，并统计该多个差值积分结果的平均值M，若该平均值M满足预设条件(例如该平均值M属于人工确认的偏差范围，或该平均值M与上述安全阈值S的差值小于修正阈值等)，可以将该平均值M作为新的安全阈值，以根据实际情况对安全阈值进行修正，提升判定双目视觉装置是否存在偏差的准确性。

在一种实施例中，也可以对上述第一距离数据和第二距离数据直接作差，并根据作差结果直接与上述安全阈值进行比较判断。示例性地，对于相同时刻获取的、针对同一测距目标的第一距离数据和第二距离数据，可以将两者作差得到差值后，再获取该差值的绝对值，作为双目视觉装置的作差结果。通过对该作差结果进行实时监控，可以在当该作差结果大于预先设定的安全阈值(如0.3米、0.5米等)时，判定双目视觉装置的测距结果存在偏差，并对该双目视觉装置进行校正。

可见，实施上述实施例所描述的双目视觉校正方法，能够利用雷达对双目视觉装置的测距结果进行冗余检测，当双目视觉装置由于畸变等问题而出现偏差时，及时发现该偏差，从而能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

请参阅图3，图3是本申请实施例公开的另一种双目视觉校正方法的流程示意图。如图3所示，该双目视觉校正方法可以包括以下步骤：

302、根据双目视觉装置采集的图像，获取该双目视觉装置与测距目标的第一距离数据，其中，上述采集的图像中包含测距目标。

304、通过雷达采集该雷达与上述测距目标的第二距离数据，该雷达与上述双目视觉装置处于同一场景。

其中，上述步骤302以及步骤304与上述步骤202以及步骤204类似，此处不再赘述。

306、计算在相同时刻获取的第一距离数据和第二距离数据之间的差值。

可以理解，在相同时刻获取的第一距离数据和第二距离数据，分别表示的是上述双目视觉装置和雷达测得的与同一测距目标之间的距离。示例性地，若上述双目视觉装置和雷达具有相同的帧率，在对该双目视觉装置和雷达进行同步后，从双目视觉装置采集的图像中确定出测距目标，则雷达可以直接对该测距目标进行测距，从而确保双目视觉装置和雷达在相同时刻是针对同一测距目标进行测距，避免了上述第一距离数据与第二距离数据不匹配。若上述双目视觉装置和雷达不具有相同的帧率，也可以分别获取每个第一距离数据以及每个第二距离数据对应的时间戳，并进一步获取在相同时刻获取的第一距离数据和第二距离数据。

在本申请实施例中，通过对在相同时刻获取的第一距离数据和第二距离数据作差，可以计算得到双目视觉装置和雷达对同一测距目标的测距距离之差。可选地，可以将计算得到的差值与该测距目标在上述双目视觉装置采集的图像中的位置坐标相关联，形成(位置坐标，差值)的数组进行存储，从而可以在后续的步骤中方便地从该数组中提取或定位某一位置坐标对应的差值，便于计算或溯源。

作为一种可选的实施方式，在获取上述第一距离数据以及第二距离数据之后，可以先判断该第一距离数据和第二距离数据中是否存在干扰数据(如偏离均值的干扰数据、小于阈值的噪声数据等)，若存在干扰数据，可以剔除该干扰数据，从而能够避免不可信的数据对差值积分结果的计算造成干扰，有利于提升计算的准确性和可靠性。

308、对计算得到的多个差值进行积分，得到积分值。

在本申请实施例中，通过在多个时刻执行上述步骤306，可以计算得到多个差值，然后可以对该多个差值进行积分，得到积分值。举例来说，在上述步骤306中计算得到的多个差值可以形成以时间为自变量、以差值为因变量的有限区间离散函数，通过对该离散函数进行积分，可以得到积分值。又举例来说，当每次测距的间隔时间较短(例如0.1秒、1秒等)时，上述多个差值可以近似形成有限区间连续函数，通过对该近似的连续函数进行积分，也可以得到对应的积分值。

在一种实施例中，当需要进行积分时，可以先获取在上一个时刻得到的积分值，然后对在当前时刻计算得到的差值及上一个时刻得到的积分值进行积分，得到当前时刻的积分值，进而可以将该当前时刻的积分值作为上述上一个时刻的积分值，并继续执行计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，直至满足积分停止条件。

举例来说，当需要进行积分时，可以先从指定的存储位置(如内存的指定位置、指定寄存器等)加载上一个时刻得到的积分值，若不存在上一个时刻得到的积分值，可以设定其为0，表示当前时刻处于首个积分循环。然后，可以对当前时刻计算得到的差值以及上述上一个时刻得到的积分值进行积分，即将当前时刻计算得到的差值累积到上一个时刻得到的积分值上，从而得到当前时刻的积分值，完成一个积分循环。接下来，可以将当前时刻的积分值作为上一个时刻的积分值，在新的当前时刻，继续计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，进入新的积分循环，直至满足上述积分停止条件条件为止。

通过上述方式进行差值积分，能够对当前时刻计算出的差值进行实时积分，进而可以实时地进行后续的计算和判断，从而能够及时确定双目视觉装置的偏差并进行校正。

示例性地，上述积分停止条件可以包括计算上述差值的次数达到次数阈值(如100次、500次等)，或者上述雷达采集第二距离数据的时长达到时间阈值(如3分钟、5分钟等)，或者上述双目视觉装置采集图像的时长达到时间阈值(如3分钟、5分钟等)。通过设置上述积分停止条件，能够在恰当的时机结束实时的积分计算，从而得到所需范围内的积分值，进而提升计算差值积分结果的准确性，同时也避免浪费算力进行过多的积分计算，确保双目视觉校正过程的精简性。

在一种实施例中，当上述积分停止条件包括双目视觉装置采集图像的时长达到时间阈值，或者雷达采集第二距离数据的时长达到时间阈值时，上述时长，可以包括从预设时间起始点开始并持续上述时间阈值(如3分钟、5分钟等)的一段时间，上述双目视觉装置或雷达在该时长内可以分别进行一次或多次测距。

在另一种实施例中，当上述积分停止条件包括计算上述差值的次数达到次数阈值时，该计算差值的次数可以直接表征上述双目视觉装置或雷达进行测距的次数。

310、通过经验系数对该积分值进行调整，将得到的调整结果作为差值积分结果，当该差值积分结果大于安全阈值时，对上述双目视觉装置进行校正。

示例性地，上述经验系数和安全阈值，可以通过多次测距后人工确定，也可以通过对多次测距的测距结果进行机器学习而最终确定。其中，上述经验系数，用于对步骤308中计算得到的积分值进行调整，从而能够调整差值积分结果的值域，方便进行后续的阈值判断、双目视觉装置校正等步骤。在一种实施例中，当双目视觉装置移动时，该经验系数可以与双目视觉装置移动的速度成正相关，从而在其移动的速度较快时，可以增大上述积分值的权重，表示双目视觉装置和雷达的测距结果可能存在较大偏差。在另一种实施例中，当判断出第一距离数据和第二距离数据中存在较多干扰数据时，可以使用较小的经验系数，以降低上述积分值的权重，表示当前计算出的差值积分结果可靠性较低。

在此基础上，将得到的差值积分结果与预设的安全阈值进行比较，当该差值积分结果大于安全阈值时，可以判定双目视觉装置的测距结果存在偏差，并对该双目视觉装置进行校正。

作为一种可选的实施方式，当计算在相同时刻获取的第一距离数据和第二距离数据之间的差值时，可以是计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，进而若该当前时刻属于预设时间范围内，可以对在该当前时刻以及在该当前时刻之前计算得到的差值进行积分，从而能够实时地得到当前结果。然后，可以在下一个当前时刻继续执行上述计算在当前时刻获取的第一距离数据和第二距离数据之间的差值的步骤，直至当前时刻不属于预设时间范围内为止，从而完成预设时间范围内的差值积分。最后，若当前时刻不属于预设时间范围内，可以将最终累积的当前结果作为积分值。通过上述方式进行差值积分，能够对当前时刻计算出的差值进行实时积分，进而可以实时地进行后续的计算和判断，从而能够及时确定双目视觉装置的偏差并进行校正。

可见，实施上述实施例所描述的双目视觉校正方法，能够对双目视觉装置可能存在的细微偏差进行放大，同时还可以实时地进行计算和判断，有利于及时发现双目视觉装置的畸变等问题，并尽早进行校正，从而能够提升双目视觉装置的测距精度。

请参阅图4，图4是本申请实施例公开的又一种双目视觉校正方法的流程示意图。如图4所示，该双目视觉校正方法可以包括以下步骤：

402、在双目视觉装置的移动过程中，根据该双目视觉装置在当前位置采集的图像确定该当前位置对应的测距目标，并根据上述在当前位置采集的图像，获取该双目视觉装置与当前位置对应的测距目标的第一距离数据。

其中，步骤402与上述步骤202类似。需要说明的是，双目视觉装置可以安装在车辆上，该车辆上还可以同时安装有雷达，从而该双目视觉校正方法可以应用于车辆驾驶场景。在双目视觉装置移动的过程中，可以每隔预设时长在该双目视觉装置当前所处的位置采集图像，也可以每隔预设距离在当前所处的位置采集图像，还可以在该双目视觉装置识别到预设的标记物(如路灯、红绿灯、路牌等)时在当前所处的位置采集图像。根据该双目视觉装置在当前位置采集到的图像，可以从中确定出对应于当前位置的测距目标，例如可以将上述标记物作为与当前位置对应的测距目标，进而可以根据采集的图像以及该测距目标，获取双目视觉装置与该测距目标的第一距离数据。

404、通过雷达采集第二距离数据，该第二距离数据为该雷达与上述当前位置对应的测距目标之间的距离。

其中，步骤404与上述步骤204类似，此处不再赘述。

406、计算在相同时刻获取的第一距离数据和第二距离数据之间的差值。

408、对计算得到的预设时间范围内的上述差值进行积分，得到积分值。

其中，步骤406以及步骤408与上述步骤306以及步骤308类似，此处不再赘述。

410、通过经验系数对该积分值进行调整，将得到的调整结果作为在上述双目视觉装置的移动过程中累积的差值积分结果，当该差值积分结果大于安全阈值时，对上述双目视觉装置进行校正。

其中，步骤410与上述步骤310类似。需要说明的是，上述差值积分结果是双目视觉装置在上述移动过程中累积的差值积分结果，从而能够在双目视觉装置应用于车辆驾驶等移动场景时，通过累积确保计算的差值积分结果的准确性。

可见，实施上述实施例所描述的双目视觉校正方法，能够在双目视觉装置应用于车辆驾驶等移动场景时，根据移动过程中确定的测距目标计算双目视觉装置的偏差并进行动态累积，从而能够准确确定双目视觉装置在多种实际应用场景下的实际偏差，确保后续进行校正的有效性。

请参阅图5，图5是本申请实施例公开的又一种双目视觉校正方法的流程示意图。如图5所示，该双目视觉校正方法可以包括以下步骤：

502、根据双目视觉装置采集的图像，获取该双目视觉装置与测距目标的第一距离数据，其中，上述采集的图像中包含测距目标。

504、通过雷达采集该雷达与上述测距目标的第二距离数据，该雷达与上述双目视觉装置处于同一场景。

其中，步骤502以及步骤504与上述步骤202以及步骤204类似，此处不再赘述。

506、计算在相同时刻获取的第一距离数据和第二距离数据之间的差值。

508、对计算得到的多个差值进行积分，得到积分值。

510、通过经验系数对该积分值进行调整，将得到的调整结果作为差值积分结果。

其中，步骤506、步骤508以及步骤510与上述步骤306、步骤308以及步骤310类似，此处不再赘述。

512、当该差值积分结果大于安全阈值时，根据该差值积分结果计算得到上述双目视觉装置的第一校正参数。

514、通过该第一校正参数对上述双目视觉装置采集的图像进行校正，得到校正图像。

具体地，根据上述差值积分结果，可以反算出双目视觉装置的估计偏差，进而可以确定该双目视觉装置的第一校正参数，用于对双目视觉装置采集的图像进行校正。示例性地，可以将上述差值积分结果实时反馈至双目视觉装置的图像处理模块(如ISP芯片，即图像信号处理芯片)，并由该图像处理模块生成动态标定参数，以对双目视觉装置进行动态标定，校正可能存在的镜头畸变等问题。

516、根据该校正图像，获取上述双目视觉装置与测距目标的第三距离数据。

其中，步骤516与上述步骤502类似，根据进行校正后的校正图像，可以计算出校正后的双目视觉装置与测距目标的第三距离数据。

518、根据该第三距离数据和上述第二距离数据计算得到校验值，当该校验值不小于校验阈值时，根据该校验值对上述校正参数进行调整。

通过直接作差的方法，可以将上述第三距离数据和上述第二距离数据的差值作为校验值，并进一步判断该校验值是否不小于预设的校验阈值(如1米、0.5米等)，若小于校验阈值，可以判定上述校正参数有效；若不小于校验阈值，可以根据以该校验值作为偏差值，重新执行上述步骤512以及步骤514，得到新的校正参数对双目视觉装置采集的图像进行校正。

作为一种可选的实施方式，还可以根据上述差值积分结果计算得到双目视觉装置的第二校正参数，并通过该第二校正参数对双目视觉装置的内部参数和外部参数分别进行校正，从而可以直接实现对双目视觉装置的重新标定，校正可能存在的镜头畸变等问题，以提升利用双目视觉装置进行测距的准确性。

作为一种可选的实施方式，在获得上述差值积分结果之后，还可以进一步获取该双目视觉装置对应的装置信息(如该双目视觉装置的工作状态、工作年限以及其对应的车辆信息、车主信息等)，然后可以根据该装置信息和上述差值积分结果生成偏差上报信息，并将该偏差上报信息通过通信装置发送至对应的服务设备(如车辆对应的服务器、服务平台等)。接下来，可以接收该服务设备针对上述偏差上报信息反馈的反馈信息，从该反馈信息中提取与双目视觉装置对应的校正建议，并根据该校正建议对双目视觉装置进行校正。可选地，该校正建议可以包括路线导航建议，用于指示用户将双目视觉装置移动至特定位置(如车辆维保门店)进行校正。

可见，实施上述实施例所描述的双目视觉校正方法，能够对双目视觉装置采集的图像进行实时校正，以获得校正后的已消除偏差的图像，从而能够根据校正后的图像进行准确的测距，提升测距结果的精确性。同时还能够对校正的效果进行检验，从而进一步修正校正参数，不断提升测距精度。

请参阅图6，图6是本申请实施例公开的一种双目视觉校正装置的模块化示意图。如图6所示，该电子设备可以包括第一获取单元601、第二获取单元602以及计算单元603，其中：

第一获取单元601，用于根据双目视觉装置采集的图像，获取该双目视觉装置与测距目标的第一距离数据，其中，上述采集的图像中包含上述测距目标；

第二获取单元602，用于通过雷达采集该雷达与上述测距目标的第二距离数据，该雷达与上述双目视觉装置处于同一场景；

计算单元603，用于根据上述第一距离数据和第二距离数据计算得到差值积分结果，当该差值积分结果大于安全阈值时，对上述双目视觉装置进行校正。

可见，采用上述实施例所描述的双目视觉校正装置，能够利用雷达对双目视觉装置的测距结果进行冗余检测，当双目视觉装置由于畸变等问题而出现偏差时，及时发现该偏差，从而能够通过雷达采集的数据对双目视觉装置进行校正，尽可能降低通过双目视觉装置进行测距的偏差，有利于提升测距精度。

作为一种可选的实施方式，图6中的计算单元603可以包括未图示的差值计算子单元、积分计算子单元以及系数调整子单元，其中：

差值计算子单元，用于计算在相同时刻第一获取单元601获取的第一距离数据和第二获取单元602获取的第二距离数据之间的差值；

积分计算子单元，用于对计算得到的多个差值进行积分，得到积分值；

系数调整子单元，用于通过经验系数对上述积分值进行调整，将得到的调整结果作为差值积分结果。

采用上述实施例所描述的双目视觉校正装置，能够对双目视觉装置可能存在的细微偏差进行放大，同时还可以实时地进行计算和判断，有利于及时发现双目视觉装置的畸变等问题，并尽早进行校正，从而能够提升双目视觉装置的测距精度。

作为一种可选的实施方式，上述差值计算子单元，具体可以用于计算在当前时刻获取的第一距离数据和第二距离数据之间的差值；

上述积分计算子单元，具体可以用于获取在上一个时刻得到的积分值，对在上述当前时刻计算得到的差值及该上一个时刻得到的积分值进行积分，得到当前时刻的积分值，将该当前时刻的积分值作为上一个时刻的积分值，并继续触发上述差值计算子单元计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，直至满足积分停止条件。

采用上述实施例所描述的双目视觉校正装置，能够对当前时刻计算出的差值进行实时积分，进而可以实时地进行后续的计算和判断，从而能够及时确定双目视觉装置的偏差并进行校正。

作为一种可选的实施方式，上述积分停止条件可以包括：计算上述差值的次数达到次数阈值；或上述雷达采集第二距离数据的时长达到时间阈值；或上述双目视觉装置采集图像的时长达到上述时间阈值。

通过设置上述积分停止条件，能够在恰当的时机结束实时的积分计算，从而得到所需范围内的积分值，进而提升计算差值积分结果的准确性。

作为一种可选的实施方式，图6中的第一获取单元601，具体可以用于在双目视觉装置的移动过程中，根据该双目视觉装置在当前位置采集的图像确定该当前位置对应的测距目标，并根据上述在当前位置采集的图像，获取该双目视觉装置与上述当前位置对应的测距目标的第一距离数据；

上述第二获取单元602，具体可以用于通过雷达采集第二距离数据，该第二距离数据可以为该雷达与上述当前位置对应的测距目标之间的距离；

采用上述实施例所描述的双目视觉校正装置，能够在双目视觉装置应用于车辆驾驶等移动场景时，根据移动过程中确定的测距目标计算双目视觉装置的偏差并进行动态累积，从而能够准确确定双目视觉装置在多种实际应用场景下的实际偏差，确保后续进行校正的有效性。

作为一种可选的实施方式，图6所示的双目视觉校正装置还可以包括未图示的干扰剔除单元，该干扰剔除单元可以用于判断上述第一距离数据和第二距离数据中是否存在干扰数据，若存在干扰数据，剔除该干扰数据，从而能够避免不可信的数据对差值积分结果的计算造成干扰，有利于提升计算的准确性和可靠性。

作为一种可选的实施方式，图6中的双目视觉校正装置还可以包括未图示的校正单元，该校正单元可以用于当上述计算单元603计算出差值积分结果大于安全阈值时，对该双目视觉装置进行校正。可选地，该校正单元可以包括第一参数计算子单元以及第一校正子单元，其中：

第一参数计算子单元，用于根据上述差值积分结果计算得到双目视觉装置的第一校正参数；

第一校正子单元，用于通过上述第一校正参数对双目视觉装置采集的图像进行校正，得到校正图像。

作为一种可选的实施方式，图6所示的双目视觉校正装置还可以包括未图示的第三获取单元以及参数调整单元，其中：

第三获取单元，用于根据上述校正图像，获取双目视觉装置与测距目标的第三距离数据；

参数调整单元，用于根据该第三距离数据和上述第二距离数据计算得到校验值，当该校验值不小于校验阈值时，可以根据该校验值对上述校正参数进行调整。

采用上述实施例所描述的双目视觉校正装置，能够对双目视觉装置采集的图像进行实时校正，以获得校正后的已消除偏差的图像，从而能够根据校正后的图像进行准确的测距，提升测距结果的精确性。同时还能够对校正的效果进行检验，从而进一步修正校正参数，不断提升测距精度。

作为一种可选的实施方式，上述校正单元还可以包括未图示的第二参数计算子单元以及第二校正子单元，其中：

第二参数计算子单元，用于根据上述差值积分结果计算得到双目视觉装置的第二校正参数；

第二校正子单元，用于通过上述第二校正参数对所述双目视觉装置的内部参数和外部参数分别进行校正，从而可以直接实现对双目视觉装置的重新标定，校正可能存在的镜头畸变等问题，以提升利用双目视觉装置进行测距的准确性。

请参阅图7，图7是本申请实施例公开的一种电子设备的模块化示意图。如图7所示，该电子设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，可以执行上述实施例所描述的任意一种双目视觉校正方法中的全部或部分步骤。

此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种双目视觉校正方法中的全部或部分步骤。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种双目视觉校正方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种双目视觉校正方法及装置、电子设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种双目视觉校正方法，其特征在于，包括：

根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，其中，所述采集的图像中包含所述测距目标；

通过雷达采集所述雷达与所述测距目标的第二距离数据，所述雷达与所述双目视觉装置处于同一场景；

根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，当所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，包括：

计算在相同时刻获取的第一距离数据和第二距离数据之间的差值；

对计算得到的多个差值进行积分，得到积分值；

通过经验系数对所述积分值进行调整，将得到的调整结果作为差值积分结果。

3.根据权利要求2所述的方法，其特征在于，所述计算在相同时刻获取的第一距离数据和第二距离数据之间的差值，包括：

计算在当前时刻获取的第一距离数据和第二距离数据之间的差值；

所述对计算得到的多个差值进行积分，得到积分值，包括：

获取在上一个时刻得到的积分值，对在所述当前时刻计算得到的差值及所述上一个时刻得到的积分值进行积分，得到当前时刻的积分值，将所述当前时刻的积分值作为所述上一个时刻的积分值，并继续执行所述计算在当前时刻获取的第一距离数据和第二距离数据之间的差值，直至满足积分停止条件。

4.根据权利要求3所述的方法，其特征在于，所述积分停止条件，包括：

计算所述差值的次数达到次数阈值；或

所述雷达采集所述第二距离数据的时长达到时间阈值；或

所述双目视觉装置采集图像的时长达到所述时间阈值。

5.根据权利要求1-4任选一项所述的方法，其特征在于，所述根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，包括：

在双目视觉装置的移动过程中，根据所述双目视觉装置在当前位置采集的图像确定所述当前位置对应的测距目标，并根据所述在当前位置采集的图像，获取所述双目视觉装置与所述当前位置对应的测距目标的第一距离数据；

所述通过雷达采集所述雷达与所述测距目标的第二距离数据，包括：

通过雷达采集第二距离数据，所述第二距离数据为所述雷达与所述当前位置对应的测距目标之间的距离。

6.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述第一距离数据和所述第二距离数据计算得到差值积分结果之前，所述方法还包括：

判断所述第一距离数据和所述第二距离数据中是否存在干扰数据，若存在干扰数据，剔除所述干扰数据。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第一校正参数；

通过所述第一校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像。

8.根据权利要求7所述的方法，其特征在于，在所述通过所述校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像之后，所述方法还包括：

根据所述校正图像，获取所述双目视觉装置与所述测距目标的第三距离数据；

根据所述第三距离数据和所述第二距离数据计算得到校验值，当所述校验值不小于校验阈值时，根据所述校验值对所述校正参数进行调整。

9.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第二校正参数；

通过所述第二校正参数对所述双目视觉装置的内部参数和外部参数分别进行校正。

10.一种双目视觉校正装置，其特征在于，包括：

第一获取单元，用于根据双目视觉装置采集的图像，获取所述双目视觉装置与测距目标的第一距离数据，其中，所述采集的图像中包含所述测距目标；

第二获取单元，用于通过雷达采集所述雷达与所述测距目标的第二距离数据，所述雷达与所述双目视觉装置处于同一场景；

计算单元，用于根据所述第一距离数据和所述第二距离数据计算得到差值积分结果，当所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正。

11.根据权利要求10所述的双目视觉校正装置，其特征在于，所述双目视觉校正装置还包括：

校正单元，用于当所述计算单元计算出所述差值积分结果大于安全阈值时，对所述双目视觉装置进行校正，其中，

所述对所述双目视觉装置进行校正，包括：

根据所述差值积分结果计算得到所述双目视觉装置的第一校正参数；

通过所述第一校正参数对所述双目视觉装置采集的图像进行校正，得到校正图像；

或者，根据所述差值积分结果计算得到所述双目视觉装置的第二校正参数；

通过所述第二校正参数对所述双目视觉装置的内部参数和外部参数分别进行校正。

12.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1至9任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至9任一项所述的方法。

Images