CN116990830B

CN116990830B - 基于双目和tof的距离定位方法、装置、电子设备及介质

Info

Publication number: CN116990830B
Application number: CN202311257347.XA
Authority: CN
Inventors: 唐龙; 周士博
Original assignee: Ruichi Laser Shenzhen Co ltd
Current assignee: Ruichi Laser Shenzhen Co ltd
Priority date: 2023-09-27
Filing date: 2023-09-27
Publication date: 2023-12-29
Anticipated expiration: 2043-09-27
Also published as: CN116990830A

Abstract

本申请公开了一种基于双目和TOF的距离定位方法、装置、电子设备及介质，涉及导航定位技术领域，所述基于双目和TOF的距离定位方法包括：通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；判断所述第一测量距离和所述第一深度图像是否均符合预设条件；若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。本申请解决了目前的距离定位方案中测距精度偏低的技术问题。

Description

基于双目和TOF的距离定位方法、装置、电子设备及介质

技术领域

本申请涉及导航定位领域，尤其涉及一种基于双目和TOF的距离定位方法、装置、电子设备及介质。

背景技术

目前，在室外对各种移动或静止的人物、车辆或其他物体等进行定位时，通常会用到距离定位方法，距离定位方法是测量待定位目标到两个已知标志物之间的距离，并根据测量到的距离作两条圆位置线，然后利用两圆位置线的交点来进行定位的方法。该方法在小范围定位以及近程定位中均有较广的应用。而用于测量待定位目标与已知标志物之间的距离的方法通常包括通过双目相机和TOF（Time of flight，飞行时间）相机等设备进行距离测量，但由于双目相机是通过左右相机的拍摄图像的差异（视差）来确定距离，所以对图像的纹理丰富度要求较高。而且双目相机是基于三角法原理进行测距，因此随着距离的增加，误差会出现非线性的提升，所以在与标志物大于一定的距离后，误差将会得很大。另外，通过TOF相机进行测距也存在一定的缺陷，例如采集到的深度图像分辨率较低且图像边缘的深度数据畸变严重、在移动速度较高时会出现动态模糊，影响测量精度、视场角较小等问题。

发明内容

本申请的主要目的在于提供一种基于双目和TOF的距离定位方法、装置、电子设备及介质，旨在解决目前的距离定位方案中测距精度偏低的技术问题。

为实现上述目的，本申请提供一种基于双目和TOF的距离定位方法，所述基于双目和TOF的距离定位方法包括：

通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；

判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度；

若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；

若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；

根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。

可选地，所述判断所述第一测量距离和所述第一深度图像是否均符合预设条件的步骤包括：

判断所述第一测量距离是否小于预设距离；

若所述第一测量距离小于所述预设距离，则判定所述第一测量距离符合所述预设条件；

若所述第一测量距离不小于所述预设距离，则判定所述第一测量距离不符合所述预设条件；

判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度；

若所述第一深度图像的纹理丰富度大于所述预设纹理丰富度，则判定所述第一深度图像符合所述预设条件；

若所述第一深度图像的纹理丰富度小于所述预设纹理丰富度，则判断所述第一深度图像不符合所述预设条件。

可选地，在所述判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度的步骤之前，所述方法还包括：

通过预设的纹理丰富度检测模型对所述第一深度图像进行检测，获得所述第一深度图像的纹理丰富度，其中，所述纹理丰富度检测模型是通过多组深度图像和对应的纹理丰富度标签训练得到。

可选地，所述标志物的数量至少为两个，所述根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息的步骤包括：

基于各所述标志物的定位信息和对应的第一测量距离，在预设地图上作出以各所述标志物为圆心的圆位置线。其中，所述预设地图中包括各所述标志物的定位信息；

根据各所述标志物对应的圆位置线，读取各所述圆位置线的各交点；

根据所述第一深度图像中各所述标志物的相对位置，从各所述交点中选取目标位置；

基于所述预设地图读取所述目标位置对应的目标定位信息。

可选地，所述则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离的步骤包括：

通过TOF相机向各所述标志物发射连续光脉冲信号，接收各所述标志物反射的光脉冲信号，记录所述光脉冲的飞行时间；

根据所述飞行时间，确定各所述标志物对应的第二测量距离。

可选地，所述通过TOF相机向各所述标志物发射连续光脉冲信号，接收各所述标志物反射的光脉冲信号，记录所述光脉冲的飞行时间的步骤包括：

通过预设的标志物识别模型，识别所述TOF相机视野内的标志物位置；

通过所述TOF相机向当前视场角内的各物体发射连续光脉冲信号，接收各所述物体分别反射的光脉冲信号；

根据所述标志物位置，在各所述物体分别反射的光脉冲信号中筛选出所述标志物反射的光脉冲信号；

根据所述光脉冲信号的发射时间点与接收到所述标志物反射的光脉冲信号的接收时间点，确定飞行时间。

可选地，在所述确定目标定位信息的步骤之后，所述方法还包括：

获取当前时间点输出的目标定位信息以及前一时间点输出的前一定位信息，其中，所述当前时间点与所述前一时间点的间隔小于预设时长；

根据所述目标定位信息与所述前一定位信息，确定定位变化距离；

获取当前移动速度，根据所述当前时间点与所述前一时间点的间隔与所述当前移动速度，计算参照移动距离；

若所述定位变化距离与所述参照移动距离之间的差值小于预设阈值，则将所述目标定位信息推送给用户；

若所述定位变化距离与所述参照移动距离之间的差值不小于所述预设阈值，则返回执行步骤：获取当前时间点输出的目标定位信息以及前一时间点输出的前一定位信息。

本申请还提供一种基于双目和TOF的距离定位装置，所述基于双目和TOF的距离定位装置应用于基于双目和TOF的距离定位设备，所述基于双目和TOF的距离定位装置包括：

双目测距模块，用于通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；

条件判断模块，用于判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度；

第一定位模块，用于若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；

TOF测距模块，用于若否，通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；

第二定位模块，用于根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。

本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于双目和TOF的距离定位方法的程序，所述基于双目和TOF的距离定位方法的程序被处理器执行时可实现如上述的基于双目和TOF的距离定位方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现基于双目和TOF的距离定位方法的程序，所述基于双目和TOF的距离定位方法的程序被处理器执行时实现如上述的基于双目和TOF的距离定位方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于双目和TOF的距离定位方法的步骤。

本申请提供了一种基于双目和TOF的距离定位方法、装置、电子设备及介质，首先通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像，再判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度，从而确定当前的情况下是否适合使用双目相机进行测距，若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息，若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离，根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息，因此，本申请的技术方案通过适应移动场景的双目相机进行测距后，通过预设距离和预设纹理丰富度等条件来判断当前的测量距离是否精准，在距离过大和纹理丰富度较低时自适应调整为通过TOF相机进行测距并进行定位，实现了首先保证更大视场角和更高清晰度的深度图像以及在移动场景下的距离定位的需求，再自动化判断测量距离精准度，并在当前测量距离误差较大的情况下自适应调整为TOF测距方案，本申请的技术方案结合了双目相机和TOF相机的优势，使得本方案能适应各不同的导航定位场景，增强了方案的环境适应度，提高了距离定位中与各标志物的测距精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请基于双目和TOF的距离定位方法第一实施例的流程示意图；

图2为本申请基于双目和TOF的距离定位方法中双目相机测距原理图；

图3为本申请基于双目和TOF的距离定位方法中根据标志物坐标和测量距离进行距离定位的原理图；

图4为本申请基于双目和TOF的距离定位方法第二实施例的流程示意图；

图5为本申请实施例中基于双目和TOF的距离定位装置的组成结构示意图；

图6为本申请实施例中基于双目和TOF的距离定位方法涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本申请保护的范围。

实施例一

本申请实施例提供一种基于双目和TOF的距离定位方法，在本申请基于双目和TOF的距离定位方法的第一实施例中，参照图1，所述基于双目和TOF的距离定位方法包括：

步骤S10，通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；

步骤S20，判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度；

步骤S30，若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；

步骤S40，若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；

步骤S50，根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。

本申请实施例中的基于双目和TOF的距离定位方法可以应用于户外定位设备，其中，所述户外定位设备上包括双目相机和TOF相机，而所述户外定位设备可以安装在车辆上或直接由用户手持，实现在户外存在已知定位信息的标志物的环境下的精准导航定位，可以应用在自动驾驶的车辆上。本申请实施例的技术方案可以在外部环境不同的情况下采用合适的测距方法，尽可能使得测量得到的与标志物之间的距离精度更高，从而提高目标定位信息的精度。具体的，各所述标志物为外部环境中已知定位信息的带有标志的物体，例如标志牌或标志杆等，所述定位信息为在地图中的坐标或经纬度等；所述第一测量距离为双目相机测量到的待定位目标（携带或安装有双目相机和TOF相机的人或车辆）与各标志物之间的距离，第一深度图像为双目相机采集到的携带有各标志物深度信息的图像。双目相机会通过左右相机的拍摄图像的差异（视差）来确定与标志物之间的距离，这种差异与标志物之间的远近距离成反比，再通过提前标定可以得到畸变参数和相机基线距离、焦距等参数，那么就可以利用左右相机采集到的图像之间的视差来计算出离标志物之间的第一测量距离，并生成对应的深度图像。需要说明的是，TOF相机也能采集到相应的深度图像，但TOF相机的视场角小于所述双目相机的视场角，且分辨率不如双目相机采集的深度图像高，另外TOF相机在本身移速较大时会产生动态模糊影响测量精度。所以在初始条件下，先通过双目相机来测量与标志物之间的距离，在不适合双目相机的场景下（如距离较远或场景的纹理丰富度低），再切换到TOF相机测距。

另一方面，本申请实施例中选用预设距离和预设纹理丰富度来衡量双目相机确定的第一测量距离和第一深度图像是否符合预设条件，这是因为双目相机本身在与标志物之间的距离较大时以及场景的纹理丰富度低时的误差较大。所以可以根据实际需求设定合适的预设距离和预设纹理丰富度，使得双目相机采集到的第一测量距离和第一深度图像的误差达到一定程度时切换为TOF相机测距模式，其中，若对误差容忍度较大，预设距离可以设置大一点，预设纹理丰富度可以设置小一点；若对误差容忍度较小，预设距离可以设置小一点，预设纹理丰富度可以设置大一点。TOF相机通过飞行时间法进行测距，是一种深度测量的方法，精度为厘米级。TOF相机测距的原理简单，模块体积小，测量距离范围较大，抗干扰能力较强。而且TOF测距方法属于双向测距技术，它主要利用信号在两个异步收发机(Transceiver)（或被反射面）之间往返的飞行时间来测量节点间的距离。而且根据调制方法的不同，TOF测距可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。脉冲调制是直接测量飞行时间，因此也称为dToF（direct）；而且连续波调制是通过相位差来计算飞行时间，因此也称为iToF（indirect）；具体地，所述第二测量距离为TOF相机采集到的待定位目标与各标志物之间的距离，需要说明的是，TOF相机也会生成对应的第二深度图像，所述第二测量距离也可以根据所述第二深度图像中相应标志物的位置以及对应的深度信息确定。

作为一种示例，步骤S10至步骤S50包括：通过安装在待定位目标上的双目相机的左右相机分别采集当前视场角范围内的场景图像，其中，所述场景图像中包括至少两个标志物；基于左右相机分别对应的场景图像中标志物的位置差异，计算所述待定位目标与所述标志物之间的第一测量距离；基于所述场景图像和所述第一测量距离，生成第一深度图像；判断所述第一测量距离是否小于预设距离并判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度；若所述第一测量距离小于所述预设距离且所述第一深度图像的纹理丰富度大于所述预设纹理丰富度，则根据各所述第一测量距离和各所述标志物的定位信息，在预设地图中作出以标志物为圆心的圆位置线，其中，所述预设地图为可进行导航定位的区域对应的地图，包括多个标志物以及各标志物对应的坐标；根据各所述圆位置线的交点以及交点在所述标志物地图中的定位信息（坐标），确定所述待定位目标对应的目标定位信息；若所述第一测量距离不小于所述预设距离或所述第一深度图像的纹理丰富度不大于所述预设纹理丰富度，则切换为TOF测距模式，并通过TOF相机测量所述待定位目标与各所述标志物之间的第二测量距离；根据各所述第二测量距离和各所述标志物的定位信息，在预设地图中作出以标志物为圆心的圆位置线，其中，所述预设地图为可进行导航定位的区域对应的地图，包括多个标志物以及各标志物对应的坐标；根据各所述圆位置线的交点以及交点在所述标志物地图中的坐标，确定所述待定位目标对应的目标定位信息。

在一种可行的实施例中，具体基于双目相机的左右相机分别对应的场景图像中标志物的位置差异，从而计算所述待定位目标与所述标志物之间的第一测量距离的原理如下：

参照图2，点P为标志物上的某一点，和/>分别是左右相机的光心，点P在两个相机感光器上的成像点分别为/>和/>次（相机的成像平面经过镜面翻转后放在了相机镜头前方）f为相机焦距，B（Baseline）为左右相机的光心距离，Z为第一测量距离，设点/>到点/>次之间的距离为dis，则有：

；

其中，和/>分别为成像点/>和/>距离感光器左端的距离，即用于表征标志物在左右相机的图像中的位置。

进一步地，根据相似三角形原理，

；

可得：

；

由于上述公式中，焦距f和光心距离B可以通过标定得到，因此，只要获得了，即左右相机分别对应的场景图像中标志物的位置差异，即可，求出第一测量距离Z。

进一步地，具体地，步骤S20中，所述判断所述第一测量距离和所述第一深度图像是否均符合预设条件的步骤包括：

步骤S21，判断所述第一测量距离是否小于预设距离；

步骤S22，若所述第一测量距离小于所述预设距离，则判定所述第一测量距离符合所述预设条件；

步骤S23，若所述第一测量距离不小于所述预设距离，则判定所述第一测量距离不符合所述预设条件；

步骤S24，判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度；

步骤S25，若所述第一深度图像的纹理丰富度大于所述预设纹理丰富度，则判定所述第一深度图像符合所述预设条件；

步骤S26，若所述第一深度图像的纹理丰富度小于所述预设纹理丰富度，则判断所述第一深度图像不符合所述预设条件。

本申请实施例中，具体公开了在获得了第一测量距离和第一深度图像之后的判断是否要切换到TOF测距模型的详细判断方法，具体包括根据预设距离和预设纹理方法度分别对应第一测量距离和第一深度图像的纹理丰富度进行衡量的效果，以避免在距离较大和纹理丰富度交底时双目相机测量的第一测量距离误差较大，从而影响距离定位效果。

需要说明的是，在一种可行的实施例中，双目相机通常的精准测量范围在30m以内，所以预设距离可以设置为30m，另外，也可以根据双目相机实际的性能和用户需求自行设置其他值作为预设距离；而第一深度图像的纹理丰富度可以通过预设的纹理丰富度检测模型检测，例如预先训练好的纹理丰富度检测模型可以测得第一深度图像的纹理丰富度为低、中、高等三个等级，用户可以设定当第一深度图像的纹理丰富度为低于中时，则误差较大，需要切换为TOF测量模型，即预设纹理丰富度为低，本申请实施例的方法中需要第一深度图像的纹理方法度大于低等级（不能为低等级），才能认为所述第一深度图像符合预设条件。

在另一种可行的实施例中，可以通过结合所述第一测量距离的值和第一深度图像的纹理丰富度判断是否符合预设条件；例如，若，所述预设距离为30m，而所述第一测量距离小于15m，则所述预设纹理丰富度可设为低，即第一深度图像的纹理丰富度为中或高均可认为符合预设条件；若所述第一测量距离大于15m且小于30，则可将所述预设纹理丰富度设为中，提高对第一深度图像纹理丰富度的要求，从而在距离偏大的情况下保证总体测量距离的误差不至于过大；若所述第一预设距离大于30m，则直接判定所述第一测量距离不符合预设条件并切换到TOF测距模式。

另外，在所述判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度的步骤之前，所述方法还包括：

步骤A10，通过预设的纹理丰富度检测模型对所述第一深度图像进行检测，获得所述第一深度图像的纹理丰富度，其中，所述纹理丰富度检测模型是通过多组深度图像和对应的纹理丰富度标签训练得到。

在本申请实施例中，公开了一种通过预先训练的纹理丰富度检测模型来确定深度图像的纹理丰富度的方法，其中，所述纹理丰富度检测模型可以为采用决策树算法或支持向量机算法的现有技术中各种技术成熟的图片检测模型或分类模型，主要通过提取所述第一深度图像中各像素点对应的像素值作为特征值，输入已经训练好的纹理丰富度检测模型中，通过所述纹理丰富度检测模型对所述第一深度图像的纹理丰富度进行预测，输出所述第一深度图像的纹理丰富度。

另外，在使用纹理丰富度检测模型之前，需要根据决策树算法或支持向量机算法以及用户预设的初始模型参数，初始化生成纹理丰富度检测模型；获取导航定位场景中包括标志物在内的由双目相机采集到的多组深度图像，通过人工对各所述深度图像进行标注，打上对应的纹理丰富度标签，例如低、中、高等；再将打好标签的深度图像作为样本输入初始化后的纹理丰富度检测模型中，得到初步预测结果，根据所述初步预测结果与纹理丰富度标签的真实值之间测差异，对所述纹理丰富度检测模型的模型参数进行迭代优化，直至所述纹理丰富度检测模型的预测精度达到预期值，即可停止优化。

另外，所述根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息的步骤还可以包括：

步骤S31，基于各所述标志物的定位信息和对应的第一测量距离，在预设地图上作出以各所述标志物为圆心的圆位置线。其中，所述预设地图中包括各所述标志物的定位信息；

步骤S32，根据各所述标志物对应的圆位置线，读取各所述圆位置线的各交点；

步骤S33，根据所述第一深度图像中各所述标志物的相对位置，从各所述交点中选取目标位置；

步骤S34，基于所述预设地图读取所述目标位置对应的目标定位信息。

本申请实施例公开了根据已测得的第一测量距离和各标志物的定位信息（坐标）来确定待定位目标的目标定位信息（坐标）的方法，具体应用到了距离定位方法，即通过两个或两个以上的标志物自身的坐标和待定位目标与标志物之间的距离，计算出待定位目标的坐标的方法，实现一定范围内的精准导航定位。

作为一种示例，参照图3，其中，A和B分别为两个不同的标志物，L1和L2分别为待定位目标与两个标志物之间的第一测量距离，C和D分别为，两个标志物分别对应的圆位置线的交点，步骤S31至步骤S34包括：以两个标志物的位置分别为圆心（圆心A和圆心B），以两个标志物分别与待定位目标之间的第一测量距离L1和L2为半径，在各所述标志物对应的预设地图中作出标志物A和标志物B分别对应的圆位置线，其中，所述预设地图中包括各标志物的坐标位置；根据标志物A和标志物B分别对应的圆位置线读取两者的交点C和交点D；获取所述第一深度图像中A和B的相对位置（例如A在B左边），则可排除交点D，确定交点C为目标位置，所述目标位置即为待定位目标的位置；在所述预设地图中读取交点C的坐标，得到目标定位信息。

进一步地，所述则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离的步骤还可以包括：

步骤S41，通过TOF相机向各所述标志物发射连续光脉冲信号，接收各所述标志物反射的光脉冲信号，记录所述光脉冲的飞行时间；

步骤S42，根据所述飞行时间，确定各所述标志物对应的第二测量距离。

本申请实施例中，提供了一种通过TOF相机进行测距的方法，具体选用连续脉冲信号来向各所述标志物进行发射，并根据发射-接收这段时间的时长，结合光脉冲信号的飞行速度（光速），计算出第二测量距离。

作为一种示例，步骤S41至步骤S42包括：当切换到TOF相机测距模式时，通过TOF相机向当前视场角内发射预先调制好的连续光脉冲信号，并接收反射回来的光脉冲信号；采集当前视场角的场景图像，并从所述场景图像中识别出标志物；根据所述标志物的位置从接收到的反射光脉冲信号中提取出标志物反射回的光脉冲信号；计算所述标志物反射回的光脉冲信号的接收时间点与发射时间点之间的飞行时间与光速的积再除以2，得到所述标志物对应的第二测量距离。

进一步地，所述通过TOF相机向各所述标志物发射连续光脉冲信号，接收各所述标志物反射的光脉冲信号，记录所述光脉冲的飞行时间的步骤包括：

步骤S411，通过预设的标志物识别模型，识别所述TOF相机视野内的标志物位置；

步骤S412，通过所述TOF相机向当前视场角内的各物体发射连续光脉冲信号，接收各所述物体分别反射的光脉冲信号；

步骤S413，根据所述标志物位置，在各所述物体分别反射的光脉冲信号中筛选出所述标志物反射的光脉冲信号；

步骤S414，根据所述光脉冲信号的发射时间点与接收到所述标志物反射的光脉冲信号的接收时间点，确定飞行时间。

在本申请实施例中，具体公开了如何从接收到的反射光脉冲信号中筛选出标志物反射的光脉冲信号的方法，应用到了标志物识别模型，其中，所述标志物识别模型可以选取现有的技术成熟的图像检测模型算法训练得到，在训练过程中，需要获取多组包括标志物的图像和不包括标志物的图像作为样本数据进行模型训练，使得训练得到的标志物识别模型可以从当前得到的深度图像中准确识别出是否有标志物以及标志物在图像中的位置。

作为一种优选，所述标志物识别模型为YOLO（You Only Look Once，单次观测）图像检测模型。

作为一种示例，步骤S411至步骤S414包括：通过预设的TOLO图像检测模型对所述TOF相机采集到的第二深度图像进行识别，获得所述第二深度图像内标志物的位置；通过所述TOF相机向第二深度图像内所有物体发射覆盖当前视场角区域的连续光脉冲信号，并接收反射的所有光脉冲信号；根据所述第二图像内标志物的位置，提取当前视场角区域内由标志物反射的光脉冲信号；记录标志物反射的光脉冲信号被TOF相机接收到的接收时间点；计算所述接收时间点与所述连续光脉冲信号的发射时间点之间的差，获得飞行时间。

本申请实施例提供了一种基于双目和TOF的距离定位方法，首先通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像，再判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度，从而确定当前的情况下是否适合使用双目相机进行测距，若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息，若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离，根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息，因此，本申请实施例的技术方案通过适应移动场景的双目相机进行测距后，通过预设距离和预设纹理丰富度等条件来判断当前的测量距离是否精准，在距离过大和纹理丰富度较低时自适应调整为通过TOF相机进行测距并进行定位，实现了首先保证更大视场角和更高清晰度的深度图像以及在移动场景下的距离定位的需求，再自动化判断测量距离精准度，并在当前测量距离误差较大的情况下自适应调整为TOF测距方案，本申请实施例的技术方案结合了双目相机和TOF相机的优势，使得本方案能适应各不同的导航定位场景，增强了方案的环境适应度，提高了距离定位中与各标志物的测距精度。

实施例二

进一步地，基于本申请第一实施例，在本申请另一实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，在步骤S30或步骤S50确定了目标定位信息之后，参照图4，所述方法还包括：

步骤B10，获取当前时间点输出的目标定位信息以及前一时间点输出的前一定位信息，其中，所述当前时间点与所述前一时间点的间隔小于预设时长；

步骤B20，根据所述目标定位信息与所述前一定位信息，确定定位变化距离；

步骤B30，获取当前移动速度，根据所述当前时间点与所述前一时间点的间隔与所述当前移动速度，计算参照移动距离；

步骤B40，若所述定位变化距离与所述参照移动距离之间的差值小于预设阈值，则将所述目标定位信息推送给用户；

步骤B50，若所述定位变化距离与所述参照移动距离之间的差值不小于所述预设阈值，则返回执行步骤：获取当前时间点输出的目标定位信息以及前一时间点输出的前一定位信息。

在本申请实施例中，提供了一种在确定目标定位信息后，根据之前确定的定位信息和当前速度来判断是否将目标定位信息推送给用户的方法，由于在双目相机和TOF相机所搭载的设备处于快速移动中时，使用距离定位方法可能会产生一定的误差，对用户造成误导，尤其是在前一时间点的目标定位信息和后一时间点的定位信息相差较大（如相差几百米甚至上千米）时，会给用户带来很不好的导航定位使用体验，所以在确定目标定位信息之前至推送给用户之间，需要对目前输出的目标定位信息进行一定的核验。其中，所述参照移动距离用于表征在前一时间点和当前时间点这段时间内的真实移动距离，所述预设阈值可以容许输出的当前定位信息有一定的误差，预设阈值越大，所容许的误差就越大。

在一种可行的实施例中，若双目相机和TOF相机所搭载的设备处于静止时，则当前移动速度也为0，对应的参照移动距离也为0，若此时定位信息的差值大于预设阈值，则可认定当前输出的目标定位信息存在误差，需要继续获取下一时间点的定位信息，直至所述定位信息稳定位置，其中，所述预设阈值可以根据用户具体需要的稳定性确定，若需要输出更高稳定性的定位信息，则预设阈值可以设置低一点，但可能会出现更长时间的定位信息输出真空期；若对定位信息的稳定性要求不高，可以将预设阈值设置高一点，用户可以根据经验和需求自行权衡设置。

作为一种示例，步骤B10至步骤B50包括：获取当前时间点和前一时间点时基于双目相机的第一测量距离或基于TOF相机输出的第二测量距离以及标志物的坐标所输出的目标定位信息和前一定位信息，其中，所述当前时间点与所述前一时间点之间的间隔为0.5s；根据所述目标定位信息的坐标和前一定位信息的坐标计算两者之间的定位变化距离，其中，所述坐标均为二维坐标，所述定位变化距离时通过两者分别对应的横坐标的差和纵坐标的差的平方和计算得到；获取双目相机和TOF相机所搭载的设备的当前移动速度，计算所述当前移动速度和0.5s的积，获得参照移动距离；计算所述定位变化距离与所述参照移动距离之间的差值，获得误差值；判断所述误差值是否小于预设阈值；若所述误差值小于所述预设阈值，则将所述目标定位信息通过图像或语音的方式推送给用户；若所述误差值不小于所述预设阈值，则返回执行步骤B10：获取当前时间点输出的目标定位信息以及前一时间点输出的前一定位信息。

本申请实施例中，提供了一种判断输出的目标定位信息是否存在误差的方法，具体通过结合前一时间点和当前时间点输出的定位信息以及当前移动速度，对当前输出的定位信息是否存在误差进行核验，并在定位信息的误差超过预设阈值时不推送给用户，保证了推送给用户的定位信息的稳定与精度，提高了用户的导航定位体验。

实施例三

本申请实施例还提供一种基于双目和TOF的距离定位装置，所述基于双目和TOF的距离定位装置应用于基于双目和TOF的距离定位设备，参照图5，所述基于双目和TOF的距离定位装置包括：

双目测距模块101，用于通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；

条件判断模块102，用于判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度；

第一定位模块103，用于若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；

TOF测距模块104，用于若否，通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；

第二定位模块105，用于根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。

可选地，所述条件判断模块102还用于：

判断所述第一测量距离是否小于预设距离；

可选地，所述条件判断模块102还用于：

可选地，所述标志物的数量至少为两个，所述第一定位模块103还用于：

基于所述预设地图读取所述目标位置对应的目标定位信息。

可选地，所述TOF测距模块104还用于：

可选地，所述基于双目和TOF的距离定位装置还包括定位信息推送模块，所述定位信息推送模块还用于：

本申请提供的基于双目和TOF的距离定位装置，采用上述实施例中的基于双目和TOF的距离定位方法，解决了混合色温场景下基于双目和TOF的距离定位的技术问题。与现有技术相比，本申请实施例提供的基于双目和TOF的距离定位装置的有益效果与上述实施例提供的基于双目和TOF的距离定位方法的有益效果相同，且该基于双目和TOF的距离定位装置中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。

实施例四

本申请实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信链接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的基于双目和TOF的距离定位方法。

下面参考图6，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（personal digital assistant，个人数字助理）、PAD（平板电脑）、PMP（Portable MediaPlayer，便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备可以包括处理装置1001（例如中央处理器、图形处理器等），其可以根据存储在只读存储器1002（ROM，read only memory）中的程序或者从存储装置1003加载到随机访问存储器1004（RAM，random access memory）中的程序而执行各种适当的动作和处理。在RAM1004中，还存储有电子设备操作所需的各种程序和数据。处理装置1004、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出（I/O）接口1006也链接至总线1005。

通常，以下系统可以链接至I/O接口1006：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007；包括例如液晶显示器（LCD，liquidcrystal display）、扬声器、振动器等的输出装置1008；包括例如磁带、硬盘等的存储装置1003；以及通信装置1009。通信装置1009可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。

本申请提供的电子设备，采用上述实施例中的基于双目和TOF的距离定位方法，解决了目前的距离定位方案中测距精度偏低的技术问题。与现有技术相比，本申请实施例提供的电子设备的有益效果与上述实施例一提供的基于双目和TOF的距离定位方法的有益效果相同，且该电子设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

实施例五

本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的基于双目和TOF的距离定位的方法。

本申请实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM，ErasableProgrammable Read-Only Memory或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：通过双目相机对各标志物进行拍摄，获得各所述标志物对应的第一测量距离和第一深度图像；判断所述第一测量距离和所述第一深度图像是否均符合预设条件，其中，所述预设条件至少包括小于预设距离和大于预设纹理丰富度；若是，则根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息；若否，则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离；根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN，local area network)或广域网(WAN，Wide Area Network)—链接到用户计算机，或者，可以链接到外部计算机（例如利用因特网服务提供商来通过因特网链接）。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。

本申请提供的计算机可读存储介质，存储有用于执行上述基于双目和TOF的距离定位方法的计算机可读程序指令，解决了目前的距离定位方案中测距精度偏低的技术问题。与现有技术相比，本申请实施例提供的计算机可读存储介质的有益效果与上述实施例提供的基于双目和TOF的距离定位方法的有益效果相同，在此不做赘述。

实施例六

本申请提供的计算机程序产品解决了目前的距离定位方案中测距精度偏低的技术问题。与现有技术相比，本申请实施例提供的计算机程序产品的有益效果与上述实施例提供的基于双目和TOF的距离定位方法的有益效果相同，在此不做赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims

1.一种基于双目和TOF的距离定位方法，其特征在于，所述基于双目和TOF的距离定位方法包括：

根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息；

其中，所述判断所述第一测量距离和所述第一深度图像是否均符合预设条件的步骤包括：

判断所述第一测量距离是否小于预设距离；

通过预设的纹理丰富度检测模型对所述第一深度图像进行检测，获得所述第一深度图像的纹理丰富度，其中，所述第一深度图像的纹理丰富度为低、中、高中的一种，所述纹理丰富度检测模型是通过多组深度图像和对应的纹理丰富度标签训练得到；

判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度，所述预设纹理丰富度为低、中、高中的一种；

2.如权利要求1所述基于双目和TOF的距离定位方法，其特征在于，所述标志物的数量至少为两个，所述根据各所述第一测量距离和各所述标志物的定位信息，确定目标定位信息的步骤包括：

基于各所述标志物的定位信息和对应的第一测量距离，在预设地图上作出以各所述标志物为圆心的圆位置线，其中，所述预设地图中包括各所述标志物的定位信息；

基于所述预设地图读取所述目标位置对应的目标定位信息。

3.如权利要求1所述基于双目和TOF的距离定位方法，其特征在于，所述则通过TOF相机对各所述标志物进行测距，获得各所述标志物对应的第二测量距离的步骤包括：

4.如权利要求3所述基于双目和TOF的距离定位方法，其特征在于，所述通过TOF相机向各所述标志物发射连续光脉冲信号，接收各所述标志物反射的光脉冲信号，记录所述光脉冲的飞行时间的步骤包括：

5.如权利要求1-4任一项所述的基于双目和TOF的距离定位方法，其特征在于，在所述确定目标定位信息的步骤之后，所述方法还包括：

6.一种基于双目和TOF的距离定位装置，其特征在于，所述基于双目和TOF的距离定位装置包括：

第二定位模块，用于根据各所述第二测量距离和各所述标志物的定位信息，确定目标定位信息；

其中，所述条件判断模块还用于：判断所述第一测量距离是否小于预设距离；若所述第一测量距离小于所述预设距离，则判定所述第一测量距离符合所述预设条件；若所述第一测量距离不小于所述预设距离，则判定所述第一测量距离不符合所述预设条件；通过预设的纹理丰富度检测模型对所述第一深度图像进行检测，获得所述第一深度图像的纹理丰富度，其中，所述第一深度图像的纹理丰富度为低、中、高中的一种，所述纹理丰富度检测模型是通过多组深度图像和对应的纹理丰富度标签训练得到；判断所述第一深度图像的纹理丰富度是否大于预设纹理丰富度，所述预设纹理丰富度为低、中、高中的一种；若所述第一深度图像的纹理丰富度大于所述预设纹理丰富度，则判定所述第一深度图像符合所述预设条件；若所述第一深度图像的纹理丰富度小于所述预设纹理丰富度，则判断所述第一深度图像不符合所述预设条件。

7.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信链接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的基于双目和TOF的距离定位方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现基于双目和TOF的距离定位方法的程序，所述实现基于双目和TOF的距离定位方法的程序被处理器执行以实现如权利要求1至5中任一项所述基于双目和TOF的距离定位方法的步骤。