CN112639864A - 用于测距的方法和装置 - Google Patents

Abstract

本申请提供了一种用于测距的方法和装置。该方法可以应用于配置有多个测距单元的设备，该方法包括：将设备中可以构成测距单元组的两个测距单元构成测距单元组，并离线确定测距单元组中左测距单元中的像素点在右测距单元中的对极曲线，以及获取像素点和对极曲线的对应关系。该用于测距的方法可以将不同的两个相机组成泛双目相机，离线确定点和对极曲线的对应关系，能够减少泛双目测距流程中在线计算时间。

Description

用于测距的方法和装置

技术领域

本申请涉及目标检测领域，并且更具体地，涉及一种用于测距的方法和装置。

背景技术

随着自动驾驶技术的快速发展，自动驾驶对全向感知技术的需求越来越大。在特定的自动驾驶场景下全向感知技术起到了关键性地作用，例如，其他车辆并入自车所在的车道，自车需要具备侧向、前向和后向的感知技术，评估碰撞风险。

全向感知技术可以通过配置相机实现，现有的车辆一般配置有多个相机，该多个相机可以具有相同的视场(field of view，FOV)、焦距和分辨率等，或者该多个相机可以具有不同的FOV、焦距和分辨率等。该多个相机可以安装于车辆不同的位置、不同的角度，则不同的相机具有不同的视野，两两相机之间可以存在不同程度的重叠视野，以覆盖车辆的全向环境。如何实现将不同的两个相机组成泛双目相机，并基于该泛双目相机进行测距成为亟待解决的问题。

发明内容

本申请提供一种用于测距的方法和装置，应用在目标检测领域中，可以实现基于视觉的泛双目测距，提高测距的性能。

第一方面，提供了一种用于测距的方法，该用于测距的方法可以由配置有多个测距单元的设备执行，或者，也可以由设置于配置有多个测距单元的设备中的芯片或电路执行，本申请对此不作限定。

上述的配置有多个测距单元的设备以是车辆或车载设备或其他的配置有多个测距单元的设备。

该用于测距的方法包括：

确定第一测距单元观测到法人第一视野范围以及第二测距单元观测到的第二视野范围，该第一视野范围包括第一重合视野，该第二视野范围包括第二重合视野，该第一重合视野和该第二重合视野相同；在离线状态下确定该第一重合视野中第一像素点，以及该第一像素点在该第二重合视野中的对应的第一对极曲线，其中，该第一像素点为该第一重合视野中的任意一个存在畸变的像素点；获取该第一重合视野中所有像素点，以及该所有像素点在该第二重合视野中的分别对应的对极曲线之间的对应关系。

本申请提供的用于测距的方法，通过在离线状态下计算第一测距单元和第二测距单元观测的重合视野中的像素点的对极曲线，能够减少泛双目测距流程中在线计算时间，提高测距的性能。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：在线获取该第一测距单元观测到第三视野范围，该第二测距单元观测到第四视野范围，该第三视野范围包括第三重合视野，该第四视野范围包括第四重合视野，该第三重合视野和该第四重合视野相同；确定该第三重合视野中第二像素点；基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的匹配点，其中，该第二像素点为该第三重合视野中的任意一个像素点。

进一步地，在线测距过程中，在获取到第一测距单元和第二测距单元观测的重合视野中的像素点之后，由于第一测距单元和第二测距单元的配置参数以及相对位置与离线状态下相比通常不会存在变化(如，车辆出厂之后配置的相机基本不会发生改变)，因此在线测距过程中可以基于离线获取的像素点和对极曲线的关系，获取得到像素点对应的对极曲线，进一步地得到像素点对应的匹配点，完成像素点匹配，无需在线计算对极曲线，减少在线像素点匹配的时间。

结合第一方面，在第一方面的某些实现方式中，该确定该第四重合视野中该第二像素点对应的匹配点包括：基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的第二对极曲线；在该第二对极曲线中确定该匹配点。

具体地，上述像素点匹配的过程包括先获取到像素点对应的对极曲线，在从对极曲线中确定得到像素点的匹配点，由上述可知获取像素点对应的对极曲线的过程可以是基于离线获取的像素点和对极曲线的对应关系确定的，无需在线计算像素点的对极曲线，减少在线计算的时间。

结合第一方面，在第一方面的某些实现方式中，该确定该第四重合视野中该第二像素点对应的匹配点之前，该方法还包括：基于该设备的可行驶区域信息确定该第三重合视野对应的第一可行驶区域点和该第四视野范围对应的第二可行驶区域点，其中，该第一可行驶区域点对应第一拟合线段、该第二可行驶区域点对应第二拟合线段；确定该第三重合视野中第二像素点包括：确定该第一拟合线段上的第二像素点；该确定该第四重合视野中该第二像素点对应的匹配点包括：基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的第二对极曲线，该第二对极曲线与该第二拟合线段的交点为该匹配点。

本申请提供的用于测距的方法，通过引入辅助信息(如，可行驶区域信息)辅助确定像素点匹配，进一步地提高了像素点匹配的速度。

结合第一方面，在第一方面的某些实现方式中，该确定该第一像素点在该第二重合视野中的对应的第一对极曲线包括：|基于该第一测距单元的参数，确定该第一像素点对应的去畸变的第一像素点；基于该去畸变的第一像素点确定去畸变的第一对极曲线；确定该去畸变的第一对极曲线上的N个离散像素点，该N为正整数；基于该第二测距单元的参数，确定该N个离散像素点分别对应的畸变的N个离散像素点；拟合该畸变的N个离散像素点得到该第一对极曲线。

本申请提供的用于测距的方法，在确定像素点对极曲线之前像素点为未去畸变的图像中的像素点(即上述的第一像素点为原始图像中的像素点)，保留了原始信息，避免了信息丢失。

结合第一方面，在第一方面的某些实现方式中，该设备包括第一车辆。

具体地，上述的配置有多个测距单元的设备可以是车辆。

结合第一方面，在第一方面的某些实现方式中，该测距单元包括相机，该第一相机和第二相机具有不同的视场FOV和/或焦距，或者，该第一相机和第二相机为异构相机。

本申请提供的用于测距的方法，上述的测距单元可以是相机，并且两个测距单元可以是异构相机，降低设备对于配置上的要求，提高方案的可行性。

第二方面，提供一种用于测距的装置，该用于测距的装置包括处理器，用于实现上述第一方面描述的方法中配置有多个测距单元的设备的功能。

可选地，该用于测距的装置还可以包括存储器，该存储器与该处理器耦合，该处理器用于实现上述第一方面描述的方法中配置有多个测距单元的设备的功能。

在一种可能的实现中，该存储器用于存储程序指令和数据。该存储器与该处理器耦合，该处理器可以调用并执行该存储器中存储的程序指令，用于实现上述第一方面描述的方法中配置有多个测距单元的设备的功能。

可选地，该用于测距的装置还可以包括通信接口，该通信接口用于该用于测距的装置与其它设备进行通信。当该用于测距的装置为配置有多个测距单元的设备时，该收发器可以是通信接口，或，输入/输出接口。

在一种可能的设计中，该用于测距的装置包括：处理器和通信接口，用于实现上述第一方面描述的方法中配置有多个测距单元的设备的功能，具体地包括：

该处理器利用该通信接口与外部通信；

该处理器用于运行计算机程序，使得该装置实现上述第一方面描述的任一种方法。

可以理解，该外部可以是处理器以外的对象，或者是该装置以外的对象。

在另一种实现方式中，该用于测距的装置为芯片或芯片系统时，该通信接口可以是是该芯片或芯片系统上输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。该处理器也可以体现为处理电路或逻辑电路。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被通信装置执行时，使得该通信装置实现第一方面以及第一方面的任一可能的实现方式中的方法。

第四方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得通信装置实现第一方面以及第一方面的任一可能的实现方式中的方法。

第五方面，提供了一种通信系统，包括第二方面所示的用于测距的装置和接入网设备。

附图说明

图1是V2X系统的示意图。

图2是本申请实施例提供的一种2D检测框的示意图。

图3是本申请实施例提供的一种车辆配置有多个相机的示意图。

图4是一种普通双目相机的示意图。

图5是一种对极几何的基本模型示意图。

图6是本申请实施例提供的一种可行驶区域的示意图。

图7是本申请提供的一种用于测距的方法示意性流程图。

图8是本申请实施例提供一种确定对极曲线的示意性流程图。

图9是本申请提供的一种可行驶区域点的示意图。

图10是本申请提供的一种可行驶区域点拟合的示意图。

图11是本申请提供的用于测距的装置1100的示意图。

图12是适用于本申请实施例的第一车辆1200的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括。例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例的技术方案可以应用于车联网(vehicle to everything，V2X)通信系统。随着社会的不断发展，汽车的普及程度也越来越高，驾驶出行在给人们的出行带来便利的同时，也给人类社会带来一定负面影响，车辆数量迅速增加引起了城市交通拥堵、交通事故频发、环境质量变差等一系列问题。从人身安全、交通出行效率、环境保护以及经济效应等多方面来看，都需要一套完善的智能交通系统(intelligent transportationsystem，ITS)。而当前，ITS也理所当然的成为了全球关注热点。

目前，车辆可以通过车辆与车辆(vehicle to vehicle，V2V)、车辆与路边基础设施(vehicle to infrastructure，V2I)、车辆与行人之间(vehicle to pedestrian，V2P)或者车辆与网络(vehicle to network，V2N)通信方式，及时获取路况信息或接收服务信息，这些通信方式可以统称为V2X通信(X代表任何事物)。

图1是V2X系统的示意图。该示意图包括V2V通信、V2P通信以及V2I/N通信。如图1所示，车辆之间通过V2V通信。车辆可以将自身的车速、行驶方向、具体位置、是否踩了紧急刹车等信息广播给周围车辆，周围车辆的驾驶员通过获取该类信息，可以更好的感知视距外的交通状况，从而对危险状况做出提前预判进而做出避让；车辆与路侧基础设施通过V2I通信，路边基础设施，可以为车辆提供各类服务信息和数据网络的接入。其中，不停车收费、车内娱乐等功能都极大的提高了交通智能化。路边基础设施，例如，路侧单元(road sideunit，RSU)包括两种类型：一种是终端设备类型的RSU。由于RSU分布在路边，该终端设备类型的RSU处于非移动状态，不需要考虑移动性；另一种是网络设备类型的RSU。该网络设备类型的RSU可以给与网络设备通信的车辆提供定时同步及资源调度。车辆与人(例如，车辆与行人、车辆与骑自行车的人、车辆与司机或车辆与乘客)通过V2P通信；车辆与网络通过V2N通信，V2N可以与上述的V2I统称为V2I/N。

应理解，图1只是为了介绍V2X系统而示出的一种示例性的示意图，不对本申请构成任何限定。例如，车辆数量、行人数量以及基础设施的数量可以为多个，并不是图1中所示的数量。

图1介绍了本申请实施例能够应用的场景，为了便于对本申请技术方案的理解，下面简单介绍本申请技术方案中涉及的几个基本概念。

1、目标检测。

目标检测(object detection)的任务是机器视觉领域中的重要任务。目标检测的目的是找出图像或视频中感兴趣的物体(该物体可以称之为目标)，并同时实现输出目标的位置和目标的物体分类。例如，输出目标的物体类别和目标在图像(本申请中涉及的图像指的是终端设备检测到的目标物体的影像)上的最小包围框的方式称为2D目标检测；还例如，输出目标的物体类别及目标的在三维空间中的长、宽、高和旋转角等信息的目标检测称为3D目标检测。

目标检测，也可以称为目标提取，是一种基于目标几何和统计特征的目标定位，它将目标的定位和识别合二为一，其准确性和实时性是整个需要实现目标定位的系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

本申请提供的用于测距的方法也可以应用于目标检测领域，用于检测目标的距离。例如，在V2X场景下可以检测到障碍物距离自车的距离。

2、2D检测框。

在2D目标检测过程中，通常使用检测框(bounding box)来描述检测目标的位置。检测框是一个矩形框，可以由矩形左上角的x1和y1轴坐标与右下角的x2和y2轴坐标确定。如图2所示，图2是本申请实施例提供的一种2D检测框的示意图。

示例性地，图2中所示的第二车辆为第一车辆检测到的目标的图像，本申请实施例中对于如何实现目标检测并不限定，可以通过现有的方法或者技术发展之后的方法进行目标检测。

应理解，在2D目标检测过程中，bounding box是通过神经网络预测出来的，神经网络会预测一个检测框相对于参考点的位置和大小，检测框内物体类别和是否有物体的置信度，以及物体类别置信度。

3、全向感知技术。

全向感知技术是近时期自动驾驶领域的一个重要课题，需要用一个或多个传感器感知设备(例如，机器人、自车辆或者其他设备)外360度环境。

本申请提供的用于测距的方法可以应用在图1所示的V2X系统中，为了便于说明，本申请中以车辆的全向感知技术为例介绍本申请提供的用于测距的方法。例如，上述的全向感知技术应用于第一车辆，则上述的设备外360度环境可以包括：其他车辆(如第二车辆)、行人、骑行者等障碍物离第一车辆的方位(纵向距离和/或横向距离)、障碍物与第一车辆之间的相对速度、障碍物相对于自车的角度等信息。

应理解，本申请实施例中只是以第一车辆具有全向感知技术为例进行说明，对本申请的保护范围不构成任何的限定，本申请提供的用于测距的方法还可以应用于其他的设备，具体方式与应用于第一车辆类似，不一一举例说明。

本申请中第一车辆具备全向感知技术，可以通过给第一车辆配置相机实现。但是单目相机由于安装位置、算法局限，对特定场景(例如，第一车辆上下坡行驶和/或第一车辆上下颠簸抖动等情况)测距不准；并且单目相机一般不能实现360度全向覆盖，因此目前车辆一般配置多个相机以实现全向感知技术，该多个相机有相同或不同的FOV、焦距或分辨率等，且安装于第一车辆(例如，车身)的不同位置和/或不同角度，该多个相机具有不同视野，两两相机之间可以有不同程度的重叠视野，以覆盖第一车辆外360度全向环境。

需要说明的是，本申请实施例中涉及的相机具有的视野可以理解为相机能够观测到的视野范围，或者相机能够观测到的区域，或者相机能够获取到的图像等，两两相机之间存在的重叠视野可以理解为两两相机分别具有的视野范围之间存在的重叠范围，或者重叠区域等，如何描述视野范围和/或重叠视野并不能对本申请的保护范围构成限定，下文中为了描述统一，称相机具有的视野范围为相机观测到的视野范围，两两相机之间的重叠视野称为重叠视野。

例如，第一车辆配置的多个相机如图3所示。图3是本申请实施例提供的一种车辆配置有多个相机的示意图。该第一车辆车身的前方配置有四个相机，该四个相机中的两个相机(例如，第一相机和第二相机)的FOV和焦距完全一样，可组成普通双目相机、该四个相机中的另外两个相机(例如，第三相机和第四相机)有不同FOV和焦距，无法组成普通双目相机。该第一车辆的车身的两侧方分别配置有两个相机(例如，车身的左侧方配置有第五相机和第六相机)、该第一车辆的车身的后向配置有一个相机、该第一车辆的车身的前后左右还各分别有一个鱼眼相机，可覆盖第一车辆外360度全向环境。鱼眼相机与一般相机分别对应的视野范围有很大的重合视野，一般来说障碍物在两个相机分别对应的视野范围的重合视野中用双目测距算法测量障碍物距自车的距离就会比较准。

假设上述的第三相机观测到的视野范围为图3中所示的区域#1、第五相机观测到的视野范围为图3中所示的区域#2、第六相机观测到的视野范围为图3中所示的区域#3，则第三相机覆盖的区域和第五相机覆盖分别观测到的视野范围之间存在如图3中所示的重合视野#1、第六相机覆盖的区域和第五相机分别观测到的视野范围之间存在如图3中所示的重合视野#2。对于重合区域来说，采用双目算法测距会比较准确。

应理解，图3中所示的相机可以是第一车辆配置的多个相机中的全部或者部分相机，为了说明设置在第一车辆的不同位置上的两个相机分别观测到的视野范围可能存在重合视野。图3只是一种示意图，对第一车辆配置的相机的个数以及位置、相机的参数和相机的相对位姿等不产生任何的限定。

由上述可知，对于具有全向感知技术的第一车辆来说，第一车辆外360度全向环境中，两个相机分别观测到的视野范围之间的重合视野，如果采用双目测距算法测量该重合视野中的某障碍物(或称为目标)的距第一车辆的距离比较准确。双目测距的前提是要构成双目相机，下面将介绍普通双目相机和泛双目相机，以及普通双目相机对应的普通双目测距方法、泛双目相机对应的泛双目测距方法。

4、普通双目测距。

使用普通双目测距是现有的自动驾驶中一种已有的测距的方式，如图4所示。图4是一种普通双目相机的示意图。从图4中可以看出，普通的双目相机由两个相同的相机构成(例如，图4中所示的左相机和右相机)。本申请中涉及的相同的相机指的是两个相机的配置一样，例如，FOV、焦距或分辨率等一样。

普通双目测距是基于左右相机图像视差，直接对目标物体进行距离测量。需要说明的是，双目相机能够感知物体的远近，是由于两个相机对同一个物体分别获取的图像之间存在差异，也称“视差”。物体相对于双目相机的距离越远，视差越小；反之，物体相对于双目相机的距离越近，视差越大。视差的大小对应着物体与双目相机之间距离的近远，双目相机主要利用视差和三角测距的原理来测距，对目标物体距离感知是一种绝对的测量，而非估算。

但是普通的双目相机需要两个一样的相机，并且从相机成像去畸变到最后利用视差和三角测量法计算目标物体的距离的运算量大，对进行双目测距的处理硬件要求高。

车辆的全向感知技术若用普通双目相机方案，车辆的车身的每个面至少需要两个相同相机，使用相机数量多。而现在车辆上配置的多个相机，两两相机(不一样的相机)分别观测到的视野范围之间本来就存在重合视野(如上图3所示，图3中的第三相机和第六相机并不一定是一样的相机、第六相机和第五相机也不一定是一样的相机)，例如，鱼眼相机和一般相机分别观测到的视野范围之间存在重合视野的可能性很大，但是鱼眼相机和一般相机不是一样的相机，无法组成普通的双目相机。

为了使得车辆已配置的多个相机中不一样的两个相机可以组成双目相机，提出了泛双目相机的概念，本申请主要涉及泛双目相机测距，下面简单介绍泛双目相机。

5、泛双目相机。

由上述的普通双目测距描述可知，现有的车辆上配置的多个相机，并不能保证车辆的车身的每个面上配置两个一样的相机，组成普通的双目相机。一般情况下车辆配置的多个相机中观测到的视野范围之间具有重合视野的两个相机，无法组成上述普通的双目相机。若要基于普通的双目相机使得车辆实现全向感知技术，车辆需要配置的相机数目太多，成本太高不符合实际需求。

若任意两个观测到的视野范围之间具有重合视野的相机都可以组成双目相机，那就不需要增加车辆配置的相机数量。其中，任意两个观测到的视野范围之间具有重合视野的相机组成的双目相机称为泛双目相机，即组成泛双目相机的两个相机不需要为一样的相机。

需要说明的是，即使组成泛双目相机的两个相机不需要为一样的相机，但是与上述的普通双目相机类似，泛双目相机也包括左相机和右相机。泛双目相机的示意图可以参考上述的图4，不同的是组成泛双目相机的两个相机可以为不一样的两个相机，为了简洁本申请中不结合附图对泛双目相机进行解释说明。

如果只要两个观测到的视野范围之间具有重合视野的相机，就可以组成泛双目相机，那么现有车辆上配置的多个相机中观测到的视野范围有重合视野的两两相机可以组成泛双目相机。例如，一般相机和鱼眼相机(也可以称为异构相机)、鱼眼和鱼眼相机、红绿蓝(red，green，blue，RGB)相机和灰度(Gray)相机、或RGB相机和红外线相机都可以组成泛双目相机。另外，需要说明的是鱼眼相机观测到的视野范围和其他类型的相机观测到的视野范围往往重合视野很大，若能够采用泛双目测距测方法进行测距，则测距效果好。下面进一步说明，泛双目相机的测距原理。

6、泛双目测距。

若使用异构相机组成泛双目相机且基于泛双目相机进行泛双目测距，可以使用对极几何进行特征点配对(下面将介绍对极几何，这里不赘述)。一般使用对极几何进行特征点配对时使用直接法在泛双目相机中的左相机中特征点的周围选8个点，取其灰度值和梯度，在右相机中该特征点对应的对极曲线中的每个点周围取8个点与该特征点进行一一匹配，直到在右相机中找到与左相机中的特征点配对的点。

若泛双目相机的左右相机安装角度差异很大，两个相机虽然能够看到同一障碍物，但是却可能看到的是该障碍物的不同部分，最常见的情况是遮挡。例如，左相机中的特征点在右相机中被遮挡了，或者其他左相机中的特征点的对应点在右相机中无法匹配到的情况，用直接法就搜索不到特征点的匹配点了，导致对极几何配对不成功。另一方面，若使用RGB相机与Gray相机进行泛双目配对或者RGB相机与红外线相机之间进行泛双目配对，找不到特征点的灰度和梯度信息，也会导致对极几何配对不成功。

7、对极几何(epipolar geometry)。

对极几何是在两个相机位置产生的两幅图像的之间存在的一种特殊几何关系。图5所示的为对极几何的基本模型。图5中所示的c0、c1分别为两个相机中心，p为空间中一点。

具体地，p在c0对应的像平面上的投影为x0、p在c1对应的像平面上的投影为x1。c0和c1之间的连线与c0对应的像平面上的交点为e0、c0和c1之间的连线与c1对应的像平面上的交点为e1；e0和x0之间的连线为l0、e1和x1之间的连线为l1。其中，e0和e1称为极点(epipole)，l0和l1称为极线(epipolar line)，c0、c1、p三点组成的平面称为极平面(epipolar plane)。

8、对极约束(epipolar constraint)。

上述的对极几何中最重要的公式是对极约束，对极约束的推导过程包括：

根据针孔相机模型，相机成像平面一点的像素坐标p和该点在世界坐标系下的3D坐标P之间存在p＝KP的关系，如果用齐次坐标表示则有：

dp＝KP，其中，d是空间点深度(为了将p的齐次项变为1)，K是相机内参数矩阵，p和P都是齐次坐标。

于是如果以第一个相机的坐标系为参照，对于两个相机则有：

d₀p₀＝KP，d₁p₁＝K(RP+t)，其中，R为旋转矩阵(Rotation)，t为平移向量(Translation)。

令x＝K^-1p，去掉内参K归一化：

d₀x₀＝P，d₁x₁＝RP+t，由这两式得：

d₁x₁＝R(d₀x₀)+t，两边同时叉乘t消去加号后面单独的t项：

t×d₁x₁＝t×R(d₀x₀)+t×t，进而：

t×x₁＝t×Rx₀，再在两边同时左乘一个

由于等号左边乘上了一个和自身垂直的向量，所以等于0，故：

该等式称为对极约束(Epipolar Constraint)。

对极约束的几何意义：

t、Rx₀三者混合积为0，表示这三个向量共面，即图2中c0、c1、p三点组成的三角形的三边共面。

令E＝t×R，得到对极约束的新形式：

E称为本质矩阵(Esential Matrix)，由外参数R和t决定。

本质矩阵的几何意义：

即x1在直线l₁＝Ex₀上，表示E将x₀投影到另一帧图像中的直线l₁上。

9、去畸变。

图像畸变是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真。现在一般相机在使用时必须去畸变，特别是鱼眼相机，若不去畸变，相机的原始图像基本是不可用的。但是，原始图像去畸变之后会丢失信息。信息的丢失在无人驾驶中非常致命，有造成交通事故的潜在风险。

10、可行驶区域(freespace)。

本申请实施例中涉及到的freespace指的是车辆在车道上行驶的情况下，检测到的车道上车辆可行驶的区域。

例如，如图6所示，图6是本申请实施例提供的一种可行驶区域的示意图。第一车辆观测到的视野范围内包括可行驶的区域(如，自车道上无障碍物的区域、邻车道上无障碍物的区域、或其他可供车辆行驶且无障碍物额区域等)和不可行驶的区域(如，车道上有其他车辆行驶的区域、天空、绿化带等)。

需要说明的是，本申请实施例中仅涉及如何使用可行驶区域该语义信息，对于如何确定可行驶区域可以参考现有技术中确定方案，本申请对此不赘述。

由上述可知，上述的泛双目测距的方法可能出现对极几何配对不成功的情况(如，找不到匹配点)，另外现有的去畸变技术会导致信息的丢失。为了解决现有技术中存在的缺陷，本申请提供一种用于测距的方法，能够避免对极几何配对不成功的问题以及去畸变所导致信息丢失的问题。

下面将结合附图介绍本申请提供的用于测距的方法。本申请提供的用于测距的方法可以应用于配置有多个相机的设备中，该备可以是车辆或者其他的移动设备。为了便于描述，本申请实施例中以该设备为第一车辆为例进行说明，该设备为其他的设备的情况与该设备为第一车辆类似，本申请不再一一举例说明。

该第一车辆配置有多个相机，该多个相机包括可以构成泛双目相机的两个相机，构成泛双目相机的两个相机分别对应的观测范围包括相同的区域，称为重合区域。本申请中对于第一车辆具体配置有多少个相机并不限定，可以是两个或者两个以上的。

当第一车辆配置有两个相机的情况下，该两个相机分别分别观测到的视野范围之间存在重合视野，该两个相机为不一样的相机(例如，FOV、焦距或分辨率不同)；

当第一车辆配置有两个以上相机的情况下，该两个以上相机至少可以组成一对泛双目相机。应理解，本申请实施例中并不限定上述两个以上相机只能包括一对泛双目相机，该两个以上相机中任意两个相机分别观测到的视野范围之间存在重合视野都可以构成一对泛双目相机。

例如，第一车辆配置有3个相机，该3个相机中的每两个相机分别观测到的视野范围之间存在重合视野，则该3个相机可以构成3对泛双目相机。

图7是本申请提供的一种用于测距的方法示意性流程图。应用于包括多个测距单元的设备，至少包括以下步骤中的部分步骤。

S710，确定第一测距单元观测到的第一视野范围和第二测距单元观测到的第二视野范围。

其中，该第一视野范围和第二视野范围之间存在交集。

示例性地，上述的第一测距单元和第二测距单元构成测距单元组。

本申请中将第一视野范围和第二视野范围之间存在的交集称为重合视野(也可以称为公共视野)，为了便于区分将第一视野范围中的重合视野称为第一重合视野、将第二视野范围中的重合视野称为第二重合视野。

上述的设备可以配置有多个测距单元，第一测距单元和第二测距单元只是该多个测距单元中能够构成测距单元组的任意两个测距单元。本申请中只限定能够构成测距单元组的两个测距单元分别观测到的视野范围之间存在重合视野。

另外，本申请实施例中涉及的测距单元主要用于获取测距所需的相关信息，例如，完成目标识别和检测，获得目标的位置相关的信息。本申请中对于获取测距所需的相关信息的单元的名称不做限定，可以称之为测距单元，还可以称之为目标检测单元或第一单元等。

该获取到的测距所需的相关信息由测距信息处理单元进行处理完成测距，其中，测距单元和测距信息处理单元构成的系统可以称为测距系统。

为了便于说明，本申请中提供的用于测距的方法，以第一车辆配置的多个相机中的某两个相机构成的一对泛双目相机，实现双目测距为例进行说明。如果该第一车辆配置的多个相机可以组成多对泛双目相机，该对多泛双目相机中的每一对泛双目相机实现双目测距的流程类似，无需对每一对泛双目相机进行双目测距的流程均一一介绍。

示例性地，本申请实施例中上述的设备可以为第一车辆，上述的测距单元可以为相机、测距单元组可以为泛双目相机、观测到的视野范围可以为相机观测到的视野范围、观测到的视野范围之间存在交集可以理解为两个相机分别观测到的视野范围包括的重合视野，例如，第一相机观测到的视野范围为区域#1，该区域#1中包括物体#1和物体#2，第二相机观测到的视野范围为区域#2，该区域#2中包括物体#1和物体#3，则第一相机和第二相机分别观测到的视野范围之间存在交集物体#1。

为了便于理解，下文中以设备为第一车辆，测距单元为相机，测距单元组为泛双目相机为例进行描述。

需要说明的是，本申请并不限定设备只能为第一车辆，还可以为其他的设备。例如，机器人、移动终端设备或其他设备等；同理，本申请也并不限定测距单元只能为相机，还可以为其他能够检测到目标的检测单元。例如，摄像机、传感器或其他检测设备等。

示例性地，如图3所示，在第一车辆配置的360度全向感知相机系统中，不同安装位置的两个相机分别观测到的视野范围一般会具有重合视野，根据相机安装的分布情况，可以将具备重合视野的两相机组成一对泛双目相机，每对泛双目相机根据相对位置分为左相机和右相机。可以将第一车辆配置的多相机系统中的全部相机均按以上方式分组，得到多对泛双目相机。

构成泛双目相机的两个相机可以是普通相机，甚至也可以是异构相机。两个相机可以是具有不同FOV、不同焦距等的普通相机，也可以分别是普通相机和鱼眼相机(畸变比较大的相机)，两个相机也可以都为鱼眼相机，两个相机也可以分别是RGB相机和Gray相机，两个相机也可以分别是RGB相机和红外线相机等组成方式。第一车辆上配置的所有只要可以成像的、具有重合视野的两个相机都可配对成泛双目相机。

本申请实施例中对于如何构成泛双目相机并不限定，例如，可以是第一车辆配置的多个相机同时采集图像数据，采集到的图像传输给第一车辆的车载GPU和CPU，通过一些图像对比算法(例如，深度学习算法等)确定具有重合视野的两个相机，即该具有重合视野的两个相机可配对成泛双目相机。

应理解，本申请实施例中第一车辆配置的各个相机已经标定好，相机的标定参数(例如，内参、外参、畸变参数、相对位姿等)都存储在第一车辆的车载存储器中待用。则上述的构成泛双目相机的两个相机的内外参数、相对位姿为固定的。构成泛双目相机的两个相机可以分为左相机和右相机(如由相对位置确定)。

例如，第一车辆上的第一相机和第二相机的安装位置一般不会改变，且第一相机和第二相机的内外参数是相机本身固有的特性一般不会改变。如果后期由于其他原因相机的安装位置发生了变化，或者第一相机或者第二相机由其他相机替换，在第一车辆重新检测目标之前，发生变化的相机会重新完成配置，重新配对构成泛双目相机。本申请中涉及到的泛双目相机为已经配置好的两个相机，具体配置过程不做限定，可以参考现有技术中泛双目相机的构成方式。

进一步地，构成泛双目相机之后，实现左右相机获取的图像的重合视野中像素点的对极匹配，并获取左相机观测到的第一视野范围的第一重合视野中的像素点，以及每个像素点在右相机观测到的第二视野范围的第二重合视野对应的对极曲线的对应关系。

可选地，可以将获取到的像素点以及对应的对极曲线之间的对应关系表保存起来，以便后续在线处理过程中使用。

即图7所示的方法流程还包括S720：获取像素点以及对应的对极曲线之间的对应关系表。其中，上述的泛双目相机中左相机获取的第一视野范围和右相机获取的第二视野范围包括重合视野，为了区分左相机获取的第一视野范围中的重合视野称为第一重合视野、右相机获取的第二视野范围中的公共视野称为第二重合视野。

该对应关系表包括第一重合视野中的第一像素点与第一像素点在第二重合视野中对应的第一对极曲线之间的对应关系。其中，第一像素点为第一重合视野中的任意一像素点，对应关系表中包括了第一重合视野中的所有像素点，与该所有像素点分别对应的对极曲线的对应关系。

例如，第一重合视野中包括10个像素点(像素点#1～像素点#10)，该10个像素点在第二重合视野中分别对应10条对极曲线(对极曲线#1～对极曲线#10)，其中，像素点#1对应对极曲线#1、像素点#2对应对极曲线#2、……、像素点#9对应对极曲线#9、像素点#10对应对极曲线#10。则对应关系表具体形式可以是如下表1所示：

上述的第一重合视野中包括的像素点为未去畸变的像素点，即左相机获取的第一视野范围中第一重合视野上提取的点。

应理解，上述的第一重合视野中包括10个像素点，只是举例对本申请的保护范围不构成任何限定，当第一重合视野中包括的像素点数大于或者小于10的情况下，与上述的流程相同找到第一重合视野中的所有像素点对应的对极曲线，并保存像素点与对极曲线之间的对应关系即可。

为了说明上述的确定对应关系表的具体实现，下面结合图8以第一重合视野中的像素点Pl为例说明如何确定像素点Pl在第二重合视野中对应的对极曲线，并将像素点Pl和相对应的对极曲线保存在第一车辆的车载存储器中待用。

图8是本申请实施例提供一种确定对极曲线的示意性流程图。至少包括以下步骤中的部分步骤。

S810，确定第一重合视野中的存在畸变的像素点Pl。

其中，像素点Pl为左相机观测到的第一视野范围中的第一重合视野中的任意一像素点(如第一像素点)。本申请实施例中对于如何确定第一重合视野中的像素点并不限定，可以参考现有技术中对极匹配中确定左相机视图中的像素点的方法，也可以参考未来确定左相机获取的原图中像素点的方案，这里不进行赘述。

S820，对存在畸变的像素点Pl进行去畸变得到去畸变的像素点P。

其中，点P为上述的Pl点去畸变之后得到的像素点。

应理解，左相机获取的第一视野范围存在畸变，则在上述的第一视野范围包括的第一重合视野中确定的点Pl也存在畸变。

左相机为已经标定好的相机，左相机的标定参数存储在第一车辆的车载存储器中。例如，左相机镜头的畸变系数包括：{k₁,k₂,k₃,p₁,p₂}，k₁,k₂,k₃为径向畸变系数、p₁,p₂为切向畸变系数。下述公式为去畸变公式：

x_correct＝x(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁xy+p₂(r²+2x²)

y_correct＝y(1+k₁r²+k₂r⁴+k₃r⁶)+2p₂xy+p₁(r²+2y²)

其中，[x,y]^T为左相机坐标系下的归一化坐标，r²＝x²+y²。

基于上述的去畸变公式对Pl进行径向和切向去畸变之后，将去畸变后的点P通过左相机的内参矩阵投影到像素平面，得到该去畸变后的点P在左相机坐标系下的坐标。

u＝f_xx_correct+C_x

v＝f_yy_correct+C_y

其中，f_x、f_y、C_x和C_y可以通过左相机的内参矩阵获知。f_x、f_y为左相机的焦距，C_x、C_y为光心的像素坐标。

本申请只是简单介绍去畸变的流程，具体的去畸变可以参考现有技术中的去畸变的流程，本申请中对于如何去畸变不限定，可以参考心有技术也可以参考未来的去畸变流程。上述的S820只是为了便于理解提出一种可能的去畸变的方案。

S830，基于去畸变的像素点P确定去畸变的对极曲线。

由前文所述，对极几何中存在对极约束。并且前文介绍了对极约束的推导过程，下面简单介绍基于上述点P的对极约束。

根据摄影几何的关系，设P的空间位置为：

P＝[X,Y,Z]^T

根据针孔相机模型，使用齐次坐标，左右相机两个像素点p_l,p_r的位置为：

p_l＝KP,p_r＝K'(RP+t)

其中，K是左相机内参数矩阵、K'是右相机内参数矩阵，R，t为左相机对应的坐标系和右相机对应的坐标系的相对运动。

令x₁＝K^-1p_l,x₂＝K'^-1p_r

上述的x₁,x₂分别是像素点p_l,p_r的归一化平面上的坐标，由上述的p_l＝KP,p_r＝K'(RP+t)化简可得：

x₂＝Rx₁+t，该式两边同时与t做外积得，即两边同时左乘

得：

[t]_×x₂＝[t]_×Rx₁，该公式两边同时左乘

得：

其中，t＝[t₁ t₂ t₃]^T，

[t]_×为t的反对称阵，t₁ t₂ t₃为t的三个分量，[t]_×x₂是一个与t和x₂都垂直的向量，将[t]_×x₂再和x₂做内积时，结果为0，所以

将上述的p_l＝KP,p_r＝K'(RP+t)代入

可得：

F＝K'^-1[t]_×RK^-1和

这两个式子都称为对极约束，几何意义是O_l,O_r,P三者共面，对极约束中同时包含了平移和旋转，式子中间部分记作基础矩阵(fundamental

K^-1p_l＝0

Matrix)，于是可以进一步化简[u v 1]^T得到：

x^Tl＝0

F＝K'^-1[t]_×RK^-1

其中，F为3*3的矩阵，p_l为[u v 1]^T，直线方程可以描述为：

x^Tl＝0

所以Fp_l可以描述成直线方程：

l'＝Fp_l

其中，F只跟左相机和右相机的内外参数和相对位姿有关，左相机的点p_l给出，即可以算出对应点在右相机中的对极曲线，需要说明的是上述的点p_l和对极曲线都是无畸变的，即l'直线是右相机观测的第二视野范围包括的第二重合视野中上述的像素点Pl对应的无畸变的直线。

进一步地，获取到无畸变的对极曲线之后需要确定畸变的对极曲线，即图8所示的方法流程还包括S840，基于无畸变的对极曲线确定畸变的对极曲线。

具体地，确定畸变的对极曲线包括以下步骤：

首先，在l'上离散取点，得到右相机上的N个点p'，给N个p'加上右相机的畸变(与上述的去畸变的流程相反，这里不赘述)，得到畸变的p_r，其中，N为正整数。

然后，拟合N个p_r，得到曲线方程：

将加入畸变后的N个点拟合曲线得到畸变的极线曲线方程，曲线方程有很多拟合方式，如三次曲线、贝塞尔曲线等，三次曲线拟合之后得到的曲线方程包括：

需要说明的是，普通相机的对极曲线近似为直线，鱼眼相机因为畸变参数较大，对极曲线为存在弧度的曲线。

上述流程能够获得左相机中的畸变的像素点在右相机中的对应的畸变对极曲线方程。针对左相机中的重合视野中的图像逐像素点重复以上过程，得到每个像素点对应的极线曲线，将这些像素点和对应的对极曲线以表格的方式、或公式的方式保存在车载存储器中，待在线过程中使用。

需要说明的是上述的S710和S720的执行过程为离线执行的，离线计算好的像素点和对应的对极曲线之间的对应关系保存在车载存储器中，当需要利用像素点和对极曲线之间的对应关系的情况下，可以直接从存储器中读取减少在线计算时间。

另外，上述确定对极曲线的流程中，确定的是存在畸变的像素点以及存在畸变的对极曲线，从而避免去畸变导致的信息丢失问题。

进一步地，上述的第一车辆在行驶过程中车上配置的第一相机和第二相机构成的泛双目相机将实时获取第一车辆外部的环境信息。由于第一相机和第二相机的安装位置、内外参数在第一车辆行驶的过程中一般不会改变，所以通过上述流程保存了重合视野中左相机中的像素点和该像素点在右相机中的对极曲线之间的对应关系之后，第一相机在第一车辆运行过程中观测到的第三视野范围的第三重合视野中的像素点在第二相机观测到的第四视野范围的第四重合视野中的对极曲线，可以通过上述的对应关系确定。

其中，第一相机观测到的第三视野范围与上述的第一相机观测到的第一视野范围不同、第二相机观测到的第四视野范围与上述的第二相机观测到的第二视野范围不同。但是由于第一相机和第二相机的相对位姿不变，所以当第一视野范围和第二视野范围存在重合视野的前提下，第三视野范围和第四视野范围也会存在该重合视野。为了便于区分，该第三视野范围和第四视野范围存在的重合视野在第三视野范围中称为第三重合视野、在第四视野范围中称为第四重合视野。

图7所示的方法流程还包括S730，基于对应关系表确定像素点的匹配点。

由上述流程确定对应关系表之后，可以基于该对应关系表确定第三重合视野中的像素点在第四重合视野的对应曲线。

例如，第三重合视野中包括10个像素点(像素点#11～像素点#20)，其中，该10个像素点在第三重合视野中所在的位置和特征分别与第一重合视野中包括10个像素点(像素点#1～像素点#10)相对应。由于前述流程已经确定像素点#1对应对极曲线#1、像素点#2对应对极曲线#2、……、像素点#9对应对极曲线#9、像素点#10对应对极曲线#10。则像素点#11对应对极曲线#1、像素点#12对应对极曲线#2、……、像素点#19对应对极曲线#9、像素点#20对应对极曲线#10。

因此，可以快速确定第三重合视野中的像素点在第四重合视野中对应的对极曲线，在确定对极曲线之后，可以在像素点对应的对极曲线上找到该像素点对应的匹配点。具体匹配过程可以参考现有中对极匹配方案，本申请对此不赘述。

示例性地，确定第三重合视野中第二像素点，基于S720中获取并保存的对应关系和该第二像素点从车载存储单元中确定该第二像素点对应的第二对极曲线，进一步地从第二对极曲线中找到与第二像素点对应的匹配点，即完成对极匹配。

需要说明的是，本申请实施例中确定匹配点的过程中，因为上述确定对极曲线的流程是确定重合视野中的像素点和对极曲线之间的对应关系，可以理解重合视野在左相机和右相机中均存在，从而避免找不到对应匹配点的问题。

作为一种可能的实现方式，本申请实施例中涉及的确定第二像素点对应的匹配点的过程可以参考现有技术中的直接匹配法进行对极匹配，如前文介绍泛双目测距原理中所述的，这里不再赘述。

作为另一种可能的实现方式，为了提高确定第二像素点对应的匹配点的性能，本申请实施例中可以在对极匹配的过程中加入语义信息，语义信息包括可行驶区域信息。

需要说明的是，上述的第二像素点为第三重合视野中的任意一个像素点，即第三重合视野中所有的像素点都可以基于已保存的对应关系和自身像素点特征在第四重合视野中找到相对应的匹配点，为了便于说明，以第二像素点为例进行说明。

可以理解，本申请中实施例提供的用于测距的方法可以应用于V2X场景下，测距的参与者都在地面上，则可以结合车道上的语义信息(如可行驶区域信息)进行对极匹配，而不是直接基于左相机观测到的第三视野范围中的第二像素点在右相机观测到的第四视野范围中找到与第二像素点相对应的匹配点。

下面以语义信息为可行驶区域信息为例说明如何结合可行驶区域信息进行对极匹配。

第一车辆获取到可行驶区域信息之后，能够确定可行驶的区域以及不可行驶的区域，其中，可行驶区域信息能够用于确定第三视野范围中的障碍物(上述的第二像素点为障碍物上的某一个像素点)关联的第一可行驶区域点以及第四视野范围中的障碍物关联的第二可行驶区域点，如图9所示，图9是本申请提供的一种可行驶区域点的示意图。

从图9中可以看出，第一可行驶区域点为左相机(如图9中左图)观测到的第三视野范围中虚线框中的像素点、第二可行驶区域点为右相机(如图9中右图)观测到的第四视野范围中实线框中的像素点。

图9中虚线框中的像素点和实线框中的像素点通过如下公式可以转换到第一车辆的车体坐标系下：

其中，上述右边表示车体坐标，上式左边表示像素坐标。

将转换到车体坐标系下的第一可行驶区域点拟合为第一拟合线段、第二可行驶区域点拟合为第二拟合线段。如图10所示，图10是本申请提供的一种可行驶区域点拟合的示意图。

从图10中可以看出，第一可行驶区域点拟合得到的第一拟合线段(如图10中左图中的虚线)、第二可行驶区域点拟合得到的第二拟合线段(如图10中右图中的实线)类似于障碍物俯视图的相邻两边组成的L形状的图形。

进一步地，可以在拟合得到的第一拟合线段上取第二像素点作为左相机第三重合视野中的待匹配的像素点，首先从已经存储的对应关系中确定第一线段上的第二像素点和对应的对极曲线，然后将确定得到的对极曲线和第二拟合线段和交点确定为待匹配的第二像素点的匹配点。

上述的结合语义信息确定匹配点的方案，能够加速确定左相机中的重合区域中的像素点在右相机中的匹配点。

具体地，确定匹配点之后可以基于三角法实现测距，测量目标和设备之间的距离。即图7所示的方法流程还包括S740，测量目标和设备之间的距离。

本申请实施例中提供一种三角法测距流程，包括以下步骤：

左相机中的待匹配点p_l和已经匹配得到的该p_l在右相机中的匹配点p_r，分别对各自的相机去畸变后乘以内参的逆矩阵得到左右相机各自点的归一化坐标f_l和f_r，归一化坐标计算公式为：

由左右相机距离公式可得：

d_lf_l＝d_rRf_r+t

其中，d_l和d_r为左右相机分别相对于障碍物的深度，整理得：

d_lf_l-d_rRf_r＝t

可以求出深度，其中，深度可以理解车体坐标系下x方向上的距离。

需要说明的是，本申请中对于三角法测距的具体流程不做限定，可以参考目前已有的基于待匹配点p_l和匹配点p_r求解距离的方案，也可以参考未来可能出现的基于待匹配点p_l和匹配点p_r求解距离的方案。

应理解，上述方法实施例中用于测距的装置可以执行施例中的部分或全部步骤，这些步骤或操作仅是示例，本申请实施例还可以包括执行其它操作或者各种操作的变形。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述可以具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

上面结合图7-图10详细介绍了用于测距的方法，下面结合图11和图12详细介绍本申请实施例提供的用于测距的装置。

参见图11，图11是本申请提供的用于测距的装置1100的示意图。如图11所示，装置1100包括处理单元1110和获取单元1120。

处理单元1110，用于确定第一测距单元观测到的第一视野范围和第二测距单元观测到的第二视野范围，该第一视野范围包括第一重合视野，该第二视野范围包括第二重合视野，该第一重合视野和该第二重合视野相同；

该处理单元1110，还用于在离线状态下确定该第一重合视野中第一像素点，以及该第一像素点在该第二重合视野中的对应的第一对极曲线，其中，该第一像素点为该第一重合视野中的任意一个存在畸变的像素点；

获取单元1120，用于获取该第一重合视野中所有像素点，以及该所有像素点在该第二重合视野中的分别对应的对极曲线之间的对应关系。

该获取单元1120，还用于在线获取该第一测距单元观测到第三视野范围，该第二测距单元观测到第四视野范围，该第三视野范围包括第三重合视野，该第四视野范围包括第四重合视野，该第三重合视野和该第四重合视野相同；

示例性地，该处理单元1110还用于确定该第三重合视野中第二像素点；

示例性地，该处理单元1110还用于基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的匹配点，其中，该第二像素点为该第三重合视野中的任意一个像素点。

示例性地，该处理单元1110确定该第四重合视野中该第二像素点对应的匹配点包括：

该处理单元1110基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的第二对极曲线；

该处理单元1110在该第二对极曲线中确定该匹配点。

示例性地，该处理单元1110确定该第四重合视野中该第二像素点对应的匹配点之前，该处理单元1110还用于基于该设备的可行驶区域信息确定该第三重合视野对应的第一可行驶区域点和该第四视野范围对应的第二可行驶区域点，其中，该第一可行驶区域点对应第一拟合线段、该第二可行驶区域点对应第二拟合线段；

该处理单元1110确定该第三重合视野中第二像素点包括：

该处理单元1110确定该第一拟合线段上的第二像素点；

该处理单元1110确定该第四重合视野中该第二像素点对应的匹配点包括：

该处理单元1110基于该对应关系和该第二像素点，确定该第四重合视野中该第二像素点对应的第二对极曲线，该第二对极曲线与该第二拟合线段的交点为该匹配点。

示例性地，该处理单元1110确定该第一像素点在该第二重合视野中的对应的第一对极曲线包括：|

该处理单元1110基于该第一测距单元的参数，确定该第一像素点对应的去畸变的第一像素点；

该处理单元1110基于该去畸变的第一像素点确定去畸变的第一对极曲线；

该处理单元1110确定该去畸变的第一对极曲线上的N个离散像素点，该N为正整数；

该处理单元1110基于该第二测距单元的参数，确定该N个离散像素点分别对应的畸变的N个离散像素点；

该处理单元1110拟合该畸变的N个离散像素点得到该第一对极曲线。

装置1100和方法实施例中的包括多个测距单元的设备完全对应，装置1100可以是方法实施例中的包括多个测距单元的设备，或者方法实施例中的包括多个测距单元的设备内部的芯片或功能模块。装置1100的相应单元用于执行图7所示的方法实施例中由包括多个测距单元的设备执行的相应步骤。

其中，装置1100中的处理单元1110用于执行方法实施例中包括多个测距单元的设备对应与处理相关的步骤。例如，执行图7中确定第一测距单元观测到的第一视野范围和第二测距单元观测到的第二视野范围的步骤S710、执行图7中获取像素点和对极曲线之间的对应关系表的步骤S720等。

装置1100中的获取单元1120执行方法实施例中包括多个测距单元的设备获取的步骤。示例性地，获取单元1120和发送单元可以组成收发单元，同时具有接收和发送的功能。其中，处理单元1110可以是至少一个处理器。发送单元可以是发射器或者接口电路。获取单元1120可以是接收器或者接口电路。接收器和发射器可以集成在一起组成收发器或者接口电路。

装置1100中还包括存储单元1130(图11中未示出)，用于存储数据和/或信令，处理单元1110和获取单元1120可以与存储单元1130交互或者耦合，例如读取或者调用存储单元中的数据和/或信令，以使得上述实施例的方法被执行。

以上各个单元可以独立存在，也可以全部或者部分集成。

参见图12，图12是适用于本申请实施例的设备1200的结构示意图，可以用于实现上述用于测距的方法中的设备的功能。该设备1200包括处理器1210，存储器1220与收发器1230，其中，存储器1220中存储指令或程序，处理器1230用于执行存储器1220中存储的指令或程序。存储器1220中存储的指令或程序被执行时，收发器1230用于执行图11所示的装置1100中的获取单元1120执行的操作。

本申请实施例还提供一种通信系统，其包括前述的第一车辆和接入网设备。

本申请实施例还提供一种通信系统，其包括前述的第二车辆、第一车辆和接入网设备。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行上述如图7所示的方法中设备执行的各个步骤。

本申请还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如图7所示的方法中设备执行的各个步骤。

本申请还提供一种芯片，包括处理器。该处理器用于读取并运行存储器中存储的计算机程序，以执行本申请提供的用于测距的方法中由设备执行的相应操作和/或流程。可选地，该芯片还包括存储器，该存储器与该处理器通过电路或电线与存储器连接，处理器用于读取并执行该存储器中的计算机程序。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理。该通信接口可以是该芯片上的输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。所述处理器也可以体现为处理电路或逻辑电路。

上述的芯片也可以替换为芯片系统，这里不再赘述。

本申请中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

另外，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；本申请中术语“至少一个”，可以表示“一个”和“两个或两个以上”，例如，A、B和C中至少一个，可以表示：单独存在A，单独存在B，单独存在C、同时存在A和B，同时存在A和C，同时存在C和B，同时存在A和B和C，这七种情况。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种用于测距的方法，其特征在于，应用于配置有多个测距单元的设备，该方法包括：

确定第一测距单元观测到的第一视野范围和第二测距单元观测到的第二视野范围，其中，所述第一视野范围包括第一重合视野，所述第二视野范围包括第二重合视野，所述第一重合视野和所述第二重合视野相同；

在离线状态下确定所述第一重合视野中第一像素点，以及所述第一像素点在所述第二重合视野中的对应的第一对极曲线，其中，所述第一像素点为所述第一重合视野中的任意一个存在畸变的像素点；

获取所述第一重合视野中所有像素点，以及所述所有像素点在所述第二重合视野中的分别对应的对极曲线之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在线获取所述第一测距单元观测到第三视野范围，所述第二测距单元观测到第四视野范围，所述第三视野范围包括第三重合视野，所述第四视野范围包括第四重合视野，所述第三重合视野和所述第四重合视野相同；

确定所述第三重合视野中第二像素点；

基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的匹配点，其中，所述第二像素点为所述第三重合视野中的任意一个像素点。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第四重合视野中所述第二像素点对应的匹配点包括：

基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的第二对极曲线；

在所述第二对极曲线中确定所述匹配点。

4.根据权利要求2或3所述的方法，其特征在于，所述确定所述第四重合视野中所述第二像素点对应的匹配点之前，所述方法还包括：

基于所述设备的可行驶区域信息确定所述第三重合视野对应的第一可行驶区域点和所述第四视野范围对应的第二可行驶区域点，其中，所述第一可行驶区域点对应第一拟合线段、所述第二可行驶区域点对应第二拟合线段；

确定所述第三重合视野中第二像素点包括：

确定所述第一拟合线段上的第二像素点；

所述确定所述第四重合视野中所述第二像素点对应的匹配点包括：

基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的第二对极曲线，所述第二对极曲线与所述第二拟合线段的交点为所述匹配点。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述确定所述第一像素点在所述第二重合视野中的对应的第一对极曲线包括：|

基于所述第一测距单元的参数，确定所述第一像素点对应的去畸变的第一像素点；

基于所述去畸变的第一像素点确定去畸变的第一对极曲线；

确定所述去畸变的第一对极曲线上的N个离散像素点，所述N为正整数；

基于所述第二测距单元的参数，确定所述N个离散像素点分别对应的畸变的N个离散像素点；

拟合所述畸变的N个离散像素点得到所述第一对极曲线。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述设备包括第一车辆。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述测距单元包括相机，所述第一相机和第二相机具有不同的视场FOV和/或焦距，或者，所述第一相机和第二相机为异构相机。

8.一种用于测距的装置，其特征在于，包括：

处理单元，用于确定第一测距单元观测到的第一视野范围和第二测距单元观测到的第二视野范围，其中，所述第一视野范围包括第一重合视野，所述第二视野范围包括第二重合视野，所述第一重合视野和所述第二重合视野相同；

所述处理单元，还用于在离线状态下确定所述第一重合视野中第一像素点，以及所述第一像素点在所述第二重合视野中的对应的第一对极曲线，其中，所述第一像素点为所述第一重合视野中的任意一个存在畸变的像素点；

获取单元，用于获取所述第一重合视野中所有像素点，以及所述所有像素点在所述第二重合视野中的分别对应的对极曲线之间的对应关系。

9.根据权利要求8所述的装置，其特征在于，所述获取单元，还用于在线获取所述第一测距单元观测到第三视野范围，所述第二测距单元观测到第四视野范围，所述第三视野范围包括第三重合视野，所述第四视野范围包括第四重合视野，所述第三重合视野和所述第四重合视野相同；

所述处理单元，还用于确定所述第三重合视野中第二像素点；

所述处理单元，还用于基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的匹配点，其中，所述第二像素点为所述第三重合视野中的任意一个像素点。

10.根据权利要求9所述的装置，其特征在于，所述处理单元确定所述第四重合视野中所述第二像素点对应的匹配点包括：

所述处理单元基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的第二对极曲线；

所述处理单元在所述第二对极曲线中确定所述匹配点。

11.根据权利要求9或10所述的装置，其特征在于，所述处理单元确定所述第四重合视野中所述第二像素点对应的匹配点之前，所述处理单元还用于基于所述设备的可行驶区域信息确定所述第三重合视野对应的第一可行驶区域点和所述第四视野范围对应的第二可行驶区域点，其中，所述第一可行驶区域点对应第一拟合线段、所述第二可行驶区域点对应第二拟合线段；

所述处理单元确定所述第三重合视野中第二像素点包括：

所述处理单元确定所述第一拟合线段上的第二像素点；

所述处理单元确定所述第四重合视野中所述第二像素点对应的匹配点包括：

所述处理单元基于所述对应关系和所述第二像素点，确定所述第四重合视野中所述第二像素点对应的第二对极曲线，所述第二对极曲线与所述第二拟合线段的交点为所述匹配点。

12.根据权利要求8-11中任一项所述的装置，其特征在于，所述处理单元确定所述第一像素点在所述第二重合视野中的对应的第一对极曲线包括：|

所述处理单元基于所述第一测距单元的参数，确定所述第一像素点对应的去畸变的第一像素点；

所述处理单元基于所述去畸变的第一像素点确定去畸变的第一对极曲线；

所述处理单元确定所述去畸变的第一对极曲线上的N个离散像素点，所述N为正整数；

所述处理单元基于所述第二测距单元的参数，确定所述N个离散像素点分别对应的畸变的N个离散像素点；

所述处理单元拟合所述畸变的N个离散像素点得到所述第一对极曲线。

13.根据权利要求8-12中任一项所述的装置，其特征在于，所述装置包括第一车辆。

14.根据权利要求8-13中任一项所述的装置，其特征在于，所述测距单元包括相机，所述第一相机和第二相机具有不同的视场FOV和/或焦距，或者，所述第一相机和第二相机为异构相机。

15.一种用于测距的装置，其特征在于，包括：

处理器和通信接口；

其中，所述处理器通过所述接口电路与存储器耦合，所述处理器用于执行所述存储器中的程序代码，以实现如权利要求1-7中任一项所述的方法。

16.一种车载设备，其特征在于，用于实现如权利要求1-7中任意一项所述的方法。

17.一种通信系统，其特征在于，包括如权利要求8-14中任一项所述的装置，以及接入网设备。

18.一种芯片，包括通信接口、存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于读取并执行所述存储器中存储器的所述计算机程序，使得所述芯片实现如权利要求1-7中任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，包括：

所述计算机可读介质存储有计算机程序；

所述计算机程序在计算机上运行时，使得计算机执行权利要求1-7中任一项所述的方法。

Images