CN112241977A

CN112241977A - 一种特征点的深度估计方法和装置

Info

Publication number: CN112241977A
Application number: CN201910642479.1A
Authority: CN
Inventors: 张鹏; 康轶非; 许腾
Original assignee: Beijing Jingdong Qianshi Technology Co Ltd
Current assignee: Beijing Jingdong Qianshi Technology Co Ltd
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-01-19

Abstract

本发明公开了一种特征点的深度估计方法和装置，涉及计算机视觉领域。该方法的一具体实施方式包括：根据激光点和特征点的归一化坐标，确定在归一化平面中是否存在距离该特征点小于或等于阈值距离的至少三个激光点；若存在，则确定该特征点在真实世界坐标系下与该至少三个激光点共面，根据该至少三个激光点在真实世界坐标系下的三维坐标计算该特征点对应于图像的深度值；若不存在，则通过三角化处理得到该特征点对应于图像的深度值。该实施方式降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，提高了单目相机的探测范围和特征点深度值的测量精确度，提升了建图的质量。

Description

一种特征点的深度估计方法和装置

技术领域

本发明涉及计算机视觉领域，尤其涉及一种特征点的深度值估计方法和装置。

背景技术

当前三维建图在人工智能领域的应用范围越来越广泛，现有的三维建图方案主要是激光三维建图和视觉三维建图两种。激光三维建图主要依靠激光传感器生成三维点云，然后通过ICP(Iterative Close Point，迭代最近点算法)方法进行位姿估计与点云拼接，从而得到三维图形。视觉三维建图大多采用深度相机，深度相机可以通过物理测量方法直接测得像素点的空间距离，即每一帧都可以直接得到一个三维点云，通过拼接多个三维点云的数据进行三维建图。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.激光建图主要依靠激光测距，其对空间几何特征具有强依赖性，无法获得环境纹理信息，因此在长走廊等几何特征不明显的场景中无法应用。

2.深度相机对日光比较敏感，因此视觉三维建图的应用场景以室内应用为主，室外应用较少；同时由于其探测的有效范围有限，精度较低，生成的深度图中存在较多的无效点和噪点，因此得到的三维图形质量较低。

发明内容

有鉴于此，本发明实施例提供一种特征点的深度值估计方法和装置，降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，拓展了单目相机的适用场景，同时提高了单目相机的探测范围和特征点深度值的测量精确度，从而提升了三维图形的质量。

为实现上述目的，根据本发明实施例的一个方面，提供了一种特征点的深度估计方法，包括：

通过激光传感器采集激光点云，将激光点云映射到单目相机的归一化平面，以得到激光点云中的激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面；

通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；

根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；

若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值；

若不存在，则通过三角化处理得到特征点对应于图像的深度值。

进一步地，将激光点的归一化坐标存储至k-dimensional树，通过查找k-dimensional树确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点。

进一步地，将激光点云映射到归一化平面的过程包括：从激光点云中提取边缘点和平面点，将边缘点和平面点通过激光传感器和单目相机的位姿转换矩阵映射到归一化平面，得到激光点的归一化坐标。

进一步地，将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标的过程包括：根据单目相机的内参数矩阵，将特征点的二维像素坐标映射为特征点的归一化坐标。

进一步地，根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值的过程包括：根据特征点在真实世界坐标系下与至少三个激光点的共面关系，通过至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标，计算得到特征点在真实世界坐标系下的三维坐标，再根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值。

进一步地，三角化处理的过程包括：根据单目相机在特征点对应的两帧图像之间的位姿转换矩阵，计算特征点对应于图像的深度值。

进一步地，深度估计方法还包括：

根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算图像的位姿转换矩阵，其中，真实世界坐标系下的三维坐标与一帧或多帧图像对应的深度值相关；

根据单目相机的内参数矩阵和图像的位姿转换矩阵，计算优化后的特征点对应于图像的真实世界坐标系下的三维坐标；

根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的优化深度值。

根据本发明的另一方面，提供了一种特征点的深度估计装置，包括：激光点云采集模块，用于通过激光传感器采集激光点云；

激光点的坐标映射模块，用于将激光点云映射到单目相机的归一化平面，以得到激光点云中激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面；

图像采集模块，用于通过单目相机采集一帧或多帧图像；

特征点提取模块，用于从图像中提取特征点；

特征点的坐标映射模块，用于将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；

激光点确定模块，用于根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；

深度值求解模块，若在归一化平面中存在距离特征点小于或等于阈值距离的至少三个激光点，则确定特征点在真实世界坐标系下与至少三个激光点共面，深度值求解模块用于根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值；

三角化处理模块，若在归一化平面中不存在距离特征点小于或等于阈值距离的至少三个激光点，三角化处理模块用于将特征点进行三角化处理得到特征点对应于图像的深度值。

根据本发明实施例的另一方面，提供了一种终端装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述的方法。

根据本发明实施例的另一方面，还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用激光传感器采集激光点云，将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的深度值计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值的技术手段，所以克服了现有技术中激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，拓展了单目相机的适用场景，同时提高了单目相机的探测范围和特征点深度值的测量精确度，从而提升了三维图形的质量。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明第一实施例的特征点的深度估计方法的主要流程图；

图2是根据本发明第二实施例的特征点的深度估计方法的主要流程图；

图3是根据本发明实施例的特征点的深度估计装置的主要示意图；

图4是根据本发明实施例的特征点的深度估计方法中的根据激光点的三维坐标计算特征点深度的示意图；

图5是根据本发明实施例的特征点的深度估计方法中的通过三角化处理得到特征点深度的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的特征点的深度估计方法的主要流程图，如图1所示，本发明实施例的一种特征点的深度估计方法主要包括以下步骤：

步骤S101，通过激光传感器采集激光点云，将激光点云映射到单目相机的归一化平面，以得到激光点云中的激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面。通过激光传感器采集的激光点云中存在的噪点和无效点较少，能够有效避免深度相机探测范围有限所导致的精度较低的缺点，提高精度特征点深度值的精度，从而提升三维图形的质量。具体地，上述归一化平面为z＝1平面，即深度值预定义为1。

根据本发明实施例的一实施方式，将上述激光点的归一化坐标存储至kd树中，该kd树还用于确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点。kd树是k-dimensional树的简称，是一种对k维空间中的数据点进行存储以便对其进行快速搜索的二叉树结构。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。

根据本发明实施例的一实施方式，上述将激光点云映射到归一化平面包括：从激光点云中提取边缘点和平面点，将边缘点和平面点通过激光传感器与单目相机之间的位姿转换矩阵映射到归一化平面，得到激光点的归一化坐标。其中激光传感器与单目相机之间的位姿转换矩阵，即旋转矩阵和平移矩阵。传统激光建图中采用的激光传感器要求精度高，此类高精度的激光传感器所对应的价格昂贵，所需成本高，本发明中所采用的激光传感器只需能够起到采集激光点云的作用即可，因此对激光传感器的精度要求不高，能够显著降低制图成本。

步骤S102，通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标。通过单目相机采集图像，然后从图像中提取特征点，通过上述过程，可以避免采用激光相机成像，降低了制图成本；同时利用图像中丰富的纹理信息，弥补了激光在长走廊等几何特征不明显的场景中无法应用的缺陷。

根据本发明实施例的一实施方式，上述将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标的过程包括：根据单目相机的内参数矩阵，将特征点的二维像素坐标映射为特征点的归一化坐标。具体地，将特征点的二维像素坐标通过下列公式映射为特征点的归一化坐标：

其中，[x′ y′ 1]^T为特征点的二维像素坐标，[x″ y″ 1]^T为特征点的归一化坐标，

为单目相机的内参数矩阵。

步骤S103，根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点；若在归一化平面中存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的三维坐标计算特征点对应于图像的深度值计算特征点对应于图像的深度值；若在归一化平面中不存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点，则通过三角化处理得到特征点对应于图像的深度值。

根据本发明实施例的一实施方式，根据至少三个激光点在真实世界的三维坐标计算特征点对应于图像的深度值包括：根据特征点在真实世界坐标系下与至少三个激光点的共面关系，通过至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标，计算得到特征点在真实世界坐标系下的三维坐标，再根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值。

具体地，根据本发明实施例的一具体实施方式，将该至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标分别记为

根据公式(X—Y₁)^T·[(Y₁-Y₂)×(Y₁-Y₃)]＝0，计算得到特征点在真实世界坐标下的三维坐标X＝[x y z]^T，根据特征点在真实世界坐标系下的三维坐标计算该特征点对应于图像的深度值。通过将特征点和激光点均映射到同一个归一化平面中，再根据归一化平面中上述至少三个激光点距离特征点的欧式距离小于阈值距离，确定在真实世界坐标系下，上述至少三个激光点和该特征点在真实世界坐标系下共面，然后通过空间平面中四点共面的判定公式，根据上述3个激光点在真实世界坐标系下的三维坐标，即可快速得到该特征点在真实世界坐标系下的对应于图像的深度值。

进一步地，在本发明实施例的一实施方式中，上述三角化处理的过程包括：根据单目相机在特征点对应的两帧图像之间的位姿转换矩阵，计算特征点对应于图像的深度值。

具体地，根据本发明实施例的一具体实施方式，真实世界坐标系下的特征点对应于一帧或多帧图像中的图像M₁的归一化坐标为X″₁＝[x″₁ y″₁ 1]^T，其对应于图像M₁的深度值为s₁，该特征点对应于一帧或多帧图像中的图像M₂的归一化坐标为X″₂＝[x″₂ y″₂ 1]^T，其对应于图像M₂的深度值为s₂，根据单目相机在图像M₁与图像M₂之间的位姿转换矩阵，计算该特征点对应于图像的深度值。其中，位姿转换矩阵包括旋转矩阵R和平移矩阵t。对于在归一化平面中不存在距离其欧氏距离小于或等于阈值距离的至少三个激光点的特征点，再通过上述三角化处理得到该特征点的深度值。

进一步地，本发明实施例的另一实施方式中，上述深度估计方法还包括：根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算单目相机的位姿转换矩阵，其中，真实世界坐标系下的三维坐标与一帧或多帧图像对应的深度值相关；根据单目相机的内参数矩阵和图像的位姿转换矩阵，计算优化后的特征点对应于图像的真实世界坐标系下的三维坐标；根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的优化深度值。

具体地，根据本发明实施例的一具体实施方式，根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算单目相机的位姿转换矩阵，其中，真实世界坐标系下的三维坐标与一帧或多帧图像对应的深度值相关，

其中，[x′_i，j y′_i，j 1]^T为特征点对应于一帧或多帧图像中的图像M_j的二维像素坐标，[x_i，jy_i，jz_i，j]^T为特征点对应于图像M_j的真实世界坐标系下的三维坐标，K为单目相机的内参数矩阵，T_j为图像M_j的位姿转换矩阵，n为特征点的数量，m为图像的数量；具体地，在本发明实施例的具体实施方式中，n为100～200，m为10～20；

根据下列公式计算优化后的特征点对应于图像M_j的真实世界坐标系下的三维坐标，

根据本发明实施例的一具体实施方式，在上述最小二乘优化方程中，首先特征点的二维像素坐标，然后依次代入该特征点对应于其他图像中的三维坐标，进行优化迭代得到优化的T，然后根据该优化得到的T，根据相机投影方程计算得到该特征点对应图像的真实世界坐标系下的三维坐标。再根据该三维坐标计算得到该特征点对应于图像的优化深度值。

根据本发明实施例的一具体实施方式，对于通过三角化处理未得到深度值的特征点，有两种处理方法，一种是将该特征点当做噪点进行去除；另一种是去该特征点的二维像素坐标及其邻近特征点对应的三维像素坐标带入上述最小二乘优化算法，进行迭代计算。

根据本发明实施例的技术方案，因为采用激光传感器采集激光点云，将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的深度值计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值的技术手段，所以克服了现有技术中激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，拓展了单目相机的适用场景，同时提高了单目相机的探测范围和特征点深度值的测量精确度，从而提升了三维图形的质量。

图2是根据本发明第二实施例的特征点的深度估计方法的主要流程图，如图2所示，本发明实施例的特征点的深度估计方法主要包括下列步骤：

步骤201，采集激光点云。通过激光传感器采集激光点云。通过激光传感器采集的激光点云中存在的噪点和无效点较少，能够有效避免深度相机探测范围有限所导致的精度较低的缺点，提高精度特征点深度值的精度，从而提升三维图形的质量。

步骤202，从激光点云中提取边缘点和平面点。通过该方法能够进一步去除激光点云中的噪点和无效点，提高后续求解深度值的精确度。

步骤203，将边缘点和平面点映射到归一化平面，以得到激光点的归一化坐标其中，归一化平面指的是深度值为预定义值的平面。将上述提取的边缘点和平面点通过相机的位姿转换矩阵转换到相机坐标系下，归一化到相机归一化平面(z＝1)上。

步骤204，将激光点的归一化坐标存储到kd树中。将归一化激光点云进行存储，利用后续进行查找。

步骤205，采集一帧或多帧图像。通过相机采集图像，在具体实施方式中，此处选用普通相机即可，降低了建图的成本。采集多帧图像有助于提高后续计算得到的深度值的精确度。在一具体实施方式中，采集图像的帧数为10～20。

步骤206，从图像中提取特征点。从图像中提取一定数量的稳定特征点，在一具体实施方式中，提取特征点的数量为100～200。

步骤207，将特征点的二维像素坐标转换为归一化坐标。

根据本发明实施例的一实施方式，通过下列公式将特征点的二维像素坐标转换为归一化坐标：

为相机内参数矩阵。

步骤208，通过kd树查找距离特征点的欧式距离最近的3个激光点。

在本发明实施例的一实施方式中，上述3个激光点为归一化平面上，距离上述特征点的归一化坐标最近的激光点，即距离特征点的欧式距离最短的点，kd树会根据特征点的归一化坐标，将其存储的激光点的归一化坐标按照距离特征点的欧式距离的远近自动排序，欧式距离最短的3个点，即为上述3个激光点，此部分由kd树自行完成。

步骤209，判断上述3个激光点距离该特征点的欧式距离是否均小于或等于阈值，如果判断结果为“是”，即上述3个激光点的欧式距离均小于或等于阈值，转到步骤210；若判断结果为“否”，即上述3个激光点的欧式距离至少有一个大于阈值，转到步骤211。其中阈值为kd树中的固定参数值。

步骤210，此时上述3个激光点与特征点在真实世界坐标系下共面，求解得到该特征点对应于图像的深度值。当上述3个激光点的欧式距离均在阈值范围内时，在真实世界坐标系下，上述3个激光点与上述特征点即在同一个平面内。

根据本发明实施例的一实施方式，将上述3个激光点记为

特征点在真实世界坐标系下与上述3个激光点共面，通过公式(X-Y₁)^T·[(Y₁-Y₂)×(Y₁-Y₃)]＝0，求得特征点在真实世界坐标系下的三维坐标X＝[x y z]^T，根据该特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值。

步骤211，对特征点进行三角化处理，求解得到该特征点的深度值。当上述3个激光点中至少有一个距离特征点的欧式距离超过阈值时，上述3个激光点与上述特征点不在一个平面内，即不可通过步骤210求解得到深度值，此时需要通过三角化处理得到深度值。

在本发明实施例的一实施方式中，如图3所示，上述三角化处理的具体计算过程包括以下步骤：

(1)真实世界坐标系下的特征点P对应于图像M₁的归一化坐标为X″₁＝[x″₁ y″₁ 1]^T，深度值为s₁；对应于图像M₂中的归一化坐标为X″₂＝[x″₂ y″₂ 1]^T，深度值为s₂，根据单目相机在图像M₁与图像M₂之间的位姿转换矩阵，即旋转矩阵R和平移矩阵t，则可得到方程：

(2)在方程①的左右两侧同时乘以X″₁ ^T，则可得到：

s₁X″₁ ^TX″₁＝s₂X″₁ ^TRX″₂+tX″₁ ^T ②

(3)在方程①的左右两侧同时乘以(RX″₂)^T，则可得到：

s₁(RX″₂)^TX″₁＝s₂(RX″₂)^TRX″₂+t(RX″₂)^T ③

(4)将方程②和方程③合并整理可得到：

(5)求解方程④即可分别得到上述特征点对应于图像M₁与M₂的深度值。

步骤212，计算优化深度值。根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算单目相机的位姿转换矩阵，其中，真实世界坐标系下的三维坐标和一帧或多帧图像对应的深度值相关，

其中，[x′_i，j y′_i，j 1]^T为特征点对应于一帧或多帧图像中的图像M_j的二维像素坐标，[x_i，j y_i，j z_i，j]^T为特征点对应于图像M_j的真实世界坐标系下的三维坐标，K为单目相机的内参数矩阵，T_j为图像M_j的位姿转换矩阵，n为特征点的数量，m为图像的数量；其中n为100～200，m为10～20；

根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的优化深度值

图3是根据本发明实施例的特征点的深度估计装置的主要示意图；如图3所示，本发明实施例的一种特征点的深度估计装置主要包括以下模块：

激光点云采集模块301，用于通过激光传感器采集激光点云。通过激光传感器采集的点云中噪点和无效点较少，避免了深度相机探测范围有限所导致的精度较低的缺点，提高了精度，有利于后续对特征点深度的估计，同时提高了三维建图的质量。

激光点的坐标映射模块302，用于将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面。

根据本发明实施例的一实施方式，上述激光点的坐标映射模块还用于：从激光点云中提取边缘点和平面点，将边缘点和平面点通过激光相机之间的外参数映射到归一化平面，得到激光点的归一化坐标。

图像采集模块303，用于通过单目相机采集一帧或多帧图像。通过单目相机采集图像，然后从图像中提取特征点，通过上述设置，可以避免使用激光相机成像，降低了制图成本；同时利用图像中丰富的纹理信息，弥补了激光在长走廊等几何特征不明显的场景中无法应用的缺陷。

特征点提取模块304，用于图像中提取特征点。

特征点的坐标映射模块305，用于将特征点的二维像素坐标映射为特征点的归一化坐标。

根据本发明实施例的一实施方式，特征点的坐标映射模块还用于：将特征点的二维像素坐标通过下列公式映射为特征点的归一化坐标：

为单目相机的内参矩阵。

激光点确定模块306，用于根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点。

深度值求解模块307，若在归一化平面中存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点，则确定该特征点在真实世界坐标系下与至少三个激光点共面，深度值求解模块307用于根据至少三个激光点在真实世界的三维坐标计算特征点对应于图像的深度值。

根据本发明实施例的一实施方式，深度值求解模块307还用于：将至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标分别记为

根据公式(X-Y₁)^T·[(Y₁-Y₂)×(Y₁-Y₃)]＝0，计算得到特征点在真实世界坐标系下的三维坐标，X＝[x y z]^T，根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值。

三角化处理模块308，若在归一化平面中存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点，三角化处理模块308用于将特征点进行三角化处理得到特征点对应于图像的深度值。

根据本发明实施例的一实施方式，三角化处理模块还用于：真实世界坐标系下的特征点对应于一帧或多帧图像中的图像M₁中的归一化坐标为X″₁＝[x″₁ y″₁ 1]^T，特征点对应于图像M₁的深度值为s₁；特征点对应于一帧或多帧图像中的图像M₂中的归一化坐标为X″₂＝[x″₂ y″₂ 1]^T，其对应于图像M₂的深度值为s₂，根据单目相机在图像M₁与图像M₂之间的位姿转换矩阵，计算特征点对应于图像的深度值。

根据本发明实施例的一实施方式，上述特征点的深度估计装置还包括存储模块，用于存储归一化激光点云，存储模块还用于确定在上述归一化平面中是否存在距离该特征点的欧氏距离小于或等于阈值距离的至少三个激光点。在一具体实施方式中，上述存储模块为kd树，但这并不构成对本发明的限制，只要能起到类似存储作用及查找数据的存储部件均应在本发明的范围之内。

进一步地，根据本发明实施例的另一实施方式，上述深度估计装置还包括：

深度值优化模块，用于根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算单目相机的位姿转换矩阵，其中，真实世界坐标系下的三维坐标和一帧或多帧图像对应的深度值相关，

其中，[x′_i，j y′_1，j 1]^T为特征点对应于一帧或多帧图像中的图像M_j的二维像素坐标，[x_i，j y_i，j z_i，j]^T为特征点对应于图像M_j的真实世界坐标系下的三维坐标，K为单目相机的内参数矩阵，T_j为图像M_j的位姿转换矩阵，n为特征点的数量，m为图像的数量；

根据本发明实施例的技术方案，因为采用激光传感器采集激光点云，将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的深度值计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值技术手段，所以克服了现有技术中降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形的质量低的技术问题，提高了单目相机的探测范围和测量精度，提升了建图的质量，同时利用图像中丰富的纹理信息，弥补了激光在长走廊等场景下的缺陷的技术效果。

图4是根据本发明实施例的特征点的深度估计方法中的利用激光点云计算特征点深度的示意图。如图4所示，将激光点云映射到归一化平面后，若在归一化平面中存在距离特征点的欧式距离小于或等于阈值距离的至少三个激光点，则在真实世界坐标系下，上述特征点和上述至少三个激光点处于同一个平面，此时根据上述至少三个激光点在真实世界坐标系下的三维坐标计算得到特征点在真实世界坐标系下的三维坐标X＝[x y z]^T，根据该特征点的三维坐标计算该特征点对应于图像的深度值。

图5是根据本发明实施例的特征点的深度估计方法中的通过三角化处理得到特征点深度的示意图。如图5所示，真实世界坐标系下的特征点P对应于图像M₁的归一化坐标为X″₁＝[x″₁ y″₁ 1]^T，该特征点P对应图像M₁的深度值为s₁；特征点P对应于图像M₂的归一化坐标为X″₂＝[x″₂ y″₂ 1]^T，其对应图像M₂的深度值为s₂，根据单目相机在图像M₁与图像M₂之间的位姿转换矩阵，即旋转矩阵R和平移矩阵t，则可得到方程：

在方程①的左右两侧同时乘以X″₁ ^T，则可得到：

s₁X″₁ ^TX″₁＝s₂X″₁ ^TRX″₂+tX″₁ ^T ②

在方程①的左右两侧同时乘以(RX″₂)^T，则可得到：

s₁(RX″₂)^TX″₁＝s₂(RX″₂)^TRX″₂+t(RX″₂)^T ③

将方程②和方程③合并整理可得到：

求解方程④即可分别得到上述特征点P分别对应于图像M₁与M₂的深度值。

图6示出了可以应用本发明实施例的特征点的深度估计方法或者特征点的深度估计装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的特征点的深度估计方法一般由服务器605执行，相应地，特征点深度估计装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括确定模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：通过激光传感器采集激光点云，将激光点云映射到单目相机的归一化平面，以得到激光点云中的激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的三维坐标计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值。

根据本发明实施例的技术方案，因为采用激光传感器采集激光点云，将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点的欧氏距离小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的三维坐标计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值技术手段，所以克服了现有技术中降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形的质量低的技术问题，提高了单目相机的探测范围和测量精度，提升了建图的质量，同时利用图像中丰富的纹理信息，弥补了激光在长走廊等场景下的缺陷的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种特征点的深度估计方法，其特征在于，包括：

通过激光传感器采集激光点云，将所述激光点云映射到单目相机的归一化平面，以得到所述激光点云中的激光点的归一化坐标，其中，所述归一化平面指的是深度值为预定义值的平面；

通过所述单目相机采集一帧或多帧图像，从所述图像中提取特征点，并将所述特征点的二维像素坐标映射到所述归一化平面，以得到所述特征点的归一化坐标；

根据所述激光点的归一化坐标和所述特征点的归一化坐标，确定在所述归一化平面中是否存在距离所述特征点小于或等于阈值距离的至少三个激光点；

若存在，则确定所述特征点在真实世界坐标系下与所述至少三个激光点共面，根据所述至少三个激光点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值；

若不存在，则通过三角化处理得到所述特征点对应于所述图像的深度值。

2.根据权利要求1所述的特征点的深度估计方法，其特征在于，将所述激光点的归一化坐标存储至k-dimensional树，通过查找所述k-dimensional树确定在所述归一化平面中是否存在距离所述特征点小于或等于阈值距离的至少三个激光点。

3.根据权利要求1所述的特征点的深度估计方法，其特征在于，所述将激光点云映射到所述归一化平面的过程包括：从所述激光点云中提取边缘点和平面点，将所述边缘点和所述平面点通过所述激光传感器和所述单目相机的位姿转换矩阵映射到所述归一化平面，得到所述激光点的归一化坐标。

4.根据权利要求3所述的特征点的深度估计方法，其特征在于，所述将所述特征点的二维像素坐标映射到所述归一化平面，以得到所述特征点的归一化坐标的过程包括：根据所述单目相机的内参数矩阵，将所述特征点的二维像素坐标映射为所述特征点的归一化坐标。

5.根据权利要求1所述的特征点的深度估计方法，其特征在于，根据所述至少三个激光点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值的过程包括：根据所述特征点在真实世界坐标系下与所述至少三个激光点的共面关系，通过所述至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标，计算得到所述特征点在真实世界坐标系下的三维坐标，再根据所述特征点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值。

6.根据权利要求1所述的特征点的深度估计方法，其特征在于，所述三角化处理的过程包括：根据单目相机在所述特征点对应的两帧图像之间的位姿转换矩阵，计算所述特征点对应于所述图像的深度值。

7.根据权利要求1至6中任一项所述的特征点的深度估计方法，其特征在于，所述深度估计方法还包括：

根据所述特征点对应于所述一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算所述图像的位姿转换矩阵，其中，所述真实世界坐标系下的三维坐标与所述一帧或多帧图像对应的深度值相关；

根据所述单目相机的内参数矩阵和所述图像的位姿转换矩阵，计算优化后的所述特征点对应于所述图像的真实世界坐标系下的三维坐标；

根据所述特征点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的优化深度值。

8.一种特征点的深度估计装置，其特征在于，包括：

激光点云采集模块，用于通过激光传感器采集激光点云；

激光点的坐标映射模块，用于将所述激光点云映射到单目相机的归一化平面，以得到所述激光点云中激光点的归一化坐标，其中，所述归一化平面指的是深度值为预定义值的平面；

图像采集模块，用于通过所述单目相机采集一帧或多帧图像；

特征点提取模块，用于从所述图像中提取特征点；

特征点的坐标映射模块，用于将所述特征点的二维像素坐标映射到所述归一化平面，以得到所述特征点的归一化坐标；

激光点确定模块，用于根据所述激光点的归一化坐标和所述特征点的归一化坐标，确定在所述归一化平面中是否存在距离所述特征点小于或等于阈值距离的至少三个激光点；

深度值求解模块，若在所述归一化平面中存在距离所述特征点小于或等于阈值距离的至少三个激光点，则确定所述特征点在真实世界坐标系下与所述至少三个激光点共面，所述深度值求解模块用于根据所述至少三个激光点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值；

三角化处理模块，若在所述归一化平面中不存在距离所述特征点小于或等于阈值距离的至少三个激光点，所述三角化处理模块用于将所述特征点进行三角化处理得到所述特征点对应于所述图像的深度值。

9.一种终端装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。