CN116188553A - 一种深度确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种深度确定方法、装置、电子设备及存储介质。该方法包括：获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对所述目标关键点在所述二维相机的相机平面内对应的相机关键点，确定所述相机关键点的关键点相机位置；基于所述关键点相机位置，从所述相机平面内的至少一个初始投影点云中确定与所述相机关键点对应的目标投影点云；根据所述目标投影点云的目标投影点云深度，确定所述目标关键点的目标关键点深度，并将所述目标关键点深度作为所述目标对象与二维相机之间的对象深度。本发明实施例的技术方案，可以实现在二维相机的基础上进行深度的精准确定。

Description

一种深度确定方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种深度确定方法、装置、电子设备及存储介质。

背景技术

目前，在人驾驶车辆时，主要是通过人眼对驾驶的车辆前的障碍物与人眼之间的深度进行估计。

但是，通过人眼估计出的深度精度较低，叩待解决。

发明内容

本发明实施例提供了一种深度确定方法、装置、电子设备及存储介质，以实现在二维相机的基础上进行深度的精准确定。

根据本发明的一方面，提供了一种深度确定方法，可以包括：

获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；

基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；

根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

根据本发明的另一方面，提供了一种深度确定装置，可以包括：

关键点相机位置确定模块，用于获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；

目标投影点云确定模块，用于基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；

对象深度确定模块，用于根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

根据本发明的另一方面，提供了一种电子设备，可以包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行时实现本发明任意实施例所提供的深度确定方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使处理器执行时实现本发明任意实施例所提供的深度确定方法。

本发明实施例的技术方案，获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。上述技术方案，通过确定与相机关键点对应的目标投影点云的目标投影点云深度，确定目标对象与二维相机之间的对象深度，由此实现了在二维相机的基础上进行深度的精准确定。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或是重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中所提供的一种深度确定方法的流程图；

图2是本发明实施例二中所提供的一种深度确定方法的流程图；

图3是本发明实施例三中所提供的一种深度确定方法的流程图；

图4是本发明实施例四所提供的深度确定装置的结构框图；

图5是实现本发明实施例的深度确定方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。“目标”、“原始”等的情况类似，在此不再赘述。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一中所提供的一种深度确定方法的流程图。本实施例可适用于深度确定的情况。该方法可以由本发明实施例提供的深度确定装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。

参见图1，本发明实施例的方法具体包括如下步骤：

S110、获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置。

其中，目标对象可以理解为需求确定与二维相机之间的深度的对象。例如在自动驾驶的情况下，二维相机可以安装在自动驾驶车辆上，目标对象可以是自动驾驶车辆前的障碍物或前方车辆。目标关键点可以理解为目标对象上的关键点，目标关键点例如可以是障碍物在地面上的中心点，再例如可以是前方车辆后轮上的最低点。目标关键点可以由目标对象的类型来确定；也可以由预先设置的关键点选取规则确定，例如关键点选取规则可以是选取目标对象在地面上的中心点；在本发明实施例中，目标关键点的确定方式不做具体限定。目标关键点的数量可以是至少一个，目标关键点的数量可以由目标对象的类型来确定。相机平面可以理解为相机投影成像的平面。相机关键点即为目标关键点在相机平面上投影出的关键点。关键点相机位置可以理解为相机关键点在相机平面上的位置，例如可以是相机关键点在相机平面上的像素坐标。

可以理解的是，由于二维相机的成本较为低廉，因此二维相机的应用十分广泛，例如通常采用二维相机作为车载相机，但是二维相机无法进行深度确定。为了在成本低廉的基础上还可以进行深度确定，在本发明实施例中，可以获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置，以使后续根据关键点相机位置进行深度确定，实现在成本低廉的二维相机的基础上进行深度确定。

S120、基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云。

其中，目标投影点云可以理解为与相机关键点对应的，用于确定目标关键点的目标关键点深度的初始投影点云。目标关键点深度可以理解为目标关键点与二维相机之间的深度。

可以理解的是，在需求对目标对象与二维相机之间进行深度确定的情况下，相机平面上可能不仅存在相机关键点，还可能存在目标对象所在的区域中的其他物体在相机平面上投影出的点，例如在自动驾驶的情况下，相机关键点是前方车辆后轮上的最低点，相机平面上除了前方车辆后轮上的最低点，还可能存在前方车辆行驶的地面上的点以及路边花坛上的点在相机平面上投影出的投影点，若预先对目标对象可能出现的区域的点云进行采集以及深度确定并将其投影到相机平面上，将相机关键点与相机平面上已知深度的投影到相机平面上的点云进行对应，即可根据与相机关键点对应的投影到相机平面上的点云确定目标关键点的深度。因此，在本发明实施例中，可以提前对目标关键点可能出现的区域进行点云采集，预先将采集到的点云投影到相机平面上，采集到的点云投影到相机平面上的即可得到初始投影点云，初始投影点云可以是在二维的相机平面上的点云，但是其可以携带有其对应的采集到的点云的深度信息和/或世界坐标系下的世界坐标信息。在上述基础上，可以基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云，例如可以是基于关键点相机位置，从相机平面内的至少一个初始投影点云中，确定出距离相机关键点最近的初始投影点云作为目标投影点云。

S130、根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

其中，目标投影点云深度可以理解为目标投影点云对应的采集的点云与二维相机之间的深度。对象深度可以理解为目标对象与二维相机之间的深度。

可以理解的是，目标投影点云的目标投影点云深度可以是预先已知的，可以根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度，就可以实现无需对对象深度采用成本更高的深度测量设备进行测量，仅需确定预先已知的与相机关键点对应的目标投影点云的目标投影点云深度，即可实现对对象深度的确定，从而实现了在二维相机的基础上进行深度确定。

本发明实施例的技术方案，获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。上述技术方案，通过确定与相机关键点对应的目标投影点云的目标投影点云深度，确定目标对象与二维相机之间的对象深度，由此实现了在二维相机的基础上进行深度的精准确定。

一种可选的技术方案，深度确定方法，还包括：根据二维相机的相机参数、目标投影点云深度和目标投影点云在相机平面中的目标投影点云位置，确定目标关键点的目标关键点位置。

其中，相机参数可以理解为二维相机的参数。相机参数可以包括内参数和外参数。内参数例如可以是相机焦距和像素大小等。外参数例如可以是相机的位置和旋转方向等。目标投影点云位置可以理解为目标投影点云在相机平面中的位置，例如可以是目标投影点云在相机平面中的像素坐标。目标关键点位置可以理解为目标关键点的位置信息，例如可以是目标关键点在世界坐标系下的世界坐标。

需要注意的是，由于二维相机安装的高度不同，且确定二维相机的相机参数的设备，例如确定相机位置参数的全球定位系统(Global Positioning System，GPS)在高度定位上存在误差，因此还可以根据二维相机的安装高度和/或采集目标投影点云时的点云采集设备的安装高度对目标投影点云位置进行微调，以提高确定出的目标关键点位置的准确性。

在本发明实施例中，可以根据二维相机的相机参数、目标投影点云深度和目标投影点云在相机平面中的目标投影点云位置，确定目标关键点的目标关键点位置，以实现在二维相机的基础上确定目标关键点的更多位置信息。例如，可以根据目标投影点云深度和目标投影点云位置以及相机参数，确定目标投影点云对应的采集的点云在世界坐标系下的世界坐标，将采集的点云在世界坐标系下的世界坐标作为目标关键点位置；再例如可以根据目标投影点云深度和目标投影点云位置以及相机参数，将目标投影点云反投射回惯性测量单元(Inertial Measurement Unit，IMU)坐标系上，将目标投影点云在IMU坐标系下的坐标作为目标关键点位置。

实施例二

图2是本发明实施例二中提供的另一种深度确定方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，至少一个初始投影点云通过如下步骤预先生成：通过点云采集设备采集环境区域内的至少一个环境点云，其中，环境区域包括目标关键点位于的区域；将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例的方法具体可以包括如下步骤：

S210、通过点云采集设备采集环境区域内的至少一个环境点云，其中，环境区域包括目标关键点位于的区域。

其中，点云采集设备可以理解为能够采集环境区域内的环境点云的设备，例如可以是雷达。环境区域可以理解为包括目标关键点位于的区域；环境区域可以根据目标关键点的类型确定，例如目标关键点为车辆上的关键点，环境区域可以是城市的市区区域；再例如目标关键点可以是垃圾桶上的关键点，环境区域可以是某个小区位于的区域；在本发明实施例中，对环境区域的区域范围不做具体限定。环境点云可以理解为环境区域中的点云。

可以理解的是，目标投影点云是至少一个初始点云中的点云，若需求能够根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，还需求预先生成初始投影点云，因此，在本发明实施例中，可以通过点云采集设备采集环境区域内的至少一个环境点云，以在后续根据环境点云生成初始投影点云。

需要注意的是，可能存在环境区域较大，无法一次性采集环境区域内的至少一个环境点云的情况，在此情况下，可以采用多个点云采集设备采集环境区域中的不同区域，再将多个区域采集到的各环境点云根据各环境点云分别对应的定位信息进行拼接，得到环境区域的至少一个环境点云，该定位信息例如可以是环境点云在世界坐标系下的世界坐标；还可以采用例如将点云采集设备安装到采集环境点云的采集车辆上，采集车辆在环境区域中进行遍历采集，根据采集车辆采集到的各环境点云分别对应的定位信息和采集时间对各环境点云进行拼接，得到环境区域的至少一个环境点云。

需要注意的是，点云采集设备可以存在定位功能，或，在点云采集设备进行环境点云采集时携带有定位设备，以使采集到的环境点云能够根据点云采集设备的设备参数以及定位设备的定位信息确定各环境点云分别对应的位置信息，例如可以是世界坐标系下的世界坐标信息。

需要注意的是，由于若存在多台点云采集设备进行环境点云的采集，由于不同点云采集设备安装的高度不同，且定位设备容易在采集环境点云的高度定位上存在误差，因此还可以根据多台点云采集设备分别对应的安装高度对环境点云相关信息进行微调，以提高确定出的环境点云的准确性。

S220、将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云。

需要注意的是，在二维相机所在的位置以及位姿的不同的情况下，至少一个环境点云投影到相机平面上的至少一个初始投影点云的位置、数量和/或大小可能是不相同的，考虑到上述情况，在本发明实施例中，可以将至少一个环境点云映射到二维相机中，或，将至少一个环境点云存储到二维相机中，在需求确定对象深度的情况下，实时的根据相机的相机参数将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云，以使生成的至少一个初始投影点云能够适应于二维相机位置以及位姿的变化。

需要注意的是，在将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云时，至少一个初始投影点云中的每个初始投影点云还可以携带有其对应的环境点云的位置信息和/或深度信息，该深度信息可以根据环境点云的位置信息和相机参数确定。

S230、获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置。

S240、基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云。

S250、根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

本发明实施例的技术方案，至少一个初始投影点云通过如下步骤预先生成：通过点云采集设备采集环境区域内的至少一个环境点云，其中，环境区域包括目标关键点位于的区域；将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云。上述方案可以实现生成初始投影点云，以供在至少一个初始投影点云中确定目标投影点云，从而根据目标投影点云的目标投影点云深度确定对象深度，实现在二维相机的基础上进行深度确定。

实施例三

图3是本发明实施例三中提供的另一种深度确定方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云，包括：基于至少一个环境点云生成数字高程模型；将数字高程模型投影到相机平面中，得到数字高程模型中的至少一个地面点云分别对应的初始投影点云。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图3，本实施例的方法具体可以包括如下步骤：

S310、通过点云采集设备采集环境区域内的至少一个环境点云，其中，环境区域包括目标关键点位于的区域。

S320、基于至少一个环境点云生成数字高程模型。

在本发明实施例中，考虑到环境点云的数量可能十分庞大，若将每一个环境点云都映射到相机平面上，会导致较大的计算量，且直接将至少一个环境点云映射到相机平面的表达可能并不直观，因此，可以基于至少一个环境点云生成数字高程模型(DigitalElevation Model，DEM)，生成的数字高程模型中只有地面上的环境点云，且可以更为直观的表达连续的地表面。

S330、将数字高程模型投影到相机平面中，得到数字高程模型中的至少一个地面点云分别对应的初始投影点云。

在本发明实施例中，可以将数字高程模型投影到相机平面中，数字高程模型中包括至少一个构成数字高程模型的地面点云，该地面点云即为构成数字高程模型的点云，可以得到数字高程模型中的至少一个地面点云分别对应的初始投影点云，即将数字高程模型中的各地面点云投影到相机平面上作为初始投影点云。

S340、获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置。

S350、基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云。

S360、根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

本发明实施例的技术方案，基于至少一个环境点云生成数字高程模型；将数字高程模型投影到相机平面中，得到数字高程模型中的至少一个地面点云分别对应的初始投影点云，可以仅保留地面上的环境点云构成生成数字高程模型，可以在减少计算量，节省资源消耗的同时，还可以使初始投影点云更为直观。

一种可选的技术方案，基于至少一个环境点云生成数字高程模型，包括：获取至少一个环境点云的标注结果；根据标注结果确定至少一个环境点云中被标注为地面点的至少一个环境点云，并根据被标注为地面点的至少一个环境点云，生成数字高程模型。

可以理解的是，可以预先对至少一个环境点云进行人工标准，还可以是通过神经网络自动的对环境点云进行标准，在本发明实施例中，对至少一个环境点云进行标准的方式不做具体限定。

在本发明实施例中，可以获取至少一个环境点云的标注结果，该标注结果即为对环境点云是否为地面点进行标注的结果；根据标注结果确定至少一个环境点云中被标注为地面点的至少一个环境点云，该地面点即为地面上的点云，并根据被标注为地面点的至少一个环境点云，生成数字高程模型，即可实现根据至少一个环境点云中的地面上的环境点云生成数字高程模型。

另一种可选的技术方案，将数字高程模型投影到相机平面中，得到数字高程模型中的至少一个的地面点云分别对应的初始投影点云，包括：针对数字高程模型中的至少一个地面点云中的每个地面点云，根据二维相机的相机参数以及地面点云的位置，确定地面点云在相机平面中的初始投影点云；在得到数字高程模型中的至少一个地面点云分别对应的初始投影点云之后，方法，还包括：根据相机参数以及位置，确定初始投影点云相对于相机平面的初始点云投影深度；根据已确定的至少一个初始投影点云的初始点云投影深度，得到目标投影点云深度。

可以理解的是，针对数字高程模型中的至少一个地面点云中的每个地面点云，根据二维相机的相机参数以及地面点云的位置，确定地面点云在相机平面中的初始投影点云。例如可以基于二维相机的位置以及旋转等相机参数将地面点云的世界坐标系下的世界坐标位置，转换处地面点云在相机平面中的需求投影的位置，在该需求投影的位置处投影出的点云作为初始投影点云。

在本发明实施例中，可以根据相机参数以及位置，确定初始投影点云相对于相机平面的初始点云投影深度，该初始点云投影深度即为该初始点云对应的地面点云与二维相机之间的深度；根据已确定的至少一个初始投影点云的初始点云投影深度，得到目标投影点云深度，以实现对目标投影点云深度的确定，便于后续对对象深度的确定。

另一种可选的技术方案，在将数字高程模型投影到相机平面中之前，还包括：根据二维相机的相机参数对数字高程模型中的至少一个地面点云进行过滤，以过滤掉数字高程模型中的位于目标区域上的地面点云，其中，目标区域是环境区域中除感兴趣区域之外的区域，感兴趣区域根据目标对象的当前位置确定；根据过滤结果更新数字高程模型。

其中，感兴趣区域可以理解为目标关键点位于的区域。

可以理解的是，环境区域中可能还存在不会出现目标关键点的区域，例如环境区域是城市的市区区域，目标关键点是车辆上的关键点，目标关键点只会出现在城市的市区区域的道路上，而不会出现在花坛和房屋设施等区域中。因此，在本发明实施例中，可以根据二维相机的相机参数对数字高程模型中的至少一个地面点云进行过滤，以过滤掉数字高程模型中的位于目标区域上的地面点云，例如感兴趣区域可以是道路区域，可以将目标关键点不会出现的除了道路区域外的其他区域的地面点云过滤掉；再根据过滤结果更新数字高程模型，以进一步减少计算量。例如过滤前数字高程模型中地面点云有2200万个，过滤后的地面点云可能只有70万个，大大减少了图形处理器(graphics processing unit，GPU)的计算量。

需要注意的是，感兴趣区域根据目标对象的当前位置确定，例如目标对象为车辆，若车辆当前位于道路上，感兴趣区域可以是道路区域；若车辆位于广场上，感兴趣区域可以是广场上的空地区域。感兴趣区域还可以根据目标对象的类型确定，例如目标对象是车辆，感兴趣区域可以是道路区域；再例如目标对象是花朵，感兴趣区域可以是花坛区域。

实施例四

图4是本发明实施例四所提供的深度确定装置的结构框图，该装置用于执行上述任意实施例所提供的深度确定方法。该装置与上述各实施例的深度确定方法属于同一个发明构思，在深度确定装置的实施例中未详尽描述的细节内容，可以参考上述深度确定方法的实施例。参见图4，该装置具体可包括：关键点相机位置确定模块410、目标投影点云确定模块420和对象深度确定模块430。

其中，关键点相机位置确定模块410，用于获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；

目标投影点云确定模块420，用于基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；

对象深度确定模块430，用于根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。

可选的，深度确定装置还可以包括如下模块预先生成至少一个初始投影点云：

环境点云采集模块，用于通过点云采集设备采集环境区域内的至少一个环境点云，其中，环境区域包括目标关键点位于的区域；

初始投影点云得到模块，用于将至少一个环境点云投影到相机平面中，得到至少一个初始投影点云。

在上述方案的基础上，可选的，初始投影点云得到模块，可以包括：

数字高程模型生成单元，用于基于至少一个环境点云生成数字高程模型；

初始投影点云得到单元，用于将数字高程模型投影到相机平面中，得到数字高程模型中的至少一个地面点云分别对应的初始投影点云。

在上述方案的基础上，可选的，数字高程模型生成单元，可以包括：

标注结果获取总电源，用于获取至少一个环境点云的标注结果；

数字高程模型生成子单元，用于根据标注结果确定至少一个环境点云中被标注为地面点的至少一个环境点云，并根据被标注为地面点的至少一个环境点云，生成数字高程模型。

在上述方案的基础上，可选的，初始投影点云得到单元，可以包括：

初始投影点云确定子单元，用于针对数字高程模型中的至少一个地面点云中的每个地面点云，根据二维相机的相机参数以及地面点云的位置，确定地面点云在相机平面中的初始投影点云；

深度确定装置，还可以包括：

初始点云投影深度确定模块，用于在得到数字高程模型中的至少一个地面点云分别对应的初始投影点云之后，根据相机参数以及位置，确定初始投影点云相对于相机平面的初始点云投影深度；

目标投影点云深度得到模块，用于根据已确定的至少一个初始投影点云的初始点云投影深度，得到目标投影点云深度。

在上述方案的基础上，可选的，深度确定装置，还可以包括：

地面点云过滤模块，用于在将数字高程模型投影到相机平面中之前，根据二维相机的相机参数对数字高程模型中的至少一个地面点云进行过滤，以过滤掉数字高程模型中的位于目标区域上的地面点云，其中，目标区域是环境区域中除感兴趣区域之外的区域，感兴趣区域根据目标对象的当前位置确定；

数字高程模型更新模块，用于根据过滤结果更新数字高程模型。

可选的，深度确定装置，还可以包括：

标关键点位置确定模块，用于根据二维相机的相机参数、目标投影点云深度和目标投影点云在相机平面中的目标投影点云位置，确定目标关键点的目标关键点位置。

本发明实施例四所提供的深度确定装置，通过关键点相机位置确定模块获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对目标关键点在二维相机的相机平面内对应的相机关键点，确定相机关键点的关键点相机位置；通过目标投影点云确定模块基于关键点相机位置，从相机平面内的至少一个初始投影点云中确定与相机关键点对应的目标投影点云；通过对象深度确定模块根据目标投影点云的目标投影点云深度，确定目标关键点的目标关键点深度，并将目标关键点深度作为目标对象与二维相机之间的对象深度。上述装置，通过确定与相机关键点对应的目标投影点云的目标投影点云深度，确定目标对象与二维相机之间的对象深度，由此实现了在二维相机的基础上进行深度的精准确定。

本发明实施例所提供的深度确定装置可执行本发明任意实施例所提供的深度确定方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述深度确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如深度确定方法。

在一些实施例中，深度确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的深度确定方法的一个或多个步骤。备选地，在其他实施例中，处理器11可通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、以及至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、以及该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或是其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行并且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种深度确定方法，其特征在于，包括：

获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对所述目标关键点在所述二维相机的相机平面内对应的相机关键点，确定所述相机关键点的关键点相机位置；

基于所述关键点相机位置，从所述相机平面内的至少一个初始投影点云中确定与所述相机关键点对应的目标投影点云；

根据所述目标投影点云的目标投影点云深度，确定所述目标关键点的目标关键点深度，并将所述目标关键点深度作为所述目标对象与二维相机之间的对象深度。

2.根据权利要求1所述的方法，其特征在于，所述至少一个初始投影点云通过如下步骤预先生成：

通过点云采集设备采集环境区域内的至少一个环境点云，其中，所述环境区域包括所述目标关键点位于的区域；

将所述至少一个环境点云投影到所述相机平面中，得到至少一个初始投影点云。

3.根据权利要求2所述的方法，其特征在于，所述将所述至少一个环境点云投影到所述相机平面中，得到至少一个初始投影点云，包括：

基于所述至少一个环境点云生成数字高程模型；

将所述数字高程模型投影到所述相机平面中，得到所述数字高程模型中的至少一个地面点云分别对应的初始投影点云。

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个环境点云生成数字高程模型，包括：

获取所述至少一个环境点云的标注结果；

根据所述标注结果确定所述至少一个环境点云中被标注为地面点的至少一个环境点云，并根据所述被标注为地面点的至少一个环境点云，生成数字高程模型。

5.根据权利要求3所述的方法，其特征在于，所述将所述数字高程模型投影到所述相机平面中，得到所述数字高程模型中的至少一个的地面点云分别对应的初始投影点云，包括：

针对所述数字高程模型中的至少一个地面点云中的每个地面点云，根据二维相机的相机参数以及所述地面点云的位置，确定所述地面点云在所述相机平面中的初始投影点云；

在得到所述数字高程模型中的至少一个地面点云分别对应的初始投影点云之后，所述方法，还包括：

根据所述相机参数以及所述位置，确定所述初始投影点云相对于所述相机平面的初始点云投影深度；

根据已确定的至少一个初始投影点云的初始点云投影深度，得到所述目标投影点云深度。

6.根据权利要求3所述的方法，其特征在于，在将所述数字高程模型投影到所述相机平面中之前，还包括：

根据二维相机的相机参数对所述数字高程模型中的至少一个地面点云进行过滤，以过滤掉所述数字高程模型中的位于目标区域上的地面点云，其中，所述目标区域是所述环境区域中除感兴趣区域之外的区域，所述感兴趣区域根据目标对象的当前位置确定；

根据过滤结果更新所述数字高程模型。

7.根据权利要求1所述的方法，其特征在于，还包括：

根据二维相机的相机参数、所述目标投影点云深度和所述目标投影点云在所述相机平面中的目标投影点云位置，确定所述目标关键点的目标关键点位置。

8.一种深度确定装置，其特征在于，包括：

关键点相机位置确定模块，用于获取通过二维相机对目标对象进行关键点采集得到的目标关键点，并针对所述目标关键点在所述二维相机的相机平面内对应的相机关键点，确定所述相机关键点的关键点相机位置；

目标投影点云确定模块，用于基于所述关键点相机位置，从所述相机平面内的至少一个初始投影点云中确定与所述相机关键点对应的目标投影点云；

对象深度确定模块，用于根据所述目标投影点云的目标投影点云深度，确定所述目标关键点的目标关键点深度，并将所述目标关键点深度作为所述目标对象与二维相机之间的对象深度。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的深度确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-7中任一所述的深度确定方法。

Images