CN115965942A - 位置估计方法、车辆控制方法、设备、介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种位置估计方法、车辆控制方法、设备、介质及车辆，旨在解决准确估计物体3D位置的问题。为此目的，本发明提供的方法包括对相机在当前时刻采集的物体的图像帧进行感知识别，获取物体在当前时刻的2D位置，根据相机焦距采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度并对第一深度进行融合，获取物体在当前时刻的第二深度，根据2D位置与第二深度获取物体在当前时刻的3D位置，根据物体在历史时刻的3D位置对物体在当前时刻的3D位置进行位置平滑，获取物体在当前时刻的最终3D位置。通过上述方法可以获取到较为准确的物体3D位置。

Description

位置估计方法、车辆控制方法、设备、介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种位置估计方法、车辆控制方法、设备、介质及车辆。

背景技术

交通信号灯通常由红灯、绿灯、黄灯组成，红灯表示禁止通行，绿灯表示允许通行，黄灯表示警示。在对车辆进行自动驾驶控制时需要准确地感知得到道路中交通信号灯的状态，才能根据交通信号灯的状态对车辆进行安全、可靠地的驾驶控制。

在不采用高精地图的情况下，交通信号灯3D位置的估计方法主要包括先对交通信号灯的图像帧进行感知得到交通信号灯的2D位置，然后根据2D位置获取交通信号灯的深度，根据2D位置和深度确定交通信号灯的3D位置。但是，通过这种方法得到的2D位置稳定性较差，很容易发生抖动，即存在较大的误差，进而导致利用2D位置得到的3D位置也很容易发生抖动，如果利用该3D位置进行车辆自动驾驶控制，会影响车辆的安全行驶。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决准确估计交通信号灯等物体3D位置的技术问题的位置估计方法、车辆控制方法、设备、介质及车辆。

在第一方面，提供一种物体的位置估计方法，包括：

对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置；

根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度，并对所述第一深度进行融合，以获取物体在当前时刻的第二深度；

根据所述2D位置与所述第二深度，获取物体在当前时刻的3D位置；

根据物体在历史时刻的3D位置，对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置。

在上述物体的位置估计方法的一个技术方案中，“根据物体在历史时刻的3D位置，对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置”的步骤具体包括：

获取位于当前时刻之前多个历史时刻的3D位置；

获取当前时刻的3D位置与所述多个历史时刻的3D位置的平均值；

根据所述平均值，获取物体在当前时刻的最终3D位置。

在上述物体的位置估计方法的一个技术方案中，“获取当前时刻的3D位置与所述多个历史时刻的3D位置的平均值”的步骤具体包括：

按照时间由先至后的排列顺序，确定所述多个历史时刻中排列在首个的第一历史时刻和未排列在首个的第二历史时刻；

将当前时刻的3D位置与每个第二历史时刻的3D位置，分别投影至第一历史时刻对应的三维坐标系，以获取当前时刻与每个第二历史时刻在所述三维坐标系的投影位置；

获取所述投影位置与第一历史时刻的3D位置的平均值；

将所述平均值反投影至当前时刻对应的三维坐标系，以获取最终的平均值。

在上述物体的位置估计方法的一个技术方案中，“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度”的步骤具体包括下列深度估计方法获取所述第一深度：

根据物体的类型获取物体的模板尺寸，根据所述模板尺寸获取物体在世界坐标系的实际宽度；

根据所述2D位置，确定物体在图像坐标系的成像宽度；

基于相机成像原理，确定物体的实际宽度、成像宽度、相机焦距与物体的深度之间的第一运算关系；

采用所述第一运算关系并根据所述物体的实际宽度、成像宽度与相机焦距，获取物体在当前时刻的第一深度。

在上述物体的位置估计方法的一个技术方案中，“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度”的步骤具体包括通过下列深度估计方法获取所述第一深度：

根据物体的类型获取物体的模板尺寸，根据所述模板尺寸获取物体在世界坐标系的实际高度；

基于相机成像原理，确定物体的实际高度、相机所在载体与物体之间的直线距离、相机焦距、物体在图像坐标系的成像高度之间的第二运算关系；

采用所述第二运算关系并根据所述物体的实际高度、每个时刻的直线距离与相机焦距，分别获取每个时刻物体的成像高度；

基于三角测距原理，确定物体的成像高度在相邻两个时刻的变化量、所述直线距离在相邻两个时刻的变化量、物体的实际高度、物体的深度之间的第三运算关系；

采用所述第三运算关系并根据物体的成像高度在上一时刻与当前时刻之间的变化量、所述直线距离在上一时刻与当前时刻之间的变化量、物体的实际高度，获取物体在当前时刻的第一深度。

在上述物体的位置估计方法的一个技术方案中，“对所述第一深度进行融合，以获取物体在当前时刻的第二深度”的步骤包括：

分别对每种深度估计方法估计得到的第一深度进行加权和计算；

根据加权和计算的结果，获取所述第二深度。

在上述物体的位置估计方法的一个技术方案中，“对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置”的步骤具体包括：分别对多个不同相机在当前时刻采集的物体的图像帧进行感知识别，以获取在当前时刻每个相机各自对应的物体的2D位置分量；

“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度，并对所述第一深度进行融合，以获取物体在当前时刻的第二深度”的步骤具体包括：根据每个相机的相机焦距，采用多种不同的深度估计方法分别估计在当前时刻每个相机各自对应的物体的第一深度分量并对所述第一深度分量进行融合，以获取在当前时刻每个相机各自对应的物体的第二深度分量；

“根据所述2D位置与所述第二深度，获取物体在当前时刻的3D位置”的步骤具体包括：根据每个相机各自对应的2D位置分量与第二深度分量，获取在当前时刻每个相机各自对应的物体的3D位置分量，对所述3D位置分量进行关联，形成物体在当前时刻的3D位置。

在上述物体的位置估计方法的一个技术方案中，所述物体包括交通信号灯和/或静态障碍物。

在第二方面，提供一种车辆控制方法，所述方法还包括：

获取位于车辆前向方向的物体的图像帧；

采用上述第一方面提供的物体的位置估计方法，并根据所述图像帧获取所述物体的3D位置；

根据所述物体的3D位置，对车辆进行自动驾驶控制。

在第三方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述物体的位置估计方法或车辆控制方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述物体的位置估计方法或车辆控制方法的技术方案中任一项技术方案所述的方法。

在第五方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的物体的位置估计方法的技术方案中，可以对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置，根据相机焦距采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度并对第一深度进行融合，以获取物体在当前时刻的第二深度，进而可以根据2D位置与第二深度获取物体在当前时刻的3D位置，根据物体在历史时刻的3D位置对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置。

通过采用多种不同的深度估计方法获取物体在当前时刻的深度，可以降低对物体2D位置的依赖，即使2D位置的准确性较差，也可以保证获得较为准确的物体深度，从而保证3D位置的准确性。此外，利用历史时刻的3D位置对物体在当前时刻的3D位置进行位置平滑，可以保证3D位置中每个坐标维度的位置信息都具备较高的准确性，从而进一步提高3D位置的准确性。

在实施本发明提供的车辆控制方法的技术方案中，可以获取位于车辆前向方向的物体的图像帧，采用前述物体的位置估计方法并根据该图像帧获取物体的3D位置，进而根据物体的3D位置对车辆进行自动驾驶控制。通过上述方式可以获得稳定性较高的3D位置，从而有效地保证了车辆驾驶的安全性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的物体的位置估计方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的对物体在当前时刻的3D位置进行位置平滑的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的获取当前时刻及历史时刻的3D位置的平均值的流程示意图；

图4是根据本发明的一个实施例的车辆控制方法的主要步骤流程示意图；

图5是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

下面对本发明提供的物体位置估计方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的物体位置估计方法的主要步骤流程示意图。如图1所示，本发明实施例中的物体位置估计方法主要包括下列步骤S101至步骤S104。

步骤S101：对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置。

物体可以是静态的物体，比如物体可以是设置于道路上的交通信号灯，也可以是分布在道路上的静态障碍物（比如锥桶）。本领域技术人员可以根据实际需求灵活地设定物体的类型。

物体的2D位置是指物体在像素坐标系或图像坐标系下的2D位置。在得到相机采集的图像帧之后，可以将其输入至一个预设的感知模型中，通过这个感知模型对图像帧中物体的2D位置进行识别。这个感知模型可以是采用神经网络技术领域中常规的方法构建出来的，本发明实施例不对该感知模型的具体结构和训练方法进行限定，只要其具备从图像帧上识别上述2D位置的能力即可。

在实际应用中，同一个载体（如车辆）上可能会设置一个相机，也可能会设置多个相机。当设置一个相机时，可以直接通过步骤S101对这个相机采集的图像帧进行感知识别得到载体周围物体的2D位置，这个2D位置就是物体在当前时刻的2D位置。当设置多个相机时，可以分别对多个不同相机在当前时刻采集的物体的图像帧进行感知识别，以获取在当前时刻每个相机各自对应的物体的2D位置分量，所有相机的2D位置分量共同组成物体在当前时刻的2D位置。

步骤S102：根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度，并对第一深度进行融合，以获取物体在当前时刻的第二深度。

物体的深度可以理解成物体在相机坐标系中Z轴的坐标。

在本发明实施例中可以从图像处理技术领域中常规的深度估计方法中获取多种不同方法，然后分别采用每种方法对物体的深度进行估计，将估计得到的深度作为第一深度。在通过每种深度估计方法分别得到第一深度之后，对每种深度估计方法的第一深度进行融合，将融合后的深度作为第二深度。

在本发明实施例中，可以分别为每种深度估计方法设定一个权重，然后根据每种深度估计方法的权重，分别对每种深度估计方法估计得到的第一深度进行加权和计算，根据加权和计算的结果获取第二深度。以采用两种深度估计方法为例，通过加和计算得到的第二深度可以表示为depth_final = alpha_1 * depth_template + alpha_2 * depth_triangle，depth_final表示第二深度，depth_template表示一种深度估计方法得到的第一深度，depth_triangle表示另一种深度估计方法得到的第一深度，alpha_1和alpha_2分别表示权重，alpha_1+ alpha_2=1。在一种实施例中，若设定alpha_1= alpha_1=0.5，则depth_final也就是第一深度的平均值。本领域技术人员可以根据实际需求灵活地设定每种深度估计方法的权重，本发明实施例对此不进行具体限定。

此外，也可以获取每种深度估计方法得到的第一深度的置信度，选取置信度最高的一个作为第二深度，若同时存在多个置信度最高的第一深度，可以计算这些第一深度的平均值，将该平均值作为第二深度。本发明实施例不对上述置信度的获取方法作具体限定，只要能够得到每种深度估计方法得到的第一深度的置信度即可。

根据前述步骤S101的描述可知，在实际应用中，同一个载体（如车辆）上可能会设置多个相机。此时，可以根据每个相机的相机焦距，采用多种不同的深度估计方法分别估计在当前时刻每个相机各自对应的物体的第一深度分量并对第一深度分量进行融合，以获取在当前时刻每个相机各自对应的物体的第二深度分量，所有相机的第二深度分量共同组成物体在当前时刻的第二深度。

步骤S103：根据2D位置与第二深度，获取物体在当前时刻的3D位置。

若物体的2D位置是物体在图像坐标系下的2D位置，则可以将这个2D位置与第二深度组成一个3D位置，这个3D位置是物体在相机坐标系下的3D位置。进一步，还可以根据实际需求对物体在相机坐标系下的3D位置进行坐标系转换，获取物体在其他三维坐标系比如车体坐标系下的3D位置。若物体的2D位置是物体在像素坐标系下的2D位置，则要先将该2D位置由像素坐标系转换至图像坐标系，再通过上述方法获取3D位置。

根据前述步骤S101和步骤S102的描述可知，在实际应用中，同一个载体（如车辆）上可能会设置多个相机。此时，可以根据每个相机各自对应的2D位置分量与第二深度分量，获取在当前时刻每个相机各自对应的物体的3D位置分量，对3D位置分量进行关联，形成物体在当前时刻的3D位置。也就是说，将所有相机的3D位置分量共同组成物体在当前时刻的3D位置。

步骤S104：根据物体在历史时刻的3D位置，对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置。

在相机采集图像帧时，由于环境干扰等原因可能会影响图像帧的准确性，降低通过图像帧感知得到的2D位置的准确性，最终影响3D位置的准确性。由于物体的位置通常不会发生突变，因此可以利用物体在历史时刻的3D位置，对当前时刻的3D位置进行位置平滑，降低当前时刻3D位置的误差，提高准确性。

在上述步骤S101至步骤S104所述的方法中，通过“采用多种不同的深度估计方法分别估计物体的第一深度并对第一深度进行融合”的方式，可以降低对物体2D位置的依赖，即使2D位置的稳定性较差，也可以保证获得较为稳定的物体深度，从而保证3D位置的稳定性。利用历史时刻的3D位置对当前时刻的3D位置进行位置平滑，可以保证3D位置中每个坐标维度的位置信息都具备较高的准确性，进一步提高3D位置的稳定性。

下面对上述步骤S102和步骤S104作进一步说明。

一、对上述步骤S102进行说明。

在一些实施方式中，可以采用两种不同的深度估计方法获取物体的第一深度，其中，第一种深度估计方法可以利用图像帧感知得到的2D位置获取第一深度，第二种深度估计方法无需利用图像帧感知得到的2D位置就可以获取第一深度。下面分别对这两种方法进行说明。

一、第一种深度估计方法

具体而言，在发明实施例中可以利用图像帧感知得到的2D位置并通过下列步骤11至步骤14，获取物体的第一深度。

步骤11：根据物体的类型获取物体的模板尺寸，根据模板尺寸获取物体在世界坐标系的实际宽度。

在本发明实施例中可以预先为每种类型的物体设置好各自对应的模板尺寸，在对图像帧进行感知识别时除了可以获取物体的2D位置，还可以获取到物体的类型，根据识别到的类型获取相应的模板尺寸。对于每种类型的物体，可以获取该类型物体的实际尺寸，将实际尺寸作为模板尺寸。模板尺寸至少包括物体的长度、宽度和高度等信息。

步骤12：根据2D位置，确定物体在图像坐标系的成像宽度。

在对图像帧进行感知识别时通常会输出物体的2D检测框，根据该2D检测框可以得到物体的2D位置，物体的成像宽度实际上就是2D检测框的宽度。

步骤13：基于相机成像原理，确定物体的实际宽度、成像宽度、相机焦距与物体的深度之间的第一运算关系。

第一运算关系可以如下列公式（1）所示：

depth_template = width / w_pixel * f

公式（1）中各参数含义分别如下：

depth_template表示物体的深度，width表示物体的实际宽度，w_pixel表示物体的成像宽度，f表示相机焦距。

步骤14：采用第一运算关系并根据物体的实际宽度、成像宽度与相机焦距，获取物体在当前时刻的第一深度。

将相机焦距、通过步骤11得到的实际宽度和通过步骤12得到的成像宽度代入到公式（1）计算得到的深度，就是物体的第一深度。

基于上述步骤11至步骤14所述的方法，可以利用图像帧感知得到的2D位置便捷且准确地获取到物体的第一深度。

二、第二种深度估计方法

具体而言，在发明实施例中可以通过下列步骤21至步骤25，获取物体的第一深度。

步骤21：根据物体的类型获取物体的模板尺寸，根据模板尺寸获取物体在世界坐标系的实际高度。

此步骤中的模板尺寸与前述步骤11中的模板尺寸相同。

步骤22：基于相机成像原理，确定物体的实际高度、相机所在载体与物体之间的直线距离、相机焦距、物体在图像坐标系的成像高度之间的第二运算关系。

相机所在载体可以是车辆，此外也可以是扫地机器人等设备。

第二运算关系可以如下列公式（2）所示：

h_pixel = height * f / distance

公式（2）中各参数含义分别如下：

h_pixel表示物体的成像高度，height表示物体的实际高度，distance表示相机所在载体与物体之间的直线距离，f表示相机焦距。

步骤23：采用第二运算关系并根据物体的实际高度、每个时刻的直线距离与相机焦距，分别获取每个时刻物体的成像高度。

将相机焦距、通过步骤21得到的实际高度和通过步骤22得到的直线距离代入到公式（2）计算得到的物体的成像高度。

步骤24：基于三角测距原理，确定物体的成像高度在相邻两个时刻的变化量、直线距离在相邻两个时刻的变化量、物体的实际高度、物体的深度之间的第三运算关系。

第三运算关系可以如下列公式（3）所示：

depth_triangle = delta_distance * height / delta_height

公式（3）中各参数含义分别如下：

depth_triangle表示物体的深度，delta_distance表示直线距离distance在相邻两个时刻的变化量，height表示物体的实际高度，delta_height表示物体的成像高度h_pixel在相邻两个时刻的变化量。

步骤25：采用第三运算关系并根据物体的成像高度在上一时刻与当前时刻之间的变化量、直线距离在上一时刻与当前时刻之间的变化量、物体的实际高度，获取物体在当前时刻的第一深度。

通过步骤23可以得到上一时刻和当前时刻的成像高度，进而可以计算得到成像高度在这两个时刻的变化量；根据上一时刻和当前时刻的直线距离，可以计算得到直线距离在这两个时刻的变化量。然后，将上述变化量和步骤21得到的实际高度代入到公式（3）计算得到的深度，就是物体的第一深度。

基于上述步骤21至步骤25所述的方法，无需使用图像帧感知得到的2D位置，就可以准确地获取到物体的第一深度。这样，即使通过第一种深度估计方法得到的第一深度由于2D位置存在误差而不准确，也可以通过对第一种、第二种深度估计方法得到的第一深度进行融合，保证物体深度的准确性，有利于获得较为准确的3D位置。

二、对上述步骤S104进行说明。

参阅附图2，在上述步骤S104的一些实施方式中可以通过下列步骤S1041至步骤S1043，对物体在当前时刻的3D位置进行位置平滑。

步骤S1041：获取位于当前时刻之前多个历史时刻的3D位置。步骤S1042：获取当前时刻的3D位置与多个历史时刻的3D位置的平均值。步骤S1043：根据平均值，获取物体在当前时刻的最终3D位置。

具体地，可以预先设定好历史时刻的数量，然后按照这个数量获取位于当前时刻之前的历史时刻。进一步，为了保证位置平滑的准确性，可以获取位于当前时刻之前连续的多个历史时刻，利用这些连续历史时刻的3D位置进行位置平滑。

下面对上述步骤S1042作进一步说明。

根据前述方法实施例的描述可知，步骤S103得到的3D位置可能是物体在相机坐标系或车体坐标系等局部坐标系下的位置。相比于世界坐标系而言，在相机所在载体处于运动状态时，上述局部坐标系的坐标原点是不断变化的，这就可能导致每个时刻的3D位置的坐标系并不统一，无法得到准确的3D位置平均值。对此，在本发明实施例中可以通过下列步骤31至步骤34，来获取3D位置的平均值。

步骤31：按照时间由先至后的排列顺序，确定多个历史时刻中排列在首个的第一历史时刻和未排列在首个的第二历史时刻。

步骤32：将当前时刻的3D位置与每个第二历史时刻的3D位置，分别投影至第一历史时刻对应的三维坐标系，以获取当前时刻与每个第二历史时刻在三维坐标系的投影位置。通过该步骤，可以将当前时刻及第二历史时刻的三维坐标系都统一成第一历史时刻的三维坐标系。

步骤33：获取投影位置与第一历史时刻的3D位置的平均值。

步骤34：将平均值反投影至当前时刻对应的三维坐标系，以获取最终的平均值。由于通过步骤32，将各个时刻的3D位置都统一到了第一历史时刻的三维坐标系，这个平均值实际上还是在第一历史时刻的三维坐标系下的平均值，因此，再次通过反投影将该平均值转换到当前时刻的三维坐标系下，得到最终的平均值。

参阅附图3，假设当前时刻是t时刻，通过步骤S1041得到n个历史时刻（t_0至t_n时刻）的3D位置，按照时间由先至后的排列顺序，t_0时刻是排列在首个的第一历史时刻，t_1至t_n时刻是未排列在首个第二历史时刻。首先，将当前时刻（t）、第二历史时刻（t_1至t_n）的3D位置分别投影至第一历史时刻（t_0）对应的三维坐标系，得到t、t_1至t_n时刻各自对应的投影位置；然后，计算这些投影位置与t_0时刻的3D位置的平均值，再将该平均值反投影回t时刻对应的三维坐标系，得到在该三维坐标系下的平均值，即最终的平均值。

需要说明的是，在相机采集图像帧的过程中可以获取不同图像帧之间的相对位姿，该相对位姿也可以理解成是不同图像帧采集时刻的三维坐标系之间的转换参数，当需要进行投影或反投影时，可以根据该相对位姿进行投影或反投影。本发明实施例不对相对位姿的获取方法作具体限定，只要能够获取到不同图像帧之间的相对位姿即可。

下面对本发明提供的车辆控制方法的实施例进行说明。

参阅附图4，图4是根据本发明的一个实施例的车辆控制方法的主要步骤流程示意图。如图4所示，本发明实施例中的车辆控制方法主要包括下列步骤S201至步骤S203。

步骤S201：获取位于车辆前向方向的物体的图像帧。

具体地，可以利用设置于车辆上且视野为车辆前向方向的相机，采集物体的图像帧。

步骤S202：采用物体的位置估计方法，并根据图像帧获取物体的3D位置。

此步骤中的物体位置估计方法为前述方法实施例所述的物体位置估计方法。

步骤S203：根据物体的3D位置，对车辆进行自动驾驶控制。

例如，若物体是交通信号灯，在通过上述方法得到交通信号灯的3D位置之后，可以根据该3D位置确定交通信号灯所在的路口，进一步就可以根据交通信号灯的状态控制车辆在这个路口进行自动驾驶。比如，在这个路口左转或直行通过这个路口。

基于上述步骤S201至步骤S203，可以利用车辆采集的图像帧得到车辆前方物体的准确3D位置，从而可以有效保证车辆驾驶的安全性。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图5，图5是根据本发明的一个计算机设备实施例的主要结构示意图。如图5所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的物体的位置估计方法或车辆控制方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的物体的位置估计方法或车辆控制方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的物体的位置估计方法或车辆控制方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的物体的位置估计方法或车辆控制方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的物体的位置估计方法或车辆控制方法，即每个处理器分别执行上述方法实施例的物体的位置估计方法或车辆控制方法的不同步骤，来共同实现上述方法实施例的物体的位置估计方法或车辆控制方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的物体的位置估计方法或车辆控制方法的程序，该程序可以由处理器加载并运行以实现上述物体的位置估计方法或车辆控制方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种物体的位置估计方法，其特征在于，所述方法包括：

对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置；

根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度，并对所述第一深度进行融合，以获取物体在当前时刻的第二深度；

根据所述2D位置与所述第二深度，获取物体在当前时刻的3D位置；

根据物体在历史时刻的3D位置，对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置。

2.根据权利要求1所述的物体的位置估计方法，其特征在于，“根据物体在历史时刻的3D位置，对物体在当前时刻的3D位置进行位置平滑，以获取物体在当前时刻的最终3D位置”的步骤具体包括：

获取位于当前时刻之前多个历史时刻的3D位置；

获取当前时刻的3D位置与所述多个历史时刻的3D位置的平均值；

根据所述平均值，获取物体在当前时刻的最终3D位置。

3.根据权利要求2所述的物体的位置估计方法，其特征在于，“获取当前时刻的3D位置与所述多个历史时刻的3D位置的平均值”的步骤具体包括：

按照时间由先至后的排列顺序，确定所述多个历史时刻中排列在首个的第一历史时刻和未排列在首个的第二历史时刻；

将当前时刻的3D位置与每个第二历史时刻的3D位置，分别投影至第一历史时刻对应的三维坐标系，以获取当前时刻与每个第二历史时刻在所述三维坐标系的投影位置；

获取所述投影位置与第一历史时刻的3D位置的平均值；

将所述平均值反投影至当前时刻对应的三维坐标系，以获取最终的平均值。

4.根据权利要求1所述的物体的位置估计方法，其特征在于，“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度”的步骤具体包括下列深度估计方法获取所述第一深度：

根据物体的类型获取物体的模板尺寸，根据所述模板尺寸获取物体在世界坐标系的实际宽度；

根据所述2D位置，确定物体在图像坐标系的成像宽度；

基于相机成像原理，确定物体的实际宽度、成像宽度、相机焦距与物体的深度之间的第一运算关系；

采用所述第一运算关系并根据所述物体的实际宽度、成像宽度与相机焦距，获取物体在当前时刻的第一深度。

5.根据权利要求1所述的物体的位置估计方法，其特征在于，“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度”的步骤具体包括通过下列深度估计方法获取所述第一深度：

根据物体的类型获取物体的模板尺寸，根据所述模板尺寸获取物体在世界坐标系的实际高度；

基于相机成像原理，确定物体的实际高度、相机所在载体与物体之间的直线距离、相机焦距、物体在图像坐标系的成像高度之间的第二运算关系；

采用所述第二运算关系并根据所述物体的实际高度、每个时刻的直线距离与相机焦距，分别获取每个时刻物体的成像高度；

基于三角测距原理，确定物体的成像高度在相邻两个时刻的变化量、所述直线距离在相邻两个时刻的变化量、物体的实际高度、物体的深度之间的第三运算关系；

采用所述第三运算关系并根据物体的成像高度在上一时刻与当前时刻之间的变化量、所述直线距离在上一时刻与当前时刻之间的变化量、物体的实际高度，获取物体在当前时刻的第一深度。

6.根据权利要求1所述的物体的位置估计方法，其特征在于，“对所述第一深度进行融合，以获取物体在当前时刻的第二深度”的步骤包括：

分别对每种深度估计方法估计得到的第一深度进行加权和计算；

根据加权和计算的结果，获取所述第二深度。

7.根据权利要求1所述的物体的位置估计方法，其特征在于，

“对相机在当前时刻采集的物体的图像帧进行感知识别，以获取物体在当前时刻的2D位置”的步骤具体包括：分别对多个不同相机在当前时刻采集的物体的图像帧进行感知识别，以获取在当前时刻每个相机各自对应的物体的2D位置分量；

“根据相机焦距，采用多种不同的深度估计方法分别估计物体在当前时刻的第一深度，并对所述第一深度进行融合，以获取物体在当前时刻的第二深度”的步骤具体包括：根据每个相机的相机焦距，采用多种不同的深度估计方法分别估计在当前时刻每个相机各自对应的物体的第一深度分量并对所述第一深度分量进行融合，以获取在当前时刻每个相机各自对应的物体的第二深度分量；

“根据所述2D位置与所述第二深度，获取物体在当前时刻的3D位置”的步骤具体包括：根据每个相机各自对应的2D位置分量与第二深度分量，获取在当前时刻每个相机各自对应的物体的3D位置分量，对所述3D位置分量进行关联，形成物体在当前时刻的3D位置。

8.根据权利要求1至7中任一项所述的物体的位置估计方法，其特征在于，所述物体包括交通信号灯和/或静态障碍物。

9.一种车辆控制方法，其特征在于，所述方法还包括：

获取位于车辆前向方向的物体的图像帧；

采用权利要求1至8中任一项所述的物体的位置估计方法，并根据所述图像帧获取所述物体的3D位置；

根据所述物体的3D位置，对车辆进行自动驾驶控制。

10.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的物体的位置估计方法，或者以执行权利要求9所述的车辆控制方法。

11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的物体的位置估计方法，或者以执行权利要求9所述的车辆控制方法。

12.一种车辆，其特征在于，所述车辆包括权利要求10所述的计算机设备。

Images