CN109635639A

CN109635639A - 交通标识的位置检测方法、装置、设备和存储介质

Info

Publication number: CN109635639A
Application number: CN201811291880.7A
Authority: CN
Inventors: 徐胜攀; 万国伟; 宋适宇
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd; Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2019-04-16
Anticipated expiration: 2038-10-31
Also published as: CN109635639B

Abstract

本发明提供一种交通标识的位置检测方法、装置、设备和存储介质。该方法包括：获取包含交通标识的多个图像；根据各个所述图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置；根据所述初始的中心位置，确定所述交通标识所在平面初始的法向量；根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量。本发明实施例得到的交通标识的实际中心位置和法向量，即交通标识的三维坐标和朝向较为准确。

Description

交通标识的位置检测方法、装置、设备和存储介质

技术领域

本发明涉及交通信息检测技术领域，尤其涉及一种交通标识的位置检测方法、装置、设备和存储介质。

背景技术

随着科学技术的进步，尤其是汽车制造以及信息技术的发展，自动驾驶技术成为近年来的研究热点，自动驾驶中车辆的安全问题至关重要。

红绿灯坐标位置是自动驾驶中一项非常重要的信息，通过在高精地图中提供红绿灯的三维坐标位置和朝向信息，在行驶时感知红绿灯信号状态，从而保障了车辆安全行驶。但是，当红绿灯隐藏于树木中时，红绿灯的位置检测较为困难，车辆在自动驾驶时可能无法识别红绿灯，从而增加了安全隐患。因此，对于本领域技术人员来说，亟需一种可靠性较高的方法实现对红绿灯的位置检测。

发明内容

本发明提供一种交通标识的位置检测方法、装置、设备和存储介质，以实现对交通标识的位置检测。

第一方面，本发明提供一种交通标识的位置检测方法，包括：

获取包含交通标识的多个图像；

根据各个所述图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置；

根据所述初始的中心位置，确定所述交通标识所在平面初始的法向量；

根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量。

第二方面，本发明提供一种交通标识的位置检测装置，包括：

获取模块，用于获取包含交通标识的多个图像；

确定模块，用于根据各个所述图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置；

所述确定模块，还用于根据所述初始的中心位置，确定所述交通标识所在平面初始的法向量；

优化模块，用于根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量。

第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

第四方面，本发明实施例提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。

本发明实施例提供的交通标识的位置检测方法、装置、设备和存储介质，通过获取包含交通标识的多个图像，然后根据各个图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置，并根据初始的中心位置，确定所述交通标识所在平面初始的法向量，最后根据目标优化模型，对交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量，上述由于确定初始的中心位置，上述方案中对根据多个图像得到的交通标识初始的中心位置和所在平面的法向量进行了优化，得到的交通标识优化后的实际中心位置和法向量较为准确，对交通标识的位置的重建效果较好。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本发明一实施例提供的应用场景图；

图2是本发明提供的交通标识的位置检测方法一实施例的流程示意图；

图3是本发明一实施例提供的投影示意图；

图4是本发明提供的交通标识的位置检测装置一实施例的结构示意图；

图5是本发明提供的电子设备实施例的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先对本发明所涉及的应用场景进行介绍：

本发明实施例提供的交通标识的位置检测方法，应用于在高精度地图制作过程中、或在车辆自动驾驶过程中对交通标识的识别，如对交通信号灯、交通标识牌等的识别。

本发明实施例的方法，通过获取包含交通标识的多个图像，然后根据各个图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置，并根据初始的中心位置，确定所述交通标识所在平面初始的法向量，最后根据目标优化模型，对交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量，上述方案对交通标识的位置的重建效果较好。

下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明一实施例提供的应用场景图，可选的，本发明提供的方法可由电子设备12如处理器执行相应的软件代码实现，也可由该电子设备12在执行相应的软件代码的同时，通过和服务器11进行数据交互来实现。电子设备12和服务器11之间可以通过网络连接。

其中，电子设备可以是计算机、车载设备和平板电脑等设备，下面的实施例均以电子设备为执行主体进行说明。

进一步的，电子设备可以包括图像采集部件，用于采集包含交通标识的图像，或者电子设备通过与其他图像采集设备交互获取包含交通标识的图像。

图2是本发明提供的交通标识的位置检测方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：

步骤201、获取包含交通标识的多个图像。

具体的，在连续的车辆行驶过程中，通过电子设备的图像采集部件或其他图像采集设备采集N张包含交通标识的图像，N可以为大于或等于3的整数。

其中，N张图像可在一段连续时间序列中采集。

其中，交通标识，可以包括：交通信号灯、交通标识牌或路牌。

步骤202、根据各个图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定交通标识初始的中心位置。

具体的，为了确定交通标识的位置和平面，首先根据获取到的多个图像，获取各个图像中交通标识的同名像素点，即相同位置对应的像素点，确定交通标识初始的中心位置。

其中，各个图像中的交通标识的相同位置对应的像素点，具体可以通过如下方式得到：

确定各个图像中交通标识的外包多边形；

将各个外包多边形的中心像素点，作为各个图像中交通标识的相同位置对应的像素点。

具体的，例如可以通过自动化或交互式操作的方式，在各图像上标注出交通标识的最小外包矩形框。

选取各外包矩形框的中心像素点为同名像素点，进一步基于最小二乘三角化算法确定交通标识初始的中心位置。

具体的，最小二乘三角化算法原理如下：

由相机成像模型得：

其中，(u,v)为中心像素点的像素坐标，X为交通标识的初始的中心位置的世界坐标(三维坐标)，P为投影矩阵，P是由相机的内参K和外参构成的一个3×4矩阵，λ为点的深度。对于第i个图像的像素点(u_i,v_i),对公式(1)稍加变换，可构成如下方程：

对于N个同名像素点，则可构建方程组，整理得到如下形式：

AX＝b

本发明实施例中，相机(即图像采集部件)的内外参均假定为已知，则上述方程中，A、b均为已知，则通过公式(3)易于解出X：

X＝(A^TA)^-1A^Tb (3)

将通过上述方程组得到的X的三维坐标作为交通标识初始的中心位置。

步骤203、根据初始的中心位置，确定交通标识所在平面初始的法向量。

可选的，步骤203具体可以通过如下方式实现：

通过如下方式实现：

将初始的中心位置到第M个图像的图像采集部件位置之间的方向，作为交通标识所在平面初始的法向量；M为对N/2进行取整得到的，N为多个图像的个数。

具体的，假设N个图像是一段时间内采集的图像按时间顺序进行的排列，可以将该初始的中心位置到中间第N/2个图像的图像采集部件位置之间的方向，作为交通标识所在平面初始的法向量。若N/2不是整数，则进行取整。

步骤204、根据目标优化模型，对交通标识初始的中心位置和法向量进行优化，得到交通标识优化后的实际中心位置和法向量。

具体的，由于步骤202中，各外包矩形框的中心像素点可能并不是严格的同名像素点，故重建位置可能存在偏差，本步骤对中心位置和法向量进行优化。可以基于预先建立的目标优化模型，以交通标识初始的中心位置和法向量为初始值，对交通标识初始的中心位置和法向量进行优化，得到交通标识优化后的实际中心位置和法向量。

本实施例的方法，通过获取包含交通标识的多个图像，然后根据各个图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置，并根据初始的中心位置，确定所述交通标识所在平面初始的法向量，最后根据目标优化模型，对交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量，上述由于确定初始的中心位置，上述方案中对根据多个图像得到的交通标识初始的中心位置和所在平面的法向量进行了优化，得到的交通标识优化后的实际中心位置和法向量较为准确，对交通标识的位置的重建效果较好。

在上述实施例的基础上，进一步的，对步骤204的具体实现过程进行详细说明。

在步骤204实现之前，需要进行如下操作：

根据各个外包多边形上的各个角点的像素坐标以及投影函数，确定各个外包多边形上的各个角点在交通标识所在平面的投影点的平均位置；投影函数为根据相机成像模型确定的；

确定各个图像对应的平均位置与初始的中心位置的差值；

根据各个图像对应的差值，建立目标优化模型的目标函数。

具体的，可采用光速法平差(Bundle Adjustment，简称BA)思想进行优化。将交通标识初始的中心位置X和所在平面初始的法向量作为待优化变量，将每个图像上交通标识的外包矩形位置作为观测量，计算外包矩形上的各个角点在交通标识所在平面上的投影点的平均位置，计算该平均位置与中心位置X之差ΔX，然后，对每一个图像对应的ΔX求和，构建误差方程。目标函数为使得该误差方程的和最小，得到优化后和X。

进一步的，利用如下公式，确定使得所述目标函数中所述差值的和最小的中心位置和法向量，将使得所述目标函数中所述差值的和最小的中心位置和法向量，作为交通标识优化后的实际中心位置和法向量；

其中，N为所述多个图像的个数，表示第i个图像的外包多边形上的第j个角点的像素坐标，为投影函数，用于计算第i个图像上的像素坐标在所述交通标识所在平面的投影点的坐标，X为所述交通标识的中心位置的三维坐标，为所述交通标识所在平面的法向量，X的初始值为所述初始的中心位置，的初始值为所述初始的法向量。

具体的，如图3所示，本步骤中的差值的和为：

其中，N为图像个数，表示第i张图像的外包矩形上的第j个角点的像素坐标，为投影函数，用于计算像素第i张图像上的像素在交通标识所在平面的投影点的坐标。

图3中j表示第j个角点，表示交通标识所在平面，X为交通标识的中心位置，a_j表示第j个角点在交通标识所在平面的投影点。

投影函数可以通过如下方式得到：

根据相机成像模型有：

假定深度λ＝1，容易求出像素x对应的物点X，据此，可以确定一条射线，该射线与平面的交点即为投影函数的返回结果，即投影点的坐标。

本实施例中，对相机内参、外参和影像质量并没有太高的要求，由于优化过程实际上考虑了大量的可能平面及中心位置，可以在一定程度上平衡误差，取得比较好的重建效果，即能获得比较准确的交通标识的位置和朝向，中心位置和法向量可以表示交通标识所在的平面，法向量可以表示交通标识所在的平面的朝向。

图4为本发明提供的交通标识的位置检测装置一实施例的结构图，如图4所示，本实施例的交通标识的位置检测装置，包括：

获取模块401，用于获取包含交通标识的多个图像；

确定模块402，用于根据各个所述图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置；

所述确定模块402，还用于根据所述初始的中心位置，确定所述交通标识所在平面初始的法向量；

优化模块403，用于根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量。

可选的，所述确定模块402，还用于：

确定各个所述图像中交通标识的外包多边形；

将各个所述外包多边形的中心像素点，作为各个所述图像中所述交通标识的相同位置对应的像素点。

可选的，所述优化模块403，还用于：

根据各个所述外包多边形上的各个角点的像素坐标以及投影函数，确定各个所述外包多边形上的各个角点在所述交通标识所在平面的投影点的平均位置；所述投影函数为根据所述相机成像模型确定的；

确定各个所述图像对应的平均位置与所述中心位置的差值；

根据各个所述图像对应的差值，建立所述目标优化模型的目标函数。

可选的，所述优化模块403，具体用于：

确定使得所述目标函数中所述差值的和最小的中心位置和法向量，并将使得所述目标函数中所述差值的和最小的中心位置和法向量，作为所述交通标识优化后的实际中心位置和法向量。

可选的，所述优化模块403，具体用于：

利用如下公式，确定使得所述目标函数中所述差值的和最小的中心位置和法向量；

可选的，所述确定模块402，具体用于：

将所述初始的中心位置到第M个图像的图像采集部件位置之间的方向，作为所述交通标识所在平面初始的法向量；M为对N/2进行取整得到的，N为所述多个图像的个数。

可选的，所述交通标识，包括：交通信号灯、交通标识牌或路牌。

本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明提供的电子设备实施例的结构图，如图5所示，该电子设备包括：

处理器501，以及，用于存储处理器501的可执行指令的存储器502。

可选的，还可以包括：通信接口503，用于与其他设备通信。

上述部件可以通过一条或多条总线进行通信。

其中，处理器501配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims

1.一种交通标识的位置检测方法，其特征在于，包括：

获取包含交通标识的多个图像；

2.根据权利要求1所述的方法，其特征在于，所述根据各个所述图像中的交通标识的相同位置对应的像素点，基于相机成像模型确定所述交通标识初始的中心位置之前，还包括：

确定各个所述图像中交通标识的外包多边形；

3.根据权利要求2所述的方法，其特征在于，所述根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化之前，还包括：

确定各个所述图像对应的平均位置与所述中心位置的差值；

4.根据权利要求3所述的方法，其特征在于，所述根据目标优化模型，对所述交通标识初始的中心位置和法向量进行优化，得到所述交通标识优化后的实际中心位置和法向量，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定使得所述目标函数中所述差值的和最小的中心位置和法向量，包括：

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述初始的中心位置，确定所述交通标识所在平面初始的法向量，包括：

7.根据权利要求1或2所述的方法，其特征在于，所述交通标识，包括：交通信号灯、交通标识牌或路牌。

8.一种交通标识的位置检测装置，其特征在于，包括：

获取模块，用于获取包含交通标识的多个图像；

9.根据权利要求8所述的装置，其特征在于，所述确定模块，还用于：

确定各个所述图像中交通标识的外包多边形；

10.根据权利要求9所述的装置，其特征在于，所述优化模块，还用于：

确定各个所述图像对应的平均位置与所述中心位置的差值；

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。