CN111830517A - 调整激光雷达扫描范围的方法、装置及电子设备 - Google Patents

Abstract

公开了一种调整激光雷达扫描范围的方法、装置及电子设备，采用摄像头和激光雷达联合标定目标物，提高了激光雷达的感知能力和测距精度。该方法包括：在图像采集装置获取的图像中检测相对于可移动设备的目标物；确定所述目标物相对于所述图像采集装置的视野范围；根据所述视野范围确定所述激光雷达的扫描范围；以及控制所述激光雷达的至少一个激光束在所述扫描范围内扫描。

Description

调整激光雷达扫描范围的方法、装置及电子设备

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种调整激光雷达扫描范围的方法、装置及电子设备。

背景技术

随着人工智能和计算机技术的飞速发展，自动驾驶汽车应运而生。目前自动驾驶汽车上通常采用激光雷达进行目标检测，然而由于激光雷达发出的激光束是按照一定的速度在预定范围内往复扫描，使得其打到前方预定目标上的激光点数目非常稀疏，导致检测精度较低。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种调整激光雷达扫描范围的方法、装置及电子设备。

根据本申请的第一个方面，提供了一种调整激光雷达扫描范围的方法，包括：在图像采集装置获取的图像中检测相对于可移动设备的目标物；确定目标物相对于图像采集装置的视野范围；根据视野范围确定激光雷达的扫描范围；以及控制激光雷达的至少一个激光束在扫描范围内扫描。

根据本申请的第二个方面，提供了一种调整激光雷达扫描范围的装置，包括检测模块，用于在图像采集装置获取的图像中检测相对于可移动设备的目标物；第一确定模块，用于确定目标物相对于图像采集装置的视野范围；第二确定模块，用于根据视野范围确定激光雷达的扫描范围；以及控制模块，用于控制激光雷达的至少一个激光束在扫描范围内扫描。

根据本申请的第三个方面，提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序用于执行上述调整激光雷达扫描范围的方法。

根据本申请的第四个方面，提供了一种电子设备，包括处理器和用于存储处理器可执行指令的存储器，处理器用于执行上述调整激光雷达扫描范围的方法。

根据本发明实施例提供的调整激光雷达扫描范围的方法、装置及电子设备，采用摄像头和激光雷达联合标定目标物，具体而言，根据目标物相对于图像采集装置的视野范围确定激光雷达中激光束的扫描范围，可以将激光雷达的扫描范围限制在目标物所在的小范围内，从而使得激光雷达发出的至少一个激光束尽可能多地打在目标物上，提高了激光雷达的感知能力和测距精度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的场景图。

图2是本申请第一示例性实施例提供的调整激光雷达扫描范围的方法的流程示意图。

图3是本申请第二示例性实施例提供的调整激光雷达扫描范围的方法的流程示意图。

图4所示为本申请一示例性实施例提供的调整激光雷达扫描范围的原理示意图。

图5是本申请第三示例性实施例提供的调整激光雷达扫描范围的方法的流程示意图。

图6所示为本申请一示例性实施例提供的调整激光雷达扫描范围的装置的结构框图。

图7所示为本申请另一示例性实施例提供的调整激光雷达扫描范围的装置的结构框图。

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

图1是本申请所适用的场景图。如图1所示，现有技术中的自动驾驶汽车10，又称无人驾驶汽车，为了实现自主驾驶的目的，通常会在自动驾驶汽车10的车顶上固定安装一个激光雷达11，该激光雷达可以在360度范围内扫描，该激光雷达11与自动驾驶汽车10上的前置摄像头12相互配合实现对自动驾驶汽车10与前、后、左、右四个方向上的各个目标(包括行人、大树等)间距离的测量。然而，由于该激光雷达11要在360度范围内循环扫描，这种情况下，一方面，使得激光雷达11发出的激光束精确打在某一目标上的概率低；另一方面，即便正好打在了目标上，目标上的激光点数目也非常稀疏。综合该两方面因素，导致无人驾驶汽车10上激光雷达11的感知能力和测距精度均较低。

有鉴于此，本申请提供了一种调整激光雷达扫描范围的方法，采用摄像头辅助调整激光雷达发射的激光束的扫描范围，以使得激光束尽可能多地打在目标上，从而提高激光雷达的感知能力和测距精度。

图2是本申请第一示例性实施例提供的调整激光雷达扫描范围的方法的流程示意图。本实施例可应用在电子设备上，如图2所示，该方法200包括如下步骤：

步骤201，在图像采集装置获取的图像中检测相对于可移动设备的目标物。

其中，图像采集装置例如可以是摄像头。其中，可移动设备包括汽车、飞机、轮船、机器人等。其中，目标物包括移动设备行驶路径上的各种障碍物，例如行人、树木、建筑物、汽车等。

在一个实施例中，采用目标检测和识别算法在图像采集装置获取的图像中检测相对于可移动设备的目标物。这里采用的目标检测和识别算法包括基于深度神经网络的Faster RCNN、SSD、YOLO，或者基于Adaboost的检测模型，例如ACF，中的任一种，本申请对目标检测和识别算法的类型不作限定。

步骤202，确定目标物相对于图像采集装置的视野范围。

以摄像头为例，目标物相对于图像采集装置的视野范围，相当于人眼在摄像头光心位置观察目标物所形成的视野范围。

步骤203，根据视野范围确定激光雷达的扫描范围。根据目标物相对于图像采集装置的视野范围确定的激光雷达的扫描范围，可以将扫描范围限制在目标物所在的小范围内，从而使得激光束尽可能多地打在目标物上。

步骤204，控制激光雷达的至少一个激光束在扫描范围内扫描。

在一个实施例中，步骤204具体包括：调整激光雷达发出的至少一个激光束的相位以使至少一个激光束在视野范围内扫描。这种情况下，激光雷达本身固定，通过调整激光束的出射角使其在视野范围内扫描，对激光束的调整可以采用光学相控阵技术实现。

在一个实施例中，步骤204具体包括：根据视野范围计算激光雷达的位姿调整范围；基于位姿调整范围调整激光雷达，以使至少一个激光束在视野范围内扫描。这种情况下，激光雷达发出的激光束的方向固定，通过调整激光雷达的位姿来调整其发出的激光束的角度，对激光雷达位姿的调整可以采用六自由度平台实现。

根据本实施例提供的调整激光雷达扫描范围的方法，采用摄像头和激光雷达联合标定目标物，具体而言，根据目标物相对于图像采集装置的视野范围确定激光雷达中激光束的扫描范围，可以将激光雷达的扫描范围限制在目标物所在的小范围内，从而使得激光雷达发出的至少一个激光束尽可能多地打在目标物上，提高了激光雷达的感知能力和测距精度。

如图3所示，在上述图2所示实施例的基础上，步骤202可包括如下步骤：

步骤2021，获取目标物的检测框的参数信息。具体而言，获取根据目标检测和识别算法得到的目标物的检测框的参数信息。

步骤2022，根据检测框的参数信息计算视野范围。

根据本实施例提供的调整激光雷达扫描范围的方法，利用图像上目标物规则的检测框的参数信息来衡量目标物不规则的边缘信息，进而根据检测框的参数信息计算视野范围，简化程序。

图4所示为本申请一示例性实施例提供的调整激光雷达扫描范围的原理示意图。参阅图4，调整激光雷达扫描范围的过程涉及的计算过程包括：

步骤2022具体包括，首先计算检测框的边界线方程，然后根据图像采集装置坐标系与图像坐标系之间的第一转换矩阵，将边界线方程转换得到目标物的视锥体侧面方程。

其中，第一转换矩阵P是预先标定好的。如图4所示，当利用目标检测和识别算法得到目标物的检测框41的参数信息之后，根据检测框41的参数信息计算四条边界线方程。然后将该四条边界线方程经过第一转换矩阵P的转换便得到目标物相对于摄像头的视锥体42的四个侧面方程。

例如，转换矩阵为P∈R^3×4，获得的目标物的检测框41的参数信息为(l_i,t_i,r_i,b_i)，其中l_i,t_i,r_i,b_i,分别表示检测框的左、上、右、下边界坐标。则检测框的四个顶点分别为(l_i,t_i)、(r_i,t_i)、(r_i,b_i)、(l_i,b_i)，根据该四个顶点确定四条直线为L₁、L₂、L₃、L₄。

以L₁为例，设L₁的法向量为(a，b，c)，L₁对应的空间平面S₁的法向量为(A′，B′，C′，D′)，则[A′ B′ C′ D′]＝[a b c]P。

按照同样的方法可以求得L₂、L₃、L₄分别对应的空间平面的法向量S₂、S₃、S₄，该四个平面围成的空间即为目标物相对于摄像头的视野范围。

步骤203具体包括，根据图像采集装置坐标系和激光雷达坐标系之间的第二转换矩阵，将视锥体侧面方程转换得到激光雷达的扫描范围。

其中，第二转换矩阵Q也是预先标定好的。如图4所示，当得到目标物相对于摄像头的视锥体42的侧面方程后，将侧面方程经过第二转换矩阵Q的转换，便可以得到激光雷达的扫描范围43。

例如，第二转换矩阵为Q＝[x,y,z,1]，S₁对应的激光雷达扫描范围的侧面方程D₁的法线为(A，B，C，D)，则[A B C D]＝[A′ B′ C′ D′]Q。

按照同样的方法可以求得与S₂、S₃、S₄分别对应的扫描范围的侧面方程D₂、D₃、D₄，该四个侧面围成的空间即为激光雷达的扫描范围43。

基于上述原理，可以再设置一个参考坐标系，例如世界坐标系，将目标物相对于摄像头的视野范围42投影到世界坐标系，视野范围42经过世界坐标系的过渡旋转平移到激光雷达坐标系。这种情况下，检测框中的边界线和激光雷达的扫描范围的对应关系为：

[ABCB]＝[A′B′C′D′]PWQ′。其中W为摄像头坐标系和世界坐标系之间的转换矩阵，Q′为世界坐标系和激光雷达坐标系之间的转换矩阵。

图5是本申请第三示例性实施例提供的调整激光雷达扫描范围的方法的流程示意图。如图5所示的方法500和图3所示方法的区别在于图像采集装置采集的图像中包括多个目标物，这种情况下，在图3所示方法的基础上，在步骤2021之后还包括：

步骤2020，预测移动设备的运动轨迹，将多个目标物中处于运动轨迹上的目标物确定为关键目标物；或，分别计算多个目标物和移动设备之间的距离，将距离最近的目标物确定为关键目标物。

其中，预测移动设备的运动轨迹可以采用传统数学统计方法，包括马尔可夫模型预测、朴素贝叶斯预测、高斯过程预测、灰色模型，或者机器学习方法，包括SVM、BP、神经网络，或者深度学习预测等，本申请对移动设备运动轨迹的预测算法不作限定。

相应地，步骤2021具体执行为获取多个目标物的检测框的参数信息；步骤2022具体执行为根据关键目标物的检测框的参数信息计算关键目标物的视野范围。

在一个实施例中，步骤2020可以在步骤2021之前执行，这种情况下，步骤2021具体执行为获取关键目标的检测框的参数信息，步骤2022具体执行为根据关键目标物的检测框的参数信息计算关键目标物的视野范围。

根据本实施例提供的调整激光雷达扫描范围的方法，可以实现对重点关注目标的筛选以作为关键目标，进而使得激光雷达发出的至少一个激光束尽可能多地打在关键目标上，从而提升了自动驾驶设备的可靠性。

图6所示为本申请一示例性实施例提供的调整激光雷达扫描范围的装置的结构框图。如图6所示，该装置60包括检测模块61、第一确定模块62、第二确定模块63以及控制模块64。其中，检测模块61用于在图像采集装置获取的图像中检测相对于可移动设备的目标物；第一确定模块62用于确定目标物相对于图像采集装置的视野范围；第二确定模块63用于根据视野范围确定激光雷达的扫描范围；以及控制模块64用于控制激光雷达的至少一个激光束在扫描范围内扫描。

根据本实施例提供的调整激光雷达扫描范围的装置，采用摄像头和激光雷达联合标定目标物，提高了激光雷达的感知能力和测距精度。

图7所示为本申请另一示例性实施例提供的调整激光雷达扫描范围的装置的结构框图。如图7所示，在装置70中，第一确定模块63包括获取模块731和计算模块732。其中获取模块731用于获取目标物的检测框的参数信息；计算模块732用于根据检测框的参数信息计算视野范围。

在一个实施例中，计算模块732具体用于计算检测框的边界线方程，根据图像坐标系与世界坐标系之间的第一转换矩阵，将边界线方程转换得到目标物的视锥体侧面方程。这种情况下，第二确定模块63具体用于根据世界坐标系和激光雷达坐标系之间的第二转换矩阵，将视锥体侧面方程转换得到激光雷达的扫描范围。

在一个实施例中，检测模块61检测到多个目标物，则装置70还包括第三确定模块74，用于预测移动设备的运动轨迹，将多个目标物中处于运动轨迹上的目标物确定为关键目标物；或，分别计算多个目标物和移动设备之间的距离，将距离最近的目标物确定为关键目标物。这种情况下，第一确定模块62具体用于根据关键目标物的检测框的参数信息计算关键目标物的视野范围。

下面，参考图8来描述根据本申请实施例的电子设备。该电子设备可以是激光雷达和图像采集装置中的任一个或两者、或与它们独立的单机设备，该单机设备可以与激光雷达和图像采集装置进行通信，以从它们接收所采集到的输入信号。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备80包括一个或多个处理器81和存储器82。

处理器81可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。

存储器82可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器81可以运行所述程序指令，以实现上文所述的本申请的各个实施例的调整激光雷达扫描范围的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的调整激光雷达扫描范围的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的调整激光雷达扫描范围的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种调整激光雷达扫描范围的方法，包括：

在图像采集装置获取的图像中检测相对于可移动设备的目标物；

确定所述目标物相对于所述图像采集装置的视野范围；

根据所述视野范围确定所述激光雷达的扫描范围；以及

控制所述激光雷达的至少一个激光束在所述扫描范围内扫描。

2.根据权利要求1所述的方法，其中，确定所述目标物相对于所述图像采集装置的视野范围包括：

获取所述目标物的检测框的参数信息；

根据所述检测框的参数信息计算所述视野范围。

3.根据权利要求2所述的方法，其中，所述图像包括多个目标物，在图像采集装置获取的图像中检测相对于可移动设备的目标物之后，所述方法还包括：

预测所述移动设备的运动轨迹，将所述多个目标物中处于所述运动轨迹上的目标物确定为关键目标物；或

分别计算所述多个目标物和所述移动设备之间的距离，将距离最近的目标物确定为关键目标物；

其中，根据所述检测框的参数信息计算所述视野范围包括：

根据所述关键目标物的检测框的参数信息计算所述关键目标物的视野范围。

4.根据权利要求2或3所述的方法，其中，所述根据所述检测框的参数信息计算所述视野范围包括：

计算所述检测框的边界线方程；

根据图像采集装置坐标系与图像坐标系之间的第一转换矩阵，将所述边界线方程转换得到所述目标物的视锥体侧面方程。

5.根据权利要求4所述的方法，其中，根据所述视野范围确定所述激光雷达的扫描范围包括：

根据所述图像采集装置坐标系和激光雷达坐标系之间的第二转换矩阵，将所述视锥体侧面方程转换得到所述激光雷达的扫描范围。

6.根据权利要求1所述的方法，其中，所述控制所述激光雷达的至少一个激光束在所述扫描范围内扫描包括：

调整所述激光雷达发出的至少一个激光束的相位以使所述至少一个激光束在所述视野范围内扫描。

7.根据权利要求1所述的方法，其中，所述控制所述激光雷达的至少一个激光束在所述扫描范围内扫描包括：

根据所述视野范围计算所述激光雷达的位姿调整范围；

基于所述位姿调整范围调整所述激光雷达，以使所述至少一个激光束在所述视野范围内扫描。

8.一种调整激光雷达的装置，包括：

检测模块，用于在图像采集装置获取的图像中检测相对于可移动设备的目标物；

第一确定模块，用于确定所述目标物相对于所述图像采集装置的视野范围；

第二确定模块，用于根据所述视野范围确定所述激光雷达的扫描范围；以及

控制模块，用于控制所述激光雷达的至少一个激光束在所述扫描范围内扫描。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的调整激光雷达扫描范围的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-7任一所述的调整激光雷达扫描范围的方法。

Images