CN108931773A

CN108931773A - 车用六维点云系统

Info

Publication number: CN108931773A
Application number: CN201810434983.8A
Authority: CN
Inventors: I·比莱克; 曾树青
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-05-17
Filing date: 2018-05-09
Publication date: 2018-12-04
Anticipated expiration: 2038-05-09
Also published as: CN108931773B; US10139833B1; DE102018111626A1; US20180335787A1

Abstract

提供了一种车用六维点云系统，其可用于例如针对点云中的各点计算点云中各点的三维速度，将点云中各点分割为一个或多个点簇，计算一个或多个点簇中的每一个的运动状态，确定与一个或多个点簇中的每一个相关联的物体类型，以及基于所确定的物体类型和一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。

Description

车用六维点云系统

引言

本技术领域总体上涉及车辆，且更具体地涉及用于操作车内雷达系统的系统和方法。

车辆通常利用各种传感器和系统来检测车辆周围的环境，以便当车辆处于无人驾驶状态时对车辆进行操纵，或者通过驾驶环境帮助驾驶员操纵车辆。一般而言，大多数现有的传感器和系统在较易预测的环境中更加有效，比如沿高速公路行驶的时候。相反，在城市环境中，如城市驾驶，由于车辆需要考虑的变量因素较多，对车辆的操纵会变得更加困难。

因此，需要在车内安装传感器系统，其能够在城市和高速公路环境中准确识别并跟踪物体。此外，结合本发明的附图及背景技术，本发明的其他期望特征和特点将在本发明的后续具体实施方式和所附权利要求书中变得显而易见。

发明内容

例如，在一实施例中，提供了一种车用六维点云系统。该系统可包括但不限于：多输入多输出雷达系统、存储器及与所述多输入多输出雷达系统和所述存储器通信连接的处理器。所述处理器配置用于：接收来自所述多输入多输出雷达系统的当前数据帧，所述当前数据帧包括一点云，该点云包括与由多输入多输出雷达系统于点云中各点检测到的物体对应的三维位置信息和多普勒数据；基于与存储器中所存储的当前数据帧中的点和来自先前数据帧的数据相关联的三维位置信息和多普勒数据针对点云中各点计算点云中各点的三维速度；基于与各点相关联的三维位置信息和所计算的各点的三维速度将点云中各点分割为一个或多个点簇；计算所述一个或多个点簇中的每一个的运动状态，所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点；确定与所述一个或多个点簇中的每一个相关联的物体类型；以及基于所确定的物体类型和所述一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。

例如，另一实施例中提供了一种用于操作车用六维点云系统的方法。该方法可包括但不限于：多输入多输出雷达系统的处理器接收包括一点云的当前数据帧，所述点云包括与由多输入多输出雷达系统检测的物体对应的点云内各点的三维位置信息和多普勒数据；点云内各点的处理器基于三维位置信息和多普勒数据计算点云中各点的三维速度，所述三维位置信息和多普勒数据与存储器中所存储的当前数据帧中的点和先前数据帧的数据相关联；处理器基于与各点相关联的三维位置信息和所计算的各点的三维速度将点云中各点分割为一个或多个点簇；处理器计算所述一个或多个点簇中的每一个的运动状态，所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点；处理器确定与所述一个或多个点簇中的每一个相关联的物体类型；以及处理器基于所确定的物体类型和所述一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。

附图说明

以下将结合下列附图对示例性实施例进行说明，其中相同的数字表示相同的元件，且其中：

图1是根据一个实施例的车辆的框图；

图2是根据一个实施例的用于操作六维点云系统的示例性方法的流程图；并且

图3示出了示例性的笛卡尔坐标系中当前数据帧和先前数据帧中的数据点。

具体实施方式

以下具体实施方式本质上仅是示例性的，并非旨在限制其应用和用途。此外，并不意图受前述技术领域、背景技术、发明内容或者以下具体实施方式中所列的任何明示或暗示理论的约束。

如上所述，因为车辆能遇到大量多变情形，所以城市环境对于车辆操纵来说非常具有挑战性。因此，如下面进一步详细论述，提供了一种六维点云系统，其利用多输入多输出雷达系统在城市和高速公路环境中准确识别并跟踪车辆周围的物体。

图1是根据实施例的车辆100的框图。在一实施例中，例如，车辆100可以是汽车。然而，在其他实施例中，车辆100可以是，例如飞行器、航天器、船舶等或其任意组合。

所述车辆100包括六维(6D)点云系统110。如下面进一步详细论述，所述6D点云系统110生成物体的三维(3D)速度数据和3D位置数据以便准确识别并跟踪车辆附近的物体。所述物体可以是，例如其他车辆、摩托车、自行车、行人、路灯、路标、建筑物/警示物(如，路障、锥形物，圆鼓等)等。

所述六维点云系统110包括多输入多输出(MIMO)雷达系统120。所述MIMO雷达系统可包括一个或多个集中式或分布式天线，其可以同时传输和接收同一视场中多个频率的雷达信号。因此，所述MIMO雷达系统120能够产生密集点云数据。物体每反射雷达信号一次，就会创造点云中的一个点。与单一物体对应的点云中点的数量可随物体的大小和物体与车之间的距离变化。如下面进一步详细论述，所述MIMO雷达系统120为点云中各点输出多个数据点，所述6D点云系统110利用所述多个数据点对物体进行识别和跟踪。

所述6D点云系统110进一步包括至少一个处理器130。所述至少一个处理器130可以是中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器或其他任何逻辑装置或其任意组合。尽管所述6D点云系统110可利用多个处理器130，为简单起见，所述至少一个处理器130以下简称为单一处理器130。

所述6D点云系统110进一步包括存储器140。所述存储器可以是易失性存储器和非易失性存储器的任意组合。如下面进一步详细论述，所述存储器140可以存储所述MIMO雷达系统的数据帧，以便进行处理。如此处所述，所述存储器140可以存储用于实现所述6D点云系统110的非暂时性计算机可读指令。

所述车辆100进一步包括至少一个可由所述6D点云系统110控制的控制系统150。所述控制系统150可以是，例如刹车系统、加速系统、转向系统、照明系统等。当所述6D点云系统110识别可能会撞击或靠近所述车辆100的物体时，所述6D点云系统110可产生一控制信号以激活控制系统产生警告，躲避该物体或尽量减小与该物体的撞击。

图2是根据实施例的用于操作6D点云系统的示例性方法的流程图。所述处理器130接收所述MIMO雷达系统120的数据帧。(步骤205)。该数据帧包括某点的即时雷达图像的点云中各数据点的数据。该数据帧包括点云中各数据点的四个数据点。所述四个数据点包括三个位置数据点和一个多普勒数据点。强度数据点可根据四个数据点中的一个或多个数据点生成。例如，强度基于所接收位置的信号强度或多普勒数据点。在一实施例中，例如，雷达可输出三个位置数据点作为一个范围，还可输出与所述MIMO雷达系统120位置相对的方位角和仰角。在另一实施例中，例如，雷达可输出三个位置数据点作为笛卡尔坐标(即X，Y和Z)。

所述强度数据点可根据例如瓦特、分贝、距离(米)、速度(米/秒)、多普勒(赫兹)、角(度)等进行测量。所述多普勒数据点包括距离和距率。换句话说，多普勒数据点包括数据以及物体与所述车辆100之间的距离，该数据所对应的是与物体对应的点云中的点是否离所述车辆100更近或更远。

然后，处理器130计算点云中各个数据点的三维速度估值，物体通过所述MIMO雷达系统120在点云中进行检测。(步骤210)。为了确定点云中各个数据点的三维速度估值，所述处理器130必须确定点云中哪个点与先前数据帧的点云中哪个点对应。图3示出了示例性笛卡尔坐标系中当前数据帧和先前数据帧中的数据点。在该示例中，圆300，310和320与先前数据帧点云中的点相对应，而且实线圆330，340和350与当前数据帧点云中的点相对应。为了确定点330的速度，所述处理器130必须确定点300-320中哪个点与先前数据帧中点330相对应，然后使用所确定的点与点320之间的相对距离来确定点330的速度。在一实施例中，例如，所述处理器可以根据等式1同时确定与当前框中各个点对应的先前框中的点和当前框中各点的速度：

因此，所述处理器130通过确定当前数据帧点云中各点和先前框点云中各点之间的最小速度v_k(即argmin_vk)来确定当前框点云中各点k的三维速度v_k。等式1中，s_k为所述MIMO雷达系统120接收的当前框中点k的多维位置数据(即上述三个位置点)，由该多维位置数据确定速度，m_j为当前框点云中各点之一的位置数据，d_k为当前框中各点的多普勒测量(即s_k多普勒测量)，n_k为从所述MIMO雷达系统120的中心到点s_k的单位方向，σ₁andσ₂为校准参数，N_k为与先前时间框中所检测的点m_j相匹配的当前时间框中雷达反射点的数量，且a_jk为m_j和s_k相关联的概率。在一实施例中，例如，a_jk可根据等式2计算。

其中I_k是点s_k的强度值，I_j是点m_j的强度值，c是归一化因数，使得所有a_jk之和等于1。换句话说，c是归一化因数，使得先前数据帧中点云中的任何给定点与当前数据帧中点云的点s_k相对应的所有概率之和等于1。在等式1和等式2中，Δt是各个数据帧之间的时间差，σ₁,σ₂和σ₃分别是校准参数，即位置测量的标准偏差、多普勒测量和校准目标(例如角反射器)的强度测量。处理器130在执行等式1和等式2中的计算时，可首先将s_k的速度v_k设置为换句话说，假设s_k的速度v_k为先前数据帧点云中各点与当前数据帧中点s_k相对应的概率之和乘以在先前三维速度计算中确定的先前数据帧点云中各点的速度(即，在先前计算中确定的先前数据帧点云的点的v_k)。

返回图2，处理器130接着从数据帧中去除噪声分辨点(步骤215)。在一实施例中，例如，处理器130可基于时间持续性去除后续计算中的数据点。换句话说，与先前点云中的点不相关的当前点云中的点在任何后续计算中不予考虑。

接着，处理器130将当前框点云中的各点划分为静态点或动态点(步骤220)。当点的估计相对速度在预定阈值以下时，认为点云中的点是静态的。例如，阈值可以高于噪音水平10分贝(dB)。处理器130在用车辆的横摆、俯仰和侧倾补偿点的速度v_k(步骤215中确定的)以及基于MIMO雷达系统120的位置以及车辆的横摆、俯仰和侧倾补偿点的位置(即MIMO雷达系统120的三个位置点)之后，通过比较点的速度与车辆速度来确定当前框点云中各点的相对速度。在一实施例中，例如，处理器可基于等式3确定点云中各点的分类：

‖R·v_k+(ω_H·R·s_k+V_H)‖＜ε

等式3

其中v_k是当前数据帧中点的速度，ω_H是车辆100的俯仰率，s_k是当前数据帧中点的位置，V_H是车辆100的速度，R是用车辆100的横摆、俯仰和侧倾补偿速度v_k和位置s_k的转动矩阵。在一实施例中，例如，转动矩阵R可以根据等式4来计算：

其中ψ是车辆100的横摆，θ是车辆100的俯仰，Φ是车辆的侧倾，c表示余弦函数(即c_θ＝cos(θ))，s表示正弦函数(即s_Φ＝sin(Φ))。

在等式3中，ε表示预先确定的固定速度。在一实施例中，例如，ε可小于每小时0.5公里(KPH)。因此，如果等式3中左边表示的速度之和的范数小于ε，则处理器130将点云中的点划分为静态的。然而，如果等式3中左边表示的速度之和的范数大于ε，则处理器将点云中的点划分为动态的。处理器130在步骤220中对当前数据帧中点云的每个点执行此计算。

在一实施例中，例如，处理器130可分析被划分为静态的点云中的点，以便纠正雷达角度校准(步骤225)。换句话说，处理器130可分析被划分为静态的点云中的点，以确定MIMO雷达系统120的角度是否已经偏离预定的角度。偏差可能来自对车辆100的影响，或者来自在安装MIMO雷达系统120期间的安装公差。

考虑到静态雷达点s_k，我们得出Rv_k＝u_k,u_k＝-(ω_H×p_k+v_H)，其中k＝1，...，K。设＝[v₁ … υ_K]且β＝[u₁ … u_K]。α和β可包括，例如1小时内当前时间框和先前时间框中的雷达点。涉及车辆框架的雷达的未知转动矩阵R等于UCV^T，C是矩阵。

det(UV^T)是矩阵UV^T的行列式。U是左侧正交矩阵，V是矩阵β^Tα的奇异值分解的右侧正交矩阵。

雷达角校准的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ可根据等式5，等式6和等式7进行计算：

θ＝-arcsin(R(1，3))

等式5

ψ＝arctan2(R(1，2)，R(1，1))

等式7

其中，1、2和3是指矩阵R中的坐标。然后，由计算后的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ补偿后续的雷达数据输入，从而将计算后的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ用于纠正后续的雷达数据输入。

由于αβ^T可进行递归计算，因此不需要存储矩阵α和β。例如，如果删除样本(v₁，u₁)并添加样本(v_K+1，u_K+1)，则新的α′β′^T计算为

然后，处理器130可将当前框中的点云中的点分割成点簇(步骤230)。点云中的任意两点可根据等式8聚集在同一簇中：

换句话说，当点云中两个点j和k的三维位置之差pk-pj除以位置方差加上两个点j和k的三维速度之差u_k-u_j除以速度方差小于1时，则处理器130将点j和k关联到同一个簇中。如上所述，点k的三维速度可根据等式1来计算。三维位置基于MIMO雷达系统120的数据来确定。

然后所述处理器130可计算各点的运动状态(步骤235)。所述运动状态可包括，比如所述簇的质心、参考速度、角速度及轮廓点。所述簇轮廓对应簇外形。根据等式9，所述簇质心p_cm可由所述处理器130确定：

等式9中，C对应簇中点数，p_k对应簇中各点的位置。然后所述处理器130可根据等式10确定参考速度u_ref和参考角速度ω_ref：

其中ω是径向频率2πf。径向频率是目标运动产生的目标速度和测得的频移的函数。处理器130可根据簇中每个点k＝1,2,…C的p_k-p_cm确定轮廓点。换句话说，处理器130结合簇中每个点k的三维位置之差和簇的质心的三维位置来确定簇中每个点的轮廓点。

在一实施例中，例如，处理器130可使用运动状态数据(即簇的质心、参考速度、参考角速度和簇的轮廓点)上的卡尔曼滤波器来跟踪和报告多个雷达数据帧上簇的平稳运动状态。在多个框上使用卡尔曼滤波器的一个好处是，运动状态数据中的任何异常都会得到均衡。

然后，处理器130可将物体划分为与各个簇相关联。(步骤240)。换句话说，处理器130为每个簇确定物体类型。可以将簇划分成如车辆、行人、路障、路灯、路标或车辆在路上可能遇到的任何物体。在一实施例中，例如，深度学习神经网络(DLNN)可执行物体分类。由于物体分类是一个复杂的过程，因此仅可在该过程中使用单独的处理器130，例如GPU或FPGA阵列。然而，如上所述，6D点云系统110中的处理器130的数量可根据处理器的性能水平和6D点云系统110的期望响应时间而变化。

处理器130可以将微-多普勒信号的归一化强度图和时间滑动窗输入到每个簇的DLNN。如上所述，所述MIMO雷达系统120可输出与每个数据点相关联的强度。所述归一化强度图是通过将强度值除以值的总数而得出的。所述微-多普勒信号的时间滑动窗与所述MIMO雷达系统120所接收的频率(赫兹)对应，所述MIMO雷达系统120在数据帧期间与该簇相对应。所述DLNN通过从微-多普勒信号的归一化强度图和时间滑动窗提取特征来创建每个簇的特征图。

处理器130基于与簇相关联的参考速度和簇的轮廓对簇进行分类。每类目标，例如行人或车辆，都具有一个典型的微-多普勒特征，从而当处理器130对光谱图(即，与目标对应的随时间变化的光谱)进行分析时，可以基于目标最相似的特征对目标进行分类。

接着，处理器130在该过程的后续步骤中跟踪划分的每个簇。(步骤245)。每个物体(例如，车辆、行人等)在点云中都有多个检测点。因此，处理器130不需要单独跟踪每个检测点，而是跟踪聚集在一起的各个点构成的组来表示一个对象。在方法200的后续过程中，处理器130跟踪点簇中心和点簇参数(例如，位置和速度)的变化。更新的中心和其他参数用在随后的威胁等级确定中。

然后，处理器130基于步骤235和245中确定的物体的运动状态数据(即质心、参考速度、参考角速度和轮廓)、步骤235中确定的物体类型和物体大小(即与物体对应的点云中点的数量)和响应命令来确定威胁等级。(步骤250)。响应命令可包括为车辆控制系统150生成一个命令以躲避该物体，从而尽量减小与该物体的撞击，警告有物体等。该命令可以是例如，基于簇速度和簇接近程度进行刹车、加速、转向、闪灯等。

6D点云系统110的一个好处在于，通过从MIMO雷达系统120接收的思维数据生成6D点云，6D点云系统110可使用小型传感器阵列准确地识别和跟踪城市环境中的物体。

尽管在上述详细描述中已经出现了至少一个示例性实施例，应理解，还存在大量变型。还应理解，一个或多个示例性实施例只是例子，并不是为了以任何方式限制本公开内容的范围、适用性或配置。相反，上述详细描述将为本领域技术人员提供一个方便的路线图，以实施一个或多个示例性实施例。应该理解的是，在不偏离所附权利要求及其法律等价物提出的公开内容的范围的情况下，可以对元件的功能和安排进行各种变化。

Claims

1.一种车用六维点云系统，包括：

多输入多输出雷达系统；

存储器；及

与所述多输入多输出雷达系统和所述存储器通信连接的处理器，所述处理器配置用于：

接收来自所述多输入多输出雷达系统的当前数据帧，所述当前数据帧包括点云，所述点云包括与由所述多输入多输出雷达系统于所述点云中各点检测到的物体对应的三维位置信息和多普勒数据；

基于与所述存储器中所存储的所述当前数据帧中的点和来自先前数据帧的数据相关联的所述三维位置信息和多普勒数据针对所述点云中各点计算所述点云中各点的三维速度；

基于与各点相关联的所述三维位置信息和所计算的各点的三维速度将所述点云中各点分割为一个或多个点簇；

计算所述一个或多个点簇中的每一个的运动状态，所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点；

确定与所述一个或多个点簇中的每一个相关联的物体类型；以及

基于所确定的物体类型和所述一个或多个点簇中的每一个的所述运动状态来确定威胁等级和响应命令。

2.如权利要求1所述的六维点云系统，其中，所述处理器进一步配置用于基于所述点云各点的所述三维速度将所述点云中的各点划分为静态点或动态点。

3.如权利要求1所述的六维点云系统，其中，所述处理器进一步配置用于基于与所述点云中的一个或多个静态点相关联的数据确定所述多输入多输出雷达系统的偏差角。

4.如权利要求1所述的六维点云系统，其中，所述处理器进一步配置用于根据下式计算所述点云中各个点k的三维速度v′k：

其中m_j是所述先前数据帧中各点的三维位置，s_k是所述当前数据帧中各点的三维位置，a_jk是m_j和s_k相关联的概率，v_k是所述当前数据帧中各点的计算得到的三维速度，Δt是所述先前数据帧和所述当前数据帧之间的时间差，d_k是点s_k的多普勒数据，n_k是从雷达中心到点s_k的单位方向，并且σ₁和σ₂是归一化参数。

5.如权利要求4所述的六维点云系统，其中，所述处理器进一步配置用于根据下式确定a_jk：

其中c是归一化因数，d_j是点m_j的多普勒数据，I_k和I_j是对应于所述多输入多输出雷达系统的s_k和m_j的强度值，并且σ₃是归一化参数。

6.如权利要求1所述的六维点云系统，其中，所述处理器配置用于当所述点云中任何第一点和第二点的之和小于或等于1时将所述点云中各点分割成各个簇，其中pk是所述第一点的三维位置，uk是所述第一点的计算得到的三维速度，pj是所述第二点的三维位置，uj是所述第二点的计算得到的三维速度，并且σ₁和σ₂是归一化参数。

7.如权利要求1所述的六维点云系统，其中，所述处理器配置用于通过深度学习神经网络确定与所述簇相关联的物体类型。

8.如权利要求1所述的六维点云系统，还包括至少一个控制系统，其中确定的响应命令激活所述至少一个控制系统。

9.一种用于操作车用六维点云系统的方法，其包括：

处理器接收来自多输入多输出雷达系统的包括点云的当前数据帧，所述点云包括与由所述多输入多输出雷达系统检测的物体对应的所述点云内各点的三维位置信息和多普勒数据；

所述处理器基于所述三维位置信息和多普勒数据针对所述点云内各点计算所述点云中各点的三维速度，所述三维位置信息和多普勒数据与存储器中所存储的所述当前数据帧中的点和来自先前数据帧的数据相关联；

所述处理器基于与各点相关联的所述三维位置信息和所计算的各点的三维速度将所述点云中各点分割为一个或多个点簇；

所述处理器计算所述一个或多个点簇中的每一个的运动状态，所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点；

所述处理器确定与所述一个或多个点簇中的每一个相关联的物体类型；以及

所述处理器基于所确定的物体类型和所述一个或多个点簇中的每一个的所述运动状态来确定威胁等级和响应命令。

10.如权利要求9所述的方法，还包括所述处理器基于所述点云的各点的所述三维速度将所述点云中的各点划分为静态点或动态点。