CN112904359A - 基于远程激光探测与测量的速度估计 - Google Patents

基于远程激光探测与测量的速度估计 Download PDF

Info

Publication number
CN112904359A
CN112904359A CN202011300580.8A CN202011300580A CN112904359A CN 112904359 A CN112904359 A CN 112904359A CN 202011300580 A CN202011300580 A CN 202011300580A CN 112904359 A CN112904359 A CN 112904359A
Authority
CN
China
Prior art keywords
velocity
frame
vehicle
target
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011300580.8A
Other languages
English (en)
Other versions
CN112904359B (zh
Inventor
丁司昊
S·罗伊乔杜里
赵敏茗
Y·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN112904359A publication Critical patent/CN112904359A/zh
Application granted granted Critical
Publication of CN112904359B publication Critical patent/CN112904359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，包括：通过在相对较近距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交x和y方向上的平移，使用从LIDAR传感器获得的第一帧t‑1和第二帧t来估计自身车辆的自身速度；将第一帧t‑1和第二帧t中的每帧分为多个相邻输入范围，并且通过使用网络随后处理每帧来估计在相对较远距离处所述目标的相对速度，每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合以获得所述绝对速度的估计值。

Description

基于远程激光探测与测量的速度估计
技术领域
本公开总体上涉及汽车、高级驾驶员辅助系统(简称ADAS)和自主驾驶(简称AD)领域。更具体地，本公开涉及基于远程激光探测与测量(LIDAR)的速度估计系统和方法。
背景技术
车辆附近的目标的绝对速度通常依据所确定的自我车辆(ego vehicle)的自身速度与目标(例如可以是另一车辆)的相对速度。自身速度通常由本领域技术人员已知的外部传感器(诸如惯性测量单元(IMU)、全球定位系统(GPS)或车辆里程表)确定。然而，这样的传感器很大程度上取决于其它传感器和车辆运行情况，而且可能是不准确的。通常使用标注、目标分割和跟踪，考虑过去的轨迹，根据摄像机图像确定相对速度。然而，当目标与车辆相距很长距离时，因为目标可能难以检测并且摄像机容易失去其跟踪，因此这样的目标标注和跟踪是困难的。结果在周围目标的绝对速度测量中出现误差，这能够显著地影响ADAS和AD环境中的车辆安全性。
本公开提出了使用LIDAR传感器来确定在自身车辆附近的目标的绝对速度。有利地，这样的LIDAR传感器具有远距离范围并且受车辆运行情况的影响很小。
发明内容
本公开的基于远程(long range)LIDAR的速度估计系统和方法基于与LIDAR传感器相距一定距离的点的距离将多个LIDAR帧分为多个范围：短程(例如，达到50或70m)、中程(例如从50或70m到100或120m)，和远程(例如从100或120m至250m)。在给定这些范围的情况下，在每一个范围上分别执行任务，然后将结果组合起来。有利地，本公开的系统和方法是LIDAR不可知的(agnostic)并且在例如10Hz区域中运行。本公开提供了两种可替代的方法。
在一个示例性实施例中，本公开提供了一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，该方法包括：通过在与所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每个帧来估计在所述相对较远距离处所述目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测(benchmarking)确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头(regression head)，但是利用单独的中间层和共享的中间层中的一个。使用交接机制(hand-over mechanism)来桥接这三个相邻输入范围之间的结果。
在另一示例性实施例中，本公开提供了一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，该方法包括：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并且将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围并使用多任务网络处理每一帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转θ和正交的x与y方向的平移，以估计所述自身车辆的自身速度和目标位置与速度，从而估计所述目标在所述相对较远距离处的相对速度；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
在另一示例性实施例中，本公开提供了一种非暂时性计算机可读介质，其存储在存储器中并且由处理器执行以经由包括下述各项的多个步骤来确定在距离自身车辆的相对较远距离处的目标的绝对速度：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在相对较远距离处所述目标的相对速度，其中使用相应的卷积神经网络来处理每个输入范围；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
在又一示例性实施例中，本公开提供了一种非暂时性的计算机可读介质，其存储在存储器中并且由处理器执行以经由包括下述各项的多个步骤来确定在距离自身车辆的相对较远距离处的目标的绝对速度：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并且将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围并使用多任务网络处理每个帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供围绕z轴的介入旋转θ和正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标位置与速度，从而估计在所述相对较远距离处所述目标的相对速度；以及将估计所述自身速度的估计结果(估计值)与估计所述相对速度的估计结果(估计值)相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计结果(估计值)。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
附图说明
参考各个附图来说明和描述本公开，其中相同的附图标记用于表示相同的系统部件/方法步骤(视情况而定)，并且其中：
图1是示出本公开的用于执行自身速度估计的系统和方法的一个示例性实施例的示意图；
图2是示出本公开的用于执行相对速度估计的系统和方法的一个示例性实施例的示意图；
图3是示出本公开的利用图1的用于执行自身速度估计的系统与方法和图2的用于执行相对速度估计的系统和方法来执行绝对速度估计和确定的系统和方法的一个示例性实施例的示意图；和
图4是示出本公开的用于执行绝对速度估计与确定的系统和方法的另一示例性实施例的示意图。
具体实施方式
本公开的基于远程LIDAR的速度估计系统和方法基于与LIDAR传感器相距点的距离将多个LIDAR帧分为多个范围：短程(例如，达到50或70m)、中程(例如从50或70到100或120m)，和远程(例如从100或120m至250m)。在给定这些范围的情况下，在每个范围上分别执行任务，然后组合结果。有利地，本公开的系统和方法是LIDAR不可知的并且在例如10Hz区域中运行。本公开提供了两种替代方法。
在第一替代方法中，执行自身速度估计和相对速度估计二者，组合结果用于估计绝对速度。这里考虑了距离影响。对所述短程进行自身速度估计；相对接近的距离，其边界是通过对自身速度估计进行基准检测来决定的。使用距离觉察算法对所有距离执行相对速度估计。
在第二替代方法中，多任务网络对于所有距离共享自身速度估计和相对速度估计二者。就输出而言，三个回归头(regression heads)产生两种类型的结果：旋转与平移(用于自身速度估计)和目标位置与速度(用于相对速度估计)。由多任务网络产生的旋转、平移和速度共同地提供每个目标的绝对速度。
现在具体参考图1，关于第一替代方法，对于短程(例如，达到50或70m)，训练网络10，其利用连续帧t-1和t12、14对LIDAR传感器用作输入。对于每个目标，从这些连续帧t-1和t，网络10经由所利用的层18输出三个参数16：围绕z轴的旋转θ和沿正交的x和y轴的平移。由这三个参数可以估计自身车辆的自身速度。
在这里，网络10是深度学习网络，或卷积神经网络(CNN)，例如光流估计网络(optical flow estimation network)。如本领域普通技术人员已知的，CNN通常应用于分析图像。CNN是正则化版本的多层感知器(multilayer perceptrons)或完全连接的网络，其中一层中的每个神经元(neuron)连接到下一层中的所有神经元。它们在某种程度上易于过度拟合(overfitting)数据。用于正则化的方法包括将权重的量值测量值的一些形式添加到相关联的损失函数。CNN利用数据的分层模式(hierarchical pattern)并且使用更小和更简单的模式来组装更复杂的模式。因此，CNN限制连接性和复杂性。与其他图像分类算法相比，CNN使用相对少的数据预处理，学习在传统算法中手工设计(hand-engineered)的滤波器。CNN采用数学卷积运算，其中数学卷积运算是一种专门类型的线性运算。CNN仅是在它们的层的至少一层中使用卷积来代替一般的矩阵乘法(matrix multiplication)的神经网络。CNN由输入和输出层以及多个隐藏层构成。CNN的隐藏层通常由用乘法或其他点积卷积的一系列卷积层构成。激活函数通常是RELU层，并且随后是附加卷积，诸如池化层(poolinglayers)、完全连接层和归一化层(normalization layers)，被称为隐藏层，因为它们的输入和输出被激活函数和最终卷积掩蔽。最终卷积通常涉及反向传播，以便更准确地加权最终乘积。
通过基准检测来确定用于自身速度估计的短程截止阈值(cut-off threshold)。截止阈值不应该太接近车辆，否则将没有足够的捕获点来估计旋转和平移。截止阈值不应该距车辆太远，否则所捕获的点将不确定并且牺牲结果。
现在具体参考图2，使用相同网络20处理帧t-1和t12、14中的每一个，以估计车辆附近的目标的相对速度。每个帧12、14的短程22、中程24和远程26中的每一个利用单独的特征提取CNN 28a、28b、28c被独立地处理。相应的三个回归头30a、30b、30c输出相对速度估计值。CNN 30a、30b、30c的中间层32能在多个层之间共享或分离。使用交接机制(hand-overmechanism)来桥接相邻距离的结果。
现在具体参考图3，对于在各个距离内由LIDAR传感器检测到的所有目标，自身速度估计10和相对速度估计20被简单地结合以提供绝对速度估计值40。这些绝对速度估计值40然后可以被视为绝对速度42。
现在具体参考图4，关于第二替代方法，使用相同的网络50再次处理帧t-1和帧t12、14中的每一帧，以估计自身车辆的自身速度和自身车辆附近的目标的相对速度二者。因此，在这里，网络50是多任务网络。每个帧12、14的短程22、中程24和远程26中的每一个利用单独的特征提取CNN 28a、28b、28c被再次独立地处理。对应的三个回归头30a、30b、30c输出目标位置和速度、以及旋转和平移，而不是简单地输出相对速度估计值。CNN 30a、30b、30c的中间层32可以再次被共享或分离。使用交接机制来桥接相邻距离的结果。所得到的绝对速度估计值被视为绝对速度42。
应认识到，取决于实例，本文中所描述技术中的任一者的某些动作或事件可按不同次序执行，可一起添加、合并或省略(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一个或多个实例中，所描述的功能可以以硬件、软件、固件或其任何组合来实施。如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送，并由基于硬件的处理单元来执行。计算机可读介质可包含计算机可读的存储介质，其对应于有形介质，例如，数据存储介质，或通信介质，包含例如根据通信协议便于将计算机程序从一处传送到另一处的任何介质。以此方式，计算机可读介质通常可对应于(1)非暂时性的有形的计算机可读存储介质，或(2)通信介质，例如信号或载波。数据存储介质可以是可由一个或多个计算机或者一个或多个处理器存取以获取用于实施本公开中所描述技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
作为示例而非限制，这样的计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储设备、闪存、或可用于以指令或数据结构的形式存储所需程序代码且可由计算机存取的任何其它媒体。任何连接也适当地被称为计算机可读介质。例如，如果使用同轴电缆、光缆、双绞线、数字用户线路(DSL)或诸如红外(IR)、射频(RF)和微波之类的无线技术从网站、服务器或其他远程源传输指令，则同轴电缆、光缆、双绞线、DSL或诸如IR、RF和微波的无线技术包括在介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它暂时性介质，而是针对非暂时性的有形的存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘用激光光学地复制数据。上述的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂的可编程的逻辑器件(CPLD)或其他等效的集成或分立逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合实施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于专用硬件和/或软件模块内。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。
本公开的技术可实施于广泛的多种装置或设备中，包括集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种部件、模块或单元以强调配置为执行所公开技术的装置的功能方面，但不是必须由不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件和/或固件组合在硬件单元中或者由互操作硬件单元的集合提供，所述硬件单元或互操作硬件单元包括一个或多个如上所述的处理器。
本公开的基于远程LIDAR的速度估计系统和方法基于与LIDAR传感器相距点的距离将多个LIDAR帧分为多个距离(或范围)：短程(例如，达到50或70m)、中程(例如从50或70m到100或120m)，和远程(例如从100或120m到250m)。在给定这些距离的情况下，在每一个距离上分别执行任务，然后组合结果。有利地，本公开的系统和方法是与LIDAR无关的并且在例如10Hz区域中运行。本公开提供了两种替代的方法。
在第一替代方法中，执行自身速度估计和相对速度估计二者，组合结果用于估计绝对速度。考虑了距离影响。对于短程执行自身速度估计，使用距离感知算法对于所有距离执行相对速度估计。
在第二替代方法中，多任务网络对于所有距离共享自身速度估计和相对速度估计。就输出而言，三个回归头产生两种类型的结果：旋转和平移(用于自身速度估计)和目标位置与速度(用于相对速度估计)。由多任务网络产生的旋转、平移和速度共同提供每个目标的绝对速度。
因此，本公开提供了基于LIDAR的确定在离自身车辆相对较远的距离处的目标的绝对速度的方法，该方法包括：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转(intervening rotation)θ和正交的x与y方向上的平移，使用从耦合到自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在相对较远距离处的目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合以获得在相对较远距离处的目标的绝对速度的估计值。深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
本公开还提供了一种基于LIDAR的用于确定离自身车辆相对较远距离处的目标的绝对速度的方法，该方法包括：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且使用多任务网络处理每一帧，其中，使用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转θ和在正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标的位置与速度，进而估计在所述相对较远距离处目标的相对速度；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处目标的绝对速度的估计。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
本公开还提供了一种非暂时性计算机可读介质，其存储在存储器中并由处理器执行以经由包括下述各项的步骤来确定在距离自身车辆相对较远距离处的目标的绝对速度：通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；将所述第一帧t-1和所述第二帧t中的每一帧分为三个相邻的输入范围，并且通过使用网络随后处理每一帧来估计在所述相对较远距离处目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处所述目标的绝对速度的估计。所述深度学习算法由卷积神经网络执行。可选地，所述卷积神经网络包括光流估计网络。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
本公开还提供了一种非暂时性计算机可读介质，其存储在存储器中并由处理器执行以经由包括以下各项的步骤确定在距离自身车辆相对较远距离处的目标的绝对速度：接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，将第一帧t-1和第二帧t中的每一帧分为三个相邻的输入范围，并且使用多任务网络处理每一帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转和正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标的位置与速度，从而估计在相对较远距离处目标的相对速度；以及将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在所述相对较远距离处目标的绝对速度的估计。通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。所述卷积神经网络中的每个卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。使用交接机制来桥接这三个相邻输入范围之间的结果。
虽然本文参照优选实施例和其具体示例示出和描述了本公开，但是对于本领域的普通技术人员而言将显而易见的是，其他实施例和示例可以执行类似的功能和/或实现类似的结果。所有这样的等同实施例和示例都位于本发明的精神和范围内，因此被预期，并且无论出于何种目的，都旨在被以下非限制性权利要求所覆盖。

Claims (15)

1.一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，所述方法包括：
通过在距离所述自身车辆相对较近的距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；
将所述第一帧t-1和所述第二帧t中的每一帧分为多个相邻输入范围，并且通过使用网络随后处理每一帧来估计在相对较远距离处所述目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；和
将估计所述自身速度的估计值与估计所述相对速度的估计值相结合，以获得在相对较远距离处所述目标的绝对速度的估计值。
2.根据权利要求1所述的方法，其中，所述深度学习算法由卷积神经网络执行。
3.根据权利要求2所述的方法，其中，所述卷积神经网络包括光流估计网络。
4.根据权利要求1所述的方法，其中，通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。
5.根据权利要求1所述的方法，其中，每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。
6.根据权利要求1所述的方法，其中，采用交接机制来桥接所述多个相邻输入范围之间的结果。
7.一种确定在距离自身车辆相对较远距离处的目标的绝对速度的基于LIDAR的方法，所述方法包括：
接收从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t，并且将所述第一帧t-1和所述第二帧t中的每一帧分为多个相邻的输入范围并且使用多任务网络处理每个帧，其中利用相应的卷积神经网络处理所述输入范围，所述卷积神经网络配置为提供绕z轴的介入旋转θ和正交的x与y方向上的平移，以估计所述自身车辆的自身速度和目标位置与速度，从而估计在所述相对较远距离处所述目标的相对速度；和
将估计所述自身速度的估计值与估计所述相对速度的估计值相结合以获得在所述相对较远距离处所述目标的绝对速度的估计值。
8.根据权利要求7所述的方法，其中，通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。
9.根据权利要求7所述的方法，其中，每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。
10.如权利要求7所述的方法，其中，采用交接机制来桥接所述多个相邻输入范围之间的结果。
11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储在存储器中并且由处理器执行以经由包括下述各项的步骤来确定距离自身车辆相对较远距离处的目标的绝对速度：
通过在距离所述自身车辆的相对较近距离范围上使用深度学习算法估计绕z轴的介入旋转θ和正交的x与y方向上的平移，使用从耦合到所述自身车辆的LIDAR传感器获得的第一帧t-1和第二帧t来估计所述自身车辆的自身速度；
将所述第一帧t-1和所述第二帧t中的每一帧分为多个相邻输入范围，并且通过使用网络随后处理每一帧来估计在所述相对较远距离处所述目标的相对速度，其中每个输入范围使用相应的卷积神经网络来处理；和
将估计所述自身速度的估计值与估计所述相对速度的估计值相结合以获得在所述相对较远距离处所述目标的绝对速度的估计值。
12.根据权利要求11所述的非暂时性计算机可读介质，其中，所述深度学习算法由卷积神经网络执行。
13.根据权利要求12所述的非暂时性计算机可读介质，其中，所述卷积神经网络包括光流估计网络。
14.根据权利要求11所述的非暂时性计算机可读介质，其中通过经由基准检测确定的阈值将所述相对较短的距离与所述相对较远的距离分开，以发现提供足够的较短距离点以估计旋转和平移以及接近足够的较远距离点以提供充分的计算确定性的范围。
15.根据权利要求11所述的非暂时性计算机可读介质，其中，每个所述卷积神经网络执行独立的输入特征提取并且利用单独的回归头，但是利用单独的中间层和共享的中间层中的一个。
CN202011300580.8A 2019-11-19 2020-11-19 基于远程激光探测与测量的速度估计 Active CN112904359B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/687,808 2019-11-19
US16/687,808 US11531107B2 (en) 2019-11-19 2019-11-19 Long range LIDAR-based speed estimation

Publications (2)

Publication Number Publication Date
CN112904359A true CN112904359A (zh) 2021-06-04
CN112904359B CN112904359B (zh) 2024-04-09

Family

ID=73172493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011300580.8A Active CN112904359B (zh) 2019-11-19 2020-11-19 基于远程激光探测与测量的速度估计

Country Status (3)

Country Link
US (2) US11531107B2 (zh)
EP (1) EP3825733A1 (zh)
CN (1) CN112904359B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11885907B2 (en) * 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US11532168B2 (en) 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11531088B2 (en) 2019-11-21 2022-12-20 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US11531107B2 (en) * 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997001106A1 (en) * 1995-06-20 1997-01-09 Ail Systems, Inc. Target prediction and collision warning system
JP2008282279A (ja) * 2007-05-11 2008-11-20 Toyota Motor Corp 物体検出装置
CN107193011A (zh) * 2016-03-15 2017-09-22 山东理工大学 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
CN107609635A (zh) * 2017-08-28 2018-01-19 哈尔滨工业大学深圳研究生院 一种基于物体检测与光流计算的物体物理速度估计方法
CN108122243A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 用于机器人检测运动物体的方法
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN110084832A (zh) * 2019-04-25 2019-08-02 亮风台（上海）信息科技有限公司 相机位姿的纠正方法、装置、系统、设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003072416A (ja) 2001-08-31 2003-03-12 Denso Corp 車両用走行制御装置
KR20030050150A (ko) * 2001-12-18 2003-06-25 현대자동차주식회사 도로 상황 판정 시스템 및 그 방법
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP4396436B2 (ja) * 2004-07-30 2010-01-13 トヨタ自動車株式会社 物標検出装置
US8988276B2 (en) 2010-03-17 2015-03-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
KR101071362B1 (ko) * 2011-03-25 2011-10-07 위재영 차량의 물체 거리 인식 시스템 및 작동 방법
EP2894618B1 (en) 2012-09-03 2016-10-26 Toyota Jidosha Kabushiki Kaisha Speed calculating device and speed calculating method, and collision determination device
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US10322674B2 (en) * 2015-10-22 2019-06-18 Nissan Motor Co., Ltd. Display control method and display control device
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
JP7346401B2 (ja) 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US11467590B2 (en) 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US10676085B2 (en) * 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11531107B2 (en) * 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997001106A1 (en) * 1995-06-20 1997-01-09 Ail Systems, Inc. Target prediction and collision warning system
JP2008282279A (ja) * 2007-05-11 2008-11-20 Toyota Motor Corp 物体検出装置
CN107193011A (zh) * 2016-03-15 2017-09-22 山东理工大学 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
CN108122243A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 用于机器人检测运动物体的方法
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
CN107609635A (zh) * 2017-08-28 2018-01-19 哈尔滨工业大学深圳研究生院 一种基于物体检测与光流计算的物体物理速度估计方法
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN110084832A (zh) * 2019-04-25 2019-08-02 亮风台（上海）信息科技有限公司 相机位姿的纠正方法、装置、系统、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AJIN JOY等: "Automatic object detection in car-driving sequence using neural network and optical flow analysis", 2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMPUTING RESEARCH, pages 1 - 4 *
程文华等: "基于特征光流信息的空间非合作目标相对位姿估计", 上海航天, vol. 32, no. 5, pages 9 - 14 *

Also Published As

Publication number Publication date
US11531107B2 (en) 2022-12-20
US11921212B2 (en) 2024-03-05
CN112904359B (zh) 2024-04-09
US20210149051A1 (en) 2021-05-20
US20230071940A1 (en) 2023-03-09
EP3825733A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN112904359B (zh) 基于远程激光探测与测量的速度估计
CN108470332B (zh) 一种多目标跟踪方法及装置
Asvadi et al. 3D object tracking using RGB and LIDAR data
Alkendi et al. State of the art in vision-based localization techniques for autonomous navigation systems
Soleimanitaleb et al. Object tracking methods: a review
CN108027877B (zh) 用于非障碍区检测的系统和方法
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
US10671068B1 (en) Shared sensor data across sensor processing pipelines
US20200082560A1 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
Kosuru et al. Preventing the False Negatives of Vehicle Object Detection in Autonomous Driving Control Using Clear Object Filter Technique
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
Saleem et al. Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review
Hong et al. Selective image registration for efficient visual SLAM on planar surface structures in underwater environment
Kumar et al. An efficient approach for highway lane detection based on the Hough transform and Kalman filter
Li et al. RD-VIO: Robust visual-inertial odometry for mobile augmented reality in dynamic environments
CN113033439A (zh) 用于数据处理的方法、装置和电子设备
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
Amarasinghe et al. U-VIP-SLAM: Underwater Visual-Inertial-Pressure SLAM for Navigation of Turbid and Dynamic Environments
Liu et al. An end-to-end stereo matching algorithm based on improved convolutional neural network
US20220012506A1 (en) System and method of segmenting free space based on electromagnetic waves
DENG et al. Vision-based vehicle ego velocity estimation
Sun et al. VINS-Mask: A ROI-mask Feature Tracker for Monocular Visual-inertial System
US20240134009A1 (en) Method and apparatus of filtering dynamic objects in radar-based ego-emotion estimation
Anjali et al. Object Detection Using Mask R-CNN on a Custom Dataset of Tumbling Satellite
US20230288551A1 (en) Apparatus and method for determining kinetic information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant