CN114964283A - 用于过滤雷达中车辆自反射的方法和系统 - Google Patents

用于过滤雷达中车辆自反射的方法和系统 Download PDF

Info

Publication number
CN114964283A
CN114964283A CN202210179241.1A CN202210179241A CN114964283A CN 114964283 A CN114964283 A CN 114964283A CN 202210179241 A CN202210179241 A CN 202210179241A CN 114964283 A CN114964283 A CN 114964283A
Authority
CN
China
Prior art keywords
radar
vehicle
representation
environment
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210179241.1A
Other languages
English (en)
Inventor
N.阿姆斯壮-克鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114964283A publication Critical patent/CN114964283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/10Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

示例实施例涉及雷达数据内的自反射过滤技术。计算设备可以使用雷达数据来确定传达关于车辆环境中的表面的信息的第一雷达表示。计算设备可以使用预定义的模型来生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于表面的信息将预测的自反射值分配给环境的相应位置。预定义模型使得能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系、预定义自反射值被分配给第一位置。然后计算设备可以基于第二雷达表示中的预测自反射值来修改第一雷达表示,并且基于修改第一雷达表示来向车辆的控制系统提供指令。

Description

用于过滤雷达中车辆自反射的方法和系统
技术领域
本公开涉及一种用于过滤雷达中车辆自反射的方法和系统。
背景技术
无线电探测和测距系统(“雷达系统”)用于通过发射无线电信号并检测返回的反射信号来估计到环境特征的距离。到环境中无线电反射特征的距离能够根据发送和接收之间的时间延迟来确定。雷达系统能够发射频率随时间变化的信号,诸如具有时变频率斜坡的信号,然后将发射信号和反射信号之间的频率差与范围估计相关联。一些雷达系统也可以基于接收到的反射信号中的多普勒频移来估计反射对象的相对运动。
定向天线能够用于信号的发送和/或接收,以将每个范围估计与方向角(bearing)相关联。更一般地,定向天线也能够用于将辐射能量聚焦在给定的感兴趣视场上。组合测量的距离和方向信息能够允许映射周围的环境特征。
发明内容
示例实施例描述了用于过滤车辆自反射的技术,该车辆自反射能够干扰雷达和其他类型的传感器数据的准确性。示例过滤技术涉及使用预定义的模型来推断车辆的自反射有多大可能出现在由车辆的雷达系统捕获的雷达数据中,以使得这些自反射能够被去除,从而提高雷达测量的准确性。
在一个方面,提供了一种示例方法。该方法包括在计算设备处并且从耦合到车辆的雷达单元接收指示环境的雷达数据,并且基于雷达数据确定传达关于环境中的多个表面的信息的第一雷达表示。该方法还包括由计算设备并且使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于多个表面的信息将预测自反射值分配给环境的相应位置。预定义模型能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系使得预定义自反射值被分配给第一位置。该方法还包括基于第二雷达表示中的预测自反射值来修改第一雷达表示,并基于修改第一雷达表示向车辆的控制系统提供指令。
在另一方面,提供了一种示例系统。该系统包括耦合到车辆的雷达单元和计算设备。该计算设备被配置为从雷达单元接收指示环境的雷达数据,并且还被配置为基于雷达数据确定传达关于环境中的多个表面的信息的第一雷达表示。计算设备还被配置为使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于多个表面的信息将预测自反射值分配给环境的相应位置。预定义模型能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系使得预定义自反射值被分配给第一位置。计算设备还被配置为基于第二雷达表示中的预测自反射值来修改第一雷达表示并且还被配置为基于修改第一雷达表示向车辆的控制系统提供指令。
在又一示例中,提供了一种示例性非暂时性计算机可读介质,其中存储有可由计算系统执行以使计算系统执行功能的程序指令。功能可以涉及从耦合到车辆的雷达单元接收指示环境的雷达数据,并基于雷达数据确定传达关于环境中多个表面的信息的第一雷达表示。功能也涉及使用预定义的模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传送的关于多个表面的信息将预测的自反射值分配给环境的相应位置。预定义模型能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系使得预定义自反射值被分配给第一位置。功能也涉及基于第二雷达表示中的预测自反射值来修改第一雷达表示,并基于修改第一雷达表示向车辆的控制系统提供指令。
前述概述仅是说明性的,并不旨在以任何方式进行限制。除了上述说明性的方面、实施例和特征,通过参考附图和以下详细描述,进一步的方面、实施例和特征将变得显而易见。
附图说明
图1是图示根据一个或多个示例实施例的车辆的功能框图。
图2A图示了根据一个或多个示例实施例的车辆的侧视图。
图2B图示了根据一个或多个示例实施例的车辆的俯视图。
图2C图示了根据一个或多个示例实施例的车辆的前视图。
图2D图示了根据一个或多个示例实施例的车辆的后视图。
图2E图示了根据一个或多个示例实施例的车辆的附加视图。
图3是根据一个或多个示例实施例的计算系统的简化框图。
图4是根据一个或多个示例实施例的用于过滤传感器数据中的车辆自反射的系统。
图5A描绘了根据一个或多个示例实施例的执行自反射过滤技术的车辆的俯视图。
图5B描绘了根据一个或多个示例实施例的执行自反射过滤技术的车辆的另一视图。
图6是根据一个或多个示例实施例的用于执行车辆自反射技术的方法的流程图。
图7A描绘了根据一个或多个示例实施例的三维(3D)雷达数据立方体。
图7B描绘了根据一个或多个示例实施例的二维(2D)雷达图像。
图7C描绘了根据一个或多个示例实施例的稀疏雷达数据。
图8是根据一个或多个示例实施例的用于执行车辆自反射技术的另一方法的流程图。
图9是根据一个或多个示例实施例的计算机程序的示意图。
具体实施方式
在下面的详细描述中,参考了附图,附图形成了描述的一部分。在附图中,相似的符号通常标识相似的组件,除非上下文另有规定。详细描述、附图和权利要求中描述的说明性实施例不意味着限制。在不脱离这里呈现的主题的范围的情况下,可以利用其他实施例,并且可以进行其他改变。将容易理解的是,如本文一般描述的和附图中图示的,本公开的方面能够以各种不同的配置来布置、替换、组合、分离和设计,所有这些都在本文明确地考虑。
雷达系统用于通过发送电磁信号(即雷达信号)并分析来自环境中的对象和其他表面的反向散射信号来检测对象并估计它们的位置。该系统能够通过发送短脉冲和/或编码波形来估计对象的范围,诸如涉及某个载波频率的短脉冲的相干突发的脉冲多普勒雷达。在一些应用中,电磁能量经由抛物面反射器或与雷达单元相关联的天线元件阵列以波束的形式集中到特定的空间扇区。
雷达处理系统(例如,计算设备)可以处理雷达数据以生成二维(2D)和/或三维(3D)测量,这些测量表示环境的方面,诸如附近对象和占据雷达系统附近环境的其他表面的位置、方向和运动。因为雷达系统能够用于测量附近对象和其他表面的距离和运动,所以车辆越来越多地采用车辆雷达系统,该车辆雷达系统能够获得并提供关于车辆导航、避障和其他车辆操作的有用信息,从而提高车辆的整体安全性。雷达能够用于检测和识别附近车辆、自行车、行人和动物的位置、方向和运动。雷达也能够揭示车辆周围环境中其他特征的信息,诸如道路边界的定位、布置和位置、道路状况(例如,光滑或颠簸表面)、天气状况(例如,潮湿或多雪的道路)以及交通标志和信号的相对位置。因此,雷达为车辆系统提供了一种在各种环境中持续监视并了解导航期间的变化的方式,并能够补充来自其他类型传感器的传感器数据。
在一些应用中,车辆雷达系统能够提供旨在帮助车辆驾驶员的信息。例如,当车辆偏离其车道时、当车辆行驶得离另一车辆或对象太近时,雷达测量可以用于生成警报,和/或以能够帮助驾驶员安全控制车辆的其他方式。雷达测量也能够用于帮助车辆实现自主或半自主操作。特别地,如上所述,控制系统能够使用雷达数据来接近实时地理解和安全地导航车辆的环境。
在一些情况下,车辆在导航过程中遇到的各种对象的反射特性能够影响传感器数据的准确性。此外,一些对象可以具有能够使传感器数据失真的镜面反射属性。例如,车辆环境中的金属标志和其他对象(例如,其他车辆)能够导致车辆的自反射出现在传感器数据中,这能够触发来自控制系统的不期望的反应(例如,制动或转弯)。虽然对幽灵车辆的检测能够影响来自相机的图像和LIDAR数据,但由于大量对象在雷达波长下具有镜面反射特性,雷达在车辆导航期间可能更频繁地受到负面影响。也就是说,金属交通标志和其他对象可以充当镜子,并产生强烈的反射,这能够导致雷达系统观察到位于对象后面并以大约两倍于车辆当前速度的速度接近车辆的、车辆本身的一个或多个自反射。尽管在雷达数据中检测到的幽灵车辆仅仅是车辆自身的反射,但是车辆的控制系统可能无法将幽灵车辆与其他物理对象检测区分开,并且通过执行一些不期望的动作(例如,制动或转弯)来做出响应以避开幽灵车辆。因此,需要能够检测和避免车辆自反射,以增加传感器数据的可靠性。
本文呈现的示例实施例描述了车辆自反射过滤技术,其使得能够检测并去除雷达内的车辆自反射。在一些示例中,当处理来自另一种类型的传感器,诸如LIDAR相机(例如飞行时间照相机)的传感器数据时,可以执行本文描述的车辆自反射过滤技术。在一些示例中,车辆自反射过滤技术能够涉及使用模型,该模型被预先校准且能够用于在雷达数据(或另一类型的传感器数据)中表示车辆本身的样子。通过表示幽灵车辆数据有多大可能出现在进入的雷达数据中,处理系统能够检测并过滤雷达数据以去除(或以其他方式检测并忽略)幽灵车辆检测,这能够提高雷达测量的准确性。此外,过滤技术的性能能够帮助防止控制系统在导航期间参与不必要的动作,诸如转弯或制动以避开检测到的幽灵车辆。
为了进一步说明,对于在范围R和方位角θ处检测到的测量表面,计算设备能够使用预定义的模型来推断车辆的自反射(即,幽灵车辆)在该测量表面之外看起来像什么。具体而言,计算设备可以使用模型来推断幽灵车辆将有多大可能出现在大约两倍于测量表面的范围并且相对于车辆在相同方位角对准的位置(即,位于距离2R和方位角θ的幽灵车辆)。然后,随后能够从表示距离2R和方位角θ的位置的测量数据中过滤推断的幽灵车辆。
例如,位于距离车辆6米的金属标志可能会导致在距离车辆12米处出现车辆的自反射。金属标志和表示车辆自反射的幽灵车辆两者可以相对于车辆沿着相同的方位角对准。这样,模型能够使计算设备能够基于针对金属标志测量的雷达散射截面(Radar CrossSection,RCS)来预测与幽灵车辆的检测相关联的功率。RCS测量表示雷达对金属标志的检测程度。当处理与沿着相同方位角并且距离车辆12米(即,幽灵车辆所在位置)定位的表面相对应的雷达数据时,计算设备能够减去预测功率,以防止车辆自反射影响环境中实际位于距离车辆12米的表面的雷达测量。
能够开发扩展模型,当在车辆导航期间处理雷达回波时,该扩展模型能够用于自反射过滤。该扩展模型能够对由车辆雷达测量的多个位置模拟上述过程。例如,该模型能够允许基于跨越与雷达单元或多个雷达单元的操作相关联的整个视场的测量来过滤车辆的潜在自反射。
为了开发扩展模型,计算设备能够对多个假设的表面(例如,所有密集采样的位置[R,θ])执行上述过程,并且基于每个位置的测量RCS来聚合预期的幽灵车辆的影响。因此,并非预测车辆自反射可能出现在单个位置的雷达数据中,而是过滤技术能够考虑车辆自反射如何出现在雷达回波内测量的多个位置,因为环境中的对象或其他表面能够具有能够以不同的方式产生车辆自反射的不同的RCS测量。因此,计算设备能够有效地过滤输入的雷达数据,以考虑能够在雷达测量中出现的潜在车辆自反射,这可以帮助防止车辆控制系统响应于检测到幽灵车辆而执行不期望的操作。
实际上,系统可以推断车辆自反射在雷达处理的不同阶段会是什么样子。例如,系统可以在现场可编程门阵列(FPGA)上对输入的复杂原始雷达返回数据执行自反射过滤技术。计算设备可以使用雷达数据来确定具有表示环境的部分的体素的雷达数据立方体。雷达数据立方体可以具有表示来自雷达测量的不同信息(例如,范围数据、方位角数据和多普勒数据)的维度。这样,雷达数据立方体内的每个体素能够指示关于位于相对于车辆的给定范围和方位角的表面的RCS测量和其他信息(例如,多普勒数据)。因此,能够用多个体素构建数据立方体,以传达关于经由雷达测量的各种表面的信息。
为了预测潜在的车辆自反射,计算设备能够使用上述模型来生成车辆自反射数据立方体,其能够用于从与由雷达数据立方体表示的表面相关联的功率中过滤与幽灵车辆相关联的潜在功率。特别地,车辆自反射数据立方体也能够包括体素,其能够与表示雷达测量的雷达数据立方体对准。然而,车辆自反射数据立方体可以被生成以表示指示幽灵车辆将如何出现在环境的不同部分的数据中的预测的RCS测量。
在车辆反射数据立方体中表示的每个预测的RCS测量能够传达与潜在的幽灵车辆检测相关联的功率水平,并且可以取决于与由雷达数据立方体中的体素表示的给定表面相关联的给定RCS测量。能够基于与环境中的表面的关系和为该表面确定的信息来估计预测的RCS测量并将其分配给给定的位置。例如,如果为环境中的表面确定的雷达散射截面高于阈值功率水平,则计算设备可以确定标志或另一类型的反射表面可能位于该位置。反射表面可能导致大量电磁能量反射回来,被雷达系统接收。这样,计算设备能够使用该模型来推断表面可能导致幽灵车辆出现在雷达中的位置和方式。具体而言,该模型可以指示该表面可以导致幽灵车辆出现在大约两倍于该表面的范围并且大约以相同的方位角对准的位置,使得幽灵车辆看起来从该表面后面朝着该车辆行进。此外,该模型也可以指示幽灵车辆的多普勒大约是为该表面测量的多普勒的两倍。
通过使用该模型,计算设备能够生成车辆自反射数据立方体内的体素,以表示具有由雷达数据立方体表示的各种RCS测量的多个位置的预测RCS测量。例如,对于具有给定RCS测量、多普勒值“D”并且位于相对于车辆10米和方位角θ的表面,计算设备可以使用该模型来推断车辆自反射可能出现在位于相对于车辆20米和相同方位角θ的位置处,多普勒值为“2D”(例如,大约是该表面多普勒的两倍)。此外,与幽灵车辆相关联的估计RCS将取决于位于距车辆10米的表面的RCS测量。计算设备能够基于应用于经由雷达测量并由雷达数据立方体内的体素表示的各种表面的类似技术来推断各种位置的幽灵车辆功率估计。这些推论能够用于构建车辆自反射数据立方体的体素。
为了去除雷达数据内的潜在幽灵车辆,计算设备然后能够从雷达数据立方体中表示的不同位置过滤车辆自反射数据立方体内的预测RCS测量。也就是说,能够从雷达数据立方体中直接过滤(例如,减去)幽灵车辆的预测功率,这产生了表示环境的雷达测量的修改的雷达数据立方体,而没有与车辆的自反射相关联的功率。修改后的雷达数据立方体然后能够被用于绘制环境地图,而没有车辆的潜在自反射对地图内的测量的影响。此外,过滤操作能够涉及示例中的减法或其他过滤技术。
在一些示例中,系统能够在2D投影雷达图像中执行类似的操作,尽管在一些情况下减法可能不再是最佳操作。相反,系统可以将自反射渲染为图像层,该图像层与深度网络(例如,神经网络)的投影雷达图像一起输入,以计算出表示“过滤”(即,去除反射)的适当函数。从视觉上看,该反射图像可以在整个图像中包含车辆的多个叠加幽灵副本。
雷达范围方程(RRE)表示示例预测模型,其能够被用于利用先验车辆模型RCS(θ)和表面测量RCS(2R,θ,2D)来推断车辆自反射(例如,位于双倍距离(2R)、相同方位角(θ)和双倍多普勒(2D)的幽灵车辆)的信号功率。先验车辆模型RCS(θ)能够通过用已知的RCS反射器(例如,经常用于校准的雷达角立方体)环绕车辆来构建,并且由车辆的雷达在否则是空的场景(otherwise empty scene)中测量,或者由第二车辆用直接路径测量第一车辆。在一些示例中,系统可以对多个车辆自反射执行类似的过程,这可能发生在2R的所有正倍数的范围内。因此,这种减法方法能够使车辆雷达系统检测和识别否则被车辆的自反射“掩盖”的对象。这不同于其他技术,其他技术可能涉及丢弃(即,不使用)任何对象检测,其中系统看到不期望的车辆自反射。在其他示例中,其他模型能够被用于开发能够用于推断车辆自反射的信号功率的预测模型。
以下详细描述可以用于具有一个或多个天线阵列的一个或多个雷达单元。一个或多个天线阵列可以采用单输入单输出、单输入多输出(SIMO)、多输入单输出(MISO)、多输入多输出(MIMO)和/或合成孔径雷达(SAR)雷达天线架构。在一些实施例中,示例雷达单元架构可以包括多个“双开口波导”天线。术语“DOEWG”可以指代水平波导信道的一小段加上分成两部分的垂直信道。垂直信道的两个部分中的每一个可以包括输出端口,该输出端口被配置为辐射进入雷达单元的电磁波的至少一部分。此外,在一些情况下,多个双自由度天线可以被布置成一个或多个天线阵列。
一些示例雷达系统可以被配置为在W波段的电磁波频率(例如,77千兆赫(GHz))下操作。W波段可以与毫米量级(例如,1mm或4mm)的电磁波相对应。雷达系统可以使用一个或多个天线,这些天线能够将辐射能量聚焦成紧密的波束,以高准确性测量环境。这种天线可以是紧凑的(典型地具有矩形形状因数)、高效的(即,77GHz能量中的很少被损失以致在天线中加热或反射回发射器电子器件中)、低成本的和易于制造的(即,具有这些天线的雷达系统能够大批量制造)。
此外或可选地,使用不同极化的不同雷达单元可以防止雷达系统操作期间的干扰。例如,雷达系统可以被配置为经由SAR功能在垂直于自主车辆行进方向的方向上询问(即,发送和/或接收雷达信号)。因此,雷达系统可以能够确定关于车辆经过的路边对象的信息。在一些示例中,该信息可以是二维的(例如,各种对象距路边的距离)。在其他示例中,该信息可以是三维的(例如,检测到的对象的各个部分的点云)。因此,例如,车辆可以能够在行驶时“绘制”道路的侧面。
此外,示例中雷达系统的配置能够不同。例如,一些雷达系统可以由雷达单元组成,每个雷达单元配置有一个或多个天线阵列。天线阵列可以包括一组多个连接的天线,它们能够作为单个天线一起工作来发送或接收信号。通过组合多个辐射元件(即天线),当与使用非阵列天线的雷达单元相比时,天线阵列可以增强雷达单元的性能。特别地,当雷达单元配备有一个或多个天线阵列时,可以实现更高的增益和更窄的波束。因此,雷达单元可以被设计为具有以下配置的天线阵列:使得雷达单元能够测量环境的特定区域,诸如位于距雷达单元不同范围(距离)的目标区域。
配置有天线阵列的雷达单元能够在整体配置上有所不同。例如,在示例中,雷达单元上的阵列数量、阵列位置、阵列方向和天线阵列的尺寸能够变化。此外,雷达单元的阵列内的辐射元件(天线)的数量、位置、对准和方向也能够变化。因此,雷达单元的配置通常取决于雷达单元的期望性能。例如,被设计成测量远离雷达单元的距离(例如,雷达单元的远范围)的雷达单元的配置与用于测量雷达单元附近区域(例如,雷达单元的近场)的雷达单元的配置相比可以不同。
为了进一步说明,在一些示例中,雷达单元可以包括相同数量的发送天线阵列和接收天线阵列(例如,四个发送天线阵列和四个接收天线阵列)。在其他示例中,雷达单元可以包括不同于接收天线阵列数量的发送天线阵列数量(例如,6个发送天线阵列和3个接收天线阵列)。此外,一些雷达单元可以与能够控制雷达传输的寄生阵列一起工作。其他示例雷达单元可以包括一个或多个驱动阵列,驱动阵列具有连接到能量源的辐射元件,与寄生阵列相比,驱动阵列能够具有较小的总能量损失。
雷达单元上的天线可以布置在一个或多个线性天线阵列中(即,阵列中的天线排成一条直线)。例如,雷达单元可以包括以特定配置(例如,在雷达单元上的平行线中)布置的多个线性天线阵列。在其他示例中,天线也能够布置在平面阵列中(即,天线布置在单个平面上的多条平行线中)。此外,一些雷达单元能够具有布置在多个平面中的天线,从而形成三维阵列。
雷达单元也可以包括多种类型的阵列(例如,一部分上的线性阵列和另一部分上的平面阵列)。因此,配置有一个或多个天线阵列的雷达单元能够减少雷达系统测量周围环境可能需要的雷达单元的总数。例如,车辆雷达系统可以包括具有天线阵列的雷达单元,其能够用于在车辆导航时根据需要测量环境中的特定区域。
一些雷达单元可以具有不同的功能和操作特性。例如,雷达单元可以被配置用于远程操作,并且另一雷达单元可以被配置用于短程操作。雷达系统可以使用不同雷达单元的组合来测量环境的不同区域。因此,可以希望短程雷达单元的信号处理针对雷达单元近场中的雷达反射进行优化。
现在参考附图,图1是图示车辆100的功能框图,车辆100表示能够完全或部分以自主模式运行的车辆。更具体地,车辆100可以通过从计算系统(例如,车辆控制系统)接收控制指令而在无人交互的自主模式下操作。作为在自主模式下操作的一部分,车辆100可以使用传感器(例如,传感器系统104)来检测并可能识别周围环境的对象,以实现安全导航。在一些示例实施例中,车辆100还可以包括使驾驶员(或远程操作员)能够控制车辆100的操作的子系统。
如图1所示,车辆100包括各种子系统,诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112、数据贮存器114和用户界面116。车辆100的子系统和组件可以以各种方式互连(例如,有线或安全无线连接)。在其他示例中,车辆100可以包括更多或更少的子系统。此外,本文描述的车辆100的功能能够被分成附加的功能或物理组件,或者在实现中被组合成更少的功能或物理组件。
推进系统102可以包括可操作以为车辆100提供动力运动的一个或多个组件,并且能够包括引擎/马达118、能量源119、变速器120和车轮/轮胎121以及其他可能的组件。例如,引擎/马达118可以被配置为将能量源119转换成机械能,并且能够与内燃机、一个或多个电动马达、蒸汽机或斯特林引擎以及其他可能的选项中的一个或组合相对应。例如,在一些实施方式中,推进系统102可包括多种类型的引擎和/或马达,诸如汽油引擎和电动马达。
能量源119表示可以全部或部分地为车辆100的一个或多个系统(例如,引擎/马达118)提供动力的能量源。例如,能量源119能够与汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其他电源相对应。在一些实施方式中,能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
变速器120可以将机械动力从引擎/马达118发送到车轮/轮胎121和/或车辆100的其他可能系统。这样,变速器120可以包括变速箱、离合器、差速器和驱动轴以及其他可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轴。
车辆100的车轮/轮胎121在示例实施方式中可以具有各种配置。例如,除了其他可能的配置之外,车辆100可以以独轮车、自行车/摩托车、三轮车或汽车/卡车四轮形式存在。这样,车轮/轮胎121可以以各种方式连接到车辆100,并且能够以不同的材料存在,诸如金属和橡胶。
传感器系统104能够包括各种类型的传感器,诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、一个或多个雷达单元126、激光测距仪/LIDAR单元128、照相机130、转向传感器123和油门/制动传感器125以及其他可能的传感器。在一些实施方式中,传感器系统104还可以包括被配置为监视车辆100的内部系统的传感器(例如,O2监视器、燃料表、引擎油温、制动器状况)。
GPS 122可以包括收发器,该收发器可操作以提供关于车辆100相对于地球的位置的信息。IMU 124可以具有使用一个或多个加速度计和/或陀螺仪的配置,并且可以基于惯性加速度感测车辆100的位置和方向变化。例如,当车辆100静止或运动时,惯性测量单元124可以检测车辆100的俯仰和偏航。
雷达单元126可以表示一个或多个系统,该系统被配置为使用无线电信号来感测车辆100的本地环境内的对象(例如,雷达信号),包括对象的速度和朝向。这样,雷达单元126可以包括一个或多个配备有一个或多个天线的雷达单元,该一个或多个天线被配置为如上所述发送和接收雷达信号。在一些实施方式中,雷达单元126可以与可安装的雷达系统相对应,该雷达系统被配置为获得车辆周围环境的测量100。例如,雷达单元126可以包括被配置为耦合到车辆的车身底部的一个或多个雷达单元。
激光测距仪/LIDAR 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器以及其他系统组件,并且可以以相干模式(例如,使用外差检测)或以非相干检测模式操作。相机130可以包括被配置为捕捉车辆100的环境的图像的一个或多个设备(例如,静态相机或视频相机)。
转向传感器123可以感测车辆100的转向角度,这可以涉及测量方向盘的角度或者测量代表方向盘角度的电信号。在一些实施方式中,转向传感器123可以测量车辆100的车轮的角度,诸如检测车轮相对于车辆100的前向轴线的角度。转向传感器123还可以被配置为测量方向盘角度、表示方向盘角度的电信号以及车辆100的车轮角度的组合(或子集)。
油门/制动传感器125可以检测车辆100的油门位置或制动位置。例如,油门/制动传感器125可以测量油门踏板(油门)和制动踏板两者的角度,或者可以测量电信号,该电信号可以表示例如油门踏板(油门)的角度和/或制动踏板的角度。油门/制动传感器125还可以测量车辆100的油门体的角度,其可以包括向引擎/马达118(例如,蝶形阀或化油器)提供能量源119的调节的物理机构的一部分。此外,油门/制动传感器125可以测量车辆100的转子上的一个或多个制动块的压力或者油门踏板(油门)和制动踏板的角度、表示油门踏板(油门)和制动踏板的角度的电信号、油门体的角度以及至少一个制动块施加到车辆100的转子上的压力的组合(或子集)。在其他实施例中,油门/制动传感器125可以被配置为测量施加到诸如油门或制动踏板的车辆踏板上的压力。
控制系统106可以包括被配置为辅助导航车辆100的组件,诸如转向单元132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径规划系统142和避障系统144。更具体地,转向单元132可操作以调节车辆100的航向,油门134可控制引擎/马达118的运行速度以控制车辆100的加速度。制动单元136可以使车辆100减速,这可以涉及使用摩擦来使车轮/轮胎121减速。在一些实施方式中,制动单元136可以将车轮/轮胎121的动能转换成电流,以供车辆100的一个或多个系统随后使用。
传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或能够处理来自传感器系统104的数据的其他算法。在一些实施方式中,传感器融合算法138可以基于输入的传感器数据提供评估,诸如对单个对象和/或特征的评估、对特定情况的评估和/或对给定情况下潜在影响的评估。
计算机视觉系统140可以包括可操作来处理和分析图像的硬件和软件,以努力确定对象、环境对象(例如,停车灯、道路边界等))以及障碍。这样,计算机视觉系统140可以使用例如对象识别、从运动构造(SFM)、视频跟踪和计算机视觉中使用的其他算法来识别对象、绘制环境地图、跟踪对象、估计对象的速度等。
导航/路径规划系统142可以确定车辆100的行驶路径,这可以涉及在操作期间动态调整导航。这样,导航/路径规划系统142可以使用来自传感器融合算法138、GPS 122和地图以及其他来源的数据来导航车辆100。避障系统144可以基于传感器数据评估潜在的障碍物,并使车辆100的系统避开或以其他方式通过潜在的障碍物。
如图1所示,车辆100还可以包括外围设备108,诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以为用户提供控件或其他元件来与用户界面116交互。例如,触摸屏148可以向车辆100的用户提供信息。用户界面116也可以经由触摸屏148接受来自用户的输入。外围设备108还可以使车辆100能够与诸如其他车辆设备的设备通信。
无线通信系统146可以直接或经由通信网络与一个或多个设备安全地无线通信。例如,无线通信系统146可以使用3G蜂窝通信,诸如CMDA、EVDO、GSM/GPRS,或者诸如WiMAX或LTE的4G蜂窝通信。可选地,无线通信系统146可以使用WiFi或其他可能的连接与无线局域网络(WLAN)通信。例如,无线通信系统146也可以使用红外链路、蓝牙或ZigBee直接与设备通信。在本公开的上下文中,诸如各种车辆通信系统的其他无线协议也是可能的。例如,无线通信系统146可以包括一个或多个专用短程通信(DSRC)设备,其可以包括车辆和/或路边站之间的公共和/或私人数据通信。
车辆100可以包括用于给组件供电的电源110。在一些实施方式中,电源110可以包括可充电锂离子电池或铅酸电池。例如,电源110可以包括一个或多个被配置为提供电能的电池。车辆100也可以使用其他类型的电源。在示例实施方式中,电源110和能量源119可以集成到单个能量源中。
车辆100还可以包括计算机系统112以执行操作,诸如本文描述的操作。这样,计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器),该处理器113可操作以执行存储在诸如数据贮存器114的非暂时性计算机可读介质中的指令115。在一些实施方式中,计算机系统112可以表示多个计算设备,这些计算设备可以用于以分布式方式控制车辆100的单个组件或子系统。
在一些实施方式中,数据贮存器114可以包含可由处理器113执行以执行车辆100的各种功能的指令115(例如,程序逻辑),功能包括上面结合图1描述的那些功能。数据贮存器114也可以包含附加指令,包括向其发送数据、从其接收数据、与推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个交互和/或控制它们。
除了指令115之外,数据贮存器114可以存储数据,诸如道路地图、路径信息以及其他信息。在车辆100以自主、半自主和/或手动模式运行期间,车辆100和计算机系统112可以使用这样的信息。
车辆100可以包括用户界面116,用于向车辆100的用户提供信息或者从车辆100的用户接收输入。用户界面116可以控制或启用可以在触摸屏148上显示的内容和/或交互式图像的布局的控制。此外,用户界面116可以包括一组外围设备108内的一个或多个输入/输出设备,诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可以基于从各种子系统(例如,推进系统102、传感器系统104和控制系统106)以及从用户界面116接收的输入来控制车辆100的功能。例如,计算机系统112可以利用来自传感器系统104的输入来估计由推进系统102和控制系统106产生的输出。取决于实施例,计算机系统112可以可操作以监视车辆100及其子系统的许多方面。在一些实施例中,计算机系统112可以基于从传感器系统104接收的信号禁用车辆100的一些或所有功能。
车辆100的组件可以被配置为以互连的方式与它们相应的系统内部或外部的其它组件一起工作。例如,在示例实施例中,照相机130可以捕获多个图像,这些图像可以表示关于以自主模式操作的车辆100的环境状态的信息。环境状态可以包括车辆行驶的道路的参数。例如,计算机视觉系统140可以能够基于道路的多个图像来识别坡度(斜坡)或其他特征。另外,GPS 122和计算机视觉系统140识别的特征的组合可以与存储在数据贮存器114中的地图数据一起使用,以确定特定的道路参数。此外,雷达单元126还可以提供关于车辆周围环境的信息。
换句话说,各种传感器(可以被称为输入指示和输出指示传感器)和计算机系统112的组合可以相互作用,以提供用于控制车辆的输入的指示或车辆周围环境的指示。
在一些实施例中,计算机系统112可以基于由除无线电系统之外的系统提供的数据来做出关于各种对象的确定。例如,车辆100可以具有被配置为感测车辆视场中的对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于车辆视场中的对象的信息,并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。此外,车辆100还可以包括远程信息处理控制单元(TCU)160。TCU 160可以通过一种或多种无线技术启用车辆连接和内部乘客设备连接。
虽然图1示出了车辆100的各种组件,即,无线通信系统146、计算机系统112、数据贮存器114和用户界面116,它们被集成到车辆100中,但是这些组件中的一个或多个可以与车辆100分开安装或关联。例如,数据贮存器114可以部分或全部与车辆100分开存在。因此,车辆100可以以设备元件的形式提供,这些设备元件可以单独或一起定位。构成车辆100的设备元件可以以有线和/或无线方式通信耦合在一起。
图2A、图2B、图2C、图2D和图2E图示了车辆100的物理配置的不同视图。包括各种视图来描绘车辆100上的示例传感器位置202、204、206、208、210。在其他示例中,传感器能够在车辆100上具有不同的位置。尽管车辆100在图2A-图2E中被描绘为货车,但是车辆100能够在示例中具有其他配置,诸如卡车、汽车、半拖车卡车、摩托车、公共汽车、穿梭车、高尔夫球车、越野车、机器人设备或农用车辆,以及其他可能的示例。
如上所述,车辆100可以包括耦合在各种外部位置的传感器,诸如传感器位置202-210。车辆传感器包括一种或多种类型的传感器,每个传感器被配置为从周围环境中捕获信息或者执行其他操作(例如,通信链路,获得整体定位信息)。例如,传感器位置202-210可以用作一个或多个照相机、雷达单元、LIDAR单元、测距仪、无线电设备(例如,蓝牙和/或802.11)和声学传感器以及其他可能类型的传感器的任意组合的位置。
当耦合在图2A-图2E所示的示例传感器位置202-210时,各种机械紧固件可以被使用,包括永久或非永久紧固件。例如,可以使用螺栓、螺钉、夹子、插销、铆钉、锚和其他类型的紧固件。在一些示例中,传感器可以使用粘合剂被耦合到车辆。在进一步的示例中,传感器可以被设计和制造为车辆组件的一部分(例如,车辆后视镜的一部分)。
在一些实施方式中,一个或多个传感器可以使用可操作来调节一个或多个传感器的朝向的可移动安装件被定位在传感器位置202-210。可移动安装件可以包括旋转平台,该旋转平台能够旋转传感器,以便从车辆100周围的多个方向获得信息。例如,位于传感器位置202的传感器可以使用能够在特定角度和/或方位角范围内旋转和扫描的可移动支架。这样,车辆100可以包括机械结构,该机械结构使得一个或多个传感器能够被安装在车辆100的顶部。此外,在示例中,其他安装位置也是可能的。在一些情况下,耦合在这些位置的传感器能够提供数据,数据能够被远程操作员用来向车辆100提供帮助。
图3是例示计算设备300的简化框图,图示了可以被包括在被布置为根据本文的实施例操作的计算设备中的一些组件。计算设备300可以是客户端设备(例如,由用户(例如,远程操作员)主动操作的设备)、服务器设备(例如,向客户端设备提供计算服务的设备)或一些其他类型的计算平台。
在一些实施例中,计算设备300可以被实现为计算机系统112,其能够位于车辆100上并执行与车辆操作相关的处理操作。例如,计算设备300能够用于处理从传感器系统104接收的传感器数据、开发控制指令、实现与其他设备的无线通信和/或执行其他操作。替代地,计算设备300能够位于远离车辆100的位置,并经由安全无线通信进行通信。例如,计算设备300可以作为远程定位的设备来操作,远程人类操作员能够使用该设备来与一个或多个车辆通信。
在图3所示的示例实施例中,计算设备300包括处理器302、存储器304、输入/输出单元306和网络接口308,所有这些都可以通过系统总线310或类似机制耦合。在一些实施例中,计算设备300可以包括其他组件和/或外围设备(例如,可拆卸贮存器、传感器等)。
处理器302可以是任何类型的计算机处理元件中的一个或多个,诸如中央处理单元(CPU)、协处理器(例如,数学、图形或加密协处理器)、数字信号处理器(DSP)、网络处理器和/或执行处理器操作的某种形式的集成电路或控制器。在一些情况下,处理器302可以是一个或多个单核处理器。在其他情况下,处理器302可以是具有多个独立处理单元的一个或多个多核处理器。处理器302还可以包括用于临时存储正在执行的指令和相关数据的寄存器存储器,以及用于临时存储最近使用的指令和数据的高速缓冲存储器。
存储器304可以是任何形式的计算机可用存储器,包括但不限于随机存取存储器(RAM)、只读存储器(ROM)和非易失性存储器。这可以包括闪存、硬盘驱动器、固态驱动器、可重写光盘(CDs)、可重写数字视频盘(DVDs)和/或磁带贮存器,仅举几个例子。计算设备300可以包括固定存储器以及一个或多个可移动存储器单元,后者包括但不限于各种类型的安全数字(SD)卡。因此,存储器304可以表示主存储器单元以及长期贮存器。其他类型的存储器可能包括生物存储器。
存储器304可以存储程序指令和/或程序指令可以在其上操作的数据。举例来说,存储器304可以将这些程序指令存储在非暂时性的计算机可读介质上,使得这些指令可由处理器302执行,以实行本说明书或附图中公开的任何方法、过程或操作。
如图3所示,存储器304可以包括固件314A、核314B和/或应用314C。固件314A可以是用于引导或以其他方式启动计算设备300的一些或全部的程序代码。核314B可以是操作系统,包括用于存储器管理、进程调度和管理、输入/输出和通信的模块。核314B还可以包括允许操作系统与计算设备300的硬件模块(例如,存储器单元、网络接口、端口和总线)通信的设备驱动器。应用314C可以是一个或多个用户空间软件程序,诸如web浏览器或电子邮件客户端,以及由这些程序使用的任何软件库。在一些示例中,应用314C可以包括一个或多个神经网络应用和其他基于深度学习的应用。存储器304还可以存储由这些和其他程序和应用使用的数据。
输入/输出单元306可以促进用户和外围设备与计算设备300和/或其他计算系统的交互。输入/输出单元306可以包括一种或多种类型的输入设备,诸如键盘、鼠标、一个或多个触摸屏、传感器、生物传感器等。类似地,输入/输出单元306可以包括一种或多种类型的输出设备,诸如屏幕、监视器、打印机、扬声器和/或一个或多个发光二极管(LED)。附加地或替代地,例如,计算设备300可以使用通用串行总线(USB)或高清多媒体接口(HDMI)端口接口与其他设备通信。在一些示例中,输入/输出单元306能够被配置为从其他设备接收数据。例如,输入/输出单元306可以从车辆传感器接收传感器数据。
如图3所示,输入/输出单元306包括GUI 312,GUI 312可以被配置为向远程操作员或另一用户提供信息。GUI 312可以是可显示的一个或多个显示界面,或者用于传达信息和接收输入的另一种类型的机制。在一些示例中,GUI 312的表示可以取决于车辆情况而不同。例如,计算设备300可以以特定格式提供GUI 312,诸如具有用于由远程操作员选择的单个可选选项的格式。
网络接口308可以采取一个或多个有线接口的形式,诸如以太网(例如,快速以太网、千兆以太网等)。网络接口308还可以支持在一个或多个非以太网介质上进行通信,诸如同轴电缆或电力线,或者在广域介质上进行通信,诸如同步光网络(SONET)或数字用户线路(DSL)技术。网络接口308可以额外地采用一个或多个无线接口的形式,诸如IEEE 802.11(Wifi)、
Figure BDA0003521729630000171
全球定位系统(GPS)或广域无线接口。然而,在网络接口308上可以使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外,网络接口308可以包括多个物理接口。例如,计算设备300的一些实施例可以包括以太网、
Figure BDA0003521729630000172
和Wifi接口。在一些实施例中,网络接口308可以使计算设备300能够与一个或多个车辆连接,以允许本文呈现的远程协助技术。
在一些实施例中,可以部署计算设备300的一个或多个实例来支持集群架构。这些计算设备的确切物理位置、连接性和配置对于客户端设备可以是未知的和/或不重要的。因此,计算设备可以被称为“基于云的”设备,其可以被容纳在各种远程数据中心位置。此外,计算设备300可以实现本文描述的实施例的性能,包括传感器数据的有效处理。
图4是用于过滤传感器数据中的车辆自反射的系统。在示例实施例中,系统400包括计算设备402、雷达系统404、传感器系统406和车辆408。在其他实施例中,系统400能够包括图4中未示出的其他组件。
系统400能够执行本文呈现的车辆自反射过滤技术,以增强车辆408的性能。具体而言,计算设备402能够使用一种或多种过滤技术来检测和过滤表示由环境中的金属标志、车辆和其他表面引起的车辆408的自反射的传感器数据。系统400能够迭代地执行过滤技术,以从雷达数据或用于使车辆408能够在位置之间自主导航的其他类型的传感器数据中去除车辆408的自反射。
在车辆408的导航期间,雷达系统404和传感器系统406可以捕获表示环境测量的传感器数据。在一些情况下,一个或多个对象能够导致雷达数据(或另一种类型的传感器数据)包括车辆408的不期望的自反射。例如,金属标志的反射特性能够导致幽灵车辆看起来从金属标志后面接近车辆408,这可以触发控制系统416制动或转向以避开幽灵车辆。控制系统416的这些动作是不期望的,因为幽灵车辆仅仅是由金属标志引起的反射,并且改变策略能够对车辆408的自主性能产生负面影响。这样,经由本文呈现的一种或多种车辆自反射技术,系统400能够通过使这些幽灵车辆能够被预期、检测并自从雷达系统404和传感器系统406获得的传感器数据中去除来辅助车辆408的导航。
计算设备402表示系统400内的一个或多个处理单元,能够执行本文描述的一个或多个操作。例如,计算设备402能够被配置为分别执行图6和图8所示的方法600和/或方法800。计算设备402可以被实现为图1的计算系统112、图3的计算设备300或另一种类型的处理设备或设备组。在一些实施例中,计算设备402位于车辆408上,并且可以结合与雷达系统404相关联的一个或多个FPGA。通过使计算设备402位于车辆408上,系统400内的组件之间通信所需的时间能够被减少。在其他实施例中,计算设备402可以位于与车辆408物理分离的位置。具体而言,计算设备402可以被远程定位,并与位于车辆上的一个或多个计算系统(例如,控制系统416)进行无线通信。
雷达系统404表示一个或多个雷达单元,其能够将雷达信号发送到环境中并接收来自环境中表面的雷达反射。到环境中无线电反射特征的距离能够根据发送和接收之间的时间延迟来确定。雷达系统404能够发射频率随时间变化的信号,诸如具有时变频率斜坡的信号,然后将发射信号和反射信号之间的频率差与范围估计相关联。在一些示例中,雷达系统404还可以基于接收到的反射信号中的多普勒频移来估计反射对象的相对运动。此外,雷达系统404能够使用定向天线来发送和/或接收信号,以将每个范围估计与方向角相关联。更一般地,定向天线也能够用于将辐射能量聚焦在给定的感兴趣视场上。组合测量的距离和方向信息能够允许映射周围的环境特征。
传感器系统406表示能够补充车辆408的导航操作的其他类型的传感器。例如,传感器系统406可以包括具有一种或多种类型的相机(例如,飞行时间相机)的相机系统和/或能够测量车辆408周围环境的LIDAR系统。此外,车辆408可以与以某种能力使用雷达系统404的任何类型的车辆相对应。例如,车辆408能够与在不同地点之间运送乘客的客运车辆相对应。车辆408能够类似地用于运送货物或其他物品。
为了辅助车辆408的导航,计算设备402可以执行过滤技术,以去除经由雷达系统404获得的雷达数据和/或来自传感器系统406的其他传感器数据中的幽灵车辆检测(即,车辆408的自反射)。例如,计算设备402能够使雷达系统404将雷达信号发送到车辆408的周围环境中,并获得表示车辆408行驶时环境中的对象和其他表面的反射的雷达数据。当执行处理技术时,计算设备402可以基于多普勒内容和幅度特性将目标与杂波分离。在IF放大和相敏检测之后,计算设备402能够执行雷达信号到数字形式的转换。计算设备402可以使用通信接口414与系统400内的其他组件进行有线或无线通信。
计算设备402能够确定传达关于环境中的表面的信息的雷达表示。在一些实施方式中,雷达表示能够包括被分配以表示位于环境中不同位置的表面的RCS测量。为了从雷达表示中滤除车辆408的自反射,计算设备402可以生成车辆自反射表示,其基于车辆自反射模型410将预测的车辆自反射信息(例如,预测的RCS值)分配给环境中的不同位置。具体而言,车辆自反射模型410可以基于关于位于其他位置的表面的信息以及这些位置之间的关系,使预定义的自反射值能够被分配给所述位置。位置之间的关系能够取决于相对于车辆408沿着相同方位角布置的位置,并且能够反映出现在两倍表面范围的幽灵车辆的预期性质,就好像幽灵车辆从反射表面后面朝着车辆408行进一样。这样,能够从雷达表示中过滤所生成的车辆自反射表示中的信息,这产生修改的雷达表示,修改的雷达表示包括与环境中的表面相对应的测量,而没有表示车辆408的自反射的数据。
在从雷达数据(或另一种类型的传感器数据)中过滤幽灵车辆检测之后,计算设备402可以使用剩余的数据来检测和识别对象,并且通常映射环境。计算设备402然后可以向控制系统416提供映射环境的信息,控制系统416能够使用该信息安全地导航车辆408通过周围环境。在一些实施例中,计算设备402可以对从雷达系统404内的不同雷达单元获得的雷达数据并行执行过滤技术。类似地,计算设备402还能够对雷达数据和来自传感器系统406的传感器数据同时执行过滤技术。
在一些实施例中,计算设备402可以使用神经网络412来执行过滤过程的一个或多个方面。例如,计算设备402可以向神经网络412提供雷达数据和与雷达数据内的车辆408的自反射相关联的预测功率,以从雷达数据中过滤预测功率。神经网络412可以使雷达数据能够用于对象识别和定位,而没有来自车辆408的潜在自反射的不期望的噪声。在一些示例中,神经网络412用数据集训练,该数据集具有由人类贴标者提供的“车辆或非车辆”的真值标签(例如,围绕任何真实车辆绘制的边界框)。贴标者可以使用记录的激光和/或相机数据来帮助确定真值3D盒子。因此,雷达相对于相机和激光器的相对位置和方向是已知的,这使得能够确定这些3D框在雷达图像中的位置。
在一些实施例中,计算设备402能够使用传感器系统406来补充处理来自雷达系统404的雷达数据。例如,传感器系统406能够被用于当过滤技术未能去除指示幽灵车辆的雷达数据时,确认检测到的对象是否位于车辆408的环境中。
图5A和图5B图示了根据一个或多个示例实施例的执行自反射过滤技术的车辆。在示例实施例中,场景500表示描绘车辆502使用传感器数据行进路径以了解其周围环境并实现安全导航的简化图示。例如,路径可以与穿过城市环境、公路环境或农村环境等的路线相对应。这样,传感器数据能够使车辆502能够检测、识别和避免潜在的障碍物,同时还允许车辆502根据交通规则和道路边界导航。
图5A图示了鸟瞰图中的场景500,其示出了车辆502在捕获传感器数据(例如,雷达数据)以了解周围环境的同时沿直线路径行驶。如图所示,车辆502可以获得雷达测量,该雷达测量指示存在相对于视轴508以方位角510对准的标志504和幽灵车辆506。由于标志504的反射性质导致车辆502的自反射出现在幽灵车辆506的位置,幽灵车辆506可以出现在雷达数据中。这样,在不过滤与幽灵车辆506相对应的数据的情况下,车辆502可能潜在地执行不期望的动作来避开幽灵车辆506。
图5B从侧面图示了场景500,其示出了车辆502、标志504和幽灵车辆506之间的范围(距离)。如上所述,反射表面能够导致车辆502的自反射出现在雷达数据和其他类型的传感器数据中。在场景500中,标志504位于相对于车辆502的范围520处,并且可以导致幽灵车辆506出现在相对于车辆502的范围522处的雷达数据内。范围522(即,车辆502和幽灵车辆506之间的距离)大约是车辆502和标志504之间的距离(即,范围520)的两倍。例如,范围520可以表示车辆502和标志504之间的12米,而范围522表示车辆502和幽灵车辆506之间的24米。这样,预定义的模型能够基于针对标志504获得的测量来预期幽灵车辆506的位置,这进一步使计算设备能够从数据中过滤幽灵车辆506。
在一些示例中,雷达可以指示标志504是用多普勒值“D”测量的。这样,用于预测与幽灵车辆506相对应的雷达内功率的模型可以指示幽灵车辆506具有大约两倍的多普勒值“D”。这样,当从表示幽灵车辆506位置处的一个或多个表面的雷达数据中预期和过滤幽灵车辆506时,计算设备能够考虑多普勒测量。
图6是根据一个或多个实施例的用于过滤车辆自反射的示例方法600的流程图。方法600可以包括一个或多个如由块602、604、606、608、610、612和614中的一个或多个所描绘的操作、功能或动作,除了其他可能的系统之外,这些操作、功能或动作中的每一个都可以由先前图中所示的任何系统来实行。
本领域技术人员将理解,本文描述的流程图图示了本公开的某些实施方式的功能和操作。在这点上,流程图的每个块可以表示模块、段或程序代码的一部分,其包括可由一个或多个处理器执行的一个或多个指令,用于实现过程中的特定逻辑功能或步骤。程序代码可以被存储在任何类型的计算机可读介质上,诸如包括磁盘或硬盘驱动器的存储设备。
此外,每个块可以表示被连线以执行过程中特定逻辑功能的电路。替代实施方式被包括在本申请的示例实施方式的范围内,其中功能可以不按所示或所讨论的顺序执行,包括基本上同时或相反的顺序,这取决于所涉及的功能,如本领域技术人员所理解的。
在块602,方法600涉及接收雷达数据。传感器处理系统(例如,图4所示的计算设备402)可以从车辆雷达系统获得雷达数据,用于随后的处理,以了解车辆的环境。在其他实施例中,能够使用不同类型的传感器,诸如LIDAR或飞行时间相机。此外,雷达数据能够源自与车辆雷达系统相关联的一个或多个雷达单元。
在块604,方法600涉及发起车辆自反射过滤过程。在一些实施例中,自反射过滤过程能够是具有一系列阶段的流水线。尽管对于图6所示的方法600,以线性顺序示出了各个阶段,但是其他示例方法能够涉及并行执行多个阶段。此外,在一些示例实施例中,方法600可以涉及自动应用一种或多种过滤技术。具体而言,雷达处理可以涉及自动过滤车辆自反射以提高雷达测量的精度。在一些示例中,过滤过程可以涉及执行特定阶段或一组阶段。
在块606,方法600涉及应用第一阶段过滤。具体而言,车辆自反射过滤过程最初可以涉及基于雷达数据确定传达关于环境中的表面的信息的雷达表示。流水线的第一阶段能够涉及使用雷达数据立方体来传达环境信息,并生成表示车辆自反射信息的对应数据立方体,该信息能够被用于去除雷达内的不希望的数据。
图7A图示了示例雷达数据立方体700,其包括被布置为表示环境的雷达测量的体素。具体而言,雷达数据立方体700可以指示位于环境内并在雷达数据内检测到的不同表面的范围数据702、多普勒数据704和方位角数据706。例如,体素708可以传达关于位于相对于车辆的特定范围和方位角的环境中的表面的测量RCS和多普勒。
雷达数据立方体700可以表示雷达硬件收集的关于车辆场景的信息。也就是说,对于雷达数据立方体700中的每个体素,可以测量RCS并将其与该体素相关联。例如,计算设备能够用一组坐标(范围、θ、多普勒)来测量体素的RCS(范围、θ、多普勒),并对每个体素重复该过程。在一些情况下,能够并行地确定体素的RCS测量。
雷达数据立方体700的结构能够类似地用于表示车辆自反射信息。例如,计算设备能够生成表示与车辆自反射相关联的预测功率的类似配置的数据立方体(即,车辆自反射立方体)。为了生成车辆自反射立方体,计算设备可以使用预定义的模型来基于对雷达数据立方体700内的对应体素测量的RCS将预测的RCS与每个体素相关联。预定义的模型涉及将环境中表面的测量RCS因式分解,以预测与车辆自反射相关的RCS,因为它们可能出现在雷达数据中。
作为示例,对于任何RCS测量、范围、方位角和多普勒(例如,RCS_self(RCS(范围、θ、多普勒)),计算设备可以使用如果从参考各向同性发射器反射,车辆在雷达系统看来会是什么样子的模型。对于位于10米范围、45度方位角和多普勒值D处的金属标志,该金属标志可以导致幽灵车辆出现在20米、45度方位角处,并且多普勒值2D。这样,车辆自反射立方体可以指示在那个位置(例如,20米、45度方位角和多普勒值2D)的幽灵车辆的估计的RCS功率。另一个位于12米范围、40度方位角和多普勒值D的金属标志可以会导致幽灵车出现在24米、40度方位角和多普勒值2D。车辆自反射立方体也可以指示在那个位置(例如,24米,40度方位角,以及多普勒值2D)的幽灵车辆的估计的RCS功率。
第一阶段的过滤过程能够涉及从雷达数据立方体700过滤车辆自反射立方体内的信息。具体而言,能够从雷达数据立方体700内的对应体素的测量的RCS中过滤(例如,减去)车辆自反射立方体内的每个体素的预测的RCS。因此,修改的雷达数据立方体700包括RCS测量,该RCS测量不包括与车辆自反射相关联的功率。
在块608,方法600涉及应用第二阶段过滤。第二阶段过滤可以涉及使用与雷达数据相对应的一个或多个二维雷达图像。例如,雷达数据能够用于确定包括像素的2D雷达图像,每个像素指示关于给定表面的信息。
图7B描绘了2D雷达图像710,其包括表示环境内测量表面的范围数据712和方位角数据714的像素。在其他实施例中,雷达图像710可以传达范围数据和多普勒数据。第二阶段过滤还可以涉及生成对应的2D图像,该图像具有表示与雷达数据内的车辆自反射相关联的预测RCS测量的像素(即,车辆自反射2D图像)。
为了生成车辆自反射2D图像,计算设备可以使用预定义模型和雷达图像710内的信息。具体而言,由雷达图像710内的像素(例如,像素716)表示的信息能够用于估计车辆自反射的功率。第二阶段过滤过程然后可以涉及从由2D雷达图像710表示的RCS测量中过滤(例如,减去)与车辆自反射相关联的估计功率。在一些示例中,计算设备可以使用神经网络来执行过滤过程。
在框610,方法600涉及应用第三阶段过滤。第三阶段过滤可以涉及使用稀疏数据格式的雷达数据。图7C图示了根据一个或多个示例实施例的稀疏雷达数据。稀疏雷达数据720被示为具有根据X轴722和Y轴724布置的数据点的图表。每个点还具有一个相关联的径向速度(从其测量的多普勒计算)。这样,过滤能够包括基于稀疏雷达数据720内车辆自反射的预测位置和径向速度来去除数据点。例如,如果预测的自反射在足够接近测量点的位置和径向速度,则该点被认为是自反射并被滤除。
在框612,方法600涉及提供映射环境的信息。例如,计算设备可以基于在雷达数据内检测和识别的对象来提供控制指令。由于使用了不同的过滤技术,可以准确地执行对象检测,而不会在雷达数据中出现潜在的幽灵车辆。
在一些示例实施例中,处理系统可以并行执行方法600的多个块。例如,处理系统能够利用向执行方法600贡献计算资源的多个数字信号处理核心。
图8是根据一个或多个实施例的用于执行车辆自反射技术的示例方法800的流程图。方法800可以包括一个或多个操作、功能或动作,如框802、804、806、808和810中的一个或多个所描绘的,除了其他可能的系统之外,每个操作、功能或动作可以由先前图中所示的任何系统来实行。
在框802,方法800涉及在计算设备处并且从耦合到车辆的雷达单元接收指示环境的雷达数据。一个或多个雷达单元能够用于获取雷达数据。
在一些实施例中,计算设备可以导致雷达单元发送具有伸展线性调频(LFM)波形的雷达信号。因此,计算设备能够基于具有伸展LFM波形的雷达信号接收雷达数据。
在框804,方法800涉及基于雷达数据确定传达关于环境中多个表面的信息的第一雷达表示。
第一雷达表示在实施例中能够不同。在一些示例中,计算设备可以确定具有第一多个体素的雷达数据立方体,每个体素指示关于环境中给定表面的信息。第一多个体素中的每个体素还能够指示环境中给定表面的范围、方位和多普勒。
在一些实施例中,计算设备可以使用雷达数据来确定具有第一多个像素的二维雷达图像,每个像素指示关于环境中给定表面的信息。计算设备还可以使用稀疏数据集形式的雷达数据。
在框806,方法800涉及使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于多个表面的信息将预测自反射值分配给环境的相应位置。预定义模型能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系,将预定义自反射值分配给第一位置。在一些示例中,第一位置和第二位置之间的关系指示第一位置位于相对于车辆的第一范围和特定方位角,第二位置位于相对于车辆的第二范围和特定方位角,第一范围大约是第二范围的两倍。在一些示例中,该关系可以进一步指示第一位置包括相对于车辆的第一多普勒,并且第二位置包括相对于车辆的第二多普勒,其中,第一多普勒大约是第二多普勒的两倍。
在一些示例中,计算设备可以将第二雷达表示生成为具有第二多个体素的反射数据立方体,每个体素表示对环境的给定位置的预测自反射值。第二多个体素中的每个体素还可以指示与环境的给定位置相对应的范围、方位角和多普勒。计算设备可以将第二雷达表示生成具有第二多个像素二维反射图像,每个像素表示对环境的给定位置的预测自反射值。
在框808,方法800涉及基于第二雷达表示中的预测自反射值来修改第一雷达表示。
在一些示例中,修改第一雷达表示涉及执行从雷达数据立方体去除反射数据立方体的过滤过程。例如,关于由多个体素指示的多个表面的信息包括每个表面的雷达散射截面(RCS)测量。这样,计算设备可以执行过滤过程,以从由第一多个体素指示的多个表面的RCS测量中减去由第二多个体素表示的预测自反射值。在一些示例中,计算设备还可以基于从由第一多个体素指示的多个表面的RCS测量中减去由第二多个体素表示的预测自反射值,来使用第一多个体素来执行对象检测。
在一些示例中,修改第一雷达表示涉及执行从二维雷达图像中去除二维反射图像的过滤过程。例如,关于由第一多个像素指示的多个表面的信息可以包括每个表面的RCS测量。这样,计算设备可以从由第一多个像素指示的多个表面的RCS测量中过滤(例如,减去)由第二多个像素表示的预测自反射值。在一些示例中,计算设备还可以将二维反射图像和二维雷达图像提供给神经网络,该神经网络被配置为从由第一多个像素指示的多个表面的RCS测量中获得由第二多个像素表示的预测自反射值。
在一些示例中,二维雷达图像包括多普勒测量和RCS测量。这允许修改的过滤方案:系统能够首先检查第一图像像素的测量多普勒是否匹配幽灵像素的预测多普勒,而不是过滤(例如,减去)每个预测的幽灵像素,并且仅当这两者足够接近(在阈值内)时才执行过滤技术。否则观察到的像素数据可能不是自反射。幽灵像素的预测多普勒是第一反射表面多普勒的两倍。匹配比较还可以使用模块化距离来解决多普勒混叠。例如,对于以每秒50米(m/s)的速度向SDC移动的对象,给定的雷达波形可以测量与以50m/s的速度远离SDC的对象相同的多普勒,因此+49m/s和-49m/s之间的模块化距离将是2m/s,而不是98m/s。
在框810,方法800涉及基于修改第一雷达表示向车辆的控制系统提供指令。在一些示例中,计算设备可以基于修改第一雷达表示,使用第一雷达表示来识别环境中的一个或多个对象,并且向控制系统提供表示一个或多个对象的指令。
图9是图示了示例计算机程序产品的概念部分视图的示意图,该示例计算机程序产品包括用于在计算设备上执行计算机处理的计算机程序,该计算机程序根据本文呈现的至少一些实施例来布置。在一些实施例中,所公开的方法可以实现为以机器可读格式编码在非暂时性计算机可读存储介质上的计算机程序指令,或者编码在其他非暂时性介质或制品上的计算机程序指令。
在一个实施例中,使用信号承载介质902来提供示例计算机程序产品900,信号承载介质902可以包括一个或多个编程指令904,当由一个或多个处理器执行时,编程指令904可以提供上面参考图1-图8描述的功能或部分功能。在一些示例中,信号承载介质902可以包含非暂时性计算机可读介质906,诸如但不限于硬盘驱动器、光盘(CD)、数字视盘(DVD)、数字磁带、存储器等。在一些实施方式中,信号承载介质902可以包含计算机可记录介质908,诸如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实施方式中,信号承载介质902可以包含通信介质910,诸如但不限于数字和/或模拟通信介质(例如,光缆、波导、有线通信链路、无线通信链路等)。因此,例如,信号承载介质902可以通过通信介质910的无线形式被传达。
一个或多个编程指令904可以是,例如计算机可执行和/或逻辑实现的指令。在一些示例中,诸如图1的计算机系统112的计算设备可以被配置为响应于由计算机可读介质906、计算机可记录介质908和/或通信介质910中的一个或多个传达给计算机系统112的编程指令904来提供各种操作、功能或动作。其他设备可以执行本文描述的操作、功能或动作。
非暂时性计算机可读介质也可以分布在多个数据存储元件中,这些数据存储元件可以彼此远离。执行一些或所有存储的指令的计算设备可以是车辆,诸如图1-图2E所示的车辆100。或者,执行一些或所有存储指令的计算设备可以是另一计算设备,诸如服务器。
以上详细的描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。虽然本文已经公开了各种方面和实施例,但是其他方面和实施例将是显而易见的。本文公开的各种方面和实施例是为了说明的目的,而不是为了限制,真正的范围由下面的权利要求指出。
应该理解,本文描述的布置仅仅是出于示例的目的。因此,本领域技术人员将理解,其他布置和其他元件(例如,机器、装置、接口、功能、顺序和功能分组等)能够被替代使用,并且根据期望的结果,一些元件可以完全省略。此外,所描述的许多元件是功能实体,其可以以任何合适的组合和位置实现为分立或分布式组件或者与其他组件结合。

Claims (20)

1.一种方法,包括:
在计算设备处并且从耦合到车辆的雷达单元接收指示环境的雷达数据;
基于雷达数据,确定传达关于环境中多个表面的信息的第一雷达表示;
由所述计算设备并使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于所述多个表面的信息将预测自反射值分配给环境的相应位置,其中,所述预定义模型使得能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系、预定义自反射值被分配给第一位置;
基于第二雷达表示中的预测自反射值修改第一雷达表示;以及
基于修改第一雷达表示向车辆的控制系统提供指令。
2.根据权利要求1所述的方法,进一步包括:
由所述计算设备使得所述雷达单元发送具有伸展线性调频(LFM)波形的雷达信号;以及
其中,接收指示环境的雷达数据包括:
基于具有伸展LFM波形的雷达信号接收雷达数据。
3.根据权利要求1所述的方法,其中,第一位置和第二位置之间的关系指示第一位置位于相对于车辆的第一范围和特定方位角处,并且第二位置位于相对于车辆的第二范围和所述特定方位角处,其中,第一范围大约是第二范围的两倍。
4.根据权利要求1所述的方法,其中,确定传达关于环境中的多个表面的信息的第一雷达表示包括:
确定具有第一多个体素的雷达数据立方体,每个体素指示关于环境中的给定表面的信息。
5.根据权利要求4所述的方法,其中,生成将预测自反射值分配给环境的相应位置的第二雷达表示包括:
使用预定义模型生成具有第二多个体素的反射数据立方体,每个体素表示环境的给定位置的预测自反射值,其中,第一位置和第二位置之间的关系还指示第一位置包括相对于车辆的第一多普勒,并且第二位置包括相对于车辆的第二多普勒,其中,第一多普勒大约是第二多普勒的两倍。
6.根据权利要求5所述的方法,其中,第一多个体素中的每个体素还指示环境中的给定表面的范围、方位角和多普勒,并且
其中,第二多个体素中的每个体素还指示与环境的给定位置相对应的范围、方位角和多普勒。
7.根据权利要求6所述的方法,其中,基于第二雷达表示中的预测自反射值修改第一雷达表示包括:
执行从雷达数据立方体中去除反射数据立方体的过滤过程。
8.根据权利要求7所述的方法,其中,关于由第一多个体素指示的多个表面的信息包括每个表面的雷达散射截面(RCS)测量;并且
其中,执行从雷达数据立方体去除反射数据立方体的过滤过程包括:
从由第一多个体素指示的多个表面的RCS测量中减去由第二多个体素表示的预测自反射值。
9.根据权利要求8所述的方法,进一步包括:
基于从由第一多个体素指示的多个表面的RCS测量中减去由第二多个体素表示的预测自反射值,使用第一多个体素执行对象检测。
10.根据权利要求1所述的方法,其中,确定传达关于环境中的多个表面的信息的第一雷达表示包括:
确定具有第一多个像素的二维雷达图像,每个像素指示关于环境中的给定表面的信息。
11.根据权利要求10所述的方法,其中,生成将预测自反射值分配给环境的相应位置的第二雷达表示包括:
生成具有第二多个像素的二维反射图像,每个像素表示对环境的给定位置的预测自反射值。
12.根据权利要求11所述的方法,其中,第一多个像素中的每个像素还指示环境中的给定表面的范围和方位角,并且
其中,第二多个像素中的每个像素还指示与环境的给定位置相对应的范围和方位角。
13.根据权利要求12所述的方法,其中,基于第二雷达表示中的预测自反射值修改第一雷达表示包括:
执行从二维雷达图像中去除二维反射图像的过滤过程。
14.根据权利要求13所述的方法,其中,关于由第一多个像素指示的多个表面的信息包括每个表面的雷达散射截面(RCS)测量;并且
其中,执行从二维雷达图像中去除二维反射图像的过滤过程包括:
从由第一多个像素指示的多个表面的RCS测量中减去由第二多个像素表示的预测自反射值。
15.根据权利要求12所述的方法,其中,从由第一多个像素指示的多个表面的RCS测量中减去由第二多个像素表示的预测自反射值包括:
将所述二维反射图像和所述二维雷达图像提供给神经网络,所述神经网络被配置为从由第一多个像素指示的多个表面的RCS测量中过滤由第二多个像素表示的预测自反射值。
16.根据权利要求1所述的方法,进一步包括:
基于修改第一雷达表示,使用第一雷达表示识别环境中的一个或多个对象;并且
其中,基于修改第一雷达表示向车辆的控制系统提供指令包括:
向控制系统提供表示一个或多个对象的指令。
17.一种系统,包括:
耦合到车辆的雷达单元;
计算设备,被配置为:
从雷达单元接收指示环境的雷达数据;
基于雷达数据,确定传达关于环境中的多个表面的信息的第一雷达表示;
使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传送的关于多个表面的信息将预测自反射值分配给环境的相应位置,其中,所述预定义模型使得能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系、预定义自反射值被分配给第一位置;
基于第二雷达表示中的预测自反射值修改第一雷达表示;以及
基于修改第一雷达表示向车辆的控制系统提供指令。
18.根据权利要求17所述的系统,其中,第一位置和第二位置之间的关系指示第一位置位于相对于所述车辆的第一范围和特定方位角处,并且第二位置位于相对于所述车辆的第二范围和所述特定方位角处,其中,第一范围大约是第二范围的两倍。
19.根据权利要求17所述的系统,其中,关于所述环境中的所述多个表面的信息包括雷达散射截面(RCS)测量;以及
其中,所述计算设备还被配置为:
从第一雷达表示中的对应RCS测量中减去第二雷达表示中的预测自反射值。
20.一种非暂时性计算机可读介质,其中存储有可由一个或多个处理器执行的指令,以使计算系统执行功能,所述功能包括:
从耦合到车辆的雷达单元接收指示环境的雷达数据;
基于雷达数据,确定传达关于环境中的多个表面的信息的第一雷达表示;
使用预定义模型生成第二雷达表示,第二雷达表示基于由第一雷达表示传达的关于多个表面的信息将预测自反射值分配给环境的相应位置,其中,所述预定义模型使得能够基于关于位于第二位置的表面的信息以及第一位置和第二位置之间的关系、预定义自反射值被分配给第一位置;
基于第二雷达表示中的预测自反射值修改第一雷达表示;以及
基于修改第一雷达表示向车辆的控制系统提供指令。
CN202210179241.1A 2021-02-26 2022-02-25 用于过滤雷达中车辆自反射的方法和系统 Pending CN114964283A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/187,269 2021-02-26
US17/187,269 US11774583B2 (en) 2021-02-26 2021-02-26 Methods and systems for filtering vehicle self-reflections in radar

Publications (1)

Publication Number Publication Date
CN114964283A true CN114964283A (zh) 2022-08-30

Family

ID=80628481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210179241.1A Pending CN114964283A (zh) 2021-02-26 2022-02-25 用于过滤雷达中车辆自反射的方法和系统

Country Status (3)

Country Link
US (1) US11774583B2 (zh)
EP (1) EP4050366A1 (zh)
CN (1) CN114964283A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
US20230213639A1 (en) * 2022-01-04 2023-07-06 Aptiv Technologies Limited Interleaving Radar Range and Doppler Processing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997029437A1 (en) 1996-02-09 1997-08-14 Sarnoff Corporation Method and apparatus for training a neural network to detect and classify objects with uncertain training data
US5900975A (en) 1997-10-30 1999-05-04 Cognex Corporation Ghost image extinction in an active range sensor
JP2000147115A (ja) 1998-11-04 2000-05-26 Toyota Motor Corp 車載用レーダ装置
DE10160299A1 (de) 2001-12-07 2003-06-18 Bosch Gmbh Robert Verfahren und System zum Detektieren mindestens eines Objekts
US6661370B2 (en) 2001-12-11 2003-12-09 Fujitsu Ten Limited Radar data processing apparatus and data processing method
DE102004047087A1 (de) 2004-09-29 2006-03-30 Robert Bosch Gmbh Verfahren zur Objektverifaktion in Radarsystemen für Kraftfahrzeuge
DE102006028465A1 (de) 2006-06-21 2007-12-27 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Radarsystem und Verfahren zur Bestimmung von Geschwindigkeiten und Entfernungen von Objekten relativ zu dem einen Radarsystem
WO2012177846A1 (en) 2011-06-22 2012-12-27 Robert Bosch Gmbh Improved driver assistance systems using radar and video
JP6009788B2 (ja) 2012-03-21 2016-10-19 富士通テン株式会社 レーダ装置、および、信号処理方法
US9995822B2 (en) 2013-06-13 2018-06-12 Continental Automotive Systems, Inc. Integration of a radar sensor in a vehicle
WO2017175190A1 (en) 2016-04-07 2017-10-12 Uhnder, Inc. Adaptive transmission and interference cancellation for mimo radar
US9791564B1 (en) 2016-04-25 2017-10-17 Uhnder, Inc. Adaptive filtering for FMCW interference mitigation in PMCW radar systems
US20220163649A1 (en) * 2019-04-08 2022-05-26 Continental Automotive Systems, Inc. Ghost Object Identification For Automobile Radar Tracking
CN112105950B (zh) * 2019-09-27 2024-04-30 深圳市大疆创新科技有限公司 一种探测对象的检测方法、探测设备及毫米波雷达

Also Published As

Publication number Publication date
EP4050366A1 (en) 2022-08-31
US20220276375A1 (en) 2022-09-01
US11774583B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
US11531353B2 (en) Calculating velocity of an autonomous vehicle using radar technology
JP7008826B2 (ja) 自律車両の3d環境イメージングを可能にする高度の位相角測定のための垂直オフセットを有するアンテナアレイを備えた自動車用レーダ
CN111133398B (zh) 使用雷达技术检测自动驾驶车辆的运动
US11774583B2 (en) Methods and systems for filtering vehicle self-reflections in radar
US11835624B2 (en) Radar based mapping and localization for autonomous vehicles
US10691135B2 (en) Detecting motion of an autonomous vehicle using radar technology
US11435434B2 (en) Multibounce target additional data
US20210055375A1 (en) Multibounce Target Mitigation
EP4086655A1 (en) Methods and systems for detecting adverse road conditions using radar
US20220390550A1 (en) Radar Interference Reduction Techniques for Autonomous Vehicles
US20220413129A1 (en) Methods and Systems for Detecting and Mitigating Automotive Radar Interference
US20230017983A1 (en) Methods and Systems for Radar Reflection Filtering During Vehicle Navigation
US20240069157A1 (en) Methods and Systems for using Interference to Detect Sensor Impairment
US11619739B1 (en) LIDAR pixel with dual polarization receive optical antenna
US11670864B2 (en) Low elevation sidelobe antenna with fan-shaped beam
US20230236317A1 (en) Methods and Systems for Estimating Rain Rate via Vehicle Imaging Radar
EP4293389A2 (en) Methods and systems for radar waveform diversity
US20240205054A1 (en) Low-Speed Ring with Controlled Jitter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination