CN115701289A - 汽车成像中的集群 - Google Patents

汽车成像中的集群 Download PDF

Info

Publication number
CN115701289A
CN115701289A CN202180037111.8A CN202180037111A CN115701289A CN 115701289 A CN115701289 A CN 115701289A CN 202180037111 A CN202180037111 A CN 202180037111A CN 115701289 A CN115701289 A CN 115701289A
Authority
CN
China
Prior art keywords
target
parameters
tracking
sensor
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180037111.8A
Other languages
English (en)
Inventor
A·桑德罗维奇
E·霍夫
O·拉多维斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115701289A publication Critical patent/CN115701289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

在一种包括从检测到的对象生成相继的点云的成像传感器的成像系统中，可以执行跨多个点云/帧对诸兴趣点或即目标的跟踪，以使得能够通过基于一个或多个跟踪参数使这些目标集群来进行鲁棒对象检测。一种成像传感器可包括雷达传感器或激光雷达传感器，并且跟踪目标的一个或多个参数可由该目标的状态模型来执行。

Description

汽车成像中的集群
相关申请的交叉引用
本申请要求于2020年5月31日提交的以色列临时申请No.275007的优先权权益，其通过援引全部纳入于此。
背景
发明领域
本公开的各方面一般涉及成像雷达领域，尤其涉及用于改善对汽车成像雷达所检测到的点或即目标进行集群的技术。
相关技术描述
存在各种类型的雷达用于检测和跟踪对象。For example,a ping radar emits aping signal and detects objects based on reflected signals.例如，ping雷达发射出ping信号并基于反射信号来检测对象。一些雷达使用调频，诸如经调频连续波(FMCW)雷达。附加地或替换地，一些雷达使用调相，诸如经相位编码微波波形(PCMW)雷达。其他能使用的雷达的示例包括多输入多输出(MIMO)雷达和合成孔径雷达(SAR)。附加地或替换地，光学传感器也可被用于对象检测和跟踪。例如，红绿蓝(RGB)图像被生成并被用来基于该对象在该RGB图像中的像素表示来检测对象。在给定了多个RFB图像中的像素表示的情况下，该对象即被跟踪。
在汽车工业中，也可以使用成像雷达。雷达图像通常以比RGB图像低的分辨率被生成。给定了较低分辨率，通过使用相对较低数目的像素来检测对象并跨多个雷达图像跟踪该对象。Radar systems,including imaging radars,can provide depth informationand speed information while RGB imaging typically does not.Lidar systems canprovide similar imaging information.雷达(radar)系统(包括成像雷达)可提供深度信息和速度信息，而RGB成像通常不能。激光雷达(lidar)系统可提供类似的成像信息。
简要概述
在一种包括从检测到的对象生成相继的点云的成像传感器的成像系统中，可以执行跨多个点云/帧对诸兴趣点或即目标的跟踪，以使得能够通过基于一个或多个跟踪参数使这些目标集群来进行鲁棒对象检测。一种成像传感器可包括雷达传感器或激光雷达传感器，并且跟踪目标的一个或多个参数可由该目标的状态模型来执行。
根据本公开的一种对由成像传感器检测到的目标进行集群以支持对象检测的示例方法包括在点云中确定目标，其中该点云由该成像传感器生成并对应于传感器图像。该方法还包括跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征。该方法还包括基于该跟踪将该目标包括在目标集群中，其中该集群指示检测到的对象。根据本公开的一种用于对成像传感器所检测到的目标进行集群以支持对象检测的示例设备包括存储器，通信地耦合到该存储器的一个或多个处理器，其中该一个或多个处理器被配合成在点云中确定目标，其中该点云由该成像传感器生成并对应于传感器图像。该一个或多个处理单元被进一步配置成跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征。该一个或多个处理单元被进一步配置成基于跟踪将该目标包括在目标集群中，其中该集群指示检测到的对象。根据本公开的一种对由成像传感器检测到的目标进行集群以支持对象检测的示例设备包括用于在点云中确定目标的装置，其中该点云由该成像传感器生成并对应于传感器图像。该设备还包括用于跨多个点云跟踪该目标的一个或多个参数的装置，其中该一个或多个参数指示该目标的一个或多个特征。该设备还包括基于该跟踪将该目标包括在目标集群中的装置，其中该集群指示检测到的对象。根据本公开，一种示例非瞬态计算机可读截止存储用于对由成像传感器检测到的目标进行集群以支持对象检测的指令，这些指令包括用于在点云中确定目标的代码，其中该点云由该成像传感器生成并对应于传感器图像。这些指令还包括用于跨多个点云跟踪该目标的一个或多个参数的代码，其中该一个或多个参数指示该目标的一个或多个特征。这些指令还包括用于基于该跟踪将该目标包括在目标集群中的代码，其中该集群指示检测到的对象。
本概述既非旨在标识出要求保护的主题内容的关键特征或必要特征，亦非旨在单独用于确定要求保护的主题内容的范围。本主题内容应当参考本公开的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。将在以下说明书、权利要求和附图中更详细地描述前述内容以及其他特征和示例。
附图简述
本公开的各方面通过示例来解说。在附图中，相似的附图标记指示类似的元素。
图1是根据一实施例的执行基于雷达的有向近程感测的雷达系统的框图。
图2解说根据至少一个实施例的雷达系统和计算机系统的组件示例。
图3解说根据至少一个实施例的对来自点云的目标进行集群的现有技术示例。
图4解说根据至少一个实施例的对来自点云的目标进行跟踪继而基于该跟踪对诸目标进行集群的示例。
图5解说根据至少一个实施例的在点云中检测到的目标示例。
图6解说根据至少一个实施例的在点云中跟踪目标以支持集群和对象检测的示例。
图7解说根据至少一个实施例的用于改善汽车成像雷达中的集群的流程示例。
图8解说了根据本公开的实施例的计算设备800的架构示例。
各个附图中相似的附图标记根据某些示例实现指示相似元素。另外，可以通过在元素的第一数字后面加上字母或连字符及第二数字来指示该元素的多个实例。例如，元素110的多个实例可被指示为110-1、110-2、110-3等或指示为110a、110b、110c等。当仅使用第一数字来指代此类元素时，将被理解为该元素的任何实例(例如，先前示例中的元素110将指元素110-1、110-2和110-3或元素110a、110b和110c)。
详细描述
现在将参照形成实施例一部分的附图描述若干解说性实施例。尽管下面描述了可以实现本公开的一个或多个方面的特定实施例，但是可以使用其他实施例并且可以进行各种修改而不会脱离本公开的范围。
如本文中所使用的，术语“目标”可被用来指点云中被跟踪的兴趣点。如本文中进一步详细解释的，目标可以对应于从雷达扫描获得的点云中超过阈值能量值和/或代表能量值中的局部峰值的点。进一步，从每次扫描获得的数据、或用来获得空间体量的点云的脉冲序列在本文中可被称为为雷达“帧”或“图像”并且可代表从该次扫描获得的一个或多个数据维度(例如，方位角、海拔、测距、和/或多普勒/速度)。本文中所提供的这些技术可被应用于激光雷达，其可提供与雷达类似的“帧”或“图像”。
本公开的实施例针对改善产生点云的汽车成像系统(诸如雷达和激光雷达中的集群)等等。在常规系统中，成像雷达或激光雷达生成点云，其中对象可以用少量的点(例如，不到二十个点)来稀疏地表示，并且其中此数目远小于RGB图像中的像素表示(例如，1/10到1/100或更低)。可通过基于例如在点云中诸点的邻近度将诸点集群在一起来检测对象。与之形成对比的是，在本文中，可通过随时间对点进行跟踪来改善对成像雷达/激光雷达和对象的稀疏表示的使用。再一次，被跟踪的点在本文中可被称为目标。尤其，在集群之前，可随时间跟踪目标，并且可在集群中使用从跟踪确定的参数。尤其，可在点云(例如，第一帧)中检测到目标并且跨多个点云(或即多个相继帧)跟踪该目标。此跟踪可涉及一个或多个参数，诸如位置、速度、加速度、增益、期间该目标出现在点云中的时间段、和/或此类参数的改变率。
通过以本文中描述的方式在集群之前使用跟踪器，可以达成对成像雷达/激光雷达的性能的各种改善。尤其，可以改善集群，其中稀疏对象能被正确地集群，而不相交的稠密云被很好地分开。进一步，集群可以不过滤掉弱(但随时间一致)的目标。还可达成对抗杂乱回波、虚警、和闪变的鲁棒性，这是由于此类点不是随时间一致的。另外，具有显著较少的点的点云可被用于正确地标识对象。在较佳性价比的低端数字信号处理器(DSP)上的简单实现成为可能。此实现可对大规模并行DSP(诸如带Hexagon(HVX)协处理器的高通Q6-DSP)作出有效使用。
以下附图和描述对针对雷达的实施例进行了描述。然而，诸实施例并不限于此。本领域普通技术人员将会领会，本文中所描述的技术可被应用于产生点云的其他成像系统，诸如激光雷达。
图1是可被用来以本文中描述的方式执行雷达成像的雷达系统105的框图。如本文中所使用的，术语“波形”和“序列”及其衍生物被可互换地用来指代由雷达系统105的传送方生成的并被雷达系统的接收方接收以用于对象检测的射频(RF)信号。“脉冲”及其衍生物在本文中一般指包括被发射和接收以生成信道冲激响应(CIR)的序列或互补序列对的波形。雷达系统105可包括自立设备(例如，雷达传感器)或可被集成到更大的电子设备(诸如交通工具)中，如参考图2更详细地描述的。关于雷达系统组件和/或可利用雷达系统105的激光雷达系统组件的附加细节在下文中参考图3和9来提供。
对于图1中的雷达系统105的功能性，雷达系统105可通过生成一系列发射的RF信号112(包括一个或多个脉冲)来检测对象110。这些发射的RF信号112中的一些从对象110反射，并且这些反射RF信号114随后由雷达系统105处理。尤其，雷达系统105可以使用波束成形(BF)和DSP技术(包括漏泄消除)来确定创生出(在其中可以标识对象110(和/或其他对象)的)点云的各个反射“点”相对于雷达系统105的方位角、海拔、速度、和测距。如以下更详细地描述的，对应于不同对象的点可具有不同的方位角、海拔、速度、和测距值，并且可被“集群”以标识(并可任选地跟踪)点云中的不同对象。根据一些实施例，雷达系统105可实现灵活视野(FOV)，从而使得雷达系统105能扫描并检测变化的空间体量内的对象。此空间体量可由方位角、海拔、和离雷达系统105的距离的范围来定义。注意到，在一个点云或扫描中标识出的对象110可在后续点云/扫描中被跟踪。
由雷达系统105提供的雷达成像可由处理单元115、存储器117、复用器(mux)120、Tx处理电路系统125、和Rx处理电路系统130来实现。(雷达系统105可包括未解说的附加组件，诸如电源、用户接口、或电子接口)然而，可以注意到，雷达系统105的这些组件可在替换实施例中重新排列或以其他方式改变，这取决于期望功能性。此外，如本文所使用的，术语“发射电路系统”或“Tx电路系统”指被用来创建和/或发射所传送的RF信号112的任何电路系统。同样，术语“接收电路系统”或“Rx电路系统”指被用来检测和/或处理反射RF信号114的任何电路系统。如此，“发射电路系统”和“接收电路系统”不仅可分别包括Tx处理电路系统125和Rx处理电路系统130，而且还可包括mux 120和处理单元115。在一些实施例中，处理单元可构成调制解调器和/或无线通信接口的至少一部分。在一些实施例中，不止一个处理单元可被用来执行本文中所描述的处理单元115的功能。
Tx处理电路系统125和Rx电路系统130可包括用于分别生成和检测RF信号的子组件。本领域普通技术人员将领会，Tx处理电路系统125因此可包括脉冲发生器、数模转换器(DAC)、混频器(用于将信号上混频到发射频率)、一个或多个放大器(为经由Tx天线阵列135发射供电)等。Rx处理电路系统130可具有用于处理检测到的RF信号的类似硬件。具体而言，Rx处理电路系统130可包括放大器(用于放大经由Rx天线140接收到的信号)、混频器(用于将所接收的信号从发射频率下变频)、模数转换器(ADC)(用于数字化所接收的信号)、以及脉冲相关器(为由Tx处理电路系统125生成的脉冲提供匹配过滤器)。Rx处理电路系统130因此可将相关器输出用作CIR，例如，该CIR可由处理单元115(或其他电路系统)处理以用于漏泄消去，如本文中所描述的。CIR的其他处理也可被执行，诸如对象检测、极径、速度或抵达方向(DoA)估计。
BF进一步由Tx天线阵列135和Rx天线阵列140来实现。每个天线阵列135/140包括多个天线振子。可以注意到，尽管图1中的天线阵列135/140包括二位阵列，但是实施例不受此限定。阵列可简单地包括沿单个维度的多个天线振子，其提供雷达系统105的Tx和Rx侧之间的空间消去。如本领域普通技术人员将领会的，Tx和Rx侧的相对位置加上各种环境因素可能影响如何可执行空间消去。
可以注意到，所发射的RF信号112的特性可取决于所利用的技术而变化。本文中所提供的技术可一般地适用于“毫米波”技术，其典型地在57-71GHz操作，但可包括范围从30-300GHz的频率。这包括例如由802.11ad Wi-Fi标准(在60GHz操作)使用的频率。也就是说，一些实施例可利用具有该范围之外的频率的雷达。例如，在一些实施例中，可以使用5G频带(例如，28GHz)。因为雷达可在与通信相同的繁忙频带中执行，因此硬件可被用于通信和雷达感测两者，如前文所提及的。例如，图1中所示的雷达系统105的一个或多个组件可被包括在无线调制解调器(例如，Wi-Fi或5G调制解调器)中。另外，技术可适用于包括各种脉冲类型中的任何类型的RF信号，包括经压缩脉冲(例如，包括Chirp、Golay、Barker或Ipatov序列)可被利用。也就是说，实施例不限于此类频率和/或脉冲类型。另外，因为雷达系统可以能够发送用于通信的RF信号(例如，使用802.11通信技术)，所以诸实施例可利用在通信中使用的信道估计来执行如本文中所提供的雷达成像。相应地，脉冲可以与在通信中用于信道估计的那些脉冲相同。
取决于期望的功能性，雷达系统105可被用作用于对象检测和跟踪的传感器。这在许多应用(诸如交通工具应用)中可能尤有帮助。在此类应用中，雷达系统105可以是交通工具用来提供各种类型的功能性的许多类型的传感器中的一种。
例如，根据一些实施例，交通工具可包括通信地与计算机系统耦合的雷达系统105。计算机系统的示例组件在图8中解说，其在下文中进一步详细描述。根据一些实施例，交通工具可以是自动、半自动、或手动操作的。附加地或替换地，雷达系统105和/或雷达系统105与计算机系统完全或部分式的组合可以被安装在数个其他合适的设备或系统中，诸如安装在路侧单元(RSU)中。如果在交通工具中采用，则可以使用雷达系统105连同计算机系统以获得成像雷达来在交通工具被停泊或正在运动中之时对交通工具周围驻定和移动的对象进行检测、跟踪、和/或分类。注意到，可以通过在由雷达系统105获得的一个或多个点云中检测并跟踪与对象110对应的目标并基于跟踪对这些目标进行集群，来从这些点云检测对象110。
根据一些实施例，雷达系统105的输出可被发送给计算机系统(例如，交通工具的车载计算机)。该输出可指示检测到的对象以及可任选地指示对这些对象的分类以及它们随时间的循迹。根据一些实施例，计算机系统可接收该信息，并基于该信息以及可任选地基于来自该交通工具的其他系统(例如，其他传感器)的信息来执行一个或多个交通工具管理或控制操作。交通工具管理或控制操作可包括例如自动导航、避障、警示、驾驶员辅助等等。
图2是解说根据至少一个实施例的汽车系统200的框图，其解说了雷达传感器205如何可被用在汽车应用中。在此，雷达传感器205可对应于图1的雷达系统105。雷达系统205和雷达系统105的组件也可彼此对应，如下文所指示的。
在此示例中，雷达传感器205包括天线207、射频(RF)收发机210、以及处理器230。根据一些实施例，天线可包括天线阵列以实现对RF信号的定向发射和接收，如结合图1所描述的。如此，天线207可对应于图1的TX天线阵列135和/或Rx天线阵列140。进一步，RF收发机210可包括用于发射和接收脉冲(例如，以关于图1描述的方式)、并与数字基带处理对接的RF前端组件(例如，电路系统)。如此，RF收发机210可对应于图1的Tx处理电路系统125、Rx处理电路系统130、和/或mux 120。
处理器230可包括用于信号处理的DSP或其他处理器，并且因此可对应于图1的处理单元115。处理器230可包括基带(BB)处理单元215等等，其可执行模拟处理和/或快速傅里叶变换(FFT)处理以输出包括点的数字数据。此数据可以是未经压缩的，并且因此可包括例如行报告，该行报告包括关于扫描中的所有点(例如，关于所有方位角、海拔、测距、和/或多普勒/速度的点)的能量值。处理器230还可包括恒虚警率(CFAR)单元220，该CFAR单元220可压缩从BB处理215单元接收的数据并输出点云。(替换实施例可以按类似方式执行附加或替换的数据压缩。)如前所提及，点云可包括与单个扫描/帧对应的多维空间(例如，针对方位角和极径、速度和布置等的二维(2D)空间；针对极径、速度、和方位角测量的三维(3D)空间；针对测距、速度、方位角、和海拔的四维(4D)空间；针对测距、速度、方位角、海拔、和接收信噪比(SNR)的五维(5D)空间)中的数据点(例如，能量值)集。进一步，处理器230可包括检测/跟踪单元225，其检测并可任选地对来自由CFAR单元220输出的点云的对象进行跟踪和分类。根据一些实施例，检测/跟踪单元225可包括能支持单指令多数据(SIMD)操作并且可以例如是带有HVX协处理器的高通Q6-DSP。如以下进一步详细描述的，根据一些实施例的对象检测可涉及跨多个点云/帧跟踪目标并且对具有相似跟踪参数的目标进行集群。根据一些实施例，每个集群可包括一个或多个目标，其可能已在多个点云/相继帧中被跟踪。进一步，由于每个集群可对应于一检测到的对象，所以每个集群可被用来标识和跟踪不同的对象。可以注意到，处理器230和/或雷达传感器205可执行可能未在图2中使出的处理操作。这可包括例如对雷达数据执行超分辨率技术。超分辨率技术科包括能被用来将由雷达系统获得的一个或多个维度的数据的分辨率改善到超出原生分辨率的任何技术。这可包括例如自相关、多信号分类(MUSIC)、经由旋转不变技术(ESPRIT)、和/或其他此类技术。本文中用于汽车成像雷达中进行集群的技术(以下更详细地描述)可结合此类超分辨率技术来使用。
汽车系统200的其他组件可以由汽车计算机系统来执行，被集成到汽车计算机系统中，或与汽车计算机系统通信地耦合，汽车计算机系统可位于交通工具上的一个或多个位置处。此外，汽车计算机系统可包括图8中所解说的组件中的一者或多者。汽车系统200的其他组件可包括传感器融合单元233，其实现传感器融合算法来对作为输入从多个传感器接收的传感器数据进行组合。传感器数据可包括来自雷达传感器205的输出(例如，从检测/跟踪单元225输出)。其他传感器数据可从例如一个或多个附加雷达(其可包括附加的成像雷达)、惯性测量单元(IMU)传感器235、LIDAR传感器240、车轮传感器、引擎传感器245、图像传感器(例如，相机)250、和/或其他类型的传感器获得。另外，汽车系统200可包括一个或多个汽车系统255，其可基于来自传感器融合单元233的输入来实现自动和/或半自动功能性。汽车系统255可包括自动驾驶决策单元、高级驾驶员辅助系统(ADAS)、或管理和/或控制交通工具的操作的其他组件。
图3是解说用于从传统成像雷达中的点云执行对点的集群的示例操作300的框图。此功能性可由例如雷达传感器205的处理器230来执行。如所解说的，点云(其可包括多个数据点)被输入到集群单元320，该集群单元320将这些数据点编群成集群。如本领域普通人员将领会的，集群单元320可实现各种各样的集群算法中的任何算法。具有噪声的应用的基于密度的空间集群作为常用集群算法的示例可由集群单元320来实现。
取决于期望的功能性，集群单元320可进一步移除具有少量数据点的集群。每个剩余集群可对应于一检测到的对象。为了分类和跟踪对象，可由集群单元320将关于每个剩余集群(例如，数据点的数目、位置、分布、和密度等)的信息提供给跟踪单元330，跟踪单元随时间跟踪这些对象。根据一些实施例，跟踪单元330可包括分类器。分类器(其可被实现为神经网络(例如，递归神经网络(RNN)))将对象分类为对象类型(例如，交通工具、行人、路标等)。
集群单元320可被配置成跨若干帧跟踪点云。然而，在现有常规系统上这么做出于许多原因是有问题的。例如，由于非常大的数据点数目，计算负荷显著很大，由此在用来执行图3中解说的功能性的DSP(例如，处理器230)上产生实现问题。另外，集群准确性可能降级，因为许多数据点可能被滤掉并无视(例如，不正确地未被添加到集群中)，尤其在有干扰对象的情形中。如下文中进一步描述的，本公开的实施例克服了此类障碍。
注意到，本文中的实施例可通过在多个点云/帧上跟踪兴趣点或即目标来解决这些及其他问题。进一步，根据一些实施例，集群可以基于一个或多个跟踪参数，藉此避免需要传统的集群算法。进一步的细节以下参照图4来提供。
图4是解说根据至少一个实施例的用于进行改善的集群的示例操作400的框图。类似于图3中解说的操作300，图4的操作400可在处理器(诸如以上描述的图2的处理器230)上执行。如所解说的，来自帧的点云被输入到目标跟踪单元410，目标跟踪单元410检测点云中的目标并跨来自相继帧的不同点云跟踪这些目标以形成跟踪假言。此跟踪算法可维持关于各个跟踪轨迹/假言确定性如何的似然性和/或概率量度。跟踪器的输出被发送到目标集群单元420，该目标集群单元420然后基于一个或多个跟踪参数来对跟踪假言进行集群，如以下进一步详细描述的。每个集群可对应于一检测到的对象。并且由此，关于集群的信息可由目标集群单元420提供给随时间跟踪集群/对象的跟踪单元430.类似于图3的跟踪单元330，图4的跟踪单元430可任选地包括将对象分类成对象类型的分类器。
在一示例中，点云包括由成像雷达从该成像雷达一特定帧率生成的雷达图像(帧)生成的多个数据点。可以应用过滤来移除一些数据点。根据一些实施例，此类过滤可以基于能级，诸如增益。用于过滤的阈值能级可取决于期望的功能性而变化。附加地或替换地，过滤可以基于峰值。即，值被滤掉，除非它们代表数据中的峰值，其中所有相邻值都比它低。根据一些实施例，如果数据点太远离来自先前诸帧的目标和/或预期轨迹，则它可被滤掉。过滤之后剩余的数据点是目标。
根据一些实施例，点云中所包括的目标可具有与目标在多个帧的过程里遵循的轨迹有关的一个或多个跟踪参数。该轨迹可对应于目标相对于成像雷达的运动(例如，目标处于运动中)，成像雷达相对于目标的运动(例如，目标驻定)，或者目标和成像雷达具有分别的运动。即使在目标相对于成像雷达驻定时，如果目标持久地出现在点云中(例如，如由其参数的值所指示的)，则该目标也可被跟踪。这些参数的示例包括在3D空间(例如，x，y，z坐标)中的笛卡尔位置，在3D空间(例如，测距，方位角，海拔)中的极坐标位置，极坐标类型，以及径向速度(例如，多普勒)和能量(例如，增益)。最优地，点云中的每个目标具有相同的可跟踪参数集。然而，在现实中并且取决于条件(例如，环境条件和噪声条件等)，对于目标子集，其中一些参数可能不被跟踪(例如，对于一个目标，可以测量所有参数，而对于另一个目标，可以不确定径向速度)。
目标跟踪单元410可在每个点云中并随时间(例如，跨不同的帧)对目标进行跟踪。一般而言，对于每个目标，跟踪器维护存储诸参数的测得值的状态模型(例如，卡尔曼过滤器)。状态模型可随时间被维护，诸如维护在与雷达帧相同的帧中，并且可在每个时间点(例如，在每帧)示出这些参数的值。在一示例中，状态模型被存储在状态存储器中，藉此数据的仅子集被保留(例如，最后十帧)，并且新的数据替换最旧的数据(例如，对应于当前帧的值替换与最旧的第十帧关联地存储的值)另外，状态模型可存储历时，该历时期间目标被跟踪(例如，作为起始时间和结束时间的函数，或作为其中目标在场的帧数的函数)。进一步，对于每个目标以及对于目标的每个参数，跟踪器可在对应的状态模型中生成并存储数个导数(例如，一阶导数、二阶导数等等)，其中该跟踪器从对这些参数跟踪到的值来确定这些导数(例如，参数的变化率或径向速度的加速度等等)。进一步，跟踪器可在目标的状态模型中存储与目标的参数、导数、或行为有关的统计数据。统计数据可包括任何统计量度，诸如中值、均值、方差、最大值等。统计数据还可包括噪声或随机分析数据和预测。
从不同目标的状态模型，跟踪器可形成跟踪假言。在一示例中，跟踪假言指示目标跨多个点云(例如，跨多个雷达帧)被跟踪，其中该目标具有轨迹，或其中该目标是驻定的(而成像雷达也是驻定的)并且被持久地跟踪。不满足这些准则(例如，出现在一个点云中并且在其他点云中消失)的目标不具有跟踪假言并且可被移除。
以此方式移除不具有跟踪假言的目标可提供数个优势。在传统的集群中，例如，当对象的不同区域在不同帧中提供了目标时，闪变可能会发生。例如，对于包括汽车的对象，几个帧可包括对应于来自车轮的反射的目标，然后其他帧包括对应于车门的目标。所以传统的集群可能不会将所有这些目标包括在一起，而可能决定这些是两个不同的对象。然而，如由本文中公开的实施例所利用的移除出现在仅一个点云中的目标提供了对抗杂乱回波、虚警、和闪变的鲁棒性。作为结果，以此方式对目标的集群和对经集群目标的后续分类可利用比传统的集群和分类算法少的多的处理资源。
对于具有跟踪假言的目标，在对应的状态模型中跟踪的一些或所有参数可由目标跟踪单元410提供给目标集群单元420。换言之，目标集群单元420接收多个输入，并且每个输入对应于具有跟踪假言的目标并包括适用参数的值。
目标集群单元420可实现集群算法(例如，DBSCAN算法)，其基于输入来生成目标集群，其中输入可从任意性空间选取。取决于期望的功能性，该空间可包括用于集群的一个或多个不同参数。例如，分析径向速度的应用，输入参数可涉及径向速度。由目标集群单元420确定的每个集群可对应于检测到的对象。在一示例中，目标集群单元420可实现集群算法，其使用相似性(例如，衡量多个元素有多相似的函数，诸如阈值(例如，∈距离))来将目标集群到一起。尤其，具有相似参数(其中此相似性是通过比较参数的值以确定差值并将差值与∈距离进行比较来确定的)的两个或更多个集群可被添加到统一集群中。不与任何其他集群相似的目标可仍被保留并添加到仅包括此目标的集群中。
给定了每个目标可具有数个参数的情况下，不同的技术来确定相似性是可能的。在一个示例技术中，对于两个或更多个目标，如果相同类型的参数的值相似(例如，在离彼此阈值以内)，则这些目标被发现是相似的并被集群到一起(例如，如果它们的位置相对于彼此在阈值以内)，则这些目标被添加到同一集群中，而无论其他参数的相似性如何。在另一示例技术中，对于每个参数类型，这些值必须要相似(例如，其位置在阈值以内可能不足以将诸目标集群，而是径向速度也需要相似，等等)。在又一示例技术中，使用加权和。尤其，每个参数类型的值之间的差被确定(例如，位置差和径向速度差等)。每个差被分配特定于该对应参数的权重(例如，乘以该权重)(例如，位置可被加权得比径向速度多，但比增益少)。如果跨不同参数的值的加权和小于阈值，则对应的各目标被包括在同一集群中。
尽管跟踪可以按第一帧率来操作(例如，与雷达图像生成的帧率相同的帧率)，但集群单元420可以按相同帧率或按不同帧率来执行集群。例如，集群可以按五帧的间隔来发生，而不是按每帧的间隔来发生。另外，尽管跟踪可涉及数个帧(例如，最后十个点云)，集群算法可涉及相同或不同的帧数(例如，最后五个点云)。
一旦目标集群单元420将目标集群，跟踪单元430随后就可随时间跟踪诸对象，其中每个集群对应于一对象。根据一些实施例，跟踪单元430可从被包括在对应集群中的(诸)目标的参数来推导用于跟踪对象的参数。例如，对象的每个参数类型的值可以是(诸)目标的相同参数类型的值的中值、最大值、最小值、均值等等。作为特定示例，对象的径向速度可从目标的平均径向速度来推导。
如先前所提及的，跟踪单元430可任选地包括分类器，诸如RNN，其可分类对象。分类还可使用与每个对象对应的诸目标的参数和/或每个对象被跟踪的参数。
不同的可能类型的跟踪器和集群算法是可能的。可能的跟踪器和集群算法的示例以及使用的参数在下表1中总结。α-β-γ
Figure BDA0003957001200000151
Figure BDA0003957001200000161
表1
在以上表1中，笛卡尔目标状态可在x，y和z方向中的任何方向上定义；状态存储器与所存储的先前估计(例如从一个到十个帧估计)的状态值相关联；笛卡尔测量在对该状态的估计被执行的时间测量；并且新息存储器与所存储的先前计算的新息值相关联，以验证跟踪是一致的，例如从一个到十个帧。
进一步，在表1中，使用以下注记：
CS-坐标空间
CV-恒定速度
CT-恒定转弯
CA-恒定加速度
DM-动态模型
PM-极坐标测量
TS-目标状态
CTS-笛卡尔坐标中的目标状态
PTS-极坐标中的目标状态
在α-β-γ过滤器中，目标状态是使用恒定增益α、β和γ增益来估计的；使用误差协方差矩阵。在卡尔曼过滤器中，通过计算卡尔曼增益和误差协方差矩阵来估计目标状态。在无迹卡尔曼过滤器中，近似非线性模型(均值和协方差)被点集所使用，该模型针对任何非线性将后验均值和协方差准确地捕捉到三阶(泰勒级数韩凯)。通过使用正常卡尔曼过滤器公式来估计目标状态。在扩展卡尔曼过滤器中，由线性模型实现的近似非线性模型使用一阶泰勒展开(雅各比矩阵)。通过使用正常卡尔曼过滤器公式来估计目标状态。在经转换测量卡尔曼中，极坐标测量被转换到笛卡尔坐标。通过使用正常卡尔曼过滤器公式来估计目标状态。在自适应卡尔曼过滤器中，使用多个高斯过滤器。系统动态可在多个DM(例如CV、CA、和CT)之间切换。粒子过滤器使用经加权粒子来对不确定性分布进行采样。
在一示例中，由简单的α-β-γ过滤器输出的笛卡尔坐标和/或极坐标被输入(本文中接下来示为“ClusterINParams”)集群算法。在笛卡尔坐标的情形中，输入是ClusterINParams。[x,y,z,多普勒,增益,V_x,V_y,V_z,V_Doppler,V_Gain,a_x,a_y,a_z,a_多普勒,a_增益,存活时间]。在极坐标的情形中，输入是ClusterINParams。[测距,方位角,海拔,多普勒,增益,V_测距,V_方位角,V_海拔,V_多普勒,V_增益,a_测距,a_方位角,a_海拔,a_多普勒,a_增益,存活时间]。笛卡尔坐标和极坐标可被组合。经组合坐标的情形，输入ClusterInParams：[x,y,z,测距,方位角,海拔,多普勒,增益,,…]。[x,y,z]或[测距,方位角,海拔]是3D中该点的位置。多普勒是如由多普勒频率偏移衡量的径向速度。增益是点正被接收的增益。V_参数是每帧的测量上的估计改变。a_参数是每帧的测量的估计改变率(例如，加速度)。
以上示例是仅为解说性目的提供的。可带之一使用这些参数中的任何参数的部分子集。另外，可以仅使用测量和对应的变化。附加地或替换地，可以使用来自最后的数目K个帧的输入参数(例如，ClusterInParams)。
对于卡尔曼过滤器，ClusterInParams可包括与来自α-β-γ的那些参数相同的参数。另外，这些输入可包括[I_x,I_y_I_z,I_多普勒,I_增益]and[P_x,P_y,P_z,P_多普勒,P_增益]。I代表如由卡尔曼公式定义的新息。P代表如由卡尔曼过滤器定义的后验估计的协方差矩阵。
对于无迹卡尔曼过滤器，ClusterInParams可包括与来自卡尔曼过滤器的参数相同的参数以及附加地包括代表x,y,z的后验均值和协方差矩阵的点集。
对于粒子过滤器跟踪器，ClusterInParams可包括来自卡尔曼过滤器的参数，以及附加地包括包括适用参数的经加权粒子的不确定性分布，如PDF_x。
可以进一步注意到，取决于期望的功能性，可以利用一个或多个机器学习算法和/或神经网络来执行跟踪和/或集群。这可以是以上关于表1描述的跟踪和/或集群技术的补充或作为其替换。
尽管未在图4中解说，但是可以使用指派模块。此模块可以与跟踪单元430集成，或者可以是与跟踪单元430对接的自立模块。在这两个示例中，指派模块可被用来从数据点确定目标，并将此类目标指派给跟踪器进行跟踪。指派模块可以使用不同的参数来确定数据点是否要被设置为目标。这些参数中的一些参数是可从当前帧推导的。例如，可以为增益设置阈值。如果当前点云中的数据点的增益大于该阈值，则该数据点被指派为目标。否则，该数据点可以不被指派为目标。其他参数可从多个帧推导。例如，如果数据点持久达最小时间量(例如，出现在最小数目个接连的点云中)，则该数据点被指派为目标。否则，该数据点可以不被指派为目标。当然，当前和多个帧参数可被结合使用。回到所解说的参数，如果数据点具有大于阈值的增益，则该数据点被设为目标。否则，如果数据点持久达最小时间量，则该数据点仍被指派为目标。否则(例如，增益低于阈值并且持久小于最小时间量)，则该数据点不被指派为目标。
图5包括根据至少一个实施例的在点云中检测到的示例目标550的两个标绘510和520。这两个标绘510和520可从同一个点云推导出。尤其，该点云由雷达传感器(例如，雷达传感器205或雷达系统105)生成，并且在如前所述地过滤了与低于阈值能量和/或非峰值对应的点之后，包括多个目标，每个目标具有数个参数。第一标绘510使出了目标的方位角作为测距的函数(目标用“+”符号来解说，并且其中之一标记了元素550)。第二标绘520使出了速度(例如，径向)作为测距的函数。其他标绘是可能的，其中每个标绘可对应于目标的一个或多个测得的或衍生的参数。如前所提及的，根据一些实施例，目标550在集群之前可以首先被跟踪。
图6包括根据至少一个实施例的在点云中跟踪目标以支持集群和对象检测的示例的两个标绘610和620。在此，这两个标绘610和620分别对应于随时间对标绘510和520的改变。尤其，第一标绘610示出了目标的方位角作为测距的函数(目标用“+”符号解说)。第二标绘620示出了速度(例如，径向)作为测距的函数。
每个所示的参数(例如，方位角和速度)随时间被跟踪(例如，跨不同的点云，每个点云对应于一不同的雷达帧)。此跟踪在标绘中以线示出，这些线之一标记了元素650，并指示随时间的轨迹(用速度作为测距的函数来表达)。
因为左上目标具有相似的参数(例如，相似的方位角和相似的速度，如用着两个标绘610和620中相似的轨迹所示出的)，这些目标被包括在同一集群中。该集群对应于对象660(用围绕这些目标的限界框解说)。如本文中其他地方所指示的，目标660可使用相同频带和/或不同参数被跟踪和/或分类。
类似地，左下目标具有类似的属性，并且这些属性不同于左上目标的属性。相应地，诸左下目标可被集群在一起。
如本文中其他地方所指示的，次级或衍生的参数也可被用于集群的目的。即，补充或替换作为用于对目标进行集群以用于跟踪对象660的目的的参数的速度和/或方位角，用于跟踪每个轨迹参数650的状态模型和附加地或替换地跟踪衍生参数，诸如加速度(例如，标绘620中的轨迹参数650的斜率)和/或速度(例如，标绘610中的轨迹参数的斜率)。
尽管未在图5-6中解说，但是如果目标(或彼此靠近的目标的集合)在不同的点云中持久但不具有可检测的轨迹(若有)，则(诸)目标属于代表一对象的集群。
再一次，本文中所描述的用于跟踪和集群的技术可适用于使用附加或替换传感器来产生点云的成像系统。这可包括例如成像系统，其包括一个或多个激光雷达传感器。如本领域普通技术人员将领会的，不同的传感器可产生包括不同数据的点云。例如，激光雷达可能不提供多普勒，但认可为每个方位角、海拔、和/或测距提供强度值。
图7是解说根据至少一个实施例的用于对由成像传感器检测到的目标进行集群以支持对象检测的方法的流程图。用于执行解说性流程的操作的指令中的一些或全部指令可以被实现为硬件电路系统和/或作为计算机可读指令被存储在设备(诸如成像雷达)的非瞬态计算机可读介质上，该设备包括如以上结合图1-2描述的处理器(例如，处理单元115和/或处理器230)和/或成像激光雷达，其可具有类似的硬件组件。如所实现的，指令表示包括电路系统或可由设备的(诸)处理器执行的代码的模块。此类指令的使用将设备配置成执行本文中所描述的具体操作。与处理器组合的每个电路系统或代码表示用于执行(诸)相应操作的装置。尽管操作是以特定次序示出的，但应当理解，不需要特定次序并且根据替换实施例，一个或多个操作可被省略、跳过、并行执行、和/或重排序。
在一示例中，流程包括操作704，其中该设备在点云中确定目标，其中该点云由成像传感器生成并且对应于传感器图像。如先前所描述的，传感器图像(或帧)可指示一个或多个维度(例如，方位角、海拔、测距、多普勒)的能量值，其指示在沿该一个或不同维度的不同点处对象的反射。例如，该点云可以从传感器图像来推导，以包括稀疏数据点，其中每个数据点与参数集相关联。如还注意到的，本文中的技术可结合超分辨率技术来使用。如此，根据一些实施例，成像雷达可进一步对传感器数据执行一个或多个超分辨率技术以生成点云。再一次，这可包括执行自相关、MUSIC、ESPRIT、和/或其他此类技术。
在点云中确定目标可包括基于点云中的数据点的参数、数据点跨多个点云的参数、或其两者来确定要跟踪点云中的数据点，其中该数据点对应于该目标。如先前所描述的，点云可被过滤以排除数据点，并且任何剩余的数据点可被认为是目标。例如，目标可被确定为对于其而言满足一个或多个条件(例如，其增益或能量大于阈值，其包括局部峰值，其已持久在不止一个点云中，其参数的至少一子集能被测量，等等)的数据点。确定目标还可包括测量其参数和/或从测量推导其他参数。测得的和/或推导出的值可被存储在与该目标相关联的状态模型中。此操作可针对点云中的各个目标来重复。
在操作706，该设备跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征。(这些特征可从参数来推导和/或可以是参数本身。)例如，这些参数可以指示目标相对于成像传感器的位置。随时间推移，这些参数可指示相对于成像传感器的移动(或无移动)。如上文所解释的，目标可以保持驻定在点云中，并且其参数可以如此指示。跟踪可包括在各个点云中测量每个参数并且如适用地推导其他参数。此操作可针对点云中的各个目标来重复。
根据一些实施例，跟踪目标的一个或多个参数可包括更新目标的状态模型。在此类实施例中，状态模型可包括一个或多个参数(诸如被测量的参数和推导出的参数)。更新可包括存储每个参数作为时间(例如，时间“t1”、时间“t2”等)的函数或作为帧(例如，帧“1”、帧“2”等)的函数的值。此操作可针对点云中的各个目标来重复。
在操作710，该设备包括基于状态模型将该目标包括在目标集群中，该集群指示检测到的对象。例如，如先前参照图4所描述的，来自目标(其可由目标跟踪单元410维护)的状态模型的一些或所有参数可被输入到集群算法(其可由目标集群单元420执行)中。为其他被跟踪的目标提供类似的输入。集群算法可基于参数的相似性来对目标进行集群，其中两个或更多个相似的目标(给定了其参数的被输入的值)被包括在同一集群中，并且其中不类似于其他目标的目标被添加到其自己的单独集群。
如在以上实施例中所描述的，取决于期望的功能性，所使用的参数的类型可以变化。在一示例中，该一个或多个参数包括笛卡尔参数，其包括目标的笛卡尔位置、速度、或加速度、或其组合；极坐标参数，其包括目标的径向位置或径向速度、或其组合；目标的能量测量；或期间目标被检测到的历时；或其组合。笛卡尔参数包括以下至少一者：笛卡尔位置、速度、或加速度。极坐标参数包括以下至少一者：径向位置或径向速度。
在一示例中，跨多个点云跟踪目标的一个或多个参数可包括在多个相继传感器图像中跟踪该目标的测得值的变化。附加地或替换地，跟踪目标的一个或多个参数可至少部分地基于目标的参数的测量。测量可对应于预定义数目的传感器图像。
根据一些实施例，状态模型可被采用。例如，根据一些实施例，跟踪目标的一个或多个参数包括更新目标的状态模型，其中该状态模型包括α-β-γ过滤器、卡尔曼过滤器、无迹卡尔曼过滤器、扩展卡尔曼过滤器、经转换测量卡尔曼过滤器、自适应卡尔曼过滤器、跟踪器假言的似然性、或粒子过滤器跟踪器、或其组合。根据一些实施例，基于跟踪将目标包括在目标集群中可包括基于由状态模型提供的目标的一个或多个特征来将目标包括在目标集群中，该一个或多个特性包括目标的位置、目标的径向速度、目标的增益、每传感器图像的位置变化、位置变化率、每传感器图像的径向速度变化、径向速度变化率、每传感器图像的增益变化、增益变化率、或期间目标被检测到的历时、或其组合。根据一些实施例，状态模型可包括卡尔曼过滤器，并且该方法可进一步包括想状态模型提供输入，其中该输入包括位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、或增益协方差矩阵、或其组合。根据一些实施例，状态模型可包括无迹卡尔曼过滤器。在此类实施例中，该方法可进一步包括向状态模型提供输入，该输入包括位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、增益协方差矩阵、或代表位置的后验均值和协方差的点集、或其组合。根据一些实施例，状态模型可包括无迹粒子过滤器跟踪器。在此类实施例中，该方法可进一步包括向状态模型提供输入，该输入包括位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、增益协方差矩阵、或使用该一个或多个参数的加权粒子的不确定性分布、或其组合。
根据一些实施例，跨多个点云跟踪目标的一个或多个参数可以按第一帧率来执行，并且将目标包括在目标集群中可按第二帧率来执行。附加地或替换地，跟踪目标的一个或多个参数可包括确定特征。特征可包括目标的位置、目标的速度、目标的增益、或期间目标被检测到的历时、或其组合。附加地或替换地，跟踪目标的一个或多个参数可包括确定特征的变化。在此类实施例中，跟踪目标的一个或多个参数可包括通过存储值来更新状态模型，这些值包括特征的每成像帧的值、以及特征中的变化的每成像帧的值。可任选地，目标集群可包括一个或多个附加目标，并且将目标包括在目标集群中可包括基于所存储的值以及该一个或多个附加目标的对应值之间的相似性来将该目标与该一个或多个附加目标集群。
根据一些实施例，该方法可进一步包括提供指示所检测到的对象的输出。关于此功能性的详情可以取决于执行该操作的设备。例如，如果处理器(例如，处理器230)或成像传感器(例如，雷达传感器205)正在执行该功能性，则提供输出可包括将对象检测和/或集群信息提供给融合引擎(例如，传感器融合单元233)。替换地，如果功能性由融合引擎或其他汽车系统执行，则提供输出可包括向一个或多个其他汽车系统、本地和/或远程设备、用户接口(例如，在汽车显示器中)等等提供对象检测信息。
最后，根据一些实施例，在点云中确定目标可包括基于点云中的数据点的参数、数据点跨多个点云的参数、或其两者来确定要跟踪点云中的数据点，其中该数据点对应于该目标。
图8是解说根据本公开的一些实施例的示例计算设备800的组件的框图。计算设备800是包括能被便成为执行上文描述的各种操作的处理器的设备的示例。如结合图2所描述的，雷达传感器205可被集成到计算设备800(其可包括图2中所解说的一个或多个组件)中和/或与计算设备800处于通信。
计算设备800至少包括处理器802、存储器804、存储设备806、输入/输出外围设备(I/O)808、通信外围设备810、以及接口总线812。接口总线812被配置成在计算设备800的各个组件间通信、传送、以及传递数据、控制、和命令。存储器804或存储设备806中的任何一者可包括安全架构(例如，重放受保护存储器块、EEPROM熔丝、或非易失性存储器部分上的安全文件系统)，该安全架构存储认证数据、注册数据、共享秘密、和/或非对称加密秘钥对。存储器804和存储设备806包括计算机可读存储介质，诸如RAM、ROM、电可擦可编程只读存储器(EEPROM)、硬驱、CD-ROM、光学存储设备、磁性存储设备、电子非易失性计算机存储，例如
Figure BDA0003957001200000241
存储器、以及其他有形存储介质。任何此类计算机可读存储介质可被配置成存储实施本公开的方面的指令或程序代码。存储器804和存储设备806还包括计算机可读信号介质。计算机可读信号介质包括其中实施了计算机可读程序代码的传播的数据信号。此类传播的信号呈现各种形式中的任何形式，包括但不限于电磁、光学、或其任何组合。计算机可读信号介质包括不是计算机可读存储介质且能传达、传播、或传输程序以供结合计算设备800使用的任何计算机可读介质。
进一步，存储器804包括操作系统、程序以及应用。处理器802倍配置成执行所存储的指令，并且包括例如逻辑处理单元、微处理器、数字信号处理器、以及其他处理器。存储器804和/或处理器802可被虚拟化并可被托管在例如云网络或数据中心的另一计算设备内。I/O外围设备808包括用户接口，诸如键盘、屏幕(例如，触摸屏)、话筒、扬声器、其他输入/输出设备、以及计算组件，诸如图形处理单元、串行端口、并行端口、通用串行总线、以及其他输入/输出外围设备。I/O外围设备808通过耦合到接口总线812的任何端口被链接到处理器802。通信外围设备810被配置成促成计算设备800与其他计算设备之间在通信网络上的通信，并且包括例如网络接口控制器、调制解调器、无线和有限接口卡、天线、以及其他通信外围设备。
尽管本主题内容已关于其特定实施例进行了详细描述，但将领会，本领域技术人员在获得对前述内容的理解之际可以容易地产生对此类实施例的改变、变化和等效。相应地，应当理解，本公开是为了示例而非限制的目的而呈现的，并且不排除包括对本主题内容的此类修改、变化和/或添加，如将对于本领域普通技术人员中的一者来说是显而易见的那样。实际上，本文所描述的方法和系统可以按各种各样的其他形式体现；此外，可以对本文所描述的方法和系统的形式进行各种省略、替换和改变而不会背离本公开的精神。所附权利要求及其等效方案旨在覆盖落入本公开的范围和精神内的此类形式或修改。
除非特别另外说明，否则应领会，贯穿本解说书的讨论利用诸如“处理”、“计算”、“演算”、“确定”和“标识”等术语是指计算设备(诸如一台或多台计算机或类似的一个或多个电子计算设备)的动作或过程，这些计算设备操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子或磁性量的数据。
本文中讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的任何合适的组件布置。合适的计算设备包括访问所存储软件的基于微处理器的多用途计算设备，所存储软件将便携式设备从通用计算设备编程或配置成实现本主题内容的一个或多个实施例的专用计算设备。任何合适的编程、脚本或其他类型的语言或语言组合可被用于在编程或配置计算设备要使用的软件中实现本文中包含的教导。
本文公开的方法的实施例可以在此类计算设备的操作中执行。以上示例中呈现的框的次序可以改变——例如，各框可被重新排序、组合和/或分解成子框。某些框或过程可以并行执行。
本文中使用的条件性语言，诸如“可以”、“可能”、“可”、“能”、“例如”等，除非特别另外说明，或在所使用的上下文中以其他方式理解，通常旨在传达某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，此类有条件语言通常并未暗示：一个或多个示例以任何方式需要这些特征、元素和/或步骤，或者一个或多个示例必须包括用于(在具有或没有作者输入或提示的情况下)决定是否在任何特定示例中包括或将执行这些特征、元素和/或步骤的逻辑。
术语“包括”、“包含”、“具有”等是同义词，并且以开放性方式包含性地使用，并且不排除附加元素、特征、动作、操作等等。而且，术语“或”以其包含性方式(而不是排他性方式)使用，因此例如当被用于连接一列表的元素时，术语“或”表示该列表中的各元素中的一个、一些或全部。本文中所使用的“适配成”或“配置成”意味着开放性和包含性的语言，它不排除设备被适配成或配置成执行附加任务或步骤。此外，“基于”的使用意味着开放性和包含性，这是因为“基于”一个或多个所列举条件或值的过程、步骤、计算或其他动作实际上可以基于超出所列举的条件或值的附加条件或值。类似地，“至少部分地基于”的使用意味着开放性和包含性，这是因为“至少部分地基于”一个或多个所列举条件或值的过程、步骤、计算或其他动作实际上可以基于超出所列举的条件或值的附加条件或值。本文中所包括的标题、列表和编号仅是为了便于解释，并且不意味着进行限制。
以上所描述的各种特征和过程可以彼此独立地使用，或者可以按各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。此外，在一些实现中可以省略某些方法或过程框。本文中所描述的方法和过程也不限于任何特定顺序，并且与其有关的框或状态可以按其他恰适的顺序来执行。例如，所描述的框或状态可以按不同于具体公开的次序来执行，或者多个框或状态可被组合在单个框或状态中。示例框或状态可以按串行、并行或某种其他方式来执行。可以将框或状态添加到所公开的示例中或从所公开的示例中移除。类似地，本文中所描述的示例系统和组件可被配置成与所描述的不同。例如，与所公开的示例相比，元素可被添加、移除或重布置。
鉴于此说明书，各实施例可包括特征的不同组合。在以下经编号条款中描述了各实现示例。
条款1.一种对由成像传感器检测到的目标进行集群以支持对象检测的方法，该方法被实现在设备上并且包括：在点云中确定目标，其中该点云由成像传感器生成并且对应于传感器图像；跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征；以及基于该跟踪将该目标包括在目标集群中，其中该集群指示检测到的对象。
条款2.如条款1的方法，其中该成像传感器包括雷达传感器或激光雷达传感器。
条款3.如条款1-2中任一项的方法，进一步包括提供指示检测到的对象的输出。
条款4.如条款1-3中的任一者的方法，其中该一个或多个参数包括：笛卡尔参数，包括目标的笛卡尔位置、速度、或加速度、或其组合；极坐标参数，其包括目标的径向位置或径向速度、或其组合；目标的能量测量；或期间目标被检测到的历时；或其组合。
条款5.如条款1-4中任一者的方法，其中跨多个点云跟踪目标的一个或多个参数包括在多个相继传感器图像中跟踪该目标的测得值的变化。
条款6.如条款1-5中任一者的方法，其中跟踪目标的一个或多个参数是至少部分地基于该目标的参数的测量，其中测量对应于预定义数目的相继传感器图像。
条款7.如条款1-6中任一项所述的方法，其中跟踪目标的一个或多个参数包括更新目标的状态模型，其中该状态模型包括：α-β-γ过滤器、卡尔曼过滤器、无迹卡尔曼过滤器、扩展卡尔曼过滤器、经转换测量卡尔曼过滤器、自适应卡尔曼过滤器、跟踪器假言的似然性、或粒子过滤器跟踪器、或其组合。
条款8.如条款7所述的方法，其中基于跟踪将目标包括在目标集群中包括基于由状态模型提供的该目标的一个或多个特征来将目标包括在目标集群中，该一个或多个特征包括：目标的位置、目标的径向速度、目标的增益、每传感器图像的位置变化、位置变化率、每传感器图像的径向速度变化、径向速度变化率、每传感器图像的增益变化、增益变化率、或期间目标被检测到的历时、或其组合。
条款9.如条款8所述的方法，其中状态模型包括卡尔曼过滤器，并且其中该方法进一步包括向状态模型提供输入，该输入包括：位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、或增益协方差矩阵、或其组合。
条款10.如条款8所述的方法，其中状态模型包括无迹卡尔曼过滤器，并且其中该方法进一步包括向状态模型提供输入，该输入包括：位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、增益协方差矩阵、或代表位置的后验均值和协方差的点集、或其组合。
条款11.如条款1-10中任一项所述的方法，其中状态模型包括无迹粒子过滤器跟踪器，并且其中该方法进一步包括向状态模型提供输入，该输入包括：位置新息、径向速度新息、增益新息、位置协方差矩阵、径向速度协方差矩阵、增益协方差矩阵、或使用该一个或多个参数的加权粒子的不确定性分布、或其组合。
条款12.如条款1-11中任一项的方法，跨多个点云跟踪目标的一个或多个参数按第一帧率来执行，并且其中将目标包括在目标集群中按第二帧率来执行。
条款13.如条款1-12中任一项的方法，其中跟踪目标的一个或多个参数包括确定特征，该特征包括：目标的位置、目标的速度、目标的增益、或期间目标被检测到的历时、或其组合。
条款14.如条款13的方法，其中跟踪目标的一个或多个参数进一步包括确定该特征中的变化。
条款15.如条款14的方法，其中跟踪目标的一个或多个参数包括通过存储值来更新状态模型，这些值包括特征的每成像帧的值、以及特征中的变化的每成像帧的值。
条款16.如条款15的方法，其中目标集群包括一个或多个附加目标；并且将目标包括在目标集群中包括基于所存储的值以及该一个或多个附加目标的对应值之间的相似性来将该目标与该一个或多个附加目标集群。
条款17.如条款1-16中任一项的方法，其中在点云中确定目标包括基于点云中的数据点的参数、数据点跨多个点云的参数、或其两者来确定要跟踪点云中的数据点，其中该数据点对应于该目标。
条款18.如条款1-17中任一项的方法，其中成像传感器进一步对传感器数据执行一个或多个超分辨率技术以生成点云。
条款19.一种用于对由成像传感器检测到的目标进行集群以支持对象检测的设备，该设备包括：存储器；以及一个或多个处理器，该一个或多个处理器与存储器通信地耦合，其中该一个或多个处理器被配置成：在点云中确定目标，其中该点云由成像传感器生成并且对应于传感器图像；跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征；以及基于该跟踪将该目标包括在目标集群中，其中该集群指示检测到的对象。
条款20.如条款19的设备，其中该成像传感器包括雷达传感器或激光雷达传感器。
条款21.如条款19-20中任一项的设备，其中该设备进一步包括该成像传感器。
条款22.如条款19-21中任一项的设备，其中该设备被进一步配置成提供指示检测到的对象的输出。
条款23.如条款19-22中任一者的设备，其中跨多个点云跟踪目标的一个或多个参数的该一个或多个处理器被配置成在多个相继传感器图像中跟踪该目标的测得值的变化。
条款24.如条款19-23中任一者的设备，其中跟踪目标的一个或多个参数的该一个或多个处理器至少部分地基于该目标的参数的测量，其中测量对应于预定义数目的相继传感器图像。
条款25.如条款19-24中任一者的设备，其中跨多个点云跟踪目标的一个或多个参数的该一个或多个处理器被配置成更新目标的状态模型，其中该状态模型包括：α-β-γ过滤器、卡尔曼过滤器、无迹卡尔曼过滤器、扩展卡尔曼过滤器、经转换测量卡尔曼过滤器、自适应卡尔曼过滤器、跟踪器假言的似然性、或粒子过滤器跟踪器、或其组合。
条款26.如条款25的设备，其中基于跟踪将目标包括在目标集群中的该一个或多个处理器被配置成基于由状态模型提供的该目标的一个或多个特征将目标包括在目标集群中，该一个或多个特征包括：目标的位置、目标的径向速度、目标的增益、每传感器图像的位置变化、位置变化率、每传感器图像的径向速度变化、径向速度变化率、每传感器图像的增益变化、增益变化率、或期间目标被检测到的历时、或其组合。
条款27.如条款19-26中任一者的设备，其中该一个或多个处理器被配置成跨多个点云按第一帧率跟踪目标的一个或多个参数，并且其中该一个或多个处理器被配置成按第二帧率将目标包括在目标集群中。
条款28.如条款19-27中任一者的设备，其中跟踪该目标的一个或多个参数的该一个或多个处理器被配置成确定特征，该特征包括：目标的位置、目标的速度、目标的增益、或期间目标被检测到的历时、或其组合。
条款29.一种用于对由成像传感器检测到的目标进行集群以支持对象检测的设备，该设备包括：用于在点云中确定目标的装置，其中该点云由成像传感器生成并且对应于传感器图像；用于跨多个点云跟踪该目标的一个或多个参数的装置，其中该一个或多个参数指示该目标的一个或多个特征；以及用于基于该跟踪将该目标包括在目标集群中的装置，其中该集群指示检测到的对象。
条款30.一种存储用于对由成像传感器检测到的目标进行集群以支持对象检测的指令的非瞬态计算机可读介质，所述指令包括用于进行以下操作的代码：在点云中确定目标，其中该点云由成像传感器生成并且对应于传感器图像；跨多个点云跟踪该目标的一个或多个参数，其中该一个或多个参数指示该目标的一个或多个特征；以及基于该跟踪将该目标包括在目标集群中，其中该集群指示检测到的对象。

Claims (30)

1.一种对由成像传感器检测到的目标进行集群以支持对象检测的方法，该方法被实现在设备上并且包括：
在点云中确定目标，其中所述点云由所述成像传感器生成并且对应于传感器图像；
跨多个点云跟踪所述目标的一个或多个参数，其中所述一个或多个参数指示所述目标的一个或多个特征；以及
基于所述跟踪将所述目标包括在目标集群中，其中所述集群指示检测到的对象。
2.如权利要求1所述的方法，其中所述成像传感器包括雷达传感器或激光雷达传感器。
3.如权利要求1所述的方法，进一步包括提供指示所述检测到的对象的输出。
4.如权利要求1所述的方法，其中所述一个或多个参数包括：
笛卡尔参数，包括所述目标的笛卡尔位置、速度、或加速度、或其组合。
极坐标参数，包括所述目标的径向位置或径向速度、或其组合。
所述目标的能量测量；或者
期间所述目标被检测到的历时；或者
其组合。
5.如权利要求1所述的方法，其中跨所述多个点云跟踪所述目标的一个或多个参数包括在多个相继传感器图像中跟踪所述目标的测得值的变化。
6.如权利要求1所述的方法，其中跟踪所述目标的一个或多个参数是至少部分地基于所述目标的参数的测量，其中所述测量对应于预定义数目的相继传感器图像。
7.如权利要求1所述的方法，其中跟踪所述目标的一个或多个参数包括更新所述目标的状态模型，其中所述状态模型包括：
α-β-γ过滤器，
卡尔曼过滤器，
无迹卡尔曼过滤器，
扩展卡尔曼过滤器，
经转换测量卡尔曼过滤器，
自适应卡尔曼过滤器，
跟踪器假言的似然性，或者
粒子过滤器跟踪器，或者
其组合。
8.如权利要求8所述的方法，其中基于跟踪将所述目标包括在目标集群中包括基于由所述状态模型提供的所述目标的所述一个或多个特征来将所述目标包括在目标集群中，所述一个或多个特征包括：
所述目标的位置，
所述目标的径向速度，
所述目标的增益，
每传感器图像的位置变化，
位置变化率，
每传感器图像的径向速度，
径向速度变化率，
每传感器图像的增益变化，
增益变化率，或者
期间所述目标被检测到的历时，或者
其组合。
9.如权利要求8所述的方法，其中所述状态模型包括卡尔曼过滤器，并且其中所述方法进一步包括向所述状态模型提供输入，所述输入包括：
位置新息，
径向速度新息，
增益新息，
位置协方差矩阵，
径向速度协方差矩阵，或者
增益协方差矩阵，或者
其组合。
10.如权利要求8所述的方法，其中所述状态模型包括无迹卡尔曼过滤器，并且其中所述方法进一步包括向所述状态模型提供输入，所述输入包括：
位置新息，
径向速度新息，
增益新息，
位置协方差矩阵，
径向速度协方差矩阵，
增益协方差矩阵，或者
代表所述位置的后验均值和协方差的点集，或者
其组合。
11.如权利要求8所述的方法，其中所述状态模型包括无迹粒子过滤器跟踪器，并且其中所述方法进一步包括向所述状态模型提供输入，所述输入包括：
位置新息，
径向速度新息，
增益新息，
位置协方差矩阵，
径向速度协方差矩阵，
增益协方差矩阵，或者
使用所述一个或多个参数的加权粒子的不确定性分布，或者
其组合。
12.如权利要求1所述的方法，其中跨所述多个点云跟踪所述目标的一个或多个参数按第一帧率来执行，并且其中将所述目标包括在所述目标集群中按第二帧率来执行。
13.如权利要求1所述的方法，其中跟踪所述目标的一个或多个参数包括确定特征，所述特征包括：
所述目标的位置，
所述目标的速度，
所述目标的增益，或者
期间所述目标被检测到的历时，或者
其组合。
14.如权利要求13所述的方法，其中跟踪所述目标的所述一个或多个参数进一步包括确定所述特征中的变化。
15.如权利要求14所述的方法，其中跟踪所述目标的一个或多个参数包括通过存储值来更新状态模型，所述值包括所述特征的每成像帧的值、以及所述特征中的变化的每成像帧的值。
16.如权利要求15所述的方法，其中：
所述目标集群包括一个或多个附加目标；并且
将所述目标包括在所述目标集群中包括基于所存储的值与所述一个或多个附加目标的对应值之间的相似性来将所述目标与所述一个或多个附加目标集群。
17.如权利要求1所述的方法，其中在所述点云中确定所述目标包括基于所述点云中的数据点的参数、所述数据点跨多个点云的参数、或其两者来确定要跟踪所述点云中的所述数据点，其中所述数据点对应于所述目标。
18.如权利要求1所述的方法，其中所述成像传感器进一步对传感器数据执行一个或多个超分辨率技术以生成所述点云。
19.一种用于对由成像传感器检测到的目标进行集群以支持对象检测的设备，所述设备包括：
存储器；以及
与所述存储器通信地耦合的一个或多个处理器，其中所述一个或多个处理器被配置成：
在点云中确定目标，其中所述点云由所述成像传感器生成并且对应于传感器图像；
跨多个点云跟踪所述目标的一个或多个参数，其中所述一个或多个参数指示所述目标的一个或多个特征；以及
基于所述跟踪将所述目标包括在目标集群中，其中所述集群指示检测到的对象。
20.如权利要求19所述的设备，其中所述成像传感器包括雷达传感器或激光雷达传感器。
21.如权利要求19所述的设备，其中所述设备进一步包括所述成像传感器。
22.如权利要求19所述的设备，其中所述设备被进一步配置成提供指示检测到的对象的输出。
23.如权利要求19所述的设备，其中跨所述多个点云跟踪所述目标的所述一个或多个参数的所述一个或多个处理器被配置成在多个相继传感器图像中跟踪所述目标的测得值的变化。
24.如权利要求19所述的设备，其中被配置成跟踪所述目标的所述一个或多个参数的所述一个或多个处理器至少部分地基于所述目标的参数的测量，其中所述测量对应于预定义数目的相继传感器图像。
25.如权利要求19所述的设备，其中跨所述多个点云跟踪所述目标的所述一个或多个参数的所述一个或多个处理器被配置成更新所述目标的状态模型，其中所述状态模型包括：
α-β-γ过滤器，
卡尔曼过滤器，
无迹卡尔曼过滤器，
扩展卡尔曼过滤器，
经转换测量卡尔曼过滤器，
自适应卡尔曼过滤器，
跟踪器假言的似然性，或者
粒子过滤器跟踪器，或者
其组合。
26.如权利要求25所述的设备，其中基于跟踪将所述目标包括在目标集群中的所述一个或多个处理器被配置成基于由所述状态模型提供的所述目标的所述一个或多个特征将所述目标包括在目标集群中，所述一个或多个特征包括：
所述目标的位置，
所述目标的径向速度，
所述目标的增益，
每传感器图像的位置改变，
位置变化率，
每传感器图像的径向速度，
径向速度变化率，
每传感器图像的增益变化，
增益变化率，或者
期间所述目标被检测到的历时；或者
其组合。
27.如权利要求19所述的设备，其中所述一个或多个处理器被配置成跨所述多个点云按第一帧率跟踪所述目标的一个或多个参数，并且其中所述一个或多个处理器被配置成按第二帧率将所述目标包括在所述目标集群中。
28.如权利要求19所述的设备，其中跟踪所述目标的所述一个或多个参数的所述一个或多个处理器被配置成确定特征，所述特征包括：
所述目标的位置，
所述目标的速度，
所述目标的增益，或者
期间所述目标被检测到的历时，或者
其组合。
29.一种用于对由成像传感器检测到的目标进行集群以支持对象检测的设备，所述设备包括：
用于在点云中确定目标的装置，其中所述点云由所述成像传感器生成并且对应于传感器图像；
用于跨多个点云跟踪所述目标的一个或多个参数的装置，其中所述一个或多个参数指示所述目标的一个或多个特征；以及
用于基于所述跟踪将所述目标包括在目标集群中的装置，其中所述集群指示检测到的对象。
30.一种存储用于对由成像传感器检测到的目标进行集群以支持对象检测的指令的非瞬态计算机可读介质，所述指令包括用于进行以下操作的代码：
在点云中确定目标，其中所述点云由所述成像传感器生成并且对应于传感器图像；
跨多个点云跟踪所述目标的一个或多个参数，其中所述一个或多个参数指示所述目标的一个或多个特征；以及
基于所述跟踪将所述目标包括在目标集群中，其中所述集群指示检测到的对象。
CN202180037111.8A 2020-05-31 2021-05-28 汽车成像中的集群 Pending CN115701289A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL275007A IL275007A (en) 2020-05-31 2020-05-31 The grouping is improved by the vehicle imaging radar
IL275007 2020-05-31
PCT/US2021/034954 WO2021247427A1 (en) 2020-05-31 2021-05-28 Clustering in automotive imaging

Publications (1)

Publication Number Publication Date
CN115701289A true CN115701289A (zh) 2023-02-07

Family

ID=78829854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180037111.8A Pending CN115701289A (zh) 2020-05-31 2021-05-28 汽车成像中的集群

Country Status (5)

Country Link
US (1) US20230139751A1 (zh)
EP (1) EP4158378A1 (zh)
CN (1) CN115701289A (zh)
IL (1) IL275007A (zh)
WO (1) WO2021247427A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL282873A (en) * 2021-05-03 2022-12-01 Israel Aerospace Ind Ltd Systems and method for tracking and classifying moving objects
CN115128571B (zh) * 2022-09-02 2022-12-20 长沙莫之比智能科技有限公司 一种基于毫米波雷达的多人与非机动车识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10634778B2 (en) * 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system

Also Published As

Publication number Publication date
EP4158378A1 (en) 2023-04-05
US20230139751A1 (en) 2023-05-04
WO2021247427A1 (en) 2021-12-09
IL275007A (en) 2021-12-01

Similar Documents

Publication Publication Date Title
CN111045008B (zh) 基于展宽计算的车载毫米波雷达目标识别方法
CN108369271B (zh) 配置用于确定空闲域的车辆雷达系统
CN113015922B (zh) 一种检测方法、检测装置以及存储介质
US10585188B2 (en) Broadside detection system and techniques for use in a vehicular radar
KR102194320B1 (ko) 레이더 영상 재구성 기반 객체 추적 장치 및 방법
CN115701289A (zh) 汽车成像中的集群
CN107272001B (zh) 视线外障碍物检测和定位
CN110705501A (zh) 一种提升fmcw雷达手势识别精度的干扰抑制算法
US11105896B2 (en) Trailer detection and estimation system and related techniques
CN113009441B (zh) 一种雷达运动反射面多径目标的识别方法及装置
WO2019091784A1 (en) Detection of parking slot configuration based on repetitive patterns
CN112731307B (zh) 基于距离-角度联合估计的ratm-cfar检测器及检测方法
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN111386476A (zh) 确定车辆雷达系统中的对象运动和加速度矢量
CN110325876B (zh) 用于车辆雷达系统的逆合成孔径雷达
CN112986945B (zh) 雷达目标的识别方法、装置、设备和存储介质
EP4177634A1 (en) Machine-learning-based super resolution of radar data
CN112689773B (zh) 雷达信号处理方法和雷达信号处理装置
US20190242987A1 (en) Radar device and method of detecting object using radar device
US20220214440A1 (en) Electronic device, method for controlling electronic device, and program
US20200309908A1 (en) Detecting a parking row with a vehicle radar system
Stolz et al. Direction of movement estimation of cyclists with a high-resolution automotive radar
Baselice et al. Compressive sensing for in depth focusing in 3D automotive imaging radar
EP4307001A1 (en) Object-position detecting device and method
JP7113878B2 (ja) 電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination