CN112241008A - 用于对象检测的方法和系统 - Google Patents

用于对象检测的方法和系统 Download PDF

Info

Publication number
CN112241008A
CN112241008A CN202010685414.8A CN202010685414A CN112241008A CN 112241008 A CN112241008 A CN 112241008A CN 202010685414 A CN202010685414 A CN 202010685414A CN 112241008 A CN112241008 A CN 112241008A
Authority
CN
China
Prior art keywords
dimension
tensor
grid
radar
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010685414.8A
Other languages
English (en)
Other versions
CN112241008B (zh
Inventor
苏煜
朱维檬
F·卡斯特纳
A·贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN112241008A publication Critical patent/CN112241008A/zh
Application granted granted Critical
Publication of CN112241008B publication Critical patent/CN112241008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于对象检测的方法和系统。一种用于对象检测的计算机实现的方法，该方法包括以下步骤：确定网格，该网格包括多个网格单元；针对多个时间步为各个网格单元确定多个相应的雷达检测数据，各个雷达检测数据指示多个雷达特性；针对各个时间步确定指示各个网格单元中的预定的雷达图特性的相应的雷达图；将针对多个时间步的多个网格单元的相应的雷达检测数据转换成预定的第一维度的点表示；将针对多个时间步的雷达图转换成预定的第二维度的图表示，其中，预定的第一维度和预定的第二维度至少部分相同；将点表示和图表示串联以获得串联数据；以及基于该串联数据执行对象检测。

Description

用于对象检测的方法和系统
技术领域
本公开涉及用于对象检测的方法和系统。可以组合雷达检测数据和雷达图数据并降低维度以提供有效对象检测。
背景技术
因为与LiDAR相比，雷达的价格低廉，并且与摄像头相比，雷达对环境改变(例如，天气或照明状态)的适应性强，所以雷达是汽车感知系统中常用的传感器。
通常以点云的形式给出雷达数据。各个点以一些特征来进行表征，例如，它的RCS(雷达截面)、距离变化率(多普勒速度)和空间位置。在汽车感知系统中，可能期望执行对象检测(例如，预测对象的位置和/或运动和/或执行语义分割，以确定每个位置的语义标签)。
根据常规方法，预测对象的位置和/或运动的性能仍然可以改进。
因此，需要提供用于增强的对象检测的系统和方法。
发明内容
本公开提供了一种计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面，本公开涉及一种用于对象检测的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：确定网格，该网格包括多个网格单元；针对多个时间步为各个网格单元确定多个相应的雷达检测数据，各个雷达检测数据指示多个雷达特性；针对各个时间步确定指示各个网格单元中的预定的雷达图特性的相应的雷达图；将针对多个时间步的多个网格单元的相应的雷达检测数据转换成预定的第一维度的点表示；将针对多个时间步的雷达图转换成预定的第二维度的图表示，其中，预定的第一维度和预定的第二维度至少部分相同；将点表示和图表示串联以获得串联数据；以及基于该串联数据执行对象检测。
换句话说，可以将雷达检测数据(也可以称为点云数据)和图数据带入相应的表示中，这些表示的维度适合于将这些表示串联。例如，表示可以是张量，该张量具有在除一个维度外的所有维度上匹配的维度。将这些张量串联可能会得出如下这样的张量，其中，仅改变张量不匹配的维度(例如，改变成张量的相应维度的总和)，而张量匹配的维度保持不变。
已经发现的是，当将组合的数据用作神经网络的输入数据时，将雷达检测数据和图数据组合(例如，串联(concatenation))成组合的(例如，串联)数据可以改进检测结果。
根据另一方面，该计算机实现的方法还可以包括：从设置在车辆上的雷达传感器接收针对各个时间步的雷达传感器数据；以及对雷达传感器数据进行预处理以消除车辆的位置改变的影响。可以基于经预处理的雷达传感器数据来确定雷达检测数据和雷达图。
车辆可能正在移动，即，车辆可能会改变其位置(例如，改变其位置和/或其取向)。消除车辆的位置改变的影响(例如，消除车辆的位置和取向在两个或更多个时间步之间的改变的影响)可以提供始终在相同的全球坐标系中给出雷达传感器数据。消除车辆的位置改变的影响也可以称为自我位置补偿。
根据另一方面，针对各个当前时间步，可以基于当前时间步的雷达传感器数据和当前时间步之前的预定数量的先前时间步的雷达传感器数据对雷达传感器数据进行预处理，以消除车辆的位置改变的影响。
当消除车辆的位置改变的影响时，考虑当前时间步以及当前时间步之前的预定数量的先前时间步的雷达传感器数据可以提供恒定(时间)长度的滑动窗口，并且可以提供在同一坐标系中提供所有雷达检测数据和雷达图(它们被转换成点表示和图表示，并且然后被串联)。
根据另一方面，针对各个时间步，相应的雷达图可以包括指示在下一时间步处存在雷达点检测的概率的运动图。根据另一方面，针对各个时间步，相应的雷达图可以包括指示在相应的时间步处的位置不确定性的位置不确定性图。根据另一方面，针对各个时间步，相应的雷达图可以包括指示静态对象轮廓的占用图。
将理解的是，可以提供多于一种的雷达图，例如，运动图、位置不确定性图和占用图中的两者，或者所有三种雷达图(运动图、位置不确定性图和占用图)。还将理解的是，在这种情况下，可以为各种图提供针对各个时间步确定指示各个网格单元中的预定雷达图特性(换句话说：由雷达图指示的特性)的相应的雷达图的步骤，并且可以为各种图提供将针对多个时间步的雷达图转换成图表示的步骤。各个图表示的维度可以至少部分地与点表示的维度相同。将进一步理解的是，串联的步骤可以包括将点和各种图串联。
根据另一方面，将针对多个时间步的多个网格单元的相应的雷达检测数据转换成预定的第一维度的点表示可以包括降低各个单元中的点的维度。降低各个单元中的点的维度也可以称为压缩。根据另一方面，降低点的维度可以包括最大池化。
根据另一方面，网格可以包括预定的高度和预定的宽度；点表示可以包括四维张量(其可以称为点张量或点表示的张量)，其中，点张量的第一维度对应于多个时间步的数量，点张量的第二维度对应于网格的高度，并且点张量的第三维度对应于网格的宽度；并且图表示可以包括四维张量(其可以称为图张量或图表示的张量)，其中，图张量的第一维度对应于多个时间步的数量，图张量的第二维度对应于网格的高度，并且图张量的第三维度对应于网格的宽度。
已经发现的是，利用张量的这些维度，可以执行点表示和图表示的有效串联。
根据另一方面，串联数据可以包括四维张量(其可以称为串联张量或串联数据的张量)，其中，串联张量的第一维度对应于多个时间步的数量，串联张量的第二维度对应于网格的高度，串联张量的第三维度对应于网格的宽度，并且串联张量的第四维度对应于点张量的第四维度和图张量的第四维度的和。
串联数据可以由张量表示，该张量在除一个维度外的所有维度上都与点表示的张量和图表示的张量的维度匹配，而该剩余的维度可以是点表示和图表示的张量的维度的和。利用这种串联数据，可以在统一的数据集中提供点表示和图表示，这可以增加信息的内容，并因此可以提供用于对象检测的有用输入。
根据另一方面，该计算机实现的方法还可以包括：降低串联数据的维度以得到时间融合数据，其中，该时间融合数据包括三维张量(其可以称为时间融合张量或时间融合数据的张量)，其中，时间融合张量的第一维度对应于网格的高度，时间融合张量的第二维度对应于网格的宽度，并且时间融合张量的第三维度对应于点张量的第四维度和图张量的第四维度的和；其中，基于该时间融合数据来执行对象检测。
时间融合数据可以由维度比串联数据的张量的维度低的张量表示。例如，可以去除(换句话说：融合)第一维度(例如，与时间步相对应)，例如，串联数据可以由四维张量表示，而时间融合数据可以由三维张量表示。
根据另一方面，降低串联数据的维度可以包括使用3D卷积。根据另一方面，降低串联数据的维度可以包括使用递归网络。
已经发现的是，3D卷积(3D convolution)或递归网络(例如LSTM)提供了降低串联数据的维度的有效方法。
在另一方面，本公开涉及计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现的方法的几个或全部步骤。
该计算机系统可以包括多个计算机硬件组件(例如，处理单元(换句话说：处理器)、至少一个存储单元(其也可以称为存储器)和至少一个非暂时性数据存储装置，例如，硬盘驱动器或固态驱动器)。将理解的是，可以提供另外的计算机硬件组件并将其用于在计算机系统中执行计算机实现的方法的步骤。所述非暂时性数据存储器和/或存储单元可以包括计算机程序，该计算机程序用于指示计算机例如使用处理单元和至少一个存储单元来执行本文所描述的计算机实现的方法的几个或全部步骤或方面。
在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现的方法的几个或全部步骤或方面的指令。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接能够访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储。
本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的几个或全部步骤或方面。
附图说明
本文结合示意性示出的以下附图来描述本公开的示例实施方式和功能：
图1是根据各种实施方式的生成用于进一步处理的自我位置补偿的雷达传感器数据的例示；
图2是根据各种实施方式的生成雷达检测数据和雷达图的例示；
图3是根据各种实施方式的堆叠处理的例示；
图4是根据各种实施方式的特征编码的例示；
图5是根据各种实施方式的串联表示的例示；
图6是根据各种实施方式的时间压缩的例示；
图7是根据各种实施方式的对象检测的例示；
图8示出了根据各种实施方式的用于下一帧中的瞬时概率计算的运动图设计的例示；以及
图9是例示了根据各种实施方式的用于对象检测的计算机实现的方法的流程图。
参考编号列表
100 根据各种实施方式的生成用于进一步处理的自我位置补偿的雷达传感器数据的例示
102 雷达传感器数据
104 滑动窗口
106 自我位置补偿
108 自我位置补偿的雷达传感器数据
200 根据各种实施方式的生成雷达检测数据和雷达图的例示
202 具有点特征的网格图
204 运动图
206 位置不确定性图
208 占用图
300 根据各种实施方式的堆叠处理的例示
302 堆叠的具有点特征的网格图
304 堆叠的运动图
306 堆叠的位置不确定性图
308 指示多个时间步的其它堆叠的图的点
400 根据各种实施方式的特征编码的例示
402 时间分布卷积
404 点表示
406 时间分布卷积
408 运动图表示
410 时间分布卷积
412 位置不确定性图表示
500 根据各种实施方式的串联表示的例示
502 指示串联的箭头
504 串联数据
600 根据各种实施方式的时间压缩的例示
602 时间分布卷积
604 第一级别
606 第二级别
608 另外的级别
610 另外的级别
612 另外的级别
614 另外的级别
616 另外的级别
618 另外的级别
700 根据各种实施方式的对象检测的例示
702 对象检测
800 根据各种实施方式的用于下一帧中的瞬时概率计算的运动图设计的例示
802 雷达传感器
804 雷达点检测
806 径向速度
808 距离
810 位置不确定性
900 例示了根据各种实施方式的用于对象检测的计算机实现的方法的流程图
902 方法步骤
904 方法步骤
906 方法步骤
908 方法步骤
910 方法步骤
912 方法步骤
914 方法步骤
具体实施方式
图1至图7示出了根据各个实施方式的(神经)网络结构的用于处理点、网格图以及时间融合的部分。图1、图2和图3所示的处理可以提供输入，图4和图5所示的处理可以提供特征编码层，图6所示的处理可以提供时间融合层，并且图7所示的处理可以提供对象检测。
深卷积神经网络(CNN)可以用于各种感知任务，例如，对象检测和/或语义分割。到神经网络的输入可以是可以在某一空间坐标系中限定的多维张量，例如，2-D张量或3-D张量。每个网格单元都可以包括点或某些预先计算的特征。
图1示出了根据各种实施方式的生成用于进一步处理的自我位置补偿的雷达传感器数据的例示100。例示了在多个时间步T0、T1、……、T8、T9、T10、……、TN处的多个雷达传感器数据102。可以设置滑动窗口104以使用来自当前时间步(例如，图1所示的T9)的雷达传感器数据和来自预定数量的先前时间步(例如，如图1所示的来自9个先前时间步T0、T1、…、T8)的雷达传感器数据，并且可以基于滑动窗口104中的雷达传感器数据执行自我位置补偿106。
自我位置补偿的雷达传感器数据108可以用于进一步处理。根据各种实施方式，可以基于自我位置补偿的雷达传感器数据108来确定点(换句话说：点特征或点特性)和一个或更多个种类的(预先计算的)图(例如，运动图、不确定性图和/或占用图)，并且可以根据各种实施方式将点和一个或更多个种类的图提供给网络作为输入源。
图2示出了根据各种实施方式的生成雷达检测数据和雷达图的例示200。可以对自我位置补偿的雷达传感器数据108进行处理以获得具有点特征的网格图202、运动图204、位置不确定性图206和占用图208(换句话说：占用网格)。如图2所示，可以针对各个时间步确定相应的图或网格，以使得确定多个图和网格。
可以根据雷达点的空间位置将雷达点分配给网格单元，以获得具有点特征(例如RCS、距离变化率、绝对位置、与网格中心的相对位置等)的网格图202。这可以以离线方式在网络外部进行。可以预限定网格的范围和分辨率。例如，网格可以具有宽度W和高度H，以使得网格具有W×H个网格单元。在分配之后，每个网格单元可以包括固定数量(预限定或预定)的点。如果单元中的点数少于该固定数量，则使用上采样，否则使用下采样。每个点都由一些特征表示，例如，RCS、距离变化率、绝对位置、与单元中心的相对位置等。因此，来自点的输入数据可以由维度为H×W×N×F的张量表示，其中，N是各个单元中的点的数量，F是点特征的数量。
运动图可以由维度为H×W×CM的张量表示，其中，CM表示运动图中的特征通道的数量。运动图可以将多普勒速度测量的点信息传播到其中(例如，神经网络的)卷积层能够对强语义特征进行编码的空间中。运动图可以表示下一帧中(换句话说：在下一时间步处)存在雷达点检测的累积概率。例如，可以计算对象速度的径向自我运动(或自我位置)补偿的分量。因此，针对各个雷达点检测，可以计算径向覆盖距离。可以将平移覆盖距离的不确定性绘制成线。另外，可以在径向方向上绘制沿着此线的高斯不确定性。此线的长度可以被设置成给定值，并且相对于原始点位置的中心对称。可以以累积方式来进行各个网格单元的更新。下面将参照图8提供运动图设计的示例。
不确定性图可以由维度为H×W×CU的张量表示，其中，CU表示不确定性图中的特征通道的数量。不确定性图可以表示当前帧中(换句话说：在当前时间步处)的位置不确定性。使用逆向传感器模型，类似于创建占用网格图，可以根据方位角、距离和传感器特性(例如，外观类型和范围/角度测量不确定性)来计算此不确定性。网格单元距确定的测量位置越远，则位置不确定性可能越低。可以以累积方式来进行各个网格单元的更新。
占用图可以由维度为H×W×CO的张量表示，其中，CO表示占用图中的特征通道的数量。占用图可以应用时间融合，以便创建仅静态对象轮廓的图。在这种图中，移动的对象可能很少见。首先，对于给定时间，对各个帧的不确定性图进行自我位置补偿。然后，将这些图以贝叶斯方案融合。各个网格单元可以表示它们的对象存在的概率。雷达点检测对单元的贡献越多，存在的概率就越高。
图3示出了根据各种实施方式的堆叠处理的例示300。来自单个时间步的雷达点通常不稳定，并且可能仅通过考虑多个帧才能推断出有意义的信息。根据各种实施方式，可以将多个帧堆叠在一起以对时间信息进行编码。在堆叠处理中，可以考虑自我运动以补偿自我车辆(换句话说：设置有雷达传感器的车辆)的移动。这样，来自静止对象的所有点在多个帧内可能始终处于同一网格位置。
可以堆叠多个时间步的具有点特征的网格图202以获得堆叠的具有点特征的网格图302(其可以由维度为T×H×W×N×F的张量表示，其中，T可以表示堆叠的时间步的数量)。可以堆叠多个时间步的运动图204以获得堆叠的运动图304(其可以由维度为T×H×W×CM的张量表示)。可以堆叠多个时间步的位置不确定性图206以获得堆叠的位置不确定性图306(其可以由维度为T×H×W×CU的张量表示)。可以堆叠多个时间步的占用网格208以获得堆叠的占用网格(其可以由维度为T×H×W×CO的张量表示)。如由点308所指示的，可以堆叠多个时间步的其它图。可以将堆叠的图和网格设置为用于进一步处理的到(神经)网络的输入。
根据各种实施方式的用于对象检测的神经网络可以采用3D张量(H×W×C)的输入，其中，C是特征通道的数量。将理解的是，可以使用常用的神经网络。根据各种实施方式，设置特征编码层以将输入(一个5D张量和三个4D张量)转换成统一的3D张量。根据各种实施方式，特征编码层可以从点和图提取特征，可以压缩点的维度(例如，通过最大池化)，并且然后可以将它们中的所有进行串联以得到统一的4D张量(维度为T×H×W×F'，其中，F'是要串联的表示的第四维度的和)。
图4示出了根据各种实施方式的特征编码的例示400。可以通过时间分布卷积402来处理堆叠的具有点特征的网格图302，以获得点表示404(例如，4D张量，例如，维度为T×H×W×CNF的4D张量，其中，CNF是由压缩点特征的维度N×F得到的维度)。堆叠的运动图304可以通过时间分布卷积406处理以获得运动图表示408(例如，4D张量，例如，维度为T×H×W×CM的4D张量)。堆叠的位置不确定性图306可以通过时间分布卷积410处理以获得位置不确定性图表示412(例如，4D张量，例如，维度为T×H×W×CU的4D张量)。可以对应地处理其它堆叠的图(例如，通过时间分布CNN)以得到其它图表示(例如，4D张量)。
图5示出了根据各种实施方式的串联表示的例示500。如箭头502所示，可以将点表示404、运动图表示408和位置不确定性图表示412串联，以获得串联数据504。将理解的是，由于点表示404、运动图表示408和位置不确定性图表示412具有至少部分相同的维度(例如，第一维度(对应于时间步的数量，例如5)、第二维度(对应于网格的高度，例如160)和第三维度(对应于网格的宽度，例如160)对于点表示404、运动图表示408和位置不确定性图表示412是相同的)，所以串联是可能的。串联数据504可以是维度为T×H×W×F'的张量(其中，F'可以是要串联的数据的通道维度的和；在图5的示例中，可以认为F'＝CNF+CM+CU)。
串联数据504的第一维度可以与点表示404的第一维度相同，并且与运动图表示408的第一维度相同，并且与位置不确定性图表示412的第一维度相同。串联数据504的第二维度可以与点表示404的第二维度相同，并且与运动图表示408的第二维度相同，并且与位置不确定性图表示412的第二维度相同。串联数据504的第三维度可以与点表示404的第三维度相同，并且与运动图表示408的第三维度相同，并且与位置不确定性图表示412的第三维度相同。串联数据504的第四维度(例如，如图5所示的128)可以与点表示404的第四维度(例如，图5所示的64)、运动图表示408的第四维度(例如，如图5所示的32)和位置不确定性图表示412的第四维度(例如，图5所示的32)的和相同。
可以提供时间融合层以压缩时间维度。例如，可以在时间维度上使用3D卷积(3Dconv)或递归网络(例如，LSTM)。该层的输出可以是H×W×F”(F”为整数)，其可以由对象检测网络直接使用。
图6示出了根据各种实施方式的时间压缩的例示600。可以使用时间分布卷积(例如，使用3D-卷积或LSTM)602提供串联数据，以获得具有减小大小和上采样大小的数据级别的金字塔。可以例如使用卷积和/或最大池化来处理第一级别604(例如，维度为T1×H1×W1×C1，其可以与T×H×W×F'相同)以获得减小大小的第二级别606(例如，T2×H2×W2×C2)。可以应用另外的大小减小以获得另外的级别(例示了其中的级别608(例如，维度为T3×H3×W3×C3)和级别610；然而，将理解的是，可以存在另外的级别)。将理解的是，级别610可以是标量，以使得级别612与级别610相同。可以例如通过压缩时间维度，基于上采样级别612并基于级别608来获得级别614。级别614的数据可以具有维度H3×W3×C3，即，与级别608的维度相比，可以压缩时间维度T。可以提供另外的上采样级别，例示了其中的级别616和级别618；然而，将理解的是，可能存在另外的上采样级别。级别616的数据可以具有维度H2×W2×C2，即，与级别606的维度相比，可以压缩时间维度T。级别618的数据可以具有维度H1×W1×C1，即，与级别604的维度相比，可以压缩时间维度T。可以基于已经基于上采样和时间压缩而获得的较低级别(例如，图6所示的在相应级别下方的级别)以及已经通过下采样(例如，图6中所示的相对于相应级别的左侧的级别)而获得的级别来获得级别616、618或另外的级别中的任何一个级别。在通过下采样获得的级别中，例如，级别604、606、608、610可以被处理以压缩时间维度T，以分别获得级别618、616、614、612。可以使用各种方法来压缩时间维度，例如，采用子张量中针对固定时间值的一个(换句话说：采用T图中的一个)、对所有时间值求平均(换句话说：沿着T维度对所有图求平均)、采用所有子张量(换句话说：图)沿着T维度的最大值或最小值、所有子张量(换句话说：图)沿着T维度的相加值或者用于去除或减去时间维度的任何其它方法。级别618的输出可以用于对象检测。
图7示出了根据各种实施方式的对象检测的例示700。级别618的输出可以用于对象检测702，例如，使用基于锚的对象检测网络，例如，在各个金字塔级别特征图上使用Retinanet(或类似的网络)，或任何其它对象检测方法。
图8示出了根据各种实施方式的用于下一帧中(换句话说：在下一(换句话说：随后的)时间步处)的瞬时概率计算的运动图设计的例示800。例示了具有雷达传感器802的车辆、雷达点检测804、径向速度806、下一帧中覆盖的距离808以及下一帧中的位置不确定性810。
图9示出了例示根据各种实施方式的用于对象检测的计算机实现的方法的流程图900。在902处，可以确定网格。该网格可以包括多个网格单元。在904处，可以针对多个时间步确定各个网格单元的多个相应的雷达检测数据。各个雷达检测数据可以指示多个雷达特性。在906处，可以针对各个时间步确定指示各个网格单元中的预定雷达图特性的相应的雷达图。在908处，可以将针对多个时间步的多个网格单元的相应的雷达检测数据转换成预定的第一维度的点表示。在910处，可以将针对多个时间步的雷达图转换成预定的第二维度的图表示。预定的第一维度和预定的第二维度可以至少部分相同。在912处，可以将点表示和图表示串联以获得串联数据。在914处，可以基于该串联数据来执行对象检测。
根据各种实施方式，该计算机实现的方法还可以包括：从设置在车辆上的雷达传感器接收针对各个时间步的雷达传感器数据；以及对雷达传感器数据进行预处理以消除车辆的位置改变的影响。可以基于经预处理的雷达传感器数据来确定雷达检测数据和雷达图。
根据各种实施方式，针对各个当前时间步，可以基于当前时间步的雷达传感器数据和当前时间步之前的预定数量的先前时间步的雷达传感器数据对雷达传感器数据进行预处理，以消除车辆的位置改变的影响。
根据各种实施方式，针对各个时间步，相应的雷达图可以包括指示在下一时间步处存在雷达点检测的概率的运动图。
根据各种实施方式，针对各个时间步，相应的雷达图可以包括指示在相应的时间步处的位置不确定性的位置不确定性图。
根据各种实施方式，针对各个时间步，相应的雷达图可以包括指示静态对象轮廓的占用图。
根据各种实施方式，将针对多个时间步的多个网格单元的相应的雷达检测数据转换成预定的第一维度的点表示可以包括降低各个单元中的点的维度。
根据各种实施方式，降低点的维度可以包括最大池化。
根据各种实施方式，网格可以包括预定的高度和预定的宽度。点表示可以包括四维点张量。点张量的第一维度可以对应于多个时间步的数量，点张量的第二维度可以对应于网格的高度，并且点张量的第三维度可以对应于网格的宽度。图表示可以包括四维图张量。图张量的第一维度可以对应于多个时间步的数量，图张量的第二维度可以对应于网格的高度，并且图张量的第三维度可以对应于网格的宽度。
根据各种实施方式，串联数据可以包括四维串联张量。串联张量的第一维度可以对应于多个时间步的数量，串联张量的第二维度可以对应于网格的高度，串联张量的第三维度可以对应于网格的宽度，并且串联张量的第四维度可以对应于点张量的第四维度和图张量的第四维度的和。
根据各种实施方式，该计算机实现的方法还可以包括：降低串联数据的维度以得到时间融合数据。时间融合数据可以包括三维时间融合张量。时间融合张量的第一维度可以对应于网格的高度，时间融合张量的第二维度可以对应于网格的宽度，并且时间融合张量的第三维度可以对应于点张量的第四维度和图张量的第四维度的和。可以基于该时间融合数据来执行对象检测。
根据各种实施方式，降低串联数据的维度可以包括使用3D卷积。根据各种实施方式，降低串联数据的维度可以包括使用递归网络。
上述步骤902、904、906、908、910、912、914和其它步骤中的各个步骤都可以由计算机硬件组件来执行。
如上所述，根据各种实施方式，可以提供基于雷达点云和时间融合的对象检测。

Claims (15)

1.一种用于对象检测的计算机实现的方法，
所述计算机实现的方法包括由计算机硬件组件执行的以下步骤：
确定(902)网格，所述网格包括多个网格单元；
针对多个时间步为各个网格单元确定(904)多个相应的雷达检测数据，各个雷达检测数据指示多个雷达特性；
针对各个时间步确定(906)指示各个网格单元中的预定的雷达图特性的相应的雷达图；
将针对所述多个时间步的所述多个网格单元的所述相应的雷达检测数据转换(908)成预定的第一维度的点表示；
将针对所述多个时间步的所述雷达图转换(910)成预定的第二维度的图表示，其中，所述预定的第一维度和所述预定的第二维度至少部分相同；
将所述点表示和所述图表示串联(912)以获得串联数据；以及
基于所述串联数据执行对象检测(914)。
2.根据权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括以下步骤：
从设置在车辆上的雷达传感器接收针对各个时间步的雷达传感器数据；以及
对所述雷达传感器数据进行预处理以消除所述车辆的位置改变的影响；
其中，所述雷达检测数据和所述雷达图是基于经预处理的雷达传感器数据确定的。
3.根据权利要求2所述的计算机实现的方法，
其中，针对各个当前时间步，基于所述当前时间步的雷达传感器数据和所述当前时间步之前的预定数量的先前时间步的雷达传感器数据来对所述雷达传感器数据进行预处理，以消除所述车辆的位置改变的影响。
4.根据权利要求1至3中任一项所述的计算机实现的方法，
其中，针对各个时间步，所述相应的雷达图包括指示在下一时间步处存在雷达点检测的概率的运动图。
5.根据权利要求1至4中任一项所述的计算机实现的方法，
其中，针对各个时间步，所述相应的雷达图包括指示在相应的时间步处的位置不确定性的位置不确定性图。
6.根据权利要求1至5中任一项所述的计算机实现的方法，
其中，针对各个时间步，所述相应的雷达图包括指示静态对象轮廓的占用图。
7.根据权利要求1至6中任一项所述的计算机实现的方法，
其中，将针对所述多个时间步的所述多个网格单元的所述相应的雷达检测数据转换(908)成预定的第一维度的点表示的步骤包括降低各个单元中的点的维度。
8.根据权利要求7所述的计算机实现的方法，
其中，降低点的维度包括最大池化。
9.根据权利要求1至8中任一项所述的计算机实现的方法，
其中，所述网格包括预定的高度和预定的宽度；
其中，所述点表示包括四维点张量，其中，所述点张量的第一维度对应于所述多个时间步的数量，所述点张量的第二维度对应于所述网格的所述高度，并且所述点张量的第三维度对应于所述网格的所述宽度；并且
其中，所述图表示包括四维图张量，其中，所述图张量的第一维度对应于所述多个时间步的所述数量，所述图张量的第二维度对应于所述网格的所述高度，并且所述图张量的第三维度对应于所述网格的所述宽度。
10.根据权利要求9所述的计算机实现的方法，
其中，所述串联数据包括四维串联张量，其中，所述串联张量的第一维度对应于所述多个时间步的所述数量，所述串联张量的第二维度对应于所述网格的所述高度，所述串联张量的第三维度对应于所述网格的所述宽度，并且所述串联张量的第四维度对应于所述点张量的第四维度与所述图张量的第四维度的和。
11.根据权利要求9至10中任一项所述的计算机实现的方法，所述计算机实现的方法还包括以下步骤：
降低所述串联数据的维度以得到时间融合数据，其中，所述时间融合数据包括三维时间融合张量，其中，所述时间融合张量的第一维度对应于所述网格的所述高度，所述时间融合张量的第二维度对应于所述网格的所述宽度，并且所述时间融合张量的第三维度对应于所述点张量的第四维度与所述图张量的第四维度的和；
其中，基于所述时间融合数据来执行对象检测。
12.根据权利要求11所述的计算机实现的方法，
其中，降低所述串联数据的维度包括使用3D卷积。
13.根据权利要求11至12中任一项所述的计算机实现的方法，
其中，降低所述串联数据的维度包括使用递归网络。
14.一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行根据权利要求1至13中任一项所述的计算机实现的方法的步骤。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至13中任一项所述的计算机实现的方法的指令。
CN202010685414.8A 2019-07-18 2020-07-16 用于对象检测的方法和系统 Active CN112241008B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19187019.5A EP3767332B1 (en) 2019-07-18 2019-07-18 Methods and systems for radar object detection
EP19187019.5 2019-07-18

Publications (2)

Publication Number Publication Date
CN112241008A true CN112241008A (zh) 2021-01-19
CN112241008B CN112241008B (zh) 2024-04-16

Family

ID=67438000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010685414.8A Active CN112241008B (zh) 2019-07-18 2020-07-16 用于对象检测的方法和系统

Country Status (3)

Country Link
US (1) US11604272B2 (zh)
EP (1) EP3767332B1 (zh)
CN (1) CN112241008B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113317791A (zh) * 2021-05-28 2021-08-31 温州康宁医院股份有限公司 一种基于被测者的音频确定抑郁症严重程度的方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220335279A1 (en) * 2021-04-14 2022-10-20 Aptiv Technologies Limited Radar System Using a Machine-Learned Model for Stationary Object Detection
CN113267753B (zh) * 2021-05-13 2022-07-19 中国人民解放军军事科学院战争研究院 一种基于三维网格的雷达探测仿真方法
CN113568068B (zh) * 2021-07-22 2022-03-29 河南大学 一种基于mpi并行的三维神经网络的强对流天气预测方法
WO2023121657A1 (en) * 2021-12-21 2023-06-29 Intel Corporation Radar apparatus, system, and method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
US20170168134A1 (en) * 2015-12-10 2017-06-15 Qualcomm Incorporated Object Detection
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108008370A (zh) * 2016-10-27 2018-05-08 通用汽车环球科技运作有限责任公司 多个雷达中的改进的对象检测
US20180181789A1 (en) * 2016-12-23 2018-06-28 Hexagon Technology Center Gmbh Method for assigning particular classes of interest within measurement data
US20180189572A1 (en) * 2016-12-30 2018-07-05 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Modal Fusion Model
US20190147335A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Continuous Convolution and Fusion in Neural Networks
US20190147250A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Semantic Segmentation of Three-Dimensional Data
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
DE102018203591B3 (de) * 2018-03-09 2019-07-04 Conti Temic Microelectronic Gmbh Verfahren und System zur Klassifikation von Verkehrsteilnehmern

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014218092A1 (de) * 2014-09-10 2016-03-10 Volkswagen Aktiengesellschaft Erstellen eines Abbilds der Umgebung eines Kraftfahrzeugs und Bestimmen der relativen Geschwindigkeit zwischen dem Kraftfahrzeug und Objekten in der Umgebung
US9691019B1 (en) * 2017-03-07 2017-06-27 Google Inc. Depth concatenation using a matrix computation unit
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors
DE102017220243B3 (de) * 2017-11-14 2019-02-21 Continental Automotive Gmbh Verfahren und vorrichtung zum erkennen einer blockierung einer radarvorrichtung, fahrerassistenzsystem und fahrzeug
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10810792B2 (en) * 2018-05-31 2020-10-20 Toyota Research Institute, Inc. Inferring locations of 3D objects in a spatial environment
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
KR20200044420A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 위치 추정 방법 및 장치
US11422253B2 (en) * 2018-11-19 2022-08-23 Tdk Corportation Method and system for positioning using tightly coupled radar, motion sensors and map information
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
US11520347B2 (en) * 2019-01-23 2022-12-06 Baidu Usa Llc Comprehensive and efficient method to incorporate map features for object detection with LiDAR
US20200278423A1 (en) * 2019-03-01 2020-09-03 GM Global Technology Operations LLC Removing false alarms at the beamforming stage for sensing radars using a deep neural network
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
US20170168134A1 (en) * 2015-12-10 2017-06-15 Qualcomm Incorporated Object Detection
CN108008370A (zh) * 2016-10-27 2018-05-08 通用汽车环球科技运作有限责任公司 多个雷达中的改进的对象检测
US20180181789A1 (en) * 2016-12-23 2018-06-28 Hexagon Technology Center Gmbh Method for assigning particular classes of interest within measurement data
US20180189572A1 (en) * 2016-12-30 2018-07-05 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Modal Fusion Model
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
US20190147335A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Continuous Convolution and Fusion in Neural Networks
US20190147250A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Semantic Segmentation of Three-Dimensional Data
US20190147372A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Object Detection, Tracking, and Motion Prediction
DE102018203591B3 (de) * 2018-03-09 2019-07-04 Conti Temic Microelectronic Gmbh Verfahren und System zur Klassifikation von Verkehrsteilnehmern

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113317791A (zh) * 2021-05-28 2021-08-31 温州康宁医院股份有限公司 一种基于被测者的音频确定抑郁症严重程度的方法及装置

Also Published As

Publication number Publication date
US20210018615A1 (en) 2021-01-21
EP3767332A1 (en) 2021-01-20
US11604272B2 (en) 2023-03-14
CN112241008B (zh) 2024-04-16
EP3767332B1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
CN112241008B (zh) 用于对象检测的方法和系统
CN108830280B (zh) 一种基于区域提名的小目标检测方法
EP2827297B1 (en) Method and apparatus for processing depth image
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds
CN110659664A (zh) 一种基于ssd的高精度识别小物体的方法
US20220381914A1 (en) Systems and methods for sparse convolution of unstructured data
CN112764004B (zh) 一种点云处理方法、装置、设备及存储介质
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN112183649A (zh) 一种用于对金字塔特征图进行预测的算法
CN115984637A (zh) 时序融合的点云3d目标检测方法、系统、终端及介质
Lu et al. OctreeOcc: Efficient and Multi-Granularity Occupancy Prediction Using Octree Queries
CN117392181A (zh) 运动信息的预测方法、计算机设备、存储介质及智能设备
CN113536920A (zh) 一种半监督三维点云目标检测方法
KR102553995B1 (ko) 라벨링 장치 및 학습 장치
CN113284155A (zh) 视频目标分割方法、装置、存储介质及电子设备
CN116797907A (zh) 基于注意力机制和多尺度检测的点云目标检测方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN110278487B (zh) 图像处理方法、装置及设备
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP4152274A1 (en) System and method for predicting an occupancy probability of a point in an environment, and training method thereof
CN110490235B (zh) 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置
CN113920446A (zh) 一种基于原始点云处理的3d目标检测算法
CN113711225A (zh) 用于生成合成传感器数据的计算机实现的方法和系统以及训练方法
CN111126310A (zh) 一种基于场景迁移的行人性别识别方法
Wei et al. Spatiotemporal Transformer Attention Network for 3D Voxel Level Joint Segmentation and Motion Prediction in Point Cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240229

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant