CN112241003A - 用于对象检测的方法和系统 - Google Patents

用于对象检测的方法和系统 Download PDF

Info

Publication number
CN112241003A
CN112241003A CN202010679468.3A CN202010679468A CN112241003A CN 112241003 A CN112241003 A CN 112241003A CN 202010679468 A CN202010679468 A CN 202010679468A CN 112241003 A CN112241003 A CN 112241003A
Authority
CN
China
Prior art keywords
data
computer
implemented method
spatial
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010679468.3A
Other languages
English (en)
Inventor
朱维檬
苏煜
P·克里默
O·毛泽
S·莱斯曼
I·科萨茨基
S·K·德科尔迪
S·拉布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN112241003A publication Critical patent/CN112241003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S13/48—Indirect determination of position data using multiple beams at emission or reception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/103—Systems for measuring distance only using transmission of interrupted, pulse modulated waves particularities of the measurement of the distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/44—Monopulse radar, i.e. simultaneous lobing
    • G01S13/4445—Monopulse radar, i.e. simultaneous lobing amplitude comparisons monopulse, i.e. comparing the echo signals received by an antenna arrangement with overlapping squinted beams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/64—Velocity measuring systems using range gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Abstract

本申请公开了一种用于对象检测的方法和系统。该计算机实现方法包括由计算机硬件组件执行的以下步骤：提供包括距离信息、速度信息和角度信息的信号表示数据；针对多个空间尺度中的各个空间尺度，基于信号表示数据确定相应空间尺度的相应尺度数据，以获得多个尺度数据；向多个检测器提供多个尺度数据；以及各个检测器基于多个尺度数据中的至少一个尺度数据执行对象检测。

Description

用于对象检测的方法和系统
技术领域
本公开涉及用于例如使用雷达数据的对象检测的方法。
背景技术
在线性调频(chirp)序列雷达的常规信号处理中，目标在于通过估计在测量环境中散布的物理点的距离、径向速度和角度来创建检测点，这些物理点将从雷达发射器发射的能量反射回接收器。反射能量的量非常依赖于对象的材料、取向、几何形状和尺寸。在这种情况下，通常使用傅立叶变换来将时域/空域数据转换成可以对人类解释的频率响应。一种常见的方法是创建多个距离多普勒图(range-Doppler map)，所述多个距离多普勒图分别指示场景中的对象的径向距离和速度。然后将这些响应设定为阈值，以滤除可能是噪声或干扰并因此不关注的任何响应。作为进一步的步骤，继续处理剩余的检测，以提取空域中的角度(利用接收器阵列)，然后将该角度与反射点的距离信息一起使用，以在场景中准确定位反射点。
该技术的问题在于，对于各个距离多普勒单元，空间信息会覆盖相当大的视场(例如，-75度至+75度)，该视场可能包含许多散射体。如果被测量的场景包含许多静止对象，则尤其如此。如果自主车辆(换言之：设置有雷达传感器的车辆)静止不动，则静止对象会导致第零多普勒通道(Doppler bin)中的许多点对应于非移动对象。在这种情况下，区分多个反射器变得非常困难，并且通常要部署计算上昂贵的高分辨率技术来解析多个反射点。
因此，需要提供用于有效的对象检测的系统和方法。
发明内容
本公开提供了计算机实现方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面中，本公开涉及一种用于对象检测的计算机实现方法，该方法包括由计算机硬件组件执行的以下步骤：提供包括距离信息、速度信息和角度信息的信号表示数据；针对多个空间尺度中的各个空间尺度，基于信号表示数据确定相应空间尺度的相应尺度数据，以获得多个尺度数据；向多个检测器提供多个尺度数据；以及各个检测器基于该多个尺度数据中的至少一个尺度数据执行对象检测。
换言之，向多个检测器提供输入信号数据的多个尺度版本，并且各个检测器使用尺度版本中的至少一者进行对象检测。
向多个检测器提供各种尺度的尺度数据可以增强检测效率和检测精度，尤其是在处理关注区域中不同尺寸的对象时。尺度数据也可以被称为空间尺度金字塔。例如，深层金字塔层级可以包括更适合于检测大对象的信息，而浅层金字塔层级可以包含更适于检测小对象的信息。
根据另一方面，信号表示数据基于雷达信号和超声信号中的至少一者。例如，信号表示数据可以是基于所接收的发射信号的反射的信息(例如，能量或频率)。基于所接收的反射的能量，并且基于所接收的反射(换言之：所接收的反射信号)的能量的时间分布，可以确定对发射信号进行反射的对象的距离(例如，通过确定信号的发射与反射信号的接收之间的时间)。根据另一方面，信号表示数据包括频域雷达数据。基于能够从所接收的信号及其频率得出的相移，可以确定对象的速度(例如，基于反射信号的频率的多普勒频移)。
根据另一方面，信号表示数据基于由天线阵列接收的信号。通过确定在各个天线处接收的反射信号之间的到达时间差，可以确定到达方向(换言之：角度)。
将理解的是，尽管信号表示数据包括距离信息、速度信息和角度信息，但是这些信息(距离信息、速度信息和角度信息)不一定在信号表示数据中明确地存在(换言之：所确定或解码的)，而是这些信息可以从信号表示数据中得出。
根据另一方面，基于稀疏输入数据将信号表示数据确定为密集数据，优选地，基于保留稀疏输入数据的空间顺序的变换，将信号表示数据确定为密集数据。已经发现的是，因为基于稀疏数据的处理可能会使对机器学习模型进行有效训练所需的训练数据量大大增加，所以基于稀疏数据的处理可以阻碍机器学习应用。因此，将稀疏数据转换成密集数据可以增强处理。
根据另一方面，以从精细空间分辨率到粗糙空间分辨率的层次结构提供多个空间尺度。根据各种实施方式，基于水平(即，在金字塔的一个层级内；换言之：在相同空间分辨率的数据之间)和垂直(即，从金字塔的一个层级到金字塔的另一层级；换言之：在不同空间分辨率的数据之间)地共享信息来确定各种空间尺度的数据(换言之：具有各种空间分辨率的数据)。根据各个实施方式的特征金字塔中的各个层级可以包括多个特征向量，各个特征向量描述来自不同距离(range)的雷达响应。当确定用于粗糙金字塔层级特征的数据时，可以将来自若干精细距离的特征组合成单个粗糙距离。可以组合来自不同距离的特征，即，在一个维度(1D)上组合数据。将理解的是，可以使用各种方法来确定不同金字塔层级的数据，例如平均、最大池化、神经网络或适合于将数据调整到较粗糙尺度或较精细尺度的任何其它方法。可以基于其它层级中的特征并基于接收到的雷达数据(例如，所接收的(例如，反射的)雷达信号的能量的模式)来确定各个层级中的特征。
根据另一方面，多个空间尺度可以与信号表示数据的距离信息相关。换言之：相对于距离信息来调整信号表示数据。已经发现的是，这可以增强具有变化的尺寸的对象的对象检测(例如，当要检测小尺寸的对象和尺寸远大于该小尺寸的对象时)。
根据另一方面，各个检测器在相应预定空间区域中执行对象检测。根据另一方面，在极角坐标中的预定范围上提供多个检测器的相应预定空间区域。
各个检测器的相应预定区域可以在尺寸上变化。例如，可能存在小预定区域和大预定区域。可能存在多个不同尺寸的区域。
根据另一方面，各个检测器提供所执行的对象检测的相应置信度。由于可以将具有高置信度的检测结果与具有低置信度的检测结果区别地对待，所以这可以增强检测结果的进一步处理。
根据另一方面，各个检测器在检测对象时预测所检测的对象的属性。所检测的对象的属性包括所检测的对象的位置、所检测的对象的尺寸、所检测的对象的取向、所检测的对象的速度、所检测的对象的形状或者所检测的对象的类别中的至少一者。对类别进行检测可以将所检测的对象分类成多个类别中的一个类别。例如，可以检测所检测的对象是卡车、汽车、自行车还是行人。然后，这些属性可以用于进一步处理，例如，在控制自主驾驶汽车中。
根据另一方面，通过神经网络来执行步骤中的至少一个步骤。可以基于标记数据来训练该神经网络，标记数据包括参考对象信息和数据，基于该参考对象信息和数据，可以获得参考信号表示数据。这可以允许在无需手动设计特征、模块或编码的情况下自动学习完整的对象检测模型。该神经网络可以例如是卷积神经网络(CNN)，例如，深度卷积神经网络(deep CNN)。
在另一方面，本公开涉及一种计算机系统，所述计算机系统被配置为执行本文所描述的计算机实现方法的若干或全部步骤。
该计算机系统可以包括多个计算机硬件组件(例如，处理单元(换言之：处理器)、至少一个存储器单元(其也可以称为存储器)和至少一个非暂时性数据存储装置)，例如，硬盘驱动器或固态驱动器)。将理解的是，可以提供其它计算机硬件组件并将其用于执行计算机系统中的计算机实现方法的步骤。该非暂时性数据存储装置和/或存储器单元可以包括计算机程序，该计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文所描述的计算机实现方法的若干或全部步骤或方面。
在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或全部步骤或方面的指令。计算机可读介质可以被配置为：诸如光盘(CD)或数字通用盘(DVD)之类的光学介质；诸如硬盘驱动器(HDD)之类的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)等。此外，该计算机可读介质可以被配置为经由诸如互联网连接的数据连接能够访问的数据存储装置。计算机可读介质可以例如是在线数据存储库或云存储装置。
本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或全部步骤或方面。
附图说明
在此结合示意性示出的以下附图描述本公开的示例性实施方式和功能：
图1是例示了根据各种实施方式的从雷达通过神经网络结构到对象检测的最终输出的数据流的概览的图；
图2A是根据各种实施方式的具有各个相应小区域的各个检测器的例示，检测器在各个相应小区域中执行对象检测；
图2B是根据各种实施方式的具有各个相应大区域的各个检测器的例示，检测器在各个相应小区域中执行对象检测；
图3是例示了根据各种实施方式的用于对象检测的计算机实现方法的流程图。
具体实施方式
图1描绘了根据各种实施方式的从雷达通过神经网络结构到对象检测的最终输出的数据流的概览图100。
根据各种实施方式，例如使用机器学习方法，可以根据频域雷达传感器数据直接执行多个对象的检测和分类。可以提供多个对象检测器(例如，N个对象检测器，例如，第一对象检测器108、第二对象检测器110、诸如由点表示的其它对象检测器112以及第N对象检测器114)。可以将多个对象检测器108、110、112、114各自调谐(tune)到空间的相应特定区域，于是所有这些检测器108、110、112、114共享公共输入(例如，特征向量，例如包括特定尺度金字塔106)和预处理链。
这些检测器108、110、112、114中的各个检测器都可以确定输出(例如，第一检测器108可以确定第一输出116，第二检测器110可以确定第二输出118，其它检测器112可以确定由点表示的其它输出120，第N检测器114可以确定第N输出122)。更详细地，检测器108、110、112、114中的各个检测器可以对其相关联区域内的对象进行定位，并且可以将对象分类成多个类别中的一个类别。此外，这些检测器108、110、112、114中的各个检测器可以预测所检测的对象的各种属性，诸如，尺寸、取向或速度。例示124和例示126分别示出了具有检测器108和检测器118的检测结果的关注区域，并且将在下面参照图2A和图2B进行更详细地描述。其它检测器112和第N检测器可以在关注区域中提供其它检测结果，如点128所示。
雷达102(例如，线性调频序列雷达)可以提供雷达数据作为输入数据，以生成特征向量(换言之：以压缩成特征向量)104。
各种实施方式可以包括雷达，该雷达包括天线阵列。这样的雷达可以为各个天线提供与距离和相对速度的各种可能组合相对应的信号。来自不同天线的所有这些信号可以被组合以进行进一步处理，例如，通过神经网络进行进一步处理。
在雷达的阵列的不同天线中接收到的信号在时间和相位上有轻微的偏移。根据各种实施方式，该信息可以用于提取由场景中的对象反射的信号的到达方向，以便推断它们的相对位置。此外，可以使用反射的模式，以便预测对象的类别(换言之：标识；例如，指示对象是卡车、汽车、自行车还是行人)及其进一步的属性(诸如，尺寸和取向)。
根据各种实施方式，提供了一种神经网络方法，该方法涉及将距离信息、速度信息和角度信息(例如，基于由多个天线接收的信号的相移)组合成单个混合表示(其可以被称为压缩数据立方体)。提供了一种对雷达压缩数据立方体进行对象检测的基于锚的神经网络。
在各种可用的雷达实现方式中，以压缩和/或稀疏格式传输数据，以便克服雷达传感器与中央处理单元之间的有限带宽。然而，基于稀疏数据的处理可能阻碍机器学习应用，因为其可能会大大增加对机器学习模型进行有效训练所需的训练数据量。根据各种实施方式，如果使用具有压缩和/或稀疏数据的雷达实现方式，则可以应用压缩步骤作为神经网络的一部分，该压缩步骤可以将稀疏信号变换成密集信号，同时保留其空间顺序。例如，卷积计算可以通过在空间维度上应用滑动窗口来保留空间顺序。该空间维度的一般顺序可以保持不变。例如，以步长大小(步长)2，数据[1 0 0 0 1 1]上的核[1 1]可以输出[1 0 2]，该[1 0 2]仍然可以保留数据的空间排列。
雷达信号的混合密集表示可以被存储为特征向量(104)。可以使用神经网络将特征向量逐渐压缩到越来越小的空间分辨率，从而产生特征金字塔106，其中，仅沿着雷达数据的距离维度应用压缩。然后可以随后将该空间尺度金字塔106(换言之：特征金字塔)再次扩展回越来越大的分辨率。空间尺度金字塔可以在各个金字塔层级内保持不同的信息分辨率。这样的分辨率可以提高对象检测器性能，以用于处理图像中不同尺寸的对象。例如，深层金字塔层级可以包括针对大对象的信息，而浅层金字塔层级可以包括针对小对象的信息。
然后可以将增加的空间尺度(换言之：特征金字塔106)中的压缩特征提供给多个检测器108、110、112、114，检测器108、110、112、114中的各个检测器能够检测空间的指定区域内的对象，并确定所检测的对象的各种属性。
对于不同的检测器108、110、112、114，指定区域可以是不同的；换言之：检测器108、110、112、114中的各个检测器可以具有自身的指定区域，该指定区域可以不同于所有其它检测器的指定区域。尽管是成对不同的，但是不同检测器108、110、112、114的相应指定区域可以交叠。相应指定区域可能具有不同的尺寸，但对于各个尺寸，可能存在多于一个的指定区域(但具有不同的位置)。相应指定区域也可以称为锚。
向各个检测器108、110、112、114提供来自多个空间尺度(在压缩的金字塔中，换言之：空间尺度金字塔106)的数据，并且可以尝试检测所有尺度内的对象。根据各种实施方式，检测器108、110、112、114可以在场景的极角坐标上分布，并且同一组检测器108、110、112、114可以在多个空间范围(range)之间共享(换言之：同一组检测器可以应用于空间尺度金字塔106中多个尺度的数据)。尽管各个检测器108、110、112、114可以被优化以用于特定尺度的对象，但是各个检测器108、110、112、114可以检测空间尺度金字塔106中任意尺度的对象。
根据各种实施方式，可以提供预定数量的检测器108、110、112、114，并且可以将这些检测器108、110、112、114分配给要确定对象的空域的角度范围。
当提供有输入雷达信号(以空间尺度金字塔106的形式)时，各个检测器108、110、112、114输出该检测器对在其分配的空间区域内是否存在对象的置信度。此外，各个检测器108、110、112、114预测该区域内对象的准确位置以及对象的各种属性。检测器108、110、112、114的置信度可以用于提供进一步的处理，诸如，去除重复的检测或对象跟踪。
神经网络执行根据各种实施方式的处理，包括初始压缩104、确定多个空间尺度的数据(换言之：确定空间尺度金字塔106)，并且对象检测器108、110、112、114可以根据标记的雷达数据进行端到端训练。这种端到端训练可以在无需手动设计特征、模块或编码的情况下允许自动学习完整的对象检测模型。
虽然常规假设仅是估计单个点散射体，但是在洞悉集中在谱峰周围的能量包含有用信息并且可以是用于神经网络的能够学习特征的情况下，根据各种实施方式的本方法使用来自天线测量的整个能量谱，而无需直接提取任何角度信息。换言之：根据各种实施方式，到达方向(DOA)不仅限于单个散射点，而是考虑了来自关注对象的反射能量的扩散，这消除了将单个点(距离、角度)与对象相关联的必要性。雷达“看到”的各个对象或对象的一部分可能是雷达能量的复杂模式，该复杂模式可能是对象的形状和属性的结果。因此，可以根据雷达接收到的能量的模式来重建(或近似)对象的属性。常规的雷达处理系统在这些雷达处理系统的预处理步骤中从模式中提取对象位置，而丢弃模式本身，并且仅能检测对象的位置。根据各种实施方式，可以总是将模式(或在压缩和金字塔阶段期间生成的派生形式)传递到基于锚的检测器，从而允许这些检测器重建对象的属性。
图2A和图2B示出了根据各种实施方式的具有各个相应区域的各个检测器的例示200和例示226，在各个相应区域中，检测器在尺度金字塔的距离的不同层级上执行对象检测。将理解的是，图2A和图2B各自仅示出了距离金字塔的一个层级，例示了不同的金字塔层级如何覆盖多种尺寸的对象。
图2A的例示200示出了在精细尺度上的检测器的例示。例如，对象检测的总关注区域被若干圆形段(换言之：弧)201、203、205、207、209分开，并且沿着圆形段201、203、205、207、209设置检测器。在各个距离中(例如，沿着圆形段201、203、205、207、209的各条线)，训练多个对象检测器，以检测这些对象检测器附近以内的对象。各个弧201、203、205、207、209指是单个(换言之：在相同的)金字塔层级中的不同距离。
为了便于例示，仅沿着图2A中的圆形段201、203、205、207、209中的一个圆形段(沿着圆形段205)的线例示了检测器。多个检测器中的各个检测器可以在相应区域(例如，区域204、206、208、210、212、214、216和218)中执行检测。将理解的是，尽管在图2A中用圆圈例示了区域，但是区域(换言之：锚)的形状不限于圆形形状，而是区域可以具有除圆圈之外的任何形状，例如，椭圆形、矩形、正方形或一般多边形。
在关注区域中可以存在要检测的多个对象(例如，大对象220和小对象222)。将理解的是，尽管在图2A中通过矩形框例示了对象220、222，但是对象的形状不限于矩形形状，而是对象可以具有除矩形之外的任何形状。对象220、222的形状可能是未知的，并且可以是检测器应检测到的对象的属性中的一个属性。
可以将特征向量224提供给在对应于弧205的距离上工作的各个检测器，特征向量224可以包括空间尺度金字塔106的数据。在对应于弧205的距离上工作的检测器可以接收特征向量224作为输入，特征向量224可以包括针对尺度金字塔中的一个尺度(对应于图2A中所示的弧201、203、205、207、209的粗糙度的尺度)和一个距离(对应于弧205的距离)的数据。各个检测器可以基于特征向量224(换言之：基于空间尺度金字塔106中的尺度数据中的至少一者)来执行对象检测。
如图2A中的粗实线圆圈所示，可以通过在区域212中执行对象检测的检测器检测小对象222。大对象220可能不会被在小区域204、206、208、210、212、214、216和218中执行检测的任何检测器检测到。
图2B的例示226示出了在比图2A所示的精细尺度更粗糙尺度上的检测器的例示。对象检测的总关注区域被若干圆形段(换言之：弧)227、229、231分开，并且沿着圆形段227、229、231设置检测器，其中，针对较粗糙尺度的圆形段227、229、231之间的距离大于针对图2A中所示的较精细尺度的圆形段201、203、205、207、209的距离。各个弧227、229、231是指单个(换言之：在相同的)金字塔层级中的不同距离。将理解的是，与图2B的弧227、229、231相比，图2A的弧201、203、205、207、209与尺度金字塔中的更精细尺度相关；换言之，图2A所示的金字塔层级比图2B所示的金字塔层级更精细；换言之，图2B所示的金字塔层级比图2A所示的金字塔层级更粗糙。在各个距离中(例如，沿着圆形段227、229、231的各条线)，训练多个对象检测器，以检测这些对象检测器附近之内的对象。
为了便于例示，仅沿着图2B中的圆形段227和229例示了检测器。在对应于弧229的距离上工作的检测器可以接收特征向量242作为输入，特征向量242可以包括针对尺度金字塔中的一个尺度(对应于图2B中所示的弧227、229、231的粗糙度的尺度)和一个距离(对应于弧229的距离)的数据。在对应于弧227的距离上工作的检测器可以接收特征向量244作为输入，特征向量244可以包括针对尺度金字塔中的一个尺度(对应于图2B中所示的弧227、229、231的粗糙度的尺度)和一个距离(对应于弧227的距离)的数据。多个检测器中的各个检测器可以在相应区域(例如，区域230、232、234、236、238和240)中执行检测。将理解的是，尽管在图2B中用圆圈例示了区域，但是区域(换言之：锚)的形状不限于圆形形状，而是区域可以具有除圆圈之外的任何形状，例如，椭圆形、矩形、正方形或一般多边形。
如图2B中的粗实线圆圈所示，大对象220可以由在区域232中执行对象检测的检测器检测，并且大对象220也可以由在区域238中执行对象检测的检测器检测。小对象222可能不会被在大区域230、232、234、236、238和240中执行检测的任何检测器检测到。
如图2A和图2B所示，根据各种实施方式，传感器数据在多个尺度上并利用检测器在不同尺寸的区域上进行处理，从而在更粗粒度的尺度中检测到较大的对象。例如，图2A例示了相比于图2B所示的层级尺度，与尺度金字塔的更精细尺度相对应的层级。例如，图2A例示了尺度金字塔的与弧201、203、205、207、209的粗糙度(换言之：精细度)相对应的层级。图2B例示了尺度金字塔的与弧227、229、231的粗糙度(换言之：精细度)相对应的层级。
如上所述，根据各种实施方式的特征金字塔(换言之：针对多个空间尺度的相应多个数据)可以包括针对各个金字塔层级中的各个距离的区别性特征。例如，三个例示的特征向量224、242、244中的各个特征向量可以是有区别的。对于各个金字塔层级，同一距离中的所有检测器(其可以被称为锚)可以接收描述该金字塔层级中的该距离的相同特征向量。处于同一金字塔层级但处于不同距离的检测器可以接收不同的特征向量。在不同金字塔层级中的检测器可以接收不同的特征向量。
图3示出了例示根据各种实施方式的用于对象检测的计算机实现方法的流程图300。在302处，可以提供信号表示数据。信号表示数据可以包括距离信息、速度信息和角度信息。在304处，针对多个空间尺度中的各个空间尺度，可以基于信号表示数据确定相应空间尺度的相应尺度数据，以获得多个尺度数据。在306处，可以向多个检测器提供多个尺度数据。在308处，各个检测器可以基于多个尺度数据中的至少一个尺度数据来执行对象检测。
根据各种实施方式，信号表示数据可以是或可以基于雷达信号或超声信号中的至少一者。根据各种实施方式，信号表示数据可以包括或者可以是频域雷达数据。根据各种实施方式，信号表示数据可以是或可以基于由天线阵列接收的信号。
根据各种实施方式，可以基于稀疏输入数据将信号表示数据确定为密集数据。
根据各种实施方式，可以以从精细空间分辨率到粗糙空间分辨率的层次结构提供多个空间尺度。
根据各种实施方式，多个空间尺度可以与信号表示数据的距离信息相关。
根据各种实施方式，各个检测器可以在相应预定空间区域中执行对象检测。根据各种实施方式，可以在极角坐标中的预定范围上提供多个检测器的相应预定空间区域。
根据各种实施方式，检测器中的各个检测器可以提供所执行的对象检测的相应置信度。
根据各种实施方式，各个检测器在检测对象时可以预测所检测的对象的属性。根据各种实施方式，所检测的对象的属性可以包括或可以是所检测的对象的位置、和/或所检测的对象的尺寸、和/或所检测的对象的取向、和/或所检测的对象的速度、和/或所检测的对象的形状和/或所检测的对象的类别。
根据各种实施方式，可以基于标记数据来训练步骤302、304、306、308中的至少一个步骤或由根据各种实施方式的方法执行的任何其它步骤。标记数据可以包括参考对象信息和数据，基于该参考对象信息和数据能够获得参考信号表示数据。
上述步骤302、304、306、308和其它步骤中的各个步骤都可以由计算机硬件组件执行。
参考标号列表
100例示数据流的概览图100
102雷达
104压缩成特征向量
106空间尺度金字塔
108第一对象检测器
110第二对象检测器
112其它对象检测器
114第N对象检测器
116第一输出
118第二输出
120其它输出
122第N输出
124关注区域的例示
126关注区域的例示
128例示关注区域的其它例示的点
200具有各个相应小区域的各个检测器的例示
201圆形段
203圆形段
204小区域
205圆形段
206小区域
207圆形段
208小区域
209圆形段
210小区域
212小区域
214小区域
216小区域
218小区域
220大对象
222小对象
224特征向量
226具有各个相应大区域的各个检测器的例示
227圆形段
229圆形段
230大区域
231圆形段
232大区域
234大区域
236大区域
238大区域
240大区域
242特征向量
244特征向量
300流程图
302方法步骤
304方法步骤
306方法步骤
308方法步骤

Claims (15)

1.一种用于对象检测的计算机实现方法，
所述计算机实现方法包括由计算机硬件组件执行的以下步骤：
提供(302)包括距离信息、速度信息和角度信息的信号表示数据；
针对多个空间尺度中的各个空间尺度，基于所述信号表示数据确定(304)相应空间尺度的相应尺度数据，以获得多个尺度数据；
向多个检测器提供(306)所述多个尺度数据；以及
各个检测器基于所述多个尺度数据中的至少一个尺度数据执行对象检测(308)。
2.根据权利要求1所述的计算机实现方法，
其中，所述信号表示数据基于雷达信号和超声信号中的至少一者。
3.根据权利要求1所述的计算机实现方法，
其中，所述信号表示数据包括频域雷达数据。
4.根据权利要求1至3中至少一项所述的计算机实现方法，
其中，所述信号表示数据基于由天线阵列接收的信号。
5.根据权利要求1至4中至少一项所述的计算机实现方法，
其中，基于稀疏输入数据将所述信号表示数据确定为密集数据，优选地，基于保留所述稀疏输入数据的空间顺序的变换，将所述信号表示数据确定为密集数据。
6.根据权利要求1至5中至少一项所述的计算机实现方法，
其中，以从精细空间分辨率到粗糙空间分辨率的层次结构提供所述多个空间尺度。
7.根据权利要求1至6中至少一项所述的计算机实现方法，
其中，所述多个空间尺度与所述信号表示数据的所述距离信息相关。
8.根据权利要求1至7中至少一项所述的计算机实现方法，
其中，各个检测器在相应预定空间区域中执行所述对象检测。
9.根据权利要求8所述的计算机实现方法，
其中，在极角坐标中的预定范围上提供所述多个检测器的所述相应预定空间区域。
10.根据权利要求1至9中至少一项所述的计算机实现方法，
其中，所述检测器中的各个检测器提供所执行的所述对象检测的相应置信度。
11.根据权利要求1至10中至少一项所述的计算机实现方法，
其中，各个检测器在检测对象时预测所检测的对象的属性。
12.根据权利要求11所述的计算机实现方法，
其中，所检测的对象的所述属性包括所检测的对象的位置、所检测的对象的尺寸、所检测的对象的取向、所检测的对象的速度、所检测的对象的形状或者所检测的对象的类别中的至少一者。
13.根据权利要求1至12中至少一项所述的计算机实现方法，
其中，使用神经网络来执行步骤(302；304；306；308)中的至少一个步骤，所述神经网络是基于标记数据来训练的，所述标记数据包括参考对象信息和数据，基于该参考对象信息和数据能够获得参考信号表示数据。
14.一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置为执行根据权利要求1至13中至少一项所述的计算机实现方法的步骤(302；304；306；308)。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至13中至少一项所述的计算机实现方法的指令。
CN202010679468.3A 2019-07-17 2020-07-15 用于对象检测的方法和系统 Pending CN112241003A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19186811.6 2019-07-17
EP19186811.6A EP3767324A1 (en) 2019-07-17 2019-07-17 Method and system for object detection

Publications (1)

Publication Number Publication Date
CN112241003A true CN112241003A (zh) 2021-01-19

Family

ID=67402869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010679468.3A Pending CN112241003A (zh) 2019-07-17 2020-07-15 用于对象检测的方法和系统

Country Status (3)

Country Link
US (1) US20210018609A1 (zh)
EP (1) EP3767324A1 (zh)
CN (1) CN112241003A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3157089A1 (en) * 2019-12-09 2021-06-17 Mohamed Helwa Stationary status resolution system
DE102020213057A1 (de) * 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen eines beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs verwendeten KI-basierten Informationsverarbeitungssystems
CN114495042B (zh) * 2022-01-27 2023-08-29 北京百度网讯科技有限公司 目标检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140215A1 (en) * 1992-05-05 2002-10-03 Breed David S. Vehicle object detection system and method
CN107132534A (zh) * 2017-06-27 2017-09-05 西安电子科技大学 一种高速雷达目标频域检测的优化方法
CN108153410A (zh) * 2016-12-05 2018-06-12 谷歌有限责任公司 用于感测动作姿态的绝对距离和相对移动的并行检测
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US20190146497A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Sparse Convolutional Neural Networks
WO2023025777A1 (en) * 2021-08-24 2023-03-02 Provizio Limited Automotive sensor fusion of radar, lidar, camera systems with improved safety by use of machine learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140215A1 (en) * 1992-05-05 2002-10-03 Breed David S. Vehicle object detection system and method
CN108153410A (zh) * 2016-12-05 2018-06-12 谷歌有限责任公司 用于感测动作姿态的绝对距离和相对移动的并行检测
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
CN107132534A (zh) * 2017-06-27 2017-09-05 西安电子科技大学 一种高速雷达目标频域检测的优化方法
US20190146497A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Sparse Convolutional Neural Networks
WO2023025777A1 (en) * 2021-08-24 2023-03-02 Provizio Limited Automotive sensor fusion of radar, lidar, camera systems with improved safety by use of machine learning

Also Published As

Publication number Publication date
US20210018609A1 (en) 2021-01-21
EP3767324A1 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
US11506776B2 (en) Method and device with improved radar resolution
EP3943968A1 (en) Methods and system for detection of objects in a vicinity of a vehicle
US20200174096A1 (en) Method and apparatus for processing radar data
US9274221B2 (en) Method and apparatus for remote object sensing employing compressive sensing
CN112241003A (zh) 用于对象检测的方法和系统
CN112240999A (zh) 处理雷达反射的方法和系统
KR102275960B1 (ko) 딥러닝 기반의 레이다 표적 탐지 시스템 및 그 방법
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN114708257B (zh) Sar运动舰船目标检测方法及装置
EP3293537B1 (en) Systems and methods for adding functional grid elements to stochastic sparse tree grids for spatial filtering
JP2009236720A (ja) 移動目標検出装置
Dubey et al. Region based single-stage interference mitigation and target detection
US20220214441A1 (en) Methods and System for Compressing Radar Data
US20210326581A1 (en) DNN-Based Human Face Classification
Holder et al. Modeling and simulation of radar sensor artifacts for virtual testing of autonomous driving
Dubey et al. Generative adversial network based extended target detection for automotive mimo radar
CN116097123A (zh) 针对静止对象的成像雷达超分辨率
US9134410B2 (en) Method and device for detecting a target by masked high energy reflectors
KR102557458B1 (ko) 인공지능 기반의 레이다 표적 탐지 방법 및 그를 위한 장치
Vu et al. Moving target detection by forcusing for frequency domain algorithms in UWB low frequency SAR
Lee et al. Improved moving target detector using sequential combination of DPCA and ATI
Le Bastard et al. Support vector regression method applied to thin pavement thickness estimation by GPR
Joshi et al. Automatic cfar ship detection in single–channel range-compressed airborne radar data
Guo et al. Robust radar detection and classification of traffic vehicles based on anchor-free CenterNet
Sarikaya et al. Sea-land classification using radar clutter statistics for shore-based surveillance radars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240304

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg