CN111638491A - 使用深层神经网络在感测雷达的波束形成阶段去除假警报 - Google Patents
使用深层神经网络在感测雷达的波束形成阶段去除假警报 Download PDFInfo
- Publication number
- CN111638491A CN111638491A CN202010135070.3A CN202010135070A CN111638491A CN 111638491 A CN111638491 A CN 111638491A CN 202010135070 A CN202010135070 A CN 202010135070A CN 111638491 A CN111638491 A CN 111638491A
- Authority
- CN
- China
- Prior art keywords
- response map
- response
- cnn
- doa
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title description 6
- 230000004044 response Effects 0.000 claims abstract description 117
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000003595 spectral effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 9
- 230000009021 linear effect Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012896 Statistical algorithm Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/04—Systems determining presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
提供了处理器实现的方法和系统，该方法和系统使用卷积神经网络(CNN)在用于感测雷达的波束形成阶段(即在执行峰值响应标识之前)对光谱响应图执行目标核实以去除假警报检测。处理器实现的方法包括：从雷达数据生成光谱响应图；以及当所述响应图不代表有效的目标检测时，执行所述CNN以确定所述响应图是否代表有效的目标检测并将所述响应图分类为假警报。在执行CNN之后，仅处理具有有效目标的响应图以从中生成到达方向(DOA)命令。
Description
技术领域
本公开大体上涉及处理感测到的雷达数据的对象感知系统，并且更特别地涉及使用深度神经网络在用于感测雷达的波束形成阶段去除假警报。
背景技术
车辆自动化的趋势包括随此对增强的车辆感知系统的需求。来自雷达收发器的雷达数据可以为驾驶系统提供一个“感知”车辆外部环境的机会。具体而言，雷达数据可用于标识和生成关于目标对象的“到达方向”(DOA)命令，该命令基本上是在特定位置存在目标对象的信息。该位置可以进一步相对于用户或移动平台的参考系。
在许多传统的到达方向(DOA)系统中，雷达数据通过波束形成算法转换为称为响应图的光谱图像。响应图是两个变量(或维度)的函数，例如方位角(x轴)和仰角(y轴)元组，并且响应图中的每个(x，y)元组都具有关联的与之相关的能量。响应图是代表车辆外部环境的图像或快照。然后，通过峰值响应算法处理光谱图，以标识峰值或最强烈的响应。峰值响应用于指示目标对象的到达方向。在各个实施例中，“波束形成阶段”包括波束形成算法的执行加上峰值响应标识的执行。
然而，在敏感的雷达系统中，光谱图像有时具有假警报，这可能是由多种因素引起的，例如环境噪声。假警报会欺骗许多用于用雷达数据确定DOA的常规系统。当假警报被误解为指示有效目标时，将生成DOA，指示存在不存在的对象。在依靠DOA做出关于沿当前行驶路径继续的决策的驾驶系统中，假警报DOA可能导致非预期结果、事件(例如无限期地停止车辆)、不必要的制动、颠簸的驾驶以及围绕假警报(即假想对象)对车辆进行导航。此外，利用常规DOA系统的移动平台在这些事件中的每一个之后浪费时间校正。
因此，期望一种接收雷达数据并对其进行操作的技术上改进的到达方向(DOA)系统。所需的DOA系统适用于快速确定假警报，以便在其他系统依赖假警报之前迅速消除假警报。期望的DOA系统在用于感测雷达的波束形成阶段在目标核实和假警报(FA)消除方面采用卷积神经网络(CNN)。除了解决相关问题之外，以下公开内容还提供了这些技术增强。
发明内容
提供了一种处理器实现的方法，该方法用于使用雷达数据以使用卷积神经网络(CNN)生成到达方向(DOA)命令。该方法包括：从雷达数据生成响应图；以及在CNN中处理响应图以确定响应图是否表示有效的目标检测；当响应图未表示有效的目标检测时，由CNN将响应图分类为假警报；以及当响应图确实表示有效的目标检测时，在响应图中标识最大值。
在一实施例中，响应图是巴特利特(Bartlett)波束形成器光谱响应图。
在一实施例中，已经使用在消声室中生成的训练数据来训练CNN。
在一实施例中，响应图是维数为15x20x3的三维张量。
在一实施例中，使用反向传播来训练CNN。
在一实施例中，CNN包括多个隐藏层。
在一实施例中，每个隐藏层包括具有校正线性单元(ReLU)激活功能的会聚层。
在一实施例中，每个隐藏层还包括批归一化(Batch Normalization)层、最大池化(MaxPooling)层和退出(Dropout)层。
在一实施例中，CNN包括至少一个具有S形激活功能的全连接层(FC)。
在另一个实施例中，提供了一种处理器实现的方法，该方法用于使用卷积神经网络(CNN)在用于感测雷达的波束形成阶段消除假警报。该方法包括：接收从雷达数据生成的响应图；以及在CNN中处理响应图以确定响应图是否表示有效的目标检测；当响应图未表示有效的目标检测时，由CNN将响应图分类为假警报；以及当所述响应图确实表示有效的目标检测时，由所述CNN将所述响应图分类为有效响应图。
在一实施例中，响应图是巴特利特波束形成器光谱响应图。
在一实施例中，已经使用在消声室中生成的训练数据和在消声室中生成的验证数据来训练CNN。
在一实施例中，使用反向传播来训练CNN。
在一实施例中，响应图是维数为15x20x3的三维张量，并且CNN包括数量为N的隐藏层，其中N至少是响应图的维数的函数。
在一实施例中，N个隐藏层中的每一个包括具有校正线性单元(ReLU)激活功能的会聚层。
在一实施例中，N个隐藏层散布有批归一化层、最大池化层和退出层。
在一实施例中，CNN包括至少一个具有S形激活功能的全连接层(FC)。
在另一个实施例中，提供了一种系统，该系统用于为具有一个或多个被编程为实现卷积神经网络(CNN)的处理器的车辆生成到达方向(DOA)命令。该系统包括：提供雷达数据的雷达收发器；以及处理器，其被编程为接收雷达数据并从中生成巴特利特波束形成器响应图；以及其中训练所述CNN以处理所述响应图以确定所述响应图是否代表有效的目标检测，并且当所述响应图不代表有效的目标检测时，将所述响应图分类为假警报；并且其中当所述响应图确实表示有效的目标检测时，所述处理器还被编程为生成DOA命令。
在一实施例中，处理器还被编程为当响应图确实表示有效的目标检测时在响应图中标识峰值响应。
在一实施例中，处理器还被编程为使用反向传播以及使用各自在消声室内生成的训练数据集和验证数据集来训练CNN。
附图说明
当结合附图阅读时，从下面的详细描述中可以最好地理解本公开的各方面，在附图中，相同的数字表示相同的元件，并且：
图1是根据一些实施例的描绘示例车辆的框图；
图2是示出根据一些实施例的描绘示例车辆中的示例驱动系统的框图；
图3是根据一些实施例的描绘用于车辆的示例性到达方向系统的框图；
图4是示出根据一些实施例的CNN的层的布置的图；
图5是根据一些实施例的描绘用于训练CNN的示例过程的过程流程图；
图6是根据一些实施例的描绘用于使用经训练的CNN的DOA系统的操作的示例过程的过程流程图；和
图7和8是根据一些实施例的假警报消除逻辑的示例性实施例。
具体实施方式
以下详细描述本质上仅是示例性的，并且不旨在限制应用和使用。此外，无意受到在先前技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。
本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。因此，应当理解，可以通过被构造为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的块部件。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在控制一个或多个微处理器或其他控制装置下执行各种功能。
为了描述的目的，各种功能块及其相关的处理步骤可以被称为模块。如本文中所使用的，每个“模块”可以单独地或以任何组合以任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置来实现，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。
在灵敏的雷达感知系统中，雷达数据中的“噪声”可能会导致假警报。统称为“噪声”的事物的一些非限制性示例包括烟囱的尾气、昆虫、漂浮在空中的一片垃圾、天气等。如所提及的，当目标实际上无效时，做出指示向有效目标的方向的DOA确定的效果可能是不希望的。在各个实施例中，DOA用于使车辆转弯和/或制动。在一个示例中，移动平台在收到DOA后做出转向决策，该移动平台会每行驶一段距离进行高级别的转弯，包括不必要的很多转弯；乘客将体验到移动平台带来的颠簸旅程(jittery ride)。在另一个示例中，移动平台在收到DOA时做出制动决策，该移动平台每行驶一段距离频繁制动，包括由于许多不必要的原因；乘客还将体验到移动平台带来的颠簸旅程。如上所述，这是一些常规的到达方向(DOA)系统无法解决的技术问题。
本文提供了一种技术改进的到达方向(DOA)系统(图3，302)，该系统接收雷达数据并对其进行操作。DOA系统引入了一种新颖的目标验证模块(图3，306)，该模块采用具有假警报消除逻辑(图3，350)的卷积神经网络(CNN)(图3，310)。CNN 310对波束形成的响应图执行目标核实，并且假警报消除逻辑350基于CNN 310的输出，在用于感测雷达的波束形成阶段中去除假警报检测。此技术增强功能提供了确保仅处理有效的响应图以生成DOA命令的功能改进。在使用DOA进行决策的系统中可以看到并体验到这种改进的实际效果；例如，在使用DOA进行转向和制动操作的移动平台中，转弯和制动将仅响应于有效对象而进行，这将为乘客带来更平稳的驾驶和更舒适的乘坐体验。
下面的描述遵循该一般顺序：图1-3提供了车辆和用于DOA系统的一般环境；图4-6介绍了新颖的DOA系统的特征和CNN 310的实施方式；以及图7-8描绘了假警报检测逻辑(图3，350)的一些示例实施例。
图1描绘了示例性车辆100。尽管在作为车辆的移动平台的背景下描述了DOA系统302，但是应当理解，采用卷积神经网络(CNN)的新型DOA系统302和/或目标验证模块306的实施例可以结合任何数量的移动和固定平台来实践，并且本文描述的系统仅仅是本公开的示例性实施例。在各个实施例中，车辆100可以能够自主地或半自主地被驾驶。车辆100在所示实施例中被描述为乘用车，但是也可以使用其他类型的车辆，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、轮船、飞机等。
车辆100通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆100的部件。车身14和底盘12可以共同形成一框架。车轮16-18每个在车身14的相应拐角附近旋转地联接至底盘12。
如所示的，车辆100通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34以及通信系统36。在各个实施例中，推进系统20可以包括内燃机，诸如牵引马达的电机和/或燃料电池推进系统。
转向系统24影响车轮16和/或18的位置。尽管出于说明目的被描绘为包括方向盘25，但在本公开的范围内预期的一些实施例中，转向系统24可不包括方向盘。转向系统24被构造为从控制器34接收控制指令，例如转向角或扭矩命令，以使车辆100到达期望的轨迹路点。转向系统24可以例如是电动助力转向(EPS)系统或主动前转向(AFS)系统。
传感器系统28包括一个或多个感测设备40a-40n，其感测车辆100的外部环境和/或内部环境的可观察条件(例如一个或多个乘员的状态)并生成与其相关的传感器数据。感测设备40a-40n可包括但不限于：全球定位系统(GPS)、光学相机(例如，前向、360度、后向、侧向、立体的等)、热(例如，红外)相机、超声传感器、激光雷达、里程计传感器(例如，编码器)和/或可以与根据本主题的系统和方法结合使用的其他传感器。
上面参考的雷达数据由感测雷达、雷达收发器41提供，其被示为传感器系统28的部件。雷达收发器41可以是一个或多个可商购的雷达(例如，远程、中距离和短距离)。如结合图3更详细地描述的，来自雷达收发器41的雷达数据用于确定到达方向(DOA)。在各个实施例中，来自GPS传感器的车辆位置数据也由控制器34用于DOA的计算中。
致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26
数据存储设备32可存储用于控制车辆100的数据。在各个实施例中，数据存储设备32存储可导航环境的定义地图。在各个实施例中，定义的地图可以由远程系统预定义并从远程系统获得。例如，定义的地图可以由远程系统组装，并(无线和/或有线方式)传送至车辆100，并存储在数据存储设备32中。路线信息也可以在数据存储设备32中存储–即一组路段(在地理上与一个或多个已定义地图相关联)，其共同定义了用户从起始位置(例如，用户的当前位置)行进到目标位置可采取的路线。将会理解，数据存储设备32可以与控制器34集成在一起或者可以与控制器34分离。
在各个实施例中，控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是以下中的一种或多种：定制或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)(例如，实现神经网络的定制ASIC)、现场可编程门阵列(FPGA)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(为微芯片或芯片组的形式)、其任何组合或通常用于执行指令的任何设备。
计算机可读存储设备或介质46可以包括在例如只读存储器(ROM)、随机存取存储器(RAM)和持续连接存储器(keep-alive memory)(KAM)中的易失性和非易失性存储器。KAM是持久性或非易失性存储器，其可以在处理器44掉电时用于存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知的存储设备中的任何一种来实现，例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或任何能够存储数据的其他电、磁、光或组合存储设备，其中一些代表可执行指令50，其由控制器34使用来控制车辆100。指令50还包括在操作DOA系统(图3，302)中使用的可商购程序和算法，特别是一种采用光谱方法(例如Bartlett波束形成算法和峰值响应标识符算法)的算法来估计作为光谱图像函数的DOA，该算法结合图3-6更详细地描述。
一个或多个单独的新颖程序，特别是假警报(FA)检测程序52，也可以存储在计算机可读存储设备或介质46中。假警报(FA)检测程序52包括用于实现所公开的DOA系统302的逻辑功能、操作和任务的可执行指令和相关的预编程变量的有序列表，该DOA系统使用卷积神经网络(CNN 310，图3)以当光谱响应图不代表有效的目标检测时将光谱响应图分类为假警报。结合图5-8描述了FA检测程序52。
本领域技术人员将认识到，本公开的算法和指令能够作为程序产品54分布。作为程序产品54，一种或多种类型的非暂时性计算机可读信号承载介质可用于存储和分布程序52，例如承载程序52并在其中包含用于使计算机处理器(例如处理器44)加载并执行程序52的其他计算机指令的非暂时性计算机可读介质。这样的程序产品54可以采取各种形式，并且本公开同样适用，而与用于执行分布的计算机可读信号承载介质的类型无关。信号承载介质的示例包括：可记录介质，例如软盘、硬盘驱动器、存储卡和光盘以及传输介质，例如数字和模拟通信链接。将意识到，在各个实施例中，基于云的存储和/或其他技术也可以用作介质46，并且提供程序52的基于时间的性能。
在各个实施例中，通信系统36被构造为结合输入/输出设备，并支持车载系统、处理器44和一个或多个外部数据源48之间的瞬时(即，实时或当前)通信。通信系统36可以结合一个或多个发射器、接收器以及控制器34的部件进行通信所需的支持通信硬件和软件，如本文所述的。同样，在各个实施例中，通信系统36可以支持与技术人员和/或一个或多个存储接口的通信，以直接连接到诸如数据存储设备32的存储装备。
尽管在图1中仅示出了一个控制器34，但是在车辆100的各个实施例中，控制器34的功能可以分布在任意数量的控制器34之间，每个通过通信系统36或其他合适的通信介质或通信介质的组合进行通信。在这些实施例中，一个或多个分布式控制器34在传感器信号的处理、逻辑的执行、计算、方法和/或算法上进行协作，以控制如本文所述的车辆100的操作。
因此，提供了用于DOA系统302的一般背景。接下来，描述控制器功能。控制器34的软件和/或硬件部件(例如，其中存储有指令的处理器44和计算机可读存储介质46)协作以提供本文描述的控制器34和DOA系统302的功能。具体地，指令50和程序52，当由处理器44执行时，使控制器34执行本文所述的逻辑、计算、方法和/或算法，以生成可用于生成有效的DOA307命令的二进制正确/假分类输出。
在实践中，可以针对任何数量的功能、模块或系统，按功能来组织(例如，组合，进一步划分等)指令(包括指令50和/或程序52)。例如，在图2中，控制器34被描述为实现驱动系统70。驱动系统70可以是自主的或半自主的。驱动系统70通常从传感器系统28接收传感器信号并生成用于致动器系统30的命令。在各个实施例中，驱动系统70可以包括定位系统72、路径规划系统74、车辆控制系统76和感知系统78。
定位系统72可以将传感器数据与其他数据一起处理以确定车辆100相对于环境的位置(例如，相对于地图的局部位置、“定位”、相对于道路的车道的精确位置、车辆前进方向等)。可以理解，可以采用多种技术来完成该定位，包括例如同时定位和映射(SLAM)、粒子滤波器、卡尔曼滤波器、贝叶斯滤波器等。
路径规划系统74可以将传感器数据与其他数据一起处理，以确定车辆100遵循的路径。车辆控制系统76可以根据确定的路径生成用于控制车辆100的控制信号。感知系统78可以合成和处理所获取的传感器数据，以预测对象的存在、位置、分类和/或路径以及车辆100的环境特征。
如上所述，在感知系统78的背景下描述了DOA系统302的实施例。现在转向图3，更详细地描述了新颖的到达方向(DOA)系统302。图300示出了雷达收发器41通常以三维体积发送和接收雷达信号303。所接收的雷达信号被理解为是从车辆100外部的对象和/或环境反射的。虽然以单数形式指代雷达收发器41，但是应当理解，实际上，它代表雷达传感器阵列，该雷达阵列的每个元件提供感测到的雷达输出，以及雷达数据305包括感测到的雷达输出的线性组合。此外，感测的输出可以被单独地加权以反映所使用的波束形成方法(例如，Bartlett或Capon波束形成)。雷达收发器41将接收到的雷达信号转换成雷达数据305。
DOA系统302从雷达收发器41接收雷达数据305，并使用波束形成器算法(由波束形成器模块304指示)将接收到的雷达数据305转换为响应图309。DOA系统302对响应图309(由新颖的目标验证模块306指示)执行目标核实和假警报(FA)消除操作，以从中生成有效响应图311。
峰值响应标识符模块308包括常规可用的检测阶段和常规可用的峰值响应算法。在检测阶段，峰值响应标识符模块308可以用统计算法处理接收到的响应图，所述统计算法被用来区分有效目标和噪声；然而，由于它们的统计特性，仅统计算法有时会失败。在峰值响应阶段，峰值响应标识符模块308对组成有效响应图311的光谱数据执行常规可用的峰值响应标识操作，以标识其中的最强信号，并且最强信号指示DOA，从而变为有效DOA 307命令。由于统计算法不是100％准确的，因此由新颖的DOA系统302提供的目标核实和假警报消除的添加确保在波束形成阶段仅处理有效响应图311，而被视为假警报(FA)的响应图309将被忽略。
有效的DOA 307命令可以传输到以下中的一个或多个：致动器系统30、转向系统24、制动系统26、定位系统72、车辆控制系统76和路径规划系统74。
响应图309是表示车辆的外部环境的三维图像或快照。二维表示二维像素化区域，如平坦的“图片”，而三维表示每个像素处的强度。使用响应图309，目标验证模块306解决的技术问题是：(1)在该图像中是否存在有效对象？(2)如果是这样，该对象位于何处？
在各个实施例中，控制器34实施深度神经网络技术以辅助目标验证模块306的功能。示例目标验证模块306的实施例包括具有多个隐藏卷积层的收敛神经网络(CNN)310。CNN 310直接回答第一个问题；训练的CNN 310可以确定响应图是否在其中包含有效对象(例如汽车或行人)，或者响应图是否仅在其中包含噪声(假警报)。CNN 310的二进制真/假输出313用于回答第二个问题。新颖的目标验证模块306有效地门控(即，去除或过滤掉)假警报响应图，使得峰值响应标识符模块308不处理假警报响应图。这有利地节省了峰值响应标识符模块308中的计算时间并避免了针对假目标回答问题(2)(生成DOA 307)的可能性。
现在转向图4，并继续参照图1-3，根据各个实施例描述了CNN 310。CNN 310的输入节点接收响应图309，其如前所述是光谱图像/图，因此与时域图不同。在示例CNN 310中，将一系列卷积隐藏层连续重复N次。隐藏层表示为Hn，其中n从1到N(参考H1 402、H2 404和HN406)。根据CNN方法，选择神经元或过滤器(设计选择)以将输入图像(响应图309)卷积到第一隐藏层H1402。神经元或过滤器具有“场维数”，并且该应用和场维数会影响权重的数量和大小，权重是乘数，与每个神经元的输入相关。权重设置为初始值，在CNN 310的训练过程中进行调整，并在CNN 310的操作过程中继续进行调整。每个隐藏层Hn的维数均取决于其操作的层和执行的操作。从每个隐藏层Hn移到后续的隐藏层Hn，设计选择继续告知后续神经元、各自的权重和操作的选择。
一旦卷积了一层，就使用激活函数为隐藏层Hn的输出赋予其非线性属性。激活函数是设计和任务特定的选择。在CNN 310的各个实施例中，为隐藏层选择了校正线性单元(ReLU)激活函数，因为它在CNN中产生最佳性能，并提供小于零的值的简单计算阈值。
此外，根据CNN方法，其他层和操作可以散布在卷积隐藏层之间。在图4的示例中，序列Hn是{卷积和ReLu层408，其包括最大池化、批归一化层410和退出层412}。最大池化是一种下采样方法，因为它用于减少参数的数量和/或它所应用于的层的空间尺寸。批归一化410是一种用于减少内部协变量偏移并可以加快训练时间的方法。退出412是一种用于在执行CNN310时随机地丢弃神经元以避免过度拟合并加快训练时间的方法。
每个隐藏层Hn从先前的隐藏层获取其输入，并且没有其他输入到隐藏层Hn。N称为超参数并由经验或反复试验确定。设计人员注意到，当N太大时，可能会出现诸如过度拟合和网络泛化不佳之类的问题。在一实施例中，响应图309是维数为15×20×3的三维张量，以适应更大的响应图，可以使CNN 310更深。
在第N个卷积隐藏层序列的末尾，将全连接的层414(也称为密集层)用于分类。全连接(FC)层414接收三维输入并将其转换或展平成真实目标/假警报的二进制真实/假分类，作为二进制真实/假输出313。在各个实施例中，对于全连接层410的激活函数是非线性S形函数
现在转向图5，描述了描述用于训练CNN 310以供在目标验证模块306中使用的示例过程500的过程流程图。由于CNN 310的性质，训练CNN 310与通过处理系统构造CNN 310可以互换。使用反向传播方法训练示例CNN310。使用训练数据集和验证数据集对示例CNN310进行训练，每个训练数据集和验证数据集都包括有效的多个示例响应图(表示已核实的目标)和无效的多个示例响应图(表示假警报)。在各个实施例中，训练数据与验证数据相同。
训练CNN 310包括检索或接收训练数据集(操作502)和检索或接收验证数据集(操作504)。在各个实施例中，训练数据集和验证数据集是相同的，并且已经在消声室中使用已知目标生成以生成雷达数据，然后该雷达数据通过波束形成器操作转换为响应图。在各个实施例中，波束形成器操作是巴特利特波束形成器算法。训练CNN 310(操作506)如下：使用整个训练数据集对CNN 310进行训练，使用整个验证数据集以随机顺序一次一个条目。训练数据集上的一次传递称为期(epoch)，用于训练的期数通常是训练数据集的大小和任务复杂性的函数。在每个时期中，例如产生训练误差和测试误差作为循环分段线性损失函数，并且将训练误差和测试误差与它们的先前值进行比较，并且彼此进行比较。当应用于CNN 310时，期数与值N相关，并且通过在训练误差和测试误差一起减小的同时继续增加它来确定期数。一旦测试误差稳定下来，就不再执行任何步骤。任何进一步的期都可能导致过度拟合。
一旦被训练，CNN 310被构造为处理响应图309中的光谱数据以确定响应图309是否代表有效的目标检测并生成相应的输出，该输出是二进制真/假输出313。可以理解，真表示有效目标，假表示假警报。在完成训练后，在操作508处，将训练后的CNN 310保存在存储器中。应当理解，一旦被训练，CNN 310可以在实际应用中使用时继续被训练。
图6是描绘示例过程600的过程流程图，该示例过程用于使用受过训练的CNN 310来生成到达方向(DOA 307)命令，以检测和去除车辆100的DOA系统302中的假警报/假目标。
示例过程600包括在DOA的计算中使用经过训练的CNN 310。接收到响应图309(操作602)。响应图309被提供作为对训练后的CNN 310的输入。CNN310使用响应图309作为输入层来执行，并且基于此来生成二进制真/假输出313(操作604)。
在操作606处，假警报消除逻辑350接收二进制真/假输出313，并去除假警报检测(即，具有假警报的响应图)。假警报消除逻辑350被设计为快速操作；图7和图8提供了假警报消除逻辑350的示例实施例。仅有效的响应图311从操作606被发送到峰值响应标识符模块308。在操作608处，有效响应图311内的峰值响应(即最大值)被标识。在操作610处，根据最大值或峰值响应来生成输出DOA 307命令。所生成的DOA 307命令可以被提供给车辆100中的致动器和/或其他系统。
CNN 310和假警报检测逻辑350的组合传送输入响应图的有效性的非常快速的确定，这使得能够在执行峰值响应标识中涉及的操作之前快速消除假警报。因此，假警报检测逻辑350由优化假警报消除速度的部件来实现。在图7中，假警报检测逻辑702的实施例利用开关S1 700，其由CNN 310的输入的二进制真/假输出313控制。仅当二进制真/假输出313为真时，开关S1 700关闭并且响应图309直接流成为有效响应图311。当二进制真/假输出313为假时，开关S1 700断开并且响应图309不通过。在一实施例中，开关S1 700用逻辑“与”门实现。在图8中，假警报检测逻辑802的实施例利用处理器804和存储器806。存储器806中存储有编程指令808，该编程指令指导操作“当且仅当二进制真/假输出313为真时，响应图309直接流成为有效响应图311。”
前述概述了几个实施例的特征，使得本领域技术人员可以更好地理解本公开的各方面。本领域技术人员应当理解，他们可以容易地将本公开用作设计或修改其他过程和结构的基础，以实现与本文介绍的实施例相同的目的和/或实现相同的优点。本领域技术人员还应该认识到，这样的等效构造不脱离本公开的精神和范围，并且在不脱离本公开的精神和范围的情况下，它们可以在这里进行各种改变、替换和变更。
Claims (10)
1.一种处理器实现的方法，该方法用于使用雷达数据以使用卷积神经网络(CNN)生成到达方向(DOA)命令，该方法包括：
从所述雷达数据生成响应图；
在CNN中处理响应图以确定响应图是否表示有效的目标检测；
当响应图未表示有效的目标检测时，由CNN将响应图分类为假警报；和
当响应图确实表示有效的目标检测时，在响应图中标识最大值。
2.根据权利要求1所述的方法，其中，所述响应图是巴特利特波束形成器光谱响应图。
3.根据权利要求2所述的方法，其中，已经使用在消声室中生成的训练数据来训练所述CNN。
4.根据权利要求3所述的方法，其中，所述响应图是维数为15×20×3的三维张量。
5.根据权利要求4所述的方法，其中，使用反向传播来训练所述CNN。
6.根据权利要求5所述的方法，其中，所述CNN包括多个隐藏层，每个隐藏层包括具有校正线性单元(ReLU)激活功能的会聚层。
7.根据权利要求6所述的方法，其中，所述CNN包括至少一个具有S形激活功能的全连接层(FC)。
8.一种用于为车辆生成到达方向(DOA)命令的系统，包括一个或多个处理器，该一个或多个处理器被编程为实现卷积神经网络(CNN)，该系统包括：
雷达收发器，提供雷达数据；
处理器，被编程为接收雷达数据并从中生成巴特利特波束形成器响应图；和
其中，所述CNN被训练为处理所述响应图，以确定所述响应图是否代表有效的目标检测，以及当所述响应图不代表有效的目标检测时，将所述响应图分类为假警报；和
其中所述处理器还被编程为当所述响应图确实表示有效的目标检测时生成DOA命令。
9.根据权利要求8所述的系统，其中，所述处理器还被编程为当所述响应图确实表示有效的目标检测时，在所述响应图中标识峰值响应。
10.根据权利要求9所述的系统，其中，所述处理器还被编程为使用反向传播以及使用每个都在消声室中生成的训练数据集和验证数据集来训练所述CNN。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/290,159 US20200278423A1 (en) | 2019-03-01 | 2019-03-01 | Removing false alarms at the beamforming stage for sensing radars using a deep neural network |
| US16/290,159 | 2019-03-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111638491A true CN111638491A (zh) | 2020-09-08 |
Family
ID=72046509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010135070.3A Pending CN111638491A (zh) | 2019-03-01 | 2020-03-02 | 使用深层神经网络在感测雷达的波束形成阶段去除假警报 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200278423A1 (zh) |
| CN (1) | CN111638491A (zh) |
| DE (1) | DE102020102712A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200293860A1 (en) * | 2019-03-11 | 2020-09-17 | Infineon Technologies Ag | Classifying information using spiking neural network |
| EP3767332B1 (en) * | 2019-07-18 | 2023-12-13 | Aptiv Technologies Limited | Methods and systems for radar object detection |
| EP3992665A1 (en) * | 2020-11-02 | 2022-05-04 | Aptiv Technologies Limited | Methods and systems for determining a direction of arrival of a radar detection |
| CN113311397B (zh) * | 2021-05-25 | 2023-03-10 | 西安电子科技大学 | 基于卷积神经网络的大型阵列快速自适应抗干扰方法 |
| CN114563763B (zh) * | 2022-01-21 | 2022-10-21 | 青海师范大学 | 基于归零神经动力学的水下传感器网络节点测距定位方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090022336A1 (en) * | 2007-02-26 | 2009-01-22 | Qualcomm Incorporated | Systems, methods, and apparatus for signal separation |
| US9268938B1 (en) * | 2015-05-22 | 2016-02-23 | Power Fingerprinting Inc. | Systems, methods, and apparatuses for intrusion detection and analytics using power characteristics such as side-channel information collection |
| CN107636693A (zh) * | 2015-03-20 | 2018-01-26 | 弗劳恩霍夫应用研究促进协会 | 针对人工神经网络的相关性分数指派 |
| CN108828547A (zh) * | 2018-06-22 | 2018-11-16 | 西安电子科技大学 | 基于深度神经网络的米波雷达低仰角测高方法 |
-
2019
- 2019-03-01 US US16/290,159 patent/US20200278423A1/en not_active Abandoned
-
2020
- 2020-02-04 DE DE102020102712.5A patent/DE102020102712A1/de not_active Withdrawn
- 2020-03-02 CN CN202010135070.3A patent/CN111638491A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090022336A1 (en) * | 2007-02-26 | 2009-01-22 | Qualcomm Incorporated | Systems, methods, and apparatus for signal separation |
| CN107636693A (zh) * | 2015-03-20 | 2018-01-26 | 弗劳恩霍夫应用研究促进协会 | 针对人工神经网络的相关性分数指派 |
| US9268938B1 (en) * | 2015-05-22 | 2016-02-23 | Power Fingerprinting Inc. | Systems, methods, and apparatuses for intrusion detection and analytics using power characteristics such as side-channel information collection |
| CN107851047A (zh) * | 2015-05-22 | 2018-03-27 | 动力指纹股份有限公司 | 使用诸如侧信道信息的功率特点进行入侵检测和分析的系统、方法和装置 |
| CN108828547A (zh) * | 2018-06-22 | 2018-11-16 | 西安电子科技大学 | 基于深度神经网络的米波雷达低仰角测高方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200278423A1 (en) | 2020-09-03 |
| DE102020102712A1 (de) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111638491A (zh) | 使用深层神经网络在感测雷达的波束形成阶段去除假警报 | |
| US11155258B2 (en) | System and method for radar cross traffic tracking and maneuver risk estimation | |
| US11568655B2 (en) | Methods and devices for triggering vehicular actions based on passenger actions | |
| CN110155031B (zh) | 使用神经网络的用于车辆横向控制的轨迹跟踪 | |
| CN110806744A (zh) | 使用分层选项马尔可夫决策过程的交叉路口自主驾驶决策 | |
| US9802599B2 (en) | Vehicle lane placement | |
| US10235881B2 (en) | Autonomous operation capability configuration for a vehicle | |
| JP6445497B2 (ja) | 自動式移動体のための経路決定方法 | |
| CN110471064B (zh) | 广义三维逆传感器模型 | |
| US9796390B2 (en) | Vehicle sensing grid having dynamic sensing cell size | |
| CN109814130B (zh) | 用于在车辆感知系统中自由空间推断以分开群集对象的系统和方法 | |
| US11851081B2 (en) | Predictability-based autonomous vehicle trajectory assessments | |
| US11455538B2 (en) | Correctness preserving optimization of deep neural networks | |
| US20200284912A1 (en) | Adaptive sensor sytem for vehicle and method of operating the same | |
| CN110857983B (zh) | 使用具有不同观测角的多个雷达进行对象速度矢量估计 | |
| CN110646797A (zh) | 使用道路理解来约束雷达轨迹的系统和方法 | |
| CN114435351A (zh) | 用于基于神经网络的自动驾驶的系统和方法 | |
| US11618480B2 (en) | Kurtosis based pruning for sensor-fusion systems | |
| CN113228131B (zh) | 用于提供周围环境数据的方法和系统 | |
| CN115249066A (zh) | 分位数神经网络 | |
| US20200097005A1 (en) | Object detection device, object detection method, and vehicle controller | |
| US11698452B2 (en) | Target tracking during acceleration events | |
| US11214261B2 (en) | Learn association for multi-object tracking with multi sensory data and missing modalities | |
| US20210018921A1 (en) | Method and system using novel software architecture of integrated motion controls | |
| CN110857987A (zh) | 有效近场雷达匹配滤波器处理 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200908 |