CN115421116A - 用于评估雷达图像的方法和器件 - Google Patents

用于评估雷达图像的方法和器件 Download PDF

Info

Publication number
CN115421116A
CN115421116A CN202210594617.5A CN202210594617A CN115421116A CN 115421116 A CN115421116 A CN 115421116A CN 202210594617 A CN202210594617 A CN 202210594617A CN 115421116 A CN115421116 A CN 115421116A
Authority
CN
China
Prior art keywords
neural network
radar
raw
estimate
met
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210594617.5A
Other languages
English (en)
Inventor
L·泽瓦德埃
A·桑特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN115421116A publication Critical patent/CN115421116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及一种评估雷达图像的方法和器件。该方法包括提供至少第一原始雷达图像和第二原始雷达图像，并确定是否满足可靠性标准。该方法还包括：如果满足可靠性标准，则使用由受训神经网络输出的第一坐标和第二坐标作为对象位置的估计，受训神经网络使用第一原始雷达图像和第二原始雷达图像作为输入。此外，该方法包括：如果不满足可靠性标准，则使用由另一雷达处理管线输出的第三坐标和第四坐标作为对象位置的估计，雷达处理管线使用第一原始雷达图像和第二原始雷达图像作为输入。

Description

用于评估雷达图像的方法和器件
技术领域
示例涉及评估雷达图像的方法和器件以及雷达设备。
背景技术
在许多应用中分析雷达图像，以确定雷达传感器视场内对象的位置和进一步的运动学参数。例如，涉及多个后续处理步骤的信号处理管线可用于确定多个后续雷达图像内的对象位置，以例如跟踪对象。然而，这些信号处理管线中的计算在计算方面具有挑战性，如果需要节能硬件，这通常会导致处理延迟增加，或者当要实现低延迟时会导致大量能源消耗。例如在移动或车辆安全应用中，两种折衷都可能是不可取的。
因此，需要改进对雷达图像的评估以确定对象的位置。
发明内容
一个实施例涉及一种评估雷达图像的方法。该方法包括提供至少第一原始雷达图像和第二原始雷达图像，并且确定是否满足可靠性标准。该方法还包括：如果满足可靠性标准，则使用由受训神经网络输出的第一坐标和第二坐标作为对象位置的估计，受训神经网络使用第一原始雷达图像和第二原始雷达图像作为输入。此外，该方法包括：如果不满足可靠性标准，则使用由另一雷达处理管线输出的第三坐标和第四坐标作为对象位置的估计，雷达处理管线使用第一原始雷达图像和第二原始雷达图像作为输入。使用该方法的实施例，如果满足可靠性标准，则可以以低延迟和低能耗确定对象位置的估计。例如，可靠性标准可以对由受训神经网络进行的位置估计的质量提出最低要求。可能消耗较多时间或能量的进一步雷达处理管线可能仅在可靠性标准要求的情况下使用，与使用例如只有进一步的雷达处理管线的方法相比，可能实现整体更低的能量消耗和更高的处理速度。
类似地，用于评估雷达图像的器件包括用于接收至少第一原始雷达图像和第二原始雷达图像的输入接口。该装置还包括电路装置，该电路装置被配置为：确定是否满足可靠性标准；并且如果满足可靠性标准，则使用由受训神经网络输出的第一坐标和第二坐标作为对象位置的估计，受训神经网络使用第一张原始雷达图像和第二张原始雷达图像作为输入。此外，该电路装置被配置为：如果不满足可靠性准则，则使用由另一个雷达处理管线输出的第三坐标和第四坐标作为对象位置的估计，雷达处理管线使用第一原始雷达图像和第二原始雷达图像作为输入。如果满足可靠性标准，则可以以低延迟和低能耗确定对象的位置估计。只有在极少数情况下，当可靠性标准需要时，才可能需要消耗较多时间和能源的进一步的雷达处理管线。
附图说明
以下将仅以示例的方式并参考附图来描述器件和/或方法的一些示例，其中
图1示出了评估雷达图像的方法的实施例的流程图；
图2示出了评估雷达图像的方法的另一个实施例的流程图；
图3示出了在一些实施例中使用的神经网络拓扑的示例；
图4示出了在一些实施例中使用的进一步的雷达处理管线的示例；
图5示出了进一步使用联合学习来评估雷达图像的方法的实施例的流程图；
图6示出了进一步使用持续学习来评估雷达图像的方法的实施例的流程图；
图7示出了用于评估雷达图像的器件的实施例的框图；和
图8示出了包括图7的至少两个器件和一个中央实体的系统的框图。
具体实施方式
现在参考附图更详细地描述一些示例。然而，其他可能的示例不限于详细描述的这些实施例的特征。其他示例可以包括特征的修改以及特征的等效物和替代物。此外，本文用于描述某些示例的术语不应限制其他可能的示例。
在对附图的整个描述中，相同或相似的附图标记指代相同或相似的元件和/或特征，它们可以相同或以修改的形式实现，同时提供相同或相似的功能。在附图中，为了清楚可以放大线、层和/或区域的厚度。
当两个元素A和B使用“或”组合时，这应理解为公开所有可能的组合，即仅A、仅B以及A和B，除非在个别情况下另有明确定义.作为相同组合的替代措辞，可以使用“A和B中的至少一个”或“A和/或B”。这等效地适用于两个以上元素的组合。
无论何时使用诸如“一”、“一个”和“该”的单数形式，以及仅使用单个元素既不是明示或暗示定义为强制性的，另外的示例也可以使用多个元素来实施相同的功能。当随后将功能描述为使用多个元素实施时，另外的示例可以使用单个元素或处理实体来实施相同的功能。将进一步理解，术语“包括”、“包括有”“包含”、和/或“包含有”在使用时指定所陈述的特征、整数、步骤、操作、过程、动作、元素、部件和/或它们的组的存在，但不排除一个或多个其他特征、整数、步骤、操作、过程、动作、元素、部件和/或它们的任何组的存在或添加。
图1示出了评估雷达图像的方法的实施例的流程图。
最初，在110提供至少第一原始雷达图像和第二原始雷达图像。根据该方法，在120确定是否满足可靠性标准。
如果满足可靠性标准，则使用受训神经网络以通过输出第一坐标和第二坐标来估计对象的位置130。
然而，如果不满足可靠性标准，则使用由另一雷达处理管线输出的第三坐标和第四坐标作为对象的位置的估计140。
使用如图1所示的实施例，如果满足可靠性标准，则可以以低延迟和低能耗确定对象的位置估计。根据可靠性标准，这可能是大多数尝试估计对象位置的情况。只有在极少数情况下，当可靠性标准需要时，才可能需要消耗较多时间和/或能量的进一步的雷达处理管线。因此，与例如仅使用进一步的雷达处理流水线的方法相比，使用如图1所示的实施例可以实现使用基于原始雷达图像的位置估计，具有整体较低的能量消耗和较高的处理速度。高处理速度下的低能耗可能是在各种应用中实现基于雷达图像的位置估计的关键方面，例如在汽车应用中，监测人员运动或监测手和/或身体运动用于基于手势的用户界面。低能耗也可能是非常有益的物联网(IoT)应用或消费电子应用。例如，可以使用评估雷达图像的方法的实施例来控制物联网设备，这反过来可以省去传统的用户界面。同样，个人数字助理、电视机和各种家用电器等消费电子设备可以以节能的方式被控制，也可以在电池供电的设备中实现控制。
换句话说，图1说明了一种基于深度学习的雷达定位解决方案，如果深度学习方法效率不高或没有提供理想的结果，则该解决方案有可能退回到传统的雷达处理管线。
确定是否满足可靠性标准可以以各种方式实施。图2显示了一个示例，其中始终执行使用受训神经网络的位置估计，并且然后评估由受训神经网络的位置估计，以确定输出是否可靠。
如图2所示，受训神经网络不断进行位置估计。通过将受训神经网络执行的位置估计与对象轨迹的估计进行比较，来执行评估可靠性标准220。可以基于先前的位置估计来预测对象的轨迹。例如，对于跟踪和跟踪预测，可以使用卡尔曼滤波器。在图2所示的实施例中，如果受训神经网络的位置估计和对象的估计轨迹的偏差高于阈值，则不满足可靠性标准。例如，阈值可以基于作为度量的归一化新息平方(NIS)。
就像在图1所示的实施例中一样，如果满足可靠性标准，则使用受训神经网络的位置估计(230)，而如果不满足可靠性标准，则使用进一步的成像处理流水线的位置估计(240)。
换言之，一些实施例使用归一化新息平方(NIS)作为度量来确定是否应发生从受训神经网络到进一步的信号处理管线的切换。首先，神经网络被训练和部署。在应用特定的方式中，可以根据例如算法设计者的要求将阈值确定为可靠性标准。第一步总是使用深度学习管线，即受训神经网络。为了发现输出的可靠性，根据NIS检索DL管线提供的结果。如果发现某些东西不能正常工作，系统会完全退回到标准信号处理算法，例如退回到进一步的雷达处理管线。这允许应用程序本身的平滑性。
在进一步的实施例中，强化学习可用于确定何时应使用受训神经网络、以及何时应使用进一步的信号处理流水线。为了实现这一点，可以预先训练单独的附加神经网络，以决定是否将受训神经网络或进一步的信号处理管线用于给定的输入数据，包括第一原始雷达图像和第二原始雷达图像。使用额外的神经网络可以在使用受训神经网络本身之前做出决策，从而节省执行时间并加快位置估计过程。
进一步的实施例可以使用经过受训神经网络本身的输出来确定该输出是否可靠。在训练期间，神经网络可以学习何时训练数据在预期的输入数据的分布外。在这种情况下，受训神经网络学会给出相应的注释，指示分布外错误。如果受训神经网络指示分布外错误，因此可以得出结论：不满足可靠性标准，并且经过受训神经网络的输出是不可靠的，以回退到进一步的雷达处理管线。鲁棒分布外检测的一个特殊示例是一种称为ALOE的算法，该算法通过将模型暴露于逆向制作的内部示例和离群示例来执行鲁棒训练。一个内部示例是基于神经网络要训练的数据分布样本的训练数据
Figure BDA0003667294230000051
然而，样本被人为地改变以使神经网络(例如分类器)输出内部示例属于分布的低可能性。类似地，离群示例是基于神经网络要训练的数据分布之外的样本训练数据(来自离群分布
Figure BDA0003667294230000061
)，人为改变以使神经网络(例如分类器)输出离群示例属于分布的高可能性(例如，通过softmax输出)。根据ALOE算法的一个示例，训练目标可以定义为：
Figure BDA0003667294230000062
其中Fθ(x)是神经网络的softmax输出。
总之，根据进一步的实施例，如果受训神经网络的输出本身指示分布外错误，则不满足可靠性标准。
图3图示了在一些实施例中使用的受训神经网络300的拓扑的示例。神经网络拓扑可以由多个互连的层来描述。在另外的实施例中，具有相似或不同顺序的修改或不同层的替代网络拓扑同样可以用于相同目的。受训神经网络300的输入是第一原始数据图像305a和第二原始数据图像305b。
在所示示例中，受训神经网络300包括作为输入层的全连接(FC)层310、后续转置层320、和转置层320下游的另一个全连接层330。FC层330的下游跟随有卷积编码器340，随后是三个后续FC层350、360和370。
在受训神经网络300的输出处，提供第一坐标和第二坐标作为对生成第一原始数据图像305a和第二原始数据图像305b的关联雷达传感器的视场中的每个对象的位置的估计。
图4图示了在一些实施例中可以用作后备的进一步的常规雷达处理流水线400的示例。常规雷达处理管线使用多个后续雷达处理步骤来定位雷达目标(雷达设备视野内的对象)。具有相似或修改顺序的修改或不同成像处理步骤的替代雷达处理管线同样可用于相同目的。为此，图4的说明应仅被理解为常规成像处理流水线的一个示例，其可用作受训神经网络的后备。
在雷达处理流水线400中，第一原始雷达图像410a被输入到第一二维傅里叶变换420a以将原始雷达图像410a变换为距离/多普勒表示。在频率调制连续波(FCMW)雷达系统中，原始雷达图像是例如对多个后续雷达扫描的响应的二维表示，一个维度是频率，另一个维度是扫描次数。通过二维傅里叶变换420a，原始雷达图像可以被转换成二维距离/多普勒表示，其中一个维度是距离，而另一个维度是相对于雷达传感器的相对速度。
随后，图像正在经历移动目标指示(MTI)430a。MTI服务将目标与杂波区分开来。MTI可以使用多种技术来完成，这些技术用于寻找移动对象，如飞机或车辆，并过滤掉不动的对象，如山丘或树木。
同样地，第二原始数据图像410b被输入到第二个二维傅里叶变换420b中并且随后经历MTI 430b。
为了执行定位，即确定观察对象的至少第一坐标和第二坐标，可以组合使用两个不同天线生成的至少两个图像。为此，预处理原始雷达图像410a和410b的单独管线在最小方差无失真响应(MVDR)波束形成器440(也称为Capon波束形成算法)中合并。在MVDR波束形成器440的下游，主要可以导出雷达传感器视场内的对象的第一坐标和第二坐标。根据实施要求，可以根据用户的喜好选择坐标系。例如，坐标可以在笛卡尔坐标系中作为X、Y给出，或者在极坐标系中作为距离r和角度
Figure BDA0003667294230000071
给出。
在常规雷达实施中，经常使用具有多个接收器天线的天线阵列，因此，多原始数据图像通过之前说明的二维傅里叶变换和MTI步骤进行预处理。虽然更多的天线可以增加系统的分辨率，但为简单起见，图4中仅说明了对两个原始数据图像410a和410b的预处理。
为了避免对象的错误检测，在MVDR 440下游，图像数据被输入到有序统计恒定误报率(OS-CFAR)算法450。OS-CFAR只是多种可用CFAR算法的一个示例。在存在噪声的情况下可靠地检测雷达传感器周围的对象是雷达信号处理中的一项重要任务。这可以通过将测量信号的频谱与特定检测阈值进行比较来完成。使用恒定阈值可能会导致许多错误的对象检测。相反，恒定误报率(CFAR)算法可以基于估计的本底噪声计算自适应阈值。由于CFAR算法适用于特定的噪声模型，检测性能变得对高斯背景噪声功率不敏感。在OS-CFAR算法450的输出处，图像数据中的噪声水平可以大大降低。
在OS-CFAR算法450的下游，图像数据被输入到具有噪声的基于密度的空间聚类方法(DBSCAN)算法460。DBSCAN是一种基于密度的非参数聚类算法，它将紧密堆积在一起的点(具有许多近邻的点)分组在一起，还标记了单独位于低密度区域中的离群点。在DBSCAN算法460的输出处，在图像内形成像素簇，每个簇对应于观察到的真实物理对象。因此，可以在雷达处理管线400的输出470处提供至少两个坐标作为相关雷达传感器的视场中每个对象的位置的估计。
虽然使用图4中的雷达处理管线进行目标检测和定位可能是可靠的，但很明显，所描述的多个复杂处理步骤需要大量的计算资源。
尽管前面的图例示了关于如何提供从受训神经网络回退到常规雷达处理管线的可能性的各种实施例，图5和6随后说明了在操作期间进一步提高受训神经网络质量的两种不同方法。两种方法的主要区别在于受训神经网络模型得到增强的位置。两个实施例均基于图2所示的实施例，并且因此，不再重复与参考数字210、220、230和240相关联的、涉及回退机制本身的方面。相反，讨论将集中在与在操作期间增强受训神经网络模型的可能性相关的方面。
图5示出了进一步使用持续学习来提高受训神经网络模型的质量来评估雷达图像的方法的实施例的流程图。
如图5所示的流程图所示，持续学习可以提高共同使用模型的质量，这通过使用和合并来自利用该模型的多个实体的数据来进行，即使这些实体彼此独立地使用该模型。换句话说，对于持续学习，数据可以被视为一个流，从每个新样本中学习将影响最小或改进对先前样本的预测。
为了实现持续学习，必须使用第一原始雷达图像、第二原始雷达图像和对象位置的常规估计，通过计算更新的神经网络参数来进一步训练神经网络。为了能进一步训练510，如果不满足可靠性标准，实现评估雷达图像的方法的实施例的实体则保存位置的常规估计以及对应的第一和第二原始雷达图像(512)。如果不执行位置估计使得可以不同地使用相关联的资源，则将所述存储的数据提交给中央实体，例如提交给中央服务器或系统，在其上执行神经网络模型的进一步训练。提交的数据，即第一原始雷达图像、第二原始雷达图像和对象位置的常规估计，被添加到中心实体上已经存在的训练数据中。基于如此更新的训练数据，神经网络的模型被训练(516)并且具有更新的神经网络参数的最佳模型被选择(518)。更新的时事通讯参数被重新分配(520)到所有实现受训神经网络的实体。
为了支持持续学习，相关实体需要支持将存储的原始雷达图像及其相关的对象位置的常规估计转移到中心实体，同样，支持从所述中心实体接收更新的神经网络参数。
换句话说，持续学习利用不同传感器在错误预测方面的经验来优化新中心模型的超参数。具有更新的神经网络参数、在固定测试集上表现最佳的新模型重新部署在传感器上。如果多个实体(边缘设备)使用同一神经网络，则在一系列边缘设备上部署一个集中训练模型的副本。每个边缘设备可能必须针对不同的事件回退到信号处理系统。故障信号的此类输入存储在缓冲区中，并定期上传到中央计算实体(例如服务器)。来自不同设备的故障信号的新贡献被添加到中央数据集，一起添加到由信号处理回退给出的标签。实现了超参数优化(包括在网络层上)，并且然后将中央数据集上性能最佳的网络部署到所有边缘设备。
图6示出了进一步使用联合学习来评估雷达图像以提高受训神经网络模型的质量的方法的实施例的流程图。
使用联合学习，更新的神经参数是在每个单独的实体上独立于使用同一神经网络的其他实体而被计算的，并且基于多个略有不同的更新的神经网络参数来定期生成新的公共模型。就像图5所示的持续学习一样，并且为了能进一步学习610，如果不满足可靠性标准，实现评估雷达图像的方法的实施例的实体则保存位置的常规估计以及对应的第一和第二原始雷达图像(614)。基于保存的数据，训练神经网络模型(614)和每个实体本身，在每个实体(边缘设备)生成更新的神经网络参数。如果多个独立实体或雷达传感器执行联合学习，则每个雷达传感器都会导致更新的神经网络参数略有不同。为了生成一致的更新模型，每个参与实体定期将其更新的神经网络参数提供给中央实体，该中央实体根据该输入计算更新的模型。一个特别简单的示例是平均每个参与实体的相应参数。最后，更新的模型通过共同更新的神经网络参数重新分配给参与实体。
换句话说，使用联合学习，一个集中训练模型的副本被部署在一系列边缘设备上。每个边缘设备可能必须针对不同的事件回退到信号处理系统。故障信号的此类输入存储在缓冲区中，并且在有可用资源时对边缘设备进行训练。定期将不同边缘设备的参数上传到中央模型中，并对它们进行统计(例如平均参数输出)。然后在每个边缘设备上重新部署这些参数。
支持联合学习的实体需要有能力将更新的网络参数传输到中心实体以及将更新的参数接收到中心实体。
图7图示了用于评估雷达图像的器件700的实施例的框图。该器件包括用于接收至少第一原始雷达图像和第二原始雷达图像的输入接口710。此外，该器件需要具有实现前述方法的实施例的能力。为此，器件700的实施例包括被配置为确定是否满足可靠性标准的电路装置720。该电路装置还被配置为：如果满足可靠性标准，使用由受训神经网络输出的第一坐标和第二坐标作为对象位置的估计，受训神经网络使用第一原始雷达图像和第二原始雷达图像作为输入。此外，该电路装置被配置为：如果不满足可靠性标准，使用由另一雷达处理管线输出的第三坐标和第四坐标作为对象位置的估计，雷达处理管线使用第一原始雷达图像和第二原始雷达图像作为输入。
如图7所示的器件700可以在雷达传感器内实现，或者作为与生成原始雷达图像的雷达传感器相结合的附加设备来实现。为此，器件700的实施例可以与已经存在的雷达传感器组合，以降低能量消耗或提高结果系统的性能。根据其他实现，器件700可以在雷达传感器内实现以形成具有增强能力的单个设备。例如，电路装置720可以在由雷达传感器的其他信号处理算法所使用的相同半导体管芯或处理器中实现。或者，实现器件700的电路装置可以被实现为雷达传感器内的单独芯片，该雷达传感器包括单个外壳内的多个芯片。
可选地并且为了支持联合和/或持续学习，一些实施例还包括被配置为发送或接收更新的神经网络参数的输入/输出接口730。
为了支持对可靠性标准的评估(如图2所示)，器件700的一些实施例可选地包括电路装置720，该电路装置进一步被配置为确定对象轨迹的估计。
进一步的实施例可以另外包括输出接口740，用于传输对象位置或对象轨迹的估计中的至少一个估计，以将由器件700生成的位置估计提供给进一步的处理实体，例如提供给电气控制单元(ECU)并行协作多个器件700。
图8示出了由图7所示的至少两个器件700a和700b和中央实体810组成的系统框图，以示出使用图5所示的连续学习或图6所示的联邦学习的系统。
在持续学习的情况下，输入/输出接口730a和730b将存储的原始雷达图像及其雷达处理管线相关位置估计传输到中央实体810，以使中央实体810能够通过进一步训练神经网络的模型来计算更新的神经网络参数。此外，输入/输出接口700a和700b用于通过常用的更新的神经网络参数从中央实体810接收更新的模型。
在联合学习的情况下，输入/输出接口730a和730b将单独更新的神经网络参数传输到中央实体810。中央实体810组合接收到的更新神经网络参数，以生成常用的更新的神经网络参数，用于通过它们的输入/输出接口700a和700b将这些参数重新分配到器件700a和700b。
关于前述示例中的一个特定示例描述的方面和特征还可以与一个或多个另外的示例组合，以替换该另外的示例的相同或类似的特征，或者另外将这些特征引入另外的示例中。
示例还可以是或涉及包括程序代码的(计算机)程序，当该程序在计算机，处理器或其他可编程硬件组件上执行时，该程序代码执行上述方法中的一个或多个。因此，上述不同方法的步骤，操作或过程也可以由编程的计算机，处理器或其它可编程硬件组件来执行。实例还可涵盖程序存储装置，例如数字数据存储媒体，其为机器可读，处理器可读或计算机可读且编码和/或含有机器可执行，处理器可执行或计算机可执行程序和指令。例如，程序存储设备可以包括或可以是数字存储设备，诸如磁盘和磁带的磁存储介质，硬盘驱动器或光可读数字数据存储介质。其它实例还可包含经编程以执行上述方法的步骤的计算机、处理器、控制单元、(现场)可编程逻辑阵列((F)PLA)、(现场)可编程门阵列((F)PGA)、图形处理器单元(GPU)、专用集成电路(ASIC)、集成电路(IC)或片上系统(SoC)系统。
可以理解，说明书和权利要求中公开的多个步骤、过程、操作或功能的公开可以不以特定顺序构建，除非另有明示或暗示，例如出于技术原因。因此，多个动作或功能的公开将不将它们限于特定顺序，除非这些动作或功能由于技术原因而不可互换。另外，在一些示例中，单个步骤、功能、过程或操作可以分别包括和/或可以在其中显露多个子步骤、子功能、子过程或子操作。
如果已经关于设备或系统描述了一些方面，则这些方面也应当被理解为对应方法的描述。例如，设备或系统的块，设备或功能方面可以对应于相应方法的特征，例如方法步骤。因此，关于方法描述的各方面也应被理解为对相应设备或相应系统的相应块，相应元素，属性或功能特征的描述。
下面的权利要求由此被结合在详细描述中，其中每个权利要求可以独立地作为单独的示例。还应当注意，尽管在权利要求中，从属权利要求引用了与一个或多个其他权利要求的特定组合，但是其他示例还可以包括从属权利要求与任何其他从属或独立权利要求的主题的组合。这样的组合在此明确地提出，除非在个别情况下指出不打算是特定的组合。此外，权利要求的特征也应当包括在任何其他独立权利要求中，即使该权利要求没有被直接限定为从属于该其他独立权利要求。

Claims (15)

1.一种雷达图像评估方法，包括：
提供至少第一原始雷达图像和第二原始雷达图像(110)；
确定是否满足可靠性标准(120、240)；
如果满足所述可靠性标准(130、230)，则使用由受训神经网络(300)输出的第一坐标和第二坐标作为对象的位置的估计，受训神经网络(300)使用所述第一原始雷达图像和所述第二原始雷达图像作为输入；以及
如果不满足所述可靠性标准(140、240)，则使用由另一雷达处理管线(400)输出的第三坐标和第四坐标作为所述对象的所述位置的估计，所述雷达处理管线使用所述第一原始雷达图像和所述第二原始雷达图像作为输入。
2.根据权利要求1所述的方法，其中，如果所述位置与所述对象的估计轨迹的偏差小于阈值，则满足所述可靠性标准。
3.根据权利要求2所述的方法，其中，如果所述受训神经网络的输出或附加受训神经网络的输出指示分布外错误，则不满足所述可靠性标准。
4.根据权利要求1至3中任一项所述的方法，其中，所述雷达处理流水线(400)包括将所述原始雷达图像变换(410)成距离/多普勒表示。
5.根据权利要求1至4中任一项所述的方法，还包括：
使用所述第一原始雷达图像、所述第二原始雷达图像和所述对象的所述位置的常规估计，来进一步训练(510、610)神经网络(300)并计算更新的神经网络参数。
6.根据权利要求5所述的方法，还包括：
将所述更新的神经网络参数传输到中心实体。
7.根据权利要求5所述的方法，还包括：
将所述第一原始雷达图像、所述第二原始雷达图像和所述对象的所述位置的所述常规估计(514)传输到中心实体。
8.根据前述权利要求中任一项所述的方法，还包括：
从中心实体接收更新的神经网络参数(520)；以及
使用所述更新的神经网络参数更新所述受训神经网络。
9.一种用于评估雷达图像的器件(700)，包括：
输入接口(710)，用于接收至少第一原始雷达图像和第二原始雷达图像；和
电路装置(720)，被配置为
确定是否满足可靠性标准；
如果满足所述可靠性标准，则使用由受训神经网络输出的第一坐标和第二坐标作为对象的位置的估计，所述受训神经网络使用所述第一原始雷达图像和所述第二原始雷达图像作为输入；以及
如果不满足所述可靠性标准，则使用由另一雷达处理管线输出的第三坐标和第四坐标作为所述对象的所述位置的估计，所述雷达处理管线使用所述第一原始雷达图像和所述第二原始雷达图像作为输入。
10.根据权利要求9所述的器件，还包括输入/输出接口(730)，所述输入/输出接口被配置为发送或接收更新的神经网络参数。
11.根据权利要求8至10中任一项所述的器件，其中，所述电路装置(720)还被配置为使用所述对象的所述位置的估计来确定所述对象的轨迹的估计。
12.根据权利要求11所述的器件，还包括：
输出接口(740)，用于传输所述对象的所述位置的估计或所述对象的所述轨迹的估计中的至少一个估计。
13.一种用于生成雷达图像的雷达传感器，所述雷达传感器包括根据权利要求9至11中任一项所述的器件。
14.根据权利要求13所述的雷达传感器，其中，所述雷达传感器是调频连续波雷达传感器。
15.一种具有程序代码的计算机程序，当所述程序代码由可编程处理器执行时，所述程序代码用于引起执行根据权利要求1至8中任一项所述的方法。
CN202210594617.5A 2021-05-28 2022-05-27 用于评估雷达图像的方法和器件 Pending CN115421116A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21176504.5A EP4095551A1 (en) 2021-05-28 2021-05-28 Method and apparatus to evaluate radar images and radar device
EP21176504.5 2021-05-28

Publications (1)

Publication Number Publication Date
CN115421116A true CN115421116A (zh) 2022-12-02

Family

ID=76197242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210594617.5A Pending CN115421116A (zh) 2021-05-28 2022-05-27 用于评估雷达图像的方法和器件

Country Status (3)

Country Link
US (1) US20220383537A1 (zh)
EP (1) EP4095551A1 (zh)
CN (1) CN115421116A (zh)

Also Published As

Publication number Publication date
EP4095551A1 (en) 2022-11-30
US20220383537A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
Liu et al. Deep instance segmentation with automotive radar detection points
Brodeski et al. Deep radar detector
US11313950B2 (en) Machine learning based highway radar vehicle classification across multiple lanes and speeds
JP7447700B2 (ja) レーダ反射点のクラスタリング装置、方法及び電子機器
CN111624567B (zh) 一种恒虚警检测方法及装置
CN105487061B (zh) 目标数据关联的多特征信息融合方法
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
CN113536850B (zh) 基于77g毫米波雷达的目标物体大小测试方法和装置
CN113486961A (zh) 基于深度学习的低信噪比下雷达rd图像目标检测方法、系统及计算机设备
Nuhoglu et al. Image segmentation for radar signal deinterleaving using deep learning
KR101817011B1 (ko) 군집화 특성 기반의 능동소나 클러터 제거 방법 및 장치
CN116263492A (zh) 用于识别由基于互易性的传感器欺骗产生的幽灵对象的雷达反欺骗系统
CN109263649B (zh) 车辆及其自动驾驶模式下的物体识别方法和物体识别系统
US11841419B2 (en) Stationary and moving object recognition apparatus
CN115421116A (zh) 用于评估雷达图像的方法和器件
Hanusa et al. Clutter rejection by clustering likelihood-based similarities
JP2010256079A (ja) レーダ装置
JP2004219300A (ja) 目標追尾装置
CN113777601A (zh) 一种基于特征的目标跟踪优化方法、装置和存储介质
Macagnano et al. Gating for multitarget tracking with the gaussian mixture phd and cphd filters
CN116469041B (zh) 一种目标对象的运动轨迹预测方法、系统及设备
Ren et al. Discrimination of Automotive Radar Distributed Targets
Brekke et al. Target tracking in heavy-tailed clutter using amplitude information
Reuter et al. Real-time implementation of a random finite set particle filter.
Pulford Relative performance of single-scan algorithms for passive sonar tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination