CN117434507A - 使用可解释人工智能对机器学习算法的训练 - Google Patents
使用可解释人工智能对机器学习算法的训练 Download PDFInfo
- Publication number
- CN117434507A CN117434507A CN202310880948.XA CN202310880948A CN117434507A CN 117434507 A CN117434507 A CN 117434507A CN 202310880948 A CN202310880948 A CN 202310880948A CN 117434507 A CN117434507 A CN 117434507A
- Authority
- CN
- China
- Prior art keywords
- training
- feature
- vector
- machine learning
- feature vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 237
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 107
- 238000010801 machine learning Methods 0.000 title claims abstract description 107
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 134
- 238000005259 measurement Methods 0.000 claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 27
- 238000013501 data transformation Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 206010027175 memory impairment Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- FRNOGLGSGLTDKL-UHFFFAOYSA-N thulium atom Chemical compound [Tm] FRNOGLGSGLTDKL-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
使用可解释人工智能对机器学习算法的训练。执行机器学习算法(111)的训练。机器学习算法(111)基于表示雷达测量数据集的特征向量(101)进行分类预测(115)。训练中考虑的权重是使用可解释人工智能分析来确定的。
Description
技术领域
本公开的各种示例总体上涉及使用机器学习算法基于雷达测量数据集进行分类预测。各种示例具体地涉及机器学习算法的训练的各方面。
背景技术
机器学习(ML)算法被广泛用于进行预测。例如，可以通过处理相应测量数据集来揭示测量的隐藏的可观察量。ML算法应用的一个特定领域是基于使用雷达测量而获取的雷达测量数据集进行预测。例如，可以使用ML算法来实现分类预测，例如针对人数统计或手势分类的分类预测。
这里公开了示例：Santra,A.,Hazra,S.(2020).Deep Learning Applications ofShort-Range Radars.United Kingdom:Artech House。
发明内容
需要一种有助于使用ML算法特别是基于雷达测量数据集进行准确预测的技术。
独立权利要求的特征满足了这一需求。从属权利要求的特征限定了实施例。
应当理解，在不脱离本发明的范围的情况下，上文中提及的特征和下文将要解释的特征不仅可以以所指示的相应组合来使用，还可以以其他组合或单独使用。
附图说明
图1示意性地示出了根据各种示例的包括雷达传感器和处理设备的系统；
图2示意性地示出了根据各种示例的处理设备的细节；
图3示意性地示出了根据各种示例的手势分类任务的多个候选类；
图4示意性地示出了根据各种示例的针对特定手势的距离和多普勒时间序列；
图5示意性地示出了根据各种示例的包括ML算法基于雷达测量数据集进行分类预测的处理流水线；
图6是根据各种示例的方法的流程图；
图7是根据各种示例的方法的流程图；
图8示意性地示出了根据各种示例的用于确定与训练数据集的训练特征向量相关联的权重的处理流水线；
图9示意性地示出了根据各种示例的用于训练ML算法的处理流水线；
图10是根据各种示例的方法的流程图；
图11示意性地示出了根据各种示例的将数据变换应用于距离多普勒图像；
图12示意性地示出了根据各种示例的将数据变换应用于距离多普勒图像；
图13示意性地示出了根据各种示例的多个训练数据集的训练特征向量在相应向量空间中的位置；以及
图14示意性地示出了根据各种示例的基于多个训练数据集的联合训练。
具体实施方式
本公开的一些示例总体上提供了多个电路或其他电气设备。对电路和其他电气设备以及由每个提供的功能的所有引用并不旨在局限于仅包括本文中示出和描述的内容。虽然可以将特定标签分配给所公开的各种电路或其他电气设备，但是这样的标签并不旨在限制电路和其他电气设备的操作范围。这样的电路和其他电气设备可以基于所需要的特定类型的电气实现以任何方式彼此组合和/或分离。应当认识到，本文中公开的任何电路或其他电气设备可以包括任何数目的微控制器、图形处理器单元(GPU)、集成电路、存储器设备(例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其其他合适的变体)、以及彼此协作以执行本文中公开的(多个)操作的软件。此外，电气设备中的任何一个或多个可以被配置为执行程序代码，该程序代码体现在被编程为执行所公开的任何数目的功能的非暂态计算机可读介质中。
在下文中，将参考附图详细描述本公开的示例。应当理解，以下对示例的描述不应具有限制意义。本公开的范围不旨在由下文所述的示例或附图所限制，附图仅被视为说明性的。
附图不应当被视为示意性代表，并且附图中所示的元素不一定按比例示出。而是，各种元素被表示为使得它们的功能和一般目的对本领域技术人员来说是很清楚的。图中示出或本文中描述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。
本公开的各种示例总体上涉及基于雷达测量使用ML算法来解决分类任务。
各种分类任务是可以想象的。示例包括人数统计。这里，确定场景中的人数；不同候选类与不同人数相关联。另一示例涉及运动分类。所公开的技术可以用于识别和分类各种类型的运动。例如，可以确定由对象执行的手势的手势类。不同候选类涉及不同手势。运动分类的其他示例将涉及踢球运动分类。智能后备箱开启器是一种在不使用自动和免提钥匙的情况下打开和关闭车辆后备箱或车门的概念。由用户使用脚来执行踢开动作。
本文中公开的各种技术采用包括一个或多个对象(例如，手或手指或手持对象(诸如手写笔或信标)、或一个或多个人)的场景的雷达测量来获取数据，可以基于该数据进行分类预测。例如，可以实现短程雷达测量。这里，雷达啁啾可以用于测量具有数十厘米或米范围的场景中的一个或多个对象的位置。
根据本文中公开的各种示例，毫米波雷达传感器可以用于执行雷达测量；雷达传感器作为频率调制连续波(FMCW)雷达进行操作，该FMCW雷达包括毫米波雷达传感器电路、一个或多个传输器和一个或多个接收器。毫米波雷达传感器可以传输和接收20GHz至122GHz范围内的信号。替代地，也可以使用该范围之外的频率，诸如1GHz至20GHz之间的频率、或122GHz至300GHz之间的频率。
雷达传感器可以向场景传输多个雷达脉冲，诸如啁啾。这是指脉冲操作。在一些实施例中，啁啾是线性啁啾，即，啁啾的瞬时频率随时间线性变化。
多普勒频移可以用于确定目标的速度。因此，由雷达传感器提供的测量数据可以指示场景的多个对象的深度位置。也可以指示速度。
雷达传感器可以输出测量帧。一般来说，测量帧(有时也称为数据帧或物理帧)包括多个雷达脉冲(特别是啁啾)在特定采样时间内的数据样本。慢速时间逐啁啾而增加；快速时间对于后续样本而递增。可以使用针对不同天线的信道维度。雷达传感器输出测量帧的时间序列。
与基于相机的手势分类相比，基于雷达测量的手势分类具有以下优点：对照明条件不变；保护隐私；能够捕获细微的手势动作。
根据各种示例，ML算法被用于基于雷达测量数据集进行分类预测。
ML算法的示例实现是神经网络算法(下文中简称为神经网络NN)。NN通常包括可以布置在多个层中的多个节点。给定层的节点与后续层的一个或多个节点连接。非相邻层之间的跳跃连接也是可能的。通常，连接也称为边。每个节点的输出可以基于连接到输入的一个或多个节点中的每个节点的值来计算。非线性计算是可能的。不同层可以执行不同变换，例如，池化、最大池化、加权或未加权求和、非线性激活、卷积等。NN可以包括布置在输入层与输出层之间的多个隐藏层。一个示例NN是卷积神经网络(CNN)。这里，使用一维(1-D)或二维(2-D)卷积层以及其他层。为了进行分类预测，可以在NN的输出处使用Softmax分类层。这里，使用softmax函数，并且通常在训练期间使用交叉熵损失。
由节点执行的计算通过与节点相关联的相应权重来设置。权重可以在NN的训练中确定(细节将结合框3115和3215进行描述)。为此，可以使用数值优化来设置权重。可以在NN的输出与期望的基准真值标签(ground truth label)之间定义损失函数，损失函数需要在训练期间最小化(细节将结合图9进行描述)。为此，可以采用梯度下降技术，其中权重从NN的后面到前面进行调节。
根据各种示例，ML算法可以考虑不同输入。输入数据的类型可以随着ML算法的类型而变化；其可以随着由ML算法进行的分类预测的类型而变化。尽管如此，在下文中，公开了潜在输入数据的一些示例。根据各种示例，可以提供距离多普勒图像(RDI)作为ML算法的输入。可以应用多普勒域滤波，以产生微运动和宏运动RDI；其中的一者或两者可以用作ML算法的输入。例如，可以沿着快速时间维度对每个测量帧的雷达测量数据执行傅立叶变换(FT)，以获取RDI。根据其他示例，可以提供随距离方位角图像的距离仰角图像作为ML算法的输入，即2-D角度图。在一些示例中，ML算法可以基于与对象相关联的雷达测量的相应可观察量的一个或多个一维(1-D)时间序列来进行分类预测。
各种示例基于以下发现：即，由于ML算法是黑匣子的性质，通常很难解释为什么ML算法做出正确或不正确的分类预测。
为了解决这个问题，可以使用可解释人工智能(XAI)分析来进行解释并且找出ML算法的弱点。XAI分析可以用于配置训练过程。这有助于提高ML算法的准确性。
此外，各种示例基于以下发现：即，可用训练数据集通常具有有限大小。由于可用的训练数据量有限，ML算法的准确性可能受到限制。在这种情况下，这将导致分类预测的错误率显著增加。
为了减轻这些限制，根据各种示例，可以增强训练数据集。即，基于可用的训练数据，可以生成附加训练数据。不同选项可以用于生成附加训练数据。例如，可以从初始训练数据集中导出增强训练数据集。具体地，可以将一个或多个数据操作应用于初始训练数据集的训练特征向量，从而获取增强训练数据集的增强训练特征向量。此外，还可以采用联合学习技术。这里，可以获取附加联合训练数据集，其包括对所部署的传感器的先前看不见的场景的观察。这也有助于提高ML算法的准确性。
此外，各种示例基于以下发现：即，有时用附加训练数据重新训练ML算法会导致“遗忘”的情况。这里，由于ML算法的重新训练，预测准确性可能恶化；这是因为，在早期训练轮次中已经训练过的权重可能至少在某种程度上被新的训练轮次覆盖(overwritten)。为了缓解这种情况，采用增量学习。这里，为了重新训练ML算法，联合考虑早期训练数据集和后续训练数据集。
图1示意性地示出了系统65。系统65包括雷达传感器70和处理设备60。处理设备60可以从雷达传感器70获取测量数据64。例如，处理设备可以是嵌入式设备、智能手机、智能手表等。
处理器62——例如通用处理器(中央处理器CPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)——可以经由接口61接收测量数据64，并且处理测量数据64。例如，测量数据64可以包括测量帧的时间序列，每个测量帧包括ADC转换器的样本。
处理器62可以从存储器63加载程序代码并且执行程序代码。处理器62然后可以执行如本文中公开的技术，例如，使用ML算法处理输入数据、使用ML算法进行分类预测、训练ML算法等等。
关于这样的处理的细节将在下文中更详细地解释；然而，首先将解释关于雷达传感器70的细节。
图2示出了关于雷达传感器70的各方面。雷达传感器70包括与存储器73耦合的处理器72(标记为数字信号处理器DSP)。基于存储在存储器73中的程序代码，处理器72可以执行关于使用传输天线77和数模转换器(DAC)75传输雷达脉冲86的各种功能。一旦雷达脉冲86已经被场景80反射，处理器72就可以使用ADC 76和多个接收天线78-1、78-2、78-3来检测相应的反射的雷达脉冲87(例如，多个接收天线以具有一半波长距离的L形被排序；参见图2的插图，使得不同天线对之间的相位差分别涉及方位角和仰角)。处理器72可以将从ADC 76获取的原始数据样本处理为更大或更小程度。例如，可以确定并且输出测量帧(有时也称为数据帧或物理帧)。
雷达测量可以作为基频调制连续波(FMCW)原理来实现。频率啁啾可以用于实现雷达脉冲86。啁啾的频率可以在57GHz至64GHz的频率范围内调节。传输信号被反向散射，其时间延迟对应于由所有三个接收天线捕获的反射对象的距离。然后，将接收信号与传输信号混合，然后进行低通滤波以获取中间信号。该信号的频率明显低于传输信号的频率，因此，ADC 76的采样率可以相应降低。ADC可以以2MHz的采样频率和12位的准确性来工作。
如图所示，场景80包括多个对象81-83。
这些对象81-83中的每个具有到天线78-1、78-2、78-3的一定距离，并且相对于传感器70以一定的相对速度移动。这些物理量定义了雷达测量的距离和多普勒频率。
例如，对象81-83可以涉及三个人；对于人数统计应用，任务将是确定场景包括三个人。在另一示例中，对象81、82可以对应于背景，而对象83可以涉及用户的手——因此，对象83可以称为目标或目标对象。基于雷达测量，可以识别手所执行的手势。为了便于说明，在图3中示出了一些手势。
图3示意性地示出了手势类520的这样的手势501-510和对应标签115，但是其他手势也是可能的。根据本文中描述的技术，可以可靠并且准确地对手势501-510进行分类。更一般地说，根据本文中公开的各种示例，可以可靠并且准确地进行分类预测。
通常，分类预测基于在提供给ML算法的输入数据中捕获的一个或多个可观察量。结合图4来说明一些可观察量。
图4示意性地示出了关于表征某个手势类的两个可观察量108、109的方面——这里是“圆圈运动”手势，即旋转手指运动。
图示的是一维时间序列101。时间序列101指示对象的距离108。还示出了指示对象的多普勒频移109(或者简单地，多普勒频率)的时间序列102。
图5示意性地示出了用于实现手势分类的处理流水线。例如，这样的处理可以由处理器62在从存储器63加载程序代码时实现。
如图5所示，分类ML算法111获取输入特征向量101。输入特征向量编码了雷达测量的相应可观察量。因此，输入特征向量对应于雷达测量数据集的表示。输入特征向量101可以例如对应于RDI的逐行表示。
ML算法11然后进行分类预测115，例如，指示特定手势类或指示人数。
图6是根据各种示例的方法的流程图。该方法可以由至少一个处理器执行，例如，在从存储器加载程序代码时执行。例如，图6的方法可以由处理器72和/或处理器62(参见图1和图2)执行。
此外，图6处的不同框可以由不同处理设备执行。
图6的方法涉及分类算法111的操作和维护。
在框3005处，实现分类算法111的训练阶段。这里，除了其他任务，设置分类算法111的多个参数的值，即，执行训练。NN的权重可以调节。
训练可以基于由相应损失函数定义的一个或多个损失值。损失值损失可以基于NN在其当前训练状态下针对训练数据集的训练特征向量的预测与训练数据集的对应基准真值标签之间的差来确定。
可以实现迭代优化。这里，可以使用多个集合来在多次迭代中调节权重。每次迭代可以包括反向传播训练算法，反向传播训练算法用于从NN的输出层开始朝向输入层调节权重。
一旦框3005的训练完成，就可以在框3010处实现推理阶段。这里，在没有可用的基准真值标签的情况下进行分类预测。使用在框3005处的训练中确定的NN的权重。
基于框3010处的推断，可以实现一个或多个应用。例如，可以控制HMI。可以使用HMI来控制机器。可以提供访问控制。
如图6中的虚线箭头所示，在框3010处的推断之后，可以执行框3005的训练的另一次迭代。
具体地，一旦附加训练数据集变得可用，就可以重新训练ML算法。例如，一旦附加训练数据集变得可用，就可以通过联合学习重新训练ML算法。这里，所部署的传感器可以提供先前看不见的场景的训练特征向量，从而可以生成基准真值标签。
在一些场景中，可以基于先前已经用于在框3005的先前迭代中进行训练的一个或多个训练数据集、以及仅在框3005的新迭代中变得可用的一个或多个附加训练数据集，来在框3005的后续迭代中联合执行任何重新训练。换言之，基于先前可用的训练数据集和新的可用训练数据集的联合重新训练是可能的(关于这样的联合训练的细节将结合图14进一步详细地公开)。例如，基于初始训练数据集和联合训练数据集的联合训练是可能的。替代地或另外地，基于初始训练数据集和增强训练数据集的联合训练将是可能的。
这样的技术基于以下发现：即，在仅基于新的可用训练数据集执行重新训练的情况下(即，不考虑任何初始数据集)，存在ML算法的总体准确性不会增加甚至降低的风险。在仅基于新的可用训练数据集执行重新训练的情况下，存在ML算法遗忘如何解决先前任务的风险。因此，通过这样的联合重新训练，可以提高总体准确性。
图7是根据各种示例的方法的流程图。
图7的方法可以由处理设备来执行。例如，图7的方法可以由处理设备60来执行。图7的方法可以由云服务器来执行。例如，图7的方法可以由处理器62在从存储器63加载程序代码时以及在执行程序代码时执行。
图7的方法涉及训练ML算法，诸如ML算法111(参见图5)。这样，图7的方法可以实现框3005。
ML算法基于雷达测量数据集进行分类预测。例如，ML算法可以基于RDI或2-D角度图进行分类预测，例如人数统计或手势分类。
在框3105处，获取训练数据集。训练数据集包括训练特征向量和相关联的基准真值标签。换言之，训练数据集包括基准真值标签中的训练特征向量对。基准真值标签指定ML算法的预期输出。
例如，训练数据集可以从存储器加载。训练数据集可以从数据库中获取。
基准真值标签可以事先由专家进行注释。基准真值标签可以基于替代测量技术来确定，例如，训练场景的基于摄像头的监控等。训练数据集可以通过模拟来生成。
接下来，在框3110处，针对训练特征向量确定加权因子；即，为每个训练特征向量分配相关联的加权因子。加权因子指定特定的一对训练特征向量和基准真值标签对ML算法的训练的影响。例如，较大(较小)的加权因子可以放大(抑制)相应的一对训练特征向量和基准真值标签由于该相应的一对训练特征向量和基准真值标签而对ML算法的参数/权重的调节的影响。
加权因子使用ML算法在其当前训练状态下的XAI分析来确定。
作为一般规则，XAI分析可以提供关于ML算法的性能的元信息。ML算法的不同训练状态导致不同元信息。
各种选项的XAI分析是可用的。例如，可以确定夏普利(Shapley)值。Shapley值提供了每个特征值对ML算法的特定局部预测的加性影响。例如，参见Lundberg、Scott M.和SuIn Lee的“A unified approach to interpreting model predictions”(Advances inneural information processing systems 30(2017))——所谓的SHAP方法是Shapley值的近似值。也可以使用其他选项，参见Ribeiro、Marco Tulio、Sameer Singh和CarlosGuestrin的““Why should I trust you？”Explaining the predictions of anyclassifier”(Proceedings of the 22nd ACM SIGKDD international conference onknowledge discovery and data mining.2016)——所谓的LIME方法。此外，这里公开了其他技术，Chattopadhay、Aditya等人的“Grad-cam++:Generalized gradient-based visualexplanations for deep convolutional networks”(2018IEEE winter conference onapplications of computer vision(WACV).IEEE,2018)。
然后，接下来，在框3115处，可以执行ML算法的训练，即，可以调节权重。基于损失值来执行训练，该损失值是基于由ML算法在当前训练状态下针对在框3105处获取的训练数据集的多个训练特征向量中的每个训练特征向量而进行的相应分类预测与训练数据集的基准真值标签之间的差来确定的。这里，损失值通过使用与每个训练特征向量相关联的相应加权因子对这样的差进行加权来获取。
接下来，将公开关于在框3110处确定加权因子的细节。各种选项可以用于在框3110处确定加权因子，并且将公开一些选项。
例如，针对给定输入数据，XAI分析可以量化由ML算法在其当前训练状态下进行的预测的可靠性。例如，如果针对给定训练特征向量，XAI分析产生了ML算法在其当前训练状态下的低预测可靠性，则可以向该训练特征向量分配大权重；另一方面，如果针对给定训练特征向量，XAI分析产生了ML算法在其当前训练状态下的大预测可靠性，则可以向该训练特征向量分配小权重。
在另外的场景中，可以考虑与训练特征向量中包括的个体特征值相关联的对由ML算法进行的预测的个体贡献。因此，训练数据集的多个训练特征向量中的每个训练特征向量的加权因子的确定可以包括：针对多个训练特征向量中的每个训练特征向量，使用XAI分析来确定相关联的特征相关性向量。特征相关性向量可以包括特征相关性值，该特征相关性值指示相应训练特征向量的特征值对由ML算法在当前训练状态下进行的分类预测的贡献。
这样的特征相关性值可以针对不同分类预测来确定。通常，由ML算法输出的分类预测将包括针对不同类的概率。因此，多个候选类中的一个被表示为最可能类(具有最高概率)。基准真值标签指定候选类中的一个类为观察到的真实类。真实类可以与最可能类不同，也可以与最可能类相同。
通常，XAI分析可以针对候选类中的每个候选类输出相关联的特征相关性向量。根据示例，可以基于与训练特征向量相关联的特征相关性向量来确定加权因子，并且可以针对当前训练状态下ML算法的最可能类来确定加权因子。这些特征相关性向量可以通过特征相关性值来指定相关联的训练特征向量的每个特征值对由ML算法进行的最可能类的预测的相对贡献(即，哪些特征值对最可能类的ML算法的预测具有积极或消极和/或高或低的影响)。
存在不同选项用于考虑特征相关性向量。在第一选项中，可以考虑每个特征相关性向量的最大或最小特征相关性值的绝对值，然后基于该绝对值确定加权因子。通常，最大或最小特征相关性值的绝对值指示训练特征向量的特征值对由ML算法进行的预测的强局部贡献。特征相关性向量中的大绝对值指示对预测的贡献中的“热点”。在分类任务受到个体特征值的强烈影响的情况下，可以将相对较大的加权因子分配给相应训练特征向量。在第二选项中，可以考虑特征相关性向量中包括的特征相关性值的方差。例如，某些特征值可以对由ML算法进行的预测具有负贡献，而其他特征值对由ML算法进行的预测具有正贡献；这导致特征相关性向量的相关性值之间的方差。特征相关性值的方差越大，相应权重就越大。具体地，特征相关性向量的方差可以被认为是分类任务的复杂性的指示符。这促使为这样的复杂分类任务的训练分配更大的权重。
用于基于特征相关性向量来确定权重的第三选项在图8中示出。因此，与图8相关联的技术可以被用作框3110的一部分。
图8示意性地示出了用于确定与训练特征向量610相关联的权重650的处理流水线。训练特征向量610包括多个特征值611、612、613(在所示示例中，训练特征向量610是3维的，但通常可以具有任何维度)。例如，训练特征向量610可以表示RDI。
在XAI分析119中对训练特征向量610进行处理。例如，可以确定Shapley值。具体地，可以确定特征相关性向量630、640。特征相关性向量630与由ML算法111预测的最可能类(即，所有候选类中具有最大概率的类)相关联。另一方面，特征相关性向量640与基准真值标签615(即，真实类)相关联。特征相关性向量630包括特征相关性值631、632、633；并且特征相关性向量640包括特征相关性向量641、642、643。
例如，特征相关性值631指示特征值611对与最可能类相对应的ML算法111的预测的边际贡献。特征相关性值641指示特征值611对与真实类相对应的ML算法111的预测的边际贡献。类似地，相关性值632与特征值612相关联，并且相关性值642与特征值612相联系。相关性值633与特征值613相关联；并且相关性值643与特征值613相关联。
在图8所示的示例中，然后基于特征相关性向量630与特征相关性向量640的组合659来确定与训练特征向量610相关联的加权因子650。
各种选项可以用于实现组合659。例如，可以确定从特征相关性向量640对特征相关性向量630进行均值减法(mean subtraction)的绝对值(或者反之亦然)：
其中M1表示特征相关性向量630，M2表示特征相关性向量640，并且M1i和M2j表示相应相关性值。N是维度(在所示示例中为3-D(3维))。
还可以确定特征相关性向量630、640的IoU组合(“交并比(Intersection overUnion)”组合)的绝对值。
这样的技术提供了在特征级别上考虑真实类的标称保护与最可能类的实际预测之间的偏差的优点。因此，与真实类的预测相比显示出个体特征值对(错误的)最可能类的预测的相对贡献的显著偏差的训练特征向量可以在训练中被更显著地加权。
接下来，结合图9公开了关于在考虑加权因子的情况下执行训练的各方面。
图9示意性地示出了用于执行训练的处理流水线。因此，图9可以用于实现框3115。如图9所示，ML 111基于训练特征向量610提供预测(即，最可能类115)。在691处，最可能类115与基准真值标签615进行比较。基于该比较，基于相应损失函数来计算损失值。在692处，该损失值可以使用权重650进行加权，然后，加权的损失值690可以用于调节ML算法111的权重。例如，反向传播可以用于实现梯度下降优化。
图10是根据各种示例的方法的流程图。图10的方法可以由处理设备来执行。例如，图10的方法可以由处理设备60来执行。例如，图10的方法可以由处理器62在从存储器63加载程序代码时以及在执行程序代码时执行。图10的方法涉及训练ML算法，诸如ML算法111(参见图5)。ML算法基于雷达测量数据集进行分类预测。例如，ML算法可以基于RDI或2-D角度图进行分类预测，例如，人数统计或手势分类。
图10的方法可以与图7的方法相结合。
最初，在框3205处，获取训练数据集。框3205对应于框3105。
在框3210，基于训练数据集中包括的多个训练特征向量，可以确定增强训练数据集。增强训练数据集包括一个或多个增强训练特征向量。
增强训练数据集可以通过将和与雷达测量数据集相关联的物理可观察量相关联的至少一个数据变换应用于训练特征向量来确定。
然后，在框3215处，执行ML算法的训练。具体地，可以基于在框3205处获取的训练数据集以及在框3210处获取的增强训练数据集两者来执行训练。联合训练是可能的。
在框3215处执行的训练对应于在框3115处执行的训练。
通过确定增强训练数据集，附加训练数据变得可用。这有助于提高ML算法在进行分类预测时的总体准确性。通过将数据变换应用于训练特征向量，可以为增强训练数据集获取新的训练特征向量。因为数据变换和与雷达测量数据集相关联的物理可观察量相关联，所以输入到ML算法的特征向量的输入向量空间可被附加采样。数据变换对应于输入向量空间中的位置的偏移。
根据一些示例，基准真值标签可以相对于数据变换是不变的。这表示，基准真值标签不受数据变换的影响。然后，增强训练数据集的另外的基准真值标签可以对应于训练数据集的基准真值标签。在图11中示出了示例数据变换。图11左侧示出了在框3205处获取的初始训练数据集的训练特征向量，这里具体地是RDI 811。图11右侧示出了在框3210处获取的从RDI 811中导出的增强训练数据集的增强训练特征向量，这里具体地是对应RDI 812。数据变换包括多普勒可观察量的频率翻转871(图11中的垂直轴)。对于某些预测任务，多普勒可观察量的这样的频率翻转871不影响预测类，即，基准真值标签将是不变的。一个示例是检测手指旋转运动(参见图4)——如果不区分顺时针或逆时针运动的话。另一方面，如果区分手指的顺时针与逆时针运动，则多普勒可观察量的频率翻转871将影响基准真值标签(从顺时针运动改变为逆时针运动，或者反之亦然)。图12中示出了另一示例数据变换。图12左侧示出了训练特征向量，这里具体地是RDI 811；此外，图12右侧示出了从RDI 811中导出的增强训练特征向量，这里具体地是RDI 813。在图12的示例中，数据变换包括沿着距离可观察量108的偏移872。例如，对于手势检测任务，这样的偏移872不影响预测的类。这是因为，手势类(参见图4)不取决于传感器与手之间的距离。又一示例数据变换(未示出)可以包括将高斯测量噪声添加到训练特征向量。相应技术总体上公开于：Zheng、Stephan等人的“Improving the robustness of deep neural networks via stability training”(Proceedings of the IEEE conference on computer vision and patternrecognition.2016for image processing)。
通过这样的确定增强训练特征向量的技术，可以获取输入向量空间中的附加样本。这在图13中示出。
图13示意性地示出了其中定义有输入特征向量的输入向量空间600。图13是输入向量空间600的2-D表示，其通常可以具有更高的维度。图13示出了输入向量空间600的某些区域由原始训练数据集681采样，而其他区域由增强训练数据集682采样，如分别在框3205和3210中获取的。此外，有时可以获取附加联合训练数据集683。然后，训练可以联合地基于可用的训练数据集681、682、683，以避免在训练的不同迭代中ML算法的灾难性遗忘。
关于基于多个训练数据集的这样的联合训练的细节结合图14来示出。
图14示出了多个训练数据集681、682、683的序列680(或数据流)。虽然在图14的场景中，作为一般规则，这些多个训练数据集分别包括初始/原始训练数据集、增强训练数据集和联合训练数据集，但是其他组合也是可以想到的。
ML算法111的联合训练是通过交替地向相应训练状态下的ML算法111提供作为输入的练特征向量、以及相应更新ML算法111的权重，来实现的(例如，如前面结合图9所解释的)。序列680可以定义基于不同训练特征向量的这样的交替训练。
总之，已经公开了在考虑XAI分析的情况下有助于对用于分类任务的ML算法进行准确训练的技术。
除了对ML算法进行更准确的训练之外，所公开的技术还可以通过创建ML算法的决策的人类可理解的理由来提高透明度。可以揭示对抗性的示例。此外，通过提高决策中的置信度，可以增加对由ML算法进行的预测的信任。
已经公开了解释为什么ML算法提供错误预测的技术。这基于并且解释了多重人工智能分析。基于这样的XAI分析，可以通过重新训练来提高ML算法的稳健性。
此外，已经公开了用于增强训练数据集的增强技术。可以将与物理可观察量相关联的数据变换应用于训练特征向量，以获取增强训练特征向量。示例包括沿着多普勒维度的频率翻转、沿着距离维度的偏移等。此外，由于雷达测量数据集对噪声敏感，因此可以将高斯噪声添加到训练特征向量中。这有助于以一种特别稳健的方式实现ML算法。
为了抵消灾难性遗忘，可以采用渐进式学习。在每个推理步骤之后，每当新的训练数据集可用时，基于初始训练数据集和新的可用训练数据集两者的联合重新训练是可能的。
尽管已经关于某些优选实施例示出和描述了本发明，但是在阅读和理解说明书之后，本领域其他技术人员将能够想到等效和修改。本发明包括所有这样的等效和修改，并且仅受所附权利要求的范围限制。
为了说明，已经在处理基于雷达测量的雷达测量数据集的框架中公开了关于训练进行分类预测的ML算法的技术。具体地，已经公开了使用RDI作为ML算法的输入的技术。然而，本文中公开的技术不限于处理雷达测量数据集，更不用说RDI了。类似的技术可以容易地应用于处理其他种类和类型的输入数据。例如，可以处理相机图像。
Claims (14)
1.一种执行机器学习算法(111)的训练的计算机实现的方法，所述机器学习算法(111)用于基于雷达测量数据集进行分类预测(115)，所述方法包括：
-获取(3105)训练数据集(681，682，683)，所述训练数据集包括多个训练特征向量(610，811)和相关联的基准真值标签(615)，所述多个训练特征向量(610，811)表示相应雷达测量数据集，
-针对所述多个训练特征向量(610，811)中的每个训练特征向量，通过采用当前训练状态下所述机器学习算法(111)的可解释人工智能分析(119)，确定(3110)相应加权因子(650)，以及
-基于损失值(690)执行(3115)所述机器学习算法(111)的所述训练，所述损失值(690)是基于由所述机器学习算法(111)在所述当前训练状态下针对所述多个训练特征向量(610，811)中的每个训练特征向量而进行的相应分类预测(115)与所述基准真值标签(615)之间的差(691)来确定的，
其中所述损失值(690)使用与每个训练特征向量(610)相关联的所述相应加权因子(650)被加权(692)。
2.根据权利要求1所述的计算机实现的方法，
其中所述针对所述多个训练特征向量(610，811)中的每个训练特征向量确定(3110)所述相应加权因子(650)包括，针对所述多个训练特征向量(610，811)中的每个训练特征向量：
-针对相应训练特征向量(610，811)，采用所述可解释人工智能分析(119)来确定相关联的特征相关性向量(630)，相应的相关联的所述特征相关性向量(630)包括特征相关性值(631，632，633)，所述特征相关性值(631，632，633)指示所述相应训练特征向量(610，811)的特征(611，612，613)对由所述机器学习算法(111)在所述当前训练状态下进行的针对最可能类别的所述分类预测(115)的贡献，
其中所述加权因子(650)是基于与所述训练特征向量(610，811)相关联的所述特征相关性向量(630)来确定的。
3.根据权利要求2所述的计算机实现的方法，
其中所述针对所述多个训练特征向量(610，811)中的每个训练特征向量确定(3110)所述相应加权因子(650)包括，针对所述多个训练特征向量(610，811)中的每个训练特征向量：
-针对所述相应训练特征向量(610，811)，使用所述可解释人工智能分析(119)来确定相关联的另外特征相关性向量(640)，相应的相关联的所述另外特征相关性向量(640)包括另外特征相关性值(641，642，643)，所述另外特征相关性值指示所述相应训练特征向量(610)的所述特征(611，612，613)对由所述机器学习算法(111)在所述当前训练状态下进行的针对由所述基准真值标签(615)指示的类的所述分类预测(115)的贡献，
其中所述加权因子(650)是基于所述特征相关性向量(630)与相应的所述另外特征相关性向量(640)的组合(659)来确定的。
4.根据权利要求3所述的计算机实现的方法，
其中所述组合(659)包括从特征相关性向量(630)对所述另外特征相关性向量(640)进行均值减法的绝对值，或者从所述另外特征相关性向量(640)对所述特征相关性向量(630)进行均值减法的绝对值。
5.根据权利要求3或4所述的计算机实现的方法，
其中所述组合(659)包括所述特征相关性向量(630)和所述另外特征相关性向量(640)的IoU组合的绝对值。
6.根据前述权利要求中任一项所述的计算机实现的方法，还包括：
-基于所述多个训练特征向量(610，811)，通过将与物理可观察量(108，109)相关联的至少一个数据变换(871，872)应用于所述训练特征向量(610，811)，确定(3210)包括一个或多个增强训练特征向量(812，813)的增强训练数据集(682)，
其中还基于所述增强训练数据集(682)来执行所述机器学习算法(111)的所述训练。
7.根据权利要求6所述的计算机实现的方法，
其中所述基准真值标签(615)相对于所述至少一个数据变换(871，872)是不变的，
其中所述增强训练数据集(682)的另外基准真值标签对应于所述训练数据集(681)的相应基准真值标签(615)。
8.根据权利要求6或7所述的计算机实现的方法，
其中所述至少一个数据变换包括距离可观察量(108)的偏移(872)。
9.根据权利要求6至8中任一项所述的计算机实现的方法，
其中所述至少一个数据变换包括多普勒可观察量(109)的频率翻转(871)。
10.根据权利要求6至9中任一项所述的计算机实现的方法，
其中所述至少一个数据变换包括添加高斯测量噪声。
11.根据权利要求6至10中任一项所述的计算机实现的方法，
其中所述训练是基于所述训练数据集(681)和所述增强训练数据集(682)来联合执行的。
12.根据权利要求6至11中任一项所述的计算机实现的方法，还包括：
-在执行所述机器学习算法的所述训练之后：获取联合训练数据集(683)，所述联合训练数据集(683)包括多个联合训练特征向量和相关联的基准真值标签，以及
-基于所述联合训练数据集(683)、以及所述训练数据集(681)或所述增强训练数据集(682)中的至少一项来联合执行所述机器学习算法的重新训练。
13.一种被配置用于执行机器学习算法(111)的训练处理设备，所述机器学习算法用于基于雷达测量数据集进行分类预测(115)，所述处理设备包括至少一个处理器，所述至少一个处理器被配置为：
-获取(3105)训练数据集(681，682，683)，所述训练数据集包括多个训练特征向量(610，811)和相关联的基准真值标签(615)，所述多个训练特征向量(610，813)表示相应雷达测量数据集，
-针对所述多个训练特征向量(610，811)中的每个训练特征向量，采用当前训练状态下所述机器学习算法(111)的可解释人工智能分析(119)，确定(3110)相应加权因子(650)，以及
-基于损失值(690)执行(3115)所述机器学习算法(111)的所述训练，所述损失值(690)是基于由所述机器学习算法(111)在所述当前训练状态下针对所述多个训练特征向量(610，811)中的每个训练特征向量而进行的相应分类预测(115)与所述基准真值标签(615)之间的差(691)来确定的，
其中所述损失值(690)使用与每个训练特征向量(610)相关联的所述相应加权因子(650)被加权(692)。
14.根据权利要求13所述的处理设备，其中所述至少一个处理器被配置为执行根据权利要求1至12中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22186047.1 | 2022-07-20 | ||
| EP22186047.1A EP4310738A1 (en) | 2022-07-20 | 2022-07-20 | Training of machine-learning algorithm using explainable artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117434507A true CN117434507A (zh) | 2024-01-23 |
Family
ID=83115377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310880948.XA Pending CN117434507A (zh) | 2022-07-20 | 2023-07-18 | 使用可解释人工智能对机器学习算法的训练 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240028962A1 (zh) |
| EP (1) | EP4310738A1 (zh) |
| CN (1) | CN117434507A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117742502A (zh) * | 2024-02-08 | 2024-03-22 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
-
2022
- 2022-07-20 EP EP22186047.1A patent/EP4310738A1/en active Pending
-
2023
- 2023-07-03 US US18/346,532 patent/US20240028962A1/en active Pending
- 2023-07-18 CN CN202310880948.XA patent/CN117434507A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117742502A (zh) * | 2024-02-08 | 2024-03-22 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
| CN117742502B (zh) * | 2024-02-08 | 2024-05-03 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4310738A1 (en) | 2024-01-24 |
| US20240028962A1 (en) | 2024-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Messikommer et al. | Event-based asynchronous sparse convolutional networks | |
| Granstrom et al. | Extended object tracking: Introduction, overview and applications | |
| Liang-Qun et al. | Intuitionistic fuzzy joint probabilistic data association filter and its application to multitarget tracking | |
| CN115542308B (zh) | 基于毫米波雷达的室内人员探测方法、装置、设备及介质 | |
| EP3671272A1 (en) | Vehicle sensor fusion based on fuzzy sets | |
| US20220269926A1 (en) | Radar-Based Object Tracking Using a Neural Network | |
| US10613546B2 (en) | Stochastic map-aware stereo vision sensor model | |
| CN117434507A (zh) | 使用可解释人工智能对机器学习算法的训练 | |
| US20220026557A1 (en) | Spatial sensor system with background scene subtraction | |
| Abu et al. | CFAR detection algorithm for objects in sonar images | |
| Gao et al. | PHD-SLAM 2.0: Efficient SLAM in the Presence of Missdetections and Clutter | |
| Ali et al. | End-to-end dynamic gesture recognition using mmWave radar | |
| Zhang et al. | Mode recognition of multifunction radars for few-shot learning based on compound alignments | |
| Li et al. | Multiple extended target tracking by truncated JPDA in a clutter environment | |
| US20230068523A1 (en) | Radar-Based Gesture Classification Using a Variational Auto-Encoder Neural Network | |
| CN113221709B (zh) | 用于识别用户运动的方法、装置及热水器 | |
| US20230096901A1 (en) | Object tracking using spatial voting | |
| Bae | Survey of amplitude‐aided multi‐target tracking methods | |
| US11280899B2 (en) | Target recognition from SAR data using range profiles and a long short-term memory (LSTM) network | |
| US20220404486A1 (en) | People Counting Based on Radar Measurement | |
| Zhuk et al. | Adaptive Radar Tracking Algorithm for Maneuverable UAV with Probabilistic Identification of Data Using Coordinate and Amplitude Characteristics | |
| Zhang et al. | Multisensor management method for ground moving target tracking based on Doppler blind zone information | |
| EP4220497A1 (en) | Quantum tracking method and apparatus | |
| Oveis et al. | Credible Recognition of Radar Images: Interpretability Metric and Classification Score | |
| 이규정 | Exploiting Velocity Information to Alleviate Association Uncertainty in Radar Dim Target Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |