CN117093872B - 雷达目标分类模型自训练方法及系统 - Google Patents
雷达目标分类模型自训练方法及系统 Download PDFInfo
- Publication number
- CN117093872B CN117093872B CN202311353717.XA CN202311353717A CN117093872B CN 117093872 B CN117093872 B CN 117093872B CN 202311353717 A CN202311353717 A CN 202311353717A CN 117093872 B CN117093872 B CN 117093872B
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- target
- training
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013145 classification model Methods 0.000 title claims abstract description 84
- 230000004927 fusion Effects 0.000 claims abstract description 91
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种雷达目标分类模型自训练方法及系统，属于目标探测领域，该方法将雷达数据和视觉数据融合，生成融合数据，也就是说该融合数据既包含了目标的雷达轨迹数据，也包含了目标对应的视觉轨迹数据，因而可以利用视觉轨迹数据精准的获得目标的类别信息，从而无需人工对雷达轨迹数据对应的目标类别信息进行标记，大量减少人工收集数据并训练更新算法的工作量。通过筛选融合数据序列得到训练数据集和测试数据集，自动训练或估算雷达目标分类模型的参数，自动评估当前生成的雷达目标分类模型的参数的分类能力，并最终达到自动训练的目的。
Description
技术领域
本申请属于目标探测领域，具体涉及一种雷达目标分类模型自训练方法及系统。
背景技术
毫米波雷达在测距、测角、测速方面性能优异，但是对目标的特征、属性等方面的分辨能力较弱，需要再使用相应的雷达目标分类模型对雷达数据进行分类，分辨出目标的类别。目前，雷达目标分类模型有很多种，常用的一般分类生成模型（Generative Model）与判别模型（Discriminative Model）。
一般情况下，收集大量的雷达跟踪数据，生成每一个目标的跟踪数据序列，通过人工去标注目标的跟踪数据序列生成该目标的类别信息，大量的标注了类别的跟踪数据序列组成的数据集被称为训练集或者训练数据集（Training Set），记为T r。生成模型一般是在训练数据集中，估计模型输入、输出的联合概率分布P(x，y)，然后通过求出后验概率分布P(y|x)作为模型的预测值。而判别模型，一般是设计决策函数f(x)，再设计损失函数，将数据集内的数据（跟踪数据的特征序列）送入决策函数预测，再通过损失函数优化预测值（判别模型预测的目标类别）与真值（人工标注的目标类别）之间的区别，从而达到训练模型的目的。目前，此类雷达目标分类模型需要人工进行目标标注，并且还无法实现自动训练。
发明内容
发明目的：本申请实施例提供一种雷达目标分类模型自训练方法，旨在解决目前的雷达目标分类模型无法实现自动训练的技术问题；本申请实施例的另一目的是提供一种雷达目标分类模型自训练系统。
技术方案：本申请实施例所述的雷达目标分类模型自训练方法，包括：
融合雷达数据和视觉数据，生成融合数据；
将所述融合数据整理成每个目标分别对应的融合数据序列，所述融合数据序列包括对应的所述目标的所有所述融合数据；
对所述融合数据序列进行筛选，生成训练数据集和测试数据集；
使用所述训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
使用所述测试数据集以及训练或者估算后的所述参数，对所述雷达目标分类模型进行测试，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度；如超过则更新所述雷达目标分类模型。
在一些实施例中，所述雷达数据为通过雷达在指定的观测区域内所感知到的目标的数据，所述视觉数据为通过视觉设备在指定的所述观测区域内所感知到的目标的数据；
每一帧所述融合数据包括通过所述雷达和通过所述视觉设备在对应时间段内从指定的观测区域感知到的所有目标的数据。
在一些实施例中，每个所述目标的数据包括所述雷达生成的数据和/或所述视觉设备生成的数据。
在一些实施例中，每个所述目标的所有所述融合数据包括：所述目标在指定的观测区域内的所有采样数据所生成的融合数据。
在一些实施例中，筛选同时满足如下条件的所述融合数据序列，以生成所述测试数据集：
既包含雷达数据又包含视觉数据；
总帧数在预设阈值范围内；
所述视觉数据的目标类别信息满足准确度要求；
融合质量的值大于质量阈值。
在一些实施例中，所述视觉数据的目标类别信息满足准确度要求包括：
在当前所述融合数据序列的所有帧数据中，视觉数据的目标类别属于某一个类别的帧数占总帧数的80%以上。
在一些实施例中，在所述融合数据序列中，雷达所感知目标的序列数据和视觉设备所感知目标的序列数据的关联度与所述融合质量的值成正比。
在一些实施例中，筛选同时满足如下条件的所述融合数据序列，以生成所述训练数据集：
属于所述测试数据集；
所述融合数据均匀覆盖指定的观测区域；
删除逸群值；
删除混淆值。
在一些实施例中，所述融合数据均匀覆盖指定的观测区域包括：
将指定的所述观测区域栅格化；
将所述融合数据序列的每一帧数据中雷达数据对应的目标的位置投射到所述观测区域中对应的栅格内，以在所述栅格内形成数据点；
整个观测区域的所有栅格分别包含的数据点个数中，最小个数不小于最大个数的30%。
在一些实施例中，所述删除逸群值包括：
统计每一个所述栅格内的数据的部分雷达数据的特征值；
根据目标属于不同的视觉目标类别，将所述栅格内的数据分成若干组，分别对应相应的视觉目标类别；
分别计算各个组的所述特征值的均值与方差，删除栅格内该特征值超过第一预设倍数方差的逸群值。
在一些实施例中，所述第一预设倍数为3倍。
在一些实施例中，所述删除混淆值包括：
计算所述栅格内不同的视觉目标类别的所述特征值的均值和方差，若某个类别的特征值到其他类别的均值距离除以方差不超过其所属类别的均值的距离除以方差的第二预设倍数，则删除该混淆值。
在一些实施例中，所述第二预设倍数为1/2倍。
在一些实施例中，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度，包括：
使用微观平均精度法和宏观平均精度法分别对训练或者估算后的所述参数的精度进行评估，并将分别得到的评估值加权作为最终的评估值。
在一些实施例中，所述微观平均精度法包括：
把所有视觉目标类别汇总计算出整体的精度，得到微观精度法评估值，计算公式为：
；式中，N为记视觉目标类别数；/>为微观精度法评估值；TP为真正例，所述真正例包括把正样本正确的分类到正样本，以及在多类分类时，把当前类的目标正确的分类到当前类；FN为假负例，所述假负例包括把正样本错误的分类到负样本，以及在多类分类时，把当前类的目标错误的分类到其他类。
在一些实施例中，所述宏观平均精度法包括：
分别计算每一视觉目标类别的精度值，再去平均得到宏观精度法评估值，计算公式为：
；式中，/>为微观精度法评估值。
在一些实施例中，将分别得到的评估值加权作为最终的评估值，包括采用如下计算公式计算得到最终的评估值：
；式中，/>为最终的评估值，α为偏向性参数，用于控制更偏向于所述微观精度法或者更偏向于所述宏观精度法。
在一些实施例中，所述偏向性参数α为0.3。
相应的，本申请实施例所述的一种雷达目标分类模型自训练系统，包括：
雷视融合模块，用于融合雷达数据和视觉数据，生成融合数据；
数据整理模块，用于将所述融合数据整理成每个目标分别对应的融合数据序列，所述融合数据序列包括对应的所述目标的所有所述融合数据；
数据筛选模块，用于对所述融合数据序列进行筛选，生成训练数据集和测试数据集；
训练模块，用于使用所述训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
测试评估模块，用于使用所述测试数据集以及训练或者估算后的所述参数，对所述雷达目标分类模型进行测试，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度；如超过则更新所述雷达目标分类模型。
有益效果：与现有技术相比，本申请实施例的雷达目标分类模型自训练方法，包括：融合雷达数据和视觉数据，生成融合数据；将融合数据整理成每个目标分别对应的融合数据序列，融合数据序列包括对应的目标的所有融合数据；对融合数据序列进行筛选，生成训练数据集和测试数据集；使用训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；使用测试数据集以及训练或者估算后的参数，对雷达目标分类模型进行测试，评估训练或者估算后的参数的精度是否超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度；如超过则更新雷达目标分类模型。该方法将雷达数据和视觉数据融合，生成融合数据，也就是说该融合数据既包含了目标的雷达轨迹数据，也包含了目标对应的视觉轨迹数据，因而可以利用视觉轨迹数据精准的获得目标的类别信息，从而无需人工对雷达轨迹数据对应的目标类别信息进行标记，大量减少人工收集数据并训练更新算法的工作量。通过筛选融合数据序列得到训练数据集和测试数据集，自动训练或估算雷达目标分类模型的参数，自动评估当前生成的雷达目标分类模型的参数的分类能力，并最终达到自动训练的目的。
与现有技术相比，本申请实施例的雷达目标分类模型自训练系统包括：雷视融合模块，用于融合雷达数据和视觉数据，生成融合数据；数据整理模块，用于将融合数据整理成每个目标分别对应的融合数据序列，融合数据序列包括对应的目标的所有融合数据；数据筛选模块，用于对融合数据序列进行筛选，生成训练数据集和测试数据集；训练模块，用于使用训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；测试评估模块，用于使用测试数据集以及训练或者估算后的参数，对雷达目标分类模型进行测试，评估训练或者估算后的参数的精度是否超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度；如超过则更新雷达目标分类模型。该系统将雷达数据和视觉数据融合，生成融合数据，也就是说该融合数据既包含了目标的雷达轨迹数据，也包含了目标对应的视觉轨迹数据，因而可以利用视觉轨迹数据精准的获得目标的类别信息，从而无需人工对雷达轨迹数据对应的目标类别信息进行标记，大量减少人工收集数据并训练更新算法的工作量。通过筛选融合数据序列得到训练数据集和测试数据集，自动训练或估算雷达目标分类模型的参数，自动评估当前生成的雷达目标分类模型的参数的分类能力，并最终达到自动训练的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的雷达目标分类模型自训练方法流程示意图；
图2为本申请实施例的雷达目标分类模型自训练系统结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
路端交通毫米波雷达，工作频率范围79-81GHz，主要用于观测路面行驶的车辆、非机动车、行人等目标。交通毫米波雷达一般以固定的时间间隔采样，比如100ms。意味着，每隔100ms雷达将扫描当前监测区域，生成当前监测区域的点云数据，再根据点云数据以及历史数据，生成跟踪数据。跟踪数据由跟踪点数据组成，每一个跟踪点数据代表雷达监测区域中的一个移动目标，并标记唯一的ID标签，当前时间下的监测区域内的所有移动目标的跟踪点数据的集合即为当前帧的跟踪数据。当时间经过100ms后，雷达将继续生成一帧跟踪点数据，其中每一个移动目标的ID标签与前一帧的ID标签一致。即可以获取雷达监控范围内的每一个移动目标的移动轨迹。
毫米波雷达输出的跟踪数据，一般包含目标的位置信息（X轴与Y轴坐标值，一般使用雷达坐标系或者经纬度坐标），目标的速度信息（目标的X轴方向的速度v x与Y轴方向的速度v y），以及一些其他的特征信息（比如雷达散射截面积RCS值、信噪比SNR值）。
毫米波雷达在测距、测角、测速方面性能优异，但是对目标的特征、属性等方面的分辨能力较弱，需要再使用相应的雷达目标分类模型对雷达数据进行分类，分辨出目标的类别。比如申请人曾提出过一种基于隐马尔科夫模型（Hidden Markov Model 简称HMM）的雷达目标分类的方法，从雷达跟踪数据中提取特定的特征，并根据目标的跟踪轨迹数据，组成一组特征序列，送入HMM模型中预测目标的类型。
雷达目标分类的算法，常用的一般分类生成模型（Generative Model）与判别模型（Discriminative Model）。一般情况下，收集大量的雷达跟踪数据，生成每一个目标的跟踪数据序列，通过人工去标注目标的跟踪数据序列生成该目标的类别信息，大量的标注了类别的跟踪数据序列组成的数据集被称为训练集或者训练数据集（Training Set），记为T r。生成模型一般是在训练数据集中，估计模型输入、输出的联合概率分布P(x，y)，然后通过求出后验概率分布P(y|x)作为模型的预测值。而判别模型，一般是设计决策函数f(x)，再设计损失函数，将数据集内的数据（跟踪数据的特征序列）送入决策函数预测，再通过损失函数优化预测值（判别模型预测的目标类别）与真值（人工标注的目标类别）之间的区别，从而达到训练模型的目的。
为了克服目前雷达目标分类模型无法实现自动训练的技术问题，本申请实施例提供一种雷达目标分类模型自训练方法。结合以上说明，不管是生成模型还是判别模型，都需要基于训练数据集T r去计算适配的参数。因此本方法不限定雷达目标分类的算法模型，常规的生成模型或者判别模型均可以迁移到该方法中，在后续的说明重，记雷达目标分类模型为M c。
还需要说明的是，本申请实施例的雷达目标分类模型自训练方法基于雷视融合。如前文记载，对于雷达而言，特别是毫米波雷达对目标的特征、属性分辨能力较弱，因此本申请实施例通过视觉信息来收集此类信息，以补足雷达的不足，避免人工标注而带来的巨大工作量。通常视觉（摄像机）设备，采集了视频数据，通过相应的视频分析算法，可以得出在视觉设备监测视野内的目标的移动轨迹，以及每一个目标的属性。目标的属性内容比较丰富，比如轿车、SUV、大巴车、大货车、行人、摩托车、自行车、危化品车等；甚至还可以进行更精细的分类，比如车辆的品牌、系列、年份、颜色等。由此可见，视觉设备擅长感知目标的精细化属性，但是对目标的位置、速度的感知则较差。
具体的，请参阅图1，本申请实施例的雷达目标分类模型自训练方法包括如下步骤：
S1：融合雷达数据和视觉数据，生成融合数据；
S2：将融合数据整理成每个目标分别对应的融合数据序列，融合数据序列包括对应的目标的所有融合数据；
S3：对融合数据序列进行筛选，生成训练数据集和测试数据集；
S4：使用训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
S5：使用测试数据集以及训练或者估算后的参数，对雷达目标分类模型进行测试，评估训练或者估算后的参数的精度是否超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度；
S6：如超过则更新雷达目标分类模型。
可以理解的是，该方法将雷达数据和视觉数据融合，生成融合数据，也就是说该融合数据既包含了目标的雷达轨迹数据，也包含了目标对应的视觉轨迹数据，因而可以利用视觉轨迹数据精准的获得目标的类别信息，从而无需人工对雷达轨迹数据对应的目标类别信息进行标记，大量减少人工收集数据并训练更新算法的工作量。通过筛选融合数据序列得到训练数据集和测试数据集，自动训练或估算雷达目标分类模型的参数，自动评估当前生成的雷达目标分类模型的参数的分类能力，并最终达到自动训练的目的。
进一步的，该方法还包括：如训练或者估算后的参数的精度未超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度，则跳转到步骤S2并重复上述流程。
在一些实施例中，步骤S1中的雷达数据为通过雷达在指定的观测区域内所感知到的目标的数据，视觉数据为通过视觉设备在指定的观测区域内所感知到的目标的数据。每一帧融合数据包括通过雷达和通过视觉设备在对应时间段内从指定的观测区域感知到的所有目标的数据。也就是说，通过同时接入雷达数据与视觉数据，融合两种数据后，输出融合数据。融合数据的结构与毫米波雷达的数据结构类似，融合数据以帧为单位，每一帧数据包含两种感知设备感知到的所有目标。
进一步的，在步骤S2中，每个目标的数据包括雷达生成的数据和/或视觉生成的数据。每一个目标的数据可能仅包含雷达生成的数据、或者仅包含视觉生成的轨迹数据，再或者是融合了雷达与视觉的数据。
在一些实施例中，每个目标对应的所有融合数据包括：目标在指定的观测区域内的所有采样数据所生成的融合数据。每一个监测到的目标，在被监测范围内从被发现到离开监测区域的时间内，每隔固定的采样间隔（比如每隔100ms）生成的融合数据，通过这些融合数据组成融合数据序列。
进一步的，在步骤S3中，数据筛选的目标是从步骤S2输出的大量的融合数据序列（记作X）中，筛选质量好的数据，建立训练数据集T r以及测试数据集T e。训练数据集T r与测试数据集T e的建立标准略有区别，分别针对不同的功效。
具体的，筛选同时满足如下条件的融合数据序列，以生成测试数据集：
A：筛选的融合数据序列中，既包含雷达数据又包含视觉数据。
B：总帧数在预设阈值范围内，即融合数据序列的总帧数需大于N fmax且小于N fmin；其中，N fmax为最大阈值，N fmin为最小阈值，两者均为经验阈值。
C：视觉数据的目标类别信息满足准确度要求；也就是说，融合数据序列中的视觉数据的目标类别信息足够准确。具体的，通过统计当前融合数据序列中所有帧数据中的视觉类别统计，属于某一个类别的帧数占总帧数的80%以上。
D：融合质量的值大于质量阈值P f，融合质量由雷视融合模块给出，融合质量的值能够判定融合雷达目标的序列数据以及视觉目标的序列数据之间的关联程度，值越高关联程度越高。也就是说，在融合数据序列中，雷达所感知目标的序列数据和视觉设备所感知目标的序列数据的关联度与融合质量的值成正比。
测试数据集T e满足上述条件即可，记为T e={x∈X│x满足条件A,B,C,D}。测试数据集T e需要更加贴近真实样本，故仅对测试数据集T e进行上述筛选，通过上述筛选条件能够保证测试数据集T e数据质量好、融合效果好、且有确定的视觉类别作为标签的数据。贴近真是样本的选取方法保证测试数据集T e上的测试效果贴近真实应用。
训练数据集T r需要为训练雷达目标分类器服务，因此数据需要更多的筛选条件，保证数据分布更加均匀，对场景的覆盖度更加完整，并且尽量去除数据中的噪声干扰。生成训练数据集T r的融合数据序列首先需要属于测试数据集T e，也就是说，首先需满足上述A、B、C、D四个条件，除此之外，还包括如下筛选条件：
E：融合数据均匀覆盖指定的观测区域。具体包括：将指定的观测区域栅格化；将融合数据序列的每一帧数据中雷达数据对应的目标的位置（l x,l y）投射到观测区域中对应的栅格内，以在栅格内形成数据点。每透射一个位置（l x,l y），记该栅格包含数据点加1。保证整个观测区域的所有栅格分别包含的数据点个数中，最小个数不小于最大个数的30%。
F：删除逸群值。具体包括：统计每一个栅格内的数据的部分雷达数据的特征值，比如雷达的RCS值（Radar Cross Section）是指目标物体对雷达波的反射能力或散射能力的度量，它表示了目标物体在雷达波照射下的返回信号强度。根据目标属于不同的视觉目标类别，将栅格内的数据分成若干组，分别对应相应的视觉目标类别；分别计算各个组的特征值的均值与方差，删除栅格内该特征值超过第一预设倍数方差的逸群值。其中，第一预设倍数为经验数据，在一些实施例中第一预设倍数为3倍。
以RCS值举例，假设某个栅格内的RCS值为，视觉目标类别数总计N，该栅格内不同类别的RCS值统计的均值为{μ 1 ,μ 2 ,…,μ N}，对应的方差值为{σ 1 ,σ 2 ,…,σ N}。该RCS值对应的类别为c，若满足：
则认为该值为逸群值，删除该值。
G：删除混淆值。具体包括：与F相同计算栅格内不同的视觉目标类别的特征值的均值和方差，若某个类别的特征值到其他类别的均值距离除以方差不超过其所属类别的均值的距离除以方差的第二预设倍数，则删除该混淆值。其中，第二预设倍数为经验数据，在一些实施例中第二预设倍数1/2倍。
以RCS值举例，假设某个栅格内的RCS值为，视觉目标类别数总计N，该栅格内不同类别的RCS值统计的均值为{μ 1 ,μ 2 ,…,μ N}，对应的方差值为{σ 1 ,σ 2 ,…,σ N}。该RCS值对应的类别为c，若不满足：
则认为该值为混淆值，删除该值。
训练数据集T r创建时，使用与测试数据集T e相同条件收集数据，作为候选训练集，记为={x∈X│x满足条件A,B,C,D}。候选训练集/>经过条件E、F、G的处理后，生成正式的训练数据集T r。
经过步骤S4的处理，在训练数据集T r上训练或者估算出雷达目标分类模型M c的参数W c。需要使用测试数据集T e评估参数W c的质量。在一些实施例中，评估训练或者估算后的参数的精度是否超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度，包括：
使用微观平均精度法（Micro average Precision）和宏观平均精度法（Marcoaverage Precision）分别对训练或者估算后的参数W c的精度进行评估，并将分别得到的评估值加权作为最终的评估值。
微观平均精度法包括：
把所有视觉目标类别汇总计算出整体的精度，得到微观精度法评估值，计算公式为：
式中，N为记视觉目标类别数；为微观精度法评估值；TP为真正例，真正例包括把正样本正确的分类到正样本，以及在多类分类时，把当前类的目标正确的分类到当前类；FN为假负例，假负例包括把正样本错误的分类到负样本，以及在多类分类时，把当前类的目标错误的分类到其他类。
此外，FP为假正例：把负样本错误的分类正样本。多类分类时，把其他类的目标错误的分类到当前类。TN为真负例：把负样本正确的分类到负样本。多类分类时，把其他类的目标正确的分类到其属于的类。上述公式关注的重点在TP和FN两个指标。
宏观平均精度法包括：
分别计算每一视觉目标类别的精度值，再去平均得到宏观精度法评估值，计算公式为：
式中，为微观精度法评估值。
将分别得到的评估值加权作为最终的评估值，包括采用如下计算公式计算得到最终的评估值：
式中，为最终的评估值，α为偏向性参数，用于控制更偏向于微观精度法或者更偏向于宏观精度法。在一些实施例中，偏向性参数α可以为0.3。在测试数据集T e上，参数W c的评估得分P m若高于未经训练数据集T r训练或估算的旧模型的评估得分，则认为参数W c更好，可以更新。
该雷达目标分类模型自训练方法能够自动训练雷达目标分类模型，并应用于当前雷达，大量减少人工收集数据并训练更新算法的工作量。能够自动收集当前雷达所在场景的数据，用于训练雷达目标分类模型，该模型适配当前雷达的数据、当前场景、当前安装条件，模型具有高度定制化与针对性的特性，在当前雷达与场景下比通用的模型具备更高的性能。并且具有合理的数据筛选与模型质量评估方法，保证了训练集与测试集的质量，保障了训练并更新的模型质量。
相应的，请参阅图2，本申请实施例还提供一种雷达目标分类模型自训练系统，包括：
雷视融合模块，用于融合雷达数据和视觉数据，生成融合数据；
数据整理模块，用于将融合数据整理成每个目标分别对应的融合数据序列，融合数据序列包括对应的目标的所有融合数据；
数据筛选模块，用于对融合数据序列进行筛选，生成训练数据集和测试数据集；
训练模块，用于使用训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
测试评估模块，用于使用测试数据集以及训练或者估算后的参数，对雷达目标分类模型进行测试，评估训练或者估算后的参数的精度是否超过被训练数据集训练或者估算之前的雷达目标分类模型的参数的精度；如超过则更新雷达目标分类模型。
可以理解的是，该系统能够用于实施上述雷达目标分类模型自训练方法，因而可以具有上述方法的所有技术效果，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的雷达目标分类模型自训练方法及系统进行了详细介绍，并应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (18)
1.一种雷达目标分类模型自训练方法，其特征在于，包括：
融合雷达数据和视觉数据，生成融合数据；
将所述融合数据整理成每个目标分别对应的融合数据序列，所述融合数据序列包括对应的所述目标的所有所述融合数据；
对所述融合数据序列进行筛选，生成训练数据集和测试数据集；
使用所述训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
使用所述测试数据集以及训练或者估算后的所述参数，对所述雷达目标分类模型进行测试，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度；如超过则更新所述雷达目标分类模型；
其中，筛选同时满足如下条件的所述融合数据序列，以生成所述测试数据集：
既包含雷达数据又包含视觉数据；
总帧数在预设阈值范围内；
所述视觉数据的目标类别信息满足准确度要求；
融合质量的值大于质量阈值。
2.根据权利要求1所述的雷达目标分类模型自训练方法，其特征在于，所述雷达数据为通过雷达在指定的观测区域内所感知到的目标的数据，所述视觉数据为通过视觉设备在指定的所述观测区域内所感知到的目标的数据；
每一帧所述融合数据包括通过所述雷达和通过所述视觉设备在对应时间段内从指定的观测区域感知到的所有目标的数据。
3.根据权利要求2所述的雷达目标分类模型自训练方法，其特征在于，每个所述目标的数据包括所述雷达生成的数据和/或所述视觉设备生成的数据。
4.根据权利要求1所述的雷达目标分类模型自训练方法，其特征在于，每个所述目标的所有所述融合数据包括：所述目标在指定的观测区域内的所有采样数据所生成的融合数据。
5.根据权利要求1所述的雷达目标分类模型自训练方法，其特征在于，所述视觉数据的目标类别信息满足准确度要求包括：
在当前所述融合数据序列的所有帧数据中，视觉数据的目标类别属于某一个类别的帧数占总帧数的80%以上。
6.根据权利要求1所述的雷达目标分类模型自训练方法，其特征在于，在所述融合数据序列中，雷达所感知目标的序列数据和视觉设备所感知目标的序列数据的关联度与所述融合质量的值成正比。
7.根据权利要求1~6中任一项所述的雷达目标分类模型自训练方法，其特征在于，筛选同时满足如下条件的所述融合数据序列，以生成所述训练数据集：
属于所述测试数据集；
所述融合数据均匀覆盖指定的观测区域；
删除逸群值；
删除混淆值。
8.根据权利要求7所述的雷达目标分类模型自训练方法，其特征在于，所述融合数据均匀覆盖指定的观测区域包括：
将指定的所述观测区域栅格化；
将所述融合数据序列的每一帧数据中雷达数据对应的目标的位置投射到所述观测区域中对应的栅格内，以在所述栅格内形成数据点；
整个观测区域的所有栅格分别包含的数据点个数中，最小个数不小于最大个数的30%。
9.根据权利要求8所述的雷达目标分类模型自训练方法，其特征在于，所述删除逸群值包括：
统计每一个所述栅格内的数据的部分雷达数据的特征值；
根据目标属于不同的视觉目标类别，将所述栅格内的数据分成若干组，分别对应相应的视觉目标类别；
分别计算各个组的所述特征值的均值与方差，删除栅格内该特征值超过第一预设倍数方差的逸群值。
10.根据权利要求9所述的雷达目标分类模型自训练方法，其特征在于，所述第一预设倍数为3倍。
11.根据权利要求9所述的雷达目标分类模型自训练方法，其特征在于，所述删除混淆值包括：
计算所述栅格内不同的视觉目标类别的所述特征值的均值和方差，若某个类别的特征值到其他类别的均值距离除以方差不超过其所属类别的均值的距离除以方差的第二预设倍数，则删除该混淆值。
12.根据权利要求11所述的雷达目标分类模型自训练方法，其特征在于，所述第二预设倍数为1/2倍。
13.根据权利要求1所述的雷达目标分类模型自训练方法，其特征在于，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度，包括：
使用微观平均精度法和宏观平均精度法分别对训练或者估算后的所述参数的精度进行评估，并将分别得到的评估值加权作为最终的评估值。
14.根据权利要求13所述的雷达目标分类模型自训练方法，其特征在于，所述微观平均精度法包括：
把所有视觉目标类别汇总计算出整体的精度，得到微观精度法评估值，计算公式为：
；式中，N为记视觉目标类别数；/>为微观精度法评估值；TP为真正例，所述真正例包括把正样本正确的分类到正样本，以及在多类分类时，把当前类的目标正确的分类到当前类；FN为假负例，所述假负例包括把正样本错误的分类到负样本，以及在多类分类时，把当前类的目标错误的分类到其他类。
15.根据权利要求14所述的雷达目标分类模型自训练方法，其特征在于，所述宏观平均精度法包括：
分别计算每一视觉目标类别的精度值，再去平均得到宏观精度法评估值，计算公式为：
；式中，/>为微观精度法评估值。
16.根据权利要求15所述的雷达目标分类模型自训练方法，其特征在于，将分别得到的评估值加权作为最终的评估值，包括采用如下计算公式计算得到最终的评估值：
；式中，/>为最终的评估值，α为偏向性参数，用于控制更偏向于所述微观精度法或者更偏向于所述宏观精度法。
17.根据权利要求16所述的雷达目标分类模型自训练方法，其特征在于，所述偏向性参数α为0.3。
18.一种雷达目标分类模型自训练系统，其特征在于，包括：
雷视融合模块，用于融合雷达数据和视觉数据，生成融合数据；
数据整理模块，用于将所述融合数据整理成每个目标分别对应的融合数据序列，所述融合数据序列包括对应的所述目标的所有所述融合数据；
数据筛选模块，用于对所述融合数据序列进行筛选，生成训练数据集和测试数据集；
训练模块，用于使用所述训练数据集训练或者估算雷达目标分类模型的参数，得到训练或者估算后的参数；
测试评估模块，用于使用所述测试数据集以及训练或者估算后的所述参数，对所述雷达目标分类模型进行测试，评估训练或者估算后的所述参数的精度是否超过被所述训练数据集训练或者估算之前的所述雷达目标分类模型的参数的精度；如超过则更新所述雷达目标分类模型；
其中，所述数据筛选模块筛选同时满足如下条件的所述融合数据序列，以生成所述测试数据集：既包含雷达数据又包含视觉数据；总帧数在预设阈值范围内；所述视觉数据的目标类别信息满足准确度要求；融合质量的值大于质量阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353717.XA CN117093872B (zh) | 2023-10-19 | 2023-10-19 | 雷达目标分类模型自训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353717.XA CN117093872B (zh) | 2023-10-19 | 2023-10-19 | 雷达目标分类模型自训练方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117093872A CN117093872A (zh) | 2023-11-21 |
| CN117093872B true CN117093872B (zh) | 2024-01-02 |
Family
ID=88780159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311353717.XA Active CN117093872B (zh) | 2023-10-19 | 2023-10-19 | 雷达目标分类模型自训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117093872B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111505624A (zh) * | 2020-04-30 | 2020-08-07 | 中国汽车工程研究院股份有限公司 | 一种基于机器视觉和毫米波雷达数据融合的环境感知方法 |
| CN111832410A (zh) * | 2020-06-09 | 2020-10-27 | 北京航空航天大学 | 一种基于视觉与激光雷达融合的前向列车检测方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| WO2020237501A1 (zh) * | 2019-05-28 | 2020-12-03 | 深圳大学 | 一种多源协同道路车辆监控系统 |
| CN112115810A (zh) * | 2020-08-31 | 2020-12-22 | 南京理工大学 | 基于信息融合的目标识别方法、系统、计算机设备和存储介质 |
| CN112560972A (zh) * | 2020-12-21 | 2021-03-26 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| CN113449632A (zh) * | 2021-06-28 | 2021-09-28 | 重庆长安汽车股份有限公司 | 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 |
| CN113822221A (zh) * | 2021-10-09 | 2021-12-21 | 南京天航智能装备研究院有限公司 | 一种基于对抗神经网络和多传感器融合的目标检测方法 |
| WO2022012158A1 (zh) * | 2020-07-17 | 2022-01-20 | 华为技术有限公司 | 一种目标确定方法以及目标确定装置 |
| CN115943439A (zh) * | 2021-03-01 | 2023-04-07 | 杜豫川 | 一种基于雷视融合的多目标车辆检测及重识别方法 |
| CN116699602A (zh) * | 2023-05-29 | 2023-09-05 | 海南大学 | 一种基于毫米波雷达和相机融合的目标检测系统及方法 |
| CN116738271A (zh) * | 2023-04-10 | 2023-09-12 | 中山大学 | 基于雷达与视频融合的目标自主识别分类方法、系统 |
| CN116778290A (zh) * | 2023-06-20 | 2023-09-19 | 上海无线电设备研究所 | 一种基于深度学习算法的雷达视觉数据关联方法 |
| CN116794650A (zh) * | 2023-03-27 | 2023-09-22 | 之江实验室 | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9599706B2 (en) * | 2015-04-06 | 2017-03-21 | GM Global Technology Operations LLC | Fusion method for cross traffic application using radars and camera |
| US10565468B2 (en) * | 2016-01-19 | 2020-02-18 | Aptiv Technologies Limited | Object tracking system with radar/vision fusion for automated vehicles |
-
2023
- 2023-10-19 CN CN202311353717.XA patent/CN117093872B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020237501A1 (zh) * | 2019-05-28 | 2020-12-03 | 深圳大学 | 一种多源协同道路车辆监控系统 |
| CN111505624A (zh) * | 2020-04-30 | 2020-08-07 | 中国汽车工程研究院股份有限公司 | 一种基于机器视觉和毫米波雷达数据融合的环境感知方法 |
| CN111832410A (zh) * | 2020-06-09 | 2020-10-27 | 北京航空航天大学 | 一种基于视觉与激光雷达融合的前向列车检测方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| WO2022012158A1 (zh) * | 2020-07-17 | 2022-01-20 | 华为技术有限公司 | 一种目标确定方法以及目标确定装置 |
| CN112115810A (zh) * | 2020-08-31 | 2020-12-22 | 南京理工大学 | 基于信息融合的目标识别方法、系统、计算机设备和存储介质 |
| CN112560972A (zh) * | 2020-12-21 | 2021-03-26 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
| CN115943439A (zh) * | 2021-03-01 | 2023-04-07 | 杜豫川 | 一种基于雷视融合的多目标车辆检测及重识别方法 |
| CN113449632A (zh) * | 2021-06-28 | 2021-09-28 | 重庆长安汽车股份有限公司 | 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 |
| CN113822221A (zh) * | 2021-10-09 | 2021-12-21 | 南京天航智能装备研究院有限公司 | 一种基于对抗神经网络和多传感器融合的目标检测方法 |
| CN116794650A (zh) * | 2023-03-27 | 2023-09-22 | 之江实验室 | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 |
| CN116738271A (zh) * | 2023-04-10 | 2023-09-12 | 中山大学 | 基于雷达与视频融合的目标自主识别分类方法、系统 |
| CN116699602A (zh) * | 2023-05-29 | 2023-09-05 | 海南大学 | 一种基于毫米波雷达和相机融合的目标检测系统及方法 |
| CN116778290A (zh) * | 2023-06-20 | 2023-09-19 | 上海无线电设备研究所 | 一种基于深度学习算法的雷达视觉数据关联方法 |
Non-Patent Citations (3)
| Title |
|---|
| Ship Classification Based on Sidelobe Elimination of SAR Images Supervised by Visual Model;Hongliang Zhu;《2021 IEEE Radar Conference (RadarConf21)》;1-6 * |
| 基于激光雷达和摄像机融合的智能车障碍物识别方法;张袅娜 等;《科学技术与工程》(第04期);1461-1466 * |
| 毫米波雷达与视频结合的车辆轨迹监测技术研究;王倩;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第2023(02)期);C035-1001 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117093872A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544932B (zh) | 一种基于出租车gps数据与卡口数据融合的城市路网流量估计方法 | |
| CN101403676B (zh) | 基于d-s证据理论的绝缘子憎水性等级融合判决方法 | |
| CN105512640B (zh) | 一种基于视频序列的人流量统计方法 | |
| Hoogendoorn et al. | Extracting microscopic pedestrian characteristics from video data | |
| CN105608431A (zh) | 一种基于车辆数目与车流速度的高速公路拥堵检测方法 | |
| Yang et al. | Image-based visibility estimation algorithm for intelligent transportation systems | |
| CN109996278B (zh) | 道路网络质量评估方法、装置、设备及介质 | |
| CN107507417B (zh) | 一种基于微波雷达回波信号的智能车道划分方法及装置 | |
| CN114970321A (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
| KR101255736B1 (ko) | 단일편파 레이더를 이용한 기상 및 비기상 에코 분류 방법 | |
| CN111797738A (zh) | 基于视频识别的多目标交通行为快速提取方法 | |
| CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
| CN114359695A (zh) | 基于不确定性估计的绝缘子破损识别方法 | |
| CN111524164B (zh) | 一种目标跟踪方法、装置及电子设备 | |
| CN106384359A (zh) | 运动目标跟踪方法和电视 | |
| Cordes et al. | Roadsaw: A large-scale dataset for camera-based road surface and wetness estimation | |
| KR101415362B1 (ko) | 강수입자 분류 시스템 및 그 방법 | |
| CN117093872B (zh) | 雷达目标分类模型自训练方法及系统 | |
| Chen et al. | A Novel Background Filtering Method with Automatic Parameter Adjustment for Real-Time Roadside LiDAR Sensing System | |
| CN117636268A (zh) | 一种面向冰雪环境的无人机航拍自然驾驶数据集构建方法 | |
| Anderson-Trocmé et al. | Performance evaluation and error segregation of video-collected traffic speed data | |
| KR102558609B1 (ko) | 건축물의 구조적인 무결성을 보장하기 위한 풍속 패턴 평가 방법 및 상기 방법을 수행하는 컴퓨팅 장치 | |
| CN117351702A (zh) | 一种基于车流量进行调节的智慧交通管理方法 | |
| CN113781436B (zh) | 一种基于摄像机和角度测量的高压开关状态监测方法 | |
| Yasin et al. | Travel time measurement in real-time using automatic number plate recognition for Malaysian environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |