CN113723616A - 一种多传感器信息半自动标注方法、系统及存储介质 - Google Patents
一种多传感器信息半自动标注方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113723616A CN113723616A CN202110940701.3A CN202110940701A CN113723616A CN 113723616 A CN113723616 A CN 113723616A CN 202110940701 A CN202110940701 A CN 202110940701A CN 113723616 A CN113723616 A CN 113723616A
- Authority
- CN
- China
- Prior art keywords
- information
- server
- model
- labeling
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 59
- 230000008447 perception Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000006854 communication Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 19
- 238000012549 training Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种多传感器信息半自动标注方法、系统及存储介质，该方法包括：采用待训练模型对感知数据进行预标注，得到对应的预标注信息；采用伴生模型对感知数据进行参照标注，得到对应的参照标注信息，并计算各条预标注信息与对应参照标注信息之间的损失值以及批次平均损失；对大于批次平均损失且大于预定阈值的损失值所对应的感知数据进行人工标注；采用人工标注结果对待训练模型以及伴生模型进行再训练。本发明采用的标注过程使得标注结果更加准确全面，得到的标注结果可以直接用于模型的训练且训练效果好。该系统中标注过程与训练过程交替进行，可快速实现反馈闭环优化，不断提高标注正确率以及待训练模型的准确率。
Description
技术领域
本发明涉及自动驾驶领域，尤其涉及一种多传感器信息半自动标注方法、系统及存储介质。
背景技术
在自动驾驶领域，通常采用多种传感器获取车辆周边的感知信息。现有的传感器包括激光雷达、摄像头、微波雷达、GPS，这些传感器检测到的信息形式不同，在标注过程中也需要采取不同的形式，例如包括2D框、3D框、深度图、语义分割、实例分割信息。
为了降低标注的过程量，需要采用半自动标注技术，然而现有的半自动标注技术的标注类别不全，不能同时标注出数据集的所有标注信息。很难快速将2D框、3D框、深度图、语义分割、实例分割信息的全部标注。现有的模型标注效果不好，标注后的数据的检测识别准确率低，需要大量的人工修正，人力成本高。目前，现有的半自动标注模型优化难度大，模型的泛化能力差。
发明内容
有鉴于现有技术的上述缺陷，本发明的目的是提供一种多传感器信息半自动标注方法、系统及存储介质，以解决现有技术中存在的上述问题。
本发明的上述技术目的通过以下技术方案得以实现：
为实现上述目的本发明提供了一种多传感器信息半自动标注方法，其包括：
采用待训练模型对感知数据进行预标注，得到对应的预标注信息；
采用伴生模型对感知数据进行参照标注，得到对应的参照标注信息；并计算各条预标注信息与对应参照标注信息之间的损失值以及批次平均损失；
对大于批次平均损失且大于预定阈值的损失值所对应的感知数据进行人工标注；
采用人工标注结果对待训练模型以及伴生模型进行再训练。
本发明的进一步改进在于，感知数据包括道路交通图像以及激光雷达点云数据。
本发明的进一步改进在于，预标注信息以及所述参照标注信息均包括2D框、3D框、深度图、语义分割和实例分割信息。
本发明的进一步改进在于，3D框信息包括目标中心点位置、物体长宽高、航向角和类别信息。
本发明还包括一种多传感器信息半自动标注系统，用于执行上述的多传感器信息半自动标注方法，其特征在于包括：
感知系统，用于获取感知数据；
数据中心，与所述感知系统通信连接，从所述感知系统获取感知数据并存储；
服务器Ⅰ，与所述数据中心通信连接，用于运行待训练模型；
服务器Ⅱ，与所述数据中心通信连接，用于运行伴生模型并计算损失值以及批次平均损失，并筛选出大于批次平均损失且大于预定阈值的损失值所对应的感知数据；
服务器Ⅲ，分别与所述服务器Ⅰ以及所述服务器Ⅱ通信连接，用于接收感知数据进行人工标注，并将感知数据以及人工标注结果发送至所述服务器Ⅰ以及所述服务器Ⅱ，以便所述服务器Ⅰ以及所述服务器Ⅱ对其运行的模型进行再训练。
本发明的进一步改进在于，感知系统包括摄像头以及激光雷达。
本发明的进一步改进在于，感知系统通过5G将感知数据上传至数据中心。
本发明还包括一种存储有计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现上述多传感器信息半自动标注方法的步骤。
本发明的有益技术效果为：本发明的标注过程使得标注结果更加准确全面，得到的标注结果可以直接用于模型的训练且训练效果好。该系统中标注过程与训练过程交替进行，可快速实现反馈闭环优化，不断提高标注正确率以及待训练模型的准确率。随着模型的性能逐渐提升，需要人工标注的感知数据越来越少，大大降低了数据标注成本。
附图说明
图1是本发明的多传感器信息半自动标注系统的硬件架构图；
图2是本发明的多传感器信息半自动标注系统的软件架构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
如图1、2所示，本发明的实施例包括一种多传感器信息半自动标注系统，该系统包括：感知系统、数据中心、服务器Ⅰ、服务器Ⅱ以及服务器Ⅲ。
感知系统用于获取感知数据，其包括摄像头以及激光雷达。感知数据包括道路交通数据、路口道路交通图像以及激光雷达点云数据。数据中心与感知系统通信连接，从感知系统获取感知数据并存储，可实时获取道路交通信息以及感知信息。在一个具体实施例中，感知系统通过5G将感知数据上传至数据中心。
服务器Ⅰ以及服务器Ⅱ均与数据中心通信连接，以便从述数据中心获取感知数据。具体的：
服务器Ⅰ用于运行待训练模型。获得感知数据后，服务器Ⅰ采用待训练模型对感知数据进行预标注，得到对应的预标注信息。
服务器Ⅱ用于运行伴生模型，根据感知数据得到对应的参照标注信息，并计算参照标注信息与预标注信息之间的损失值以及批次平均损失，并筛选出大于批次平均损失且大于预定阈值的损失值所对应的感知数据。损失值大于批次平均损失，表示模型针对该感知数据需要进一步完善修正。
服务器Ⅲ分别与服务器Ⅰ以及服务器Ⅱ双向通信连接。服务器Ⅲ用于接收服务器Ⅱ筛选出的感知数据，并通过与标注员交互的方式对该感知数据进行人工标注，得到人工标注结果。标注完成后，服务器Ⅲ用于将感知数据以及人工标注结果发送至服务器Ⅰ以及服务器Ⅱ，以便服务器Ⅰ以及服务器Ⅱ对其运行的模型进行再训练，以提升待训练模型以及伴生模型的准确率。
待训练模型以及伴生模型均为基于神经网络的机器学习模型。二者具有相同形式的输入和输出，二者可采用现有的模型，也可采用定制的模型。计算损失过程中，可采用现有的损失函数计算预标注信息以及参照标注信息之间的损失。
模型的训练过程按照批次进行，在训练的初始阶段，批次平均损失值通常远大于预定阈值，随着模型不断拟合贴近理想模型，批次平均损失逐渐降低至预定阈值，此时仅对损失大于预设阈值的损失值对应的感知数据进行人工标注，大大降低了后期的标注总量以及标注成本。
为了确保待训练模型以及伴生模型的差异，在分批次训练过程中，当前批次的人工标注结果立即用于待训练模型再训练，而伴生模型延后一次批次，在下一批次的再训练过程中采用当前批次的人工标注结果进行再训练。此外，在两个模型的训练过程中，还可采用drop-out等训练方式增强训练过程的随机性。
人工标注过程中，标注员在服务器Ⅰ的预标注信息活服务器Ⅱ的参照标注信息的基础上进行修正，标注过程中仅需修改现有标注信息中的错误内容，降低了工作量，提高了标注效率。该标注过程使得标注结果更加准确全面，得到的标注结果可以直接用于模型的训练且训练效果好。该系统中标注过程与训练过程交替进行，可快速实现反馈闭环优化，不断提高标注正确率以及待训练模型的准确率。随着模型的性能逐渐提升，需要人工标注的感知数据越来越少，大大降低了数据标注成本。
如图1、2所示，本发明的实施例还包括一种多传感器信息半自动标注方法，该方法在上述的多传感器信息半自动标注系统运行，该方法包括：
采用待训练模型对感知数据进行预标注，得到对应的预标注信息；
采用伴生模型对感知数据进行参照标注，得到对应的参照标注信息；并计算各条预标注信息与对应参照标注信息之间的损失值以及批次平均损失；
对大于批次平均损失且大于预定阈值的损失值所对应的感知数据进行人工标注；
采用人工标注结果对待训练模型以及伴生模型进行再训练。
本实施例中，感知数据包括道路交通图像以及激光雷达点云数据。预标注信息以及所述参照标注信息均包括2D框、3D框、深度图、语义分割和实例分割信息。3D框信息包括目标中心点位置、物体长宽高、航向角和类别信息。
本发明的实施例还包括一种存储有计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现上述方法的步骤。其中，处理器不限于典型的通用CPU，还包括CPU、DSP、FPGA、GPU以及专用处理器中的任意一种或若干种组合形成的电子系统。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种多传感器信息半自动标注方法，其特征在于包括：
采用待训练模型对感知数据进行预标注，得到对应的预标注信息；
采用伴生模型对感知数据进行参照标注，得到对应的参照标注信息；并计算各条预标注信息与对应参照标注信息之间的损失值以及批次平均损失；
对大于批次平均损失且大于预定阈值的损失值所对应的感知数据进行人工标注；
采用人工标注结果对待训练模型以及伴生模型进行再训练。
2.根据权利要求1所述的一种多传感器信息半自动标注方法，其特征在于，所述感知数据包括道路交通图像以及激光雷达点云数据。
3.根据权利要求2所述的一种多传感器信息半自动标注方法，其特征在于，所述预标注信息以及所述参照标注信息均包括2D框、3D框、深度图、语义分割和实例分割信息。
4.根据权利要求3所述的一种多传感器信息半自动标注方法，其特征在于，所述3D框信息包括目标中心点位置、物体长宽高、航向角和类别信息。
5.一种多传感器信息半自动标注系统，用于执行权利要求1至4中任一所述的多传感器信息半自动标注方法，其特征在于包括：
感知系统，用于获取感知数据；
数据中心，与所述感知系统通信连接，从所述感知系统获取感知数据并存储；
服务器Ⅰ，与所述数据中心通信连接，用于运行待训练模型；
服务器Ⅱ，与所述数据中心通信连接，用于运行伴生模型并计算损失值以及批次平均损失，并筛选出大于批次平均损失且大于预定阈值的损失值所对应的感知数据；
服务器Ⅲ，分别与所述服务器Ⅰ以及所述服务器Ⅱ通信连接，用于接收感知数据进行人工标注，并将感知数据以及人工标注结果发送至所述服务器Ⅰ以及所述服务器Ⅱ，以便所述服务器Ⅰ以及所述服务器Ⅱ对其运行的模型进行再训练。
6.根据权利要求5所述的一种多传感器信息半自动标注系统，其特征在于，所述感知系统包括摄像头以及激光雷达。
7.根据权利要求5所述的一种多传感器信息半自动标注系统，其特征在于，所述感知系统通过5G将感知数据上传至数据中心。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940701.3A CN113723616A (zh) | 2021-08-17 | 2021-08-17 | 一种多传感器信息半自动标注方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940701.3A CN113723616A (zh) | 2021-08-17 | 2021-08-17 | 一种多传感器信息半自动标注方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723616A true CN113723616A (zh) | 2021-11-30 |
Family
ID=78676033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110940701.3A Pending CN113723616A (zh) | 2021-08-17 | 2021-08-17 | 一种多传感器信息半自动标注方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723616A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754089A (zh) * | 2018-12-04 | 2019-05-14 | 浙江大华技术股份有限公司 | 一种模型训练系统及方法 |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
| CN111368903A (zh) * | 2020-02-28 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
| US20210142111A1 (en) * | 2019-04-16 | 2021-05-13 | One Connect Smart Technology Co., Ltd. | Method and device of establishing person image attribute model, computer device and storage medium |
| CN113139559A (zh) * | 2020-01-17 | 2021-07-20 | 初速度（苏州）科技有限公司 | 一种目标检测模型的训练方法、数据的标注方法和装置 |
-
2021
- 2021-08-17 CN CN202110940701.3A patent/CN113723616A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
| CN109754089A (zh) * | 2018-12-04 | 2019-05-14 | 浙江大华技术股份有限公司 | 一种模型训练系统及方法 |
| US20210142111A1 (en) * | 2019-04-16 | 2021-05-13 | One Connect Smart Technology Co., Ltd. | Method and device of establishing person image attribute model, computer device and storage medium |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| CN113139559A (zh) * | 2020-01-17 | 2021-07-20 | 初速度（苏州）科技有限公司 | 一种目标检测模型的训练方法、数据的标注方法和装置 |
| CN111368903A (zh) * | 2020-02-28 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108320329B (zh) | 一种基于3d激光的3d地图创建方法 | |
| US10074020B2 (en) | Vehicular lane line data processing method, apparatus, storage medium, and device | |
| CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
| CN108734120A (zh) | 标注图像的方法、装置、设备和计算机可读存储介质 | |
| US20210229280A1 (en) | Positioning method and device, path determination method and device, robot and storage medium | |
| WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
| CN109084786A (zh) | 一种地图数据的处理方法 | |
| CN110197106A (zh) | 物件标示系统及方法 | |
| CN109636842A (zh) | 车道线修正方法、装置、设备及存储介质 | |
| Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
| WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
| WO2023155580A1 (zh) | 一种对象识别方法和装置 | |
| CN113127666A (zh) | 一种连续帧数据的标注系统、方法和装置 | |
| US11941892B2 (en) | Method and device for providing data for creating a digital map | |
| CN113706633B (zh) | 一种目标对象的三维信息确定方法和装置 | |
| CN109389095B (zh) | 一种路面标线图像识别方法和训练方法 | |
| CN113723616A (zh) | 一种多传感器信息半自动标注方法、系统及存储介质 | |
| CN116895060A (zh) | 一种基于场景重建的三维车道线标注方法与装置 | |
| CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
| CN112445205A (zh) | 地面植保设备的控制方法、装置、设备和存储介质 | |
| CN114332228A (zh) | 数据处理方法、电子设备及计算机存储介质 | |
| CN113222025A (zh) | 一种基于激光雷达的可行区域标签生成方法 | |
| CN112766487A (zh) | 一种目标检测模型的更新方法及服务器 | |
| CN116295469B (zh) | 高精地图的生成方法、装置、设备及存储介质 | |
| CN117649665B (zh) | 矿区自动驾驶场景数据标注方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |