CN116665212A - 数据标注方法、装置、处理设备、存储介质 - Google Patents

数据标注方法、装置、处理设备、存储介质 Download PDF

Info

Publication number
CN116665212A
CN116665212A CN202310950693.XA CN202310950693A CN116665212A CN 116665212 A CN116665212 A CN 116665212A CN 202310950693 A CN202310950693 A CN 202310950693A CN 116665212 A CN116665212 A CN 116665212A
Authority
CN
China
Prior art keywords
labeling
data
point cloud
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310950693.XA
Other languages
English (en)
Other versions
CN116665212B (zh
Inventor
李海珠
林乾浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foss Hangzhou Intelligent Technology Co Ltd
Original Assignee
Foss Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foss Hangzhou Intelligent Technology Co Ltd filed Critical Foss Hangzhou Intelligent Technology Co Ltd
Priority to CN202310950693.XA priority Critical patent/CN116665212B/zh
Publication of CN116665212A publication Critical patent/CN116665212A/zh
Application granted granted Critical
Publication of CN116665212B publication Critical patent/CN116665212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种数据标注方法、装置、处理设备、存储介质。所述方法包括：获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据以及毫米波雷达点云数据；所述粗标注数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据；基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息；根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。采用本方法能够提高数据标注的效率和准确率。

Description

数据标注方法、装置、处理设备、存储介质
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种数据标注方法、装置、处理设备、存储介质。
背景技术
自动驾驶通常需要利用大量的标注数据进行仿真测试或实地测试，比如场景标注数据、事件标注数据等等，以保障自动驾驶的安全性。
相关技术中，一般可以将采集的数据通过数据标注模型处理后，由人工进行标注结果的修正。但是由于数据标注结果的输出主要依赖于数据标注模型，这样会导致数据标注结果的质量有一定的失真。在该情况下直接进入人工标注环节，成本较高且标注效率较低。
因此，相关技术中亟需一种高效率高准确度的数据标注方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高标注效率和准确度的数据标注方法、装置、处理设备、存储介质。
第一方面，本申请实施例提供一种数据标注方法，所述方法包括：获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据以及毫米波雷达点云数据；所述粗标注数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据；
基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息；
根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
本申请实施例提供的数据标注方法，可以对多传感器数据进行融合处理，以确定更加丰富的特征信息，得到融合特征信息。由于粗标注数据是激光点云数据或图像数据经过标注后的数据，因此可以将所述融合特征信息赋给所述粗标注数据，从而可以根据更加丰富的特征信息对粗标注数据的标注结果进行优化，以确定更加准确的目标标注结果，进一步提高数据标注精度。
可选的，在本申请的一个实施例中，所述融合特征信息包括所述激光点云数据中各激光点云的运动特征信息、所述激光点云数据的语义分割结果；所述根据所述运动特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果，包括：
根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果；所述参考目标的标识信息与预设标识信息相匹配；
根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果；所述静态环境目标的运动特征信息小于预设阈值；
基于所述第一目标标注结果和所述第二目标标注结果，确定目标标注结果。
可选的，在本申请的一个实施例中，所述激光点云数据中各激光点云的运动特征信息按照下述方式确定：
将所述融合特征信息添加至所述激光点云数据，以确定所述激光点云数据中各激光点云的运动特征信息。
可选的，在本申请的一个实施例中，所述粗标注数据包括多帧标注帧，所述标注帧与所述激光点云数据的点云帧相对应，所述标注帧包括参考目标的标注框，所述标注框包括多个标注点；所述根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果，包括：
根据所述点云帧中包含的各激光点云的运动特征信息，确定对应的标注帧中各标注点的运动特征信息；所述标注点与所述激光点云的位置信息相同；
分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息；
根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果。
可选的，在本申请的一个实施例中，所述根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果，包括：
根据所述轮廓信息，更新所述多帧标注帧中标注框的大小以确定第一中间标注结果；
根据点云形态以及所述运动特征信息，更新所述第一中间标注结果中各标注框的位置以及方向，以确定所述第一目标标注结果；所述点云形态为所述第一中间标注结果中各标注框所包含的标注点构成的形态。
可选的，在本申请的一个实施例中，所述分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息，包括：
根据所述参考目标在标注帧对应的标注点的运动特征信息，确定车身坐标系和物体坐标系的转换关系；
基于所述转换关系，确定各所述标注点在物体坐标系的位置信息；
根据所述位置信息，对各所述标注点进行拼接以确定所述参考目标在标注帧对应的子轮廓；
对所述参考目标在连续多帧标注帧的子轮廓进行拼接，得到所述参考目标的轮廓信息。
可选的，在本申请的一个实施例中，所述基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息，包括：
对所述激光点云数据与所述图像数据进行融合语义分割，并对分割后的激光点云进行聚类，得到聚类后的目标点云簇；
对所述目标点云簇进行目标跟踪，确定对应的目标点云的初始运动特征信息；
利用所述毫米波雷达点云数据对所述初始运动特征信息进行修正，以确定所述运动特征信息；
基于所述语义分割结果、所述运动特征信息，构建所述融合特征信息。
可选的，在本申请的一个实施例中，所述根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果，包括：
基于所述激光点云数据的语义分割结果对所述粗标注数据中静态环境目标对应的第二标注结果进行修正，确定第二中间标注结果；
根据所述第二中间标注结果，构建对应的静态环境场景图；
确定所述静态环境场景图中的静态环境目标的特征信息；
根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果。
可选的，在本申请的一个实施例中，所述根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果，包括：
根据所述静态环境目标的特征信息，确定各类静态环境目标的属性信息；
根据第一静态环境目标对应的第一属性信息，确定相匹配的第一拟合优化方法；
基于所述第一拟合优化方法对所述第一静态环境目标对应的标注结果进行优化，确定第二目标标注结果。
第二方面，本申请的实施例一种数据标注装置，所述装置包括：
获取模块，用于获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据、毫米波雷达点云数据；所述粗标注数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据；
融合特征信息确定模块，用于基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述激光点云数据的融合特征信息；
标注结果优化模块，用于根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
第三方面，本申请的实施例提供了一种处理设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要上述各个实施例所述的方法的步骤。
第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个实施例所述的方法的步骤。
附图说明
图1为本申请一个实施例提供的应用场景图；
图2为本申请另一个实施例提供的应用场景图；
图3为本申请另一个实施例提供的应用场景图；
图4为本申请一个实施例提供的数据标注方法的方法流程图；
图5为本申请一个实施例提供的点云标注结果示意图；
图6为本申请一个实施例提供的标注结果优化示意图；
图7为本申请一个实施例提供的两种坐标系示意图；
图8为本申请另一个实施例提供的标注结果优化示意图；
图9为本申请一个实施例提供的数据标注装置的模块结构示意图；
图10是本申请实施例提供的处理设备的模块结构示意图；
图11是本申请实施例提供的计算机程序产品的概念性局部视图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的装置、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
为了清楚地示出本申请各个实施例的技术方案，下面通过图1对本申请实施例的其中一个示例性场景进行说明。
图1是本申请实施例提供的一种数据标注系统的结构示意图，该系统包括采集装置101、预标注装置103、数据标注装置105。采集装置101可以包括多种传感器模块，所述传感器模块例如可以包括但不限于雷达传感器、视觉传感器、红外传感器、超声波传感器、全球导航卫星系统（Global Navigation Satellite System，GNSS）、惯性测量单元（InertialMeasurementUnit，IMU）。其中，所述雷达传感器可以是毫米波雷达或者激光雷达。所述视觉传感器可以是摄像头或者摄像机。例如，所述摄像头可以为单目摄像头、多目摄像头、深度摄像头等等。所述激光雷达主要用于采集点云数据，因为所述激光雷达可以精确地反应出位置信息，所以通过所述激光雷达可以获取路面的宽度、信号灯的高度以及一些其他信息；所述摄像头主要用于采集路面的标识、车道线、建筑物等信息；所述GNSS主要用于记录当前采集点的坐标；所述IMU主要用于记录采集车辆的角度和加速度信息，用于校正采集车辆的位置和角度。所述毫米波雷达可以为工作在毫米波（Millimeter wave，频率30~300GHz，波长1-10mm）波段的雷达。在实际的应用中，由于所述激光雷达和所述摄像头都使用了光波段的电磁波，这个波段的电磁波有一个特点就是透射和绕射性能都不好，因此一旦有遮挡就很难使用。因此，在雨天、雾天等场合下，可以利用毫米波雷达采集数据以弥补该场合造成的数据采集的缺失问题，因为毫米波波段的电磁波不会受到雨、雾、灰尘等常见的环境因素影响。可以理解的是，多个传感器的地理位置相同或者采集视野相同。
所述采集装置101与所述预标注装置103可以通过网络进行通信，以将采集得到的多传感器数据如激光点云数据、图像数据等发送至所述预标注装置103，由所述预标注装置103完成多传感器数据的预标注工作，例如可以对所述激光点云数据或者所述图像数据进行标注，确定对应的粗标注数据。可以理解的是，所述采集装置101、所述预标注装置103可以通过网络分别与所述数据标注装置105进行通信，以将采集得到的多传感器数据以及预标注得到的粗标注数据发送至所述数据标注装置105，由所述数据标注装置105根据多传感器提供的额外信息对粗标注数据进行进一步的标注即精标注，以获得更加准确的标注结果。也就是说，精标注数据比所述粗标注数据的标注精度更高，标注结果更准确。
所述采集装置101可以是具有数据采集能力和数据收发能力的电子设备。例如，如图2所示，所述采集装置101可以部署于运动载体200中，所述运动载体200可以为自动驾驶车辆，所述自动驾驶车辆可以是无人驾驶车辆，也可以是辅助驾驶车辆。所述预标注装置103以及所述数据标注装置105可以部署于运动载体200中，例如所述预标注装置103以及所述数据标注装置105可以设置于所述运动载体200的域控制器（Domain Control Unit，DCU）中，由所述域控制器完成数据预标注和数据精标注的工作。
如图3所示，所述采集装置101还可以是安装于路口处的路侧单元，路侧单元可以获取覆盖区域内的路口信息，以及监控覆盖区域内的多个自动驾驶车辆。路侧单元可以采集到路口的周围环境信息，也即路侧单元可以随时监控路口内的动态。需要说明的是，可以由一个路侧单元来获取路口信息，也可以由多个路侧单元协作配合来获取路口信息，以达到可以获取到与路口连接的所有道路的信息。其中，路侧单元可以是由高增益定向束控读写天线和射频控制器组成。高增益定向束控读写天线是一个微波收发模块，负责信号和数据的发送/接收、调制/解调、编码/解码、加密/解密；射频控制器是控制发射和接收数据以及处理向上位机收发信息的模块。
需要说明的是，所述预标注装置103可以包括自动标注模型，所述自动标注模型可以包括利用机器学习方式训练得到的模型。所述机器学习方式可以包括深度学习方式，所述模型可以包括卷积神经网络模型（Convolutional Neural Networks，CNN）、残差网络（ResNet）模型、循环神经网络（Recurrent Neural Network，RNN）等等，本申请在此不做限制。所述数据标注装置105可以是具有数据处理能力和数据收发能力的电子设备，可以是实体设备如主机、机架式服务器、刀片式服务器等，也可以是虚拟设备如虚拟机、容器等。
下面结合附图对本申请所述的数据标注方法进行详细的说明。图4是本申请提供的数据标注方法的一种实施例的流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据标注过程中或者方法执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。
具体的，本申请提供的数据标注方法的一种实施例如图4所示，所述方法可以包括：
S401：获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据、毫米波雷达点云数据；所述初始标注点云数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据。
本申请实施例中，可以利用上述采集装置101获取所述多传感器数据，所述多传感器数据可以包括不同传感器所采集的不同类型的数据。例如，在传感器为激光雷达的情况下，所采集的数据为激光点云数据；在传感器为毫米波雷达的情况下，所采集的数据为毫米波雷达点云数据；在传感器为视觉传感器的情况下，所采集的数据为图像数据；而在所述传感器为IMU传感器的情况下，所采集的数据为IMU数据。需要说明的是，不同类型的数据可以是针对同一环境所采集的数据，所述环境可以为自动驾驶车辆周围的环境，所述环境中的物体可以包括相对参考坐标系静止的目标对象，如建筑物、车道线、交通设施等，也可以包括相对所述参考坐标系运动的目标对象，如其他车辆、行人等。在本申请的一个实施例中，所述采集装置101中的各个传感器可以在采集数据的过程中，以固定频率或者非固定频率对周围环境的对象进行信息捕捉，在此基础上所述多传感器数据可以包括连续多帧数据，例如所述激光点云数据可以包括连续多帧点云，所述图像数据可以包括连续多帧图像。
本申请实施例中，所述粗标注数据可以是采集的所述激光点云数据经过上述预标注装置103进行标注处理得到的标注数据。当然，也可以是采集的图像数据经过所述预标注装置103进行标注处理后得到的标注数据。所述粗标注数据中可以利用标注框标注出周围环境中各目标对象所在的位置以及大小。例如，在一个示例中，如图5所示，图中标注出了各个车辆的位置大小以及标识信息。所述标识信息可以用于确定目标对象的类别信息。在本申请的一个实施例中，在粗标注数据为三维数据的情况下，所述标注框可以是三维框。所述粗标注数据不仅可以包括标注框的位置信息以及标注框的标签信息，还可以包括各个标注点的位置信息、反射强度信息等等。可以理解的是，所述粗标注数据与所述激光点云数据中所包含的点云数据以及所述图像数据中所包含的像素数据的信息是相同的，即所述粗标注数据与所述激光点云数据相比，额外增加了标注信息，其他信息可以保持一致。
S403：基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述激光点云数据的融合特征信息。
本申请实施例中，为了对粗标注数据进行更近一步高精度的标注，可以获取更加丰富的多维度信息，以对粗标注数据的标注结果进行优化。在本申请的一个实施例中，可以分别对所述激光点云数据、所述毫米波雷达数据、所述图像数据、所述IMU数据等多种传感器数据进行特征提取，以确定各种传感器数据所对应的特征信息。之后，可以对各种传感器的特征信息进行特征融合处理，得到融合特征信息。所述融合特征信息可以包括多种维度下的特征信息。由于粗标注数据是由激光点云数据或者图像数据经过自动标注模型得到的标注数据，而各种类型的传感器数据均是针对同一环境采用同一帧率采集的数据，因此，激光点云数据与所述粗标注数据实质上是对应的，例如激光点云数据和粗标注数据包含的帧数相同，各帧中的数据点的位置也是相同的。基于此，在本申请的一个实施例中，可以将确定的融合特征信息赋予所述激光点云数据，以利用包含更多信息的激光点云数据对应优化粗标注数据的标注结果。在此基础上，所述激光点云数据不仅包括各个点云数据点的位置信息，还可以包括其他传感器数据所提供的信息如速度信息、角度信息等等。在本申请的一个实施例中，所述融合特征信息可以包括所述激光点云数据中各个激光点云的运动特征信息、所述激光点云数据的语义分割结果、各激光点云的位置信息等等。所述运动特征信息可以包括各激光点云的速度、加速度、角度等，所述角度可以包括激光点云相对于激光雷达的方位角、俯仰角等。所述激光点云数据的语义分割结果可以包括各激光点云的类别信息。在这个过程中，还可以对所述激光点云数据进行进一步处理，例如可以对所述激光点云数据进行语义分割，确定各个点云数据的类别；还可以对所述激光点云数据进行聚类，确定聚类得到的各个目标点云簇等；当然，还可以各个目标对象在连续多帧点云帧中的位置信息确定目标对象对应的速度信息。这样，相比于仅利用激光点云数据确定激光点云相关信息来说，利用多种传感器融合得到的特征信息确定的激光点云相关信息更加准确。
具体来说，在本申请的一个实施例中，所述基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息，可以包括：
S501：对所述激光点云数据与所述图像数据进行融合语义分割，并对分割后的激光点云进行聚类，得到聚类后的目标点云簇；
S503：对所述目标点云簇进行目标跟踪，确定对应的目标点云的初始运动特征信息；
S505：利用所述毫米波雷达点云数据对所述初始运动特征信息进行修正，以确定所述运动特征信息；
S507：基于所述语义分割结果、所述运动特征信息，构建所述融合特征信息。
本申请实施例中，在对所述激光点云数据进行处理前，可以对所述激光点云数据进行预处理，以提高处理效率。例如，在本申请的一个实施例中，可以利用滤波器对所述激光点云数据进行滤波，以去除点云数据中的孤立点、散列点等等。其中，所述滤波器例如可以包括直通滤波器、统计滤波器、高斯滤波器等等。在本申请的一个实施例中，可以利用语义分割模型对所述激光点云数据进行语义分割，以检测每个点云数据所属的对象类别，并将同一类的多个对象视为单个目标对象。所述语义分割结果可以包括各个激光点云的类别信息，所述类别信息例如可以包括地面、建筑物、绿植、公交车、汽车、货车等等。所述语义分割模型可以包括PointNet、PointNet++、RandLA-Net、VoxelNet等等。当然，在本申请的另一个实施例中，还可以利用语义分割、实例分割、全景分割等方式确定所述图像数据的语义信息，根据所述语义信息对所述激光点云数据进行语义分割。例如，可以根据所述图像数据中的原始信息确定所述图像数据的语义信息。所述原始信息可以包括所述图像数据中像素对应的类别信息以及颜色值。在对所述激光点云数据进行语义分割后，可以对分割后的激光点云数据进行聚类分析。为了提高聚类准确性，可以在聚类前对所述分割后的激光点云数据进行处理，例如可以索引出地面点云并通过多次曲面拟合算法及设定的阈值修正地面点云。为了修正边缘效率，确定更为准确的地面点云数据，可以通过搜索算法对非地面点云进行处理，以修正语义分割结果引起的边缘效应。所述搜索算法可以包括k近邻法(k-NearestNeighbor，kNN)算法、最近邻搜索（Nearest Neighbor Search，NNS）算法等。在本申请的一个实施例中，在确定地面点云后，可以对激光点云数据中的非地面点云进行聚类，以确定各个目标点云簇。在确定各个目标点云簇后，可以对点云簇内分类结果及邻域搜索结果进行逻辑判断，进一步修正聚类结果。最后，可以对各个目标点云簇进行目标跟踪，以确定各个目标点云的初始运动特征信息如速度、加速度、方向等。在实际的应用中，所述激光点云数据所包含的数据可能会因为天气原因或者其他突发状况并不完全，为了使得确定的各个目标点云的运动特征信息更加准确，可以基于毫米波雷达点云数据补全数据，并对初始运动特征信息进行修正。具体来说，可以基于标定参数对所述激光点云数据和所述毫米波雷达点云数据进行融合分析，以修正初始运动特征信息，确定更为准确的运动特征信息。也就是说，所述融合特征信息可以包括各激光点云的运动特征信息、各激光点云的类别信息、各激光点云的位置信息等等。在此基础上，所述融合特征信息可以在一定程度上体现多传感数据的时序信息，因为所述融合特征信息包括各目标对象的运动特征信息，而运动特征信息为目标对象在多个连续帧中的位置变化信息，因此所述运动特征信息本质上是时序信息另一种形式的表达方式。
S405：根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
本申请实施例中，由于所述融合特征信息包含了更加丰富完善且更加准确的信息，另外由上述分析可知，粗标注数据与所述多传感器数据中的激光点云数据或者图像数据本质是相对应的，即粗标注数据和激光点云数据两者所包含的各点云数据的数量以及位置是相同的，因此可以根据所述激光点云数据与所述粗标注数据的对应关系，将所述融合特征信息赋予所述粗标注数据，以对所述粗标注数据的标注结果进行优化，确定目标标注结果。具体来说，可以根据所述融合特征信息调整所述粗标注数据中标注框的大小、方向以及位置。例如，在一个实施例中，可以将添加融合特征信息后的粗标注数据输入至标注模型，由标注模型根据融合特征信息对粗标注数据的标注结果进行优化，以确定目标标注结果。
本申请实施例提供的数据标注方法，可以对多传感器数据进行融合处理，以确定更加丰富的特征信息，得到融合特征信息。由于粗标注数据是激光点云数据或图像数据经过标注后的数据，因此可以将所述融合特征信息赋给所述粗标注数据，从而可以根据更加丰富的特征信息对粗标注数据的标注结果进行优化，以确定更加准确的目标标注结果，进一步提高数据标注效率。
在实际的应用中，由于激光点云数据或图像数据既可以包括静态环境目标又可以包括运动目标，在进行数据标注时一般是通过同一模型对静态环境目标和运动目标同时进行标注，这样会导致标注结果并不准确。基于此，在对粗标注数据的标注结果进行优化时，可以分别对静态环境目标的标注结果以及运动目标的标注结果分别进行优化，从而可以同时提高两者的标注结果的准确性。具体来说，在本申请的一个实施例中，所述融合特征信息包括所述激光点云数据中各激光点云的运动特征信息、所述激光点云数据的语义分割结果；所述根据所述运动特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果，可以包括：
S601：根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果；所述参考目标的标识信息与预设标识信息相匹配；
S603：根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果；所述静态环境目标的运动特征信息小于预设阈值；
S605：基于所述第一目标标注结果和所述第二目标标注结果，确定目标标注结果。
本申请实施例中，可以将融合特征信息添加至所述激光点云数据中，与所述激光点云数据中的原始信息相结合，确定所述激光点云数据中各点云的融合特征信息。由于粗标注数据中的各标注点与激光点云数据中的激光点云是相对应的，因此可以将各激光点云的融合特征信息赋给各标注点。这样各标注点的信息不仅可以包括位置信息，还可以包括运动特征信息如速度、加速度等。基于此，可以根据所述标注点的运动特征信息以及标注点的标识信息，对粗标注数据中的各标注点进行分类。所述标注点可以为标注点云、标注像素等。例如，在本申请的一个实施例中，可以将标识信息与预设标识信息相匹配的标注点作为参考目标的标注点，并将属于参考目标的标注点划为一类作为参考目标对应的标注数据。其中，所述预设标识信息可以由用户根据实际的应用需求设定，例如预设标识信息可以包括车辆、交通标识物、行人等。所述相匹配可以包括标注点对应的标识信息与所述预设标识信息相同，或者处于所述预设标识信息范围内。例如，在标注点对应的标识信息为车辆的情况下，可以利用运动特征信息对所述标注点对应的标注结果进行回归优化。在本申请的另一个实施例中，还可以将运动特征信息小于预设阈值的标注点作为静态环境目标的标注点，并将属于静态环境目标的标注点划为一类作为静态环境目标的对应的标注数据。其中，所述静态环境目标即为相对参考坐标系静止的目标对象，如建筑物、车道线、交通标识信息、绿植等，所述参考目标即为相对所述参考坐标系可能运动的目标对象，如其他车辆如货车、公交车、私家车以及行人、交通标识物等。在本申请的一个实施例中，所述预设阈值可以由用户根据标注需求以及自动驾驶车辆所处的环境进行设定。例如，在所述自动驾驶车辆所处的环境为热闹的市区时，可以设置较小的预设阈值，以避免将属于参考目标的标注点判定为属于静态环境目标的标注点。所述预设阈值的类型可以根据所述运动特征信息的类型确定。例如，在所述运动特征信息为加速度的情况下，所述预设阈值也可以设定为加速度阈值；而在所述运动特征信息为速度的情况下，所述预设阈值也可以设定为速度阈值。
本申请实施例中，在确定所述参考目标和所述静态环境目标后，可以分别对所述参考目标和所述静态环境目标采取不同的优化方法进行优化，从而得到更加准确的标注结果。具体来说，可以根据所述运动特征信息对所述参考目标对应的第一标注结果进行回归优化，调整各个参考目标所对应的标注框的大小和位置，以确定第一目标标注结果。在本申请的一个实施例中，可以将所述运动特征信息输入至回归网络，由所述回归网络进行回归处理，调整各个参考目标对应的标注框的大小以及类别信息。所述回归网络可以包括softmax回归网络，所述softmax回归网络可以包括softmax单层神经网络、softmax全连接网络等。当然，在本申请的一个实施例中，还可以利用时序优化网络对所述第一标注结果进行进一步优化，例如可以利用所述时序优化网络调整所述参考目标所对应的标注框的位置、方位角等，使得标注框紧紧贴近标注数据点，从而可以确定更加准确且更加符合用户需求的第一目标标注结果。在本申请的一个实施例中，可以将附带有运动特征信息的粗标注数据直接输入至所述回归网络，由所述回归网络输出更新后的标注框以及对应的类别信息。当然，在本申请的其他实施例中，也可以根据运动特征信息对粗标注数据进行处理，将处理后的粗标注数据输入至所述回归网络，由所述回归网络输出更新后的标注框以及对应的类别信息，本申请在此对于第一标注结果回归优化的方式不做限制。
在实际的应用中，由于各种因素如自动标注模型的训练强度不够可能导致静态环境目标的标注结果并不准确。例如，将不属于车道线的点云标注为车道线点云，或者将一个车道线的点云标注为另一个车道线的点云。由于激光点云数据的语义分割结果也包含激光点云的类别信息，因此，在本申请的一个实施例中，可以根据所述激光点云数据的语义分割结果对所述粗标注数据中静态环境目标对应的第二标注结果进行更新优化，确定第二目标标注结果。例如，可以根据激光点云的类别信息，检验相同位置的标注点云的标注结果是否准确，在不准确的情况下，根据所述类别信息更新所述标注结果，以此确定更加准确的第二目标标注结果。
通过上述实施例，可以根据激光点云的运动特征信息，确定对应位置处的标注点云属于参考目标还是属于静态环境目标，之后可以对所述参考目标和所述静态环境目标采用不同的标注优化方法对第一标注结果和第二标注结果进行分别优化，以确定更加准确的第一目标标注结果和第二目标标注结果。最后，基于所述第一目标标注结果和所述第二目标标注结果即可确定目标标注结果。
在实际的应用中，标注框可以反应参考目标的大小，即标注框的长宽高一般可以反应参考目标的长宽高。在此基础上，可以根据参考目标的轮廓信息调整标注框的大小，这样调整得到的标注框一定是紧紧贴合参考目标对应的数据点，即通过上述方式得到的标注框的大小更加准确。具体来说，所述第一粗标注数据可以包括多帧标注帧，所述标注帧与所述激光点云数据的点云帧相对应，所述标注帧包括参考目标的标注框，所述标注框包括多个标注点；所述根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果，可以包括：
S701：根据点云帧中包含的激光点云的运动特征信息，确定对应的标注帧中标注点云的运动特征信息；所述标注点与所述激光点云的位置信息相同；
S703：分别根据同一参考目标在所述多帧标注帧所对应的标注点云的运动特征信息，拼接得到所述参考目标的轮廓信息；
S705：根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以确定第一目标标注结果。
本申请实施例中，所述激光点云数据可以包括连续多帧点云帧。在本申请的一个实施例中，在所述粗标注数据是所述激光点云数据经过标注后的标注数据的情况下，所述粗标注数据与所述激光点云数据所包含的点云帧的数量相同，各帧所包含的点云数据也相同，不同的仅是所述粗标注数据中的各标注点所对应的参考目标标注了标注框以及类别信息。即所述激光点云数据包括n帧点云帧，所述粗标注数据也包括n帧标注帧。标注帧和点云帧是一一对应的。在此基础上，粗标注数据的标注帧中属于参考目标的标注点的运动特征信息可以根据对应的点云帧中相同位置的激光点云的运动特征信息确定。例如，标注帧1属于参考目标的标注点A位置为（20,30,40），标注点A对应的激光点云A可以为点云帧中处于（20,30,40）处的激光点云。之后，可以将激光点云A的运动特征信息赋给标注点A。在本申请的一个实施例中，可以按照上述确定标注点的运动特征信息的方法，依次确定所述粗标注数据中每一帧标注帧中同一参考目标所对应的标注点的运动特征信息。例如，参考目标A在标注帧1、标注帧2、标注帧3分别对应的标注框为标注框1、标注框2、标注框3等，标注框1中所包含的标注点云均为参考目标A在标注帧1所对应的标注点。可以理解的是，在确定参考目标所对应的标注点后，可以使用所述IMU数据对所述标注点进行特征处理，例如可以对所述标注点进行去畸变及运动补偿，以完成对粗标注数据的修正。
本申请实施例中，在确定参考目标在各帧标注帧对应的标注点的运动特征信息后，可以结合该标注点云的位置信息拼接得到所述参考目标的轮廓信息。所述轮廓信息可以清晰且准确地反应所述参考目标的大小。之后，可以根据所述轮廓信息调整所述参考目标在各帧标注帧中的标注框，以确定第一目标标注结果。例如，在一个示例中，如图6所示，粗标注数据601根据轮廓信息调整标注结果后，得到的标注数据603。各标注帧中的标注框的大小均与参考目标的轮廓信息相匹配。在本申请的一个实施例中，在确定所述轮廓信息后，可以利用回归网络对第一标注结果进行优化。可以理解的是，在调整各个所述参考目标在各帧标注帧中的标注框后，可以将调整结果更新至标注结果中，以得到第一目标标注结果。
通过上述实施例，可以根据激光点云数据的运动特征信息确定参考目标对应的标注点云的运动特征信息，根据运动特征信息即可还原得到参考目标的整体轮廓，这样将整体轮廓作为调整依据对参考目标在各帧标注中对应的标注框进行调整，得到的调整结果更加准确，即确定的第一目标标注结果相对于所述粗标注数据的标注结果更加准确，更加符合实际需求。
在实际的应用中，由于参考目标的位置信息是不断变化的，且一般的变化速度都不是匀速的，这样参考目标在各帧标注帧中的速度也是各不相同的，因此，在对标注点云进行拼接时，需要考虑到各标注点云的运动特征信息。另外，在拼接过程中，还需要各标注点云在物体坐标系下的位置信息。基于此，在本申请的一个实施例中，所述分别根据同一参考目标在所述多帧标注帧所对应的标注点云的运动特征信息，拼接得到所述参考目标的轮廓信息，可以包括：
S801：根据所述参考目标在标注帧对应的标注点云的运动特征信息以及所述第一目标标注结果，确定车身坐标系和物体坐标系的转换关系；
S803：基于所述转换关系，确定各所述标注点云在物体坐标系的位置信息；
S805：根据所述位置信息，对各所述标注点云进行拼接以确定所述参考目标在标注帧对应的子轮廓；
S807：对所述参考目标在连续多帧标注帧的子轮廓进行拼接，得到所述参考目标的轮廓信息。
本申请实施例中，在确定所述参考目标在各帧标注帧的标注框中所包含的标注点后，可以基于标注帧中标注点的速度或者加速度以及IMU数据参数确定标注帧中车身坐标系与物体坐标系的转换关系。例如，在一个示例中，如图7所示，x-o-y为物体坐标系，为采集装置101如采集车辆的横摆角，X-O-Y为车身坐标系，所述vx、vy为参考目标在物体坐标系下运动速度的横纵坐标，所述vX、vY为参考目标在车身坐标系下运动速度的横纵坐标，则所述车身坐标系和物体坐标系的转换关系可以为：
。在本申请的一个实施例中，在确定所述转化关系后，可以确定各所述标注点云在物体坐标系的位置信息，将多帧物体坐标系下的目标点云拼接，得到目标更为完整的信息。可以按照所述位置信息的排列顺序，依次拼接标注帧的标注点，确定参考目标的子轮廓。之后可以按照标注帧的顺序依次拼接各个子轮廓，以得到参考目标所对应的轮廓信息。
在实际的应用中，一般对标注框的大小调整过后，标注框与标注点的贴合情况会发生改变，即标注框所包含的标注点不能准确地反映出参考目标的形态以及位姿。所述位姿包括所述参考目标的位置和朝向角等。基于此，在本申请的一个实施例中，在调整标注框的大小后，还可以适应性调整标注框的位置，使得标注框所包含的标注点更加准确。具体来说，所述根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以确定第一目标标注结果，可以包括：
S901：根据所述轮廓信息，更新所述多帧标注帧中标注框的大小以确定第一中间标注结果；
S903：根据点云形态以及所述运动特征信息，更新所述第一中间标注结果中各标注框的位置以确定所述第一目标标注结果；所述点云形态为第一中间标注结果中各标注框所包含的标注点构成的形态。
本申请实施例中，在调整所述参考目标在各帧标注帧中对应的标注框的大小后，还可以对所述标注框的位置进行进一步优化，以确定最终准确的第一目标标注结果。具体来说，可以将所述轮廓信息进行拆分得到拆分后的多帧标注帧，之后可以将拆分后的多帧标注帧中所包含的标注点从物体坐标系转到车身坐标系下，以确定第一中间标注结果。可以理解的是，在确定第一中间标注结果后，得到的是粗标注数据经过一次优化后的第一中间标注数据。即第一中间标注数据各帧标注帧所包含的标注点是通过调整标注框大小去噪后的标注点。在本申请的一个实施例中，可以根据第一中间标注结果中各标注帧标注框中所包含的标注点确定点云形态，所述点云形态可以用于表征所述参考目标的形态。之后，可以根据点云形态以及所述运动特征信息，更新所述第一中间标注结果中各标注框的位置。例如，在一个示例中，参考目标S在所述第一中间标注数据的标注帧8中，标注框8所包含的点云形态左边相对右边更加密集，则可以将该标注框8往左移动，直至该标注框8可以包含大部分标注点。在另一个示例中，还可以将标注框8按照参考目标S的运动方向进行位置调整。可以理解的是，在对所述第一中间标注数据进行标注框位置优化后，可以确定第一目标标注结果。在一些示例中，如图8所示，标注数据603（第一中间点云数据）根据点云形态以及所述运动特征信息调整标注框的位置后，可以得到最终的标注数据605。
需要说明的是，在本申请的另一个实施例中，还可以将所述第一中间标注数据输入至时序优化网络，由所述时序优化网络输出最终的标注结果即第一目标标注结果。
通过上述实施例，可以通过运动特征信息从两个维度即位置和大小调整粗标注数据中参考目标对应的第一标注结果，从而使得确定的第一目标标注结果更加准确。
进一步地，在本申请的一个实施例中，可以基于激光建图的构思对静态环境目标对应的第二标注结果进行优化，以确定第二目标标注结果。具体来说，所述根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果，可以包括：
S1001：基于所述激光点云数据的语义分割结果对所述粗标注数据中静态环境目标对应的的第二标注结果进行修正，确定第二中间标注结果；
S1003：根据所述第二中间目标标注结果，构建对应的静态环境场景图；
S1005：确定所述静态环境场景图中的静态环境的特征信息；
S1007：根据所述静态环境的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果。
本申请实施例中，在利用语义分割修正第二标注结果后，可以确定第二中间标注结果，以及对应的第二中间标注数据。可以理解的是，所述第二标注结果和第二中间标注结果可以只包含静态环境目标对应的标注点云。在本申请的一个实施例中，可以在对第二中间标注数据进行特征提取，以确定均匀分布的标注点云。例如，在一个示例中，可以提取出三类特征点，分别为边缘特征点、平面特征点和不规则特征点。具体来说，可以将每条扫描线上的大区率点和孤立点提取作为边缘特征点；利用主成分分析法区分平面特征点和不规则特征点，对于不同的距离，特征提取使用不同的阈值，使特征点在空间分布尽可能均匀。在对所述第二中间标注数据进行处理后，可以基于所述第二中间标注点云数据构建静态环境场景图。例如，在一个示例中，可以首先利用所述IMU数据对所述激光点云数据进行去畸变补偿，并通过配准特征获取激光里程信息；之后可以建立因子图，通过多传感器融合优化算法，优化雷达里程计因子，IMU预积分因子，GNSS/RTK因子，获取采集车辆的全局一致位姿；最后可以通过多传感器优化算法，构建静态环境场景图。在本申请的一个实施例中，在确定所述静态环境场景图后，可以对所述静态环境场景图进行特征提取，确定不同标注点云的特征信息。之后，可以根据所述静态环境中各标注点云的特征信息，对所述标注点云进行分类，将特征信息相同的标注点云分为一类以确定静态环境目标所包含的标注点云。即所述静态环境目标的特征信息包括其中各个标注点云的特征信息。例如，可以通过聚类算法对标注点云进行分类，确定不同类别的点云簇以确定不同静态环境目标所包含的标注点云。最后可以根据所述静态环境目标的特征信息修正第二中间标注结果。例如，在一个示例中，聚类得到的点云簇1中包含1000个点云，其中990个点云的标签信息均为car，而其他剩余10个点云的标签信息不是car。在此情况下，需要根据标注点云的特征信息修正其他剩余10个点云的标签信息。具体的，在其他剩余10个点云中的点云与990个点云的距离满足预设要求，则将该点云的标签信息修改为car；若不满足预设要求，则将该该点云标为unknow。通过上述方式，即可通过所述静态环境的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果。
进一步地，在本申请的一个实施例中，所述根据所述静态环境的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果，可以包括：
S1101：根据所述静态环境目标的特征信息，确定各类静态环境目标的属性信息；
S1103：根据第一静态环境目标对应的第一属性信息，确定相匹配的第一拟合优化方法；
S1105：基于所述第一拟合优化方法对所述第一静态环境目标对应的标注结果进行优化，确定第二目标标注结果。
本申请实施例中，在利用静态环境的特征信息修正各标注点云的标签值后，还可以对标注结果进行进一步的优化。例如，可以对静态环境目标所包含的标注点云即属于同一类点云簇的标注点云进行拟合优化，得到对应的静态环境目标的整体信息，之后即可根据整体信息优化标注结果。在实际的应用中，由于不同类型的静态环境目标的特征不同，那么得到不同静态环境目标整体信息的拟合方式也不同。基于此，在本申请的一个实施例中，可以先根据静态环境目标的属性信息确定对应的拟合优化方法。具体的，可以根据属性信息与拟合优化方法的预设关联关系，确定所述第一属性信息对应的第一拟合优化算法。其中，所述预设关联关系可以根据理论基础以及用户的常规经验设定。例如所述车道线属性信息对应的拟合优化方法为多项式拟合优化；而所述建筑物属性信息对应的拟合优化方法为线性拟合。具体来说，在一个示例中，以点云簇为车道线点云簇为例，其对应的属性信息为车道线属性信息。之后，可以对车道线点云簇中所包含的多个标注点云进行分段多项式拟合优化，得到完整的车道线信息。在本申请的一个实施例中，在确定完整的车道线信息后可以对所述第一静态环境目标对应的标注结果进行优化，确定第二目标标注结果。例如，可以将不属于车道线的标注点云剔除，或者将属于车道线的标注点云的标签信息改为车道线。
可以说明的是，在确定车道线的整体信息后，还可以根据激光点云数据的采集频率，将车道线进行拆分以对应到各帧标注帧中，从而可以在各帧标注帧中构建车道线数据。
需要说明的是，在本申请的一个实施例中，在利用上述各个实施例所述的数据标注方法对粗标注数据进行精标注后，还可以对目标标注结果进行人工修正。例如用户可以对目标标注结果中存在漏标、错标或轨迹存在问题的地方，借助于标注工具进行3D目标属性修正以及道路数据的修正，提升标注数据精度。例如用户可以将目标标注结果加载到标注软件后，用一个大致的三维框来包围住目标，把框和包围着的点云投影到三个投影面，根据投影面二维框包围点云情况，微调三维框的大小、方向和位置，使投影面二维框紧紧贴近点云，再根据目标的头尾朝向确定航向角的方向。当然，在本申请的一个实施例中，在进行人工修正后还可以进行人工质检，例如可以审查并修正标注数据中的问题，确认每帧数据符合数据要求，进一步提升标注数据精度，形成最终高精度的精标注数据。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据标注方法的数据标注装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据标注装置实施例中的具体限定可以参见上文中对于数据标注方法的限定，在此不再赘述。
具体的，在本申请的一个实施例中，如图9所示，所述数据标注装置105可以包括：
获取模块1051，用于获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、毫米波雷达点云数据；所述粗标注数据为所述激光点云数据经过自动标注模型得到的标注数据；
融合特征信息确定模块1053，用于基于所述激光点云数据以及所述毫米波雷达点云数据，确定所述激光点云数据的融合特征信息；
标注结果优化模块1055，用于根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
可选的，在本申请的一个实施例中，所述融合特征信息包括所述激光点云数据中各激光点云的运动特征信息、所述激光点云数据的语义分割结果；所述根据所述运动特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果，包括：
根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果；所述参考目标的标识信息与预设标识信息相匹配；
根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果；所述静态环境目标的运动特征信息小于预设阈值；
基于所述第一目标标注结果和所述第二目标标注结果，确定目标标注结果。
可选的，在本申请的一个实施例中，所述激光点云数据中各激光点云的运动特征信息按照下述方式确定：
将所述融合特征信息添加至所述激光点云数据，以确定所述激光点云数据中各激光点云的运动特征信息。
可选的，在本申请的一个实施例中，所述粗标注数据包括多帧标注帧，所述标注帧与所述激光点云数据的点云帧相对应，所述标注帧包括参考目标的标注框，所述标注框包括多个标注点；所述根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果，包括：
根据所述点云帧中包含的各激光点云的运动特征信息，确定对应的标注帧中各标注点的运动特征信息；所述标注点与所述激光点云的位置信息相同；
分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息；
根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果。
可选的，在本申请的一个实施例中，所述根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果，包括：
根据所述轮廓信息，更新所述多帧标注帧中标注框的大小以确定第一中间标注结果；
根据点云形态以及所述运动特征信息，更新所述第一中间标注结果中各标注框的位置以及方向以确定所述第一目标标注结果；所述点云形态为所述第一中间标注结果中各标注框所包含的标注点构成的形态。
可选的，在本申请的一个实施例中，所述分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息，包括：
根据所述参考目标在标注帧对应的标注点的运动特征信息，确定车身坐标系和物体坐标系的转换关系；
基于所述转换关系，确定各所述标注点在物体坐标系的位置信息；
根据所述位置信息，对各所述标注点进行拼接以确定所述参考目标在标注帧对应的子轮廓；
对所述参考目标在连续多帧标注帧的子轮廓进行拼接，得到所述参考目标的轮廓信息。
可选的，在本申请的一个实施例中，所述基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息，包括：
对所述激光点云数据与所述图像数据进行融合语义分割，并对分割后的激光点云进行聚类，得到聚类后的目标点云簇；
对所述目标点云簇进行目标跟踪，确定对应的目标点云的初始运动特征信息；
利用所述毫米波雷达点云数据对所述初始运动特征信息进行修正，以确定所述运动特征信息；
基于所述语义分割结果、所述运动特征信息，构建所述融合特征信息。
可选的，在本申请的一个实施例中，所述根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果，包括：
基于所述激光点云数据的语义分割结果对所述粗标注数据中静态环境目标对应的第二标注结果进行修正，确定第二中间标注结果；
根据所述第二中间标注结果，构建对应的静态环境场景图；
确定所述静态环境场景图中的静态环境目标的特征信息；
根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果。
可选的，在本申请的一个实施例中，所述根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果，包括：
根据所述静态环境目标的特征信息，确定各类静态环境目标的属性信息；
根据第一静态环境目标对应的第一属性信息，确定相匹配的第一拟合优化方法；
基于所述第一拟合优化方法对所述第一静态环境目标对应的标注结果进行优化，确定第二目标标注结果。
另外需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
如图10所示，本申请的实施例还提供了一种处理设备1000，该处理设备1000包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。处理设备1000包括存储器1001、处理器1003、总线1005和通信接口1007。存储器1001、处理器1003和通信接口1007之间通过总线1005通信。总线1005可以是外设部件互连标准（peripheral component interconnect，PCI）总线或扩展工业标准结构（extended industrystandard architecture，EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1007用于与外部通信。其中，处理器1003可以为中央处理器(central processing unit，CPU)。存储器1001可以包括易失性存储器(volatilememory)，例如随机存取存储器(random access memory，RAM)。存储器1001还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器，HDD或SSD。存储器1001中存储有可执行代码，处理器1003执行该可执行代码以执行前述各个实施例所述的方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图11示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图，所述示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中，示例计算机程序产品1100是使用信号承载介质1101来提供的。所述信号承载介质1101可以包括一个或多个程序指令1102，其当被一个或多个处理器运行时可以提供以上针对图1描述的功能或者部分功能。此外，图11中的程序指令1102也描述示例指令。
在一些示例中，信号承载介质1101可以包含计算机可读介质1103，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等等。在一些实施方式中，信号承载介质1101可以包含计算机可记录介质1104，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1101可以包含通信介质1105,诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等）。因此，例如，信号承载介质1101可以由无线形式的通信介质1105(例如，遵守IEEE1102.11标准或者 其它传输协议的无线通信介质)来传达。一个或多个程序指令1102可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，诸如针对图6描述的电子设备的计算设备可以被配置为，响应于通过计算机可读介质1103、计算机可记录介质1104、和/或通信介质1105中的一个或多个传达到计算设备的程序指令1102，提供各种操作、功能、或者动作。应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件（例如电路或ASIC（Application SpecificIntegrated Circuit，专用集成电路））来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据标注方法，其特征在于，所述方法包括：
获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据以及毫米波雷达点云数据；所述粗标注数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据；
基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息；
根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
2.根据权利要求1所述的方法，其特征在于，所述融合特征信息包括所述激光点云数据中各激光点云的运动特征信息、所述激光点云数据的语义分割结果；所述根据所述运动特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果，包括：
根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果；所述参考目标的标识信息与预设标识信息相匹配；
根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果；所述静态环境目标的运动特征信息小于预设阈值；
基于所述第一目标标注结果和所述第二目标标注结果，确定目标标注结果。
3.根据权利要求2所述的方法，其特征在于，所述激光点云数据中各激光点云的运动特征信息按照下述方式确定：
将所述融合特征信息添加至所述激光点云数据，以确定所述激光点云数据中各激光点云的运动特征信息。
4.根据权利要求2所述的方法，其特征在于，所述粗标注数据包括多帧标注帧，所述标注帧与所述激光点云数据的点云帧相对应，所述标注帧包括参考目标的标注框，所述标注框包括多个标注点；所述根据所述运动特征信息，对所述粗标注数据中参考目标对应的第一标注结果进行回归优化，确定第一目标标注结果，包括：
根据点云帧中包含的各激光点云的运动特征信息，确定对应的标注帧中各标注点的运动特征信息；所述标注点与所述激光点云的位置信息相同；
分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息；
根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述轮廓信息，更新所述参考目标在所述多帧标注帧中的标注框以及对应的标签信息，以确定第一目标标注结果，包括：
根据所述轮廓信息，更新所述多帧标注帧中标注框的大小以确定第一中间标注结果；
根据点云形态以及所述运动特征信息，更新所述第一中间标注结果中各标注框的位置以及方向，以确定所述第一目标标注结果；所述点云形态为所述第一中间标注结果中各标注框所包含的标注点构成的形态。
6.根据权利要求4所述的方法，其特征在于，所述分别根据同一参考目标在所述多帧标注帧所对应的标注点的运动特征信息，拼接得到所述参考目标的轮廓信息，包括：
根据所述参考目标在标注帧对应的标注点的运动特征信息，确定车身坐标系和物体坐标系的转换关系；
基于所述转换关系，确定各所述标注点在物体坐标系的位置信息；
根据所述位置信息，对各所述标注点进行拼接以确定所述参考目标在标注帧对应的子轮廓；
对所述参考目标在连续多帧标注帧的子轮廓进行拼接，得到所述参考目标的轮廓信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述多传感器数据对应的融合特征信息，包括：
对所述激光点云数据与所述图像数据进行融合语义分割，并对分割后的激光点云进行聚类，得到聚类后的目标点云簇；
对所述目标点云簇进行目标跟踪，确定对应的目标点云的初始运动特征信息；
利用所述毫米波雷达点云数据对所述初始运动特征信息进行修正，以确定所述运动特征信息；
基于所述语义分割结果、所述运动特征信息，构建所述融合特征信息。
8.根据权利要求2所述的方法，其特征在于，所述根据所述激光点云数据的语义分割结果，对所述粗标注数据中静态环境目标对应的第二标注结果进行优化，确定第二目标标注结果，包括：
基于所述激光点云数据的语义分割结果对所述粗标注数据中静态环境目标对应的第二标注结果进行修正，确定第二中间标注结果；
根据所述第二中间标注结果，构建对应的静态环境场景图；
确定所述静态环境场景图中的静态环境目标的特征信息；
根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果。
9.根据权利要求8所述的方法，其特征在于，所述根据所述静态环境目标的特征信息对所述第二中间标注结果进行优化，确定第二目标标注结果，包括：
根据所述静态环境目标的特征信息，确定各类静态环境目标的属性信息；
根据第一静态环境目标对应的第一属性信息，确定相匹配的第一拟合优化方法；
基于所述第一拟合优化方法对所述第一静态环境目标对应的标注结果进行优化，确定第二目标标注结果。
10.一种数据标注装置，其特征在于，所述装置包括：
获取模块，用于获取多传感器数据以及粗标注数据；所述多传感器数据包括激光点云数据、图像数据、毫米波雷达点云数据；所述粗标注数据为所述激光点云数据或所述图像数据经过自动标注模型得到的标注数据；
融合特征信息确定模块，用于基于所述激光点云数据、所述图像数据以及所述毫米波雷达点云数据，确定所述激光点云数据的融合特征信息；
标注结果优化模块，用于根据所述融合特征信息对所述粗标注数据的标注结果进行优化，确定目标标注结果。
11.一种处理设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求9中任一项所述的方法的步骤。
CN202310950693.XA 2023-07-31 2023-07-31 数据标注方法、装置、处理设备、存储介质 Active CN116665212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310950693.XA CN116665212B (zh) 2023-07-31 2023-07-31 数据标注方法、装置、处理设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310950693.XA CN116665212B (zh) 2023-07-31 2023-07-31 数据标注方法、装置、处理设备、存储介质

Publications (2)

Publication Number Publication Date
CN116665212A true CN116665212A (zh) 2023-08-29
CN116665212B CN116665212B (zh) 2023-10-13

Family

ID=87715749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310950693.XA Active CN116665212B (zh) 2023-07-31 2023-07-31 数据标注方法、装置、处理设备、存储介质

Country Status (1)

Country Link
CN (1) CN116665212B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117894015A (zh) * 2024-03-15 2024-04-16 浙江华是科技股份有限公司 点云标注数据优选方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN114842075A (zh) * 2022-06-30 2022-08-02 小米汽车科技有限公司 数据标注方法、装置、存储介质及车辆
CN115222588A (zh) * 2022-02-22 2022-10-21 广州文远知行科技有限公司 基于点云的图像标注方法、装置、设备及存储介质
CN115482429A (zh) * 2022-08-17 2022-12-16 重庆长安汽车股份有限公司 数据预处理系统、方法、电子设备及存储介质
WO2023072055A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 一种点云数据处理方法及系统
US20230141421A1 (en) * 2021-11-09 2023-05-11 Suteng Innovation Technology Co., Ltd. Point cloud motion compensation method and apparatus, storage medium, and lidar
CN116134488A (zh) * 2020-12-23 2023-05-16 深圳元戎启行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN116245943A (zh) * 2022-12-19 2023-06-09 科大讯飞股份有限公司 基于web的连续帧点云数据标注方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN116134488A (zh) * 2020-12-23 2023-05-16 深圳元戎启行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
WO2023072055A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 一种点云数据处理方法及系统
US20230141421A1 (en) * 2021-11-09 2023-05-11 Suteng Innovation Technology Co., Ltd. Point cloud motion compensation method and apparatus, storage medium, and lidar
CN115222588A (zh) * 2022-02-22 2022-10-21 广州文远知行科技有限公司 基于点云的图像标注方法、装置、设备及存储介质
CN114842075A (zh) * 2022-06-30 2022-08-02 小米汽车科技有限公司 数据标注方法、装置、存储介质及车辆
CN115482429A (zh) * 2022-08-17 2022-12-16 重庆长安汽车股份有限公司 数据预处理系统、方法、电子设备及存储介质
CN116245943A (zh) * 2022-12-19 2023-06-09 科大讯飞股份有限公司 基于web的连续帧点云数据标注方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENG JIANG 等: "Multi-sensor Fusion Framework for Obstacle Avoidance via Deep Reinforcement Learning", IEEE, pages 153 - 156 *
庄加兴 等: "毫米波雷达与激光雷达在无人船上的应用", 船舶工程, pages 100 - 103 *
陆峰 等: "基于信息融合的智能车障碍物检测方法", 计算机应用, pages 120 - 124 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117036868B (zh) * 2023-10-08 2024-01-26 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117894015A (zh) * 2024-03-15 2024-04-16 浙江华是科技股份有限公司 点云标注数据优选方法及系统
CN117894015B (zh) * 2024-03-15 2024-05-24 浙江华是科技股份有限公司 点云标注数据优选方法及系统

Also Published As

Publication number Publication date
CN116665212B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN116665212B (zh) 数据标注方法、装置、处理设备、存储介质
CN111652179B (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
CN111052132B (zh) 利用多个传感器的基于运动的车道检测的验证模块系统和方法
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
AU2018282302A1 (en) Integrated sensor calibration in natural scenes
CN112740225B (zh) 一种路面要素确定方法及装置
CN112154356A (zh) 点云数据处理方法及其装置、激光雷达、可移动平台
US11035933B2 (en) Transition map between lidar and high-definition map
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN109579857B (zh) 一种用于更新地图的方法与设备
CN113985405A (zh) 障碍物检测方法、应用于车辆的障碍物检测设备
CN112258519A (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN111681172A (zh) 协同构建点云地图的方法、设备和系统
CN114556419A (zh) 三维点云分割方法和装置、可移动平台
CN111754388A (zh) 一种建图方法及车载终端
CN114556442A (zh) 三维点云分割方法和装置、可移动平台
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN112578781B (zh) 数据处理方法、装置、芯片系统及介质
Kim et al. Multi-sensor-based detection and tracking of moving objects for relative position estimation in autonomous driving conditions
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN113706633B (zh) 一种目标对象的三维信息确定方法和装置
WO2022099620A1 (zh) 三维点云分割方法和装置、可移动平台
Ahmed et al. Lane marking detection using LiDAR sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant