CN110991489B - 一种驾驶数据的标注方法、装置及系统 - Google Patents

一种驾驶数据的标注方法、装置及系统 Download PDF

Info

Publication number
CN110991489B
CN110991489B CN201911092888.5A CN201911092888A CN110991489B CN 110991489 B CN110991489 B CN 110991489B CN 201911092888 A CN201911092888 A CN 201911092888A CN 110991489 B CN110991489 B CN 110991489B
Authority
CN
China
Prior art keywords
driving data
labeling
data
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911092888.5A
Other languages
English (en)
Other versions
CN110991489A (zh
Inventor
江志浩
崔迪潇
徐生良
郭立鹏
陈安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911092888.5A priority Critical patent/CN110991489B/zh
Publication of CN110991489A publication Critical patent/CN110991489A/zh
Application granted granted Critical
Publication of CN110991489B publication Critical patent/CN110991489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例公开了一种驾驶数据的标注方法、装置及系统。所述方法包括获取未标注的驾驶数据;利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。利用本说明书实施例不仅可以节省大量的人力筛选标注成本,而且可以避免自动标注容易产生大量错误标注的问题,从而可以在保证数据标注质量的同时提高对数据标注的准确度。

Description

一种驾驶数据的标注方法、装置及系统
技术领域
本说明书实施例方案属于自动驾驶技术领域,尤其涉及一种驾驶数据的标注方法、装置及系统。
背景技术
近一个多世纪来,汽车的出现取代了传统交通运输方式,使得人们的生活更为便捷。近些年来,随着科技的发展,尤其是智能计算的飞速发展,自动驾驶汽车技术研究成为各行业聚焦的热点。
在自动驾驶的控制和模拟研究中,图像和图像分析越来越重要。图像分析的一个重要方面在于从输入的图像或者视频数据中识别出物体。可见,物体的识别和定位对于车辆的控制和模拟非常重要。但是目前由于图像质量、环境条件和处理能力的不同给图像分析和物体标注处理带来很大的阻力,导致很难实现自动的图像分析和物体标注。在没有了准确的图像标注的基础,自动驾驶车辆的控制和模拟系统就很难进行有效的工作。
目前,图像标注的一个方法是由标注员来人工对图像中的物体进行标注,标注的物体可以被分类以及进一步可以用于定位和确定速度。然而,传统手工标注的方法不仅耗时多、费用开销大,而且由于各个标注员主观上的不同理解,容易造成标注的物体类别不一致的问题。
因此,业内亟需一种可以提高数据标注效率的解决方案。
发明内容
本说明书实施例在于提供一种驾驶数据的标注方法、装置及系统,不仅可以节省大量的人力筛选标注成本,而且也可以在保证数据标注质量的同时提高对数据标注的准确度。
本说明书提供的驾驶数据的标注方法、装置、设备及系统是包括以下方式实现的:
一种驾驶数据的标注方法,包括:
获取未标注的驾驶数据;
利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
本说明书提供的所述方法的另一个实施例中,所述获取未标注的驾驶数据,包括:
利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;
基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。
本说明书提供的所述方法的另一个实施例中,还包括:
根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;
结合人工标注结果对所述处理后的标注结果分类,获得分类结果;
根据所述分类结果更新卷积神经网络;
相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
本说明书提供的所述方法的另一个实施例中,所述结合人工标注结果对所述处理后的标注结果分类,获得分类结果,包括:
如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;
如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本。
本说明书提供的所述方法的另一个实施例中,所述多个传感器包括不同类型的多个传感器或者同一类型的多个传感器。
一种驾驶数据的标注装置,所述装置包括:
未标注驾驶数据获取模块,用于获取未标注的驾驶数据;
障碍物信息获取模块,用于利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
路面标识信息获取模块,用于利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
标注结果获得模块,用于基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
本说明书提供的所述装置的另一个实施例中,所述未标注驾驶数据获取模块,包括:
图像数据获得单元,用于利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;
点云数据获得单元,用于基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。
本说明书提供的所述装置的另一个实施例中,还包括:
处理模块,用于根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;
分类模块,用于结合人工标注结果对所述处理后的标注结果分类,获得分类结果;
更新模块,用于根据所述分类结果更新卷积神经网络;
相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
本说明书提供的所述装置的另一个实施例中,所述分类模块,包括:
第一分类单元,用于如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;
第二分类单元,用于如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本。
一种驾驶数据的标注设备,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取未标注的驾驶数据;
利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
一种驾驶数据的标注系统,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现本说明书实施例中任意一个方法实施例方法的步骤。
本说明书提供的一种驾驶数据的标注方法、装置及系统。一些实施例中通过将未标注的驾驶数据输入基于已标注的样本驾驶数据建立的卷积神经网络中,不仅可以筛选过滤掉驾驶数据中质量不合格的数据,而且也可以提取出未标注驾驶数据中包括的障碍物信息和路面标识信息,然后通过对障碍物信息和路面标识信息进行融合处理可以获得更加准确的标注结果。采用本说明书提供的实施方案,可以缩减标注时间,减少标注人员的标注成本,大幅度提高标注效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书提供的一种驾驶数据的标注方法的一个实施例的流程示意图;
图2是本说明书提供的一种驾驶数据的标注方法具体实施例的流程示意图;
图3是本说明书提供的一种驾驶数据的标注装置的一个实施例的模块结构示意图;
图4是本说明书提供的一种驾驶数据的标注服务器的一个实施例的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书中的一部分实施例,而不是全部的实施例。基于本说明书中的一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例保护的范围。
在自动驾驶的控制和模拟研究中,物体的识别和定位对于车辆的控制和模拟非常重要。但是目前由于图像质量、环境条件和处理能力的不同给图像分析和物体标注处理带来很大的阻力,导致很难实现自动的图像分析和物体标注。目前,图像标注的一个方法是由标注员来人工对图像中的物体进行标注,标注的物体可以被分类,也可以进一步用于定位和速度确定。但是,传统手工标注的方法不仅耗时多、费用开销大,而且由于各个标注员主观上的不同理解,容易造成标注的物体类别不一致的问题。例如,知名的交通场景数据集Cityscapes使用纯手动标注软件LabelMe进行像素级标注,每张图像的标注、审核、修正等过程平均需要花费1.5小时,效率极低。然而即便在如此高成本的情况下,Cityscapes也仅仅制作了5000张精标注图像数据,离实际需求仍有较大距离。
本说明书提供的一种驾驶数据的标注方法、装置及系统,通过将未标注的驾驶数据输入基于已标注的样本驾驶数据建立的卷积神经网络中,不仅可以筛选过滤掉驾驶数据中质量不合格的数据,而且也可以提取出未标注驾驶数据中包括的障碍物信息和路面标识信息,然后通过对障碍物信息和路面标识信息进行融合处理可以获得更加准确的标注结果,从而可以缩减标注时间,减少标注人员的标注成本,大幅度提高标注效率。
自动驾驶汽车的系统一般分为三个模块。一是感知模块,相当于人的眼睛,其可以通过摄像头、激光雷达、毫米波雷达、超声波雷达、陀螺仪、加速度计等多种传感器实时采集周边环境状态;二是决策模块,相当于人的大脑,其可以根据环境状态计算出最优的驾驶决策规划;三是执行模块,相当于人的手与脚,可以用于执行决策命令,例如进行油门、刹车、转向等相应的驾驶操作。其中,感知模块是自动驾驶系统的一个重要模块,没有可靠的感知模块,就无法实现安全的自动驾驶系统。在感知模块中,图像和图像分析日益重要。
下面以一个具体的应用场景为例对本说明书实施方案进行说明。具体的,图1是本说明书提供的一种驾驶数据的标注方法的一个实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
需要说明的是,下述实施例描述并不对基于本说明书的其他可扩展到的应用场景中的技术方案构成限制。具体的一种实施例如图1所示,本说明书提供的一种驾驶数据的标注方法的一种实施例中,所述方法可以包括:
S0:获取未标注的驾驶数据。
其中,标注可以理解为借助计算机等工具,对各种类型的数据包括文本、图片、语音、视频等完成分类、画框、注释、标记并打上说明其某种属性等的标签。标注可以包括线标注、边框标注、3D边框标注、多边形标注、点标注、3D点云标注等。其中,线标注可以理解为根据需求标注检测对象相对应的线型位置,例如:车道线。边框标注可以理解为标注检测对象相对应的区域,例如:汽车、行人等各种物体。3D边框标注可以理解为将图像中待检测物体以立体形式标注,例如汽车检测。多边形标注可以理解为根据需求标注检测对象的形状,例如:标注图像中的汽车轮廓或标记污损边界。点标注可以理解为根据需求标注检测对象参考点的像素坐标,或者图像中的关键点标记,如人脸。3D点云标注可以理解为在3D空间中,标注点云数据中指定的检测对象,如汽车、行车道等。
驾驶数据可以包括图像数据和点云数据等。点云数据可以理解为在一个三维坐标系统中的一组向量的集合,这些向量通常以三维坐标的形式表示,而且一般主要可以用来表示一个物体的外表面形状。点云数据除可以表示几何位置信息之外,还可以表示一个点的颜色、灰度值、深度、分割结果、反射强度等。此外,大多数点云数据可以通过扫描设备产生,这些设备可以用自动化的方式测量物体表面的大量点的信息,然后用某种数据文件输出点云数据。例如,可以通过激光雷达、立体摄像头等扫描设备采集获得驾驶数据。一些实施场景中,同一区域中,可以通过多个传感器采集数据。其中,所述多个传感器可以包括不同类型的多个传感器或者同一类型的多个传感器。例如,在同一区域中,可以通过摄像机获得图像数据,通过激光雷达获得点云数据。需要说明的是,本说明书中驾驶数据还可以包括其他类型的数据,本说明书对此不作限定。此外,获取驾驶数据的方式可以是本领域技术人员知晓的任意一种方式,本说明书对此不作限定。
本说明书一个实施例中,所述获取未标注的驾驶数据,可以包括:利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。例如一些实施场景中,可以将未进行标注的驾驶数据输入到预设的分类模型中对图像质量进行判断筛选,然后根据激光雷达点云的密度判断点云是否过于稀疏,如果过于稀疏则可以作为无效样本过滤掉,这样不仅可以获得高质量的未标注数据,而且也可以为提高标注质量提供基础。
需要说明的是,上述实施例中预设的分类模型可以在获取未标注的驾驶数据前,根据已标注的大量驾驶数据训练深度学习网络获得。
本说明书一个实施例中,在所述获取未进行标注的驾驶数据前,可以包括:获取已标注的样本驾驶数据;基于所述样本驾驶数据建立卷积神经网络,所述卷积神经网络可以包括分类模型、目标检测模型、分割模型。例如一些实施场景中,可以先采集摄像机图像和激光雷达点云,然后利用传统的计算机视觉方法(例如边缘检测、霍夫变换等)辅助人工标注,获得大量已标注的样本驾驶数据,最后利用获得的标注数据训练深度学习网络,获得卷积神经网络。例如,可以人工在每帧图像和激光雷达点云中标注出路面交通标识信息(如车道线、路沿、停止线、左右转向标识等)以及障碍物的类别和位置(汽车、货车、电动车、行人等),从而获得大量人工标注的样本驾驶数据,然后可以利用人工标注的样本驾驶数据训练深度学习网络建立卷积神经网络。
本说明书一个实施例中,卷积神经网络可以包括分类模型、目标检测模型、分割模型。分类模型主要可以负责判断数据质量问题,如,判断摄像机成像是否正常的问题。一些实施例中,可以通过分类模型筛选过滤掉质量不合格的数据。例如一些实施场景中,可以利用图像质量评估标准评价方法多维度将样本驾驶数据分为两类,从而可以设计一个二分类的分类模型。其中,图像质量评估标准评价方法可以包括PSNR(Peak Signal-to-NoiseRatio,峰值信噪比)、SSIM(Structural SIMilarity,结构相似性)、MOS(Mean OpinionScore,平均主观得分)、DMOS(Differential Mean Opinion Scores,平均主观得分差)等。目标检测模型主要可以负责获取障碍物的类别以及定位障碍物的位置,并设计目标检测网络(如yolov3、VoxelNet等)。分割模型主要可以负责对数据中的路面交通标识进行分割,并设计编码-解码的分割网络。
需要说明的是,本说明书实施例中的卷积神经网络还可以包括其他模型,本说明书对此不作限定。
本说明书实施例中,通过利用大量的标注数据对深度学习网络进行训练,获得卷积神经网络,可以实现对未标注的图像数据和点云数据筛选,从而获得高质量的未标注数据,为保证标注质量提供基础。
S2:利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息。
其中,障碍物信息可以包括障碍物的位置信息和障碍物的类别信息。障碍物可以是例如石头、自行车、路障等。障碍物的位置信息通常可以通过矩形框、边界框等形式表示。障碍物的类别信息可以包括车辆、行人、未知等。需要说明的是,障碍物的位置信息还可以通过本领域人员知晓的其他形式表示,本说明书对此不作限定。
目标检测可以理解为在一幅图片中找到目标物体,然后给出目标的类别和位置。其中目标可以理解为障碍物。例如,给定一个图像,找到图像中的障碍物及其对应的位置,并且对障碍物进行分类。一些实施例中,目标检测模型通常是在一些固定的训练集上进行训练的,所以利用目标检测模型可以定位和分类数据中的障碍物信息。需要说明的是,目标检测需要涉及数据中目标的位置信息和对目标进行分类。目标检测问题中,一张图像中可以包括一个或者多个目标,而且在单张图像中可以包括有多个不同分类的目标。
本说明书一个实施例中,可以预先基于已标注的样本驾驶数据建立卷积神经网络,所述卷积神经网络可以包括分类模型、目标检测模型、分割模型。其中,目标检测模型主要可以负责获取障碍物的类别以及定位障碍物的位置,并设计目标检测网络(如yolov3、VoxelNet等)。
本说明书一个实施例中,在预先建立好包括目标检测模型的卷积神经网络后,可以将获取的未标注的驾驶数据输入到目标检测模型中,获得驾驶数据中包括的位置信息和障碍物的类别信息,从而减少标注人员的标注成本,大幅度提高标注效率。例如一个实施场景中,通过将未标注的图像和激光雷达点云数据输入到目标检测模型中后,可以输出利用矩形框标注障碍物后的图像和激光雷达点云、障碍物对应的类别。
S4:利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息。
其中,路面标识信息可以包括车道线、路沿、停止线、左右转向标识等。
本说明书一个实施例中,可以预先基于已标注的样本驾驶数据建立卷积神经网络,所述卷积神经网络可以包括分类模型、目标检测模型、分割模型。其中,分割模型主要可以负责对数据中的路面交通标识进行分割,并设计编码-解码的分割网络。
本说明书一个实施例中,在预先建立好包括目标检测模型的卷积神经网络后,可以将获取的未标注的驾驶数据输入到分割模型中,获得驾驶数据中包括的路面标识信息,从而减少标注人员的标注成本,大幅度提高标注效率。例如一个实施场景中,通过将未标注的图像和激光雷达点云数据输入到分割模型中后,可以相应的输出图像和激光雷达点云中包括的车道线、路沿、停止线、左右转向标识等信息。
本说明书实施例中,通过利用大量的标注数据对深度学习网络进行训练,获得卷积神经网络,可以实现对未标注的数据的筛选和预标注,从而可以减少人工标注的成本。通过将未标注的数据输入卷积神经网络包括的目标检测模型中,可以快速定位障碍物和识别障碍物类别,从而提高标注效率。通过将未标注的数据输入卷积神经网络包括的分割模型中,可以快速的区分出路面标识信息,从而提高标注效率。
S6:基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
其中,多个传感器可以包括不同类型的多个传感器或者同一类型的多个传感器。例如一些实施场景中,可以通过摄像机、激光雷达等获得数据。另一些实施场景中,可以通过激光雷达、毫米波雷达、超声波雷达等获得数据。这样通过对多个传感器获得数据进行匹配过滤,可以提高标注结果的精度。匹配过滤可以用来过滤无效数据,从而提高标注的准确度。匹配过滤可以理解为先匹配后过滤,也可以理解为在匹配时进行相应的过滤,还可以理解为只进行匹配等。
由于通过多个传感器采集到的数据通常是同一块区域的数据。因此一些实施场景中,可以通过将多个传感器获得数据进行融合处理,从而可以过滤掉无效数据,实现对数据的校正,提高对数据标注的准确度。其中,融合处理可以包括匹配、过滤等处理过程。
本说明书一个实施例中,为了提高标注精度,可以将获得的障碍物信息与路面标识信息进行融合处理,从而获得对驾驶数据更准确的标注。例如一些实施场景中,由于经过校正后的雷达和摄像机所收集到的数据区域是同一块区域,因此该区域里的路面标识信息和障碍物应该分别存在图像和点云中,此时可以通过将点云和图像中标注的信息进行匹配过滤,从而过滤掉无效信息,获得更准确的标注结果。
本说明书一个实施例中,基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配处理后,还可以将多个传感器获得的驾驶数据中不一致的信息以预设的方式显示,以便后续校正时容易发现,从而提高效率和精度。其中,预设的方式可以包括提示框、不同的颜色框等。例如一些实施场景中,如果图像中检测到的障碍物在点云对应的位置没有出现,则可以提示该障碍物在图像中检测可能为误检;同样,若点云在某位置检测出障碍物,而对应的图像区域没有检测到,则可提示障碍物在图像中检测可能为漏检。
本说明书实施例中,通过将多传感器的结果进行融合处理,可以获得更准确的标注结果,从而可以提高标注结果的质量。
本说明书一个实施例中,通过匹配过滤获得驾驶数据的标注结果后,还可以包括:根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;结合人工标注结果对所述处理后的标注结果分类,获得分类结果;根据所述分类结果更新卷积神经网络。其中,所述预设方法可以包括边缘检测、图像形态学处理等。本说明书一个实施例中,所述结合人工标注结果对所述处理后的标注结果分类,获得分类结果,可以包括:如果所述处理后的标注结果不需要修改标注,则可以确定所述分类结果为简单标注样本;如果所述处理后的标注结果需要修改标注,则可以确定所述分类结果为困难标注样本。
例如一些实施场景中,通过将多传感器的结果进行匹配过滤获得更准确的标注结果后,可以根据传统的计算机视觉方法对标注结果进行后处理,然后通过人工辅助标注,将需要修改标注的数据分类为困难标注样本,反之则为简单标注样本。例如,通过将多传感器的结果匹配过滤获得预标注结果后,可以根据边缘检测、图像形态学处理的方式对预标注结果进行后处理,从而去除大量噪声点,然后标注人员针对去除噪声点的数据可以使用特定工具快速地发现和修正预标注结果中的缺陷,并可以相应的将需要修改标注的数据分类为困难标注样本,将不需要修改标注的数据分类为简单标注样本。
一些实施例中,通过结合人工标注对标注数据分类后,利用已分类好的样本对预先建立的卷积神经网络进行更新,从而可以提高标注数据的准确度。例如一些实施场景中,已分类好的样本包括简单标注样本和困难标注样本,可以通过加大困难标注样本的权重对卷积神经网络进行更新,并通过更新后的卷积神经网络获取相应数据。
本说明书一个实施例中,在根据分类结果更新卷积神经网络后,可以利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
本说明书实施例中,通过将计算机视觉方法、深度学习以及人工标注结合,实现对驾驶数据的半自动化标注的方式,不仅可以节省大量的人力筛选标注成本,提高标注效率,而且可以避免自动标注容易产生大量错误标注的问题,从而可以在保证数据标注质量的同时提高对数据标注的准确度。
下面以一个具体的应用场景为例对本说明书实施方案进行说明。本实施例中,可以预先采集摄像机图像数据和激光雷达点云数据,并利用传统的计算机视觉方法辅助人工标注,在每帧图像和激光雷达点云中标注出路面交通标识信息以及障碍物的类别和位置,从而获得大量的人工标注数据,然后利用获得的人工标注数据训练深度学习网络,获得卷积神经网络,卷积神经网络可以包括分类模型、目标检测模型、分割模型。具体的,图2是本说明书提供的一种驾驶数据的标注方法具体实施例的流程示意图。所述方法可以包括:
S10:采集未标注的摄像机图像数据和激光雷达点云数据;
S12:将摄像机图像数据和激光雷达点云数据输入训练好的分类模型中,获得质量合格的数据;
例如一些实施场景中,质量不合格的数据可以作为无效数据过滤掉,例如点云密度过于稀疏的数据可以作为无效数据过滤掉。
S14:将质量合格的数据分别输入目标检测模型和分割模型中,获得障碍物的类别和位置信息以及路面标识信息;
例如一些实施场景中,可以将质量合格的摄像机图像数据和激光雷达点云数据输入目标检测模型,从而获得对应的障碍物的类别和位置信息,可以将质量合格的摄像机图像数据和激光雷达点云数据输入分割模型,从而获得对应的路面标识信息。
S16:基于同一区域多个传感器采集获得的数据,将障碍物的类别和位置信息以及路面标识信息进行匹配过滤,获得预标注数据;
例如一些实施场景中,由于经过校正后的雷达和摄像机所收集到的数据区域是同一块区域,因此该区域里的路面标识信息和障碍物应该分别存在图像和点云中,如果图像中检测到的障碍物在点云对应的位置没有出现,则可以提示该障碍物在图像中检测可能为误检;同样,若点云在某位置检测出障碍物,而对应的图像区域没有检测到,则可提示障碍物在图像中检测可能为漏检。
S18:利用经典的计算机视觉的方法对预标注数据做后处理,获得处理后的标注数据;
其中,后处理可以包括去除噪声点。
S20:结合人工辅助标注,对处理后的标注数据进行分类;
例如一些实施场景中,如果处理后的标注数据不需要根据人工辅助标注来进行更改,则分类为简单标注样本,反之则分类为困难标注样本。
S22:根据已分类好的简单标注样本和困难标注样本,对卷积神经网络进行更新。
例如一些实施场景中,可以通过增加困难标注样本的权重,对卷积神经网络进行更新,并可以根据更新后的模型对未标注的数据进行标注。
本说明书提供的一种驾驶数据的标注方法,通过将未标注的驾驶数据输入基于已标注的样本驾驶数据建立的卷积神经网络中,不仅可以筛选过滤掉驾驶数据中质量不合格的数据,而且也可以提取出未标注驾驶数据中包括的障碍物信息和路面标识信息,然后通过对障碍物信息和路面标识信息进行融合处理可以获得更加准确的标注结果。这样通过将计算机视觉方法、深度学习以及人工标注结合,实现对驾驶数据的半自动化标注的方式,不仅可以节省大量的人力筛选标注成本,提高标注效率,而且可以避免自动标注容易产生大量错误标注的问题,从而可以在保证数据标注质量的同时提高对数据标注的准确度。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参加即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参加方法实施例的部分说明即可。
基于上述所述的一种驾驶数据的标注方法,本说明书一个或多个实施例还提供一种驾驶数据的标注装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图3是本说明书提供的一种驾驶数据的标注装置的一个实施例的模块结构示意图,如图3所示,本说明书提供的一种驾驶数据的标注装置可以包括:未标注驾驶数据获取模块120,障碍物信息获取模块122,路面标识信息获取模块124,标注结果获得模块126。
未标注驾驶数据获取模块120,可以用于获取未标注的驾驶数据;
障碍物信息获取模块122,可以用于利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
路面标识信息获取模块124,可以用于利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
标注结果获得模块126,可以用于基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
所述装置的另一个实施例中,所述未标注驾驶数据获取模块120,可以包括:
图像数据获得单元1202,可以用于利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;
点云数据获得单元1204,可以用于基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。
所述装置的另一个实施例中,还可以包括:
处理模块,可以用于根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;
分类模块,可以用于结合人工标注结果对所述处理后的标注结果分类,获得分类结果;
更新模块,可以用于根据所述分类结果更新卷积神经网络;
相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
所述装置的另一个实施例中,所述分类模块,可以包括:
第一分类单元,可以用于如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;
第二分类单元,可以用于如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本。
本说明书提供的一种驾驶数据的标注装置,通过将未标注的驾驶数据输入基于已标注的样本驾驶数据建立的卷积神经网络中,不仅可以筛选过滤掉驾驶数据中质量不合格的数据,而且也可以提取出未标注驾驶数据中包括的障碍物信息和路面标识信息,然后通过对障碍物信息和路面标识信息进行融合处理可以获得更加准确的标注结果。这样通过将计算机视觉方法、深度学习以及人工标注结合,实现对驾驶数据的半自动化标注的方式,不仅可以节省大量的人力筛选标注成本,提高标注效率,而且可以避免自动标注容易产生大量错误标注的问题,从而可以在保证数据标注质量的同时提高对数据标注的准确度。
需要说明的,上述所述的装置根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书还提供一种驾驶数据的标注设备的实施例,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取未标注的驾驶数据;
利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。
需要说明的,上述所述的设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书还提供一种驾驶数据的标注系统的实施例,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤,例如包括:获取未标注的驾驶数据;利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果。所述的系统可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。
本说明书所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图4是本说明书提供的一种驾驶数据的标注服务器的一个实施例的硬件结构框图,该服务器可以是上述实施例中的驾驶数据的标注装置或驾驶数据的标注系统。如图4所示,服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解,图4所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图4中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图4所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的驾驶数据的标注方法对应的程序指令/模块,处理器100通过运行存储在存储器200内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
本说明书提供的上述驾驶数据的标注方法或装置实施例可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机数据处理和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已,并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。

Claims (7)

1.一种驾驶数据的标注方法,其特征在于,包括:
获取未标注的驾驶数据;
利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述多个传感器获得的驾驶数据包括图像数据和点云数据;
相应的,基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,包括:
若所述图像数据中检测到的障碍物信息在所述点云数据对应的位置未出现,则提示该障碍物信息在所述图像数据中检测为误检;若所述点云数据在某位置检测出障碍物,而所述图像数据对应的区域没有检测到,则提示所述障碍物信息在所述图像数据中漏检;
其中,所述方法还包括:根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;结合人工标注结果对所述处理后的标注结果分类,获得分类结果;根据所述分类结果更新卷积神经网络;相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述结合人工标注结果对所述处理后的标注结果分类,获得分类结果,包括:如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本;
其中,根据所述分类结果更新卷积神经网络,包括:通过加大所述困难标注样本的权重对卷积神经网络进行更新,得到更新后的卷积神经网络中的分割模型。
2.如权利要求1所述的方法,其特征在于,所述获取未标注的驾驶数据,包括:
利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;
基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。
3.如权利要求1所述的方法,其特征在于,所述多个传感器包括不同类型的多个传感器或者同一类型的多个传感器。
4.一种驾驶数据的标注装置,其特征在于,包括:
未标注驾驶数据获取模块,用于获取未标注的驾驶数据;
障碍物信息获取模块,用于利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
路面标识信息获取模块,用于利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
标注结果获得模块,用于基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述多个传感器获得的驾驶数据包括图像数据和点云数据;
相应的,所述标注结果获得模块具体用于:
若所述图像数据中检测到的障碍物信息在所述点云数据对应的位置未出现,则提示该障碍物信息在所述图像数据中检测为误检;若所述点云数据在某位置检测出障碍物,而所述图像数据对应的区域没有检测到,则提示所述障碍物信息在所述图像数据中漏检;
其中,所述装置还包括:处理模块,用于根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;分类模块,用于结合人工标注结果对所述处理后的标注结果分类,获得分类结果;更新模块,用于根据所述分类结果更新卷积神经网络;相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述结合人工标注结果对所述处理后的标注结果分类,获得分类结果,包括:如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本;
其中,根据所述分类结果更新卷积神经网络,包括:通过加大所述困难标注样本的权重对卷积神经网络进行更新,得到更新后的卷积神经网络中的分割模型。
5.如权利要求4所述的装置,其特征在于,所述未标注驾驶数据获取模块,包括:
图像数据获得单元,用于利用已标注样本驾驶数据构建的卷积神经网络中的分类模型对所述驾驶数据中包括的图像数据进行筛选处理,获得质量合格的图像数据;
点云数据获得单元,用于基于点云密度信息对所述驾驶数据中包括的点云数据进行过滤处理,获得稀疏度合格的点云数据。
6.一种驾驶数据的标注设备,其特征在于,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取未标注的驾驶数据;
利用已标注样本驾驶数据构建的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;
利用所述卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;
基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述多个传感器获得的驾驶数据包括图像数据和点云数据;
相应的,基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,包括:
若所述图像数据中检测到的障碍物信息在所述点云数据对应的位置未出现,则提示该障碍物信息在所述图像数据中检测为误检;若所述点云数据在某位置检测出障碍物,而所述图像数据对应的区域没有检测到,则提示所述障碍物信息在所述图像数据中漏检;
其中,所述指令被所述处理器执行时实现还包括以下步骤:根据预设方法对所述标注结果进行去噪处理,获得处理后的标注结果;结合人工标注结果对所述处理后的标注结果分类,获得分类结果;根据所述分类结果更新卷积神经网络;相应的,利用更新后的卷积神经网络中的目标检测模型,获取所述驾驶数据中包括的障碍物信息;利用更新后的卷积神经网络中的分割模型,获取所述驾驶数据中包括的路面标识信息;基于同一区域多个传感器获得的驾驶数据,对所述障碍物信息与所述路面标识信息进行匹配过滤,获得所述驾驶数据的标注结果;
其中,所述结合人工标注结果对所述处理后的标注结果分类,获得分类结果,包括:如果所述处理后的标注结果不需要修改标注,则确定所述分类结果为简单标注样本;如果所述处理后的标注结果需要修改标注,则确定所述分类结果为困难标注样本;
其中,根据所述分类结果更新卷积神经网络,包括:通过加大所述困难标注样本的权重对卷积神经网络进行更新,得到更新后的卷积神经网络中的分割模型。
7.一种驾驶数据的标注系统,其特征在于,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-3中任意一项所述方法的步骤。
CN201911092888.5A 2019-11-11 2019-11-11 一种驾驶数据的标注方法、装置及系统 Active CN110991489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911092888.5A CN110991489B (zh) 2019-11-11 2019-11-11 一种驾驶数据的标注方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911092888.5A CN110991489B (zh) 2019-11-11 2019-11-11 一种驾驶数据的标注方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110991489A CN110991489A (zh) 2020-04-10
CN110991489B true CN110991489B (zh) 2023-10-10

Family

ID=70083685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911092888.5A Active CN110991489B (zh) 2019-11-11 2019-11-11 一种驾驶数据的标注方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110991489B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756317B2 (en) * 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data
CN112347986A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 样本生成、神经网络训练、智能行驶控制方法及装置
CN113205120B (zh) * 2021-04-20 2023-11-24 北京百度网讯科技有限公司 数据标注方法、装置、电子设备及可读存储介质
CN113205119B (zh) * 2021-04-20 2023-10-31 北京百度网讯科技有限公司 数据标注方法、装置、电子设备及可读存储介质
CN113205144B (zh) * 2021-05-13 2022-09-30 北京三快在线科技有限公司 一种模型训练的方法及装置
CN114491171A (zh) * 2022-04-02 2022-05-13 深圳市玄羽科技有限公司 基于工业物联网的数据处理方法、系统、介质及电子设备
CN117194414B (zh) * 2023-08-02 2024-05-14 江苏优探智能科技有限公司 自动驾驶数据处理系统和自动驾驶数据处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
US10816984B2 (en) * 2018-04-13 2020-10-27 Baidu Usa Llc Automatic data labelling for autonomous driving vehicles
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用

Also Published As

Publication number Publication date
CN110991489A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991489B (zh) 一种驾驶数据的标注方法、装置及系统
Xu et al. Segment as points for efficient online multi-object tracking and segmentation
US10074020B2 (en) Vehicular lane line data processing method, apparatus, storage medium, and device
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in‐car camera
CN111311709B (zh) 一种生成高精地图的方法及装置
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
CN103942560B (zh) 一种智能交通监控系统中的高分辨率视频车辆检测方法
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
CN101900567A (zh) 基于像素的无纹理畅通路径检测
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
Aziz et al. Implementation of lane detection algorithm for self-driving car on toll road cipularang using Python language
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN102831378A (zh) 人的检测和跟踪方法与系统
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
Shang et al. Robust unstructured road detection: the importance of contextual information
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
Boumediene et al. Triangular traffic signs detection based on RSLD algorithm
Chen et al. Automatic detection of traffic lights using support vector machine
CN113312508A (zh) 一种车辆图像检索方法及装置
CN114596555A (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN111523515A (zh) 自动驾驶车辆环境认知能力评价方法、设备及存储介质
Ghahremannezhad et al. Automatic road detection in traffic videos
Karkera et al. Autonomous bot using machine learning and computer vision
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant