CN110598743A - 一种目标对象的标注方法和装置 - Google Patents

一种目标对象的标注方法和装置 Download PDF

Info

Publication number
CN110598743A
CN110598743A CN201910739663.8A CN201910739663A CN110598743A CN 110598743 A CN110598743 A CN 110598743A CN 201910739663 A CN201910739663 A CN 201910739663A CN 110598743 A CN110598743 A CN 110598743A
Authority
CN
China
Prior art keywords
point cloud
image
target object
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910739663.8A
Other languages
English (en)
Inventor
刘审川
赵雨婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910739663.8A priority Critical patent/CN110598743A/zh
Publication of CN110598743A publication Critical patent/CN110598743A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本申请公开了一种目标对象的标注方法和装置。所述方法包括:获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;获取目标对象的图像标注信息;对点云数据进行分割处理,得到包含所述目标对象的点云子集;建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。有益效果在于,自动化的利用图像数据与点云数据的映射关系获取到较为准确的点云标注信息,克服了传统方法下对3D轮廓不明显的目标对象不易标注的问题,可以应用在自动驾驶领域,实现对道路标线的准确标注,拓宽了目标对象标注的应用场景,节省了人力成本并提高了标注的准确率和泛化能力。

Description

一种目标对象的标注方法和装置
技术领域
本申请涉及自动驾驶领域,具体涉及一种目标对象的标注方法和装置。
背景技术
准确的对于目标对象的标注可以很好的提升基于标注数据的智能应用的使用效果。在自动驾驶中,准确实现对于车道线、交通标线等道路情况的标识对自动驾驶的应用有重要意义。但目前,在自动驾驶领域中,传统标注方法无法很好的解决对3D轮廓不明显目标对象的准确标注问题,而且应用场景较为单一,自动化程度和泛化能力不足。因此需要一种智能化、自动化的目标对象标注方式,以在多种场景下都能准确识别目标对象。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题目标对象的标注方法和装置。
依据本申请的一个方面,提供了一种目标对象的标注方法,包括:
获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;
获取目标对象的图像标注信息;
对点云数据进行分割处理,得到包含所述目标对象的点云子集;
建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。
可选地,所述目标对象为道路交通标线,所述对点云数据进行分割处理,得到包含所述目标对象的点云子集包括:
基于高度、法向量或平滑性中的至少一种对所述点云数据进行地面分割,得到包含道路交通标线的点云子集。
可选地,所述点云数据是根据激光雷达探测得到的,所述图像数据是根据摄像头探测得到的;
所述激光雷达和所述摄像头经过同步处理,时间戳同步误差在预设范围内。
可选地,所述建立所述点云数据与所述图像数据的点映射关系包括:对所述激光雷达和所述摄像头进行标定,根据标定结果确定点云坐标系与图像坐标系的转换关系。
可选地,所述图像标注信息为轮廓线;
根据标定结果确定点云坐标系与图像坐标系的转换关系包括:确定坐标系转换的旋转矩阵R和平移矩阵T;
所述根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息包括:
将所述轮廓线标注出的图像区域根据所述旋转矩阵R和平移矩阵T投影至所述点云子集中。
可选地,所述方法还包括:
根据所述图像标注信息和所述点云标注信息训练得到目标对象的识别模型。
可选地,所述根据所述图像标注信息和所述点云标注信息训练得到目标对象的识别模型包括:
将包含图像标注信息的图像数据作为图像样本数据,基于卷积神经网络CNN提取目标对象的图像特征;
将包含点云标注信息的点云数据作为点云样本数据,基于PonitNet提取目标对象的点云特征;
将所述图像特征与所述点云特征进行连接并进行语义分割。
依据本申请的另一方面,提供了一种目标对象的标注装置,包括:
数据单元,用于获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;
图像标注单元,用于获取目标对象的图像标注信息;
点云分割单元,用于对点云数据进行分割处理,得到包含所述目标对象的点云子集;
点云标注单元,用于建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。
可选地,所述目标对象为道路交通标线,所述点云分割单元用于基于高度、法向量或平滑性中的至少一种对所述点云数据进行地面分割,得到包含道路交通标线的点云子集。
可选地,所述点云数据是根据激光雷达探测得到的,所述图像数据是根据摄像头探测得到的;所述激光雷达和所述摄像头经过同步处理,时间戳同步误差在预设范围内。
可选地,点云标记单元,用于对所述激光雷达和所述摄像头进行标定,根据标定结果确定点云坐标系与图像坐标系的转换关系。
可选地,所述图像标注信息为轮廓线;点云标记单元,用于确定坐标系转换的旋转矩阵R和平移矩阵T;以及用于将所述轮廓线标注出的图像区域根据所述旋转矩阵R和平移矩阵T投影至所述点云子集中。
可选地,所述装置还包括训练单元,用于根据所述图像标注信息和所述点云标注信息训练得到目标对象的识别模型。
可选地,所述训练单元,用于将包含图像标注信息的图像数据作为图像样本数据,基于卷积神经网络CNN提取目标对象的图像特征;将包含点云标注信息的点云数据作为点云样本数据,基于PonitNet提取目标对象的点云特征;将所述图像特征与所述点云特征进行连接并进行语义分割。
依据本申请的又一方面,提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如上述任一所述的方法。
由上述可知,本申请的技术方案,获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;获取目标对象的图像标注信息;对点云数据进行分割处理,得到包含所述目标对象的点云子集;建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。有益效果在于,自动化的利用图像数据与点云数据的映射关系获取到较为准确的点云标注信息,克服了传统方法下对3D轮廓不明显的目标对象不易标注的问题,可以应用在自动驾驶领域,实现对道路标线的准确标注,拓宽了目标对象标注的应用场景,节省了人力成本并提高了标注的准确率和泛化能力。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的一种目标对象的标注方法的流程示意图;
图2示出了根据本申请一个实施例的一种目标对象的标注装置的结构示意图;
图3示出了根据本申请一个实施例的电子设备的结构示意图;
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的一种目标对象的标注方法的流程示意图。如图1所示,该方法包括:
步骤110,获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系。
在自动驾驶领域,自动驾驶车辆一般设置有摄像头和激光雷达。点云数据和图像数据可以分别由相应的探测设备来获取,例如使用激光雷达获取激光点云,通过摄像头进行图像拍摄,进一步得到点云数据与图像数据。本申请的设计思路在于,通过图像易于对某些难以在点云中直接标注的物体进行标注,再进行转换,实现在点云中的标注,则点云数据与图像数据必须具有一定的对应关系,否则标注的物体就难以对应起来,不能得到准确的标注。
步骤120,获取目标对象的图像标注信息。
在图像中对相关信息进行标注是易于实现的,借助清晰的图像标注信息和图像数据的对应关系可以有效的训练机器通过点云数据对目标对象进行识别,所以需要获取到较为准确的目标对象的标注信息以为后续针对目标对象的精准识别打下基础。
步骤130,对点云数据进行分割处理,得到包含目标对象的点云子集。
激光雷达获取到的点云数据是对周边环境扫描结果的反映数据,具有复杂性和丰富性,但对于识别特殊类型目标对象来说,只需要包含目标对象的点云子集数据就足够了,所以需要对获取到的点云数据进行分割处理。这样,可以有效提高目标对象的工作效率和标注准确性。
步骤140,建立点云数据与图像数据的点映射关系,根据点映射关系和图像标注信息在点云子集中得到点云标注信息。
根据点云数据与图像数据的点映射关系和图像标注信息的数据,可以建立起转化关系,将目标对象的图像数据转化为可被计算机识别和处理的点云标注信息,可以提升了自动驾驶中对于道路交通标线的探测识别能力和标注准确性,为后续的实际自动驾驶的可靠化应用及数据的自动化分析和处理打下良好基础。
可见,如图1所示的方法,自动化的利用图像数据与点云数据的映射关系获取到较为准确的点云标注信息,克服了传统方法下对3D轮廓不明显的目标对象不易标注的问题,可以应用在自动驾驶领域,实现对道路标线的准确标注,拓宽了目标对象标注的应用场景,节省了人力成本并提高了标注的准确率和泛化能力。
在本申请的一个实施例中,上述方法中,目标对象为道路交通标线,对点云数据进行分割处理,得到包含目标对象的点云子集包括:基于高度、法向量或平滑性中的至少一种对点云数据进行地面分割,得到包含道路交通标线的点云子集。
道路交通标线可以包括车道线、地面转向箭头等,通常是在道路路面上通过涂画成形,在道路路面上有一定高度,但是由于高度较低,难以在点云中直接标注。根据高度、法向量或平滑性都可以对目标对象进行分割处理,所以可以利用三项标准中的任一单一或复合组合进行地面分割处理,从原始点云数据中得到包含道路交通标线的点云子集。实现了数据的精细化处理,优化了自动驾驶道路交通标线探测的准确性、提升了后续处理的工作效率和准确性。
在本申请的一个实施例中,上述方法中,点云数据是根据激光雷达探测得到的,图像数据是根据摄像头探测得到的;激光雷达和摄像头经过同步处理,时间戳同步误差在预设范围内。
为了使自动驾驶车辆上激光雷达探测到的点云数据和摄像头探测到的图像数据始终保持稳定的对应关系,需要使激光雷达和摄像头的工作状态进行同步处理。可以利用时间戳处理方法进行同步。为了获得较高的同步效果,应将误差控制在在毫秒以内。可以将硬件的同步误差控制在1ms内,软件的同步误差控制在10ms内。这样,在较小的同步误差率下,保障了激光雷达和摄像头的工作状态的同步效果,提高了探测数据的准确性,获得探测数据间较准确的对应关系。
在本申请的一个实施例中,上述方法中,建立点云数据与图像数据的点映射关系包括:对激光雷达和摄像头进行标定,根据标定结果确定点云坐标系与图像坐标系的转换关系。
为了准确反映自动驾驶道路周边环境,需要在激光雷达和摄像头开始探测前对它们自身传感器的位置进行标定,从而得到激光雷达和摄像头各自的标定结果。然后以这一标定结果为基础,确定激光雷达的点云坐标系、摄像头的图像坐标系以及点云坐标与图像坐标的转化关系。这样,较好的实现了对工作参数校订,减少了误差,提高了点云坐标与图像坐标转化的准确性。
在本申请的一个实施例中,上述方法中,图像标注信息为轮廓线;根据标定结果确定点云坐标系与图像坐标系的转换关系包括:确定坐标系转换的旋转矩阵R和平移矩阵T;根据点映射关系和图像标注信息在点云子集中得到点云标注信息包括:将轮廓线标注出的图像区域根据旋转矩阵R和平移矩阵T投影至点云子集中。
例如,对于图片中出现的车道线这一目标对象来说,可以使用轮廓线条将车道线框出来。根据旋转矩阵R和平移矩阵T确定出车道线的点云坐标系和图像坐标的转换关系。将图像数据中被轮廓线标注出的车道线图像区域根据旋转矩阵R和平移矩阵T的转换关系投影至对应的点云数据包含目标对象的点云子集中。这样,就实现了点云数据和图像数据的对应转化,方便机器的读取和处理。
在本申请的一个实施例中,上述方法中,该方法还包括:根据图像标注信息和点云标注信息训练得到目标对象的识别模型。
为了提高对于目标对象的探测识别能力,可以采用机器深度学习的方法。例如,建立一个针对目标对象车道线的识别模型,根据车道线图像标注信息和点云标注信息进行大量的识别训练,以提高机器深度学习的效果。利用机器深度学习的方法,可以大幅度提升工作效率、提高目标对象的识别准确性、提升自动驾驶道路交通标线标注的准确性,拓展了应用场景和应用的泛化能力。
在本申请的一个实施例中,上述方法中,根据图像标注信息和点云标注信息训练得到目标对象的识别模型包括:将包含图像标注信息的图像数据作为图像样本数据,基于卷积神经网络CNN提取目标对象的图像特征;将包含点云标注信息的点云数据作为点云样本数据,基于PonitNet提取目标对象的点云特征;将图像特征与点云特征进行连接并进行语义分割。
可以利用卷积神经网络CNN具有的较为稳定的表征学习效果的优点进行机器深度学习训练。例如,利用卷积神经网络CNN提取图像数据中的车道线、转向标识等目标对象的图像特征,从而提取到图像表征特征。点云具有无序性、旋转性特点,因此可以利用PonitNet进行三维深度学习。例如,利用PonitNet提取出激光雷达所探测到的包含车道线、转向线等目标对象的点云数据,提取到点云数据表征特征。对上述获取到的图像表征特征和点云数据表征特征进行连接并进行语义分割,从而从像素的角度分割出图像数据中的不同对象。这样,通过提取图像表征数据可以获知“图像是什么”,点云数据表征数据可以获知图像中“目标对象在哪里”,语义分割又从像素角度再次明晰上面两个问题,完整实现了计算机对于目标对象识别的深度学习。此外,采用点云数据和图像数据的表征特征共同作为分析样本不但可以起到提高准确度的作用,还能起到冗余机制作用。例如在夜间或者摄像头损坏等情况下图像数据探测效果不佳的时,也能有效实现对于识别对象的准确识别。这样,通过引入机器深度学习方法,大幅提高了识别工作的自动化程度,提高了工作效率和目标对象的识别准确性、拓展了应用场景和应用的泛化能力。
图2示出了根据本申请一个实施例的一种目标对象的标注装置的结构示意图。如图2所示,目标对象的标注装置200包括:
数据单元210,用于获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系。
在自动驾驶领域,自动驾驶车辆一般设置有摄像头和激光雷达。点云数据和图像数据可以分别由相应的探测设备来获取,例如使用激光雷达获取激光点云,通过摄像头进行图像拍摄,进一步得到点云数据与图像数据。本申请的设计思路在于,通过图像易于对某些难以在点云中直接标注的物体进行标注,再进行转换,实现在点云中的标注,则点云数据与图像数据必须具有一定的对应关系,否则标注的物体就难以对应起来,不能得到准确的标注。
图像标注单元220,用于获取目标对象的图像标注信息。
在图像中对相关信息进行标注是易于实现的,借助清晰的图像标注信息和图像数据的对应关系可以有效的训练机器通过点云数据对目标对象进行识别,所以需要获取到较为准确的目标对象的标注信息以为后续针对目标对象的精准识别打下基础。
点云分割单元230,用于对点云数据进行分割处理,得到包含目标对象的点云子集。
激光雷达获取到的点云数据是对周边环境扫描结果的反映数据,具有复杂性和丰富性,但对于识别特殊类型目标对象来说,只需要包含目标对象的点云子集数据就足够了,所以需要对获取到的点云数据进行分割处理。这样,可以有效提高目标对象的工作效率和标注准确性。
点云标注单元240,用于建立点云数据与图像数据的点映射关系,根据点映射关系和图像标注信息在点云子集中得到点云标注信息。
根据点云数据与图像数据的点映射关系和图像标注信息的数据,可以建立起转化关系,将目标对象的图像数据转化为可被计算机识别和处理的点云标注信息,可以提升了自动驾驶中对于道路交通标线的探测识别能力和标注准确性,为后续的实际自动驾驶的可靠化应用及数据的自动化分析和处理打下良好基础。
可见,如图1所示的装置,自动化的利用图像数据与点云数据的映射关系获取到较为准确的点云标注信息,克服了传统方法下对3D轮廓不明显的目标对象不易标注的问题,可以应用在自动驾驶领域,实现对道路标线的准确标注,拓宽了目标对象标注的应用场景,节省了人力成本并提高了标注的准确率和泛化能力。
在本申请的一个实施例中,目标对象为道路交通标线,点云分割单元230用于基于高度、法向量或平滑性中的至少一种对点云数据进行地面分割,得到包含道路交通标线的点云子集。
在本申请的一个实施例中,点云数据是根据激光雷达探测得到的,图像数据是根据摄像头探测得到的;激光雷达和摄像头经过同步处理,时间戳同步误差在预设范围内。
在本申请的一个实施例中,点云标记单元240,用于对激光雷达和摄像头进行标定,根据标定结果确定点云坐标系与图像坐标系的转换关系。
在本申请的一个实施例中,图像标注信息为轮廓线;点云标记单元240,用于确定坐标系转换的旋转矩阵R和平移矩阵T;以及用于将轮廓线标注出的图像区域根据旋转矩阵R和平移矩阵T投影至点云子集中。
在本申请的一个实施例中,目标对象的标注装置200还包括训练单元,用于根据图像标注信息和点云标注信息训练得到目标对象的识别模型。
在本申请的一个实施例中,训练单元用于将包含图像标注信息的图像数据作为图像样本数据,基于卷积神经网络CNN提取目标对象的图像特征;将包含点云标注信息的点云数据作为点云样本数据,基于PonitNet提取目标对象的点云特征;将图像特征与点云特征进行连接并进行语义分割。
需要说明的是,上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行,在此不再赘述。
综上所述,本申请的技术方案,获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;获取目标对象的图像标注信息;对点云数据进行分割处理,得到包含所述目标对象的点云子集;建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。有益效果在于,自动化的利用图像数据与点云数据的映射关系获取到较为准确的点云标注信息,克服了传统方法下对3D轮廓不明显的目标对象不易标注的问题,拓宽了目标对象标注的应用场景,节省了人力成本并提高了标注的准确率和泛化能力。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的目标对象的标注装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如,用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331,可以被电子设备300的处理器310读取,当计算机可读程序代码331由电子设备300运行时,导致该电子设备300执行上面所描述的方法中的各个步骤,具体来说,该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种目标对象的标注方法,其特征在于,该方法包括:
获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;
获取目标对象的图像标注信息;
对点云数据进行分割处理,得到包含所述目标对象的点云子集;
建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。
2.如权利要求1所述的方法,其特征在于,所述目标对象为道路交通标线,所述对点云数据进行分割处理,得到包含所述目标对象的点云子集包括:
基于高度、法向量或平滑性中的至少一种对所述点云数据进行地面分割,得到包含道路交通标线的点云子集。
3.如权利要求1所述的方法,其特征在于,所述点云数据是根据激光雷达探测得到的,所述图像数据是根据摄像头探测得到的;
所述激光雷达和所述摄像头经过同步处理,时间戳同步误差在预设范围内。
4.如权利要求3所述的方法,其特征在于,所述建立所述点云数据与所述图像数据的点映射关系包括:对所述激光雷达和所述摄像头进行标定,根据标定结果确定点云坐标系与图像坐标系的转换关系。
5.如权利要求4所述的方法,其特征在于,所述图像标注信息为轮廓线;
根据标定结果确定点云坐标系与图像坐标系的转换关系包括:确定坐标系转换的旋转矩阵R和平移矩阵T;
所述根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息包括:
将所述轮廓线标注出的图像区域根据所述旋转矩阵R和平移矩阵T投影至所述点云子集中。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述图像标注信息和所述点云标注信息训练得到目标对象的识别模型。
7.如权利要求6所述的方法,其特征在于,所述根据所述图像标注信息和所述点云标注信息训练得到目标对象的识别模型包括:
将包含图像标注信息的图像数据作为图像样本数据,基于卷积神经网络CNN提取目标对象的图像特征;
将包含点云标注信息的点云数据作为点云样本数据,基于PonitNet提取目标对象的点云特征;
将所述图像特征与所述点云特征进行连接并进行语义分割。
8.一种目标对象的标注装置,其特征在于,该装置包括:
数据单元,用于获取包含目标对象的点云数据与图像数据,其中,点云数据与图像数据具有对应关系;
图像标注单元,用于获取目标对象的图像标注信息;
点云分割单元,用于对点云数据进行分割处理,得到包含所述目标对象的点云子集;
点云标注单元,用于建立所述点云数据与所述图像数据的点映射关系,根据所述点映射关系和所述图像标注信息在所述点云子集中得到点云标注信息。
9.一种电子设备,其中,该电子设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如权利要求1-7中任一项所述的方法。
CN201910739663.8A 2019-08-12 2019-08-12 一种目标对象的标注方法和装置 Pending CN110598743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910739663.8A CN110598743A (zh) 2019-08-12 2019-08-12 一种目标对象的标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910739663.8A CN110598743A (zh) 2019-08-12 2019-08-12 一种目标对象的标注方法和装置

Publications (1)

Publication Number Publication Date
CN110598743A true CN110598743A (zh) 2019-12-20

Family

ID=68854047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910739663.8A Pending CN110598743A (zh) 2019-08-12 2019-08-12 一种目标对象的标注方法和装置

Country Status (1)

Country Link
CN (1) CN110598743A (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN111259829A (zh) * 2020-01-19 2020-06-09 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111325136A (zh) * 2020-02-17 2020-06-23 北京小马智行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111353535A (zh) * 2020-02-28 2020-06-30 江苏黑麦数据科技有限公司 标注方法和装置
CN111353273A (zh) * 2020-03-09 2020-06-30 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN111401179A (zh) * 2020-03-09 2020-07-10 深圳大学 一种雷达数据标注方法、装置、服务器及存储介质
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111612068A (zh) * 2020-05-21 2020-09-01 腾讯科技(深圳)有限公司 图像标注方法、装置、计算机设备及存储介质
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具
CN112017241A (zh) * 2020-08-20 2020-12-01 广州小鹏汽车科技有限公司 一种数据处理的方法和装置
CN112270319A (zh) * 2020-11-10 2021-01-26 杭州海康威视数字技术股份有限公司 一种事件标注方法、装置及电子设备
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112435333A (zh) * 2020-10-14 2021-03-02 腾讯科技(深圳)有限公司 一种道路场景的生成方法以及相关装置
CN112528610A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112735253A (zh) * 2020-10-22 2021-04-30 深圳裹动智驾科技有限公司 红绿灯自动标注方法及计算机设备
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
WO2021114884A1 (zh) * 2019-12-11 2021-06-17 杭州海康威视数字技术股份有限公司 点云标注方法、装置、系统、设备及存储介质
CN113191279A (zh) * 2021-05-07 2021-07-30 北京百度网讯科技有限公司 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113379748A (zh) * 2020-03-09 2021-09-10 北京京东乾石科技有限公司 一种点云全景分割方法和装置
WO2021189420A1 (zh) * 2020-03-27 2021-09-30 华为技术有限公司 一种数据处理方法及装置
CN113591580A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 图像标注方法、装置、电子设备和存储介质
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN113763307A (zh) * 2020-08-11 2021-12-07 北京京东乾石科技有限公司 样本数据的获取方法和装置
CN114051628A (zh) * 2020-10-30 2022-02-15 华为技术有限公司 一种确定目标对象点云集的方法及装置
CN114168554A (zh) * 2022-02-14 2022-03-11 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114185476A (zh) * 2021-11-18 2022-03-15 路米科技(江苏)有限公司 一种立体框交互方法及系统
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN114792343A (zh) * 2022-06-21 2022-07-26 阿里巴巴达摩院(杭州)科技有限公司 图像获取设备的标定方法、获取图像数据的方法、装置
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德(北京)机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品
WO2024018173A1 (en) * 2022-07-22 2024-01-25 Oxa Autonomy Ltd A computer-implemented method of generating a lane boundary model of a route traversed by an autonomous vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN108734120A (zh) * 2018-05-15 2018-11-02 百度在线网络技术(北京)有限公司 标注图像的方法、装置、设备和计算机可读存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备、存储介质及车辆
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN108734120A (zh) * 2018-05-15 2018-11-02 百度在线网络技术(北京)有限公司 标注图像的方法、装置、设备和计算机可读存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备、存储介质及车辆
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114884A1 (zh) * 2019-12-11 2021-06-17 杭州海康威视数字技术股份有限公司 点云标注方法、装置、系统、设备及存储介质
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111259829A (zh) * 2020-01-19 2020-06-09 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111259829B (zh) * 2020-01-19 2023-10-20 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111325136B (zh) * 2020-02-17 2024-03-19 北京小马慧行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111325136A (zh) * 2020-02-17 2020-06-23 北京小马智行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111353535A (zh) * 2020-02-28 2020-06-30 江苏黑麦数据科技有限公司 标注方法和装置
CN111353535B (zh) * 2020-02-28 2023-11-03 江苏黑麦数据科技有限公司 标注方法和装置
CN111401179A (zh) * 2020-03-09 2020-07-10 深圳大学 一种雷达数据标注方法、装置、服务器及存储介质
CN111353273B (zh) * 2020-03-09 2023-09-26 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN113379748B (zh) * 2020-03-09 2024-03-01 北京京东乾石科技有限公司 一种点云全景分割方法和装置
CN111353273A (zh) * 2020-03-09 2020-06-30 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN113379748A (zh) * 2020-03-09 2021-09-10 北京京东乾石科技有限公司 一种点云全景分割方法和装置
WO2021189420A1 (zh) * 2020-03-27 2021-09-30 华为技术有限公司 一种数据处理方法及装置
CN111612068A (zh) * 2020-05-21 2020-09-01 腾讯科技(深圳)有限公司 图像标注方法、装置、计算机设备及存储介质
CN111612068B (zh) * 2020-05-21 2023-01-06 腾讯科技(深圳)有限公司 图像标注方法、装置、计算机设备及存储介质
CN113763307A (zh) * 2020-08-11 2021-12-07 北京京东乾石科技有限公司 样本数据的获取方法和装置
CN112017241A (zh) * 2020-08-20 2020-12-01 广州小鹏汽车科技有限公司 一种数据处理的方法和装置
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具
CN112435333A (zh) * 2020-10-14 2021-03-02 腾讯科技(深圳)有限公司 一种道路场景的生成方法以及相关装置
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112735253A (zh) * 2020-10-22 2021-04-30 深圳裹动智驾科技有限公司 红绿灯自动标注方法及计算机设备
CN112735253B (zh) * 2020-10-22 2023-03-10 深圳安途智行科技有限公司 红绿灯自动标注方法及计算机设备
CN114051628A (zh) * 2020-10-30 2022-02-15 华为技术有限公司 一种确定目标对象点云集的方法及装置
WO2022088104A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种确定目标对象点云集的方法及装置
CN112414396A (zh) * 2020-11-05 2021-02-26 山东产研信息与人工智能融合研究院有限公司 现实场景中物体模位置测量方法、装置、存储介质及设备
CN112270319A (zh) * 2020-11-10 2021-01-26 杭州海康威视数字技术股份有限公司 一种事件标注方法、装置及电子设备
CN112270319B (zh) * 2020-11-10 2023-09-05 杭州海康威视数字技术股份有限公司 一种事件标注方法、装置及电子设备
CN112528610B (zh) * 2020-12-09 2023-11-14 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112528610A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112862017B (zh) * 2021-04-01 2023-08-01 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN113191279A (zh) * 2021-05-07 2021-07-30 北京百度网讯科技有限公司 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113591580A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 图像标注方法、装置、电子设备和存储介质
CN113591580B (zh) * 2021-06-30 2022-10-14 北京百度网讯科技有限公司 图像标注方法、装置、电子设备和存储介质
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN113762413B (zh) * 2021-09-30 2023-12-26 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN114185476A (zh) * 2021-11-18 2022-03-15 路米科技(江苏)有限公司 一种立体框交互方法及系统
CN114168554A (zh) * 2022-02-14 2022-03-11 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114168554B (zh) * 2022-02-14 2022-05-20 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN114792343B (zh) * 2022-06-21 2022-09-30 阿里巴巴达摩院(杭州)科技有限公司 图像获取设备的标定方法、获取图像数据的方法、装置
CN114792343A (zh) * 2022-06-21 2022-07-26 阿里巴巴达摩院(杭州)科技有限公司 图像获取设备的标定方法、获取图像数据的方法、装置
WO2024018173A1 (en) * 2022-07-22 2024-01-25 Oxa Autonomy Ltd A computer-implemented method of generating a lane boundary model of a route traversed by an autonomous vehicle
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德(北京)机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品

Similar Documents

Publication Publication Date Title
CN110598743A (zh) 一种目标对象的标注方法和装置
CN110568451B (zh) 一种高精度地图中道路交通标线的生成方法和装置
CN110197148B (zh) 目标物体的标注方法、装置、电子设备和存储介质
CN110084895B (zh) 对点云数据进行标注的方法和设备
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN111310667B (zh) 确定标注是否准确的方法、装置、存储介质与处理器
CN104766058A (zh) 一种获取车道线的方法和装置
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN111401133A (zh) 目标数据增广方法、装置、电子设备和可读存储介质
CN111523459A (zh) 遥感影像裸地识别方法、装置、电子设备及存储介质
US20210191397A1 (en) Autonomous vehicle semantic map establishment system and establishment method
CN112329846A (zh) 激光点云数据高精度标注方法及系统、服务器及介质
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN109115232B (zh) 导航的方法和装置
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN111316324A (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN111126154A (zh) 路面元素的识别方法、装置、无人驾驶设备和存储介质
CN117079238A (zh) 道路边沿检测方法、装置、设备及存储介质
CN111797832A (zh) 一种图像感兴趣区域自动生成方法及系统及图像处理方法
CN115618602A (zh) 一种车道级场景仿真方法及系统
CN115235493A (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
CN113516081A (zh) 一种通过深度学习图像识别技术实现虚拟水尺识别水位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220