CN107798010A - 一种传感器数据的标注装置 - Google Patents

一种传感器数据的标注装置 Download PDF

Info

Publication number
CN107798010A
CN107798010A CN201610799121.6A CN201610799121A CN107798010A CN 107798010 A CN107798010 A CN 107798010A CN 201610799121 A CN201610799121 A CN 201610799121A CN 107798010 A CN107798010 A CN 107798010A
Authority
CN
China
Prior art keywords
data
dimensional
labeled
dimension
labeled data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610799121.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fafa Automobile China Co ltd
Original Assignee
Faraday Beijing Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday Beijing Network Technology Co Ltd filed Critical Faraday Beijing Network Technology Co Ltd
Priority to CN201610799121.6A priority Critical patent/CN107798010A/zh
Publication of CN107798010A publication Critical patent/CN107798010A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Abstract

本发明实施例提供了一种传感器数据的标注装置,包括:数据采集模块,用于调用二维传感器和三维传感器分别采集二维数据和三维数据;数据标注模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维标注数据和三维标注数据;数据校验模块,用于根据所述二维标注数据和所述三维标注数据进行相互校验,获得二维目标标注数据和/或三维目标标注数据。通过利用不同来源数据间的互补性,进行标注数据的互相校验,利用二维数据和三维数据各自的优势弥补对方的局限性,不仅提高二维标注数据和三维标注数据的精确度,而且减少标注耗费的时间,由于作为训练数据的二维标注数据和三维标注数据的精确度高,提高了后续训练所得模型的性能。

Description

一种传感器数据的标注装置
技术领域
本发明涉及无人车的技术领域,特别是涉及一种传感器数据的标注装置。
背景技术
无人车是汽车的信息化发展方向,环境感知是无人车的关键技术之一。
环境感知是对无人车周围静态和动态环境进行检测,在路面上,静态障碍物包括车道线,交通指示灯,交通标志牌,路面标记等,动态障碍物包括行人、车辆、自行车灯,等等。
基于周围静态和动态环境规划路线,以保证无人车在行驶过程中能够遵守道路交通标示,并避开行人、车辆等障碍物。
为进行环境感知,无人车中通常配备多种传感器设备,一般包括二维(2D)传感器和三维(3D)传感器,用于采集2D数据和3D数据。
在环境感知过程中,通常需要用到机器学习的方法,通过对海量数据进行标注,获得标注数据训练模型,从而完成对特定对象的检测、跟踪和识别等任务。
发明人在实现发明的过程中发现,在标注过程中,2D数据和3D数据通常单独标注。
一方面,2D数据的标注清晰、直观,但是视角单一、探测范围受限。
另一方面,3D数据的标注感知范围大,可直接对3D环境进行建模,但是标注复杂度高。
对2D数据和3D数据进行标注各自具有局限性,不仅标注数据的精确度低,并且标注耗费的时间长,由于作为训练数据的标注数据精确度低,导致用这些数据训练的模型性能较差。
发明内容
本发明实施例提供一种传感器数据的标注装置,用以解决导致标注数据的精确度不高,并且耗费时间的问题。
本发明实施例提供一种传感器数据的标注装置,包括:
数据采集模块,用于调用二维传感器和三维传感器分别采集二维数据和三维数据;
数据标注模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维标注数据和三维标注数据;
数据校验模块,用于根据所述二维标注数据和所述三维标注数据进行相互校验,获得二维目标标注数据和/或三维目标标注数据。
优选地,所述数据采集模块包括:
同步采集子模块,用于分别调用二维传感器和三维传感器在同一时间采集二维数据和三维数据。
优选地,所述数据标注模块包括:
第一投射子模块,用于将所述二维数据和所述三维数据分别投射到同一坐标系中,获得二维坐标数据和三维坐标数据;
第一标注子模块,用于在所述同一坐标系中,对所述二维坐标数据和所述三维坐标数据分别进行标注,获得二维标注数据和三维标注数据;
或者,
第二标注子模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维原始标注数据和三维原始标注数据;
第二投射子模块,用于将所述二维原始数据和所述三维原始数据分别投射到同一坐标系中,获得二维标注数据和三维标注数据。
优选地,所述数据校验模块包括:
二维数据投射子模块,用于将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
三维数据校验子模块,用于在所述三维空间中,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
和/或,
三维数据投射子模块,用于将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得二维参考标注数据;
二维数据校验子模块,用于在所述二维空间中,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
优选地,所述二维数据投射子模块包括:
第一目标投射单元,用于在所述二维标注数据的二维标注对象为预设的第一目标对象时,将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
所述三维数据投射子模块包括:
第二目标投射单元,用于在所述三维标注数据的三维标注对象为预设的第二目标对象时,将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得三维参考标注数据。
优选地,所述三维数据校验子模块包括:
第一相似度计算单元,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,计算所述三维参考标注数据与所述三维标注数据的第一相似度;
第一相似度校验单元,用于在所述第一相似度低于预设的第一相似度阈值时,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
所述二维数据校验子模块包括:
第二相似度计算单元,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,计算所述二维参考标注数据与所述二维标注数据的第二相似度;
第二相似度校验单元,用于在所述第二相似度低于预设的第二相似度阈值时,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
优选地,所述三维数据校验子模块包括:
第一标注数据生成子模块,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,采用所述三维参考标注数据和所述三维标注数据生成三维目标标注数据;
其中,所述三维参考标注数据的权重大于所述三维标注数据的权重;
所述二维数据校验子模块包括:
第二标注数据生成子模块,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,采用所述二维参考标注数据和所述二维标注数据生成二维目标标注数据;
其中,所述二维参考标注数据的权重大于所述二维标注数据的权重。
优选地,所述校验包括如下的一种或多种操作:
拉伸、拖拽、缩放、旋转。
优选地,还包括:
模型训练模块,用于采用所述二维目标标注数据和/或所述三维目标标注数据训练模型。
本发明实施例提供的传感器数据的标注装置,通过调用二维传感器和三维传感器采集二维数据和三维数据进行标注,对标注获得的二维标注数据和三维标注数据进行相互校验,通过利用不同来源数据间的互补性,进行标注数据的互相校验,可以利用二维数据和三维数据各自的优势弥补对方的局限性,对对方进行校验、修正,不仅提高二维标注数据和三维标注数据的精确度,而且减少标注耗费的时间,由于作为训练数据的二维标注数据和三维标注数据的精确度高,提高了后续训练所得模型的性能。
附图说明
图1是本发明的一种传感器数据的标注方法实施例的步骤流程图;
图2A是本发明实施例的一种二维标注数据的示例图;
图2B是本发明实施例的一种三维标注数据的示例图;
图3A-图3B是本发明实施例的一种三维标注数据的校验示例图;
图4A-图4B是本发明实施例的一种二维标注数据的校验示例图;
图5是本发明的一种传感器数据的标注装置实施例的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明的一种传感器数据的标注方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,调用二维传感器和三维传感器分别采集二维数据和三维数据。
在实际应用中,本发明实施例可以应用在无人控制机器中,例如,无人车、无人机器人、扫地机器人、无人飞机等等。
在这些无人控制机器中,安装有二维(2D)传感器和三维(3D)传感器,其中,2D传感器可以包括摄像机等等,3D传感器可以激光雷达、毫米波雷达、超声波雷达等等。
2D传感器和3D传感器的安装位置和朝向一般依赖于需要它感知的物体范围,例如,在无人车中需要检测车辆前方的障碍物,则2D传感器和3D传感器一般安装在车辆的上方或者前方,扫描方向针对车辆的正前方。
在本发明实施例中,可以分别调用二维传感器和三维传感器在同一时间采集二维数据和三维数据,例如,调用摄像机和激光雷达同时采集图像数据和激光点云。
在一种同步方式中,可以同时向2D传感器和3D传感器发出指令,使得2D传感器和3D传感器同时开始采集2D数据和3D数据。
在另一种同步方式中,2D传感器和3D传感器可以在采集2D数据和3D数据时,对2D数据和3D数据添加时间戳,通过时间戳来同步2D数据和3D数据。
步骤102,对所述二维数据和所述三维数据分别进行标注,获得二维标注数据和三维标注数据。
在2D空间进行标注,一般指在2D数据中(如图像数据)对特定感兴趣的对象(如障碍物、车道线等)进行人工或自动标记的过程。
例如,如图2A所示,在图像数据中可以通过2D标注工具用矩形框对障碍物(如车辆)进行标注。
在3D空间进行标注,一般指在3D数据中(如激光点云)中对特定感兴趣的对象(如可行驶区域、障碍物等)进行人工或自动标记的过程。
例如,如图2B所示,在激光点云中可以通过3D标注工具用立方体对障碍物(如车辆)进行标注。
在本发明实施例中,可以对2D数据和3D数据进行标注,获得在同一坐标系中的二维标注数据和三维标注数据。
其中,同一坐标系方便对不同类型的传感器的标注数据进行校验。
在具体实现中,可以预先对2D传感器和3D传感器进行标定,获得标定信息,采用标定信息将2D数据和3D数据投射到一个同一坐标系中。
其中,标定是指通过对不同传感器的成像特性进行分析,确定其成像模型的空间几何关系,并通过求解投影矩阵对该空间几何关系进行表征的过程。其求解过程主要包括寻找同一时刻不同传感器采集的数据上的对应点集,并通过这些点集的约束求解投影矩阵的过程。
例如,在激光雷达和摄像机联合标定方面,可以采用直角三角形平板作为标靶,采用线条作为匹配调整得到标定结果;将激光雷达埃及的距离信息图通过变换,使场景自然边缘更清晰突出,再提取边缘线条与摄像机拍摄的照片中检测出来的边缘相匹配;在传感器平台沿任意轨道移动过程中针对固定靶标多次采集数据,通过最小化不同视角拍摄的多帧间场景点的欧式投影偏差来得到标定结果等等。
采用标定信息进行投射,指将对某类传感器在其表述空间进行的标注结果,投射到另一类传感器表示空间的过程,该投影过程通常包括一系列坐标变换过程。
如下以世界坐标系作为同一坐标系的示例,3D数据初始采用的为物体坐标系。
如果有两个坐标系C与C’,C’是围绕C绕Z轴旋转θ得到的,那么,各个坐标轴的变换如下:
Cx(1,0,0)→C’x(cosθ,sinθ,0)
Cy(0,1,0)→C’y(-sinθ,cosθ,0)
Cz(0,0,1)→C’z(0,0,z)
如果C坐标系的点P(x,y,z),则其在C’的表示为P’(xcosθ+ysinθ,-xsinθ+ycosθ,0)。
在本发明的一个实施例中,步骤102可以包括如下子步骤:
子步骤S11,将所述二维数据和所述三维数据分别投射到同一坐标系中,获得二维坐标数据和三维坐标数据;
子步骤S12,在所述同一坐标系中,对所述二维坐标数据和所述三维坐标数据分别进行标注,获得二维标注数据和三维标注数据。
在本发明实施例中,可以先将2D数据和3D数据投射到同一坐标系中,再对2D数据和3D数据进行标注。
在本发明的另一个实施例中,步骤102可以包括如下子步骤:
子步骤S21,对所述二维数据和所述三维数据分别进行标注,获得二维原始标注数据和三维原始标注数据;
子步骤S22,将所述二维原始数据和所述三维原始数据分别投射到同一坐标系中,获得二维标注数据和三维标注数据。
在本发明实施例中,可以先对2D数据和3D数据进行标注,再将2D标注数据和3D标注数据投射到同一坐标系中。
需要说明的是,2D数据和3D数据可以独立标注,也可以混合标注,本发明实施例对此不加以限制。
步骤103,根据所述二维标注数据和所述三维标注数据进行相互校验,获得二维目标标注数据和/或三维目标标注数据。
在实际应用中,2D数据与3D数据的物理属性不同,具有互补性,可以互为校验、修正。
在本发明的一个实施例中,步骤103可以包括如下子步骤:
子步骤S31,将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
子步骤S32,在所述三维空间中,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据。
在本发明实施例中,基于2D传感器的外参的标定信息和内参的标定信息,通过相应坐标变换,将2D标注数据投射到3D空间中,例如,采用图像数据的像素投射到3D控件中、对3D数据进行着色,可以更直观的获得环境信息。
通过对2D标注数据和3D标注数据进行可视化操作,可以对比2D标注数据和3D标注数据进行校验,如对2D数据中的车辆标注的矩形框是否对应在3D激光点云数据中一个真实存在的车辆位置。
在投射时,由于3D数据与2D数据不仅维度不同、度量不同(2D数据的坐标一般以像素为单位,3D数据可以以现实世界的米、厘米为单位)、XY的方向也不同,因此,将2D标注数据投射到3D空间中,一般涉及统计坐标系(如世界坐标系)、相机坐标系、投影坐标系、图像(像素)坐标系之间的转换。
需要说明的是,将2D标注数据投射到3D空间中,一般需要先验假设。
在本发明实施例的一个示例中,校验可以包括如下的一种或多种操作:
拉伸、拖拽、缩放和旋转等。
例如,如图3A所示,如果将2D标注数据投射到3D空间中,发现3D标注数据(立方体中的数据)与检测目标(不规则图形)不吻合,则可以沿箭头方向拉伸、拖拽、缩放或旋转所述3D标注数据,则可以获得图3B所示的与检测目标更加吻合的3D标注数据。
在本发明实施例中,为了提高标注的自动化程度,提高标注的效率,可以预先设定第一目标对象,这些第一目标对象可以为在二维空间中标注的质量(如复杂度、精确度等)比在三维空间中标注的质量(如复杂度、精确度等)高(如复杂度低、精确度高等)的对象,如道路、行人等。
当二维标注数据的二维标注对象为预设的第一目标对象时,将二维标注数据投射到三维标注数据所属的三维空间中,获得三维参考标注数据。
当然,除了自动将二维标注数据投射到三维标注数据所属的三维空间中之外,在实施本发明实施例时,本领域技术人员可以根据实际情况将二维标注数据投射到三维标注数据所属的三维空间中,本发明实施例对此也不加以限制。
在本发明实施例中,为了减少计算量,提高标注的效率,当二维标注数据的二维标注对象与三维标注数据的三维标注目标为同一个对象时,可以计算三维参考标注数据与三维标注数据的第一相似度。
当第一相似度低于预设的第一相似度阈值时,表示三维参考标注数据与三维标注数据相似度低,三维标注数据可能存在较大的标注偏差,可以基于三维参考标注数据对三维标注数据进行校验,获得三维目标标注数据。
反之,当第一相似度等于或高于预设的第一相似度阈值时,表示三维参考标注数据与三维标注数据相似度高,三维标注数据的标注偏差较小,一般在误差范围内,则可以不对三维标注数据进行校验。
当然,除了通过第一相似度对三维标注数据进行校验之外,在实施本发明实施例时,本领域技术人员可以根据实际情况基于三维参考标注数据对三维标注数据进行校验,本发明实施例对此不加以限制。
在本发明实施例中,为了提高标注的自动化程度,提高标注的效率,当二维标注数据的二维标注对象与三维标注数据的三维标注目标为同一个对象时,可以采用三维参考标注数据和三维标注数据生成三维目标标注数据。
其中,三维参考标注数据的权重大于三维标注数据的权重。
即三维参考标注数据在生成新的标注数据的重要程度比三维标注数据高。
需要说明的是,生成三维目标标注数据的规则,可以由本领域技术人员根据实际需要进行设定,本发明实施例对此不加以限制。
在本发明的另一个实施例中,步骤103可以包括如下子步骤:
子步骤S41,将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得二维参考标注数据;
子步骤S42,在所述二维空间中,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
在本发明实施例中,基于3D传感器的外参标定信息和内参标定信息,通过相应坐标变换,将3D标注数据投射到2D空间中,可以更全面的观察整个无人控制机器周围的环境,从而对2D标注数据进行校验。
通过对2D标注数据和3D标注进行可视化操作,对比2D标注数据和3D数据进行校验,如对2D数据中的车辆标注的矩形框是否对应在3D激光点云数据中一个真实存在的车辆位置。
在投射时,3D数据与2D数据不仅维度不同、度量不同(2D数据的坐标一般以像素为单位,3D数据可以以现实世界的米、厘米为单位)、XY的方向也不同,因此,将2D标注数据投射到3D空间中,一般涉及统计坐标系(如世界坐标系)、相机坐标系、投影坐标系、图像(像素)坐标系之间的转换。
在本发明实施例的一个示例中,校验可以包括如下的一种或多种操作:
拉伸、拖拽、缩放、旋转等。
例如,如图4A所示,如果将3D标注数据投射到2D空间中,发现2D标注数据(矩形框中的数据)与检测目标(不规则图形)不吻合,则可以沿箭头方向拉伸、拖拽、缩放或旋转2D标注数据,则可以获得图4B所示的与检测目标更加吻合的2D标注数据。
在本发明实施例中,为了提高标注的自动化程度,提高标注的效率,可以预先设定第二目标对象,这些第二目标对象可以为在三维空间中标注的质量(如复杂度、精确度等)比在二维空间中标注的质量(如复杂度、精确度等)高(如复杂度低、精确度高等)的对象,如车辆等。
当三维标注数据的三维标注对象为预设的第二目标对象时,将三维标注数据投射到二维标注数据所属的二维空间中,获得三维参考标注数据。
当然,除了自动将三维标注数据投射到二维标注数据所属的二维空间中之外,在实施本发明实施例时,本领域技术人员可以根据实际情况将三维标注数据投射到二维标注数据所属的二维空间中,本发明实施例对此不加以限制。
在本发明实施例中,为了减少计算量,提高标注的效率,当三维标注数据的三维标注对象与二维标注数据的二维标注对象为同一个对象时,计算二维参考标注数据与二维标注数据的第二相似度。
当第二相似度低于预设的第二相似度阈值时,表示二维参考标注数据与二维标注数据相似度低,二维标注数据可能存在较大的标注偏差,可以基于二维参考标注数据对二维标注数据进行校验,获得二维目标标注数据。
反之,当第二相似度等于或高于预设的第二相似度阈值时,表示二维参考标注数据与二维标注数据相似度高,二维标注数据的标注偏差较小,一般在误差范围内,则可以不对二维标注数据进行校验。
当然,除了通过第二相似度对三维标注数据进行校验之外,在实施本发明实施例时,本领域技术人员可以根据实际情况基于二维参考标注数据对二维标注数据进行校验,本发明实施例对此不加以限制。
在本发明实施例中,为了提高标注的自动化程度,提高标注的效率,当三维标注数据的三维标注对象与二维标注数据的二维标注对象为同一个对象时,可以采用二维参考标注数据和二维标注数据生成二维目标标注数据。
其中,二维参考标注数据的权重大于二维标注数据的权重。
即二维参考标注数据在生成新的标注数据的重要程度比二维标注数据高。
需要说明的是,生成二维目标标注数据的规则,可以由本领域技术人员根据实际需要进行设定,本发明实施例对此不加以限制。
在本发明的一个实施例中,可以将二维目标标注数据和/或三维目标标注数据转换成对2D数据和3D数据有效的数据格式,如用位置数据表示二维目标标注数据等,进而可以采用二维目标标注数据和/或三维目标标注数据训练模型。
例如,2D二维目标标注数据可以用于训练目标检测、识别和跟踪模型;三维目标标注数据可以用于训练目标分割和检测模型。
本发明实施例提供的传感器数据的标注方法和装置,通过调用二维传感器和三维传感器采集二维数据和三维数据进行标注,对标注获得的二维标注数据和三维标注数据进行相互校验,通过利用不同来源数据间的互补性,进行标注数据的互相校验,可以利用二维数据和三维数据各自的优势弥补对方的局限性,对对方进行校验、修正,不仅提高二维标注数据和三维标注数据的精确度,而且减少标注耗费的时间,由于作为训练数据的二维标注数据和三维标注数据的精确度高,提高了后续训练所得模型的性能。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了本发明的一种传感器数据的标注装置实施例的结构框图,具体可以包括如下模块:
数据采集模块501,用于调用二维传感器和三维传感器分别采集二维数据和三维数据;
数据标注模块502,用于对所述二维数据和所述三维数据分别进行标注,获得二维标注数据和三维标注数据;
数据校验模块503,用于根据所述二维标注数据和所述三维标注数据进行相互校验,获得二维目标标注数据和/或三维目标标注数据。
在本发明的一个实施例中,所述数据采集模块501可以包括如下子模块:
同步采集子模块,用于分别调用二维传感器和三维传感器在同一时间采集二维数据和三维数据。
在本发明的一个实施例中,所述数据标注模块502可以包括如下子模块:
第一投射子模块,用于将所述二维数据和所述三维数据分别投射到同一坐标系中,获得二维坐标数据和三维坐标数据;
第一标注子模块,用于在所述同一坐标系中,对所述二维坐标数据和所述三维坐标数据分别进行标注,获得二维标注数据和三维标注数据;
或者,
第二标注子模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维原始标注数据和三维原始标注数据;
第二投射子模块,用于将所述二维原始数据和所述三维原始数据分别投射到同一坐标系中,获得二维标注数据和三维标注数据。
在本发明的一个实施例中,所述数据校验模块503可以包括如下子模块:
二维数据投射子模块,用于将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
三维数据校验子模块,用于在所述三维空间中,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
和/或,
三维数据投射子模块,用于将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得二维参考标注数据;
二维数据校验子模块,用于在所述二维空间中,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
在本发明的一个实施例中,所述二维数据投射子模块可以包括如下单元:
第一目标投射单元,用于在所述二维标注数据的二维标注对象为预设的第一目标对象时,将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
所述三维数据投射子模块可以包括如下单元:
第二目标投射单元,用于在所述三维标注数据的三维标注对象为预设的第二目标对象时,将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得三维参考标注数据。
在本发明的一个实施例中,所述三维数据校验子模块可以包括如下单元:
第一相似度计算单元,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,计算所述三维参考标注数据与所述三维标注数据的第一相似度;
第一相似度校验单元,用于在所述第一相似度低于预设的第一相似度阈值时,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
所述二维数据校验子模块可以包括如下单元:
第二相似度计算单元,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,计算所述二维参考标注数据与所述二维标注数据的第二相似度;
第二相似度校验单元,用于在所述第二相似度低于预设的第二相似度阈值时,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
在本发明的一个实施例中,所述三维数据校验子模块可以包括如下单元:
第一标注数据生成子模块,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,采用所述三维参考标注数据和所述三维标注数据生成三维目标标注数据;
其中,所述三维参考标注数据的权重大于所述三维标注数据的权重;
所述二维数据校验子模块可以包括如下单元:
第二标注数据生成子模块,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,采用所述二维参考标注数据和所述二维标注数据生成二维目标标注数据;
其中,所述二维参考标注数据的权重大于所述二维标注数据的权重。
在实际应用中,所述校验可以包括如下的一种或多种操作:
拉伸、拖拽、缩放、旋转。
在本发明的一个实施例中,该装置还可以包括如下模块:
模型训练模块,用于采用所述二维目标标注数据和/或所述三维目标标注数据训练模型。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种传感器数据的标注装置,其特征在于,包括:
数据采集模块,用于调用二维传感器和三维传感器分别采集二维数据和三维数据;
数据标注模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维标注数据和三维标注数据;
数据校验模块,用于根据所述二维标注数据和所述三维标注数据进行相互校验,获得二维目标标注数据和/或三维目标标注数据。
2.根据权利要求1所述的装置,其特征在于,所述数据采集模块包括:
同步采集子模块,用于分别调用二维传感器和三维传感器在同一时间采集二维数据和三维数据。
3.根据权利要求1所述的装置,其特征在于,所述数据标注模块包括:
第一投射子模块,用于将所述二维数据和所述三维数据分别投射到同一坐标系中,获得二维坐标数据和三维坐标数据;
第一标注子模块,用于在所述同一坐标系中,对所述二维坐标数据和所述三维坐标数据分别进行标注,获得二维标注数据和三维标注数据;
或者,
第二标注子模块,用于对所述二维数据和所述三维数据分别进行标注,获得二维原始标注数据和三维原始标注数据;
第二投射子模块,用于将所述二维原始数据和所述三维原始数据分别投射到同一坐标系中,获得二维标注数据和三维标注数据。
4.根据权利要求1所述的装置,其特征在于,所述数据校验模块包括:
二维数据投射子模块,用于将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
三维数据校验子模块,用于在所述三维空间中,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
和/或,
三维数据投射子模块,用于将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得二维参考标注数据;
二维数据校验子模块,用于在所述二维空间中,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
5.根据权利要求4所述的装置,其特征在于,
所述二维数据投射子模块包括:
第一目标投射单元,用于在所述二维标注数据的二维标注对象为预设的第一目标对象时,将所述二维标注数据投射到所述三维标注数据所属的三维空间中,获得三维参考标注数据;
所述三维数据投射子模块包括:
第二目标投射单元,用于在所述三维标注数据的三维标注对象为预设的第二目标对象时,将所述三维标注数据投射到所述二维标注数据所属的二维空间中,获得三维参考标注数据。
6.根据权利要求4所述的装置,其特征在于,
所述三维数据校验子模块包括:
第一相似度计算单元,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,计算所述三维参考标注数据与所述三维标注数据的第一相似度;
第一相似度校验单元,用于在所述第一相似度低于预设的第一相似度阈值时,基于所述三维参考标注数据对所述三维标注数据进行校验,获得三维目标标注数据;
所述二维数据校验子模块包括:
第二相似度计算单元,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,计算所述二维参考标注数据与所述二维标注数据的第二相似度;
第二相似度校验单元,用于在所述第二相似度低于预设的第二相似度阈值时,基于所述二维参考标注数据对所述二维标注数据进行校验,获得二维目标标注数据。
7.根据权利要求4所述的装置,其特征在于,
所述三维数据校验子模块包括:
第一标注数据生成子模块,用于在所述二维标注数据的二维标注对象与所述三维标注数据的三维标注目标为同一个对象时,采用所述三维参考标注数据和所述三维标注数据生成三维目标标注数据;
其中,所述三维参考标注数据的权重大于所述三维标注数据的权重;
所述二维数据校验子模块包括:
第二标注数据生成子模块,用于在所述三维标注数据的三维标注对象与所述二维标注数据的二维标注对象为同一个对象时,采用所述二维参考标注数据和所述二维标注数据生成二维目标标注数据;
其中,所述二维参考标注数据的权重大于所述二维标注数据的权重。
8.根据权利要求1-7中任一权利要求所述的装置,其特征在于,所述校验包括如下的一种或多种操作:
拉伸、拖拽、缩放、旋转。
9.根据权利要求1-7任一权利要求所述的装置,其特征在于,还包括:
模型训练模块,用于采用所述二维目标标注数据和/或所述三维目标标注数据训练模型。
CN201610799121.6A 2016-08-31 2016-08-31 一种传感器数据的标注装置 Withdrawn CN107798010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610799121.6A CN107798010A (zh) 2016-08-31 2016-08-31 一种传感器数据的标注装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610799121.6A CN107798010A (zh) 2016-08-31 2016-08-31 一种传感器数据的标注装置

Publications (1)

Publication Number Publication Date
CN107798010A true CN107798010A (zh) 2018-03-13

Family

ID=61529688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610799121.6A Withdrawn CN107798010A (zh) 2016-08-31 2016-08-31 一种传感器数据的标注装置

Country Status (1)

Country Link
CN (1) CN107798010A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764187A (zh) * 2018-06-01 2018-11-06 百度在线网络技术(北京)有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
WO2020052540A1 (zh) * 2018-09-11 2020-03-19 腾讯科技(深圳)有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具
WO2022037403A1 (zh) * 2020-08-20 2022-02-24 广州小鹏汽车科技有限公司 一种数据处理的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764187A (zh) * 2018-06-01 2018-11-06 百度在线网络技术(北京)有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
US11255973B2 (en) 2018-06-01 2022-02-22 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for extracting lane line and computer readable storage medium
WO2020052540A1 (zh) * 2018-09-11 2020-03-19 腾讯科技(深圳)有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
US11893785B2 (en) 2018-09-11 2024-02-06 Tencent Technology (Shenzhen) Company Limited Object annotation method and apparatus, movement control method and apparatus, device, and storage medium
WO2022037403A1 (zh) * 2020-08-20 2022-02-24 广州小鹏汽车科技有限公司 一种数据处理的方法和装置
CN111951330A (zh) * 2020-08-27 2020-11-17 北京小马慧行科技有限公司 标注的更新方法、装置、存储介质、处理器以及运载工具

Similar Documents

Publication Publication Date Title
CN107784038A (zh) 一种传感器数据的标注方法
US11835358B2 (en) Method and system for video-based positioning and mapping
Son et al. Real-time vision-based warning system for prevention of collisions between workers and heavy equipment
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN102646275B (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102368810B (zh) 一种半自动化对齐的视频融合系统和方法
CN107798010A (zh) 一种传感器数据的标注装置
CN105844624A (zh) 动态标定系统、动态标定系统中的联合优化方法及装置
CN102354457B (zh) 基于广义霍夫变换的交通信号灯位置检测方法
CN102609941A (zh) 基于ToF深度相机的三维注册方法
CN104021588A (zh) 一种实时恢复车辆三维真实模型的系统及方法
CN113096003B (zh) 针对多视频帧的标注方法、装置、设备和存储介质
US11113570B2 (en) Systems and methods for automatically generating training image sets for an environment
CN106560835A (zh) 一种路牌识别方法及装置
CN108072385A (zh) 移动目标的空间坐标定位方法、装置及电子设备
Babinec et al. On accuracy of position estimation from aerial imagery captured by low-flying UAVs
CN110197097B (zh) 一种港区监控方法及系统、中控系统
CN105335977A (zh) 摄像系统及目标对象的定位方法
CN111400423B (zh) 基于多视图几何的智慧城市cim三维车辆位姿建模系统
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN106643504A (zh) 一种基于跟踪器的大型物体三维测量中led标记的标定方法
US11361502B2 (en) Methods and systems for obtaining aerial imagery for use in geospatial surveying
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN116978010A (zh) 图像标注方法和装置、存储介质和电子设备
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant after: Lexus Automobile (Beijing) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: FARADAY (BEIJING) NETWORK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20180830

Address after: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant after: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: Lexus Automobile (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190318

Address after: 100015 Building No. 7, 74, Jiuxianqiao North Road, Chaoyang District, Beijing, 001

Applicant after: FAFA Automobile (China) Co.,Ltd.

Address before: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant before: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20180313

WW01 Invention patent application withdrawn after publication