CN117557999A - 一种图像联合标注方法、计算机设备及介质 - Google Patents
一种图像联合标注方法、计算机设备及介质 Download PDFInfo
- Publication number
- CN117557999A CN117557999A CN202311550350.0A CN202311550350A CN117557999A CN 117557999 A CN117557999 A CN 117557999A CN 202311550350 A CN202311550350 A CN 202311550350A CN 117557999 A CN117557999 A CN 117557999A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- top view
- dimensional top
- data
- cloud map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000015654 memory Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000002310 reflectometry Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及自动驾驶数据标注技术领域,提供了一种图像联合标注方法、计算机设备及介质。其中,图像联合标注方法,包括:获取目标区域的点云数据和图像数据;根据点云数据,生成第一点云地图;对第一点云地图进行转换,得到二维俯视图和二维俯视图对应的高度值;根据图像数据、二维俯视图和二维俯视图对应的高度值,对目标区域进行标注,得到第一标注结果。通过本发明,将点云数据和图像数据进行结合,提高数据标注的准确性。
Description
技术领域
本发明涉及自动驾驶数据标注技术领域,尤其涉及一种图像联合标注方法、计算机设备及介质。
背景技术
感知模块是自动驾驶辅助泊车中非常重要的一环,感知模块识别的准确性直接最终的泊车体验。而高质量的三维数据标注直接决定着感知模块的准确性。现有技术中,通过激光雷达对三维感知数据进行标注。但是,点云数据的语义比较稀疏,利用点云数据进行数据标注的准确性较低。
发明内容
为提高数据标注的准确性,本发明提出了一种图像联合标注方法、计算机设备及介质。
第一方面,本发明提供了一种图像联合标注方法,方法包括:
获取目标区域的点云数据和图像数据;
根据点云数据,生成第一点云地图;
对第一点云地图进行转换,得到二维俯视图和二维俯视图对应的高度值;
根据图像数据、二维俯视图和二维俯视图对应的高度值,对目标区域进行标注,得到第一标注结果。
通过上述方法,图像数据包含丰富的语义信息,将点云数据和图像数据相结合对数据进行标注,克服了点云数据语义信息的稀疏性,提高了数据标注的准确性,同时在本发明中,将三维的点云数据转换为二维俯视图,减少了点云数据的存储空间,降低了数据标注的成本。
在一种可选的实施方式中,对第一点云地图进行转换,得到二维俯视图和二维俯视图对应的高度值,包括:
将第一点云地图划分为多个预设尺寸的第二点云地图,第二点云地图与二维俯视图中的像素值一一对应;
根据各第二点云地图,确定二维俯视图中的各像素值;
根据各像素值,生成二维俯视图;
根据各第二点云地图中各点的高度值,确定二维俯视图中各像素值对应的高度值。
通过上述实施方式,根据第二点云地图计算二维俯视图中的像素值和高度值,将三维的第一点云地图转换为包含有高度信息的二维俯视图,减少点云地图所占存储空间,降低数据标注成本。
在一种可选的实施方式中,根据第二点云地图,确定二维俯视图中的像素值,包括:
获取第二点云地图中所有点的点云反射率;
计算各点云反射率的第一平均值;
将第一平均值作为像素值。
在一种可选的实施方式中,根据第二点云地图中各点的高度值,确定二维俯视图中像素值对应的高度值,包括:
计算第二点云地图中所有点的高度值的第二平均值;
将第二平均值作为高度值。
在一种可选的实施方式中,根据图像数据、二维俯视图和二维俯视图对应的高度值,对目标区域进行标注,得到第一标注结果,包括:
根据二维俯视图对应的高度值,对二维俯视图进行标注,得到第二标注结果;
根据图像数据,对第一标注结果进行修正,得到第一标注结果。
通过上述实施方式,根据二维俯视图的高度值对二维俯视图进行标注,得到第二标注结果,同时利用图像数据中的语义信息对第二标注结果进行修正,提高数据标注的准确性。
在一种可选的实施方式中,点云数据是通过激光雷达采集得到的,图像数据是通过相机采集得到的,获取目标区域的点云数据和图像数据步骤之前,方法还包括:
根据预构建的标定间,对激光雷达和相机进行坐标标定。
在一种可选的实施方式中,根据预构建的标定间,对激光雷达和相机进行坐标标定,包括:
根据标定间,采用迭代最近点算法,确定目标角点在激光雷达中的第一坐标;
根据标定间,采用预设的标定检测算法,确定目标角点在相机中的第二坐标;
将第一坐标和第二坐标进行匹配,完成对激光雷达和相机的坐标标定。
通过上述实施方式,利用预构建的标定间,对激光雷达和相机进行目标角点的标定,实现激光雷达和相机之间的坐标标定,为利用点云数据和图像数据进行数据标定提供基础。
在一种可选的实施方式中,点云数据是通过采集车辆在多个时刻采集得到的,采集车辆上还设置有至少一个传感器,根据点云数据,生成第一点云地图,包括:
获取各传感器在各时刻的刚体变化关系;
将点云数据与刚体变化关系进行融合,生成第一点云地图。
通过上述实施方式,利用多个传感器采集到的刚体变化关系,对各时刻的点云数据进行点云配准,得到目标区域的完整点云数据,从而使得生成的第一点云地图更加准确。
第二方面,本发明还提供了一种计算机设备,包括存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行第一方面或第一方面的任一实施方式的图像联合标注方法的步骤。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面或第一方面的任一实施方式的图像联合标注方法的步骤。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提出的一种图像联合标注方法的流程图;
图2是在一示例中,单帧点云数据的示意图;
图3是在一示例中,根据多个时刻的点云数据得到的完整点云数据的示意图;
图4为根据一示例性实施例提出的一种图像联合标注装置的结构示意图;
图5是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为提高数据标注的准确性,本发明提出了一种图像联合标注方法、计算机设备及介质。
图1是根据一示例性实施例提出的一种图像联合标注方法的流程图。如图1所示,图像联合标注方法包括如下步骤S101至S104。
步骤S101:获取目标区域的点云数据和图像数据。
在一可选实施例中,点云数据是指在一个三维坐标系统中的一组向量的集合。点云数据的主要特点是具有高精度、高分辨率和高维度的几何信息,可以直观地表示空间中的物体形状、表面和纹理等信息。
在一可选实施例中,点云数据通过激光雷达采集得到。激光雷达是一种使用激光束扫描物体表面并测量返回激光的时间和强度的传感器。激光雷达通过发射激光束,经过反射后接收反射光,从而获取目标物体表面的点云数据。激光雷达的非接触式测量特点,使其具有测量速度快、精度高、识别准确等优点。在激光雷达技术领域中,目前主要通过三角测距法与TOF方法来进行测距。其中,三角法测距法通过激光束在物体表面上形成的光点在激光雷达内部的光学传感器上的位置进行三角计算以测量距离。
在一可选实施例中,图像数据为二维图像数据,图像数据中包含有目标区域中丰富的语义信息。图像数据可以通过摄像机拍摄得到。
步骤S102:根据点云数据,生成第一点云地图。
在一可选实施例中,可以通过点云滤波、边缘检测、直线检测等算法对点云数据进行处理,得到处理后的点云数据;然后根据处理后的点云数据,生成第一点云地图。
步骤S103:对第一点云地图进行转换,得到二维俯视图和二维俯视图对应的高度值。
在一可选实施例中,将第一点云地图投影到俯视视角,从而转换成二维俯视图。示例性地,第一点云地图为三维视图,包括x轴、y轴、z轴三个坐标系,其中,z轴对应的值为高度值。将第一点云地图的z轴压平,保留x轴和y轴,形成二维俯视图和二维俯视图对应的高度值。
步骤S104:根据图像数据、二维俯视图和二维俯视图对应的高度值,对目标区域进行标注,得到第一标注结果。
在一可选实施例中,首先根据二维俯视图对应的高度值,对二维俯视图进行标注;然后利用二维的图像数据进一步修正,得到结合了图像数据中丰富语义信息的第一标注结果。
通过上述方法,图像数据包含丰富的语义信息,将点云数据和图像数据相结合对数据进行标注,克服了点云数据语义信息的稀疏性,提高了数据标注的准确性,同时在本发明实施例中,将三维的点云数据转换为二维俯视图,减少了点云数据的存储空间,降低了数据标注的成本。
在一示例中,在步骤S101中,点云数据是通过激光雷达采集得到的,图像数据是通过相机采集得到的。其中,激光雷达的数量和相机的数量可以根据实际需要进行设定,在此不做具体限制。在获取目标区域的点云数据和图像数据步骤之前,本发明实施例提供给的方法还包括:根据预构建的标定间,对激光雷达和相机进行坐标标定。具体实现方式如下:
首先,根据标定间,采用迭代最近点算法(Iterative Closest Point,ICP),确定目标角点在激光雷达中的第一坐标。其中,第一坐标为3D坐标。在本发明实施例中,标定间中设置于多个标定板,并且已实现整个标定间的点云重建。
然后,根据标定间,采用预设的标定检测算法,确定目标角点在相机中的第二坐标。其中,第二坐标为2D坐标。示例性地,标定检测算法可以为标定版marker检测技术,在此不做具体限制。
最后,将第一坐标和第二坐标进行匹配,完成对激光雷达和相机的坐标标定。示例性地,可以采用非线性优化算法完成对激光雷达和相机的坐标标定。
在本发明实施例中,利用预构建的标定间,对激光雷达和相机进行目标角点的标定,实现激光雷达和相机之间的坐标标定,为利用点云数据和图像数据进行数据标定提供基础。
考虑到单帧点云数据缺乏语义信息,并且对于目标区域中的物体成像是不完整的,如图2所示,从而导致标注时间过长,标注操作效率较低。因此,在本发明实施例中,通过安装在采集车辆上的激光雷达采集多个时刻的点云数据,通过多个时刻的点云数据,以及图像数据完成数据标注。由于在采集点云过程中采集车辆移动的,因此,得到的多个时刻的点云数据存在不完整、旋转错位、平移错位等问题,要得到目标区域完整的点云数据就需要对各个时刻的点云数据进行配准,即需要得到一个合适的坐标变换,将从各个视角得到的点云数据合并到一个统一的坐标系下,形成一个完整的点云数据。
在本发明实施例中,点云数据是通过采集车辆在多个时刻采集得到的,采集车辆上还设置有至少一个传感器,在上述步骤S102中,通过如下方式完成点云数据的配准,从而生成第一点云地图:
首先,获取各传感器在各时刻的刚体变化关系。刚体变化关系描述的是传感器的运动过程中的位移、速度和加速度,而传感器和激光雷达都是安装在采集车辆上的,传感器的刚体变化关系即为采集车辆、激光雷达的刚体变化关系,因此可以通过传感器的刚体变化关系,对多个时刻的点云数据进行配准,进而得到完整点云数据,如图3所示。
然后,将点云数据与刚体变化关系进行融合,生成第一点云地图。示例性地,首先,将点云数据与刚体变化关系进行融合,得到完整点云数据;然后,对完整点云数据进行处理,生成第一点云地图。在本发明实施例中,通过激光惯导同时定位与地图构建技术(Laser-Inertial Simultaneous Localization And Mapping),生成第一点云地图。
在本发明实施例中,利用多个传感器采集到的刚体变化关系,对各时刻的点云数据进行点云配准,得到目标区域的完整点云数据,从而使得生成的第一点云地图更加准确,减少标注时间,提高标注操作效率。
在一示例中,在上述步骤S103中,通过如下步骤得到二维俯视图和二维俯视图对应的高度值:
步骤a1:将第一点云地图划分为多个预设尺寸的第二点云地图,第二点云地图与二维俯视图中的像素值一一对应。示例性地,将第一点云地图,以1cm为预设尺寸,将第一点云地图划分为多个1cm*1cm的多个第二点云地图,一个第二点云地图与二维俯视图中的一个像素值相对应。
步骤a2:根据各第二点云地图,确定二维俯视图中的各像素值。
在一可选实施例中,通过如下方式确定二维俯视图中的像素值:
首先,获取第二点云地图中所有点的点云反射率。点云反射率指的是物体对光波的反射强度,不同的物体对应的点云反射率不同。
然后,计算各点云反射率的第一平均值。
最后,将第一平均值作为像素值。
步骤a3:根据各像素值,生成二维俯视图。
步骤a4:根据各第二点云地图中各点的高度值,确定二维俯视图中各像素值对应的高度值。
在一可选实施例中,通过如下内容确定二维俯视图中像素值对应的高度值:
首先,计算第二点云地图中所有点的高度值的第二平均值。示例性地,当第二点云地图包括x轴、y轴和z轴时,z轴对应的值即为高度值。
然后,将第二平均值作为高度值。
在本发明实施例中,根据第二点云地图计算二维俯视图中的像素值和高度值,将三维的第一点云地图转换为包含有高度信息的二维俯视图,减少点云地图所占存储空间,降低数据标注成本。
在一示例中,在上述步骤S104中,通过如下方式对目标区域进行标注,得到第一标注结果:
首先,根据二维俯视图对应的高度值,对二维俯视图进行标注,得到第二标注结果。
然后,根据图像数据,对第一标注结果进行修正,得到第一标注结果。
在本发明实施例中,根据二维俯视图的高度值对二维俯视图进行标注,得到第二标注结果,同时利用图像数据中的语义信息对第二标注结果进行修正,提高数据标注的准确性。
基于相同发明构思,本发明实施例还提供一种图像联合标注装置,如图4所示,该装置包括:
获取模块401,用于获取目标区域的点云数据和图像数据;详细内容参见上述实施例中步骤S101的描述,在此不再赘述。
生成模块402,用于根据点云数据,生成第一点云地图;详细内容参见上述实施例中步骤S102的描述,在此不再赘述。
转换模块403,用于对第一点云地图进行转换,得到二维俯视图和二维俯视图对应的高度值;详细内容参见上述实施例中步骤S103的描述,在此不再赘述。
标注模块404,用于根据图像数据、二维俯视图和二维俯视图对应的高度值,对目标区域进行标注,得到第一标注结果。详细内容参见上述实施例中步骤S104的描述,在此不再赘述。
通过上述装置,图像数据包含丰富的语义信息,将点云数据和图像数据相结合对数据进行标注,克服了点云数据语义信息的稀疏性,提高了数据标注的准确性,同时在本发明中,将三维的点云数据转换为二维俯视图,减少了点云数据的存储空间,降低了数据标注的成本。
在一示例中,转换模块403包括:
划分子模块,用于将第一点云地图划分为多个预设尺寸的第二点云地图,第二点云地图与二维俯视图中的像素值一一对应;详细内容参见上述实施例中的描述,在此不再赘述。
第一确定子模块,用于根据各第二点云地图,确定二维俯视图中的各像素值;详细内容参见上述实施例中的描述,在此不再赘述。
生成子模块,用于根据各像素值,生成二维俯视图;详细内容参见上述实施例中的描述,在此不再赘述。
第二确定子模块,用于根据各第二点云地图中各点的高度值,确定二维俯视图中各像素值对应的高度值。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,第一确定子模块包括:
获取单元,用于获取第二点云地图中所有点的点云反射率;详细内容参见上述实施例中的描述,在此不再赘述。
第一计算单元,用于计算各点云反射率的第一平均值;详细内容参见上述实施例中的描述,在此不再赘述。
第一确定单元,用于将第一平均值作为像素值。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,第二确定子模块包括:
第二计算单元,用于计算第二点云地图中所有点的高度值的第二平均值;详细内容参见上述实施例中的描述,在此不再赘述。
第二确定单元,用于将第二平均值作为高度值。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,标注模块404包括:
标注子模块,用于根据二维俯视图对应的高度值,对二维俯视图进行标注,得到第二标注结果;详细内容参见上述实施例中的描述,在此不再赘述。
修正子模块,用于根据图像数据,对第一标注结果进行修正,得到第一标注结果。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,点云数据是通过激光雷达采集得到的,图像数据是通过相机采集得到的,该装置还包括:
标定模块,用于根据预构建的标定间,对激光雷达和相机进行坐标标定。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,标定模块包括:
第一标定子模块,用于根据标定间,采用迭代最近点算法,确定目标角点在激光雷达中的第一坐标;详细内容参见上述实施例中的描述,在此不再赘述。
第二标定子模块,用于根据标定间,采用预设的标定检测算法,确定目标角点在相机中的第二坐标;详细内容参见上述实施例中的描述,在此不再赘述。
匹配子模块,用于将第一坐标和第二坐标进行匹配,完成对激光雷达和相机的坐标标定。详细内容参见上述实施例中的描述,在此不再赘述。
在一示例中,点云数据是通过采集车辆在多个时刻采集得到的,采集车辆上还设置有至少一个传感器,生成模块402包括:
获取子模块,用于获取各传感器在各时刻的刚体变化关系;
融合子模块,用于将点云数据与刚体变化关系进行融合,生成第一点云地图。详细内容参见上述实施例中的描述,在此不再赘述。
上述装置的具体限定以及有益效果可以参见上文中对于图像联合标注方法的限定,在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图5是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。如图5所示,该设备包括一个或多个处理器510以及存储器520,存储器520包括持久内存、易失内存和硬盘,图5中以一个处理器510为例。该设备还可以包括:输入装置530和输出装置540。
处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接,图5中以通过总线连接为例。
处理器510可以为中央处理器(Central Processing Unit,CPU)。处理器510还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器520作为一种非暂态计算机可读存储介质,包括持久内存、易失内存和硬盘,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中图像联合标注方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述任意一种图像联合标注方法。
存储器520可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据需要使用的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的信号输入。输出装置540可包括显示屏等显示设备。
一个或者多个模块存储在存储器520中,当被一个或者多个处理器510执行时,执行如图1所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,具体可参见如图1所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像联合标注方法,其特征在于,所述方法包括:
获取目标区域的点云数据和图像数据;
根据所述点云数据,生成第一点云地图;
对所述第一点云地图进行转换,得到二维俯视图和所述二维俯视图对应的高度值;
根据所述图像数据、所述二维俯视图和所述二维俯视图对应的高度值,对所述目标区域进行标注,得到第一标注结果。
2.根据权利要求1所述的方法,其特征在于,对所述第一点云地图进行转换,得到二维俯视图和所述二维俯视图对应的高度值,包括:
将所述第一点云地图划分为多个预设尺寸的第二点云地图,所述第二点云地图与所述二维俯视图中的像素值一一对应;
根据各所述第二点云地图,确定所述二维俯视图中的各像素值;
根据各所述像素值,生成所述二维俯视图;
根据各所述第二点云地图中各点的高度值,确定所述二维俯视图中各所述像素值对应的高度值。
3.根据权利要求2所述的方法,其特征在于,根据所述第二点云地图,确定所述二维俯视图中的像素值,包括:
获取所述第二点云地图中所有点的点云反射率;
计算各所述点云反射率的第一平均值;
将所述第一平均值作为所述像素值。
4.根据权利要求2所述的方法,其特征在于,根据所述第二点云地图中各点的高度值,确定所述二维俯视图中所述像素值对应的高度值,包括:
计算所述第二点云地图中所有点的高度值的第二平均值;
将所述第二平均值作为所述高度值。
5.根据权利要求1所述的方法,其特征在于,根据所述图像数据、所述二维俯视图和所述二维俯视图对应的高度值,对所述目标区域进行标注,得到第一标注结果,包括:
根据所述二维俯视图对应的高度值,对所述二维俯视图进行标注,得到第二标注结果;
根据所述图像数据,对所述第一标注结果进行修正,得到所述第一标注结果。
6.根据权利要求1所述的方法,其特征在于,所述点云数据是通过激光雷达采集得到的,所述图像数据是通过相机采集得到的,获取目标区域的点云数据和图像数据步骤之前,所述方法还包括:
根据预构建的标定间,对所述激光雷达和所述相机进行坐标标定。
7.根据权利要求6所述的方法,其特征在于,根据预构建的标定间,对所述激光雷达和所述相机进行坐标标定,包括:
根据所述标定间,采用迭代最近点算法,确定目标角点在所述激光雷达中的第一坐标;
根据所述标定间,采用预设的标定检测算法,确定所述目标角点在所述相机中的第二坐标;
将所述第一坐标和所述第二坐标进行匹配,完成对所述激光雷达和所述相机的坐标标定。
8.根据权利要求1所述的方法,其特征在于,所述点云数据是通过采集车辆在多个时刻采集得到的,所述采集车辆上还设置有至少一个传感器,所述根据所述点云数据,生成第一点云地图,包括:
获取各所述传感器在各所述时刻的刚体变化关系;
将所述点云数据与所述刚体变化关系进行融合,生成所述第一点云地图。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-8中任一项所述的图像联合标注方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的图像联合标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550350.0A CN117557999A (zh) | 2023-11-20 | 2023-11-20 | 一种图像联合标注方法、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550350.0A CN117557999A (zh) | 2023-11-20 | 2023-11-20 | 一种图像联合标注方法、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117557999A true CN117557999A (zh) | 2024-02-13 |
Family
ID=89820159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311550350.0A Pending CN117557999A (zh) | 2023-11-20 | 2023-11-20 | 一种图像联合标注方法、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557999A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109828592A (zh) * | 2019-04-22 | 2019-05-31 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种障碍物检测的方法及设备 |
CN110135453A (zh) * | 2019-03-29 | 2019-08-16 | 初速度(苏州)科技有限公司 | 一种激光点云数据标注方法及装置 |
CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
CN112132901A (zh) * | 2020-09-30 | 2020-12-25 | 上海商汤临港智能科技有限公司 | 一种点云标注的方法、装置、电子设备及存储介质 |
CN113920101A (zh) * | 2021-10-22 | 2022-01-11 | 中国联合网络通信集团有限公司 | 目标检测方法、装置、设备及存储介质 |
CN114254696A (zh) * | 2021-11-30 | 2022-03-29 | 上海西虹桥导航技术有限公司 | 基于深度学习的可见光、红外和雷达融合目标检测方法 |
CN115407364A (zh) * | 2022-09-06 | 2022-11-29 | 安徽蔚来智驾科技有限公司 | 点云地图处理方法、车道标注数据获取方法、设备及介质 |
CN115451977A (zh) * | 2022-09-06 | 2022-12-09 | 安徽蔚来智驾科技有限公司 | 车道标注数据的获取方法、计算机设备及存储介质 |
-
2023
- 2023-11-20 CN CN202311550350.0A patent/CN117557999A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135453A (zh) * | 2019-03-29 | 2019-08-16 | 初速度(苏州)科技有限公司 | 一种激光点云数据标注方法及装置 |
CN109828592A (zh) * | 2019-04-22 | 2019-05-31 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种障碍物检测的方法及设备 |
CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
CN112132901A (zh) * | 2020-09-30 | 2020-12-25 | 上海商汤临港智能科技有限公司 | 一种点云标注的方法、装置、电子设备及存储介质 |
CN113920101A (zh) * | 2021-10-22 | 2022-01-11 | 中国联合网络通信集团有限公司 | 目标检测方法、装置、设备及存储介质 |
CN114254696A (zh) * | 2021-11-30 | 2022-03-29 | 上海西虹桥导航技术有限公司 | 基于深度学习的可见光、红外和雷达融合目标检测方法 |
CN115407364A (zh) * | 2022-09-06 | 2022-11-29 | 安徽蔚来智驾科技有限公司 | 点云地图处理方法、车道标注数据获取方法、设备及介质 |
CN115451977A (zh) * | 2022-09-06 | 2022-12-09 | 安徽蔚来智驾科技有限公司 | 车道标注数据的获取方法、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022022694A1 (zh) | 自动驾驶环境感知方法及系统 | |
CN108319655B (zh) | 用于生成栅格地图的方法和装置 | |
CN112462350B (zh) | 雷达标定方法及装置、电子设备及存储介质 | |
WO2021213432A1 (zh) | 数据融合 | |
CN116577760A (zh) | 一种外参标定装置 | |
CN113673282A (zh) | 目标检测方法和装置 | |
CN111862180B (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
WO2021016854A1 (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
CN111383279A (zh) | 外参标定方法、装置及电子设备 | |
CN112258590B (zh) | 一种基于激光的深度相机外参标定方法、设备及其存储介质 | |
JP7217741B2 (ja) | 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 | |
JP2020057387A (ja) | 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体 | |
CN113111513B (zh) | 传感器配置方案确定方法、装置、计算机设备及存储介质 | |
CN111123242A (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
US10657392B2 (en) | Object detection device, object detection method, and program | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN111145264B (zh) | 多传感器的标定方法、装置及计算设备 | |
CN114994647A (zh) | 激光雷达与相机联合外参标定系统及方法 | |
KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
CN114119682A (zh) | 一种激光点云和图像配准方法及配准系统 | |
JP2007233440A (ja) | 車載用画像処理装置 | |
CN115546216B (zh) | 一种托盘检测方法、装置、设备及存储介质 | |
CN117557999A (zh) | 一种图像联合标注方法、计算机设备及介质 | |
CN113095112A (zh) | 点云数据的获取方法及装置 | |
KR20200076628A (ko) | 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |