CN112991455A - 一种点云与图片融合标注的方法及系统 - Google Patents

一种点云与图片融合标注的方法及系统 Download PDF

Info

Publication number
CN112991455A
CN112991455A CN202110139777.6A CN202110139777A CN112991455A CN 112991455 A CN112991455 A CN 112991455A CN 202110139777 A CN202110139777 A CN 202110139777A CN 112991455 A CN112991455 A CN 112991455A
Authority
CN
China
Prior art keywords
picture
dimensional
frame
point cloud
marking frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110139777.6A
Other languages
English (en)
Other versions
CN112991455B (zh
Inventor
王军德
周风明
郝江波
赵王靖龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202110139777.6A priority Critical patent/CN112991455B/zh
Publication of CN112991455A publication Critical patent/CN112991455A/zh
Application granted granted Critical
Publication of CN112991455B publication Critical patent/CN112991455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种点云与图片融合标注的方法及系统，本发明首先从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；其次从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；然后利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；最后根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。本发明所提出的标注方法可以同时对点云和图片进行标注，节省了标注时间成本、人力物力成本，提高了标注效率。

Description

一种点云与图片融合标注的方法及系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及自动驾驶研究过程中，模型构建训练与优化所采用的一种点云与图片融合标注的方法及系统。
背景技术
在自动驾驶研究过程中，需要大量的图片、点云及其对应的标注真值等数据来对模型进行构建、训练与优化。传统的标注方法是将点云和图片分开，分别对其进行标注。这种标注方法对于点云与图片中所对应的同一物体分别进行了一次独立的标注，标注效率较低。且无法保证点云与图片中所对应的同一物体的标注属性完全匹配。此外，传统的图片标注方法还常采用矩形或多边形标注框来标注目标对象，无法获取并展示目标对象的真实三维数据，对自动驾驶研究中部分模型的构建、训练与优化产生了一定的阻碍。
发明内容
本发明针对现有技术中存在的技术问题，提供一种点云与图片融合标注的方法及系统，在点云标注过程中，根据点云标注框各顶点真值以及获取该点云数据的激光雷达的外参数和获取与该点云数据对应的图片数据的相机的内、外参数，综合计算得出点云标注框各顶点真值在对应图片中的对应坐标。依据计算得出的对应坐标，按照需求在图片中绘制出对应的二维矩形标注框或三维标注框，同时将点云标注框的标注属性赋予绘制出的二维矩形标注框或三维标注框。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供一种点云与图片融合标注的方法，包括以下步骤：
从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；
从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；
利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；
根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。
进一步的，所述的利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi，包括：
根据式(1)进行计算转换，得到PSi中8个三维坐标在图片M中对应的8个像素坐标，
Figure BDA0002928154390000021
式中，Plidar是一个3x1矩阵，表示点云中某点的三维坐标，在上述计算中代表Bi中8个顶点的三维坐标中的某一个；(xpixel,ypixel)表示Plidar在图片中对应的像素坐标；Tlidar和Tcamera均为3x1矩阵，其中Tlidar表示激光雷达的偏移量，Tcamera表示相机的偏移量；Rlidar和
Figure BDA0002928154390000022
均为3x3矩阵，
Figure BDA0002928154390000023
为Rcamera的逆矩阵；Rlidar和Rcamera的定义如下所示，
Rlidar＝(rx1 ry1 rz1)，Rcamera＝(rx2 ry2 rz2)
其中rx1，ry1，rz1，rx2，ry2，rz2均为3x1矩阵，其定义如下所示，
Figure BDA0002928154390000031
Figure BDA0002928154390000032
其中wx1，wy1，wz1，wx2，wy2，wz2均为实数，q和p均为4x1矩阵，q表示激光雷达的旋转量；p表示相机的旋转量；q-1和p-1的定义如下所示；
若
Figure BDA0002928154390000033
则
Figure BDA0002928154390000034
若
Figure BDA0002928154390000035
则
Figure BDA0002928154390000036
rx1，ry1，rz1，rx2，ry2，rz2的定义中每个等式的等号最右侧按从左到右顺序计算，每两个相邻的4x1矩阵之间按照如下规则进行计算，
假设相邻的两个4x1矩阵分别为M1、M2，
Figure BDA0002928154390000037
则
Figure BDA0002928154390000038
其中w，x，y，z，a，b，c，d均为实数。
进一步的，所述的根据需求，结合LSi在图片M上绘制标注框，包括：
根据需求判断需要绘制的标注框为二维矩形标注框或三维标注框；
若为二维矩形标注框，则提取LSi中x的最大值X1和最小值X2、y的最大值Y1和最小值Y2，然后以(X1,Y1)(X2,Y2)两点作为对角线两端点，在图片M上绘制二维矩形标注框；
若为三维标注框，则将LSi中8个像素坐标点按照点云标注框Bi中8个顶点的关系连接成三维标注框，并绘制在图片M上。
进一步的，所述的为所述标注框赋予对应的属性值，具体为，将点云标注框Bi的属性值赋予在图片M上绘制的二维矩形标注框或三维标注框。
第二方面，本发明提供一种点云与图片融合标注的系统，包括：
标定模块，用于从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；
数据获取模块，用于从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；
转换模块，用于利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；
标注框绘制模块，用于根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。
进一步的，所述标注框绘制模块，包括：
需求判定模块，用于根据需求判断需要绘制的标注框为二维矩形标注框或三维标注框；
绘制模块，用于根据所述需求判定模块的判断结果在图片M上绘制标注框，若为二维矩形标注框，则提取LSi中x的最大值X1和最小值X2、y的最大值Y1和最小值Y2，然后以(X1,Y1)(X2,Y2)两点作为对角线两端点，在图片M上绘制二维矩形标注框；若为三维标注框，则将LSi中8个像素坐标点按照点云标注框Bi中8个顶点的关系连接成三维标注框，并绘制在图片M上。
进一步的，所述的为所述标注框赋予对应的属性值，具体为，将点云标注框Bi的属性值赋予在图片M上绘制的二维矩形标注框或三维标注框。
第三方面，本发明提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，实现本发明第一方面所述的一种点云与图片融合标注的方法。
第四方面，本发明提供一种计算机可读存储介质，该存储介质中存储有用于实现本发明第一方面所述的一种点云与图片融合标注的方法的计算机软件程序。
本发明的有益效果是：本发明在点云标注框各顶点真值的基础上，根据获取点云数据所使用的激光雷达的外参数和获取图片所使用的相机的内、外参数共同计算得到点云标注框各顶点真值在图片中对应的坐标。并依据计算所得坐标在图片中绘制出二维矩形标注框或三维标注框，实现了点云标注框与图片标注框的同步生成，解决了现有标注流程中重复标注、效率低下的问题。绘制三维标注框弥补了现有图片标注方法中无法获取并展示目标对象真实三维数据的不足。在图片上完成标注框绘制的同时，将点云标注框的标注属性赋予图片标注框，解决了点云与图片所对应的同一物体标注属性不匹配的问题。
相比于现有的点云与图片分开独立标注的标注方法，本发明所提出的标注方法可以同时对点云和图片进行标注，节省了标注时间成本、人力物力成本，提高了标注效率。由于图片标注框由点云标注框结合参数计算所得，且属性同样来源于点云标注框，因此在图片标注框与点云标注框的属性匹配与相关性上会更好。而图片三维标注框的绘制可以弥补现有标注方法中无法获取并在图片上展示目标对象真实三维数据的不足。
附图说明
图1为本发明实施例提供的一种点云与图片融合标注的系统结构示意图；
图2为本发明实施例提供的一种点云与图片融合标注的方法流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明提供一种点云与图片融合标注的系统，包括：
标定模块，用于从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；
数据获取模块，用于从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；
转换模块，用于利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；
标注框绘制模块，用于根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。
基于上述系统，本发明还提供一种点云与图片融合标注的方法，方法流程图如图2所示，具体包括以下步骤：
1.从激光雷达的外参数中获取激光雷达偏移量T1和旋转量Q1，从相机的外参数中获取相机偏移量T2和旋转量Q2，从相机的内参数中获取K矩阵K；
2.从点云标注数据中获取到点云标注框集合S1；
3.从S1中获取到某个点云标注框B1的8个顶点的三维坐标集合PS1；
4.根据T1、Q1、T2、Q2、K五个参数，对PS1中的8个三维坐标逐个按照公式1进行计算，得到对应的8个像素坐标的集合LS1；
5.获取与点云对应的图片M1。判断是绘制二维矩形标注框还是三维标注框。若绘制二维矩形标注框，则统计LS1，获取其中x值的最大值X1，x值的最小值X2，y值的最大值Y1，y值的最小值Y2。然后以(X1，Y1)(X2，Y2)两点作为对角线两端点，在M1上绘制二维矩形标注框PB1。若绘制三维标注框，则将LS1中8个像素坐标点按照点云标注框B1中8个顶点的关系连接成三维标注框PB1并绘制在M1上；
6.将B1的属性对应赋予PB1；
重复上述步骤3～6直至所有点云标注框均完成对应计算与图片标注框绘制，且赋予对应属性值。
具体的，利用激光雷达内参数与相机的内、外参数，将点云中标注框的8个顶点的三维坐标分别按照公式1进行计算转换，得到上述8个三维坐标在图片中对应的8个像素坐标。公式1中Plidar是一个3x1矩阵，表示点云中某点的三维坐标，在上述计算中代表点云标注框8个顶点的三维坐标中的某一个；(xpixel,ypixel)表示Plidar在图片中对应的像素坐标；K表示K矩阵，是一个3x3矩阵，其值可以从相机的内参数中获得；Tlidar和Tcamera均为3x1矩阵，其中Tlidar表示激光雷达的偏移量，其值可以从激光雷达的外参数中获得，Tcamera表示相机的偏移量，其值可以从相机的外参数中获得。Rlidar和
Figure BDA0002928154390000072
均为3x3矩阵，
Figure BDA0002928154390000071
为Rcamera的逆矩阵。Rlidar和Rcamera的定义如定义1所示，其中rx1，ry1，rz1，rx2，ry2，rz2均为3x1矩阵，其定义如定义2所示。定义2中wx1，wy1，wz1，wx2，wy2，wz2均为实数，q和p均为4x1矩阵，q表示激光雷达的旋转量，其值可以从激光雷达的外参数中获得；p表示相机的旋转量，其值可以从相机的外参数中获得；q-1和p-1的定义如定义3所示。定义2中每个等式的等号最右侧按从左到右顺序计算，每两个相邻的4x1矩阵之间按照定义4所示规则进行计算。
公式1：
Figure BDA0002928154390000081
定义1：
Rlidar＝(rx1 ry1 rz1)，Rcamera＝(rx2 ry2 rz2)
定义2：
Figure BDA0002928154390000082
Figure BDA0002928154390000083
定义3：
若
Figure BDA0002928154390000084
则
Figure BDA0002928154390000085
若
Figure BDA0002928154390000086
则
Figure BDA0002928154390000087
定义4：
假设相邻的两个4x1矩阵分别为M1、M2，
Figure BDA0002928154390000088
则
Figure BDA0002928154390000089
其中w，x，y，z，a，b，c，d均为实数。
计算得到点云标注框8个顶点的三维坐标在图片中对应的8个像素坐标后，即可依据上述8个像素坐标在图片上绘制出对应的图片标注框。若要绘制三维标注框，可根据上述8个像素坐标，结合点云标注框中8个顶点之间的位置关系与这8个顶点的三维坐标和上述8个像素坐标之间的对应关系确定出上述8个像素坐标之间的连线方式，进而实现三维标注框的绘制。若要绘制二维矩形标注框，则可取上述8个像素坐标中x坐标的最大值和y坐标的最大值作为二维矩形标注框对角线第一点，取上述8个像素坐标中x坐标的最小值和y坐标的最小值作为二维矩形标注框对角线第二点，然后绘制以上述第一点与第二点构成的线为对角线的二维矩形框即可。
完成图片中三维标注框或二维矩形标注框的绘制后，将图片三维标注框或二维矩形标注框的中心坐标、唯一ID等属性的值对应取为点云标注框的中心坐标、唯一ID等属性值。
相比于现有的点云与图片分开独立标注的标注方法，本发明所提出的标注方法可以同时对点云和图片进行标注，节省了标注时间成本、人力物力成本，提高了标注效率。由于图片标注框由点云标注框结合参数计算所得，且属性同样来源于点云标注框，因此在图片标注框与点云标注框的属性匹配与相关性上会更好。而图片三维标注框的绘制可以弥补现有标注方法中无法获取并在图片上展示目标对象真实三维数据的不足。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种点云与图片融合标注的方法，其特征在于，包括以下步骤：
从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；
从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；
利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；
根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。
2.根据权利要求1所述的方法，其特征在于，所述的利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi，包括：
根据式(1)进行计算转换，得到PSi中8个三维坐标在图片M中对应的8个像素坐标，
Figure FDA0002928154380000011
式中，Plidar是一个3x1矩阵，表示点云中某点的三维坐标，在上述计算中代表Bi中8个顶点的三维坐标中的某一个；(xpixel,ypixel)表示Plidar在图片中对应的像素坐标；Tlidar和Tcamera均为3x1矩阵，其中Tlidar表示激光雷达的偏移量，Tcamera表示相机的偏移量；Rlidar和
Figure FDA0002928154380000012
均为3x3矩阵，
Figure FDA0002928154380000013
为Rcamera的逆矩阵；Rlidar和Rcamera的定义如下所示，
Rlidar＝(rx1 ry1 rz1)，Rcamera＝(rx2 ry2 rz2)
其中rx1，ry1，rz1，rx2，ry2，rz2均为3x1矩阵，其定义如下所示，
Figure FDA0002928154380000021
Figure FDA0002928154380000022
其中wx1，wy1，wz1，wx2，wy2，wz2均为实数，q和p均为4x1矩阵，q表示激光雷达的旋转量；p表示相机的旋转量；q-1和p-1的定义如下所示；
若
Figure FDA0002928154380000023
则
Figure FDA0002928154380000024
若
Figure FDA0002928154380000025
则
Figure FDA0002928154380000026
rx1，ry1，rz1，rx2，ry2，rz2的定义中每个等式的等号最右侧按从左到右顺序计算，每两个相邻的4x1矩阵之间按照如下规则进行计算，
假设相邻的两个4x1矩阵分别为M1、M2，
Figure FDA0002928154380000027
则
Figure FDA0002928154380000028
其中w，x，y，z，a，b，c，d均为实数。
3.根据权利要求1所述的方法，其特征在于，所述的根据需求，结合LSi在图片M上绘制标注框，包括：
根据需求判断需要绘制的标注框为二维矩形标注框或三维标注框；
若为二维矩形标注框，则提取LSi中x的最大值X1和最小值X2、y的最大值Y1和最小值Y2，然后以(X1,Y1)(X2,Y2)两点作为对角线两端点，在图片M上绘制二维矩形标注框；
若为三维标注框，则将LSi中8个点按照点云标注框Bi中8个顶点的关系连接成三维标注框，并绘制在图片M上。
4.根据权利要求3所述的方法，其特征在于，所述的为所述标注框赋予对应的属性值，具体为，将点云标注框Bi的属性值赋予在图片M上绘制的二维矩形标注框或三维标注框。
5.一种点云与图片融合标注的系统，其特征在于，包括：
标定模块，用于从激光雷达的外参数中获取激光雷达偏移量和旋转量，从相机的外参数中获取相机偏移量和旋转量，从相机的内参数中获取K矩阵；
数据获取模块，用于从点云标注数据中获取点云标注框集合S，对S中任一标注框Bi的8个顶点的三维坐标集合PSi；
转换模块，用于利用激光雷达偏移量和旋转量、相机偏移量和旋转量、K矩阵，计算PSi中8个三维坐标在图片M中对应的8个像素坐标，构成集合LSi；
标注框绘制模块，用于根据需求，结合LSi在图片M上绘制标注框，并为所述标注框赋予对应的属性值。
6.根据权利要求5所述的系统，其特征在于，所述标注框绘制模块，包括：
需求判定模块，用于根据需求判断需要绘制的标注框为二维矩形标注框或三维标注框；
绘制模块，用于根据所述需求判定模块的判断结果在图片M上绘制标注框，若为二维矩形标注框，则提取LSi中x的最大值X1和最小值X2、y的最大值Y1和最小值Y2，然后以(X1,Y1)(X2,Y2)两点作为对角线两端点，在图片M上绘制二维矩形标注框；若为三维标注框，则将LSi中8个像素坐标点按照点云标注框Bi中8个顶点的关系连接成三维标注框，并绘制在图片M上。
7.根据权利要求6所述的系统，其特征在于，所述的为所述标注框赋予对应的属性值，具体为，将点云标注框Bi的属性值赋予在图片M上绘制的二维矩形标注框或三维标注框。
8.一种电子设备，其特征在于，包括
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，实现权利要求1-4任一项所述的一种点云与图片融合标注的方法。
9.一种计算机可读存储介质，其特征在于，该存储介质中存储有用于实现权利要求1-4任一项所述的一种点云与图片融合标注的方法的计算机软件程序。
CN202110139777.6A 2021-02-01 2021-02-01 一种点云与图片融合标注的方法及系统 Active CN112991455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139777.6A CN112991455B (zh) 2021-02-01 2021-02-01 一种点云与图片融合标注的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139777.6A CN112991455B (zh) 2021-02-01 2021-02-01 一种点云与图片融合标注的方法及系统

Publications (2)

Publication Number Publication Date
CN112991455A true CN112991455A (zh) 2021-06-18
CN112991455B CN112991455B (zh) 2022-06-17

Family

ID=76346074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139777.6A Active CN112991455B (zh) 2021-02-01 2021-02-01 一种点云与图片融合标注的方法及系统

Country Status (1)

Country Link
CN (1) CN112991455B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529610A (zh) * 2022-01-11 2022-05-24 浙江零跑科技股份有限公司 一种基于rgb-d相机的毫米波雷达数据标注方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236124A1 (en) * 2011-03-18 2012-09-20 Ricoh Company, Ltd. Stereo camera apparatus and method of obtaining image
CN108921925A (zh) * 2018-06-27 2018-11-30 广州视源电子科技股份有限公司 基于激光雷达和视觉融合的语义点云生成方法和装置
CN109471128A (zh) * 2018-08-30 2019-03-15 福瑞泰克智能系统有限公司 一种正样本制作方法及装置
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN110853037A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种基于球面投影的轻量化彩色点云分割方法
WO2020102944A1 (zh) * 2018-11-19 2020-05-28 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN112230204A (zh) * 2020-10-27 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达和相机的联合标定方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236124A1 (en) * 2011-03-18 2012-09-20 Ricoh Company, Ltd. Stereo camera apparatus and method of obtaining image
CN108921925A (zh) * 2018-06-27 2018-11-30 广州视源电子科技股份有限公司 基于激光雷达和视觉融合的语义点云生成方法和装置
CN109471128A (zh) * 2018-08-30 2019-03-15 福瑞泰克智能系统有限公司 一种正样本制作方法及装置
WO2020102944A1 (zh) * 2018-11-19 2020-05-28 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN110853037A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种基于球面投影的轻量化彩色点云分割方法
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN112230204A (zh) * 2020-10-27 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达和相机的联合标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAURENT KLOEKER: "Real-Time Point Cloud Fusion of Multi-LiDAR Infrastructure Sensor Setups with Unknown Spatial Location and Orientation", 《2020 IEEE 23RD INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
吴炜: "基于深度学习和多相机融合的实时目标检测和定位", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529610A (zh) * 2022-01-11 2022-05-24 浙江零跑科技股份有限公司 一种基于rgb-d相机的毫米波雷达数据标注方法

Also Published As

Publication number Publication date
CN112991455B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN112015275A (zh) 基于数字孪生ar交互方法和系统
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
CN105303616A (zh) 基于单张照片的浮雕建模方法
CN101610425A (zh) 一种评测立体图像质量的方法和装置
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN112991455B (zh) 一种点云与图片融合标注的方法及系统
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN107958489B (zh) 一种曲面重建方法及装置
Liu et al. Creating simplified 3D models with high quality textures
CN112258631B (zh) 一种基于深度神经网络的三维目标检测方法及系统
WO2024037562A1 (zh) 三维重建方法、装置及计算机可读存储介质
CN108898679A (zh) 一种零部件序号自动标注的方法
CN114693782A (zh) 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN116051537A (zh) 基于单目深度估计的农作物株高测量方法
CN115546216A (zh) 一种托盘检测方法、装置、设备及存储介质
Schnyder et al. Depth image based compositing for stereo 3D
CN113596432B (zh) 可变视角的3d视频制作方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant