CN110264416A - 稀疏点云分割方法及装置 - Google Patents
稀疏点云分割方法及装置 Download PDFInfo
- Publication number
- CN110264416A CN110264416A CN201910448808.9A CN201910448808A CN110264416A CN 110264416 A CN110264416 A CN 110264416A CN 201910448808 A CN201910448808 A CN 201910448808A CN 110264416 A CN110264416 A CN 110264416A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- dimensional
- camera
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000013519 translation Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000008685 targeting Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种稀疏点云分割方法及装置。涉及图像处理领域，其中，方法包括：获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据，对相机和激光雷达进行联合标定并生成标定参数，对目标二维图像数据进行目标检测，根据目标检测结果以及选取原则提取能转换到目标二维边界框的三维点，生成包含目标信息的三维锥体点云，最后进行点云分割生成目标点云。克服了现有技术中通过激光雷达组合融合的方式进行点云分割，硬件价格昂贵且点云分割精度及效率较低的问题，本发明降低了设备成本，并且根据选取原则得到包含目标信息的三维锥体点云，然后进行点云分割去除噪声点云，提高了点云分割的精度及效率，具有良好的实际应用价值。
Description
技术领域
本发明涉及图像处理领域，尤其是一种稀疏点云分割方法及装置。
背景技术
近年来，随着3D传感器设备的应用逐渐普及，例如在自主导航系统中，需要不断检测目标对象的位置和类别，而三维点云分割是这些自动导航系统的环境感知任务中关键且必不可少的一步。因此对目标的三维点云进行分割，已成为许多研究人员的热点研究方向。但是在未知的动态环境中，由于点云数据的稀疏性、不均匀的采样密度、不规则格式及缺乏颜色纹理的特点，进行精确点云分割比较困难。
目前，为了提高点云分割的精确度，大多采用高线束的激光雷达(如32线、64线及以上的激光雷达)或多个低线束的激光雷达(如4个16线激光雷达)进行融合的方式，来进行点云分割任务。但是由于这种激光雷达组合的方式所需的硬件价格昂贵，并且直接在原始点云中进行点云分割是一个极具难度的问题，其分割的精度及效率都比较低。
因此需要提出一种在保证低成本的情况下，同时具有较高的点云分割精度及效率的稀疏点云分割方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种在保证低成本的情况下，同时具有较高的点云分割精度及效率的稀疏点云分割方法及装置。
本发明实施例所采用的技术方案是：
第一方面，本发明提供一种稀疏点云分割方法，包括：
获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据；
对所述相机和所述激光雷达进行联合标定并生成标定参数；
对所述目标二维图像数据进行目标检测，得到目标检测结果，所述目标检测结果包括：目标类别和二维边界框位置坐标信息；
根据所述二维边界框位置坐标信息和所述标定参数，根据选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云；
对所述三维锥体点云进行点云分割，生成目标点云。
进一步地，所述选取原则具体为：
根据所述标定参数，将所述目标三维点云数据投影到所述二维图像数据上；
遍历所述目标三维点云数据中所有的三维点，选取投影在所述二维边界框坐标范围内的三维点。
进一步地，所述点云分割的过程具体包括：
根据所述目标类别选取当前目标类别的特征信息；
根据所述特征信息对应的阈值条件，从所述三维锥体点云中选取满足所述阈值条件的三维点，以组成目标点云。
进一步地，所述目标检测的过程具体是：通过深度学习目标检测网络进行目标检测。
进一步地，所述联合标定的过程具体包括：
建立所述相机和所述激光雷达的联合标定模型，所述联合标定模型包括相机的相机坐标系、激光雷达的雷达坐标系和标定靶平面；
多次变换所述标定靶平面的位姿，并分别采集所述相机获取的标定靶二维图像和所述激光雷达获取的所述标定靶点云数据；
根据所述标定靶二维图像，结合张正友相机标定法，获取所述相机的内参数和外参数；
采用交互操作方式框选所述标定靶点云数据，并对所述标定靶点云数据进行平面拟合，得到不同位姿下所述标定靶平面在所述雷达坐标系下的靶平面方程；
根据所述内参数、所述外参数和所述靶平面方程建立外参约束关系，得到所述标定参数。
进一步地，所述标定参数包括：所述相机与所述激光雷达之间的旋转矩阵、平移向量和所述相机的内参数。
进一步地，所述交互操作方式具体包括：
将所述标定靶点云数据按照距离映射成不同颜色的可视化图像；
在所述可视化图像中框选出标定靶平面区域。
第二方面，本发明还提供一种稀疏点云分割装置，包括：
获取图像数据模块，用于获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据；
联合标定模块，用于对所述相机和所述激光雷达进行联合标定并生成标定参数；
目标检测模块，用于对所述目标二维图像数据进行目标检测，得到目标检测结果，所述目标检测结果包括：目标类别和二维边界框位置坐标信息；
三维锥体点云生成模块，用于根据所述二维边界框位置坐标信息和所述标定参数，根据选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云；
目标点云生成模块，用于对所述三维锥体点云进行点云分割，生成目标点云。
第三方面，本发明提供一种稀疏点云分割设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明实施例的有益效果是：
本发明实施例通过获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据，对相机和激光雷达进行联合标定并生成标定参数，然后对目标二维图像数据进行目标检测，得到包括目标类别和二维边界框位置坐标信息的目标检测结果。根据二维边界框位置坐标信息和标定参数，根据选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云，最后对三维锥体点云进行点云分割，生成目标点云。克服了现有技术中通过激光雷达组合融合的方式进行点云分割，硬件价格昂贵且点云分割精度及效率较低的问题，本发明只需要一个相机和一个激光雷达进行联合标定之后，对获取的目标数据进行点云分割，降低了设备成本，并且根据选取原则得到包含目标信息的三维锥体点云，然后进行点云分割去除噪声点云，提高了点云分割的精度及效率，具有良好的实际应用价值。
本发明可以广泛应用于需要进行点云分割的图像处理领域。
附图说明
图1是本发明中稀疏点云分割方法的一具体实施例的实现流程图；
图2是本发明中稀疏点云分割方法的一具体实施例的联合标定过程流程图；
图3是本发明中稀疏点云分割方法的一具体实施例的联合标定模型示意图；
图4是本发明中稀疏点云分割装置的一具体实施例的结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一：
本实施例与传统的点云分割方法以及现有的直接应用深度学习进行点云分割方法均不不同。传统的点云分割方法使用纯数学模型和几何推理技术，如区域增长或模型拟合，结合稳健估计器，将线性和非线性模型拟合到点云数据。这种方法点云分割速度比较快，在简单的场景下可实现良好的分割效果，但这种方法的局限性在于在拟合物体时难以选择模型的大小，并且对噪声敏感并且在复杂场景中不能很好地工作。
现有的直接应用深度学习进行点云分割方法使用特征描述符从点云数据中提取3D特征，并使用机器学习技术来学习不同类别的对象类型，然后使用结果模型对所获取的数据进行分类。在复杂的场景中，机器学习技术比纯粹基于几何推理的技术分割效果好。但是由于噪声，密度不均匀，点云数据中的遮挡，很难找到并将复杂的几何图元拟合到物体上。虽然机器学习技术可以提供更好的结果，但它们通常很慢并且分割性能依赖于特征提取过程的结果。
本发明实施例一提供一种稀疏点云分割方法，图1为本发明实施例提供的一种稀疏点云分割方法的实现流程图，如图1所示，该方法包括以下步骤：
S1：获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据，本实施例中，相机可选的为单目相机，激光雷达可选的为16线激光雷达，但是不做具体限定，相机可以是其他类型相机，激光雷达也可以是32线、64线及以上的激光雷达。
S2：对相机和激光雷达进行联合标定并生成标定参数，标定参数包括：相机与激光雷达之间的旋转矩阵、平移向量和相机的内参数。
S3：对目标二维图像数据进行目标检测，得到目标检测结果，本实施例中，通过成熟的通过深度学习目标检测网络进行目标检测，目标检测的主要任务是：目标分类和目标定位。
其中目标分类主要是在输入的数字图像或视频帧中，判断是否有感兴趣类别的物体，并输出一个概率分数值，来表示感兴趣类别的物体出现在输入图像或视频帧中的可能性。而目标定位主要是对判断输入的数字图像或视频帧中框选感兴趣的目标物体的位置和范围，输出目标物体的边界框范围坐标。因此本实施例中，目标检测的结果包括：目标类别和二维边界框位置坐标信息。
由于深度学习在目标检测任务上取得了较多突破，因此本实施例中选取成熟的目标检测网络进行目标检测，输出包括目标类别和二维边界框位置坐标信息的目标检测的结果。可选的目标检测网络有：YOLO网络、Faster R-CNN网络或SSD目标检测网络，但是不局限于上述网络，凡是能够实现本实施例目标检测任务的监测网络均在本实施例的保护范围之内。
S4：生成包含目标信息的三维锥体点云，具体是根据二维边界框位置坐标信息和标定参数，根据选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云。
本实施例中，根据步骤S3的目标检测过程，可得目标的二维边界框位置坐标信息，结合步骤S2中获得的相机与激光雷达之间的旋转矩阵、平移向量和相机的内参数，根据选取原则，获取激光雷达的目标三维点云数据中能够转换到目标二维图像数据的边界框内的点云，由于获取的该点云区域形状上呈锥体，因此也称该点云区域为三维锥体点云。
本实施例的提取原则包括以下步骤：
S41：根据标定参数，将激光雷达获取的目标三维点云数据投影到相机获取的二维图像数据上；
S42：遍历目标三维点云数据中所有的三维点，选取投影在二维边界框坐标范围内的三维点，即选取并保存投影点在二维边界框坐标范围内的点，作为最终挑选的点云。
S5：对三维锥体点云进行点云分割，生成目标点云。本实施例中，由于三维锥体点云中不仅包含目标物体还包含少量的噪声点云，因此需要在三维锥体点云中进一步进行点云分割，以提取出只含目标物体的目标点云。
本实施例中，点云分割的过程具体包括以下步骤：
S51：根据目标类别选取当前目标类别的特征信息，即将步骤S3中获取的目标类别作为先验知识，不同的目标类别具有不同的特征信息，同时可以根据这个特性设定不同目标类别的不同判别阈值条件。
例如，目标类别为行人时，对应的阈值条件可以设定为：行人点云中心的横向距离小于60cm，垂直距离小于100cm，前后距离小于50cm的点即为行人目标点云，可以根据实际需要进行阈值条件的设定。
S52：根据特征信息对应的阈值条件，从三维锥体点云中选取并保存所有满足阈值条件的三维点，以组成目标点云。
本实施例通过联合标定模型，相机采集场景的标定靶二维图像数据，并据此建立标定靶二维图像数据库，同时激光雷达扫描当前场景，采集标定靶的深度图并由此建立标定靶点云数据的数据库，即可根据两个数据库之间的约束条件，来求解相机与激光雷达之间的外参约束关系，为了建立相机与激光雷达之间的外参约束关系，本实施例采用基于平面特征的联合标定方法。下面详细说明本实施例中对相机和激光雷达进行联合标定并生成标定参数的过程。
如图2所示，为本实施例的联合标定过程流程图，从图中可以看出，包括步骤：
S21：建立相机和激光雷达的联合标定模型，如图3所示，为本实施例的联合标定模型示意图，从图中可以得出，联合标定模型包括：相机的像素坐标系、相机坐标系、激光雷达的雷达坐标系和标定靶平面，相机坐标系下的点通过相机内参可转换到像素坐标系下，即可以通过像素坐标系和相机坐标系之间转化得到相机的内参数，图中参数名称见下述。在本实施例一种具体实施方式中，将棋盘格平面当作标定靶平面，放置在相机和激光雷达坐标系前，可以随意放置标定靶平面的位姿，并且不需要预先知道位姿信息。
S22：多次变换标定靶平面的位姿，并在每一次位姿改变的时候，相机获取标定靶二维图像和激光雷达获取标定靶点云数据，由于激光雷达采用不可见光进行采集，因此相机与激光雷达采集数据的过程互不干扰，可同时进行。
S23：在多次变换标定靶平面的位姿后，相机拍摄存储相应的标定靶二维图像，然后结合张正友相机标定法，获取相机的内参数和外参数，其中，相机的外参就是标定靶平面在相机坐标系中的表达。
其中，本实施例采用的张正友相机标定法是张正友教授于1998年提出的单平面棋盘格的摄像机标定方法，该方法介于传统标定法和自标定法之间，克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以实现标定过程，并且相对于自标定而言，提高了精度便于操作，被广泛应用于计算机视觉方面。
S24：采用交互操作方式框选标定靶点云数据，并对标定靶点云数据进行最小二乘法的平面拟合，得到不同位姿下标定靶平面在雷达坐标系下的靶平面方程。
本实施例中，交互式操作框选标定靶点云数据的具体过程为：
S241：将标定靶点云数据按照距离映射成不同颜色的可视化图像，因为点云是没有颜色的，肉眼看不见，所以需要将激光雷达获取的标定靶点云数据转换形式，首先将点云按距离的大小映射成彩色图像，例如本实施例一种实施方式中，设定距离近的为红色，距离远的为蓝色，然后根据距离由近到远颜色根据逐渐从红色变为蓝色的方式进行转换，这样肉眼就可以看见标定靶点云数据，即变成可视化的图像。
S242：在转换成可视化图像的标定靶点云数据中框选出标定靶平面区域，用于利用最小二乘法拟合成标定靶平面的靶平面方程。
S25：根据相机内参数、相机外参数和靶平面方程建立外参约束关系，得到标定参数。
本实施例中，外参约束关系的求解过程如下所述。
在相机坐标系和雷达坐标系下，标定靶平面的特征被表示为各坐标系中原点垂直与靶平面的矢量，其矢量大小是坐标原点到平面的距离，方向为标定靶平面的法向量方向，因此设定标定靶平面坐标系下标定靶的法向量为(0，0，1)T，则在相机坐标系下，标定靶平面到相机坐标系的旋转矩阵的第三列即为标定靶平面的单位法向量，记为nC，t是标定靶平面坐标系原点在相机坐标系下的平移向量，则相机坐标系原点到靶平面的距离记为dC＝|nC Tt|，因此在相机坐标系下，根据标定的相机外参结果，可将标定靶平面参数化为PC，表示为：
PC＝(XC,YC,ZC)＝dCnC (1)
公式(1)中，nC表示标定靶平面的单位法向量，t表示标定靶平面坐标系原点在相机坐标系下的平移向量，dC＝|nC Tt|表示相机坐标系原点到靶平面的距离，PC表示标定靶平面法向量在相机坐标系下的参数化表示。
在激光雷达的雷达坐标系下，激光雷达扫描标定靶平面，通过交互操作方式框选出标定靶平面区域，并利用最小二乘法对标定靶点云数据进行平面拟合，可得标定靶平面的靶平面方程，表示为：
ALx+BLy+CLz+DL＝0 (2)
公式(2)中，AL、BL、CL、DL分别表示在雷达坐标下待求的靶平面方程系数。
根据靶平面方程即可求得标定靶平面单位法向量和激光雷达到标定靶平面的距离，则可将标定靶平面在雷达坐标系下参数化为PL，表示为：
公式(3)中，PL表示标定靶平面在雷达坐标系下的参数化表示。
根据公式(1)和公式(3)，可得出标定靶平面在两个坐标系下的参数化表达。设定φ为激光雷达坐标系到相机坐标系的旋转矩阵，Δ为相机与激光雷达之间的平移向量，由此可知，在相机坐标系下向量φPL平行于向量PC，向量φPL的单位向量φeL与向量PC的单位向量eC在数值上是相等的，表示为：
公式(4)中，φ表示雷达坐标系到相机坐标系的旋转矩阵，Δ表示相机坐标系与雷达坐标系之间的平移向量，eC是PC的单位向量，eL是PL的单位向量。
根据相机、激光雷达和标定靶平面的几何关系，可以得出激光雷达坐标系与相机坐标系之间的平移向量Δ满足如下关系式：
从公式(3)和公式(4)可知，至少变换3次标定靶平面的位姿，即可求解出相机坐标系与雷达坐标系之间的旋转矩阵φ和平移向量Δ。
本实施例与传统的点云分割方法以及现有的直接应用深度学习进行点云分割方法均不不同，传统的方法使用纯数学模型和几何推理技术，如区域增长或模型拟合，结合稳健估计器，将线性和非线性模型拟合到点云数据。这种方法点云分割速度比较快，在简单的场景下可实现良好的分割效果，但这种方法的局限性在于在拟合物体时难以选择模型的大小，并且对噪声敏感并且在复杂场景中不能很好地工作。
直接应用深度学习进行点云分割方法使用特征描述符从点云数据中提取3D特征，并使用机器学习技术来学习不同类别的对象类型，然后使用结果模型对所获取的数据进行分类。在复杂的场景中，机器学习技术比纯粹基于几何推理的技术分割效果好。但是由于噪声，密度不均匀，点云数据中的遮挡，很难找到并将复杂的几何图元拟合到物体上。虽然机器学习技术可以提供更好的结果，但它们通常很慢并且分割性能依赖于特征提取过程的结果。
本实施例克服了现有技术中通过激光雷达组合融合的方式进行点云分割，硬件价格昂贵且点云分割精度及效率较低的问题，本实施例只需要一个相机和一个激光雷达进行联合标定之后，通过对相机获得的目标二维图像数据进行目标检测，输出目标类别和二维边界框位置坐标信息，并将此信息作为先验知识，用于后续从激光雷达获得的目标三维点云数据中进行目标点云分割，根据选取原则得到包含目标信息的三维锥体点云，然后进行点云分割去除噪声点云，降低了设备成本，提高了点云分割的精度及效率，具有良好的实际应用价值。
实施例二：
如图4所示，为本实施例的一种稀疏点云分割装置结构框图，包括：
获取图像数据模块10，用于获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据；
联合标定模块20，用于对相机和激光雷达进行联合标定并生成标定参数；
目标检测模块30，用于对目标二维图像数据进行目标检测，得到目标检测结果，目标检测结果包括：目标类别和二维边界框位置坐标信息；
三维锥体点云生成模块40，用于根据二维边界框位置坐标信息和标定参数，根据选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云；
目标点云生成模块50，用于对三维锥体点云进行点云分割，生成目标点云。
实施例三：
本实施例还提供一种稀疏点云分割设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
本发明实施例通过获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据，对相机和激光雷达进行联合标定并生成标定参数，然后对目标二维图像数据进行目标检测，得到目标检测结果，包括：目标类别和二维边界框位置坐标信息，根据二维边界框位置坐标信息和标定参数，根据选取原则提取，能转换到目标二维边界框的三维点，生成包含目标信息的三维锥体点云，最后对三维锥体点云进行点云分割，生成目标点云，可以广泛应用于需要进行点云分割的图像处理领域。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种稀疏点云分割方法，其特征在于，包括：
获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据；
对所述相机和所述激光雷达进行联合标定并生成标定参数；
对所述目标二维图像数据进行目标检测，得到目标检测结果，所述目标检测结果包括：目标类别和二维边界框位置坐标信息；
根据所述二维边界框位置坐标信息和所述标定参数，采用选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云；
对所述三维锥体点云进行点云分割，生成目标点云。
2.根据权利要求1所述的一种稀疏点云分割方法，其特征在于，所述选取原则具体为：
根据所述标定参数，将所述目标三维点云数据投影到所述二维图像数据上；
遍历所述目标三维点云数据中所有的三维点，选取投影在所述二维边界框坐标范围内的三维点。
3.根据权利要求1所述的一种稀疏点云分割方法，其特征在于，所述点云分割的过程具体包括：
根据所述目标类别选取当前目标类别的特征信息；
根据所述特征信息对应的阈值条件，从所述三维锥体点云中选取满足所述阈值条件的三维点，以组成目标点云。
4.根据权利要求1至3任一项所述的一种稀疏点云分割方法，其特征在于，所述目标检测的过程具体是：通过深度学习目标检测网络进行目标检测。
5.根据权利要求1所述的一种稀疏点云分割方法，其特征在于，所述联合标定的过程具体包括：
建立所述相机和所述激光雷达的联合标定模型，所述联合标定模型包括相机的相机坐标系、激光雷达的雷达坐标系和标定靶平面；
多次变换所述标定靶平面的位姿，并分别采集所述相机获取的标定靶二维图像和所述激光雷达获取的所述标定靶平面的点云数据；
根据所述标定靶二维图像，结合张正友相机标定法，获取所述相机的内参数和外参数；
采用交互操作方式框选所述标定靶点云数据，并对所述标定靶点云数据进行平面拟合，得到不同位姿下所述标定靶平面在所述雷达坐标系下的靶平面方程；
根据所述内参数、所述外参数和所述靶平面方程建立外参约束关系，得到所述标定参数。
6.根据权利要求5所述的一种稀疏点云分割方法，其特征在于，所述标定参数包括：所述相机与所述激光雷达之间的旋转矩阵、平移向量和所述相机的内参数。
7.根据权利要求5或6任一项所述的一种稀疏点云分割方法，其特征在于，所述交互操作方式具体包括：
将所述标定靶点云数据按照距离映射成不同颜色的可视化图像；
在所述可视化图像中框选出标定靶平面区域。
8.一种稀疏点云分割装置，其特征在于，包括：
获取图像数据模块，用于获取相机拍摄的目标二维图像数据和激光雷达下的目标三维点云数据；
联合标定模块，用于对所述相机和所述激光雷达进行联合标定并生成标定参数；
目标检测模块，用于对所述目标二维图像数据进行目标检测，得到目标检测结果，所述目标检测结果包括：目标类别和二维边界框位置坐标信息；
三维锥体点云生成模块，用于根据所述二维边界框位置坐标信息和所述标定参数，采用选取原则提取能转换到目标二维边界框的三维点，并生成包含目标信息的三维锥体点云；
目标点云生成模块，用于对所述三维锥体点云进行点云分割，生成目标点云。
9.一种稀疏点云分割设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910448808.9A CN110264416B (zh) | 2019-05-28 | 2019-05-28 | 稀疏点云分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910448808.9A CN110264416B (zh) | 2019-05-28 | 2019-05-28 | 稀疏点云分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264416A true CN110264416A (zh) | 2019-09-20 |
| CN110264416B CN110264416B (zh) | 2020-09-29 |
Family
ID=67915539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910448808.9A Active CN110264416B (zh) | 2019-05-28 | 2019-05-28 | 稀疏点云分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264416B (zh) |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706288A (zh) * | 2019-10-10 | 2020-01-17 | 上海眼控科技股份有限公司 | 目标检测的方法、装置、设备及可读存储介质 |
| CN110865388A (zh) * | 2019-11-28 | 2020-03-06 | 芜湖汽车前瞻技术研究院有限公司 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
| CN110888144A (zh) * | 2019-12-04 | 2020-03-17 | 吉林大学 | 一种基于滑动窗口的激光雷达数据合成方法 |
| CN110897865A (zh) * | 2019-12-25 | 2020-03-24 | 中科彭州智慧产业创新中心有限公司 | 耳穴引导装置及方法 |
| CN110988912A (zh) * | 2019-12-06 | 2020-04-10 | 中国科学院自动化研究所 | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 |
| CN111238370A (zh) * | 2020-02-20 | 2020-06-05 | 中国科学院声学研究所东海研究站 | 一种kit板的智能检测方法及装置 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111337948A (zh) * | 2020-02-25 | 2020-06-26 | 达闼科技成都有限公司 | 障碍物检测方法、雷达数据生成方法、装置及存储介质 |
| CN111383337A (zh) * | 2020-03-20 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于识别对象的方法和装置 |
| CN111476902A (zh) * | 2020-04-27 | 2020-07-31 | 北京小马慧行科技有限公司 | 3d点云中物体的标注方法、装置、存储介质和处理器 |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN111681212A (zh) * | 2020-05-21 | 2020-09-18 | 中山大学 | 一种基于激光雷达点云数据的三维目标检测方法 |
| CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
| CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
| CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN112184828A (zh) * | 2020-08-21 | 2021-01-05 | 北京百度网讯科技有限公司 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
| CN112258631A (zh) * | 2020-10-20 | 2021-01-22 | 河海大学常州校区 | 一种基于深度神经网络的三维目标检测方法及系统 |
| CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
| CN112489207A (zh) * | 2021-02-07 | 2021-03-12 | 深圳大学 | 一种空间约束的密集匹配点云平面基元提取方法 |
| CN110942485B (zh) * | 2019-11-27 | 2021-03-19 | 腾讯科技（深圳）有限公司 | 基于人工智能的场景感知方法、装置及电子设备 |
| CN112529917A (zh) * | 2020-12-22 | 2021-03-19 | 中国第一汽车股份有限公司 | 一种三维目标分割方法、装置、设备和存储介质 |
| CN112562093A (zh) * | 2021-03-01 | 2021-03-26 | 湖北亿咖通科技有限公司 | 目标检测方法、电子介质和计算机存储介质 |
| CN112652016A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 点云预测模型的生成方法、位姿估计方法及其装置 |
| CN112837239A (zh) * | 2021-02-01 | 2021-05-25 | 意诺科技有限公司 | 毫米波雷达的残影消除方法、装置及计算机可读介质 |
| CN112950785A (zh) * | 2019-12-11 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置及系统 |
| CN112991455A (zh) * | 2021-02-01 | 2021-06-18 | 武汉光庭信息技术股份有限公司 | 一种点云与图片融合标注的方法及系统 |
| CN113075683A (zh) * | 2021-03-05 | 2021-07-06 | 上海交通大学 | 一种环境三维重构方法、装置及系统 |
| CN113198692A (zh) * | 2021-05-19 | 2021-08-03 | 飓蜂科技(苏州)有限公司 | 一种适用于批量产品的高精度点胶方法及装置 |
| CN113345019A (zh) * | 2021-06-09 | 2021-09-03 | 山东信通电子股份有限公司 | 一种输电线路通道隐患目标测距方法、设备及介质 |
| CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
| CN113450459A (zh) * | 2020-03-25 | 2021-09-28 | 北京四维图新科技股份有限公司 | 目标物的三维模型构建方法及装置 |
| CN113496184A (zh) * | 2020-04-08 | 2021-10-12 | 北京京东乾石科技有限公司 | 目标检测方法及装置、计算机存储介质、电子设备 |
| CN113495278A (zh) * | 2020-04-02 | 2021-10-12 | 北京京东乾石科技有限公司 | 用于增强点云数据的方法和装置 |
| CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
| CN113689393A (zh) * | 2021-08-19 | 2021-11-23 | 东南大学 | 一种基于图像和点云实例匹配的三维目标检测算法 |
| CN113848541A (zh) * | 2021-09-22 | 2021-12-28 | 深圳市镭神智能系统有限公司 | 一种标定的方法、装置、无人机及计算机可读存储介质 |
| CN113984037A (zh) * | 2021-09-30 | 2022-01-28 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
| CN114202631A (zh) * | 2021-11-01 | 2022-03-18 | 东北大学 | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114299155A (zh) * | 2021-11-19 | 2022-04-08 | 安徽集萃智造机器人科技有限公司 | 一种激光雷达与相机联合标定的标定方法 |
| CN114972351A (zh) * | 2022-08-01 | 2022-08-30 | 深圳煜炜光学科技有限公司 | 矿车矿量检测方法、装置及设备 |
| CN114998414A (zh) * | 2022-06-02 | 2022-09-02 | 华侨大学 | 一种基于点云数据的零件三维尺寸测量方法、装置和介质 |
| CN115159149A (zh) * | 2022-07-28 | 2022-10-11 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| CN108932475A (zh) * | 2018-05-31 | 2018-12-04 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和单目视觉的三维目标识别系统及方法 |
| EP3418976A1 (en) * | 2017-06-22 | 2018-12-26 | Thomson Licensing | Methods and devices for encoding and reconstructing a point cloud |
| CN109283538A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 |
| CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
| CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距系统及方法 |
-
2019
- 2019-05-28 CN CN201910448808.9A patent/CN110264416B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| EP3418976A1 (en) * | 2017-06-22 | 2018-12-26 | Thomson Licensing | Methods and devices for encoding and reconstructing a point cloud |
| CN108932475A (zh) * | 2018-05-31 | 2018-12-04 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和单目视觉的三维目标识别系统及方法 |
| CN109283538A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 |
| CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
| CN109472831A (zh) * | 2018-11-19 | 2019-03-15 | 东南大学 | 面向压路机施工过程的障碍物识别测距系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王俊: ""基于RGB-D相机数据的室内三维重建模型与方法研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706288A (zh) * | 2019-10-10 | 2020-01-17 | 上海眼控科技股份有限公司 | 目标检测的方法、装置、设备及可读存储介质 |
| CN110942485B (zh) * | 2019-11-27 | 2021-03-19 | 腾讯科技（深圳）有限公司 | 基于人工智能的场景感知方法、装置及电子设备 |
| CN110865388B (zh) * | 2019-11-28 | 2023-10-31 | 芜湖汽车前瞻技术研究院有限公司 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
| CN110865388A (zh) * | 2019-11-28 | 2020-03-06 | 芜湖汽车前瞻技术研究院有限公司 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
| CN110888144A (zh) * | 2019-12-04 | 2020-03-17 | 吉林大学 | 一种基于滑动窗口的激光雷达数据合成方法 |
| CN110888144B (zh) * | 2019-12-04 | 2023-04-07 | 吉林大学 | 一种基于滑动窗口的激光雷达数据合成方法 |
| CN110988912A (zh) * | 2019-12-06 | 2020-04-10 | 中国科学院自动化研究所 | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 |
| CN112950785A (zh) * | 2019-12-11 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置及系统 |
| CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
| CN111754515B (zh) * | 2019-12-17 | 2024-03-01 | 北京京东乾石科技有限公司 | 堆叠物品的顺序抓取方法和装置 |
| CN110897865A (zh) * | 2019-12-25 | 2020-03-24 | 中科彭州智慧产业创新中心有限公司 | 耳穴引导装置及方法 |
| CN111238370A (zh) * | 2020-02-20 | 2020-06-05 | 中国科学院声学研究所东海研究站 | 一种kit板的智能检测方法及装置 |
| CN111337948A (zh) * | 2020-02-25 | 2020-06-26 | 达闼科技成都有限公司 | 障碍物检测方法、雷达数据生成方法、装置及存储介质 |
| CN111340797B (zh) * | 2020-03-10 | 2023-04-28 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111383337A (zh) * | 2020-03-20 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于识别对象的方法和装置 |
| CN113450459B (zh) * | 2020-03-25 | 2024-03-22 | 北京四维图新科技股份有限公司 | 目标物的三维模型构建方法及装置 |
| CN113450459A (zh) * | 2020-03-25 | 2021-09-28 | 北京四维图新科技股份有限公司 | 目标物的三维模型构建方法及装置 |
| CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
| CN112396650B (zh) * | 2020-03-30 | 2023-04-07 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
| CN113495278A (zh) * | 2020-04-02 | 2021-10-12 | 北京京东乾石科技有限公司 | 用于增强点云数据的方法和装置 |
| CN113495278B (zh) * | 2020-04-02 | 2024-04-16 | 北京京东乾石科技有限公司 | 用于增强点云数据的方法和装置 |
| CN113496184A (zh) * | 2020-04-08 | 2021-10-12 | 北京京东乾石科技有限公司 | 目标检测方法及装置、计算机存储介质、电子设备 |
| CN111583663B (zh) * | 2020-04-26 | 2022-07-12 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN111476902B (zh) * | 2020-04-27 | 2023-10-24 | 北京小马慧行科技有限公司 | 3d点云中物体的标注方法、装置、存储介质和处理器 |
| CN111476902A (zh) * | 2020-04-27 | 2020-07-31 | 北京小马慧行科技有限公司 | 3d点云中物体的标注方法、装置、存储介质和处理器 |
| CN111681212A (zh) * | 2020-05-21 | 2020-09-18 | 中山大学 | 一种基于激光雷达点云数据的三维目标检测方法 |
| CN111681212B (zh) * | 2020-05-21 | 2022-05-03 | 中山大学 | 一种基于激光雷达点云数据的三维目标检测方法 |
| CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
| CN111709923B (zh) * | 2020-06-10 | 2023-08-04 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
| CN111951305B (zh) * | 2020-08-20 | 2022-08-23 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN111951305A (zh) * | 2020-08-20 | 2020-11-17 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN112184828A (zh) * | 2020-08-21 | 2021-01-05 | 北京百度网讯科技有限公司 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
| CN112184828B (zh) * | 2020-08-21 | 2023-12-05 | 阿波罗智联(北京)科技有限公司 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
| CN112258631A (zh) * | 2020-10-20 | 2021-01-22 | 河海大学常州校区 | 一种基于深度神经网络的三维目标检测方法及系统 |
| CN112258631B (zh) * | 2020-10-20 | 2023-12-08 | 河海大学常州校区 | 一种基于深度神经网络的三维目标检测方法及系统 |
| CN112529917A (zh) * | 2020-12-22 | 2021-03-19 | 中国第一汽车股份有限公司 | 一种三维目标分割方法、装置、设备和存储介质 |
| CN112652016A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 点云预测模型的生成方法、位姿估计方法及其装置 |
| CN112652016B (zh) * | 2020-12-30 | 2023-07-28 | 北京百度网讯科技有限公司 | 点云预测模型的生成方法、位姿估计方法及其装置 |
| CN112991455A (zh) * | 2021-02-01 | 2021-06-18 | 武汉光庭信息技术股份有限公司 | 一种点云与图片融合标注的方法及系统 |
| CN112837239B (zh) * | 2021-02-01 | 2024-05-14 | 意诺科技有限公司 | 毫米波雷达的残影消除方法、装置及计算机可读介质 |
| CN112991455B (zh) * | 2021-02-01 | 2022-06-17 | 武汉光庭信息技术股份有限公司 | 一种点云与图片融合标注的方法及系统 |
| CN112837239A (zh) * | 2021-02-01 | 2021-05-25 | 意诺科技有限公司 | 毫米波雷达的残影消除方法、装置及计算机可读介质 |
| CN112489207A (zh) * | 2021-02-07 | 2021-03-12 | 深圳大学 | 一种空间约束的密集匹配点云平面基元提取方法 |
| CN112562093A (zh) * | 2021-03-01 | 2021-03-26 | 湖北亿咖通科技有限公司 | 目标检测方法、电子介质和计算机存储介质 |
| CN112562093B (zh) * | 2021-03-01 | 2021-05-18 | 湖北亿咖通科技有限公司 | 目标检测方法、电子介质和计算机存储介质 |
| CN113075683A (zh) * | 2021-03-05 | 2021-07-06 | 上海交通大学 | 一种环境三维重构方法、装置及系统 |
| CN113075683B (zh) * | 2021-03-05 | 2022-08-23 | 上海交通大学 | 一种环境三维重构方法、装置及系统 |
| CN113198692A (zh) * | 2021-05-19 | 2021-08-03 | 飓蜂科技(苏州)有限公司 | 一种适用于批量产品的高精度点胶方法及装置 |
| CN113345019A (zh) * | 2021-06-09 | 2021-09-03 | 山东信通电子股份有限公司 | 一种输电线路通道隐患目标测距方法、设备及介质 |
| CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
| CN113379732A (zh) * | 2021-07-07 | 2021-09-10 | 群周科技(上海)有限公司 | 一种基于机载激光雷达的线缆目标检测方法 |
| CN113689393A (zh) * | 2021-08-19 | 2021-11-23 | 东南大学 | 一种基于图像和点云实例匹配的三维目标检测算法 |
| CN113848541B (zh) * | 2021-09-22 | 2022-08-26 | 深圳市镭神智能系统有限公司 | 一种标定的方法、装置、无人机及计算机可读存储介质 |
| CN113848541A (zh) * | 2021-09-22 | 2021-12-28 | 深圳市镭神智能系统有限公司 | 一种标定的方法、装置、无人机及计算机可读存储介质 |
| CN113984037B (zh) * | 2021-09-30 | 2023-09-12 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
| CN113984037A (zh) * | 2021-09-30 | 2022-01-28 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
| CN114202631A (zh) * | 2021-11-01 | 2022-03-18 | 东北大学 | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 |
| CN114299155A (zh) * | 2021-11-19 | 2022-04-08 | 安徽集萃智造机器人科技有限公司 | 一种激光雷达与相机联合标定的标定方法 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114998414A (zh) * | 2022-06-02 | 2022-09-02 | 华侨大学 | 一种基于点云数据的零件三维尺寸测量方法、装置和介质 |
| CN114998414B (zh) * | 2022-06-02 | 2024-08-09 | 华侨大学 | 一种基于点云数据的零件三维尺寸测量方法、装置和介质 |
| CN115159149A (zh) * | 2022-07-28 | 2022-10-11 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
| CN115159149B (zh) * | 2022-07-28 | 2024-05-24 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
| CN114972351B (zh) * | 2022-08-01 | 2022-11-11 | 深圳煜炜光学科技有限公司 | 矿车矿量检测方法、装置及设备 |
| CN114972351A (zh) * | 2022-08-01 | 2022-08-30 | 深圳煜炜光学科技有限公司 | 矿车矿量检测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264416B (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264416A (zh) | 稀疏点云分割方法及装置 | |
| CN103258345B (zh) | 一种基于地面激光雷达三维扫描的树木枝干参数提取方法 | |
| CN110097553A (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、系统及装置 | |
| CN108010085A (zh) | 基于双目可见光相机与热红外相机的目标识别方法 | |
| CN105989604A (zh) | 一种基于kinect的目标物体三维彩色点云生成方法 | |
| US20100207936A1 (en) | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment | |
| CN113052109A (zh) | 一种3d目标检测系统及其3d目标检测方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN115116049B (zh) | 目标检测的方法、装置、电子设备及存储介质 | |
| Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
| Cui et al. | Dense depth-map estimation based on fusion of event camera and sparse LiDAR | |
| Shivakumar et al. | Real time dense depth estimation by fusing stereo with sparse depth measurements | |
| CN110264527A (zh) | 基于zynq的实时双目立体视觉输出方法 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN114298151A (zh) | 一种基于点云数据与图像数据融合的3d目标检测方法 | |
| CN114295139A (zh) | 一种协同感知定位方法及系统 | |
| CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 | |
| CN116071424A (zh) | 基于单目视觉的果实空间坐标定位方法 | |
| CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
| CN118351410A (zh) | 一种基于稀疏代理注意力的多模态三维检测方法 | |
| CN116704307A (zh) | 基于图像虚拟点云与激光点云融合的目标检测方法及系统 | |
| CN117475105A (zh) | 一种基于单目图像的开放世界三维场景重建及感知方法 | |
| CN116486015A (zh) | 一种格子柜的三维尺寸自动检测和cad数模重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |