CN111340797B - 一种激光雷达与双目相机数据融合检测方法及系统 - Google Patents

一种激光雷达与双目相机数据融合检测方法及系统 Download PDF

Info

Publication number
CN111340797B
CN111340797B CN202010161186.4A CN202010161186A CN111340797B CN 111340797 B CN111340797 B CN 111340797B CN 202010161186 A CN202010161186 A CN 202010161186A CN 111340797 B CN111340797 B CN 111340797B
Authority
CN
China
Prior art keywords
point cloud
laser radar
binocular camera
data
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010161186.4A
Other languages
English (en)
Other versions
CN111340797A (zh
Inventor
王新立
何萱
宋锐
江连杰
王伟
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010161186.4A priority Critical patent/CN111340797B/zh
Publication of CN111340797A publication Critical patent/CN111340797A/zh
Application granted granted Critical
Publication of CN111340797B publication Critical patent/CN111340797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本公开提供了一种激光雷达与双目相机数据融合检测方法及系统，获取激光雷达采集的检测区域的点云数据；获取双目相机采集的待检测物体的图像数据；对图像数据进行处理，分割待检测物体，得到待检测物体点云以及三维坐标、姿态和类别；对直接获取的点云数据进行分割，得到目标点云和其三维坐标；对两个点云数据进行配准以及重叠率的计算，若重叠率大于设定值，则输出目标点云以三维坐标结果，否则重新进行检测区域的点云和图像检测。有效的提高了目标物体位测量精度。

Description

一种激光雷达与双目相机数据融合检测方法及系统
技术领域
本公开属于检测数据处理技术领域，涉及一种激光雷达与双目相机数据融合检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着现代科学技术的不断发展，新型仪器不断涌现出来，工业领域对于高精尖仪器的使用也逐渐平铺开来，然而由于工业的场景的复杂性，仅依靠自然光相机难以在恶劣条件下保证测量的精准性；在结构化场景中，激光雷达能探测到的特征不足，视觉纹理的缺失会导致里程计的漂移；单一的激光雷达无法获取环境的地图信息。
发明内容
本公开为了解决上述问题，提出了一种激光雷达与双目相机数据融合检测方法及系统，本公开针对工业检测领域，作业条件恶劣，仅依靠双目相机的情况下难以实现目标物的检测的准确性，加入激光雷达，激光雷达可以精准的测量待测物体的位置信息，检测精准度高，且可以进行低光照强度下的目标物体检测，为进一步提高目标的检测精度，还加入基于深度学习的点云信息提取，提高了从点云信息中提取目标物的速度与准确率，大大提高了提取目标物体的精度，从而准确得出物体三维位置与姿态信息。
根据一些实施例，本公开采用如下技术方案：
一种激光雷达与双目相机数据融合检测系统，包括运动机构，所述运动机构上设置有双目相机和激光雷达，还设置有融合模块；
所述激光雷达用于获取检测区域的点云数据；
所述双目相机用于获取待检测物体的图像数据；
所述融合模块，被配置为对图像数据进行处理，分割待检测物体，得到待检测物体点云以及三维坐标、姿态和类别；对激光雷达获取的点云数据进行分割，得到目标点云和其三维坐标；对两个点云数据进行配准以及重叠率的计算，若重叠率大于设定值，则输出激光雷达处理后的目标点云以三维坐标结果，否则重新进行检测区域的检测。
作为可选择的实施方式，所述双目相机和激光雷达均具有标定模块，用于在获取数据前，所述双目相机和激光雷达进行各自标定和联合标定。
一种激光雷达与双目相机数据融合检测方法，包括以下步骤：
获取激光雷达采集的检测区域的点云数据；
获取双目相机采集的待检测物体的图像数据；
对图像数据进行处理，分割待检测物体，得到待检测物体点云以及三维坐标、姿态和类别；对直接获取的点云数据进行分割，得到目标点云和其三维坐标；
对两个点云数据进行配准以及重叠率的计算，若重叠率大于设定值，则输出目标点云以三维坐标结果，否则重新进行检测区域的点云和图像检测。
作为可选择的实施方式，在获取采集的数据前，对激光雷达进行内参标定，对双目相机通过张氏标定法求解相机的内参标定；
进行两者的联合标定，将激光雷达坐标系映射到双目相机的坐标系下。
作为可选择的实施方式，采用基于深度学习的方法对于激光雷达点云数据进行分割提取，进行目标物体检测前，利用激光雷达在检测区域进行点云数据收集，对于收集到的点云数据进行标注、分类，将点集输入网络之中，网络中采用T-Net网络模型来训练出特征变换矩阵，使经过各种变换后的点云对齐到同一个空间下，并提取点云特征。
作为可选择的实施方式，点云的全局特征提取出之后，输入到分类模之中，将点云的全局特征与之前提取的点云的点的特征结合起来，预测点云中每个点的最终类别以及置信度，进行激光雷达的点云的分割，完成模型的训练，通过多次训练，选择最优模型。
作为可选择的实施方式，对激光雷达获取的实时数据进行预处理，移除点云中的离群点，预处理后点云数据输入最优模型进行识别、分类，输出分割后点云信息，以及候选框中心点处三维坐标。
作为可选择的实施方式，双目相机工作前拍摄多个待检测物体的图像，分类制作样本库，采取实时图像，采用模板匹配算法，输出待检测物体的类别与置信度，输出待测物体点云信息。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种激光雷达与双目相机数据融合检测方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种激光雷达与双目相机数据融合检测方法。
与现有技术相比，本公开的有益效果为：
本公开针对双目相机在自然光条件下测量精度过低，引入激光雷达进行测量辅助，有效的提高了目标物体位测量精度，有效的保证了在工业恶劣环境下，精准的检测出待测物体，保证后续操作。
本公开仅需要一台双目相机及一台激光雷达即可完成运转，无需任何人工操作，节省了人力，且具有良好的移植性。
本公开采取基于深度学习的策略检测分割激光雷达点云，相比于传统的基于特征分割，提高了运算速度，增加了点云分割的准确性。针对双目相机数据与激光雷达数据的融合部分，提出了新的基于点云匹配度的评价尺寸，提高了点云数据融合的准确度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是激光雷达与双目相机数据融合处理基本流程图；
图2是激光雷达与双目相机联合标定网络示意图；
图3是融合处理细节流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例针对很多探测场合，如煤矿行业，作业条件恶劣，仅依靠双目相机的情况下难以实现目标物的检测的准确性，加入激光雷达，激光雷达可以精准的测量待测物体的位置信息，检测精准度高，且可以进行低光照强度下的目标物体检测，为进一步提高目标的检测精度，本实施例加入基于深度学习的点云信息提取，提高了从点云信息中提取目标物的速度与准确率，大大提高了提取目标物体的精度，从而准确得出物体三维位置与姿态信息。
具体的，包括激光雷达、双目相机、数据融合模块和点云分类模块，如图1所示，激光雷达、双目相机具有标定模块。
激光雷达与双目相机获取数据过程中是分别基于自身坐标系，数据融合之前需要对于激光雷达与双目相机进行联合标定。
激光雷达标定
激光雷达误差方程可以简单的写为E＝a+sd，其中E为激光雷达的测距误差，a为一个常数项，s为尺度因子，d则为激光雷达与返回点间的距离。在进行激光雷达的内参标定过程中需要对于激光雷达发射器内参进行单独标定，建立激光雷达与双目相机坐标转换关系(激光雷达与双目相机的标定)。
双目相机标定：
双目相机的标定即寻找世界坐标系与双目相机像素坐标系之间的关系，这里选择两个焦距均为f的相机(其中相机坐标系的原点选取为相机的光学中心)，通过张正友标定法求解相机内参：
Figure BDA0002405850230000061
内参标定只需要在第一次使用相机时进行。
激光雷达与双目相机联合标定
激光雷达与双目相机的联合标定，需要将激光雷达坐标系映射到双目相机的坐标系下，两个坐标系转化关系为：
xL＝RLCxC+TLC
其中RLC表示激光雷达坐标系与双目相机坐标系的旋转矩阵，TLC表示激光雷达坐标系与双目相机坐标系的平移矩阵。为增加激光雷达与双目相机标定精确度，采用基于监督学习的联合标定方法，网络结构如图2所示。
其中输入层的数据为标定板的点云数据(x,y,z)，输出层的数据的为双目相机成像后的像素点坐标值(u,v)，模型采用BP学习网络，根据计算结果不断调整连接权，从而快速迭代出loss函数值。
再进行融合处理，如图3所示。
步骤一：激光雷达点云数据集制作
进行目标物体检测前，利用激光雷达在检测区域进行点云数据收集，对于收集到的点云数据对于点云数据进行标注、分类，将点集F＝{(p1,i,f1,i:i＝1,2,3...,N}输入pointnet网络之中，这里网络其中p表示点集中的点的三维坐标，f表示点对应的特征，这里F表示的是无序的点集。由于点云的无序性，所以对于点云的刚体变换不应该影响到点云的语义信息的提取，网络中采用T-Net网络模型来训练出特征变换矩阵，使经过各种变换后的点云可以对齐到同一个空间下，网络在训练loss的该过程中增加了一个正则化项，将特征变换矩阵近似为正交矩阵，其中公式如下所示：
Figure BDA0002405850230000071
其中N表示的就是预测的特征矩阵，网络中共使用了两个T-Net训练网络，最后输出一个3*3的输入点云变换矩阵以及一个64*64的点云特征变换矩阵。经过多次的特征提取后，将点云的特征提取到64维度，经过对齐处理之后，模型中使用sharedMLP经过多次的处理将点云的维度最终提取到1024维，最终由maxpooling函数对于输入的1024维的点云的全局特征进行提取，点云的全局特征提取出之后，输入到分类模之中，将点云的全局特征与之前提取的点云的点的特征结合起来，预测点云中每个点的最终类别以及置信度，进行激光雷达的点云的分割，完成模型的训练。通过多次训练，选择最优模型。
步骤二：激光雷达数据预处理包括滤波、Kd-tree等，移除点云中的离群点，简化运算时间。预处理后点云数据输入训练好的模型中识别、分类，输出分割后点云信息，以及候选框中心点处三维坐标。
步骤三：双目相机工作前大量拍摄待检测物体，分类制作样本库，相机采取实时图像，采用模板匹配算法，输出待检测物体的类别与置信度，输出待测物体点云信息。
步骤四：双目相机输出点云与激光雷达点云配准即求解OL＝ROC+T中旋转矩阵R以及平移矩阵T，这里拟采取改进的ICP算法对于俩部分点云进行配准，在原ICP算法基础上，引入基于OTB评价，实时对于点云配准过程中重叠率
Figure BDA0002405850230000081
其中P为评价标准重叠率，当点云配准重叠率大于0.9时，认为点云配准完成，输出点云数据的三维坐标均值作为待检测物体三维坐标；当重叠率P小于0.9时，则再次获取数据，重新进行数据的处理，配准等，直至重叠率高于0.9。
步骤五：点云重叠率检测到高于0.9时，输出激光雷达中的点云信息，提取待检测物体的三维坐标，姿态等信息。
相应的，还提供一下产品实施例：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种激光雷达与双目相机数据融合检测方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种激光雷达与双目相机数据融合检测方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种激光雷达与双目相机数据融合检测系统，其特征是：包括运动机构，所述运动机构上设置有双目相机和激光雷达，还设置有融合模块；
所述激光雷达用于获取检测区域的点云数据；
所述双目相机用于获取待检测物体的图像数据；
所述融合模块，被配置为对图像数据进行处理，分割待检测物体，得到待检测物体点云以及三维坐标、姿态和类别；对激光雷达获取的点云数据进行分割，得到目标点云和其三维坐标；对两个点云数据进行配准以及重叠率的计算，若重叠率大于设定值，则输出激光雷达处理后的目标点云以三维坐标结果，否则重新进行检测区域的检测。
2.如权利要求1所述的一种激光雷达与双目相机数据融合检测系统，其特征是：所述双目相机和激光雷达均具有标定模块，用于在获取数据前，所述双目相机和激光雷达进行各自标定和联合标定。
3.一种激光雷达与双目相机数据融合检测方法，其特征是：包括以下步骤：
获取激光雷达采集的检测区域的点云数据；
获取双目相机采集的待检测物体的图像数据；
对图像数据进行处理，分割待检测物体，得到待检测物体点云以及三维坐标、姿态和类别；对直接获取的点云数据进行分割，得到目标点云和其三维坐标；
对两个点云数据进行配准以及重叠率的计算，若重叠率大于设定值，则输出目标点云以三维坐标结果，否则重新进行检测区域的点云和图像检测。
4.如权利要求3所述的一种激光雷达与双目相机数据融合检测方法，其特征是：在获取采集的数据前，对激光雷达进行内参标定，对双目相机通过张正友标定法求解相机内参的标定；
进行两者的联合标定，将激光雷达坐标系映射到双目相机的坐标系下。
5.如权利要求3所述的一种激光雷达与双目相机数据融合检测方法，其特征是：进行目标物体检测前，利用激光雷达在检测区域进行点云数据收集，对于收集到的点云数据对于点云数据进行标注、分类，将点集输入网络之中，网络中采用T-Net网络模型来训练出特征变换矩阵，使经过各种变换后的点云对齐到同一个空间下，并提取点云特征。
6.如权利要求5所述的一种激光雷达与双目相机数据融合检测方法，其特征是：点云的全局特征提取出之后，输入到分类模之中，将点云的全局特征与之前提取的点云的点的特征结合起来，预测点云中每个点的最终类别以及置信度，进行激光雷达的点云的分割，完成模型的训练，通过多次训练，选择最优模型。
7.如权利要求3所述的一种激光雷达与双目相机数据融合检测方法，其特征是：对激光雷达获取的实时数据进行预处理，移除点云中的离群点，预处理后点云数据输入最优模型进行识别、分类，输出分割后点云信息，以及候选框中心点处三维坐标。
8.如权利要求3所述的一种激光雷达与双目相机数据融合检测方法，其特征是：双目相机工作前拍摄多个待检测物体的图像，分类制作样本库，采取实时图像，采用模板匹配算法，输出待检测物体的类别与置信度，输出待测物体点云信息。
9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求3-8中任一项所述的一种激光雷达与双目相机数据融合检测方法。
10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行其特征是：所述的一种激光雷达与双目相机数据融合检测方法。
CN202010161186.4A 2020-03-10 2020-03-10 一种激光雷达与双目相机数据融合检测方法及系统 Active CN111340797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161186.4A CN111340797B (zh) 2020-03-10 2020-03-10 一种激光雷达与双目相机数据融合检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161186.4A CN111340797B (zh) 2020-03-10 2020-03-10 一种激光雷达与双目相机数据融合检测方法及系统

Publications (2)

Publication Number Publication Date
CN111340797A CN111340797A (zh) 2020-06-26
CN111340797B true CN111340797B (zh) 2023-04-28

Family

ID=71184240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161186.4A Active CN111340797B (zh) 2020-03-10 2020-03-10 一种激光雷达与双目相机数据融合检测方法及系统

Country Status (1)

Country Link
CN (1) CN111340797B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132896A (zh) * 2020-09-16 2020-12-25 北京埃福瑞科技有限公司 一种轨旁设备状态检测方法及系统
WO2022067647A1 (zh) * 2020-09-30 2022-04-07 华为技术有限公司 一种路面要素确定方法及装置
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
WO2022077238A1 (zh) * 2020-10-13 2022-04-21 深圳市大疆创新科技有限公司 成像显示方法、遥控终端、装置、系统及存储介质
CN112254670B (zh) * 2020-10-15 2022-08-12 天目爱视（北京）科技有限公司 一种基于光扫描和智能视觉融合的3d信息采集设备
CN112288815B (zh) * 2020-11-06 2023-10-17 山东产研信息与人工智能融合研究院有限公司 一种目标模位置测量方法、系统、存储介质及设备
CN112419402A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于多光谱影像和激光点云的定位方法及系统
CN112528773B (zh) * 2020-11-27 2023-04-07 深兰科技（上海）有限公司 障碍物信息融合方法、装置、电子设备和存储介质
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112711033B (zh) * 2020-12-09 2022-02-18 中科视语(北京)科技有限公司 边坡安全监测预警装置和预警方法
CN112529011A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 目标检测方法及相关装置
CN112598729B (zh) * 2020-12-24 2022-12-23 哈尔滨工业大学芜湖机器人产业技术研究院 融合激光与相机的目标物体识别与定位方法
CN112686206A (zh) * 2021-01-20 2021-04-20 塞尔昂(上海)工业技术有限公司 一种智能斗齿监测系统
CN112991455B (zh) * 2021-02-01 2022-06-17 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN112926446A (zh) * 2021-02-24 2021-06-08 北京爱笔科技有限公司 一种抛物检测方法及抛物检测系统
CN112837384A (zh) * 2021-03-01 2021-05-25 东软睿驰汽车技术（沈阳）有限公司 车辆标记方法、装置和电子设备
CN113239726B (zh) * 2021-04-06 2022-11-08 北京航空航天大学杭州创新研究院 基于着色点云的目标检测方法、装置和电子设备
CN112949782A (zh) * 2021-04-27 2021-06-11 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
CN113362444B (zh) * 2021-05-21 2023-06-16 北京百度网讯科技有限公司 点云数据的生成方法、装置、电子设备及存储介质
CN113375682A (zh) * 2021-06-09 2021-09-10 深圳朗道智通科技有限公司 一种数据融合对实时高精地图自动标注系统及方法
CN113362247B (zh) * 2021-06-11 2023-08-15 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113593034B (zh) * 2021-07-01 2023-11-24 中国建筑土木建设有限公司 无标靶点云数据处理方法、装置、设备及介质
CN113379732B (zh) * 2021-07-07 2022-12-02 群周科技(上海)有限公司 一种基于机载激光雷达的线缆目标检测方法
CN113658337B (zh) * 2021-08-24 2022-05-03 哈尔滨工业大学 一种基于车辙线的多模态里程计方法
CN113900119B (zh) * 2021-09-29 2024-01-30 苏州浪潮智能科技有限公司 一种激光雷达车辆检测的方法、系统、存储介质及设备
CN113903029B (zh) * 2021-12-10 2022-03-22 智道网联科技(北京)有限公司 一种点云数据中3d框的标注方法和装置
CN114550116A (zh) * 2022-02-17 2022-05-27 京东鲲鹏(江苏)科技有限公司 一种对象识别方法和装置
CN114898319B (zh) * 2022-05-25 2024-04-02 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN114998414A (zh) * 2022-06-02 2022-09-02 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质
CN115797401B (zh) * 2022-11-17 2023-06-06 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备
CN115880243B (zh) * 2022-12-02 2023-07-07 广东机电职业技术学院 基于3d点云分割的铁轨表面损伤检测方法、系统和介质
CN115994854B (zh) * 2023-03-22 2023-06-23 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统
CN116449393B (zh) * 2023-06-15 2023-09-22 天津美腾科技股份有限公司 一种针对大中型料堆多传感器测量方法和系统
CN116630394B (zh) * 2023-07-25 2023-10-20 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117268350A (zh) * 2023-09-18 2023-12-22 广东省核工业地质局测绘院 一种基于点云数据融合的移动式智能测绘系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN107179086A (zh) * 2017-05-24 2017-09-19 北京数字绿土科技有限公司 一种基于激光雷达的制图方法、装置及系统
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118542B (zh) * 2017-06-22 2021-11-23 阿波罗智能技术(北京)有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN107179086A (zh) * 2017-05-24 2017-09-19 北京数字绿土科技有限公司 一种基于激光雷达的制图方法、装置及系统
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Farkas,M等.Small UAV's position and attitude estimation using tightly coupled multi baseline multi constellation GNSS and inertial sensor fusion.《IEEE Metrology for AeroSpace》.2019,全文. *

Also Published As

Publication number Publication date
CN111340797A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
Ukhwah et al. Asphalt pavement pothole detection using deep learning method based on YOLO neural network
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN111239684A (zh) 一种基于YoloV3深度学习的双目快速距离测量方法
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
Rogelio et al. Object detection and segmentation using Deeplabv3 deep neural network for a portable X-ray source model
TWI543117B (zh) 物件辨識與定位方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN109785388B (zh) 一种基于双目摄像头的短距离精确相对定位方法
CN111160231A (zh) 一种基于Mask R-CNN的自动驾驶环境道路提取方法
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN110889418A (zh) 一种气体轮廓识别方法
CN116310902A (zh) 一种基于轻量级神经网络的无人机目标检测方法及系统
Zhang et al. A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method
Farag A fast and reliable balanced approach for detecting and tracking road vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant