CN111951306A - 一种激光雷达与图像视频融合的目标检测方法 - Google Patents
一种激光雷达与图像视频融合的目标检测方法 Download PDFInfo
- Publication number
- CN111951306A CN111951306A CN202010897590.8A CN202010897590A CN111951306A CN 111951306 A CN111951306 A CN 111951306A CN 202010897590 A CN202010897590 A CN 202010897590A CN 111951306 A CN111951306 A CN 111951306A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- laser radar
- conv
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000013480 data collection Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。本发明解决了单幅图像只能提供二维图像平面的像素信息，导致检测准确率下降和误检率升高的技术问题。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法。
背景技术
在基于图像的目标检测中，传统的做法是对单张图片应用普通深度神经网络结构进行目标兴趣区域的定位和识别分类，该方式检测准确率和误检率都不够理想，尤其是对小目标、被遮挡的目标、模糊图像以及光照过暗和过强图像的检测。
比如，文件CN110175576A公开了一种结合激光点云数据的行驶车辆视觉检测方法，首先完成激光雷达与摄像机的联合标定，再进行时间对准；计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；基于候选区域，在各帧图像上提取方向梯度直方图特征；提取三维包围框中的点云数据的特征；基于遗传算法，将得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。
但是，由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高。
发明内容
本发明提供一种激光雷达与图像视频融合的目标检测方法，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。
本发明提供的基础方案为：一种激光雷达与图像视频融合的目标检测方法，包括步骤：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；
S5、输出检测结果。
本发明的工作原理及优点在于：通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，视频数据对动态历史的记录能为算法提供记忆信息，充分利用更多的信息来提升检测准确率，增强了算法对局部帧出现干的鲁棒性。通过这样的方式，当目标暂时被遮挡、运动造成相机的聚焦突然模糊、动态目标由近到远导致在画面中所占区域变小时，由于激光雷达抗光照干扰能力强，能够明显提升目标检测准确率、降低误检率。
本发明通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。
进一步，S4中，算法的具体步骤包括：
A1、生成深度矩阵D；
A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；
A3、将I2输入到目标检测模型；
A4、输出结果。
有益效果在于：通过这样的方式，将像素矩阵I和深度矩阵D按通道拼接到一起，可以充分利用更多的信息来提升检测准确率。
进一步，A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：
add加法操作节点，用于进行矩阵点加法；
mul乘法操作节点，用于进行矩阵点乘法；
concat操作节点，用于进行通道拼接；
conv_block卷积模块，用于进行卷积操作、归一化操作和激活函数操作；
delay延迟操作节点，用于暂存数据。
有益效果在于：通过这样的方式，只需要在模型输出层做修改，就可以将历史信息与视频数据进行融合。
进一步，conv_block卷积模块包括conv_block1、conv_block2和conv_block3，conv_block1、conv_block2和conv_block3均为卷积操作节点、归一化操作节点和激活函数操作节点的串联。
有益效果在于：通过这样的方式，直接将卷积操作节点、归一化操作节点和激活函数操作节点串联起来即可，便于实现。
进一步，去除掉conv_block1。
有益效果在于：通过这样的方式，可以简化记忆融合结构M，但不会影响结果。
进一步，A2中，像素深度通道为两通道或四通道。
有益效果在于：通过这样的方式，便于像素矩阵I和深度矩阵D按通道进行拼接，降低运算量。
进一步，两通道具体为灰度值和深度值。
有益效果在于：通过这样的方式，简单易行、操作性强。
进一步，四通道具体为rgb值和深度值。
有益效果在于：通过这样的方式，可尽可能提供多的信息。
进一步，目标检测模型为SSD或YOLO模型。
有益效果在于：SSD或YOLO模型应用比较成熟，通过这样的方式，便于直接对模型进行改进。
进一步，检测结果为目标在图像平面上的位置和区域。
有益效果在于：通过这样的方式，检测结果具体为即目标在图像平面上的位置和区域，可视化强，便于观察。
附图说明
图1为本发明一种激光雷达与图像视频融合的目标检测方法实施例的流程图。
图2为本发明一种激光雷达与图像视频融合的目标检测方法实施例记忆融合结构M的系统结构框图。
图3为本发明一种激光雷达与图像视频融合的目标检测方法实施例矩阵通道拼接的示意图。
图4为本发明一种激光雷达与图像视频融合的目标检测方法实施例的网络结构示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例1
本发明一种激光雷达与图像视频融合的目标检测方法实施例基本如附图1所示，包括步骤：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；
S5、输出检测结果。
具体实施过程如下：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区。
将360°16线激光雷达和rgb相机靠近安装在一起固定，通过数据接口连接到算法处理器，保证激光雷达和图像传感器需存在共视区。
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步。
通过Camera-LiDAR联合标定法标定获得相机内参K和相机到雷达的外参H，得到雷达到相机的坐标变化矩阵T＝K*H。启动激光雷达和相机，同步实时采集每帧数据，从激光读取点云集合P，遍历集合中所有点的三维坐标(x，y，z)，并用公式(u，v)＝T*(x，y，z)将其映射到相机的图像像素平面，其中(u，v)为图像像素平面坐标。
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T。
取映射到像素平面上的三维点坐标中的z作为深度值d单通道矩阵，并与rgb三通道颜色矩阵按通道拼接为rgbd四通道像素矩阵I2，并以I2作为算法的输入。
具体而言，设图像数据为像素矩阵I，每个像素包含单通道灰度值或三通道rgb值，另设点云数据为P，即激光测得所有空间点的(x，y，z)三维坐标集合。应用映射矩阵T，将点云坐标分量z投影到图像平面上生成深度矩阵D＝T*P，各元素与I中各元素相互对应，将I和D按通道拼接到一起得到包含像素深度通道的两通道(灰度值+深度值)或四通道(rgb值+深度值)的像素矩阵I2。
矩阵通道拼接如图3所示，每个小栅格代表一个像素，黑色矩形为像素的深度值，红色矩形为像素的r颜色分量值，绿色矩形为像素的g颜色分量值，蓝色矩形为像素的b颜色分量值，每个矩阵为一个通道，通过按通道拼接concat到一起形成I2。附图3中，上部分由下到上分别为蓝、绿、红、黑，下部分由下到上分别为黑、蓝、绿、红，(虽然图中均以黑白表示颜色)。
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果。
以ssd或yolo目标检测模型作为基本框架，以I2为模型输入，只在模型输出层做修改即可。如附图2所示，记忆融合结构M具体包括：add加法操作节点，用于进行矩阵点加法；mul乘法操作节点，用于进行矩阵点乘法；concat操作节点，用于进行通道拼接；conv_block卷积模块，用于进行卷积操作、归一化操作和激活函数操作；delay延迟操作节点，用于暂存数据。
输入为原模型提取的特征feature，即基础框架提供的模型输出层之前提取的特征图，输出可以直接为原模型输出，即检测结果，也可以是输出检测结果前面层的特征图。
feature被分别传到add加法操作节点和conv_block1卷积模块，其中add是矩阵点加法，conv_block1为卷积操作节点、归一化操作节点、激活函数操作节点的串联，为可选的。
conv_block1输出被分别传到mul乘法操作节点和concat操作节点，其中mul是矩阵点乘法，concat为对通道的拼接。add融合feature和mul的输出，并将输出传到conv_block卷积模块。其中，conv_block为原框架输出层卷积块或者输出层前一层卷积块，其输出直接传到delay延迟操作节点或可选地先传到conv_block3卷积块后再传到delay操作节点。其中，delay提供暂存功能，用于保存此帧产生的数据并提供给下一帧做融合，conv_block3为卷积操作节点、归一化操作节点、激活函数操作节点的串联。
delay输出与conv_block1输出通过concat操作节点按通道拼接后输出传到conv_block2卷积块，其中conv_block2为卷积操作节点、归一化操作节点、激活函数操作节点的串联。conv_block2输出与conv_block1输出通过mul进行矩阵点乘，得到历史信息并通过add加到本次数据中以融合历史信息。
具体而言，融合检测算法采用基于tensorflow张量流的深度神经网络结构方式设计，原模型为ssd，20分类，每个grid的anchor数设为1，检测结果向量通道维度为25，每个anchor对应一个结果向量，如图4所示。prob为目标是否存在的概率；y，x为目标矩形框在图像上的中心点坐标；h，w分别为矩形框的高和宽；cls[20]为20位类别独热码，I2为输入张量，其高度为图像高度，宽度为图像宽度，通道数＝4。经过ssd特征提取层提取6个尺度的特征图，分别传到记忆融合结构M_1～6，对6个不同尺度的特征图分别进行处理。M_1～6的输出为各尺度25通道的检测结果矩阵O，O中每个元素为结果向量v，对M_1～6输出的各迟钝的结果矩阵执行非极大值抑制求得最终的检测结果。
S5、输出检测结果。
最后，将目标检测结果以可视化的形式输出。
实施例2
与实施例1不同之处仅在于，在运动造成相机的聚焦突然模糊，或者动态目标由近到远而导致在画面中所占区域变小时，进行前置判断，确定相机的聚焦突然模糊或者动态目标在画面中所占区域变小是由于镜头的运动造成的还是由于所拍摄的物体的运动造成的。具体而言，预先设置参考物，判断是相机还是所拍摄的物体与参照物之间存在相对运动：若相机与参照物之间存在相对运动，说明相机的聚焦突然模糊或者动态目标在画面中所占区域变小是由于镜头的运动造成的，这时就调整相机的静止姿态，使其保持不动；反之，若所拍摄的物体与参照物之间存在相对运动，说明相机的聚焦突然模糊或者动态目标在画面中所占区域变小是由于所拍摄的物体的运动造成的，这时就调整相机的运动姿态，使其随着所拍摄物体一起运动，并同时保持着与所拍摄物体的相对位置不变。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；
S5、输出检测结果。
2.如权利要求1所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，S4中，算法的具体步骤包括：
A1、生成深度矩阵D；
A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；
A3、将I2输入到目标检测模型；
A4、输出结果。
3.如权利要求2所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，
A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：
add加法操作节点，用于进行矩阵点加法；
mul乘法操作节点，用于进行矩阵点乘法；
concat操作节点，用于进行通道拼接；
conv_block卷积模块，用于进行卷积操作、归一化操作和激活函数操作；
delay延迟操作节点，用于暂存数据。
4.如权利要求3所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，conv_block卷积模块包括conv_block1、conv_block2和conv_block3，conv_block1、conv_block2和conv_block3均为卷积操作节点、归一化操作节点和激活函数操作节点的串联。
5.如权利要求4所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，去除掉conv_block1。
6.如权利要求5所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，A2中，像素深度通道为两通道或四通道。
7.如权利要求6所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，两通道具体为灰度值和深度值。
8.如权利要求7所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，四通道具体为rgb值和深度值。
9.如权利要求8所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，目标检测模型为SSD或YOLO模型。
10.如权利要求9所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，检测结果为目标在图像平面上的位置和区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010897590.8A CN111951306B (zh) | 2020-08-31 | 2020-08-31 | 一种激光雷达与图像视频融合的目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010897590.8A CN111951306B (zh) | 2020-08-31 | 2020-08-31 | 一种激光雷达与图像视频融合的目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951306A true CN111951306A (zh) | 2020-11-17 |
| CN111951306B CN111951306B (zh) | 2024-06-07 |
Family
ID=73368172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010897590.8A Active CN111951306B (zh) | 2020-08-31 | 2020-08-31 | 一种激光雷达与图像视频融合的目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951306B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541886A (zh) * | 2020-11-27 | 2021-03-23 | 北京佳力诚义科技有限公司 | 一种激光雷达和相机融合人工智能矿石识别方法和装置 |
| CN112835037A (zh) * | 2020-12-29 | 2021-05-25 | 清华大学 | 一种基于视觉和毫米波融合的全天候目标检测方法 |
| CN112927233A (zh) * | 2021-01-27 | 2021-06-08 | 湖州市港航管理中心 | 一种船用激光雷达与视频联合目标捕捉方法 |
| CN112924960A (zh) * | 2021-01-29 | 2021-06-08 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、系统、车辆及存储介质 |
| CN113096395A (zh) * | 2021-03-31 | 2021-07-09 | 武汉理工大学 | 一种基于定位与人工智能识别的道路交通安全评价系统 |
| CN113375563A (zh) * | 2021-05-12 | 2021-09-10 | 深圳市北斗云信息技术有限公司 | 一种激光lidar与视频融合的滑坡位移监测方法及系统 |
| CN115578608A (zh) * | 2022-12-12 | 2023-01-06 | 南京慧尔视智能科技有限公司 | 一种基于毫米波雷达点云的抗干扰分类方法及装置 |
| CN116385336A (zh) * | 2022-12-14 | 2023-07-04 | 广州市斯睿特智能科技有限公司 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
| WO2023138697A1 (zh) * | 2022-01-20 | 2023-07-27 | 探维科技(北京)有限公司 | 基于图像融合激光的雷达系统扫描方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206669A1 (en) * | 2016-01-14 | 2017-07-20 | RetailNext, Inc. | Detecting, tracking and counting objects in videos |
| CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 |
| CN109146929A (zh) * | 2018-07-05 | 2019-01-04 | 中山大学 | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 |
| CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
| CN110414418A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
-
2020
- 2020-08-31 CN CN202010897590.8A patent/CN111951306B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206669A1 (en) * | 2016-01-14 | 2017-07-20 | RetailNext, Inc. | Detecting, tracking and counting objects in videos |
| CN108020825A (zh) * | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 |
| CN109146929A (zh) * | 2018-07-05 | 2019-01-04 | 中山大学 | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 |
| CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
| CN110456363A (zh) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | 三维激光雷达点云和红外图像融合的目标检测及定位方法 |
| CN110414418A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王东敏 等: "视觉与激光点云融合的深度图像获取方法", 军事交通学院学报, vol. 19, no. 10, 31 October 2017 (2017-10-31), pages 80 - 84 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541886A (zh) * | 2020-11-27 | 2021-03-23 | 北京佳力诚义科技有限公司 | 一种激光雷达和相机融合人工智能矿石识别方法和装置 |
| CN112835037B (zh) * | 2020-12-29 | 2021-12-07 | 清华大学 | 一种基于视觉和毫米波融合的全天候目标检测方法 |
| CN112835037A (zh) * | 2020-12-29 | 2021-05-25 | 清华大学 | 一种基于视觉和毫米波融合的全天候目标检测方法 |
| US11380089B1 (en) | 2020-12-29 | 2022-07-05 | Tsinghua University | All-weather target detection method based on vision and millimeter wave fusion |
| CN112927233A (zh) * | 2021-01-27 | 2021-06-08 | 湖州市港航管理中心 | 一种船用激光雷达与视频联合目标捕捉方法 |
| CN112924960A (zh) * | 2021-01-29 | 2021-06-08 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、系统、车辆及存储介质 |
| CN112924960B (zh) * | 2021-01-29 | 2023-07-18 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、系统、车辆及存储介质 |
| CN113096395B (zh) * | 2021-03-31 | 2022-03-25 | 武汉理工大学 | 一种基于定位与人工智能识别的道路交通安全评价系统 |
| CN113096395A (zh) * | 2021-03-31 | 2021-07-09 | 武汉理工大学 | 一种基于定位与人工智能识别的道路交通安全评价系统 |
| CN113375563A (zh) * | 2021-05-12 | 2021-09-10 | 深圳市北斗云信息技术有限公司 | 一种激光lidar与视频融合的滑坡位移监测方法及系统 |
| WO2023138697A1 (zh) * | 2022-01-20 | 2023-07-27 | 探维科技(北京)有限公司 | 基于图像融合激光的雷达系统扫描方法及装置 |
| CN115578608A (zh) * | 2022-12-12 | 2023-01-06 | 南京慧尔视智能科技有限公司 | 一种基于毫米波雷达点云的抗干扰分类方法及装置 |
| CN116385336A (zh) * | 2022-12-14 | 2023-07-04 | 广州市斯睿特智能科技有限公司 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
| CN116385336B (zh) * | 2022-12-14 | 2024-04-12 | 广州市斯睿特智能科技有限公司 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951306B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951306B (zh) | 一种激光雷达与图像视频融合的目标检测方法 | |
| CN109034047B (zh) | 一种车道线检测方法及装置 | |
| CN109086668B (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| US8179393B2 (en) | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment | |
| Vaudrey et al. | Differences between stereo and motion behaviour on synthetic and real-world stereo sequences | |
| JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| JPWO2020179065A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5549345B2 (ja) | 画像収集装置に用いる天空検出装置及び方法 | |
| CN114565644B (zh) | 三维运动目标检测方法、装置和设备 | |
| CN110298281B (zh) | 视频结构化方法、装置、电子设备及存储介质 | |
| WO2023185069A1 (zh) | 物体检测方法及装置、计算机可读存储介质及无人车 | |
| KR101992044B1 (ko) | 정보 처리 장치, 방법, 및 컴퓨터 프로그램 | |
| US20240077331A1 (en) | Method of predicting road attributers, data processing system and computer executable code | |
| KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
| CN115170810A (zh) | 一种可见光红外图像融合目标检测实例分割方法 | |
| CN104754327A (zh) | 一种检测及消除高光谱图像坏点的方法 | |
| CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| JP4762026B2 (ja) | 道路標識データベース構築装置 | |
| EP2913793B1 (en) | Image processing device and image processing method | |
| Shi et al. | A method for detecting pedestrian height and distance based on monocular vision technology | |
| CN112365600B (zh) | 一种三维物体检测方法 | |
| CN114898144A (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN113095324A (zh) | 一种针对锥桶的分类与测距方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |