CN110738121A - 一种前方车辆检测方法及检测系统 - Google Patents

一种前方车辆检测方法及检测系统 Download PDF

Info

Publication number
CN110738121A
CN110738121A CN201910876938.2A CN201910876938A CN110738121A CN 110738121 A CN110738121 A CN 110738121A CN 201910876938 A CN201910876938 A CN 201910876938A CN 110738121 A CN110738121 A CN 110738121A
Authority
CN
China
Prior art keywords
image
point cloud
cloud data
acquired
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910876938.2A
Other languages
English (en)
Inventor
张娟
马忠贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910876938.2A priority Critical patent/CN110738121A/zh
Publication of CN110738121A publication Critical patent/CN110738121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种前方车辆检测方法及检测系统，能够提高车辆检测、定位的可靠性和精确性。所述方法包括：通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。本发明涉及计算机视觉领域。

Description

一种前方车辆检测方法及检测系统
技术领域
本发明涉及计算机视觉领域，特别是指一种前方车辆检测方法及检测系统。
背景技术
在高级驾驶辅助系统中，前方车辆检测是一个重要环节。目前国内外车辆检测的解决方案中，大部分是基于红外、激光雷达、毫米波雷达、视觉传感器等单个传感器单独实现，然而这两种传感器均有各自的缺陷，其中，雷达检测范围广、可以获得景深信息、对于速度测量较为精确、抗环境干扰能力强，但同时具有漏检率与误检率较高，角度分辨率不高，目标分类特征信息无法给出的缺陷，导致检测结果易失真；视觉传感器(例如，摄像机)具有成本低、采集的数据信息量丰富，易于目标分类、近距离检测精度高等优点，但是其易受天气的环境影响，摄像机固有的光学特性决定了其有效距离约为60m，以上局限性决定摄像机的鲁棒性较差、检测结果可靠性低。
发明内容
本发明要解决的技术问题是提供一种前方车辆检测方法及检测系统，以解决现有技术所存在的基于单一传感器的目标检测方法，检测结果可靠性低的问题。
为解决上述技术问题，本发明实施例提供一种前方车辆检测方法，包括：
通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；
利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。
进一步地，所述方法还包括：获取图像的地平面基准文件和激光雷达到相机的标定信息。
进一步地，所述利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合包括：
利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
进一步地，所述6尺度包括：点云坐标下3种不同的尺寸和3种不同的角度。
进一步地，在训练双区域生成网络时，使用基于定位置信度的相对熵回归损失函数同时学习边界框回归和定位的不确定性。
本发明实施例还提供一种前方车辆检测系统，包括：
获取模块，用于获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别，其中，所述获取模块包括：激光雷达和视觉传感器；
处理模块，用于利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
检测模块，用于利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。
进一步地，所述获取模块，还用于获取图像的地平面基准文件和激光雷达到相机的标定信息。
进一步地，所述处理模块包括：
提取单元，用于利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
融合单元，用于根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
进一步地，所述6尺度包括：点云坐标下3种不同的尺寸和3种不同的角度。
进一步地，在训练双区域生成网络时，使用基于定位置信度的相对熵回归损失函数同时学习边界框回归和定位的不确定性。
本发明的上述技术方案的有益效果如下：
上述方案中，通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。这样，利用激光雷达和视觉传感器进行联合检测，充分利用了车辆的景深信息和语义信息，提高了车辆检测、定位的可靠性和精确性。
附图说明
图1为本发明实施例提供的前方车辆检测方法的流程示意图；
图2为本发明实施例提供的前方车辆检测方法的详细流程示意图；
图3为本发明实施例提供的特征金字塔网络的结构示意图；
图4为本发明实施例提供的6尺度三维锚框机制示意图；
图5为本发明实施例提供的目标检测结果示意图；
图6为本发明实施例提供的优化的边界框回归损失函数的网络结构示意图；
图7为本发明实施例提供的准确率-召回率曲线示意图；
图8为本发明实施例提供的平均准确率-迭代次数曲线示意图；
图9为本发明实施例提供的前方车辆检测系统的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的基于单一传感器的目标检测方法，检测结果可靠性低的问题，提供一种前方车辆检测方法及检测系统。
实施例一
如图1所示，本发明实施例提供的前方车辆检测方法，包括：
通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；
利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
利用融合后的特征及目标的标签类别对双区域生成网络(Region ProposalNetwork，RPN)进行训练，生成感兴趣区域(ROI)并进行类别检测，输出前方车辆的三维检测结果。
本发明实施例所述的前方车辆检测方法，通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。这样，利用激光雷达和视觉传感器进行联合检测，充分利用了车辆的景深信息和语义信息，提高了车辆检测、定位的可靠性和精确性。
本实施例所述的前方车辆检测方法，是一种以检测出道路环境中前方车辆为目的的方法。
本实施例中，可以通过3D激光雷达和视觉传感器(例如，摄像机)分别获取前方车辆的点云数据和RGB图像，并获取点云数据和图像中目标的标签类别，生成训练集和测试集；其中，所述目标的标签类别包括：轿车(car)、行人(pesestrain)、骑自行车的人(cyclist)等，在实际应用中，标签类别根据实际情况进行确定。
本实施例中，训练集和测试集的数据也可以来自国际上最大的自动驾驶场景下的计算机视觉算法评测数据集KITTI，KITTI中数据的采集使用了多个摄像机，包括：2个灰度摄像机，2个彩色摄像机，也包括一个Velodyne64线3D激光雷达采集的点云数据。本实施例中，用KITTI提供的3D激光雷达采集的点云数据和摄像机采集的视觉数据进行区域生成及目标检测网络模型的训练与测试。
本实施例中，训练集可以包含7481张城市车道场景图像，及与之相对应的激光雷达点云数据。测试集包含7518张城市车道场景图像，及与之相对应的激光雷达点云数据。
在前述前方车辆检测方法的具体实施方式中，进一步地，所述方法还包括：获取图像的地平面基准文件和激光雷达到相机的标定信息。
本实施例中，在用KITTI提供的3D激光雷达采集的点云数据和摄像机采集的视觉数据进行区域生成及目标检测网络模型训练与测试时，相应平台开放了激光雷达到相机的标定信息和图像的地平面基准文件，可以直接获取。
在前述前方车辆检测方法的具体实施方式中，进一步地，所述利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合包括：
利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
本实施例中，在提取激光雷达的俯瞰特征图和图像特征图之前，可以对训练集进行分批处理，产生小批量的数据集及其对应的标签类别，以便提高训练速度。
本实施例中，所述特征提取器包括：第一特征金字塔网络(FPN)和第二特征金字塔网络，每次将分批处理产生的小批量数据集中的点云数据输入编解码的第一特征金字塔网络，提取激光雷达的俯瞰特征图(BEV)，并将小批量数据集中的图像送入编解码的第二特征金字塔网络(FPN)，提取RGB图像特征图；特征金字塔网络是一种高分辨率的特征提取器，充分考虑了小目标物体的特征提取，如图2所示。
如图3所示，所述特征金字塔网络包括：编码器和解码器，其中，编码器部分共由8层组成，前4层提取VGG16的卷积层(conv)，并进行通道数减半处理，5、6、7为三个全连接层，第8层为归一化指数函数层(softmax)进行物体的多分类；解码器部分将编码器学习到的特征映射进行上采样(Upsampling)处理，并通过转换-转置操作(c)上采样回原始输入大小的特征图，最后通过3×3卷积(Conv)操作得到高分辨率特征图，即：俯瞰特征图和图像特征图。
本实施例中，因为物体实际大小不会随它的远近而改变，故根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图，使用改进的6尺度三维锚框(3D Anchors)进行点云数据和图像的像素级映射融合，并去除空anchors以减少计算量；本实施例中，没有使用Faster R-CNN(更快的区域卷积神经网络)框架中的9个anchor，能够大大提升网络计算效率。
本实施例中，如图4所示，所述6尺度包括：点云坐标下3种不同的尺寸(轿车(car)的尺寸、行人(pesestrain)的尺寸、骑自行车的人(cyclist)的尺寸)和3种不同的角度(car、pesestrain、cyclist 3种角度)。对同一个检测类别使用3种anchor尺寸，为预测三维检测框的方向性分别以z轴为中心进行0°和90°两个角度的旋转得到3个旋转尺度，从而可以应对环境中各种尺度的物体。
本实施例中，在Faster R-CNN算法基础上进行改进，利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，得到区域生成及目标检测网络模型，其中，区域生成及目标检测网络模型采用两个RPN(RPN1和RPN2)，将RPN1产生的初步感兴趣区域(ROI)作为RPN2的新的Anchors，可以帮助提取出更精确的车辆感兴趣区域，达到精确分类和定位的目的。如图2所示，具体流程如下：将雷达获取的前方车辆的点云数据和视觉传感器获取的前方车辆的图像作为输入，经过FPN提取特征，得到BEV特征图和图像特征图；经3D锚框映射融合得到融合后的特征图，输入到RPN1网络得到初步ROI提议，其中RPN1包括两个全连接层及NMS非极大值抑制；将初步的ROI提议、特征提取器提取的两个输入视图经RPN2映射融合，然后经RPN2得到ROI提议2，其中RPN2包括三个全连接层及NMS非极大值抑制；进而经过多任务损失函数得到分类得分和Bbox回归得分。
所述区域生成及目标检测网络模型最终输出前方车辆的三维检测结果，如图5所示。
本实施例中，在训练双区域生成网络时，对边界框回归损失函数进行优化，使用基于定位置信度的相对熵回归损失函数(Kullback-Leibler Loss，KL loss)同时学习边界框回归和定位的不确定性，这样，可以在没有额外计算量的前提下，极大提升定位精度，从而避免Faster R-CNN算法中原始的平滑回归损失函数(smooth L1)没有考虑边界框的不确定性，使得回归分数很大程度上受分类分数的影响，造成很大的定位偏差的问题。
本实施例中，因为KL可以计算两个分布之间的“距离”，所以引入评估地面真实值和预测的边界框分布间的“Box std”(边框标准差)。本实施例中，采用多任务损失，将边界框回归任务的KL损失与分类任务的交叉熵损失相结合，其中交叉熵损失进行Class(分类)，产生的结果用Lcls表示；Box(边界框回归)及额外添加的Box std进行边界框回归，即本文提出的KL loss，产生的结果用Lreg表示。所述优化的边界框回归损失函数的网络结构如图6所示。
为了验证本实施例所述的前方车辆检测方法的检测性能，分别绘制2D Cardetection(2维车辆检测)、3D Car detection(3维车辆检测)、BEV Car detection(俯瞰视图车辆检测)3种情况下的Precision-Recall(准确率-召回率)曲线，如图7所示。每幅图中针对道路复杂情况分3种级别来绘制曲线，分为：Easy(简单情形)、Moderate(中级情形)和Hard(困难情形)；同时分别绘制3种情况下的Average Precision-global_step(平均准确率-迭代次数)曲线，也分为：Easy(简单情形)、Moderate(中级情形)和Hard(困难情形)，如图8所示。根据图7、图8可知，实验表明，本实施例所述的前方车辆检测方法具有较好的检测效果。
实施例二
本发明还提供一种前方车辆检测系统的具体实施方式，由于本发明提供的前方车辆检测系统与前述前方车辆检测方法的具体实施方式相对应，该前方车辆检测系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述前方车辆检测方法具体实施方式中的解释说明，也适用于本发明提供的前方车辆检测系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图9所示，本发明实施例还提供一种前方车辆检测系统，包括：
获取模块11，用于获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别，其中，所述获取模块包括：激光雷达和视觉传感器；
处理模块12，用于利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
检测模块13，用于利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。
本发明实施例所述的前方车辆检测系统，通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。这样，利用激光雷达和视觉传感器进行联合检测，充分利用了车辆的景深信息和语义信息，提高了车辆检测、定位的可靠性和精确性。
在前述前方车辆检测系统的具体实施方式中，进一步地，所述获取模块，还用于获取图像的地平面基准文件和激光雷达到相机的标定信息。
在前述前方车辆检测系统的具体实施方式中，进一步地，所述处理模块包括：
提取单元，用于利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
融合单元，用于根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
在前述前方车辆检测系统的具体实施方式中，进一步地，所述6尺度包括：点云坐标下3种不同的尺寸和3种不同的角度。
在前述前方车辆检测系统的具体实施方式中，进一步地，在训练双区域生成网络时，使用基于定位置信度的相对熵回归损失函数同时学习边界框回归和定位的不确定性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种前方车辆检测方法，其特征在于，包括：
通过激光雷达和视觉传感器分别获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别；
利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。
2.根据权利要求1所述的前方车辆检测方法，其特征在于，所述方法还包括：获取图像的地平面基准文件和激光雷达到相机的标定信息。
3.根据权利要求2所述的前方车辆检测方法，其特征在于，所述利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合包括：
利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
4.根据权利要求3所述的前方车辆检测方法，其特征在于，所述6尺度包括：点云坐标下3种不同的尺寸和3种不同的角度。
5.根据权利要求1所述的前方车辆检测方法，其特征在于，在训练双区域生成网络时，使用基于定位置信度的相对熵回归损失函数同时学习边界框回归和定位的不确定性。
6.一种前方车辆检测系统，其特征在于，包括：
获取模块，用于获取前方车辆的点云数据和图像，并获取点云数据和图像中目标的标签类别，其中，所述获取模块包括：激光雷达和视觉传感器；
处理模块，用于利用特征提取器对获取的点云数据和图像进行特征提取，将提取的特征进行像素级映射融合；
检测模块，用于利用融合后的特征及目标的标签类别对双区域生成网络进行训练，生成感兴趣区域并进行类别检测，输出前方车辆的三维检测结果。
7.根据权利要求6所述的前方车辆检测系统，其特征在于，所述获取模块，还用于获取图像的地平面基准文件和激光雷达到相机的标定信息。
8.根据权利要求7所述的前方车辆检测系统，其特征在于，所述处理模块包括：
提取单元，用于利用编解码的特征金字塔网络对获取的点云数据和图像进行特征提取，分别提取激光雷达的俯瞰特征图和图像特征图；
融合单元，用于根据获取的图像的地平面基准文件和激光雷达到相机的标定信息，将提取的激光雷达的俯瞰特征图和图像特征图使用6尺度的三维锚框进行点云数据和图像的像素级映射融合。
9.根据权利要求8所述的前方车辆检测系统，其特征在于，所述6尺度包括：点云坐标下3种不同的尺寸和3种不同的角度。
10.根据权利要求6所述的前方车辆检测系统，其特征在于，在训练双区域生成网络时，使用基于定位置信度的相对熵回归损失函数同时学习边界框回归和定位的不确定性。
CN201910876938.2A 2019-09-17 2019-09-17 一种前方车辆检测方法及检测系统 Pending CN110738121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910876938.2A CN110738121A (zh) 2019-09-17 2019-09-17 一种前方车辆检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876938.2A CN110738121A (zh) 2019-09-17 2019-09-17 一种前方车辆检测方法及检测系统

Publications (1)

Publication Number Publication Date
CN110738121A true CN110738121A (zh) 2020-01-31

Family

ID=69268024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876938.2A Pending CN110738121A (zh) 2019-09-17 2019-09-17 一种前方车辆检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN110738121A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291714A (zh) * 2020-02-27 2020-06-16 同济大学 一种基于单目视觉和激光雷达融合的车辆检测方法
CN111401264A (zh) * 2020-03-19 2020-07-10 上海眼控科技股份有限公司 车辆目标检测方法、装置、计算机设备和存储介质
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111461221A (zh) * 2020-04-01 2020-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111523600A (zh) * 2020-04-26 2020-08-11 上海商汤临港智能科技有限公司 神经网络训练、目标检测、及智能设备控制的方法及装置
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111898427A (zh) * 2020-06-22 2020-11-06 西北工业大学 一种基于特征融合深度神经网络的多光谱行人检测方法
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112287860A (zh) * 2020-11-03 2021-01-29 北京京东乾石科技有限公司 物体识别模型的训练方法及装置、物体识别方法及系统
CN112365600A (zh) * 2020-11-10 2021-02-12 中山大学 一种三维物体检测方法
CN112767475A (zh) * 2020-12-30 2021-05-07 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN112990229A (zh) * 2021-03-11 2021-06-18 上海交通大学 多模态3d目标检测方法、系统、终端及介质
CN113589306A (zh) * 2020-04-30 2021-11-02 北京猎户星空科技有限公司 定位方法、装置、电子设备及存储介质
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN115082902A (zh) * 2022-07-22 2022-09-20 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN103605978A (zh) * 2013-11-28 2014-02-26 中国科学院深圳先进技术研究院 基于三维实景数据的城市违章建筑识别系统及方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN103605978A (zh) * 2013-11-28 2014-02-26 中国科学院深圳先进技术研究院 基于三维实景数据的城市违章建筑识别系统及方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANQI MA等: "Arbitrary-Oriented Scene Text Detection via Rotation Proposals", 《ARXIV:1703.01086V3 [CS.CV]》 *
朱明明 等: "改进区域卷积神经网络的机场检测方法", 《光学学报》 *
汪瑞杰: "考虑非线性与不确定性的自主无人车辆视觉系统与横向控制系统研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291714A (zh) * 2020-02-27 2020-06-16 同济大学 一种基于单目视觉和激光雷达融合的车辆检测方法
CN111401264A (zh) * 2020-03-19 2020-07-10 上海眼控科技股份有限公司 车辆目标检测方法、装置、计算机设备和存储介质
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111444814B (zh) * 2020-03-23 2023-10-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111476242B (zh) * 2020-03-31 2023-10-20 北京经纬恒润科技股份有限公司 一种激光点云语义分割方法及装置
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111461221A (zh) * 2020-04-01 2020-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN111523600B (zh) * 2020-04-26 2023-12-19 上海商汤临港智能科技有限公司 神经网络训练、目标检测、及智能设备控制的方法及装置
CN111523600A (zh) * 2020-04-26 2020-08-11 上海商汤临港智能科技有限公司 神经网络训练、目标检测、及智能设备控制的方法及装置
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN113589306A (zh) * 2020-04-30 2021-11-02 北京猎户星空科技有限公司 定位方法、装置、电子设备及存储介质
WO2021219023A1 (zh) * 2020-04-30 2021-11-04 北京猎户星空科技有限公司 定位方法、装置、电子设备及存储介质
CN111898427A (zh) * 2020-06-22 2020-11-06 西北工业大学 一种基于特征融合深度神经网络的多光谱行人检测方法
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112287860B (zh) * 2020-11-03 2022-01-07 北京京东乾石科技有限公司 物体识别模型的训练方法及装置、物体识别方法及系统
CN112287860A (zh) * 2020-11-03 2021-01-29 北京京东乾石科技有限公司 物体识别模型的训练方法及装置、物体识别方法及系统
CN112365600B (zh) * 2020-11-10 2023-11-24 中山大学 一种三维物体检测方法
CN112365600A (zh) * 2020-11-10 2021-02-12 中山大学 一种三维物体检测方法
CN112767475A (zh) * 2020-12-30 2021-05-07 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN112990229A (zh) * 2021-03-11 2021-06-18 上海交通大学 多模态3d目标检测方法、系统、终端及介质
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114792417B (zh) * 2022-02-24 2023-06-16 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN114898319B (zh) * 2022-05-25 2024-04-02 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN115082902B (zh) * 2022-07-22 2022-11-11 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法
CN115082902A (zh) * 2022-07-22 2022-09-20 松立控股集团股份有限公司 一种基于激光雷达点云的车辆目标检测方法

Similar Documents

Publication Publication Date Title
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
US20200250837A1 (en) Systems and Methods for Detecting an Object Velocity
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
Zhe et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
US20230213643A1 (en) Camera-radar sensor fusion using local attention mechanism
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN111123262B (zh) 自动驾驶3d建模方法、装置及系统
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
CN110472508A (zh) 基于深度学习和双目视觉的车道线测距方法
CN113011380A (zh) 一种毫米波雷达视觉前置融合装置及目标识别方法
Ennajar et al. Deep multi-modal object detection for autonomous driving
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN115100618B (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
CN114037969A (zh) 基于雷达点云和图像融合的自动驾驶车道信息检测方法
Cheng et al. G-Fusion: LiDAR and Camera Feature Fusion on the Ground Voxel Space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131