CN109932730A - 基于多尺度单极三维检测网络的激光雷达目标检测方法 - Google Patents
基于多尺度单极三维检测网络的激光雷达目标检测方法 Download PDFInfo
- Publication number
- CN109932730A CN109932730A CN201910135184.5A CN201910135184A CN109932730A CN 109932730 A CN109932730 A CN 109932730A CN 201910135184 A CN201910135184 A CN 201910135184A CN 109932730 A CN109932730 A CN 109932730A
- Authority
- CN
- China
- Prior art keywords
- network
- laser radar
- multiple dimensioned
- monopole
- characteristic pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明提供了一种基于多尺度单极三维检测网络的激光雷达目标检测方法，首先进行激光雷达点云数据预处理；然后根据高度信息将数据分割成若干层，提取分层特征图并与预处理结果相加得到特征向量；构建训练多尺度单极三维检测网络；将测试集中的数据输入网络，输出特征图；最后复数域目标检测层在特征图上进行目标检测，得到目标检测结果张量，结果张量包含概率信息和位置信息。本发明能够同时满足目标检测的准确性需和实时性需求，改进了手工特征提取的方法，增加了特征张量表达的信息；提出了多尺度信息传递机制，减少了神经网络前向传播过程中的信息丢失，从而在不牺牲太多算法计算效率的情况下，大幅提高了三维目标检测的准确性。
Description
技术领域
本发明涉及一种基于多尺度单极三维检测网络(Multi-scale One-Stage 3DDetection Networks,MOS3D)的激光雷达目标检测方法，属于机器视觉与智能驾驶汽车技术领域。
背景技术
目标检测是计算机视觉领域的基本任务之一，指的是一种通过机器学习或者几何变换将图像中的目标切割并且进行识别的应用，其准确率和计算效率是评价算法优劣的两个重要指标。目标检测是机器学习的重要研究方向，在文字识别、智能驾驶和智慧医疗领域都有广泛的应用。
主流的目标检测技术可以分为基于传统机器学习的目标检测算法和基于深度学习的目标检测算法。
基于传统机器学习的目标检测算法的目标检测过程可以分为3个步骤：1)通过滑动窗口选择图像中可能存在目标的区域作为候选区域。2)手工提取候选区域的特征，其中常提取的特征有HOG特征(方向梯度直方图特征)、Harr特征(边缘特征、线性特征、中心特征和对角线特征，组合成特征模板)和劳斯掩膜等。3)通过分类器判断候选区域是否存在目标，并且对目标进行分类。其中常用的分类器有SVM(支持向量机)等。
基于深度学习的目标检测算法主要可以分为基于候选区域(region proposal)提取的目标检测算法和单极(one stage)目标检测算法两类，这两类算法各有优势。一般来说，基于候选区域提取的目标检测算法在目标检测的准确性上具有优势，但速度慢于单极目标检测算法；单极目标检测算法能够快速地进行目标检测，但是准确率往往低于基于候选区域提取的目标检测算法。
目标检测是智能驾驶汽车实现自主驾驶的重要一环，稳定检测障碍信息是确保自主车在路径规划中避免碰撞、安全避开障碍物的基础。激光雷达传感器是一种主动传感器，它能够通过发射和接收激光光束获取环境信息，直接获取环境中被测物体的深度信息，能够为智能驾驶汽车提供可靠的环境信息。目前很多激光雷达目标检测算法更多的只是在准确性上做考虑，无法保证目标检测的实时性。2018年3月，Martin Simon(Simon M,Milz S,Amende K,et al.Complex-YOLO:Real-time 3D Object Detection on Point Clouds.[J].Preprint In arXiv:1803.06199,2018.)提出了能够实时地进行目标检测的Complex-YOLO算法，但Simon过度关注算法的计算效率，相对忽视了目标检测的准确性需求。
发明内容
本发明要解决的技术问题是：如何实现智能驾驶汽车的实时、准确、稳定的目标检测。
为了解决上述技术问题，本发明的技术方案是提供一种基于多尺度单极三维检测网络的激光雷达目标检测方法，其特征在于，包括如下步骤：
步骤1：激光雷达点云数据预处理；
首先将激光雷达点云数据映射到三维空间中，然后将三维空间中激光雷达点云数据根据水平坐标系分割成一系列网格，提取RGBMAP彩色特征图；
步骤2：根据高度信息将激光雷达点云数据分割成若干层，对每一层提取最大高度特征，得到分层高度特征图；最后将分层高度特征图与RGBMAP彩色特征图进行叠加，得到信息丰富的特征向量；并分成训练集和测试集；
步骤3：构建训练多尺度单极三维检测网络，将步骤2得到的信息丰富的特征向量输入到训练好的多尺度单极三维检测网络中进行训练，保存参数；
所述多尺度单极三维检测网络是一系列卷积、池化和激活的过程；其中，采用调整下采样为16倍的Darknet作为卷积网络，并且引入多尺度信息传递机制。通过多尺度连接层和最大池化层将上层特征传递给下层卷积神经网络。多尺度连接层根据位置关系将输入的上层特征图重塑成四分之一大小和四倍维度的新特征图。多尺度连接层根据位置关系将32×32×256的特征图重塑成16×16×1024的特征图。在过程中，特征图的尺寸减少到原来的四分之一，维度增加了四倍，因此特征图中所包含的信息都将保留。多尺度连接层重塑后的特征图与由卷积神经网络下采样的特征图在维度上进行简单叠加，输入下层卷积神经网络。下层卷积神经网络将感受到不同尺度上的特征，并对多尺度特征进行融合和抽象。采用Leaky ReLU作为网络激活层；
步骤4：将测试集输入训练好的网络中，得到特征图；
步骤5：网络中的复数域目标检测层在卷积网络提取的最后一层特征图上进行目标检测，得到目标检测结果张量；所述目标检测结果张量包含概率信息和位置信息。
优选地，所述步骤2中的激光雷达点云数据预处理部分，提取激光雷达点云数据最大高度特征、点云密度特征和最大反射强度特征和13维的分层高度特征。
优选地，所述步骤3中，多尺度连接层根据位置关系将输入的上层特征图重塑成四分之一大小和四倍维度的新特征图；在这个过程中，特征图的尺寸减少到原来的四分之一，维度增加了四倍，因此特征图中所包含的信息都将保留；多尺度连接层重塑后的特征图与由卷积神经网络下采样的特征图在维度上进行简单叠加，输入下层卷积神经网络，下层卷积神经网络将感受到不同尺度上的特征，并对多尺度特征进行融合和抽象。
优选地，所述多尺度单极三维检测网络的损失函数将类别损失和目标损失定义为交叉熵损失，将边框回归损失定义为平滑损失；在训练时，正负样本都会计算类别损失和目标损失，而只对正样本计算边框损失。
本发明提供的方法克服了现有技术的不足，同时能够满足智能驾驶汽车目标检测的准确性需求和实时性需求。本发明提出了合理的激光雷达数据预处理的方法，改进了手工特征提取的方法，增加了人工提取特征中特征张量所包含的信息，提出了多尺度信息传递机制，减少了神经网络前向传播过程中的信息丢失，从而在不牺牲太多算法计算效率的情况下，大幅提高三维目标检测的准确性。
附图说明
图1为激光雷达点云数据预处理流程图；
图2为多尺度单极三维检测算法流程图；
图3为多尺度单极三维检测网络结构图；
图4为目标边框预测示意图；
图5为目标检测部分结果图；(a)中结果显示车辆处在一条道路上，道路左前方检测出一辆汽车，右前方检测出六辆汽车；(b)中结果显示车辆处在T型路口，共检测出两辆汽车、三辆自行车和两个行人；(c)中结果显示车辆处在十字路口，共检测出四辆汽车和三个行人；(d)中结果显示车辆处在停车场，共检测出十辆汽车、一辆自行车和一个行人；(e)中结果显示共检测出四辆汽车、两辆自行车和四个行人；(f)中结果显示共检测出九辆汽车；(g)中结果显示共检测出十辆汽车；(h)中结果显示共检测出十二辆汽车；(i)中结果显示共检测出九辆汽车；(j)中结果显示共检测出十辆汽车、一辆自行车和一个行人；(k)中结果显示共检测出九辆汽车；(l)中结果显示共检测出七辆汽车和三个行人。
具体实施方式
下面结合具体实施例，进一步阐述本发明。
多尺度单极三维检测网络是一系列卷积、池化和激活的过程；其中，采用调整下采样为16倍的darknet作为卷积网络，并且引入多尺度信息传递机制，通过多尺度连接层和最大池化层将上层特征传递给下层卷积神经网络，采用Leaky ReLU作为卷积神经网络激活层。
本发明在KITTI目标检测数据集评估多尺度单极目标检测算法在鸟瞰角度三维目标检测性能，并与Complex-YOLO和其他流行算法的实验结果进行对比。本发明检测的对象包括汽车、行人和自行车三个类别，并根据目标的距离、遮挡和截断等因素将这些目标分为容易、适中和困难这三个检测难易级别。
本发明提供的基于多尺度单极三维检测网络的激光雷达目标检测方法，包括如下步骤：
步骤1：激光雷达点云数据预处理。
图1为激光雷达点云数据预处理流程图，输入的激光雷达点云数据按照规定分割分层之后提取特征，最后将输入的激光雷达点云数据转换成包含丰富信息的特征向量。
首先将激光雷达点云数据映射到三维空间中，然后将三维空间中激光雷达点云数据根据水平坐标系分割成512×512网格，提取RGBMAP(彩色特征图)。将从KITTI数据集中获得的原始激光雷达数据按照图1的方式提取出16维的大小为512×512的特征向量。将得到的特征向量和标签数据输入模型。
步骤2：根据高度信息将激光雷达点云数据分割成13层，对每一层提取最大高度特征，得到13张分层高度特征图；最后将分层高度特征图与RGBMAP(彩色特征图)进行叠加，得到信息丰富的特征向量。并分成训练集和测试集，在KITTI数据集中包含7481帧带有标签的激光雷达数据，将其中80％的数据划分为训练数据，将20％的数据划分为测试数据。
步骤3：构建多尺度单极三维检测网络，如图2所示。将激光雷达点云数据预处理后得到的结果输入到卷积神经网络中，然后通过复数域目标检测层在卷积网络提取的最后一层特征图上进行目标检测，得到32×32×30的结果张量。多尺度单极目标检测网络的具体结构图如图3所示，本发明引入多尺度信息传递机制，通过多尺度连接层和最大池化层将上层特征传递给下层卷积神经网络。多尺度连接层根据位置关系将输入的上层特征图重塑(reshape)成四分之一大小和四倍维度的新特征图。多尺度连接层根据位置关系将32×32×256的特征图重塑成16×16×1024的特征图。在过程中，特征图的尺寸减少到原来的四分之一，维度增加了四倍，因此特征图中所包含的信息都将保留。多尺度连接层重塑后的特征图与由卷积神经网络下采样的特征图在维度上进行简单叠加，输入下层卷积神经网络。下层卷积神经网络将感受到不同尺度上的特征，并对多尺度特征进行融合和抽象。
本发明针对激光点云稀疏和信息不够丰富的特点，引入了多尺度信息传递机制，减少了关键信息的丢失，同时增加下层卷积神经网络所感受到的信息。采用TensorFlow框架对模型进行40轮迭代训练，其中在前30轮的迭代训练中采用Adam优化器对模型优化，其中将学习率设置为0.001，衰减系数设置为0.9，批处理量设置为4。在后10轮的迭代训练中采用随机梯度下降优化器对模型进行优化，其中将学习率设置为0.0001，批处理量同样设置为4。使用Leaky ReLU作为卷积神经网络激活层。Leaky ReLU公式如下：
多尺度单极三维检测网络的损失函数将类别损失和目标损失定义为交叉熵损失，将边框回归损失定义为平滑损失；在训练时，正负样本都会计算类别损失和目标损失，而只对正样本计算边框损失。
损失函数的定义如下：
Ltotal＝cross_entropy(p，ycls)+smoothL1(q-yreg)
其中，Ltotal表示算法的完整损失，cross_entropy表示交叉熵损失，smoothL1表示平滑损失，ycls和yreg表示真实的标签值，p表示存在目标的概率和目标属于哪个类别的概率，q表示算法所预测目标边框的值。在交叉熵损失函数coss_entropy的定义中，pobj表示预测为存在目标的概率，pcls表示预测目标属于哪个类别的概率。在平滑损失函数smoothL1的定义，x表示边框预测值与真实值之间的误差。
步骤4：将步骤2中得到的512×512×16的特征向量输入多尺度单极目标检测网络后，得到32×32×12的概率预测结果和32×32×18的位置预测结果。
步骤4.1：输入512×512×16的激光点云特征向量，通过卷积核大小为3×3的Conv3-1和Conv3-2卷积层，再通过卷积核大小为1×1的Conv1-1卷积层，输出为256×256×64的特征向量；
步骤4.2：将步骤4.1中输入的512×512×16的激光点云特征向量与步骤4.1中得到的特征向量通过多尺度连接层相加作为下一层卷积神经网络的输入；
步骤4.3：将步骤4.2中得到的特征向量通过卷积核大小为3×3的Conv3-1、Conv3-2和Conv3-3卷积层，再通过卷积核大小为1×1的Conv1-1卷积层，输出为128×128×128的特征向量，将步骤4.2中多尺度连接层相加后的结果通过池化层pool1之后与128×128×128的特征向量相加作为下一次卷积神经网络的输入；
步骤4.4：将步骤4.1、步骤4.2、步骤4.3的操作重复一次之后输出的是32×32×512的特征向量；
步骤4.5：将步骤4.4中得到的特征图通过卷积核大小为3×3的Conv3-1、Conv3-2、Conv3-3、Conv3-4和Conv3-5卷积层，再经过卷积核大小为1×1的Conv1-1卷积层，输出为32×32×1024的特征向量。完成卷积层的操作，实现特征提取；
步骤4.6：将步骤4.5中的结果输入复数域目标检测层进行目标检测，输出32×32×12的概率预测结果向量和32×32×18的位置预测结果向量。如图4所示。根据结果向量可以预测每个目标中心与网格单元的位置偏移tx、ty，预测边框与先验框的比值tw、tl，通过下列公式预测每个目标中心与边框在世界坐标系下的位置信息bx，by，bw，bl。
bx＝(δ(tx)+Cx)×px
by＝(δ(ty)+Cy)×py
其中px，py，pw，pl为常数，表示目标从算法坐标系到雷达坐标系的映射系数，Cx，Cy表示目标中心在检测结果的网格图上的坐标。接着将目标的方位角转化到复数域参数进行回归预测，分别预测欧拉角的虚部tIm和实部tRe，然后再通过反正切函数计算得到实数域的角度
步骤5：从平均精度(average precision，AP)和算法处理一帧激光点云的时间这两个方面评价算法的性能。AP是目标检测问题中的常用算法评价指标，能够同时对算法的检测准确程度和漏检率进行评判。AP的计算依赖于召回率(recall)和准确率(precision)进行计算，召回率反映了目标检测算法对正样本的覆盖能力，准确率反应了目标检测对正样本的准确程度。准确率和召回率的计算方法如下式所示：
其中TP表示预测正确正样本的个数，FP表示表示将负样本预测为正样本的个数。对检测结果按照置信度分别计算召回率和准确率即可绘制Precision-Recall曲线，Precision-Recall曲线反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的综合能力，曲线下包围的面积即为目标检测的AP值。在离散条件下，AP计算方式如下式所示：
将算法的目标检测结果与标签数据进行对比，通过计算两者的交集并集之比IoU判断目标检测的结果是否正确。本发明分别将车辆、行人和自行车的IoU阈值设置为0.7、0.5和0.5，如果检测结果与标签数据的IoU大于阈值，则判断这例检测结果为正确。
使用KITTI官方评测工具对算法的三维目标检测性能进行评测，评测的对象包括汽车、行人和自行车三个类别，并根据目标的距离、遮挡和截断等因素将这些目标分为容易、适中和困难这三个检测难易级别。本发明使用在KITTI数据集中划分的那20％未用于训练的数据作为测试集，将本发明算法与Complex-YOLO算法以及其他先进算法在计算速度和检测平均精度两个维度上进行对比。如下表1所示：
表1算法比较结果
其中，Voxel Net(ZhouY，Tuzel O.Voxel Net：End-to-End Learning for PointCloud Based 3D Object Detection[J].computer vision and pattern recognition，2018.)的实验设备采用的是NVIDIA Titan X显卡，输入数据是激光雷达点云数据；MV3D(2016.Chen X，Ma H，Wan J，et a1.Multi-view 3D Object Detection NetworkforAutonomous Driving[J].computer vision and pattern recognition，2017：6526-6534.)的实验设备采用的是NVIDIA Titan X显卡，输入数据是激光雷达点云数据和彩色图像数据；F-Point Net(Qi C R，Liu W，Wu C，et al.Frustum Point Nets for 3D ObjectDetection From RGB-D Data[J].computer vision and pattern recognition，2018：918-927.)的实验设备采用的是NVIDIATitanX显卡，输入数据是激光雷达点云数据和彩色图像数据；AVOD-FPN(Ku J，Mozifian M，Lee J，et al.Joint 3D Proposal Generationand Object Detection from View Aggregation.[J].Preprint in ar Xiv：1712.02294，2017.)的实验设备采用的是NVIDIA Titan XP显卡，输入数据是激光雷达点云数据和彩色图像数据。
MOS3D(本发明算法)在计算速度上明显快于Voxel Net、MV3D、AVOD-FPN和F-PointNet，与此同时在准确性指标上也基本不低于上述算法。MOS3D使用NVIDIA GTX1070作为计算平台，每秒能处理15.6帧激光雷达数据，能够实时进行目标检测。以上列举的其他算法都使用比NVIDIA GTX1070计算能力更强的GPU，但在计算速度都也明显慢于本文算法。相比于Complex-YOLO算法，虽然MOS3D算法处理每一帧激光雷达数据的时间会更长一些，但在目标检测准确性上有很大优势。
目标检测结果如图5所示，将激光雷达数据以鸟瞰图形式进行显示，并使用方框、圆形和三角形分别将车辆、行人以及自行车的目标检测结果在鸟瞰图上展示。
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。
Claims (4)
1.一种基于多尺度单极三维检测网络的激光雷达目标检测方法，其特征在于，包括如下步骤：
步骤1：激光雷达点云数据预处理；
首先将激光雷达点云数据映射到三维空间中，然后将三维空间中激光雷达点云数据根据水平坐标系分割成一系列网格，提取RGBMAP彩色特征图；
步骤2：根据高度信息将激光雷达点云数据分割成若干层，对每一层提取最大高度特征，得到分层高度特征图；最后将分层高度特征图与RGBMAP彩色特征图进行叠加，得到信息丰富的特征向量；并分成训练集和测试集；
步骤3：构建训练多尺度单极三维检测网络，将步骤2得到的信息丰富的特征向量输入到训练好的多尺度单极三维检测网络中进行训练，保存参数；
所述多尺度单极三维检测网络是一系列卷积、池化和激活的过程；其采用调整下采样为16倍的Darknet作为卷积网络，并且引入多尺度信息传递机制，通过多尺度连接层和最大池化层将上层特征传递给下层卷积神经网络，采用Leaky ReLU作为网络激活层；
步骤4：将测试集输入训练好的网络中，得到特征图；
步骤5：网络中的复数域目标检测层在卷积网络提取的最后一层特征图上进行目标检测，得到目标检测结果张量；所述目标检测结果张量包含概率信息和位置信息。
2.如权利要求1所述的一种基于多尺度单极三维检测网络的激光雷达目标检测方法，其特征在于：所述步骤2中的激光雷达点云数据预处理部分，提取激光雷达点云数据最大高度特征、点云密度特征和最大反射强度特征和多维的分层高度特征。
3.如权利要求2所述的一种基于多尺度单极三维检测网络的激光雷达目标检测方法，其特征在于：所述步骤3中，多尺度连接层根据位置关系将输入的上层特征图重塑成四分之一大小和四倍维度的新特征图；在这个过程中，特征图的尺寸减少到原来的四分之一，维度增加了四倍，因此特征图中所包含的信息都将保留；多尺度连接层重塑后的特征图与由卷积神经网络下采样的特征图在维度上进行简单叠加，输入下层卷积神经网络，下层卷积神经网络将感受到不同尺度上的特征，并对多尺度特征进行融合和抽象。
4.所述多尺度单极三维检测网络的损失函数将类别损失和目标损失定义为交叉熵损失，将边框回归损失定义为平滑损失；在训练时，正负样本都会计算类别损失和目标损失，而只对正样本计算边框损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910135184.5A CN109932730B (zh) | 2019-02-22 | 2019-02-22 | 基于多尺度单极三维检测网络的激光雷达目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910135184.5A CN109932730B (zh) | 2019-02-22 | 2019-02-22 | 基于多尺度单极三维检测网络的激光雷达目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109932730A true CN109932730A (zh) | 2019-06-25 |
| CN109932730B CN109932730B (zh) | 2023-06-23 |
Family
ID=66985840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910135184.5A Active CN109932730B (zh) | 2019-02-22 | 2019-02-22 | 基于多尺度单极三维检测网络的激光雷达目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109932730B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363145A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市凌云视迅科技有限责任公司 | 基于稀疏fpn的3d物体点云数据识别方法 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN110533105A (zh) * | 2019-08-30 | 2019-12-03 | 北京市商汤科技开发有限公司 | 一种目标检测方法及装置、电子设备和存储介质 |
| CN110543858A (zh) * | 2019-09-05 | 2019-12-06 | 西北工业大学 | 多模态自适应融合的三维目标检测方法 |
| CN110751040A (zh) * | 2019-09-18 | 2020-02-04 | 杭州飞步科技有限公司 | 一种三维物体的检测方法和装置、电子设备、存储介质 |
| CN111079652A (zh) * | 2019-12-18 | 2020-04-28 | 北京航空航天大学 | 一种基于点云数据简易编码的3d目标检测方法 |
| CN111144304A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆目标检测模型的生成方法、车辆目标检测方法及装置 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| CN111310765A (zh) * | 2020-02-14 | 2020-06-19 | 北京经纬恒润科技有限公司 | 激光点云语义分割方法和装置 |
| CN111602138A (zh) * | 2019-10-30 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 基于人工神经网络的物体检测的系统及方法 |
| CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
| CN111999741A (zh) * | 2020-01-17 | 2020-11-27 | 青岛慧拓智能机器有限公司 | 路侧激光雷达目标检测方法及装置 |
| WO2020258218A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的障碍物检测方法、装置及可移动平台 |
| CN113408324A (zh) * | 2020-03-17 | 2021-09-17 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置及系统、高级驾驶辅助系统 |
| CN113516140A (zh) * | 2020-05-07 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 图像处理、模型训练方法、系统及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039436A1 (en) * | 2015-08-03 | 2017-02-09 | Nokia Technologies Oy | Fusion of RGB Images and Lidar Data for Lane Classification |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| US20180211128A1 (en) * | 2017-01-24 | 2018-07-26 | Ford Global Technologies, Llc | Object Detection Using Recurrent Neural Network And Concatenated Feature Map |
| CN109034210A (zh) * | 2018-07-04 | 2018-12-18 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
-
2019
- 2019-02-22 CN CN201910135184.5A patent/CN109932730B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039436A1 (en) * | 2015-08-03 | 2017-02-09 | Nokia Technologies Oy | Fusion of RGB Images and Lidar Data for Lane Classification |
| US20180211128A1 (en) * | 2017-01-24 | 2018-07-26 | Ford Global Technologies, Llc | Object Detection Using Recurrent Neural Network And Concatenated Feature Map |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN109034210A (zh) * | 2018-07-04 | 2018-12-18 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| JOEL SCHLOSSER ET AL.: "Fusing LIDAR and Images for Pedestrian Detection using Convolutional Neural Networks", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 * |
| 杨飞 等: "基于融合分层条件随机场的道路分割模型", 《机器人》 * |
| 梁炳春 等: "基于Bag of Features算法的车辆检测研究", 《微型机与应用》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020258218A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的障碍物检测方法、装置及可移动平台 |
| CN110363145B (zh) * | 2019-07-16 | 2022-11-29 | 深圳市凌云视迅科技有限责任公司 | 基于稀疏fpn的3d物体点云数据识别方法 |
| CN110363145A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市凌云视迅科技有限责任公司 | 基于稀疏fpn的3d物体点云数据识别方法 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN110363158B (zh) * | 2019-07-17 | 2021-05-25 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN110533105A (zh) * | 2019-08-30 | 2019-12-03 | 北京市商汤科技开发有限公司 | 一种目标检测方法及装置、电子设备和存储介质 |
| CN110533105B (zh) * | 2019-08-30 | 2022-04-05 | 北京市商汤科技开发有限公司 | 一种目标检测方法及装置、电子设备和存储介质 |
| CN110543858A (zh) * | 2019-09-05 | 2019-12-06 | 西北工业大学 | 多模态自适应融合的三维目标检测方法 |
| CN110751040A (zh) * | 2019-09-18 | 2020-02-04 | 杭州飞步科技有限公司 | 一种三维物体的检测方法和装置、电子设备、存储介质 |
| CN111602138A (zh) * | 2019-10-30 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 基于人工神经网络的物体检测的系统及方法 |
| CN111602138B (zh) * | 2019-10-30 | 2024-04-09 | 深圳市大疆创新科技有限公司 | 基于人工神经网络的物体检测的系统及方法 |
| CN111079652A (zh) * | 2019-12-18 | 2020-04-28 | 北京航空航天大学 | 一种基于点云数据简易编码的3d目标检测方法 |
| CN111079652B (zh) * | 2019-12-18 | 2022-05-13 | 北京航空航天大学 | 一种基于点云数据简易编码的3d目标检测方法 |
| CN111144304A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆目标检测模型的生成方法、车辆目标检测方法及装置 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| CN111999741A (zh) * | 2020-01-17 | 2020-11-27 | 青岛慧拓智能机器有限公司 | 路侧激光雷达目标检测方法及装置 |
| CN111999741B (zh) * | 2020-01-17 | 2023-03-14 | 青岛慧拓智能机器有限公司 | 路侧激光雷达目标检测方法及装置 |
| CN111310765A (zh) * | 2020-02-14 | 2020-06-19 | 北京经纬恒润科技有限公司 | 激光点云语义分割方法和装置 |
| CN113408324A (zh) * | 2020-03-17 | 2021-09-17 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置及系统、高级驾驶辅助系统 |
| CN113516140A (zh) * | 2020-05-07 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 图像处理、模型训练方法、系统及设备 |
| CN111814874B (zh) * | 2020-07-08 | 2024-04-02 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及系统 |
| CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109932730B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109932730A (zh) | 基于多尺度单极三维检测网络的激光雷达目标检测方法 | |
| CN110059554B (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN108564097B (zh) | 一种基于深度卷积神经网络的多尺度目标检测方法 | |
| CN111553201B (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
| CN108550259A (zh) | 道路拥堵判断方法、终端设备及计算机可读存储介质 | |
| CN110298387A (zh) | 融入像素级attention机制的深度神经网络目标检测方法 | |
| CN111091105A (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN107818302A (zh) | 基于卷积神经网络的非刚性多尺度物体检测方法 | |
| CN107341517A (zh) | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 | |
| CN106650913A (zh) | 一种基于深度卷积神经网络的车流密度估计方法 | |
| CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN106469304A (zh) | 基于深度卷积神经网络的票据中手写签名位置定位方法 | |
| Gong et al. | Object detection based on improved YOLOv3-tiny | |
| CN110069993A (zh) | 一种基于深度学习的目标车辆检测方法 | |
| CN110009648A (zh) | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 | |
| CN110334584B (zh) | 一种基于区域全卷积网络的手势识别方法 | |
| CN113627440A (zh) | 一种基于轻量级神经网络的大规模点云语义分割方法 | |
| CN110032952A (zh) | 一种基于深度学习的道路边界点检测方法 | |
| CN106372597A (zh) | 基于自适应上下文信息的cnn交通检测方法 | |
| CN110082738A (zh) | 基于高斯混合和张量循环神经网络的雷达目标识别方法 | |
| CN110097047A (zh) | 一种基于深度学习采用单线激光雷达的车辆检测方法 | |
| CN109444840A (zh) | 一种基于机器学习的雷达杂波抑制方法 | |
| CN110687618B (zh) | 一种多单体对流系统短时强降水事件的自动临近预报方法 | |
| Wu et al. | Traffic sign detection based on SSD combined with receptive field module and path aggregation network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |