CN108830188A - 基于深度学习的车辆检测方法 - Google Patents

基于深度学习的车辆检测方法 Download PDF

Info

Publication number
CN108830188A
CN108830188A CN201810539356.0A CN201810539356A CN108830188A CN 108830188 A CN108830188 A CN 108830188A CN 201810539356 A CN201810539356 A CN 201810539356A CN 108830188 A CN108830188 A CN 108830188A
Authority
CN
China
Prior art keywords
vehicle
layer
frame
model
edge group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810539356.0A
Other languages
English (en)
Other versions
CN108830188B (zh
Inventor
王林
张鹤鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810539356.0A priority Critical patent/CN108830188B/zh
Publication of CN108830188A publication Critical patent/CN108830188A/zh
Application granted granted Critical
Publication of CN108830188B publication Critical patent/CN108830188B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的车辆检测方法，结合Edge Boxes和改进的Faster R‑CNN模型进行复杂环境中的车辆检测，首先使用Edge Boxes对图像进行处理，初步提取出较为准确的车辆候选区域；其次将候选区域输入到改进的Faster R‑CNN模型中进一步对车辆进行精定位并通过分类判别得到最终的检测结果。同时为了增强模型对于小尺寸车辆的检测能力以及模型的判别能力，将不同层的卷积特征组合起来，补充一些车辆的细节信息，并在训练阶段加入难负样本挖掘策略，使得模型更加关注困难样本，能够很好的将车辆与疑似车辆的背景区分开来。

Description

基于深度学习的车辆检测方法
技术领域
本发明属于计算机视觉识别技术领域，具体涉及一种基于深度学习的车辆检测方法。
背景技术
车辆检测是智能交通系统中一个不可或缺的重要环节，通过车辆检测方式采集有效的道路交通信息，获得交通流量、车速、道路占有率、车间距、车辆类型等基础数据，有目的地实现监测、控制、分析、决策、调度和疏导，实现交通资源的最大化，从而能够提升整个智能交通系统的健壮性及鲁棒性。当前主流的车辆检测方法通过HOG和SIFT等方法对车辆进行特征提取，并将其提取到的特征输入至支持向量机(SVM)，迭代器(AdaBoost)等分类器进行车辆检测。这类方法本质上都是依赖人工提取的特征，需要研究人员具有相当坚实的专业知识和大量的经验，并且设计的特征为低层特征，可分性较差，不但耗费时间精力，而且难以适应天气和光线等条件的变化，泛化能力差。
随着人工智能的发展，卷积神经网络替代了以上特征提取方法，可以灵活的在训练数据的驱动下根据不同的需求任务自动地去学习有用的特征来帮助算法完成检测和识别的任务。公开号为CN104036323A的专利公开了“一种基于卷积神经网络的车辆检测方法”，但是这类方法由于目标可能位于待检测图像的任何位置，而且目标的大小不确定，需要构建待检测图像的图像金字塔，在多个尺度上滑动窗口，以穷举的方式搜索目标的位置，导致候选区的数量庞大。所以，这类方法的检测速度非常慢，很难应用于实际工程中。
发明内容
本发明的目的是提供一种基于深度学习的车辆检测方法，解决了现有基于特征的车辆检测方法在复杂环境中易受光照、目标尺度和图像质量等因素影响，效率低下且泛化能力较差的问题。
本发明所采用的技术方案是，一种基于深度学习的车辆检测方法，具体按照以下步骤实施：
步骤1，构建带有标注和标签的图片库作为训练样本集和测试样本集；
步骤2，构建改进的Faster R-CNN模型，所述改进的Faster R-CNN模型由区域建议网络和改进的Fast R-CNN网络组成；
步骤3，利用Edge Boxes初步提取出较为准确的车辆候选区域；
步骤4，对改进的Faster R-CNN模型参数进行初始化；
步骤5，进行特征提取，对候选区域进行系列卷积、池化和非线性运算，得到特征图；
步骤6，利用RPN过滤掉不包含车辆区域的候选框，即，将步骤5提取的特征图矩阵输入到步骤2中构建的区域建议网络中，利用Softmax对提取到的特征进行分类判别过滤掉不包含车辆的候选框，并利用非极大值抑制算法去除多余的候选框，得到候选框集合C'。
步骤7，融合第三、第四和第五层卷积层特征对车辆进行描述，利用改进的Fast R-CNN模型对步骤6中RPN模型产生的候选框进行分类判别，得到图像中车辆所在的位置和所属类别；
步骤8，根据步骤7得到的结果划分用于训练的正负样本；
步骤9，根据实际输出与期望输出得到总体误差，利用反向传播算法和随机梯度下降算法，通过交替训练的方式对模型进行训练，依次调整每层神经网络的权值，最终得到改进的Faster R-CNN模型；
步骤10，使用训练集测试初步训练好的改进的Faster R-CNN模型，从而产生难负样本；将步骤9输出的得分高于0.7并且与任意真实区域包围盒的IoU值(两个区域的交集面积与并集面积之比)小于0.5的候选框作为难负样本。
步骤11，将步骤9产生的难负样本加入到训练集中，对网络再次训练，从而加强模型的类别判定能力，得到最优的改进的Faster R-CNN模型；
步骤12，利用步骤11得到的最优的改进的Faster R-CNN模型，对实际中采集的待检测图像进行处理，从而得到车辆检测结果。
本发明的特点还在于，
步骤1具体为：利用开源标定软件LabelImg构建带有标注和标签的图片库作为训练样本集和测试样本集，其中样本集包含相同天气情况不同场景下和不同天气情况相同场景下拍摄的车辆照片(包括背景)，标注是记录车辆在一整张图像中的左上角点和右下角点的坐标，标签是指每个给定的车辆位置上车辆所属的类别；
步骤2中，RPN由六个串联的卷积层和两个并行的卷积层构成，两个并行的卷积层中一个卷积层负责输出一系列的矩形候选框的位置坐标值，另一个卷积层负责输出该矩形候选区域是否为目标的置信度；改进的Fast R-CNN由五个卷积层、三个RoI池化层、一个全连接层和两个并行的全连接层构成，两个并行的全连接层中一个全连接层通过Softmax预测候选区域属于每个类别的概率(置信度)，另一个全连接层通过边框回归输出矩形候选框更合适的位置。
步骤3具体按照以下步骤实施：
步骤3.1，根据结构化边缘算法计算整张图片中每一个像素点的边缘响应；
步骤3.2，确定边缘组，将近似在同一直线上的边缘线段集中起来形成一个边缘组，使用贪心算法计算相邻8条边的曲率，如果方向变化小于一个阈值π/2，则把这8条边确定为一个边缘组，得到所有边缘组集合R；
步骤3.3，计算边缘组之间的相似度，，定义相似度集合为S，S初始化为根据公式(1)计算边缘组ri与边缘组rj相似度，并将其添加到相似度集合S中；
s(ri,rj)＝|cos(θi-θij)cos(θj-θij)|γ (1)
其中θij表示di，dj之间的夹角，di为边缘组ri的平均距离，dj为边缘组rj的平均距离，θi表示边缘组ri的平均角度，θj表示边缘组rj的平均角度，γ表示相似度的敏感度，用来调整两个边缘组ri和rj之间的相似度，在实际应用中一般取值为2。
当s(ri,rj)大于0.05时，则认定认为这两个边缘组ri，rj之间具有相似性，则相似性的值即为s(ri,rj)，添加至相似度集合S中，当s(ri,rj)小于等于0.05时，将边缘组ri，rj之间的相似性值记为0，并添加至相似度集合S中。
步骤3.4，使用一个滑动窗口扫描整个图像搜索候选框，每滑动一步根据步骤3.1、步骤3.2和步骤3.3得到一个窗口中的边缘组以及相似度之后，按照公式(2)计算每一个边缘组的权值；
若wb(si)＝0，则判定该边缘组不属于窗口中物体轮廓，若wb(si)＝1，则把该边缘组判定为该窗口中物体轮廓的一部分；其中T为物体轮廓边缘组按顺序排列的路径；
步骤3.5根据步骤步骤3.4得到的边缘组权值以及候选框的长宽等参数计算出其置信度；
其中，bw与bh分别为候选款的宽度与长度，其中κ＝1.5；mi表示每一个像素点的幅度值；
步骤3.6，设置置信度阈值，如果该候选框的置信度hb小于置信度阈值，则去除该候选框，如果hb大于置信度阈值，则保留该候选框，得到可能包含车辆的候选框集合C；本发明中将置信度阈值设置为0.75。
步骤4具体为，
其中RPN和改进的Fast R-CNN共享的卷积层参数使用ImageNet上训练好的ZF权值参数进行初始化，两个网络独有的层采用均值为0，标准差为0.01的高斯分布随机初始化。
步骤5具体为，对步骤3提取的候选框集合C输入到改进的Faster R-CNN模型中通过前五层的卷积层进行系列卷积和池化处理，得到特征图矩阵，其中候选框集合C＝{x1,x2,...xj}，卷积运算公式为：
其中为第l层卷积层的第j个特征图矩阵；f(g)为非线性激活函数，本发明采用ReLU激活函数对卷积运算结果进行非线性处理，；Nj代表输入特征图的组合，*代表卷积运算，为卷积核矩阵，表示第l层第j个特征图与第l-1层第i个特征图连接之间的卷积核，为偏置矩阵，表示第j个特征图对应的偏置项；池化运算公式为：
其中down(·)表示采样函数，表示第l层第j个特征图对应的系数，bjl为其对应的偏置项。
步骤7具体按照以下步骤实施：
利用Fast R-CNN模型对步骤6中RPN模型产生的候选框集合C'进行分类判别，得到检测框P和检测框中车辆所属的类别；在这一步骤中，融合第三、第四和第五层卷积层特征对车辆进行描述，通过RoI池化将每一个候选区域分别映射到卷积层第三层、第四层和第五层的特征图中，获取相应的特征图信息，并采样到固定的长度，然后将各层提取到的特征经过L2归一化之后进行合并缩放，最后再利用1×1的卷积核对特征进行进一步的降维之后输出到全连接层进行分类和回归。
步骤8具体为：
划分正负样本，根据公式(6)计算步骤7输出的检测矩形框Bp与步骤1中人工标注的真实矩形框Bgt的交并比IoU划分正负样本；其中将与真实矩形框有最大IoU值的检测矩形框和与任意真实矩形框的IoU值大于0.7的检测矩形框划分为正样本，将所有与真实矩形框的IoU值低于0.3的检测矩形框划分为负样本。
步骤9具体为，
步骤9.1，根据实际输出与期望输出得到总体误差，其公式为：
式中i是一次批处理中选取的候选框索引，pi为候选框i是车辆的概率；如果候选框是一个正样本，其对应的真实区域标签为1，否则为0；ti表示预测的矩形框的4个参数化坐标向量，是相对应的真实区域矩形框的坐标向量；
步骤9.2，通过交替训练的方式对模型进行训练，交替训练指的是RPN和Fast R-CNN两个模型之间的交替；利用反向传播算法将一定比例的误差分配给每个权值，随机梯度下降学习算法依次调整每层神经网络的权值以减少误差，得到初步训练好的Faster R-CNN模型；其中交替训练时网络初始学习率设置为0.01，按照polynomial多项式衰减策略进行衰减，最低的学习率设置为0.0001，动量设置为0.9，权重衰减系数设置为0.0005，Dropout值设置为0.5。
步骤9.2具体为，
步骤9.2.1，采用反向传播算法和随机梯度下降算法独立训练一个RPN模型，该阶段迭代80000次；
步骤9.2.2，将步骤9.2.1中生成的候选框作为Fast R-CNN模型的输入，独立训练一个Fast R-CNN模型，该阶段迭代40000次；
步骤9.2.3，微调RPN模型参数，使用步骤9.2.2中得到的权值参数对RPN进行初始化，将共享卷积层的学习率设置为0，只更新RPN独有层的参数，该阶段迭代80000次；
步骤9.2.4，微调Fast R-CNN模型参数，同样将共享卷积层的学习率设置为0，只更新Fast R-CNN全连接层的参数，该阶段迭代40000次。
本发明的有益效果是，本发明结合Edge Boxes和改进的Faster R-CNN模型进行复杂环境中的车辆检测，首先使用Edge Boxes对图像进行处理，初步提取出较为准确的车辆候选区域；其次将候选区域输入到改进的Faster R-CNN模型中进一步对车辆进行精定位并通过分类判别得到最终的检测结果。同时为了增强模型对于小尺寸车辆的检测能力以及模型的判别能力，将不同层的卷积特征组合起来，补充一些车辆的细节信息，并在训练阶段加入难负样本挖掘策略，使得模型更加关注困难样本，能够很好的将车辆与疑似车辆的背景区分开来。
附图说明
图1为本发明方法进行车辆检测的整体框图；
图2为本发明方法中改进的Faster R-CNN模型框图；
图3为本发明方法中Edge Boxes处理图像的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于深度学习的车辆检测方法，如图1所示，具体按照以下步骤实施：
步骤1、构建带有标注和标签的图片库作为训练样本集和测试样本集；具体为：
利用开源标定软件LabelImg构建带有标注和标签的图片库作为训练样本集和测试样本集，其中样本集包含相同天气情况不同场景下和不同天气情况相同场景下拍摄的车辆照片(包括背景)，标注是记录车辆在一整张图像中的左上角点和右下角点的坐标，标签是指每个给定的车辆位置上车辆所属的类别；
步骤2、构建改进的Faster R-CNN模型，所述改进的Faster R-CNN模型由区域建议网络(Region Proposal Networks,RPN)和改进的Fast R-CNN网络组成；其中，RPN由六个串联的卷积层和两个并行的卷积层构成，两个并行的卷积层中一个卷积层负责输出一系列的矩形候选框的位置坐标值，另一个卷积层负责输出该矩形候选区域是否为目标的置信度；
改进的Fast R-CNN由五个卷积层、三个RoI池化层、一个全连接层和两个并行的全连接层构成，两个并行的全连接层中一个全连接层通过Softmax预测候选区域属于每个类别的概率(置信度)，另一个全连接层通过边框回归输出矩形候选框更合适的位置。模型示意图见图2所示。
步骤3、利用Edge Boxes初步提取出较为准确的车辆候选区域；流程图见图3所示，具体过程如下：
步骤3.1，根据结构化边缘算法计算整张图片中每一个像素点的边缘响应。
步骤3.2，确定边缘组，将近似在同一直线上的边缘线段集中起来形成一个边缘组，使用贪心算法计算相邻8条边的曲率，如果方向变化小于一个阈值π/2，则把这8条边确定为一个边缘组，得到所有边缘组集合R。
步骤3.3，计算边缘组之间的相似度，，定义相似度集合为S，S初始化为根据公式(1)计算边缘组ri与边缘组rj相似度，并将其添加到相似度集合S中。
s(ri,rj)＝|cos(θi-θij)cos(θj-θij)|γ (1)
其中，θij表示di，dj之间的夹角，di为边缘组ri的平均距离，dj为边缘组rj的平均距离，θi表示边缘组ri的平均角度，θj表示边缘组rj的平均角度，γ表示相似度的敏感度，用来调整两个边缘组ri和rj之间的相似度，在实际应用中一般取值为2。
当s(ri,rj)大于0.05时，则认定认为这两个边缘组ri，rj之间具有相似性，则相似性的值即为s(ri,rj)，添加至相似度集合S中，当s(ri,rj)小于等于0.05时，将边缘组ri，rj之间的相似性值记为0，并添加至相似度集合S中。
步骤3.4，使用一个滑动窗口扫描整个图像搜索候选框，每滑动一步根据步骤3.1、步骤3.2和步骤3.3得到一个窗口中的边缘组以及相似度之后，按照公式(2)计算每一个边缘组的权值。
若wb(si)＝0，则判定该边缘组不属于窗口中物体轮廓，若wb(si)＝1，则把该边缘组判定为该窗口中物体轮廓的一部分。其中T为物体轮廓边缘组按顺序排列的路径。
步骤3.5根据步骤步骤3.4得到的边缘组权值以及候选框的长宽等参数计算出其置信度。
其中，bw与bh分别为候选款的宽度与长度，其中κ＝1.5。mi表示每一个像素点的幅度值。
步骤3.6，设置置信度阈值，如果该候选框的置信度hb小于置信度阈值，则去除该候选框，如果hb大于置信度阈值，则保留该候选框，得到可能包含车辆的候选框集合C。本发明中将置信度阈值设置为0.75。
步骤4，初始化改进的Faster R-CNN模型参数。其中RPN和改进的Fast R-CNN共享的卷积层参数使用ImageNet上训练好的ZF权值参数进行初始化，ZF模型前五层卷积层参数见表1所示，两个网络独有的层采用均值为0，标准差为0.01的高斯分布随机初始化。
表1ZF模型前五层卷积层参数
层数 1 1 2 2 3 4 5
阶段 卷积 池化 卷积 池化 卷积 卷积 卷积
处理通道数 96 96 256 256 384 384 256
卷积核尺寸 7*7 - 5*5 - 3*3 3*3 3*3
卷积移动步径 2*2 - 2*2 - 1*1 1*1 1*1
池化尺寸 - 3*3 - 3*3 - - -
池化移动步径 - 2*2 - 2*2 - - -
步骤5、进行特征提取，对候选区域进行系列卷积、池化和非线性运算，得到特征图，具体步骤为，对步骤3提取的候选框集合C输入到改进的Faster R-CNN模型中通过前五层的卷积层进行系列卷积和池化处理，得到特征图矩阵，其中候选框集合C＝{x1,x2,...xj}，卷积运算公式为：
其中为第l层卷积层的第j个特征图矩阵；f(g)为非线性激活函数，本发明采用ReLU激活函数对卷积运算结果进行非线性处理，；Nj代表输入特征图的组合，*代表卷积运算，为卷积核矩阵，表示第l层第j个特征图与第l-1层第i个特征图连接之间的卷积核，为偏置矩阵，表示第j个特征图对应的偏置项。池化运算公式为：
其中down(·)表示采样函数，表示第l层第j个特征图对应的系数，为其对应的偏置项。步骤6、利用RPN过滤掉不包含车辆区域的候选框；将步骤5提取的特征图矩阵输入到步骤2中构建的区域建议网络(Region Proposal Networks,RPN)中，利用Softmax对提取到的特征进行分类判别过滤掉不包含车辆的候选框，并利用非极大值抑制算法去除多余的候选框，得到候选框集合C'。
步骤7，融合第三、第四和第五层卷积层特征对车辆进行描述，利用改进的Fast R-CNN模型对步骤6中RPN模型产生的候选框进行分类判别，得到图像中车辆所在的位置和所属类别；具体步骤为：
利用Fast R-CNN模型对步骤6中RPN模型产生的候选框集合C'进行分类判别，得到检测框P和检测框中车辆所属的类别。在这一步骤中，融合第三、第四和第五层卷积层特征对车辆进行描述，通过RoI池化将每一个候选区域分别映射到卷积层第三层、第四层和第五层的特征图中，获取相应的特征图信息，并采样到固定的长度，然后将各层提取到的特征经过L2归一化之后进行合并缩放，最后再利用1×1的卷积核对特征进行进一步的降维之后输出到全连接层进行分类和回归。
步骤8，根据步骤7得到的结果划分用于训练的正负样本，具体步骤为：
划分正负样本，根据公式(6)计算步骤7输出的检测矩形框Bp与步骤1中人工标注的真实矩形框Bgt的交并比IoU划分正负样本。其中将与真实矩形框有最大IoU值检测矩形框和与任意真实矩形框的IoU值大于0.7的检测矩形框划分为正样本，将所有与真实矩形框的IoU值低于0.3的检测矩形框划分为负样本，
步骤9，根据实际输出与期望输出得到总体误差，利用反向传播算法和随机梯度下降算法，通过交替训练的方式对模型进行训练，依次调整每层神经网络的权值，最终得到改进的Faster R-CNN模型；具体的步骤为：
步骤9.1，根据实际输出与期望输出得到总体误差，其公式为：
式中i是一次批处理中选取的候选框索引，pi为候选框i是车辆的概率。如果候选框是一个正样本，其对应的真实区域标签为1，否则为0。ti表示预测的矩形框的4个参数化坐标向量，是相对应的真实区域矩形框的坐标向量。
步骤9.2，通过交替训练的方式对模型进行训练，交替训练指的是RPN和Fast R-CNN两个模型之间的交替。利用反向传播算法将一定比例的误差分配给每个权值，随机梯度下降学习算法依次调整每层神经网络的权值以减少误差，得到初步训练好的Faster R-CNN模型。其中交替训练时网络初始学习率设置为0.01，按照polynomial多项式衰减策略进行衰减，最低的学习率设置为0.0001，动量设置为0.9，权重衰减系数设置为0.0005，Dropout值设置为0.5。交替训练的具体过程如下：
步骤9.2.1，采用反向传播算法和随机梯度下降算法独立训练一个RPN模型，该阶段迭代80000次。
步骤9.2.2，将步骤9.2.1中生成的候选框作为Fast R-CNN模型的输入，独立训练一个Fast R-CNN模型，该阶段迭代40000次。
步骤9.2.3，微调RPN模型参数，使用步骤9.2.2中得到的权值参数对RPN进行初始化，将共享卷积层的学习率设置为0，只更新RPN独有层的参数，该阶段迭代80000次。
步骤9.2.4，微调Fast R-CNN模型参数，同样将共享卷积层的学习率设置为0，只更新Fast R-CNN全连接层的参数，该阶段迭代40000次。
步骤10，使用训练集测试初步训练好的改进的Faster R-CNN模型，从而产生难负样本；具体为，使用训练集测试步骤9初步训练好的Faster R-CNN模型，从而产生难负样本。其中难负样本指的是第一次训练时在负样本原图(没有目标)上进行目标检测时所有检测到的矩形框。本发明中将步骤9输出的得分高于0.7并且与任意真实区域包围盒的IoU值(两个区域的交集面积与并集面积之比)小于0.5的候选框作为难负样本。
步骤11，将步骤9产生的难负样本加入到训练集中，对网络再次训练，从而加强模型的类别判定能力，得到最优的改进的Faster R-CNN模型。
步骤12，利用步骤11得到的最优的改进的Faster R-CNN模型，对实际中采集的待检测图像进行处理，从而得到车辆检测结果。
为了验证本发明的方法实际应用时的准确性和有效性，在得到了改进的FasterR-CNN模型后，利用测试集按照步骤3到步骤7的顺序对步骤11得到的模型进行测试，测试结果符合准确性的要求，说明步骤10得到的改进的Faster R-CNN模型可以用于实际的测量检测。测试的平均精确度可达到95％，检测一幅图像的平均时间可达0.34ms。相比传统的基于特征的车辆检测方法平均精确度提升了约8％，并满足实时检测的要求。
本发明的方法，与现有技术相比，具备如下的有益效果：
1、区别于现有技术的情况，本发明采用利用基于深度学习的改进的Faster R-CNN模型进行车辆检测，能够在训练数据的驱动下自动提取车辆的特征，既对位移、尺度和光照等具有一定程度的不变性，又能保证理想的检测率，基本实现实时检测。
2、采用Edge Boxes得到较为准确的车辆区域，使得改进的Faster R-CNN模型无需处理整幅图像，减少了计算量。
3、在特征提取阶段将不同层的卷积特征组合起来，得到更多的细节特征，增强了小尺寸车辆的检测能力。同时在训练阶段加入难负样本挖掘策略，使得模型能够更好的将目标与复杂环境中的疑似目标区分开来，从而增强了模型的判别能力，提高了检测精确度。

Claims (10)

1.一种基于深度学习的车辆检测方法，其特征在于，具体按照以下步骤实施：
步骤1，构建带有标注和标签的图片库作为训练样本集和测试样本集；
步骤2，构建改进的Faster R-CNN模型，所述改进的Faster R-CNN模型由区域建议网络和改进的Fast R-CNN网络组成；
步骤3，利用Edge Boxes初步提取出较为准确的车辆候选区域；
步骤4，对改进的Faster R-CNN模型参数进行初始化；
步骤5，进行特征提取，对候选区域进行系列卷积、池化和非线性运算，得到特征图；
步骤6，利用RPN过滤掉不包含车辆区域的候选框，即，将步骤5提取的特征图矩阵输入到步骤2中构建的区域建议网络中，利用Softmax对提取到的特征进行分类判别过滤掉不包含车辆的候选框，并利用非极大值抑制算法去除多余的候选框，得到候选框集合C'；
步骤7，融合第三、第四和第五层卷积层特征对车辆进行描述，利用改进的Fast R-CNN模型对步骤6中RPN模型产生的候选框进行分类判别，得到图像中车辆所在的位置和所属类别；
步骤8，根据步骤7得到的结果划分用于训练的正负样本；
步骤9，根据实际输出与期望输出得到总体误差，利用反向传播算法和随机梯度下降算法，通过交替训练的方式对模型进行训练，依次调整每层神经网络的权值，最终得到改进的Faster R-CNN模型；
步骤10，使用训练集测试初步训练好的改进的Faster R-CNN模型，从而产生难负样本；将步骤9输出的得分高于0.7并且与任意真实区域包围盒的IoU值(两个区域的交集面积与并集面积之比)小于0.5的候选框作为难负样本；
步骤11，将步骤9产生的难负样本加入到训练集中，对网络再次训练，从而加强模型的类别判定能力，得到最优的改进的Faster R-CNN模型；
步骤12，利用步骤11得到的最优的改进的Faster R-CNN模型，对实际中采集的待检测图像进行处理，从而得到车辆检测结果。
2.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤1具体为：
利用开源标定软件LabelImg构建带有标注和标签的图片库作为训练样本集和测试样本集，其中样本集包含相同天气情况不同场景下和不同天气情况相同场景下拍摄的车辆照片(包括背景)，标注是记录车辆在一整张图像中的左上角点和右下角点的坐标，标签是指每个给定的车辆位置上车辆所属的类别。
3.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤2中，RPN由六个串联的卷积层和两个并行的卷积层构成，两个并行的卷积层中一个卷积层负责输出一系列的矩形候选框的位置坐标值，另一个卷积层负责输出该矩形候选区域是否为目标的置信度；改进的Fast R-CNN由五个卷积层、三个RoI池化层、一个全连接层和两个并行的全连接层构成，两个并行的全连接层中一个全连接层通过Softmax预测候选区域属于每个类别的概率(置信度)，另一个全连接层通过边框回归输出矩形候选框更合适的位置。
4.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤3具体按照以下步骤实施：
步骤3.1，根据结构化边缘算法计算整张图片中每一个像素点的边缘响应；
步骤3.2，确定边缘组，将近似在同一直线上的边缘线段集中起来形成一个边缘组，使用贪心算法计算相邻8条边的曲率，如果方向变化小于一个阈值π/2，则把这8条边确定为一个边缘组，得到所有边缘组集合R；
步骤3.3，计算边缘组之间的相似度，，定义相似度集合为S，S初始化为根据公式(1)计算边缘组ri与边缘组rj相似度，并将其添加到相似度集合S中；
s(ri,rj)＝|cos(θi-θij)cos(θj-θij)|γ (1)
其中θij表示di，dj之间的夹角，di为边缘组ri的平均距离，dj为边缘组rj的平均距离，θi表示边缘组ri的平均角度，θj表示边缘组rj的平均角度，γ表示相似度的敏感度，用来调整两个边缘组ri和rj之间的相似度，在实际应用中一般取值为2；
当s(ri,rj)大于0.05时，则认定认为这两个边缘组ri，rj之间具有相似性，则相似性的值即为s(ri,rj)，添加至相似度集合S中，当s(ri,rj)小于等于0.05时，将边缘组ri，rj之间的相似性值记为0，并添加至相似度集合S中；
步骤3.4，使用一个滑动窗口扫描整个图像搜索候选框，每滑动一步根据步骤3.1、步骤3.2和步骤3.3得到一个窗口中的边缘组以及相似度之后，按照公式(2)计算每一个边缘组的权值；
若wb(si)＝0，则判定该边缘组不属于窗口中物体轮廓，若wb(si)＝1，则把该边缘组判定为该窗口中物体轮廓的一部分；其中T为物体轮廓边缘组按顺序排列的路径；
步骤3.5根据步骤步骤3.4得到的边缘组权值以及候选框的长宽等参数计算出其置信度；
其中，bw与bh分别为候选款的宽度与长度，其中κ＝1.5；mi表示每一个像素点的幅度值；
步骤3.6，设置置信度阈值，如果该候选框的置信度hb小于置信度阈值，则去除该候选框，如果hb大于置信度阈值，则保留该候选框，得到可能包含车辆的候选框集合C；本发明中将置信度阈值设置为0.75。
5.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤4具体为，
其中RPN和改进的Fast R-CNN共享的卷积层参数使用ImageNet上训练好的ZF权值参数进行初始化，两个网络独有的层采用均值为0，标准差为0.01的高斯分布随机初始化。
6.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤5具体为，对步骤3提取的候选框集合C输入到改进的Faster R-CNN模型中通过前五层的卷积层进行系列卷积和池化处理，得到特征图矩阵，其中候选框集合C＝{x1,x2,...xj}，卷积运算公式为：
其中为第l层卷积层的第j个特征图矩阵；f(g)为非线性激活函数，本发明采用ReLU激活函数对卷积运算结果进行非线性处理，；Nj代表输入特征图的组合，*代表卷积运算，为卷积核矩阵，表示第l层第j个特征图与第l-1层第i个特征图连接之间的卷积核，为偏置矩阵，表示第j个特征图对应的偏置项；池化运算公式为：
其中down(·)表示采样函数，表示第l层第j个特征图对应的系数，为其对应的偏置项。
7.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤7具体按照以下步骤实施：
利用Fast R-CNN模型对步骤6中RPN模型产生的候选框集合C'进行分类判别，得到检测框P和检测框中车辆所属的类别；在这一步骤中，融合第三、第四和第五层卷积层特征对车辆进行描述，通过RoI池化将每一个候选区域分别映射到卷积层第三层、第四层和第五层的特征图中，获取相应的特征图信息，并采样到固定的长度，然后将各层提取到的特征经过L2归一化之后进行合并缩放，最后再利用1×1的卷积核对特征进行进一步的降维之后输出到全连接层进行分类和回归。
8.根据权利要求6所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤8具体为：
划分正负样本，根据公式(6)计算步骤7输出的检测矩形框Bp与步骤1中人工标注的真实矩形框Bgt的交并比IoU划分正负样本；其中将与真实矩形框有最大IoU值检测矩形框和与任意真实矩形框的IoU值大于0.7的检测矩形框划分为正样本，将所有与真实矩形框的IoU值低于0.3的检测矩形框划分为负样本，
9.根据权利要求1所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤9具体为，
步骤9.1，根据实际输出与期望输出得到总体误差，其公式为：
式中i是一次批处理中选取的候选框索引，pi为候选框i是车辆的概率；如果候选框是一个正样本，其对应的真实区域标签为1，否则为0；ti表示预测的矩形框的4个参数化坐标向量，是相对应的真实区域矩形框的坐标向量；
步骤9.2，通过交替训练的方式对模型进行训练，交替训练指的是RPN和Fast R-CNN两个模型之间的交替；利用反向传播算法将一定比例的误差分配给每个权值，随机梯度下降学习算法依次调整每层神经网络的权值以减少误差，得到初步训练好的Faster R-CNN模型；其中交替训练时网络初始学习率设置为0.01，按照polynomial多项式衰减策略进行衰减，最低的学习率设置为0.0001，动量设置为0.9，权重衰减系数设置为0.0005，Dropout值设置为0.5。
10.根据权利要求9所述的基于深度学习的车辆检测方法，其特征在于，所述的步骤9.2具体为，
步骤9.2.1，采用反向传播算法和随机梯度下降算法独立训练一个RPN模型，该阶段迭代80000次；
步骤9.2.2，将步骤9.2.1中生成的候选框作为Fast R-CNN模型的输入，独立训练一个Fast R-CNN模型，该阶段迭代40000次；
步骤9.2.3，微调RPN模型参数，使用步骤9.2.2中得到的权值参数对RPN进行初始化，将共享卷积层的学习率设置为0，只更新RPN独有层的参数，该阶段迭代80000次；
步骤9.2.4，微调Fast R-CNN模型参数，同样将共享卷积层的学习率设置为0，只更新Fast R-CNN全连接层的参数，该阶段迭代40000次。
CN201810539356.0A 2018-05-30 2018-05-30 基于深度学习的车辆检测方法 Expired - Fee Related CN108830188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810539356.0A CN108830188B (zh) 2018-05-30 2018-05-30 基于深度学习的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810539356.0A CN108830188B (zh) 2018-05-30 2018-05-30 基于深度学习的车辆检测方法

Publications (2)

Publication Number Publication Date
CN108830188A true CN108830188A (zh) 2018-11-16
CN108830188B CN108830188B (zh) 2022-03-04

Family

ID=64146433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810539356.0A Expired - Fee Related CN108830188B (zh) 2018-05-30 2018-05-30 基于深度学习的车辆检测方法

Country Status (1)

Country Link
CN (1) CN108830188B (zh)

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389102A (zh) * 2018-11-23 2019-02-26 合肥工业大学 基于深度学习的车道线检测方法及其应用的系统
CN109508682A (zh) * 2018-11-20 2019-03-22 成都通甲优博科技有限责任公司 一种全景停车位的检测方法
CN109635740A (zh) * 2018-12-13 2019-04-16 深圳美图创新科技有限公司 视频目标检测方法、装置及图像处理设备
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
CN109741398A (zh) * 2018-12-28 2019-05-10 同方威视技术股份有限公司 图像识别方法、装置和计算机存储介质
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109766841A (zh) * 2019-01-10 2019-05-17 深圳大学 车辆检测方法、装置及计算机可读存储介质
CN109829421A (zh) * 2019-01-29 2019-05-31 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
CN109885718A (zh) * 2019-02-28 2019-06-14 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN109902572A (zh) * 2019-01-24 2019-06-18 哈尔滨理工大学 一种基于深度学习的车辆检测方法
CN109961423A (zh) * 2019-02-15 2019-07-02 平安科技（深圳）有限公司 一种基于分类模型的肺结节检测方法、服务器及存储介质
CN109961057A (zh) * 2019-04-03 2019-07-02 罗克佳华科技集团股份有限公司 一种车辆位置获得方法及装置
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN109993101A (zh) * 2019-03-28 2019-07-09 华南理工大学 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
CN110008882A (zh) * 2019-03-28 2019-07-12 华南理工大学 基于掩模与边框相似性损失的车辆检测方法
CN110009929A (zh) * 2019-03-15 2019-07-12 北京筑梦园科技有限公司 一种车辆泊位管理方法、设备及系统
CN110059377A (zh) * 2019-04-02 2019-07-26 西南交通大学 一种基于深度卷积神经网络的燃料电池寿命预测方法
CN110069993A (zh) * 2019-03-19 2019-07-30 同济大学 一种基于深度学习的目标车辆检测方法
CN110097047A (zh) * 2019-03-19 2019-08-06 同济大学 一种基于深度学习采用单线激光雷达的车辆检测方法
CN110210518A (zh) * 2019-05-08 2019-09-06 北京互金新融科技有限公司 提取降维特征的方法和装置
CN110378319A (zh) * 2019-07-31 2019-10-25 广州视源电子科技股份有限公司 一种信号的检测方法、装置、计算机设备和存储介质
CN110378422A (zh) * 2019-07-22 2019-10-25 福州大学 一种基于Faster R-CNN的武器识别方法
CN110414413A (zh) * 2019-07-25 2019-11-05 北京麒麟智能科技有限公司 一种基于人工智能的物流小车行人检测方法
CN110427797A (zh) * 2019-05-28 2019-11-08 东南大学 一种基于几何条件限制的三维车辆检测方法
CN110443240A (zh) * 2019-07-18 2019-11-12 东莞弓叶互联科技有限公司 图片处理方法、装置、设备及计算机可读存储介质
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
CN110781768A (zh) * 2019-09-30 2020-02-11 奇点汽车研发中心有限公司 目标对象检测方法和装置、电子设备和介质
CN110852321A (zh) * 2019-11-11 2020-02-28 北京百度网讯科技有限公司 候选框过滤方法、装置以及电子设备
CN110929632A (zh) * 2019-11-19 2020-03-27 复旦大学 面向复杂场景的车辆目标检测方法及装置
CN111008608A (zh) * 2019-12-11 2020-04-14 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN111324776A (zh) * 2018-12-13 2020-06-23 第四范式（北京）技术有限公司 图嵌入模型的训练方法及装置、计算设备及可读介质
CN111507458A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供个性化及自适应深度学习模型的方法及装置
CN111507166A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过一起使用照相机和雷达来学习cnn的方法及装置
CN111507159A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供自动驾驶安全性的方法和装置
CN111667048A (zh) * 2019-03-06 2020-09-15 德韧营运有限责任公司 机动车辆中用于对象检测和车道检测的卷积神经网络系统
CN111695638A (zh) * 2020-06-16 2020-09-22 兰州理工大学 一种改进的YOLOv3候选框加权融合选取策略
CN111753581A (zh) * 2019-03-27 2020-10-09 虹软科技股份有限公司 目标检测方法和装置
CN111768359A (zh) * 2019-03-27 2020-10-13 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN111914717A (zh) * 2020-07-24 2020-11-10 安徽华速达电子科技有限公司 一种基于抄表数据智能识别的数据录入方法及装置
CN111931920A (zh) * 2020-09-25 2020-11-13 北京智芯微电子科技有限公司 基于级联神经网络的目标检测方法、装置及存储介质
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置
CN112036321A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd-roi级联神经网络的安全帽检测方法
CN112381021A (zh) * 2020-11-20 2021-02-19 安徽一视科技有限公司 一种基于深度学习的人员检测计数方法
WO2021068322A1 (zh) * 2019-10-10 2021-04-15 平安科技（深圳）有限公司 活体检测模型的训练方法、装置、计算机设备和存储介质
CN113361588A (zh) * 2021-06-03 2021-09-07 北京文安智能技术股份有限公司 基于图像数据增强的图像训练集生成方法和模型训练方法
CN113392804A (zh) * 2021-07-02 2021-09-14 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
CN113642595A (zh) * 2020-05-11 2021-11-12 北京金山数字娱乐科技有限公司 一种基于图片的信息提取方法及装置
CN113696794A (zh) * 2021-08-27 2021-11-26 南京邮电大学 一种用于新能源汽车用燃料电池冷却的降温系统
CN114120246A (zh) * 2021-10-12 2022-03-01 吉林大学 一种基于复杂环境的前方车辆检测算法
CN114726741A (zh) * 2020-12-18 2022-07-08 中国科学院沈阳自动化研究所 基于表征学习的边缘网络状态感知建模方法
US11392833B2 (en) * 2020-02-13 2022-07-19 Soundhound, Inc. Neural acoustic model
WO2022252565A1 (zh) * 2021-06-04 2022-12-08 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质
CN116012649A (zh) * 2022-12-30 2023-04-25 东莞理工学院 用于医学图像的集成学习投票分类方法、系统及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036323A (zh) * 2014-06-26 2014-09-10 叶茂 一种基于卷积神经网络的车辆检测方法
CN105930803A (zh) * 2016-04-22 2016-09-07 北京智芯原动科技有限公司 一种基于Edge Boxes的前车检测方法及装置
CN106096607A (zh) * 2016-06-12 2016-11-09 湘潭大学 一种车牌识别方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN106971187A (zh) * 2017-04-12 2017-07-21 华中科技大学 一种基于车辆特征点的车辆部件检测方法和系统
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036323A (zh) * 2014-06-26 2014-09-10 叶茂 一种基于卷积神经网络的车辆检测方法
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN105930803A (zh) * 2016-04-22 2016-09-07 北京智芯原动科技有限公司 一种基于Edge Boxes的前车检测方法及装置
CN106096607A (zh) * 2016-06-12 2016-11-09 湘潭大学 一种车牌识别方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106971187A (zh) * 2017-04-12 2017-07-21 华中科技大学 一种基于车辆特征点的车辆部件检测方法和系统
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEAN BELL ET AL.: "Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
王林 等: "Faster R-CNN模型在车辆检测中的应用", 《计算机应用》 *

Cited By (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508682A (zh) * 2018-11-20 2019-03-22 成都通甲优博科技有限责任公司 一种全景停车位的检测方法
CN109389102A (zh) * 2018-11-23 2019-02-26 合肥工业大学 基于深度学习的车道线检测方法及其应用的系统
CN109635740B (zh) * 2018-12-13 2020-07-03 深圳美图创新科技有限公司 视频目标检测方法、装置及图像处理设备
CN109635740A (zh) * 2018-12-13 2019-04-16 深圳美图创新科技有限公司 视频目标检测方法、装置及图像处理设备
CN111324776A (zh) * 2018-12-13 2020-06-23 第四范式（北京）技术有限公司 图嵌入模型的训练方法及装置、计算设备及可读介质
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109741398A (zh) * 2018-12-28 2019-05-10 同方威视技术股份有限公司 图像识别方法、装置和计算机存储介质
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
CN109740665B (zh) * 2018-12-29 2020-07-17 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109766841A (zh) * 2019-01-10 2019-05-17 深圳大学 车辆检测方法、装置及计算机可读存储介质
CN109902572A (zh) * 2019-01-24 2019-06-18 哈尔滨理工大学 一种基于深度学习的车辆检测方法
CN109829421A (zh) * 2019-01-29 2019-05-31 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
CN109829421B (zh) * 2019-01-29 2020-09-08 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
CN111507458A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供个性化及自适应深度学习模型的方法及装置
CN111507166A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 通过一起使用照相机和雷达来学习cnn的方法及装置
CN111507159B (zh) * 2019-01-31 2023-12-01 斯特拉德视觉公司 提供自动驾驶安全性的方法和装置
CN111507166B (zh) * 2019-01-31 2023-08-29 斯特拉德视觉公司 通过一起使用照相机和雷达来学习cnn的方法及装置
CN111507159A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 提供自动驾驶安全性的方法和装置
CN109961423B (zh) * 2019-02-15 2024-05-31 平安科技（深圳）有限公司 一种基于分类模型的肺结节检测方法、服务器及存储介质
CN109961423A (zh) * 2019-02-15 2019-07-02 平安科技（深圳）有限公司 一种基于分类模型的肺结节检测方法、服务器及存储介质
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN109885718B (zh) * 2019-02-28 2021-05-28 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN109885718A (zh) * 2019-02-28 2019-06-14 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN111667048A (zh) * 2019-03-06 2020-09-15 德韧营运有限责任公司 机动车辆中用于对象检测和车道检测的卷积神经网络系统
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110009929A (zh) * 2019-03-15 2019-07-12 北京筑梦园科技有限公司 一种车辆泊位管理方法、设备及系统
CN110097047A (zh) * 2019-03-19 2019-08-06 同济大学 一种基于深度学习采用单线激光雷达的车辆检测方法
CN110069993A (zh) * 2019-03-19 2019-07-30 同济大学 一种基于深度学习的目标车辆检测方法
CN110069993B (zh) * 2019-03-19 2021-10-08 同济大学 一种基于深度学习的目标车辆检测方法
CN111768359A (zh) * 2019-03-27 2020-10-13 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN111753581A (zh) * 2019-03-27 2020-10-09 虹软科技股份有限公司 目标检测方法和装置
CN110008882B (zh) * 2019-03-28 2021-06-08 华南理工大学 基于掩模与边框相似性损失的车辆检测方法
CN109993101A (zh) * 2019-03-28 2019-07-09 华南理工大学 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
CN110008882A (zh) * 2019-03-28 2019-07-12 华南理工大学 基于掩模与边框相似性损失的车辆检测方法
CN109993101B (zh) * 2019-03-28 2021-01-19 华南理工大学 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
CN110059377A (zh) * 2019-04-02 2019-07-26 西南交通大学 一种基于深度卷积神经网络的燃料电池寿命预测方法
CN110059377B (zh) * 2019-04-02 2022-07-05 西南交通大学 一种基于深度卷积神经网络的燃料电池寿命预测方法
CN109961057A (zh) * 2019-04-03 2019-07-02 罗克佳华科技集团股份有限公司 一种车辆位置获得方法及装置
CN110210518A (zh) * 2019-05-08 2019-09-06 北京互金新融科技有限公司 提取降维特征的方法和装置
CN110427797A (zh) * 2019-05-28 2019-11-08 东南大学 一种基于几何条件限制的三维车辆检测方法
CN110427797B (zh) * 2019-05-28 2023-09-15 东南大学 一种基于几何条件限制的三维车辆检测方法
CN110443240B (zh) * 2019-07-18 2022-11-15 广东弓叶科技有限公司 图片处理方法、装置、设备及计算机可读存储介质
CN110443240A (zh) * 2019-07-18 2019-11-12 东莞弓叶互联科技有限公司 图片处理方法、装置、设备及计算机可读存储介质
CN110378422A (zh) * 2019-07-22 2019-10-25 福州大学 一种基于Faster R-CNN的武器识别方法
CN110414413A (zh) * 2019-07-25 2019-11-05 北京麒麟智能科技有限公司 一种基于人工智能的物流小车行人检测方法
CN110378319A (zh) * 2019-07-31 2019-10-25 广州视源电子科技股份有限公司 一种信号的检测方法、装置、计算机设备和存储介质
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
CN110781768A (zh) * 2019-09-30 2020-02-11 奇点汽车研发中心有限公司 目标对象检测方法和装置、电子设备和介质
WO2021068322A1 (zh) * 2019-10-10 2021-04-15 平安科技（深圳）有限公司 活体检测模型的训练方法、装置、计算机设备和存储介质
CN110852321A (zh) * 2019-11-11 2020-02-28 北京百度网讯科技有限公司 候选框过滤方法、装置以及电子设备
CN110852321B (zh) * 2019-11-11 2022-11-22 北京百度网讯科技有限公司 候选框过滤方法、装置以及电子设备
CN110929632A (zh) * 2019-11-19 2020-03-27 复旦大学 面向复杂场景的车辆目标检测方法及装置
CN111008608A (zh) * 2019-12-11 2020-04-14 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111008608B (zh) * 2019-12-11 2023-08-01 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111161295B (zh) * 2019-12-30 2023-11-21 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
US11392833B2 (en) * 2020-02-13 2022-07-19 Soundhound, Inc. Neural acoustic model
CN113642595A (zh) * 2020-05-11 2021-11-12 北京金山数字娱乐科技有限公司 一种基于图片的信息提取方法及装置
CN111695638A (zh) * 2020-06-16 2020-09-22 兰州理工大学 一种改进的YOLOv3候选框加权融合选取策略
CN111914717A (zh) * 2020-07-24 2020-11-10 安徽华速达电子科技有限公司 一种基于抄表数据智能识别的数据录入方法及装置
CN111914717B (zh) * 2020-07-24 2024-06-21 安徽华速达电子科技有限公司 一种基于抄表数据智能识别的数据录入方法及装置
CN112036321A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd-roi级联神经网络的安全帽检测方法
CN111931920A (zh) * 2020-09-25 2020-11-13 北京智芯微电子科技有限公司 基于级联神经网络的目标检测方法、装置及存储介质
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置
CN112381021A (zh) * 2020-11-20 2021-02-19 安徽一视科技有限公司 一种基于深度学习的人员检测计数方法
CN112381021B (zh) * 2020-11-20 2022-07-12 安徽一视科技有限公司 一种基于深度学习的人员检测计数方法
CN114726741A (zh) * 2020-12-18 2022-07-08 中国科学院沈阳自动化研究所 基于表征学习的边缘网络状态感知建模方法
CN113361588A (zh) * 2021-06-03 2021-09-07 北京文安智能技术股份有限公司 基于图像数据增强的图像训练集生成方法和模型训练方法
WO2022252565A1 (zh) * 2021-06-04 2022-12-08 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质
CN113392804A (zh) * 2021-07-02 2021-09-14 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
CN113392804B (zh) * 2021-07-02 2022-08-16 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
CN113696794A (zh) * 2021-08-27 2021-11-26 南京邮电大学 一种用于新能源汽车用燃料电池冷却的降温系统
CN114120246A (zh) * 2021-10-12 2022-03-01 吉林大学 一种基于复杂环境的前方车辆检测算法
CN114120246B (zh) * 2021-10-12 2024-04-16 吉林大学 一种基于复杂环境的前方车辆检测算法
CN116012649A (zh) * 2022-12-30 2023-04-25 东莞理工学院 用于医学图像的集成学习投票分类方法、系统及终端
CN116012649B (zh) * 2022-12-30 2023-09-19 东莞理工学院 用于医学图像的集成学习投票分类方法、系统及终端

Also Published As

Publication number Publication date
CN108830188B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN108830188A (zh) 基于深度学习的车辆检测方法
Jin et al. Weed identification using deep learning and image processing in vegetable plantation
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN109784203B (zh) 基于分层传播和激活的弱监督x光图像违禁品检查方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN103914702B (zh) 用于提高视频中的对象检测性能的系统和方法
CN107451602A (zh) 一种基于深度学习的果蔬检测方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN111259850A (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN108182454A (zh) 安检识别系统及其控制方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
CN110717553A (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
CN109886295A (zh) 一种基于神经网络的蝴蝶识别方法及相关设备
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN110348437A (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN109271934A (zh) 用于交通标志识别的系统和方法
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
Chen et al. Locating crop plant centers from UAV-based RGB imagery
CN109242826A (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置
CN113657414B (zh) 一种物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220304