CN109886312A - 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 - Google Patents
一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 Download PDFInfo
- Publication number
- CN109886312A CN109886312A CN201910079277.0A CN201910079277A CN109886312A CN 109886312 A CN109886312 A CN 109886312A CN 201910079277 A CN201910079277 A CN 201910079277A CN 109886312 A CN109886312 A CN 109886312A
- Authority
- CN
- China
- Prior art keywords
- output
- size
- characteristic pattern
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，包括以下步骤：1)构建基于多层特征融合的深度学习神经网络模型；2)利用训练样本数据集对模型进行训练；3)对桥梁上拍摄的待检测图像进行图像增强的预处理操作；4)将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像；5)利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。与现有技术相比，本发明具有提高了检测的精度，增强了实时性，降低漏检概率等优点，本发明在实现车辆目标检测的同时也实现了车轮的检测，并自动将同一图像上的车辆与车轮匹配。
Description
技术领域
本发明涉及监控视频智能分析领域与桥梁外部荷载监测领域，尤其是涉及一种基于深度学习的桥梁车辆车轮检测方法。
背景技术
车辆车轮检测属于目标检测任务。目标检测的任务是找出图像中所有感兴趣的目标(物体)，是机器视觉领域的核心问题之一。目标检测不仅要定位出目标的位置并且知道目标物是什么。对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到车和船这样的抽象概念并定位其位置，再加上物体姿态、光照和复杂背景混杂在一起，使得物体检测更加困难。在本发明中，感兴趣的目标是车辆和车轮。
目标检测算法分为传统目标检测算法和结合深度学习的目标检测算法。
传统的目标检测方法大致可以分为三个步骤：第一个是检测窗口的选择，第二个是特征的设计，第三个是分类器的设计。首先对图像中可能的目标位置提出建议，也就是提出一些可能含有目标的候选区域，然后采用合适的特征模型得到特征表示，最后借助分类器判断各个区域中是否含有特定类型的目标，并且通过一些后处理操作，例如边框位置回归等，得到最终的目标边框。但传统的目标检测方法存在特征表达能力弱、检测速度慢等问题。
基于深度学习的目标检测方法可以分为两类：基于区域提名的目标检测算法，包括R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN、Mask RCNN等；端到端的、无需区域提名的目标检测算法，如YOLO、SSD、YOLOv2、YOLOv3等。基于区域提名的目标检测算法，主要包含两个过程：候选区域生成和区域分类。区别于R-CNN系列为代表的两步检测算法，端到端的目标检测算法舍去了候选框提取分支，直接将特征提取、候选框回归和分类在用一个无分支的卷积网络中完成，使得网络结构变得简单，检测速度较Faster RCNN有显著的提升，可以达到在实时的检测速度水平下，仍然保持很高的检测精度。
基于深度学习的目标检测算法在检测速度和检测精度上已经超过了传统的目标检测算法，但这类目标检测算法需要足够的训练集数据来实现模型的训练。目前，开放的车辆类数据集有KITTI数据集、PASCAL VOC数据集和COCO数据集的部分车辆图像训练样本，且不存在车轮训练数据集。这对车辆车轮的检测造成一定的困难，难以完成现实场景下的车辆车轮检测。
专利CN108629279A提出了一种基于卷积神经网络的车辆目标检测的方法，采用Faster R-CNN算法进行车辆目标检测，但该方法分为两个阶段，RPN网络提取ROI区域和Fast R-CNN网络进行分类和回归，时间性能较差，难以实时运行。
专利CN108596053A提出了一种基于SSD和车辆姿态分类的车辆检测方法和系统，根据车头与水平轴的角度对车辆姿态进行划分，将车辆检测损失和车辆姿态分类任务的损失结合起来形成多任务损失。然而，将车辆姿态分类任务作为车辆检测任务的辅助任务，会额外增添网络的负担，且当图像中存在多个车辆目标时，分类任务的精确度会降低，对最终算法性能造成较大影响。
目前还没有针对检测车辆车轮的较好方法，更没有能完成现实场景下的车辆车轮检测方法。
发明内容
本发明的目的就是为了克服上述现有问题，并实现对交通荷载更好的监测而提供的一种基于深度学习的车辆车轮检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，包括以下步骤：
1)构建基于多层特征融合的深度学习神经网络模型；
2)利用训练样本数据集对模型进行训练；
3)对桥梁上拍摄的待检测图像进行图像增强的预处理操作；
4)将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像；
5)利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。
所述的步骤1)具体包括以下步骤：
11)构建特征提取模块，具体包括：采用多层卷积神经网络构建特征提取模块，其中多层卷积神经网络由VGG-16网络中的fc层之前的所有网络层、将两个fc层改为卷积层(卷积层fc6，卷积层fc7)、再额外增添四个卷积层(卷积层conv6_2，卷积层conv7_2，卷积层conv8_2，卷积层conv9_2)构成。
输入层：输入图像大小为300*300，RGB三通道；
第一层、第二层为卷积层：设定64个特征平面，卷积核大小为3×3；第三层为池化层：池化窗口大小为2×2；第四层、第五层为卷积层：设定128个特征平面，卷积核大小为3×3；第六层为池化层：池化窗口大小为2×2；第七层、第八层、第九层为卷积层：设定256个特征平面，卷积核大小为3×3；第十层为池化层：池化窗口大小为2×2；第十一层、第十二层为卷积层：设定512个特征平面，卷积核大小为3×3；
第十三层为卷积层C4_3：设定512个特征平面，卷积核大小为3×3，输入大小为38*38*512，输出大小为38*38*512；
第十四层为池化P4：池化窗口大小为2×2，输入大小为38*38*512，输出大小为19*19*512；
第十五层、第十六层、第十七层为卷积层：设定512个特征平面，卷积核大小为3×3；
第十八层为池化层P5：池化窗口大小为3*3，输入大小为19*19*512，输出大小为19*19*512；
第十九层为卷积层Fc6：设定1024个特征平面，卷积核大小为1×1，输入大小为19*19*1024，输出大小为19*19*1024；
第二十层为卷积层Fc7：设定1024个特征平面，卷积核大小为1×1，输入大小为19*19*1024，输出大小为19*19*1024；
第二十一层为卷积层C6_1：设定256个特征平面，卷积核大小为1×1；
第二十二层为卷积层C6_2：设定512个特征平面，卷积核大小为3×3，输入大小为19*19*1024，输出大小为10*10*512；
第二十一层为卷积层C7_1：设定128个特征平面，卷积核大小为1×1；
第二十二层为卷积层C7_2：设定256个特征平面，卷积核大小为3×3，输入大小为10*10*128，输出大小为5*5*256；
第二十三层为卷积层C8_1：设定128个特征平面，卷积核大小为1×1；
第二十四层为卷积层C8_2：设定256个特征平面，卷积核大小为3×3，输入大小为5*5*128，输出大小为3*3*256；
第二十五层为卷积层C9_1：设定128个特征平面，卷积核大小为1×1；
第二十六层为卷积层C9_2：设定256个特征平面，卷积核大小为3×3，输入大小为3*3*128，输出大小为1*1*256。
12)构建多层特征融合模块，具体包括：
第一层为特征融合层P1：
输入：卷积层conv8_2的输出特征图Out8_2大小为3*3*256、卷积层conv7_2的输出特征图Out7_2大小为5*5*256。
操作：对特征图Out8_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为5*5*256。对特征图Out7_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为5*5*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256的卷积操作，将特征图的通道数都转化成256。由于特征图Out8_2的大小与Out7_2的大小不同，因此在特征融合前，对特征图Out8_2使用反卷积操作，设定卷积核大小为3*3，得到与Out7_2特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为5*5*256。
第二层为特征融合层P2：
输入：特征融合层P1的输出，卷积层conv6_2的输出特征图Out6_2大小为10*10*512。
操作：对特征融合层P1的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为10*10*256。对特征图Out6_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为10*10*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P1输出特征图的大小与Out6_2的大小不同，因此在特征融合前，对P1输出特征图使用反卷积操作，设定卷积核大小为2*2，得到与Out6_2特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为10*10*256。
第三层为特征融合层P3：
输入：特征融合层P2的输出，卷积层fc7的输出特征图OutFc7大小为19*19*1024。
操作：对特征融合层P2的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为19*19*256。对特征图OutFc7进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为19*19*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P2输出特征图的大小与OutFc7的大小不同，因此在特征融合前，对P2输出特征图使用反卷积操作，设定卷积核大小为3*3，得到与OutFc7特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为19*19*256。
第四层为特征融合层P4：
输入：特征融合层P3的输出，VGG-16网络中卷积层conv4_3的输出特征图Out4_3大小为38*38*512。
操作：对特征融合层P3的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为38*38*256。对特征图Out4_3进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为38*38*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P3输出特征图的大小与Out4_3的大小不同，因此在特征融合前，对P3输出特征图使用反卷积操作，设定卷积核大小为2*2，得到与Out4_3特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为38*38*256。
使用多层特征融合模块的多层输出特征图进行检测的优势在于，融合后的低层特征图包含更多的语义信息。对于车轮等小目标而言，更深层的特征图会损失位置信息，故其检测集中在特征图较大的低层特征图上，但低层特征图缺乏丰富的语义信息。使用融合后的特征图进行检测，将高层的语义信息融合到低层，可以更精确的检测小目标。
13)设置默认框，具体方式如下：
其中，k表示第k个特征图，m表示特征图数目。在本方法中，最后选择的用于检测的特征图分别为步骤1.2中特征融合层P4的输出、P3的输出、P2的输出、P1的输出、步骤1.1中卷积层conv8_2的输出、conv9_2的输出。smin取值0.2，smax取值0.9，表示最低层的尺度为0.2，最高层的尺度为0.9。此外，默认框包含不同的尺寸，即不同纵横比 和分别表示默认框的宽、高。
14)采用多任务训练损失函数，具体公式如下：
其中，Lconf(x,c)表示置信度损失，Lloc(x,l,g)表示定位损失。N是与真实框匹配的预测框数目，参数α设置为1。x表示输入图片，是匹配第i个预测框到类别为p的第j个真值框的一个指示符。c表示置信度，l表示预测框，g表示真实框。Pos表示与真实框匹配的预测框集合。表示第i个预测框的参数值，其中m的取值(cx,cy),w,h分别表示预测框的中心坐标，以及预测框的宽度和高度。表示第i个真实框的参数值，其中m的取值(cx,cy),w,h分别表示真实框的中心坐标，以及真实框的宽度和高度。表示第i个默认框的参数值。表示第i个预测框属于类别p的置信值。
所述的步骤2)具体包括以下步骤：
21)将所有训练集图像大小统一调整到300*300；
22)初始学习率设置为0.001，训练迭代次数(Iterations)设置为100000次；
23)重复输入训练图像进行模型训练，根据基于多层特征融合的深度学习神经网络模型，得到不同尺度的特征图，根据默认框与真实框之间的匹配情况，利用损失函数计算得到损失值，使用随机梯度下降(SGD)算法调整模型参数，直到训练迭代次数达到设置值。
所述的步骤4)具体包括以下步骤：
41)将预处理后的图像大小调整到300*300；
42)将图片输入步骤2)训练得到的模型中，对于每一个预测框(默认框)，根据位置偏移值以及自身对应的特征图单元位置，进行解码得到预测框在图片中的位置。解码后，对置信度降序排列，仅保留top-k个预测框。最后，使用非极大值抑制算法，过滤重叠度较大的预测框，剩下的即为检测结果。
以上技术方案，在实现车辆目标检测的同时也实现了车轮的检测，并自动将同一图像上的车辆与车轮匹配。
与现有技术相比，本发明具有以下优点：
一、本发明采用基于深度学习神经网络模型的桥梁车辆车轮检测方法，与传统检测方法相比，具有检测实时性更高的优点，且基于深度学习模型的特征提取方法具有更强的鲁棒性。
二、本发明中提出的基于多层特征融合的神经网络模型，融合了深层(高层)特征图的语义信息与浅层(低层)特征图的位置信息，可有效的实现小目标物体的检测，使车轮以及画面中较小的车辆得以更好的检测，从而提高检测的精度，降低了漏检概率。
附图说明
图1为本发明方法的系统流程图。
图2为本发明方法中的基于多层特征融合的深度学习神经网络模型设计示意图。
图3为本发明算法在桥梁真实图像上的检测效果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，具体如图1所示算法流程图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，但并不限定本发明。
步骤一：构建基于多层特征融合的深度学习神经网络模型，具体描述如下，构建基于多层特征融合神经网络模型由特征提取模块、多层特征融合模块组成，用于从待检测图像中提取一系列不同尺寸的特征图。基于多层特征融合的深度学习神经网络模型在特征提取模块的基础上，加入了多层特征融合模块，融合了深层特征图的语义信息与浅层特征图的位置信息，可有效的实现小目标物体的检测，使车轮以及画面中较小的车辆得以更好的检测，从而提高检测的精度；具体实施如下：
(1)构建特征提取模块，这部分结构设计是通过对已有网络模块进行改造实现的，具体包括：
输入层：输入图像大小为300*300，RGB三通道；
第一层、第二层为卷积层：设定64个特征平面，卷积核大小为3×3；
第三层为池化层：池化窗口大小为2×2；
第四层、第五层为卷积层：设定128个特征平面，卷积核大小为3×3；
第六层为池化层：池化窗口大小为2×2；
第七层、第八层、第九层为卷积层：设定256个特征平面，卷积核大小为3×3；
第十层为池化层：池化窗口大小为2×2；
第十一层、第十二层为卷积层：设定512个特征平面，卷积核大小为3×3；
第十三层为卷积层C4_3：设定512个特征平面，卷积核大小为3×3，输入大小为38*38*512，输出大小为38*38*512；
第十四层为池化P4：池化窗口大小为2×2，输入大小为38*38*512，输出大小为19*19*512；
第十五层、第十六层、第十七层为卷积层：设定512个特征平面，卷积核大小为3×3；
第十八层为池化层P5：池化窗口大小为3*3，输入大小为19*19*512，输出大小为19*19*512；
第十九层为卷积层Fc6：设定1024个特征平面，卷积核大小为1×1，输入大小为19*19*1024，输出大小为19*19*1024；
第二十层为卷积层Fc7：设定1024个特征平面，卷积核大小为1×1，输入大小为19*19*1024，输出大小为19*19*1024；
第二十一层为卷积层C6_1：设定256个特征平面，卷积核大小为1×1；
第二十二层为卷积层C6_2：设定512个特征平面，卷积核大小为3×3，输入大小为19*19*1024，输出大小为10*10*512；
第二十一层为卷积层C7_1：设定128个特征平面，卷积核大小为1×1；
第二十二层为卷积层C7_2：设定256个特征平面，卷积核大小为3×3，输入大小为10*10*128，输出大小为5*5*256；
第二十三层为卷积层C8_1：设定128个特征平面，卷积核大小为1×1；
第二十四层为卷积层C8_2：设定256个特征平面，卷积核大小为3×3，输入大小为5*5*128，输出大小为3*3*256；
第二十五层为卷积层C9_1：设定128个特征平面，卷积核大小为1×1；
第二十六层为卷积层C9_2：设定256个特征平面，卷积核大小为3×3，输入大小为3*3*128，输出大小为1*1*256。
(2)构建多层特征融合模块，这部分结构设计是本发明创新点之一，具体包括：
第一层为特征融合层P1：
输入：卷积层conv8_2的输出特征图Out8_2大小为3*3*256、卷积层conv7_2的输出特征图Out7_2大小为5*5*256。
操作：对特征图Out8_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为5*5*256。对特征图Out7_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为5*5*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256的卷积操作，将特征图的通道数都转化成256。由于特征图Out8_2的大小与Out7_2的大小不同，因此在特征融合前，对特征图Out8_2使用反卷积操作，设定卷积核大小为3*3，得到与Out7_2特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为5*5*256。
第二层为特征融合层P2：
输入：特征融合层P1的输出，卷积层conv6_2的输出特征图Out6_2大小为10*10*512。
操作：对特征融合层P1的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为10*10*256。对特征图Out6_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为10*10*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P1输出特征图的大小与Out6_2的大小不同，因此在特征融合前，对P1输出特征图使用反卷积操作，设定卷积核大小为2*2，得到与Out6_2特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为10*10*256。
第三层为特征融合层P3：
输入：特征融合层P2的输出，卷积层fc7的输出特征图OutFc7大小为19*19*1024。
操作：对特征融合层P2的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为19*19*256。对特征图OutFc7进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为19*19*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P2输出特征图的大小与OutFc7的大小不同，因此在特征融合前，对P2输出特征图使用反卷积操作，设定卷积核大小为3*3，得到与OutFc7特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为19*19*256。
第四层为特征融合层P4：
输入：特征融合层P3的输出，VGG-16网络中卷积层conv4_3的输出特征图Out4_3大小为38*38*512。
操作：对特征融合层P3的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为38*38*256。对特征图Out4_3进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为38*38*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。为保证两个特征图可以融合，首先通过1*1*256卷积操作，将特征图的通道数都转化成256。由于P3输出特征图的大小与Out4_3的大小不同，因此在特征融合前，对P3输出特征图使用反卷积操作，设定卷积核大小为2*2，得到与Out4_3特征图大小相同的输出。将上述两个输出的特征图通过对应像素点点乘的操作完成融合。对融合后的特征图，采取3*3的卷积操作，以消除反卷积带来的混叠效应。
输出：特征图大小为38*38*256。
使用本发明设计的多层特征融合模块的多层输出特征图进行检测的优势在于，融合后的低层特征图仍然能包含更多的语义信息。对于车轮等小目标而言，更深层的特征图会损失位置坐标信息，故其检测集中在特征图较大的低层特征图上，但低层特征图缺乏丰富的语义信息。使用本发明融合后的特征图进行检测，将高层的语义信息融合到低层，可以更精确的检测小目标。
(3)设置默认框，具体方式如下：
其中，k表示第k个特征图，m表示特征图数目。在本方法中，最后选择的用于检测的特征图分别为步骤2.2中特征融合层P4的输出、P3的输出、P2的输出、P1的输出、步骤2.1中卷积层conv8_2的输出、conv9_2的输出。smin取值0.2，smax取值0.9，表示最低层的尺度为0.2，最高层的尺度为0.9。此外，默认框包含不同的尺寸，即不同纵横比 和分别表示默认框的宽、高。
(4)采用多任务训练损失函数，具体公式如下：
其中，Lconf(x,c)表示置信度损失，Lloc(x,l,g)表示定位损失。N是与真实框匹配的预测框数目，参数α设置为1。x表示输入图片，是匹配第i个预测框到类别为p的第j个真值框的一个指示符。c表示置信度，l表示预测框，g表示真实框。Pos表示与真实框匹配的预测框集合。表示第i个预测框的参数值，其中m的取值(cx,cy),w,h分别表示预测框的中心坐标，以及预测框的宽度和高度。表示第i个真实框的参数值，其中m的取值(cx,cy),w,h分别表示真实框的中心坐标，以及真实框的宽度和高度。表示第i个默认框的参数值。表示第i个预测框属于类别p的置信值。
步骤二：利用训练样本数据集对模型进行训练，具体实施如下：
(1)将所有训练集图像大小统一调整到300*300；
(2)初始学习率设置为0.001，训练迭代次数(Iterations)设置为100000次；
(3)重复输入训练图像进行模型训练，根据基于多层特征融合的深度学习神经网络模型，得到不同尺度的特征图，根据默认框与真实框之间的匹配情况，利用损失函数计算得到损失值，使用随机梯度下降(SGD)算法调整模型参数，直到训练迭代次数达到设置值
步骤三：对桥梁上拍摄的待检测图像进行图像增强的预处理操作，具体描述：在桥梁上拍摄的实际场景下的车辆图片，会因为天气、时间、光照等因素影响图片的质量，Retinex算法能够较好的消除光照因素带来的影响。因此，在实际检测前，需要先进行图片预处理，来提高后续的检测精度。具体实施如下：
Retinex算法具体如下：
I(ti,tj)＝R(ti,tj)*L(ti,tj)
lgR(ti,tj)＝lgI(ti,tj)-lgL(ti,tj)
式中，(ti,tj)为像素点的空间二维坐标；I(ti,tj)为原始图像；R(ti,tj)为反射分量，反应物体本身的颜色特性，对应图像中的高频部分；L(ti,tj)为照度分量，反应环境的亮度，对应图像中的低频部分。
Retinex图像增强的思想就是从原始图像中剔除环境亮度的影响，求解出物体本身的颜色特性。照度分量L(ti,tj)采用中心环绕函数求解：
L(ti,tj)＝I(ti,tj)*F(ti,tj)
式中，*表示卷积运算。中心环绕函数F(ti,tj)常采用高斯中心环绕函数，高斯中心环绕函数的定义如下：
式中，K为归一化因子，r为距中心像素点的距离，τ为尺度因子。τ值设置为250。
在图像增强时，因为原图为彩色图，因此需要分通道处理。
步骤四：将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像，具体实施如下：
(1)将预处理后的图像大小调整到300*300；
(2)将图片输入步骤三训练得到的模型中，对于每一个预测框(默认框)，根据位置偏移值以及自身对应的特征图单元位置，进行解码得到预测框在图片中的位置。解码后，对置信度降序排列，仅保留top-k个预测框。最后，使用非极大值抑制算法，过滤重叠度较大的预测框，剩下的即为检测结果。
步骤五：利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。
本发明具体实现步骤为：
图1是本发明方法实现流程图，具体实施方式如下：
1、构建特征提取模块；
2、构建多层特征融合模块；
3、构建多任务损失函数；
4、将所有训练集图像大小统一调整到300*300；
5、训练初始学习率设置为0.001，迭代次数设置为10w次，迭代6w次后，学习率降为10-4，迭代8w次后，学习率降为10-5。
6、重复输入训练图像进行模型训练，根据训练损失函数计算得到损失值，使用随机梯度下降(SGD)算法调整模型参数，直到训练迭代次数达到设置值；
7、将待检测图像进行图像增强的预处理操作；
8、将待检测图像大小调整为300*300；
9、将待检测图像输入神经网络模型中，检测完成，得到图像中车辆车轮的类别以及在图像中的坐标，并输出到文件中。
10、使用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。
图3为本发明算法在桥梁真实图像上的检测效果。
显然，上述实例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，包括以下步骤：
1)构建基于多层特征融合的深度学习神经网络模型；
2)利用训练样本数据集对模型进行训练；
3)对桥梁上拍摄的待检测图像进行图像增强的预处理操作；
4)将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像；
5)利用重叠率度量方法，将图像中检测到的车轮与对应车辆进行匹配。
2.根据权利要求1所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤1)中，构建基于多层特征融合的深度学习神经网络模型，具体包含以下四个步骤：
步骤1.1，构建特征提取模块；
步骤1.2，构建多层特征融合模块；
步骤1.3，设置默认框；
步骤1.4，构建多任务训练损失函数。
3.根据权利要求2所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤1.2中，多层特征融合模块的构建，具体包括：
第一层为特征融合层P1：
输入：卷积层conv8_2的输出特征图Out8_2大小为3*3*256、卷积层conv7_2的输出特征图Out7_2大小为5*5*256。
操作：对特征图Out8_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为5*5*256。对特征图Out7_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为5*5*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。
输出：特征图大小为5*5*256。
第二层为特征融合层P2：
输入：特征融合层P1的输出，卷积层conv6_2的输出特征图Out6_2大小为10*10*512。
操作：对特征融合层P1的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为10*10*256。对特征图Out6_2进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为10*10*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。
输出：特征图大小为10*10*256。
第三层为特征融合层P3：
输入：特征融合层P2的输出，卷积层fc7的输出特征图OutFc7大小为19*19*1024。
操作：对特征融合层P2的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为3*3，最后输出大小为19*19*256。对特征图OutFc7进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为19*19*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。
输出：特征图大小为19*19*256。
第四层为特征融合层P4：
输入：特征融合层P3的输出，VGG-16网络中卷积层conv4_3的输出特征图Out4_3大小为38*38*512。
操作：对特征融合层P3的输出进行卷积操作，设定256个特征平面，卷积核大小为1*1，再进行反卷积操作，设定256个特征平面，卷积核大小为2*2，最后输出大小为38*38*256。对特征图Out4_3进行卷积操作，设定256个特征平面，卷积核大小为1*1，输出大小为38*38*256。将上述两个输出的特征图融合，对应的像素点进行点乘操作。对融合后的特征图，通过3*3的卷积操作。
输出：特征图大小为38*38*256。
4.根据权利要求2所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤1.3中，设置默认框，具体方式如下：
其中，k表示第k个特征图，m表示特征图数目。在本方法中，最后选择的用于检测的特征图分别为步骤2.2中特征融合层P4的输出、P3的输出、P2的输出、P1的输出、步骤2.1中卷积层conv8_2的输出、conv9_2的输出。smin取值0.2，smax取值0.9，表示最低层的尺度为0.2，最高层的尺度为0.9。此外，默认框包含不同的尺寸，即不同纵横比ar, 和分别表示默认框的宽、高。
5.根据权利要求2所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤2.4中，采用多任务训练损失函数中损失函数的计算公式具体如下：
其中，Lconf(x,c)表示置信度损失，Lloc(x,l,g)表示定位损失。N是与真实框匹配的预测框数目，参数α设置为1。x表示输入图片，是匹配第i个预测框到类别为p的第j个真值框的一个指示符。c表示置信度，l表示预测框，g表示真实框。Pos表示与真实框匹配的预测框集合。表示第i个预测框的参数值，其中m的取值(cx,cy),w,h分别表示预测框的中心坐标，以及预测框的宽度和高度。表示第i个真实框的参数值，其中m的取值(cx,cy),w,h分别表示真实框的中心坐标，以及真实框的宽度和高度。表示第i个默认框的参数值。表示第i个预测框属于类别p的置信值。
6.根据权利要求1所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤2)中，利用训练样本数据集对模型进行训练具体包括以下步骤：
步骤2.1，将所有训练集图像大小统一调整到300*300；
步骤2.2，初始学习率设置为0.001，训练迭代次数(Iterations)设置为100000次；
步骤2.3，重复输入训练图像进行模型训练，根据基于多层特征融合的深度学习神经网络模型，得到不同尺度的特征图，根据默认框与真实框之间的匹配情况，利用损失函数计算得到损失值，使用随机梯度下降(SGD)算法调整模型参数，直到训练迭代次数达到设置值。
7.根据权利要求1所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤3)中，对桥梁上拍摄的待检测图像进行图像增强的预处理操作，具体操作为基于Retinex算法的图像增强操作；
Retinex算法具体如下：
I(ti,tj)＝R(ti,tj)*L(ti,tj)
lgR(ti,tj)＝lgI(ti,tj)-lgL(ti,tj)
式中，(ti,tj)为像素点的空间二维坐标；I(ti,tj)为原始图像；R(ti,tj)为反射分量，反应物体本身的颜色特性，对应图像中的高频部分；L(ti,tj)为照度分量，反应环境的亮度，对应图像中的低频部分。
Retinex图像增强的思想就是从原始图像中剔除环境亮度的影响，求解出物体本身的颜色特性。照度分量L(ti,tj)采用中心环绕函数求解：
L(ti,tj)＝I(ti,tj)*F(ti,tj)
式中，*表示卷积运算。中心环绕函数F(ti,tj)常采用高斯中心环绕函数，高斯中心环绕函数的定义如下：
式中，K为归一化因子，r为距中心像素点的距离，τ为尺度因子。τ值设置为250。
在图像增强时，因为原图为彩色图，因此需要分通道处理。
8.根据权利要求1所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤4)中，将预处理后的图像输入模型中，得到具有车轮车辆类别坐标标定的输出图像，包括以下步骤：
步骤4.1，将预处理后的图像大小调整到300*300；
步骤4.2，将图片输入步骤2)训练得到的模型中，对于每一个预测框(默认框)，根据位置偏移值以及自身对应的特征图单元位置，进行解码得到预测框在图片中的位置。解码后，对置信度降序排列，仅保留top-k个预测框。最后，使用非极大值抑制算法，过滤重叠度较大的预测框，剩下的即为检测结果。
9.根据权利要求1所述的一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法，其特征在于，所述的步骤5)中，重叠率度量方法中重叠率计算公式具体如下：
其中，xp,xq表示同一张图像中检测到的两个目标，分别是目标xp在图像中的左上角坐标和右下角坐标，分别是目标xq在图像中的左上角坐标和右下角坐标，表示取与中较小的数，表示取与中较大的数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079277.0A CN109886312B (zh) | 2019-01-28 | 2019-01-28 | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079277.0A CN109886312B (zh) | 2019-01-28 | 2019-01-28 | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886312A true CN109886312A (zh) | 2019-06-14 |
| CN109886312B CN109886312B (zh) | 2023-06-06 |
Family
ID=66927006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910079277.0A Active CN109886312B (zh) | 2019-01-28 | 2019-01-28 | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886312B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246183A (zh) * | 2019-06-24 | 2019-09-17 | 百度在线网络技术（北京）有限公司 | 车轮接地点检测方法、装置及存储介质 |
| CN110517224A (zh) * | 2019-07-12 | 2019-11-29 | 上海大学 | 一种基于深度神经网络的光伏板缺陷检测方法 |
| CN110781911A (zh) * | 2019-08-15 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
| CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
| CN111062249A (zh) * | 2019-11-11 | 2020-04-24 | 北京百度网讯科技有限公司 | 车辆信息获取方法、装置、电子设备及存储介质 |
| CN111709991A (zh) * | 2020-05-28 | 2020-09-25 | 武汉工程大学 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
| CN111797782A (zh) * | 2020-07-08 | 2020-10-20 | 上海应用技术大学 | 基于图像特征的车辆检测方法和系统 |
| CN111797769A (zh) * | 2020-07-06 | 2020-10-20 | 东北大学 | 一种小目标敏感的车辆检测系统 |
| CN112165496A (zh) * | 2020-10-13 | 2021-01-01 | 清华大学 | 基于聚类图神经网络的网络安全异常检测算法和检测系统 |
| CN112926495A (zh) * | 2021-03-19 | 2021-06-08 | 高新兴科技集团股份有限公司 | 一种基于多级卷积特征级联的车辆检测方法 |
| CN113159079A (zh) * | 2020-01-07 | 2021-07-23 | 顺丰科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN113205026A (zh) * | 2021-04-26 | 2021-08-03 | 武汉大学 | 一种基于Faster RCNN深度学习网络改进的车型识别方法 |
| CN113420706A (zh) * | 2021-07-05 | 2021-09-21 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN115015911A (zh) * | 2022-08-03 | 2022-09-06 | 深圳安德空间技术有限公司 | 一种基于雷达图像的导航地图制作和使用方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2412471A1 (en) * | 2002-12-17 | 2004-06-17 | Concordia University | A framework and a system for semantic content extraction in video sequences |
| CN103927526A (zh) * | 2014-04-30 | 2014-07-16 | 长安大学 | 一种基于高斯差分多尺度边缘融合的车辆检测方法 |
| US20140267301A1 (en) * | 2013-03-14 | 2014-09-18 | Canon Kabushiki Kaisha | Systems and methods for feature fusion |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| CN106485253A (zh) * | 2016-09-14 | 2017-03-08 | 同济大学 | 一种最大粒度结构描述符的行人再辨识方法 |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| CN107657257A (zh) * | 2017-08-14 | 2018-02-02 | 中国矿业大学 | 一种基于多通道卷积神经网络的语义图像分割方法 |
| US20180068198A1 (en) * | 2016-09-06 | 2018-03-08 | Carnegie Mellon University | Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
| US20180260651A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for vehicle wheel detection |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| US20180330166A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN109190444A (zh) * | 2018-07-02 | 2019-01-11 | 南京大学 | 一种基于视频的收费车道车辆特征识别系统的实现方法 |
-
2019
- 2019-01-28 CN CN201910079277.0A patent/CN109886312B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2412471A1 (en) * | 2002-12-17 | 2004-06-17 | Concordia University | A framework and a system for semantic content extraction in video sequences |
| US20140267301A1 (en) * | 2013-03-14 | 2014-09-18 | Canon Kabushiki Kaisha | Systems and methods for feature fusion |
| CN103927526A (zh) * | 2014-04-30 | 2014-07-16 | 长安大学 | 一种基于高斯差分多尺度边缘融合的车辆检测方法 |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| US20180068198A1 (en) * | 2016-09-06 | 2018-03-08 | Carnegie Mellon University | Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network |
| CN106485253A (zh) * | 2016-09-14 | 2017-03-08 | 同济大学 | 一种最大粒度结构描述符的行人再辨识方法 |
| US20180260651A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for vehicle wheel detection |
| US20180330166A1 (en) * | 2017-05-09 | 2018-11-15 | Blue River Technology Inc. | Automated plant detection using image data |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| CN107657257A (zh) * | 2017-08-14 | 2018-02-02 | 中国矿业大学 | 一种基于多通道卷积神经网络的语义图像分割方法 |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN109190444A (zh) * | 2018-07-02 | 2019-01-11 | 南京大学 | 一种基于视频的收费车道车辆特征识别系统的实现方法 |
Non-Patent Citations (4)
| Title |
|---|
| JICHI CHEN ETC.: "Electroencephalography based fatigue detection using a novel feature fusion and extreme learning machine", 《SCIENCEDIRECT》 * |
| 王浩等: "图像增强算法综述", 《中国光学》 * |
| 范钦民: "基于多层特征融合的SSD目标检测", 《中国优秀硕士学位论文全文数据库》 * |
| 陈浩: "基于中层语义特征表达的物体检测方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246183A (zh) * | 2019-06-24 | 2019-09-17 | 百度在线网络技术（北京）有限公司 | 车轮接地点检测方法、装置及存储介质 |
| CN110246183B (zh) * | 2019-06-24 | 2022-07-15 | 百度在线网络技术（北京）有限公司 | 车轮接地点检测方法、装置及存储介质 |
| CN110517224A (zh) * | 2019-07-12 | 2019-11-29 | 上海大学 | 一种基于深度神经网络的光伏板缺陷检测方法 |
| CN110781911A (zh) * | 2019-08-15 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
| CN111062249A (zh) * | 2019-11-11 | 2020-04-24 | 北京百度网讯科技有限公司 | 车辆信息获取方法、装置、电子设备及存储介质 |
| CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
| CN113159079A (zh) * | 2020-01-07 | 2021-07-23 | 顺丰科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN111709991B (zh) * | 2020-05-28 | 2023-11-07 | 武汉工程大学 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
| CN111709991A (zh) * | 2020-05-28 | 2020-09-25 | 武汉工程大学 | 一种铁路工机具的检测方法、系统、装置和存储介质 |
| CN111797769A (zh) * | 2020-07-06 | 2020-10-20 | 东北大学 | 一种小目标敏感的车辆检测系统 |
| CN111797769B (zh) * | 2020-07-06 | 2023-06-30 | 东北大学 | 一种小目标敏感的车辆检测系统 |
| CN111797782B (zh) * | 2020-07-08 | 2024-04-16 | 上海应用技术大学 | 基于图像特征的车辆检测方法和系统 |
| CN111797782A (zh) * | 2020-07-08 | 2020-10-20 | 上海应用技术大学 | 基于图像特征的车辆检测方法和系统 |
| CN112165496B (zh) * | 2020-10-13 | 2021-11-02 | 清华大学 | 基于聚类图神经网络的网络安全异常检测算法和检测系统 |
| CN112165496A (zh) * | 2020-10-13 | 2021-01-01 | 清华大学 | 基于聚类图神经网络的网络安全异常检测算法和检测系统 |
| CN112926495A (zh) * | 2021-03-19 | 2021-06-08 | 高新兴科技集团股份有限公司 | 一种基于多级卷积特征级联的车辆检测方法 |
| CN113205026A (zh) * | 2021-04-26 | 2021-08-03 | 武汉大学 | 一种基于Faster RCNN深度学习网络改进的车型识别方法 |
| CN113420706B (zh) * | 2021-07-05 | 2022-05-24 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN113420706A (zh) * | 2021-07-05 | 2021-09-21 | 吉林大学 | 一种基于多层特征融合的车辆检测方法 |
| CN115015911A (zh) * | 2022-08-03 | 2022-09-06 | 深圳安德空间技术有限公司 | 一种基于雷达图像的导航地图制作和使用方法及系统 |
| CN115015911B (zh) * | 2022-08-03 | 2022-10-25 | 深圳安德空间技术有限公司 | 一种基于雷达图像的导航地图制作和使用方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886312B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886312A (zh) | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 | |
| CN108764063A (zh) | 一种基于特征金字塔的遥感影像时敏目标识别系统及方法 | |
| CN110378381A (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN109344701A (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN108764228A (zh) | 一种图像中文字目标检测方法 | |
| CN108596053A (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 | |
| CN109740665A (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
| CN108491837A (zh) | 一种提高车牌攻击鲁棒性的对抗攻击方法 | |
| CN107330453A (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
| CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN110059734A (zh) | 一种目标识别分类模型的训练方法、物体识别方法、装置、机器人和介质 | |
| CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
| CN104657717B (zh) | 一种基于分层核稀疏表示的行人检测方法 | |
| CN109829400A (zh) | 一种快速车辆检测方法 | |
| CN111625608A (zh) | 一种基于gan模型根据遥感影像生成电子地图的方法、系统 | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| CN107085723A (zh) | 一种基于深度学习模型的车牌字符整体识别方法 | |
| CN109948607A (zh) | 基于深度学习反卷积网络的候选边框生成和目标检测方法 | |
| CN106372597A (zh) | 基于自适应上下文信息的cnn交通检测方法 | |
| CN110245754A (zh) | 一种基于位置敏感图的知识蒸馏方法 | |
| CN110197259A (zh) | 基于小批量数据集与深度学习算法的晶圆缺陷检测方法 | |
| Zhai et al. | An improved faster R-CNN pedestrian detection algorithm based on feature fusion and context analysis | |
| CN108776777A (zh) | 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |