CN113269119A - 一种夜间车辆检测方法及装置 - Google Patents

一种夜间车辆检测方法及装置 Download PDF

Info

Publication number
CN113269119A
CN113269119A CN202110633467.XA CN202110633467A CN113269119A CN 113269119 A CN113269119 A CN 113269119A CN 202110633467 A CN202110633467 A CN 202110633467A CN 113269119 A CN113269119 A CN 113269119A
Authority
CN
China
Prior art keywords
image
feature
detected
features
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110633467.XA
Other languages
English (en)
Other versions
CN113269119B (zh
Inventor
赵敏
孙棣华
国祎晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110633467.XA priority Critical patent/CN113269119B/zh
Publication of CN113269119A publication Critical patent/CN113269119A/zh
Application granted granted Critical
Publication of CN113269119B publication Critical patent/CN113269119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种夜间车辆检测方法，该方法包括：获取待检测的图像；利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型对待检测的图像的处理过程包括：对待检测的图像进行特征提取，得到图像特征；对所述图像特征进行特征增强，得到增强特征；将所述增强特征输入到RPN网络中，生成候选框；通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；对所述特征图进行回归和分类，得到检测目标。本发明能有效提高夜间环境下车辆特征提取的准确度，更好地应对高速公路多尺度不均衡的样本情况，降低漏检率，最终实现在保证效率的同时提升检测精度。

Description

一种夜间车辆检测方法及装置
技术领域
本发明涉及车辆检测领域，具体涉及公开了一种夜间车辆检测方法及装置。
背景技术
车辆检测是计算机视觉任务中不可或缺的组成部分，而高速公路作为经济发展的连接脉络，具有封闭性和快速性的特点，其事故造成的损失远远高于城市道路，高速公路也因此更适合使用基于视频的车辆检测手段。基于视频的高速公路车辆检测容易受到光照条件的影响，夜间道路场景与白天相比有很大的不同：图像清晰度较差，前景和背景对比度低，缺少车辆外观细节。因此，现有夜间环境下车辆目标的检测一直都是研究的难点。
发明内容
有鉴于此，本发明提出一种夜间车辆检测方法及装置，用于解决现有技术中的至少一个缺陷。
本发明的目的是通过以下技术方案来实现的：一种夜间车辆检测方法，包括
获取待检测的图像；
利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型对待检测的图像的处理过程包括：
对待检测的图像进行特征提取，得到图像特征；
对所述图像特征进行特征增强，得到增强特征；
将所述增强特征输入到RPN网络中，生成候选框；
通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；
对所述特征图进行回归和分类，得到检测目标。
可选地，所述对待检测的图像进行特征提取，得到图像特征的步骤包括：
通过ResNet50网络对所述待检测的图像进行特征提取；其中，在ResNet50的Conv3至Conv5阶段的残差模块中引入缩放点乘注意力。
可选地，所述对所述图像特征进行特征增强，得到增强特征的步骤包括：
特征金字塔结构FPN对所述图像特征进行特征增强，得到增强特征。
可选地，所述特征金字塔结构FPN包括四个特征层P2，P3，P4，P5，对特征层P2、P3进行下采样操作，对特征层P5进行上采样。
可选地，所述对所述特征图进行回归和分类，得到检测目标的步骤包括：
将所述固定大小的特征图输入到两个并列的全连接层中，对特征图进行回归和分类，得到检测目标。
可选地，使用Softmax分类器对特征图进行分类，其中，Softmax分类器的公式为：
Figure BDA0003104635700000021
其中，Softmaxj是Softmax分类器输出向量的第j个值，aj为输入向量的第j个值，ak为输入向量的第k个值，T表示类别数。
可选地，若存在多个重叠的候选框，采用Soft-NMS方法对候选框进行优化，Soft-NMS的公式为：
Figure BDA0003104635700000022
Figure BDA0003104635700000023
其中，Nt为设定的阈值，M为置信度最高的候选框，bi为其他任一候选框，IoU()表示交并比。
本发明的目的是通过以下技术方案来实现的：一种夜间车辆检测装置，包括：
图像获取模块，用于获取待检测的图像；
目标检测模块，用于利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型包括：
特征提取模块，用于对待检测的图像进行特征提取，得到图像特征；
特征增强模块，用于对所述图像特征进行特征增强，得到增强特征；
候选框生成模块，用于将所述增强特征输入到RPN网络中，生成候选框；
特征图生生成模块，用于通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；
分类回归模块，用于对所述特征图进行回归和分类，得到检测目标。
由于采用了上述技术方案，本发明具有如下的优点：
本发明提出了一种夜间车辆检测方法，包括：获取待检测的图像；利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型对待检测的图像的处理过程包括：对待检测的图像进行特征提取，得到图像特征；对所述图像特征进行特征增强，得到增强特征；将所述增强特征输入到RPN网络中，生成候选框；通过ROIPooling层对所述候选框进行处理，得到固定大小的特征图；对所述特征图进行回归和分类，得到检测目标。本发明能有效提高夜间环境下车辆特征提取的准确度，更好地应对高速公路多尺度不均衡的样本情况，降低漏检率，最终实现在保证效率的同时提升检测精度。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
本发明的附图说明如下。
图1为本发明一实施例一种夜间车辆检测方法的流程图；
图2为本发明一实施例引入注意力机制的ResNet模块示意图；
图3为本发明一实施例夜间高速公路图像特征金字塔平衡流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
现有的夜间车辆检测可以归纳为四大方向：①基于运动信息。这类方法从连续视频帧中分离出运动的检测目标，常用的基于运动信息的车辆检测算法有帧间差分法、背景差分法和光流法。②基于车灯。这类方法通常采用图像阈值化和形态学分析等操作提取出车灯，再根据车灯位置、形状等信息进行配对，以代替车身定位车辆。③基于机器学习。这类方法一般利用图片中的边缘、形状和颜色等特征来描述车辆或车灯区域，主要为特征提取、分类器训练和目标检测三个步骤。④基于深度学习。上述三种方式都采用人工设计的特征表达方式，需要大量的先验知识。
在夜间高速公路场景下进行车辆检测时必须考虑夜间环境下的特征提取困难和监控摄像头下的尺度变化大的问题，本发明将在Faster R-CNN深度学习模型的基础上实现夜间高速公路场景下的车辆检测。首先，在Faster R-CNN模型的骨干网络部分，选用ResNet50，并在其基础上增强上下文信息，引入注意力机制，强化特征提取的语义信息。其次，加入特征金字塔网络FPN，以应对目标的变尺度检测，并构建了考虑特征平衡的特征增强结构，以实现不同尺度特征的提取，均衡金字塔层次间特征的联系，强化特征信息。最后，对初步检测结果采用考虑软阈值的Soft-NMS算法进行处理，去掉表示同一目标的多个重叠检测框，得到最终的检测结果。
本申请一实施例提供一种夜间车辆检测方法，包括
S1获取待检测的图像；
S2利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型对待检测的图像的处理过程包括：
S3对待检测的图像进行特征提取，得到图像特征；
S4对所述图像特征进行特征增强，得到增强特征；
S5将所述增强特征输入到RPN网络中，生成候选框；
S6通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；
S7对所述特征图进行回归和分类，得到检测目标。
在一实施例中，所述对待检测的图像进行特征提取，得到图像特征的步骤包括：
通过ResNet50网络对所述待检测的图像进行特征提取；ResNet50的短路连接架构能够缓解深度网络带来的梯度消失问题，具有良好的特征分类效果，输入图片通过ResNet50网络后获得对应的特征图；其中，ResNet模块的形式为：
H(x)＝F(x)+x
其中，x为输入特征，H(x)为输出特征，F(x)表示常规卷积操作；
由于ResNet50特征提取网络在前景与背景对比度低的夜间高速公路场景中对空间位置不敏感的缺陷，如图2所示，本实施例通过修改ResNet50的Conv3至Conv5阶段的残差模块，引入缩放点乘注意力，从而实现特征信息的权重标定。权重计算公式为：
Figure BDA0003104635700000041
其中，Q是查询元素，即图像特征，K是键序列，V是值。输入图像中车辆或背景区域的视觉特征被映射为<K,V>形式的数据对元素，n是伸缩因子，本实施例中取n为默认值1。最终的计算结果为Q和K之间的相似度，这样便可以计算所关注的每个区域属于车辆的置信度，置信度越高，说明该区域与车辆目标特征越相近，否则反之。
在一实施例中，所述对所述图像特征进行特征增强，得到增强特征的步骤包括：
特征金字塔结构FPN对所述图像特征进行特征增强，得到增强特征。
具体地，针对数据集中车辆目标存在尺度不平衡的问题，本实施例选用特征金字塔结构FPN完成特征空间的初步增强，该结构融合相邻两层中的低层特征和两倍上采样操作后的高层特征，形成新的特征图；
由于FPN的四个特征层P2，P3，P4，P5对整个夜间高速公路车辆检测模型的贡献程度存在不平衡，如图3所示，本实施例通过对特征层P2，P3进行下采样操作，对特征层P5进行上采样操作，从而将FPN得到的四个特征层调整为P4统一大小，统一大小后的特征层由C2，C3，C4，C5表示。接着逐像素相加和平均，以保证各层之间语义特征的平衡，公式为：
Figure BDA0003104635700000051
其中，Cl表示不同层的特征图，l代表层数，lmin代表P5特征图的索引，Lmax代表P2特征图的索引，L为集成的特征图的总个数，本实施例中取L＝4。
为正常进行后续操作，将所得到的平均后的特征图进行反向重构操作，得到处理后的金字塔特征层{B2，B3，B4，B5}。在恢复过程中，选择对C上采样得到新的{B2，B3}层，对C下采样得到新的特征层层B5。
在一实施例中，将特征增强模块得到的特征金字塔输入至RPN网络，生成一系列的候选框；与此同时，ROI Pooling层将候选框映射到特征金字塔的不同层，并将特征图中不同大小的候选框进行池化操作，获得固定大小的特征图。
在一实施例中，所述对所述特征图进行回归和分类，得到检测目标的步骤包括：
将所述固定大小的特征图输入到两个并列的全连接层中，对特征图进行回归和分类，得到检测目标。
具体地，经ROI Pooling处理后的向量被送入两个并列的全连接层；
全连接层后使用Softmax分类器对候选区域进行分类识别，Softmax分类器的公式为：
Figure BDA0003104635700000052
其中，Softmaxj是Softmax分类器输出向量的第j个值，aj为输入向量的第j个值，T表示类别数，本实施例的类别数为2，Softmax分类器输出每个样本属于各个类别的概率；
针对车辆目标区域存在多个重叠候选框的情况，采用Soft-NMS后处理对候选区域进行优化，以去除冗余框，Soft-NMS的公式为：
Figure BDA0003104635700000061
Figure BDA0003104635700000062
其中，Nt为设定的阈值，本实施例可以取0.5。M为置信度最高的候选框，bi为其他任一候选框。Soft-NMS算法采用分数衰减的方式，能够去掉置信度较低的包围框，同时对于置信度较高的重叠包围框，当IoU超过阈值时，使用高斯惩罚函数的方式降低该包围框的置信度，形成新的组合列表，否则保持当前得分。
在本实施例中，目标检测模型为基于Faster R-CNN的深度学习模型，在对目标检测模型的训练前需要获取训练数据，可以将训练数据分为训练集和测试集，训练集和测试集的比例为4:1。然后提取夜间高速公路监控视频的帧图片得到车辆检测的原始数据；采用LableImg工具对原始数据图像进行标注，使用方框选定车辆目标后，选择类别即车辆，标注完成后自动生成对应的xml格式文件，包含图片编号、大小、所标注的类别、坐标等信息。
在训练过程中，采用损失函数来监督训练，迭代优化模型的参数，直至模型收敛。损失函数由分类损失和回归损失按一定的比例组成，以实现分类和回归的联合训练：
Figure BDA0003104635700000063
其中，i代表候选框序号，pi为第i个候选框是目标的预测概率。当真实目标为正样本时，pi＝1，真实目标为负样本时pi＝0。ti为回归得到的四个参数的坐标，
Figure BDA0003104635700000064
是一个正样本的真实框的坐标。分类损失Lcls是正负样本的对数损失函数：
Figure BDA0003104635700000065
其中，yi代表分类结果，如果样本i的预测类别和真实类别相同，则yi为1，否则为0。xi代表样本i属于车辆的预测概率。T表示类别数，j表示类别序号。
回归损失Lreg使用的是smooth L1损失函数：
Figure BDA0003104635700000066
Figure BDA0003104635700000071
Ncls是每次输入到网络中训练的最小图片数量，Nreg是图片经过RPN网络后所得区域建议窗口的数量，λ是用来平衡两种损失的权重，一般取10。
本申请还提供一种车辆检测装置，包括：
图像获取模块，用于获取待检测的图像；
目标检测模块，用于利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型包括：
特征提取模块，用于对待检测的图像进行特征提取，得到图像特征；
特征增强模块，用于对所述图像特征进行特征增强，得到增强特征；
候选框生成模块，用于将所述增强特征输入到RPN网络中，生成候选框；
特征图生生成模块，用于通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；
分类回归模块，用于对所述特征图进行回归和分类，得到检测目标。
需要说明的是，前述图1-图3实施例中对车辆检测方法的实施例的解释说明也适用于该实施例提出的车辆检测系统，其实现原理类似，此处不再赘述。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种夜间车辆检测方法，其特征在于，该方法包括：
获取待检测的图像；
利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型对待检测的图像的处理过程包括：
对待检测的图像进行特征提取，得到图像特征；
对所述图像特征进行特征增强，得到增强特征；
将所述增强特征输入到RPN网络中，生成候选框；
通过ROIPooling层对所述候选框进行处理，得到固定大小的特征图；
对所述特征图进行回归和分类，得到检测目标。
2.根据权利要求1所述的夜间车辆检测方法，其特征在于，所述对待检测的图像进行特征提取，得到图像特征的步骤包括：
通过ResNet50网络对所述待检测的图像进行特征提取；其中，在ResNet50的Conv3至Conv5阶段的残差模块中引入缩放点乘注意力。
3.根据权利要求1所述的夜间车辆检测方法，其特征在于，所述对所述图像特征进行特征增强，得到增强特征的步骤包括：
特征金字塔结构FPN对所述图像特征进行特征增强，得到增强特征。
4.根据权利要求3所述的夜间车辆检测方法，其特征在于，所述特征金字塔结构FPN包括四个特征层P2，P3，P4，P5，对特征层P2、P3进行下采样操作，对特征层P5进行上采样。
5.根据权利要求1所述的夜间车辆检测方法，其特征在于，所述对所述特征图进行回归和分类，得到检测目标的步骤包括：
将所述固定大小的特征图输入到两个并列的全连接层中，对特征图进行回归和分类，得到检测目标。
6.根据权利要求5所述的夜间车辆检测方法，其特征在于，使用Softmax分类器对特征图进行分类，其中，Softmax分类器的公式为：
Figure FDA0003104635690000011
其中，Softmaxj是Softmax分类器输出向量的第j个值，aj为输入向量的第j个值，ak为输入向量的第k个值，T表示类别数。
7.根据权利要求6所述的夜间车辆检测方法，其特征在于，若存在多个重叠的候选框，采用Soft-NMS方法对候选框进行优化，Soft-NMS的公式为：
Figure FDA0003104635690000021
Figure FDA0003104635690000022
其中，Nt为设定的阈值，M为置信度最高的候选框，bi为其他任一候选框，IoU()表示交并比。
8.一种夜间车辆检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的图像；
目标检测模块，用于利用训练好的目标检测模型对所述待检测的图像进行检测，得到检测目标；其中，所述目标检测模型包括：
特征提取模块，用于对待检测的图像进行特征提取，得到图像特征；
特征增强模块，用于对所述图像特征进行特征增强，得到增强特征；
候选框生成模块，用于将所述增强特征输入到RPN网络中，生成候选框；
特征图生生成模块，用于通过ROI Pooling层对所述候选框进行处理，得到固定大小的特征图；
分类回归模块，用于对所述特征图进行回归和分类，得到检测目标。
CN202110633467.XA 2021-06-07 2021-06-07 一种夜间车辆检测方法及装置 Active CN113269119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110633467.XA CN113269119B (zh) 2021-06-07 2021-06-07 一种夜间车辆检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110633467.XA CN113269119B (zh) 2021-06-07 2021-06-07 一种夜间车辆检测方法及装置

Publications (2)

Publication Number Publication Date
CN113269119A true CN113269119A (zh) 2021-08-17
CN113269119B CN113269119B (zh) 2023-01-31

Family

ID=77234497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110633467.XA Active CN113269119B (zh) 2021-06-07 2021-06-07 一种夜间车辆检测方法及装置

Country Status (1)

Country Link
CN (1) CN113269119B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723400A (zh) * 2021-08-23 2021-11-30 中南大学 一种基于红外图像的电解槽极板故障识别方法、系统、终端及可读存储介质
CN115171079A (zh) * 2022-09-08 2022-10-11 松立控股集团股份有限公司 一种基于夜间场景的车辆检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN111477221A (zh) * 2020-05-28 2020-07-31 中国科学技术大学 采用双向时序卷积与自注意力机制网络的语音识别系统
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111738262A (zh) * 2020-08-21 2020-10-02 北京易真学思教育科技有限公司 目标检测模型训练、检测方法、装置、设备及存储介质
CN111814753A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 针对雾天条件下的目标检测方法和装置
WO2020215984A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
US20200410054A1 (en) * 2019-06-27 2020-12-31 Conduent Business Services, Llc Neural network systems and methods for target identification from text
CN112488999A (zh) * 2020-11-19 2021-03-12 特斯联科技集团有限公司 一种图像中小目标检测方法、系统、存储介质及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
WO2020215984A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
US20200410054A1 (en) * 2019-06-27 2020-12-31 Conduent Business Services, Llc Neural network systems and methods for target identification from text
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111477221A (zh) * 2020-05-28 2020-07-31 中国科学技术大学 采用双向时序卷积与自注意力机制网络的语音识别系统
CN111814753A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 针对雾天条件下的目标检测方法和装置
CN111738262A (zh) * 2020-08-21 2020-10-02 北京易真学思教育科技有限公司 目标检测模型训练、检测方法、装置、设备及存储介质
CN112488999A (zh) * 2020-11-19 2021-03-12 特斯联科技集团有限公司 一种图像中小目标检测方法、系统、存储介质及终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C. XU ET AL.: "A novel object detection algorithm based on enhanced R-FCN and SVM", 《2020 IEEE CONFERENCE ON TELECOMMUNICATIONS, OPTICS AND COMPUTER SCIENCE (TOCS)》 *
Z. MIN ET AL.: "Vehicle detection method based on deep learning and multi-layer feature fusion", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
王也: "基于深度学习与虚拟数据的车辆识别与状态估计研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑(月刊)，2020年第02期》 *
赵敏等: "基于角点集特征的高速公路摄像头监控范围偏差检测", 《华南理工大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723400A (zh) * 2021-08-23 2021-11-30 中南大学 一种基于红外图像的电解槽极板故障识别方法、系统、终端及可读存储介质
CN115171079A (zh) * 2022-09-08 2022-10-11 松立控股集团股份有限公司 一种基于夜间场景的车辆检测方法
CN115171079B (zh) * 2022-09-08 2023-04-07 松立控股集团股份有限公司 一种基于夜间场景的车辆检测方法

Also Published As

Publication number Publication date
CN113269119B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111612008B (zh) 基于卷积网络的图像分割方法
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
Nandi et al. Traffic sign detection based on color segmentation of obscure image candidates: a comprehensive study
CN111368600A (zh) 遥感图像目标检测识别方法、装置、可读存储介质及设备
CN114118124B (zh) 图像检测方法和装置
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN115272330B (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
Xing et al. Traffic sign recognition using guided image filtering
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN114821665A (zh) 一种基于卷积神经网络的城市人流小目标检测方法
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114049572A (zh) 识别小目标的检测方法
Singh et al. Semantic segmentation using deep convolutional neural network: A review
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant