CN112288701A - 一种智慧交通图像检测方法 - Google Patents

一种智慧交通图像检测方法 Download PDF

Info

Publication number
CN112288701A
CN112288701A CN202011147625.2A CN202011147625A CN112288701A CN 112288701 A CN112288701 A CN 112288701A CN 202011147625 A CN202011147625 A CN 202011147625A CN 112288701 A CN112288701 A CN 112288701A
Authority
CN
China
Prior art keywords
network
traffic image
feature
module
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011147625.2A
Other languages
English (en)
Inventor
刘晨
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Cresun Innovation Technology Co Ltd
Original Assignee
Xian Cresun Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Cresun Innovation Technology Co Ltd filed Critical Xian Cresun Innovation Technology Co Ltd
Priority to CN202011147625.2A priority Critical patent/CN112288701A/zh
Publication of CN112288701A publication Critical patent/CN112288701A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种智慧交通图像检测方法，包括：获取待检测的目标交通图像；输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到至少四个不同尺度的特征图；利用FPN网络进行特征融合，得到各尺度对应的预测结果；将所有预测结果经由分类网络和非极大值抑制模块进行处理得到包括目标的位置和类别的检测结果，输出检测结果。本发明采用密集连接形式的主干网络，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，在进行交通图像检测时能够提高检测精度。复用浅层网络的特征图参数能够减少参数的数量以及运算量。增加细粒度的特征提取尺度，能检测交通图像中更小物体。

Description

一种智慧交通图像检测方法
技术领域
本发明属于图像处理领域，具体涉及一种智慧交通图像检测方法、装置、电子设备及存储介质。
背景技术
目前，随着交通复杂化，对路面状况的检测变得十分重要。对于行驶在路面上的驾驶员来说，期望了解到路面上的车辆、行人、障碍物等的分布情况，以进行路线规划及安全避让。
现有的目标检测技术可以通过图像处理，识别其中物体的种类和位置。但在实际情况中，路面上往往存在一些标识牌、消防栓、小动物等，由于它们体积较小，进行目标检测的准确性并不高。如果将现有的目标检测技术直接应用于交通图像检测，可能由于小目标的检测准确率差导致出现交通安全问题。
因此，如何提出一种能够针对小目标的高精度交通图像检测方法以供驾驶员进行安全驾驶，是一个亟待解决的问题。
发明内容
为了提出一种能够针对小目标的高精度交通图像检测方法以供驾驶员进行安全驾驶，本发明实施例提供了一种智慧交通图像检测方法、装置、电子设备及存储介质。
具体技术方案如下：
第一方面，本发明实施例提供了一种智慧交通图像检测方法，包括：
获取待检测的目标交通图像；所述目标交通图像中含有至少一个目标；
将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
输出所述检测结果。
其中，所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。
可选的，所述密集连接形式的主干网络包括多个间隔串接的密集连接模块和过渡模块；所述密集连接模块的数量为y个；所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块包括串行连接的卷积层、BN层、Leaky relu层；所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；其中，y和m为大于等于4的自然数；y大于等于x。
所述得到x个不同尺度的特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
可选的，所述过渡模块包括所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的特征图和所述最大池化层输出的特征图采用级联方式融合。
可选的，所述过渡模块包括的所述卷积网络模块的数量为两个或三个，且各个卷积网络模块之间采用串接方式。
可选的，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与所述x个特征图的尺度一一对应；
所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：
预测支路Yi从所述x个特征图中，获取对应尺度的特征图作为所述预测支路Yi的待融合特征图Fi；其中，i＝2、3，…，x；
并且获取预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到所述预测支路Yi的待融合特征图Fi-1；
将所述待融合特征图Fi和所述待融合特征图Fi-1进行级联融合；
其中，所述卷积网络模块组包括k个卷积网络模块，k为自然数；每一预测支路均含有所述卷积网络模块组，预测支路Yi的所述卷积网络模块组设置于该预测支路的级联融合处理之后。
可选的，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与所述x个特征图的尺度一一对应；
所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：
改进所述FPN网络，得到改进型FPN网络；
利用所述改进型FPN网络，采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合。
可选的，所述采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合，包括：
针对预测支路Yi，从所述x个特征图中，获取对应尺度的特征图并进行卷积处理，将卷积处理后的特征图，与预测支路Yi-1～Y1分别经上采样处理后的特征图进行级联融合；其中，预测支路Yi-j的上采样倍数为2j；i＝2、3，…，x；j为小于i的自然数。
第二方面，本发明实施例提供了一种智慧交通图像检测装置，包括：
获取模块，用于获取待检测的目标交通图像；所述目标交通图像中含有至少一个目标；
特征提取模块，用于将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
特征融合模块，用于将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
分类及NMS模块，用于将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
输出模块，用于输出所述检测结果。
其中，所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任意一种智慧交通图像检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任意一种智慧交通图像检测方法的步骤。
本发明实施例提供的方案中，一方面采用密集连接形式的主干网络，该主干网络中的特征融合方式采用级联方式，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，因此在进行交通图像的目标位置和类别检测时，能够提高检测精度。并且，通过复用浅层网络的特征图参数能够减少参数的数量以及运算量。另一方面增加细粒度的特征提取尺度，能够检测更小的物体，提升交通图像中小目标的检测精度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种智慧交通图像检测方法的流程示意图；
图2为本发明实施例所提供的交通图像检测网络的结构示意图；
图3为本发明实施例所提供的一种过渡模块的结构示意图；
图4为本发明实施例所提供的一种改进FPN网络后的交通图像检测网络的结构示意图；
图5为本发明实施例所提供的一种智慧交通图像检测装置的结构示意图；
图6为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了提出一种能够针对小目标的高精度交通图像检测方法以供驾驶员进行安全驾驶，本发明实施例提供了一种智慧交通图像检测方法、装置、电子设备及存储介质。
需要说明的是，本发明实施例所提供的一种智慧交通图像检测方法的执行主体可以为一种智慧交通图像检测装置，该智慧交通图像检测装置可以运行于电子设备中。其中，该电子设备可以为设置于车辆内的设备，当然并不局限于此。
第一方面，本发明实施例提供一种智慧交通图像检测方法。下面，首先对该智慧交通图像检测方法进行介绍。
如图1所示，本发明实施例所提供的一种智慧交通图像检测方法，可以包括如下步骤：
S1，获取待检测的目标交通图像；
所述目标交通图像中含有至少一个目标；所述目标为所述目标交通图像中的物体，如人、车等。
目标交通图像为图像端的图像采集设备针对道路区域拍摄的图像。
图像采集设备可以是通过车联网技术与当前车辆通信连接的其余车辆、行人、路面设施、服务平台等。比如可以为路边的路灯杆、天桥等位置较高的路面设施，也可以为无人机等飞行设备。
图像采集设备可以包括摄像头、摄像机、照相机、手机等等；可选的实施方式中，图像采集设备可以为高分辨率摄像头。
图像采集设备可以以一定的时间间隔不断采集对应区域的道路图像，比如以30fps的速率进行拍摄，并将采集到的道路图像传输给对应的车辆。当然，所述时间间隔也可以根据道路上物体的密集程度或者根据需求进行调整。
车联网中的一大问题就是超视距问题。由于在路面行驶过程中，行驶者的视距有限，无法用肉眼观测到超过视距范围的道路状况，尤其在前方有大型车辆、交叉路口等情形，视距更加受限。但是为了增加对路况的了解，车联网要解决超视距的问题，使得行驶者能够获得视距之外的路况信息，及早的调整行驶计划。通过设置于距离当前车辆很远的图像采集设备不断采集目标交通图像，如果这些目标交通图像能够得到有效检测，势必能够为当前车辆解决上述超视距问题，为行驶者带来极大的便利。
本发明实施例中，要求待检测的目标交通图像的尺寸为416×416×3。
因此，在该步骤，一种实施方式中，可以直接获得416×416×3尺寸的目标交通图像；另一种实施方式中，可以获得任意尺寸的图像，将获得的图像经过一定的尺寸缩放处理，得到416×416×3尺寸的目标交通图像。
并且，在上述两种实施方式中，还可以对获取到的图像可以进行裁剪、拼接、平滑、滤波、边缘填充等图像增强操作，以增强图像中感兴趣的特征，扩展数据集的泛化能力。
S2，将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
为了便于理解本发明实施例的交通图像检测方法的具体实施步骤，以下首先对交通图像检测网络的结构进行说明，请参见图2，图2为本发明实施例所提供的交通图像检测网络的结构示意图。
在图2中，虚线框内的部分为交通图像检测网络。所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。关于训练过程在后文中予以介绍。
图2中点划线框内的部分为所述密集连接形式的主干网络，用于特征提取。
示例性地，所述密集连接形式的主干网络包括多个间隔串接的密集连接模块和过渡模块；密集连接模块在图2中以denm表示。所述密集连接模块的数量为y个；y为大于等于4的自然数，且y大于等于x，在图2中以y＝5进行示例。
所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块在图2中以CBL表示，所述密集连接单元组在图2中以den unit*m表示，m为大于等于4的自然数。所述卷积网络模块包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(Batch Normalization，批量归一化)层和Leaky relu层(Leaky relu为一种激活函数)，CBL即表示conv+BN+Leakyrelu。
所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；级联方式在图2中以concat表示。级联融合以concat表示，concat为concatenate的简称。
相应的，针对S2步骤中的所述得到x个不同尺度的特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
参见图2理解，图2中以y＝5，x＝4进行示例。主干网络利用密集连接模块+过渡模块的形式对输入的目标交通图像(图2中简称为图像)进行由浅至深的特征提取，在其中4个密集连接模块之后输出提取到的特征图。即沿输入逆向的第一个至第四个密集连接模块denm分别输出对应的特征图，这些特征图的尺度依次增大。具体的，各个特征图的尺度分别为13×13×72、26×26×72、52×52×72、104×104×72。
本发明实施例采用密集连接方式的主干网络，可以确保信息以最大程度在网络中各层之间流动，将所有层(具有匹配的特征图大小)彼此直接连接。针对每个层，将它之前层的所有特征图用作它的输入，将它本身的特征图用作它所有后续层的输入，也就是特征融合采用级联方式(也称为串联方式)。因此，相比于一些现有技术使用残差模块，利用并联形式进行特征融合，本发明实施例采用密集连接模块，获得的特征图的信息量更多，在进行交通路面上的目标检测时，能够增强特征传播，提高检测精度。同时，因为它不需要重新学习冗余的特征图，可以大大减小参数数量，减少计算量，还可以减轻梯度消失问题。并且，本发明实施将特征图由浅到深进行传递，提取至少四个尺度的特征图，能够让网络能够检测不同尺度的物体，即增加有细粒度的特征提取尺度。可以使得在后续目标检测时，针对小目标能够提高检测精度。本发明实施例中的小目标不局限于路面上本身体积较小的物体，如标志牌、小障碍物、小动物等，还包括由于拍摄距离远导致图像中面积较小的物体。
可选的，对于加入的密集连接模块之间可以设置过渡模块，以对密集连接的特征图进行调整。
可选的第一种实施方式中，所述过渡模块为所述卷积网络模块。也就是使用CBL模块作为过渡模块。该网络搭建过程会较为快速，所得到的网络结构较为简单。但这样的过渡模块仅使用卷积层进行过渡，即直接通过增加步长来对特征图进行降维，这样做只能照顾到局部区域特征，而不能结合整张图的信息，因此会使得特征图中的信息丢失较多。
可选的第二种实施方式中，所述过渡模块包括所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的特征图和所述最大池化层输出的特征图采用级联方式融合。该种实施方式中过渡模块的结构请参见图3，图3为本发明实施例所提供的一种过渡模块的结构示意图。该种实施方式中，用tran模块表示该种过渡模块，MP层为最大池化层(Maxpool，缩写MP，含义为最大池化)。进一步的，MP层的步长可以选择为2。在该种实施方式中，引入的MP层可以以较大的感受野对特征图进行降维；使用的参数比较少，因此不会过多地增加计算量，可以减弱过拟合的可能，提高网络模型的泛化能力；并且结合原有的CBL模块，可以看做从不同的感受野对特征图进行降维，因此可以保留更多信息。
针对上述第二种实施方式，可选的，所述过渡模块包括的所述卷积网络模块的数量为两个或三个，且各个卷积网络模块之间采用串接方式。相比于使用一个卷积网络模块，采用串接的两个或三个卷积网络模块，能够增加模型的复杂度，充分提取特征。
S3，将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
参见图2，除密集连接形式的主干网络、分类网络和非极大值抑制模块之外的其余部分为FPN(FeaturePyramidNetworks，特征金字塔网络)网络，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与所述x个特征图的尺度一一对应；参见图2，即四个预测支路的尺度分别与沿输入逆向的4个密集连接模块分别输出的特征图的尺度一一对应。
针对将所述x个不同尺度的特征图利用FPN网络进行特征融合：
一种实施方式中，所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：
预测支路Yi从所述x个特征图中，获取对应尺度的特征图作为所述预测支路Yi的待融合特征图Fi；其中，i＝2、3，…，x；
并且获取预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到所述预测支路Yi的待融合特征图Fi-1；
将所述待融合特征图Fi和所述待融合特征图Fi-1进行级联融合；
其中，所述卷积网络模块组包括k个卷积网络模块，k为自然数；每一预测支路均含有所述卷积网络模块组，预测支路Yi的所述卷积网络模块组设置于该预测支路的级联融合处理之后。
参见图2进行理解，预测支路Y1直接获取对应尺度的特征图，即沿输入逆向的第一个密集连接模块输出的特征图，并将其经卷积网络模块组(以CBL*k表示)进行卷积处理以进行本预测支路的后续处理。
从预测支路Y2开始，每个预测支路Yi均获取两方面的特征图进行特征融合，一方面是：从所述x个特征图中，获取对应尺度的特征图作为所述预测支路Yi的待融合特征图Fi；针对预测支路Y2，即获取沿输入逆向的第二个密集连接模块输出的特征图作为其待融合特征图F2；另一方面是：获取相邻的尺度较小的预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到所述预测支路Yi的待融合特征图Fi-1；针对预测支路Y2，即获取预测支路Y1中经卷积网络模块组CBL*k输出的特征图，并进行卷积(CBL模块)和上采样(US模块，US为up sampling简称，原意上采样)处理，得到该预测支路的待融合特征图F1；
然后，预测支路Yi将所述待融合特征图Fi和所述待融合特征图Fi-1进行级联融合；针对预测支路Y2，即将待融合特征图F2和待融合特征图F1进行级联融合。参见图2可以理解，预测支路Y2级联融合后的特征图会经过卷积网络模块组CBL*k处理，输出的特征图一方面用于本预测支路后续的目标预测，另一方面会进行卷积和上采样处理以用于给预测支路Y3进行特征级联融合；
关于其余预测支路的特征融合过程与预测支路Y2类似，在此不再赘述。
在该实施方式中，特征融合结合横向方式与自顶向下方式，在这种方式中，尺度较小的预测支路的特征图会经由相邻的尺度较大的预测支路处理后向下传递自身的特征。
另一种实施方式中，所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：改进所述FPN网络，得到改进型FPN网络；利用所述改进型FPN网络，采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合。
在该种实施方式中，首先对原有的FPN网络进行了改进，改变其网络连接形式以改变特征融合方式得到改进型FPN网络，主旨是特征融合结合横向方式与自顶向下密集连接方式，在这种方式中，自顶向下的方式变成了尺度较小的预测支路的特征图直接向每一个尺度较大的预测支路传递自身的特征。
具体的，所述采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合，包括：
针对预测支路Yi，从所述x个特征图中，获取对应尺度的特征图并进行卷积处理，将卷积处理后的特征图，与预测支路Yi-1～Y1分别经上采样处理后的特征图进行级联融合；其中，预测支路Yi-j的上采样倍数为2j；i＝2、3，…，x；j为小于i的自然数。
参见图4进行理解，图4为本发明实施例所提供的一种改进FPN网络后的交通图像检测网络的结构示意图；以i＝3也就是预测支路Y3为例说明，其进行级联融合处理的特征图来源于三方面：第一方面，是从4个特征图中，获取对应尺度的特征图并进行卷积处理，也就是沿输入逆向的第三个密集连接模块输出的特征图经CBL模块后的特征图，该特征图也可以理解为经过1倍上采样，尺寸是52×52×72；第二方面来源于预测支路Y2(即Yi-1＝Y2)，即沿输入逆向的第二个密集连接模块输出的特征图(尺寸是26×26×72)经过预测支路Y2的CBL模块再经21＝2倍上采样处理后的特征图(尺寸是52×52×72)；第三方面来源于预测支路Y1(即Yi-2＝Y1)，即沿输入逆向的第一个密集连接模块输出的特征图(尺寸是13×13×72)经预测支路Y1的CBL模块后再经22＝4倍上采样处理后的特征图(尺寸是52×52×72)；那么，本领域技术人员可以理解的是，上述过程将密集连接形式的主干网络输出的三个不同尺度的特征图经过不同倍数的上采样处理后，可以使得待级联融合的三个特征图的尺寸一致，均为52×52×72。这样，预测支路Y3可以在级联融合之后，继续进行卷积等处理，得到预测结果Y3，Y3尺寸为52×52×72。
关于其余预测支路的特征融合过程，请参见预测支路Y3，在此不再赘述。而针对预测支路Y1，其获取沿输入逆向的第一个密集连接模块输出的特征图后自行进行卷积等后续的预测过程，不接受其余预测支路的特征图与之融合。
特征融合的第一种实施方式中，使用的是先将深层和较浅层网络特征相加，再一起进行上采样的方法，这种方法在将特征相加后，要通过卷积层提取特征图，这样的操作会破坏一些原始的特征信息。而在特征融合的第二种实施方式中，将特征融合方式变为了密集的融合方法，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸。将这些特征图和浅层的特征图通过串联的方式融合起来，对融合的结果再次提取特征来消除里面的噪声，保留主要信息，然后进行预测，这样可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与。因此，这样可以发挥密集连接网络保留更多特征图原始语义特征的优势，只不过对于自顶向下的方法来讲，保留的原始语义是更加高维的语义信息，这样可以对于物体的分类有帮助。通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效地减少特征的损失，并且可以减少需要运算的参数量，加速预测过程。
在该步骤中，主要针对特征融合方式进行介绍，各预测支路在特征融合之后主要是利用一些卷积操作进行预测，关于如何获取各自的预测结果请参见相关的现有技术，在此不进行说明。各预测支路的预测结果分别为Y1～Y4，尺寸在名称之下标识，具体请参见图2或图4的网络结构进行理解。
S4，将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
针对每一目标，检测结果的形式为一向量，包含预测框的位置、预测框内车辆的置信度、预测框内目标的类别。预测框的位置用来表征目标在所述目标交通图像中的位置；具体的，每个预测框的位置用bx,by,bw,bh四个值表示，bx,by用于表示预测框的中心点位置，bw,bh为用于表示预测框的宽和高。
目标的类别为目标所属物体的种类，比如人、动物、车辆、标志牌等等。
可选的，所述分类网络包括SoftMax分类器，目的是实现多个车辆类别互斥的分类。所述分类网络也可以用logistic回归进行分类，以实现多个独立的二分类。
非极大值抑制模块用于进行NMS(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个检测框中，排除置信度相对较小的检测框。
关于分类网络和非极大值抑制模块的处理过程请参见相关的现有技术，在此不做赘述。
在图2或图4中，4个预测支路共输出四个尺度的特征图，分别为13×13、26×26、52×52、104×104，最小的13×13的特征图上由于其感受野最大，适合较大的目标检测；中等的26×26特征图上由于其具有中等感受野，适合检测中等大小的目标；较大的52×52特征图上由于其具有较小的感受野，适合检测较小的目标；最大的104×104特征图上由于其具有更小的感受野，故适合检测再小的目标。本发明实施例对图像的划分更加精细，预测结果对尺寸较小的物体更有针对性。
以下，对所述交通图像检测网络的训练前过程以及训练过程予以简单介绍。
首先，搭建出具体的网络结构，具体可以为如图2或者图4所示的网络结构，或者在图2中改进过渡模块形成的网络结构，或者在图4中改进过渡模块形成的网络结构。
其次，获得若干样本交通图像，以及所述样本交通图像对应目标的位置和类别。在该过程中，各样本交通图像对应目标的位置和类别是已知的，确定各样本交通图像对应目标的位置和类别的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对样本交通图像进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记，这都是合理的。其中，各样本交通图像对应目标的位置是以包含目标的目标框的形式标记的，这个目标框是真实准确的，各个目标框标记有坐标信息，以此来体现目标在图像中的位置。
再次，确定样本交通图像中的锚盒尺寸；可以包括以下步骤：
a)确定针对样本交通图像中锚盒尺寸的待聚类数量；
在目标检测领域，锚盒(anchor box)就是从训练集中真实框(ground truth)中统计或聚类得到的几个不同尺寸的框；锚盒其实就是对预测的对象范围进行约束，并加入了尺寸先验经验，从而实现多尺度学习的目的。在本发明实施例中，由于希望加入更细粒度的特征提取尺度，需要利用聚类方式对样本交通图像中已经标注好的各个目标框(也就是真实框)的尺寸进行聚类，以得到适合本发明实施例场景的合适的锚盒尺寸。
示例性的，所述确定针对样本交通图像中锚盒尺寸的待聚类数量，包括：
确定每个尺度对应的锚盒尺寸的种类数；将所述每个尺度对应的锚盒尺寸的种类数与所述x的乘积，作为所述样本交通图像中锚盒尺寸的待聚类数量。
比如，选择每个尺度对应的锚盒尺寸的种类数为3；共有4个尺度，那么，得到的所述样本交通图像中锚盒尺寸的待聚类数量＝3×4＝12。
b)获取已标注目标框尺寸的若干样本交通图像；
该步骤实际是获取样本交通图像中各个目标框的尺寸。
c)基于已标注目标框尺寸的若干样本交通图像，利用K-Means聚类方法，获得样本交通图像中锚盒尺寸的聚类结果；
具体的，可以将各个目标框的尺寸利用K-Means聚类方法进行聚类，获得锚盒尺寸的聚类结果；关于聚类过程在此不再赘述。
其中，对于不同锚盒距离的定义即为其宽高的欧式距离：
Figure BDA0002740209600000181
其中，d1,2代表两个锚盒的欧氏距离，w1，w2代表锚盒的宽，h1，h2代表锚盒的高。
针对待聚类数量为12，比如锚盒尺寸的聚类结果可以为：(13,18)、(20,27)、(26,40)、(38,35)、(36,61)、(56,45)、(52,89)、(70,61)、(85,89)、(69,155)、(127,112)、(135,220)。
针对Y1支路的锚盒尺寸：(69,155)、(127,112)、(135,220)；
针对Y2支路锚盒尺寸：(52,89)、(70,61)、(85,89)；
针对Y3支路锚盒尺寸：(38,35)、(36,61)、(56,45)；
针对Y4支路锚盒尺寸：(13,18)、(20,27)、(26,40)；
d)将所述聚类结果写入所述交通图像检测网络的配置文件中。
本领域技术人员可以理解的是，将所述聚类结果按照不同预测支路对应的锚盒尺寸，写入所述交通图像检测网络的各预测支路的配置文件中，之后可以进行网络训练。
并且由于网络训练需要使用VOC格式或者COCO格式的数据，并将标记数据存储在文本文档当中。所以需要用Python脚本进行数据集标注格式的转换。
利用各样本交通图像，以及各样本交通图像对应目标的位置和类别，训练网络，包括以下步骤：
1)将每一样本交通图像对应目标的位置和类别作为该样本交通图像对应的真值，将各样本交通图像和对应的真值，通过搭建的网络进行训练，获得各样本交通图像的训练结果。
2)将每一样本交通图像的训练结果与该样本交通图像对应的真值进行比较，得到该样本交通图像对应的输出结果。
3)根据各个样本交通图像对应的输出结果，计算网络的损失值。
4)根据所述损失值，调整网络的参数，并重新进行1)-3)步骤，直至网络的损失值达到了一定的收敛条件，也就是所述损失值达到最小，这时，意味着每一样本交通图像的训练结果与该样本交通图像对应的真值一致，从而完成网络的训练。
S5，输出所述检测结果。
可选的，所述输出所述检测结果，可以包括：在车载设备上显示所述检测结果。
具体的，可以将所述检测结果显示在车内的显示屏上，所述显示屏可以为导航装置的显示屏幕。可以直接将标注有检测结果的目标交通图像显示在车内的显示屏上，使得车内的驾驶员可以直接观察所述检测结果，以便于了解所述目标交通图像中显示的各个目标的位置和类别，从而进行路线规划，物体避让等，实现安全驾驶的目的。当然，也可以将检测结果以其他文本的形式进行显示，这都是合理的。
可选的，所述输出所述检测结果，可以包括：将所述检测结果以语音等形式进行输出，以便于驾驶员在驾驶状态，不方便观看图像的情况下，也能够较为方便地接收到检测结果，有利于安全驾驶。
可选的，所述在车载设备上显示所述检测结果，可以包括：
基于所述目标的位置和/或类别确定所述目标是否属于待提醒的小目标；
如果是，在所述车载设备上采用提醒模式显示所述检测结果；如果否，在所述车载设备上采用一般模式显示所述检测结果。
在该种实施方式中，可以针对小目标进行特别提醒，比如，根据目标的位置，可以确定目标所在的预测框的尺寸，判断一预测框的尺寸是否小于预设的预测框尺寸，如果是，则可以确定该目标属于待提醒的小目标；或者，可以提前针对目标的类别进行划分，将标志牌等一些明显属于较小的物体的类别预设为小目标类别，通过判断一目标的类别是否属于预设的小目标类别，来确定该目标是否属于待提醒的小目标，当然，为了精确确定小目标，可以结合目标的位置和类别来确定待提醒的小目标。
如果一目标属于待提醒的小目标，则可以在所述车载设备上采用提醒模式显示所述检测结果；比如在所述目标交通图像上采用颜色鲜艳的字体进行标注，或者辅以语音提示，等等。
如果一目标不属于待提醒的小目标，则可以在所述车载设备上采用一般模式显示所述检测结果，即对所有目标采用一致的模式，该模式在此不再赘述。
本发明实施例提供的方案中，一方面采用密集连接形式的主干网络，该主干网络中的特征融合方式采用级联方式，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，因此在进行交通图像的目标位置和类别检测时，能够提高检测精度。并且，通过复用浅层网络的特征图参数能够减少参数的数量以及运算量。另一方面增加细粒度的特征提取尺度，能够检测更小的物体，提升交通图像中小目标的检测精度。
可选的，如果目标类别数较少，大量的卷积层是没有必要的，这样会浪费网络资源，降低处理速度。那么，可以根据目标类别，适当减小所述交通图像检测网络每个预测支路的卷积网络模块组中的k的数值，这样可以减少卷积层的数量，在不影响网络精度的情况下，整体实现网络层数精简，提升网络处理速度。比如，一般情况下，可以选择k＝5，在需要减少卷积层数量时，可以选择k＝3等。
本发明实施例的交通图像检测网络采用密集连接方式的主干网络，加入了更细粒度的特征提取尺度，并减少了卷积层数量，对该网络进行实验测试，考察其精度、检测速度、体积等参数，记录模型文件大小，以及模型分别在服务器Tesla V100和边缘设备JetsonTX2平台上进行交通图像检测的时间。结果如下：
表1本发明实施例的交通图像检测网络的体积及其在不同平台的检测时间
Figure BDA0002740209600000221
进一步的，改变FPN网络的特征融合方式，添加了自顶向下的密集连接特征融合方法的多尺度特征融合网络当中，多尺度的优势体现的更为明显，这可能是因为由于密集连接的特征融合方法当中，保留了比横向连接更多的高维度抽象语义信息，让模型对于物体的判别更加清晰。改变融合方式之后的网络精度mAP(Mean Average Precision，均值平均精度)，比原先的交通图像检测网络提升了18.2％，loss曲线也比先前出现了一些降低。可以得出，融合方式的改进对于网络精度的提升十分明显。但从网络体积和检测时间可以看出，改变特征融合方式后该这两方面性能并不理想，因此，在需要大幅提升精度但不考虑网络体积和检测时间的情况下，仍可以使用该特征融合的改进方案来提升检测精度。
可选的，为了提高检测速度，可以对前述的交通图像检测网络进行一些减小网络体积的处理。比如剪枝处理。一种可选的实施方式中可以采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成新的网络以部署在对检测实时性要求高的车载设备上。
第二方面，相应于上述方法实施例，本发明实施例提出了一种智慧交通图像检测装置，参见图5，图5包括：
获取模块501，用于获取待检测的目标交通图像；所述目标交通图像中含有至少一个目标；
特征提取模块502，用于将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
特征融合模块503，用于将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
分类及NMS模块504，用于将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
输出模块505，用于输出所述检测结果。
其中，所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。
关于具体内容请参见第一方面所述的交通图像检测方法的内容，在此不再赘述。
本发明实施例提供的方案中，一方面采用密集连接形式的主干网络，该主干网络中的特征融合方式采用级联方式，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，因此在进行交通图像的目标位置和类别检测时，能够提高检测精度。并且，通过复用浅层网络的特征图参数能够减少参数的数量以及运算量。另一方面增加细粒度的特征提取尺度，能够检测更小的物体，提升交通图像中小目标的检测精度。
第三方面，相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现前述任意一种智慧交通图像检测方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：一方面采用密集连接形式的主干网络，该主干网络中的特征融合方式采用级联方式，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，因此在进行交通图像的目标位置和类别检测时，能够提高检测精度。并且，通过复用浅层网络的特征图参数能够减少参数的数量以及运算量。另一方面增加细粒度的特征提取尺度，能够检测更小的物体，提升交通图像中小目标的检测精度。
第四方面，相应于上述实施例所提供的交通图像检测方法，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前述任意一种智慧交通图像检测方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的目标检测方法的应用程序，因此能够实现：一方面采用密集连接形式的主干网络，该主干网络中的特征融合方式采用级联方式，能够直接将早期的特征图作为后面每一层的输入，获得的特征图的信息量更多，强化了特征的传递，因此在进行交通图像的目标位置和类别检测时，能够提高检测精度。并且，通过复用浅层网络的特征图参数能够减少参数的数量以及运算量。另一方面增加细粒度的特征提取尺度，能够检测更小的物体，提升交通图像中小目标的检测精度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种智慧交通图像检测方法，其特征在于，包括：
获取待检测的目标交通图像；所述目标交通图像中含有至少一个目标；
将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
输出所述检测结果。
其中，所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述密集连接形式的主干网络包括多个间隔串接的密集连接模块和过渡模块；所述密集连接模块的数量为y个；所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块包括串行连接的卷积层、BN层、Leaky relu层；所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；其中，y和m为大于等于4的自然数；y大于等于x。
所述得到x个不同尺度的特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
3.根据权利要求2所述的方法，其特征在于，所述过渡模块包括所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的特征图和所述最大池化层输出的特征图采用级联方式融合。
4.根据权利要求3所述的方法，其特征在于，所述过渡模块包括的所述卷积网络模块的数量为两个或三个，且各个卷积网络模块之间采用串接方式。
5.根据权利要求2所述的方法，其特征在于，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与所述x个特征图的尺度一一对应；
所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：
预测支路Yi从所述x个特征图中，获取对应尺度的特征图作为所述预测支路Yi的待融合特征图Fi；其中，i＝2、3，…，x；
并且获取预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到所述预测支路Yi的待融合特征图Fi-1；
将所述待融合特征图Fi和所述待融合特征图Fi-1进行级联融合；
其中，所述卷积网络模块组包括k个卷积网络模块，k为自然数；每一预测支路均含有所述卷积网络模块组，预测支路Yi的所述卷积网络模块组设置于该预测支路的级联融合处理之后。
6.根据权利要求2所述的方法，其特征在于，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与所述x个特征图的尺度一一对应；
所述将所述x个不同尺度的特征图利用FPN网络进行特征融合，包括：
改进所述FPN网络，得到改进型FPN网络；
利用所述改进型FPN网络，采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合。
7.根据权利要求6所述的方法，其特征在于，所述采用自顶向下、密集连接的方式将所述x个不同尺度的特征图进行特征融合，包括：
针对预测支路Yi，从所述x个特征图中，获取对应尺度的特征图并进行卷积处理，将卷积处理后的特征图，与预测支路Yi-1～Y1分别经上采样处理后的特征图进行级联融合；其中，预测支路Yi-j的上采样倍数为2j；i＝2、3，…，x；j为小于i的自然数。
8.一种智慧交通图像检测装置，其特征在于，包括：
获取模块，用于获取待检测的目标交通图像；所述目标交通图像中含有至少一个目标；
特征提取模块，用于将所述目标交通图像输入预先训练得到的交通图像检测网络中，利用密集连接形式的主干网络进行特征提取，得到x个不同尺度的特征图；x为大于等于4的自然数；
特征融合模块，用于将所述x个不同尺度的特征图利用FPN网络进行特征融合，得到各尺度对应的预测结果；
分类及NMS模块，用于将所有预测结果经由分类网络和非极大值抑制模块进行处理，得到所述目标交通图像的检测结果，所述检测结果包括目标的位置和类别；
输出模块，用于输出所述检测结果。
其中，所述交通图像检测网络包括密集连接形式的主干网络、FPN网络、分类网络和非极大值抑制模块；所述交通图像检测网络是根据样本交通图像，以及所述样本交通图像对应目标的位置和类别训练得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202011147625.2A 2020-10-23 2020-10-23 一种智慧交通图像检测方法 Withdrawn CN112288701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147625.2A CN112288701A (zh) 2020-10-23 2020-10-23 一种智慧交通图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147625.2A CN112288701A (zh) 2020-10-23 2020-10-23 一种智慧交通图像检测方法

Publications (1)

Publication Number Publication Date
CN112288701A true CN112288701A (zh) 2021-01-29

Family

ID=74424227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147625.2A Withdrawn CN112288701A (zh) 2020-10-23 2020-10-23 一种智慧交通图像检测方法

Country Status (1)

Country Link
CN (1) CN112288701A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094422A (zh) * 2021-03-12 2021-07-09 中山大学 一种城市道路交通流量图生成方法、系统及设备
CN114495042A (zh) * 2022-01-27 2022-05-13 北京百度网讯科技有限公司 目标检测方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094422A (zh) * 2021-03-12 2021-07-09 中山大学 一种城市道路交通流量图生成方法、系统及设备
CN113094422B (zh) * 2021-03-12 2023-07-07 中山大学 一种城市道路交通流量图生成方法、系统及设备
CN114495042A (zh) * 2022-01-27 2022-05-13 北京百度网讯科技有限公司 目标检测方法和装置
CN114495042B (zh) * 2022-01-27 2023-08-29 北京百度网讯科技有限公司 目标检测方法和装置

Similar Documents

Publication Publication Date Title
CN112380921A (zh) 一种基于车联网的道路检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
US20180114071A1 (en) Method for analysing media content
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
CN110674688B (zh) 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN112364721A (zh) 一种道面异物检测方法
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN112464717A (zh) 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN112288701A (zh) 一种智慧交通图像检测方法
CN112395953A (zh) 一种道面异物检测系统
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
WO2022205329A1 (zh) 对象检测方法、对象检测装置及对象检测系统
CN112364864A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
CN113673369A (zh) 遥感图像场景规划方法、装置、电子设备和存储介质
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129