CN114627437A - 一种交通目标识别方法及系统 - Google Patents
一种交通目标识别方法及系统 Download PDFInfo
- Publication number
- CN114627437A CN114627437A CN202210525592.3A CN202210525592A CN114627437A CN 114627437 A CN114627437 A CN 114627437A CN 202210525592 A CN202210525592 A CN 202210525592A CN 114627437 A CN114627437 A CN 114627437A
- Authority
- CN
- China
- Prior art keywords
- network
- target
- image
- detection
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 173
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种交通目标识别方法及系统,涉及图像识别领域,包括:采用弱监督深度卷积神经网络对无标注图像特征提取,将获得的检测结果作为伪检测标注,基于伪检测标注与采用选择性搜索方法对无标注图像提取的多个候选框的并交比,将并交比作为对应候选框的得分,构建区域得分标注集合,采用区域得分标注集合训练得到区域评估网络,训练基于区域评估网络的目标检测网络,以目标检测网中区域生成网络输出的候选框的得分的平均分对预测位置和伪检测标注的损失函数进行加权,从而进行损失优化和网络更新,获得训练好的目标检测网络,实现了采用非检测框的标注的数据集训练深度神经网络的方法,提高了目标检测模型的训练效率。
Description
技术领域
本发明涉及图像识别技术领域,特别是涉及一种交通目标识别方法及系统。
背景技术
在真实智慧交通场景中,通过监控摄像头获取到的图像通常缺少人工标注,不能直接用于训练交通目标检测模型对图像中包含的目标(行人、机动车等)进行识别和定位,目标检测器训练效率低。
发明内容
本发明的目的是提供一种交通目标识别方法及系统,获得采用非检测框的标注的数据集训练深度神经网络获得交通目标检测模型的方法,提高了交通目标检测模型的训练效率。
为实现上述目的,本发明提供了如下方案:
一种交通目标识别方法,包括:
采用弱监督深度卷积神经网对无标注图像进行特征提取,将获得的检测结果作为伪检测标注;
采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合;
构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分;
采用区域得分标注集合训练所述回归网络获得区域评估网络;
构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分;
采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新;
采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
可选地,所述弱监督深度卷积神经网络包括弱监督目标检测器WSDDN和弱监督目标检测器OICR。
可选地,所述目标检测网络基于Faster RCNN网络构建。
可选地,所述损失函数为SmoothL1函数。
可选地,所述采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注之前,还包括:
将交通监控摄像头获取到图像作为无标注图像。
本发明还公开了一种交通目标识别系统,包括:
伪检测标注获得模块,用于采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注;
区域得分标注集合确定模块,用于采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合;
回归网络构建模块,用于构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分;
区域评估网络确定模块,用于采用区域得分标注集合训练所述回归网络获得区域评估网络;
目标检测网络构建模块,用于构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分;
目标检测模型确定模块,用于采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新;
目标检测模型应用模块,用于采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
可选地,所述弱监督深度卷积神经网络包括弱监督目标检测器WSDDN和弱监督目标检测器OICR。
可选地,所述目标检测网络基于Faster RCNN网络构建。
可选地,所述损失函数为SmoothL1函数。
可选地,还包括:
无标注图像获得模块,用于将交通监控摄像头获取到图像作为无标注图像。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种交通目标识别方法,采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注,基于伪检测标注与采用选择性搜索方法对无标注图像提取的多个候选框的并交比,将归一化后的并交比作为对应候选框的得分,构建区域得分标注集合,区域得分标注集合中包括多个候选框区域图像和各候选框对应的得分,采用区域得分标注集合训练得到区域评估网络,训练基于区域评估网络的目标检测网络,以目标检测网中区域生成网络输出的候选框的得分的平均分对预测位置和伪检测标注的损失函数进行加权,从而进行损失优化和网络参数更新,获得训练好的目标检测网络,即目标检测模型,实现了采用非检测框的标注的数据集训练深度神经网络获得交通目标检测模型的方法,提高了交通目标检测模型的训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种交通目标识别方法流程示意图;
图2为本发明目标检测网络训练原理示意图;
图3为本发明回归网络结构示意图;
图4为本发明一种交通目标识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种交通目标识别方法及系统,获得采用非检测框的标注的数据集训练深度神经网络获得交通目标检测模型的方法,提高了交通目标检测模型的训练效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明一种交通目标识别方法为一种基于区域评估网络的弱监督方法,用于在智慧交通场景下的交通目标定位和识别。真实智慧交通场景中,通过监控摄像头获取到的图像通常缺少人工标注,不能直接用于训练交通目标检测模型对图像中包含的目标(行人、机动车等)进行识别和定位。本发明基于该实际应用问题,提出了一种可以使用图像级别的标注(即有图像类别标注而没有检测框的标注),训练深度神经网络获得交通目标检测器的方法。
本发明提出了一种区域评估网络,区域评估网络通过使用大量的预生成的区域候选框进行训练,实现对预期候选框的打分,再通过得分优化目标检测网络的权重。在此基础上,本发明进一步提出了一种弱监督(无需使用图像框标注,仅需图像类别标注)的深度神经网络目标检测方法,结合区域评估网络在仅存在图像类别信息标注的情况下训练深度目标检测模型,实现在真实智慧交通场景下的交通目标的定位和识别。本发明提出的区域评估网络分为两个阶段:第一阶段,本发明使用常用的弱监督目标检测框架得到初步检测结果,作为伪检测标注;第二阶段,本发明选用部分图像及其未检测标注,使用选择性搜索提取图像中的物体候选框,采用卷积神经网络提取图像特征,将特征通过全连接层进行分类和打分,训练后得到一个可以对检测框进行打分的区域评估网络,其中模型训练需要的分数标签,分数标签由候选框与伪检测标注的交并比的计算得到。本发明提出的基于区域评估网络的弱监督目标检测分为三个阶段,第一阶段和第二阶段训练得到一个可以给区域打分的区域评估网络,第三阶段,使用第一阶段生成的伪检测标注作为监督信息,训练一个强监督目标检测网络,采用第二阶段生成好的区域生成网络评估强监督目标检测网络中间生成的候选框,并依据评估结果对区域生成网络进行优化,最终得到目标检测器(目标检测模型)。
图1为本发明一种交通目标识别方法流程示意图,如图1所示,一种交通目标识别方法,包括:
步骤101:采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注。
无标注图像为没有检测框的标注的图像。
伪检测标注包括伪检测定位标注{y l ,x}和类别标注{y c ,x},其中y l = ,y l 由四个元素组成,检测框左上角的坐标{},表示检测框的宽,表示检测框的高。x表示无标注图像,y c 表示图像类别。
y c =1表示图像x中包含目标物体,例如汽车。
其中步骤101之前,还包括:
将交通监控摄像头获取到交通目标图像作为无标注图像。
弱监督深度卷积神经网络使用通用的已开源的弱监督深度卷积神经网络,例如基于深度网络的弱监督目标检测器WSDDN和基于实例生成的深度弱监督目标检测器OICR。
步骤102:采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合。
区域得分标注集合中包括大量候选框和候选框对应得分。
选择性搜索方法为经典的、已开源的“选择性搜索”方法。采用选择性搜索方法对无标注图像提取大量候选框(候选矩形框)。
两个矩形的交并比等于两个矩形重叠部分的面积比上两个矩形合并起来的面积,一般用来表征两个矩形的重叠程度。
其中,步骤102具体包括:k为0.7,将大于或等于阈值k的得分归一化到0~1。使用选择性搜索方法,得到图像中可能含有目标物体(如汽车)的若干个的候选框{y l’,x},y l’表示候选框的位置,将每个候选框与伪检测定位标注{y l ,x}求交并比,删去所有得分小于k的得分及对应候选框,得到一个得分范围为k~1的候选框区域图像及分数{s,y l’},s表示候选框y l’的分数。
将{s,y l’}采用公式s*=(s-min(S))/(max(S)-min(S))进行归一化操作,S表示分数s的集合。
得到的区域得分标注集合中元素为{s*,y l’}。
步骤103:构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分。
回归网络的结构如图3所示。
其中,步骤103中卷积神经网络为通用的卷积神经网络,例如VGG16和ResNet。将卷积神经网络的最后一个分类层进行改造,对于最后一层的全连接特征。
步骤104:采用区域得分标注集合训练所述回归网络获得区域评估网络。
回归网络训练时,将候选框图像y l’由RGB域转化伪灰度图像输入回归网络。如图3所示,使用动态(自适应)Smooth L1损失与交叉熵损失来优化区域评估网络的回归分支;动态Smooth L1损失在处理与标注距离较远或较近的数据点更有效,根据预测得分与相应得分标注之间的差异动态调整约束的强度。降低了与标注距离较远的损失,扩大了接近标注时的损失。这种动态调整的损失使网络训练更稳定而且预测得分更准确。
假设P X表示图像x被预测为目标类别的概率,Q X为图像x的真实类别标签,则交叉熵函数可以定义为L=-[Q Xlog(P X)+(1-Q X)log(1-P X)]。
动态SmoothL1损失旨在处理可能远离或接近真实值的数据点。它根据预测得分与相应伪标签之间的差异动态调整约束的强度;s p为分数回归分支预测的分数,动态SmoothL1损失表示如下:
假设回归网络输入的候选区域是I i,用p(I i)表示分类分支对输入区域的预测类别,则回归网络的损失函数表示为:
其中,β表示超参数,β=0.5。
本发明仅考虑针对单类目标的检测,则对于类别的预测仅存在正例和负例两种情况,当候选区域的标签是正例时,y c =1,反之y c =0;当该回归网络训练完成,当输入为交通监控摄像头获取到的图像的碎片或者随机区域时,区域评估网络可识别该区域中是否包含目标物体(如汽车)以及该区域的评分。
对回归网络训练后,获得一个通用的可以对检测框进行打分的区域评估网络。
步骤105:构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分。
目标检测网络结构如图2所示。
所述目标检测网络基于Faster RCNN网络构建。目标检测网络使用卷积神经网络进行特征提取,再经过区域生成网络生成候选特征区域,并且使用感兴趣区域池化对生成的特征区域确定候选框。得到的区域特征会通过全连接层进一步输入到两个分支,一个用于特征框的回归,一个用于候选框的物体分类(区域分类分支)。
步骤106:采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新。
交通目标图像为包含行人、自行车或机动车的图像。
训练集中图像的类别是已知的,图像的类别包括行人、自行车和机动车。
伪检测标注为训练集中图像采用弱监督深度卷积神经网络获得的伪检测标注。
目标检测网络以监控摄像头获取到的交通目标图像数据以及对应的伪检测标注作为训练数据。
所述损失函数为SmoothL1函数。
目标检测网络的训练的主要目的是对区域生成网络进行优化,得到更精确的预测区域。
目标检测网络将得分大于阈值a的目标候选框保留,使用非极大值抑制得到最后的目标检测框。目标检测框中包含了左上和右下的xy坐标,也就是说得到了目标检测框就是实现定位,定位的目的就是得到这个目标在图片中的位置,具体来说就是目标在图片中左上和右下的xy坐标。
其中,步骤106具体包括:使用分数(平均分)引导SmoothL1损失来处理不准确的伪检测标注。
分数引导SmoothL1损失:分数引导SmoothL1损失可以自适应地调整传统的SmoothL1损失,以实现最佳对象边界框回归。SmoothL1损失函数形式如下:
其中,;S i表示区域评估网络对候选区域i的评分,同时是控制约束强度的超参数,N表示区域生成网络生成的候选框数量,j∈(x,y,w,h)中(x,y)表示候选框的左上角坐标,w表示候选框的宽,h表示候选框的高,表示预测位置,yj表示伪检测标注位置,λ表示超参数,λ=1。因此,在区域评估网络分数的指导下迭代地训练目标检测网络,这有助于补偿不准确的伪检测标注,并使学习朝向更正确的方向。
区域分类分支的损失函数计算如下:
Lc=-[y c logp(I i)+(1-y c )log(1-p(I i))]。
本发明仅考虑针对单类目标的检测,则对于类别的预测仅存在正例和负例两种情况,当候选区域的标签是正例时,y c =1,反之y c =0。
步骤107:采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
训练完成得到针对特定目标物体(如交通目标-汽车)的目标检测器,当给网络输入一张由交通监控摄像头获取到的未进行任何标注的交通场景图片时,网络能够自动完成图像特征提取并以矩形框的形式检测出图中包含的交通目标-汽车。
基于本发明提出的方法,仅需给出交通场景图像中包含的物体,例如汽车、自行车、行人等,即可通过训练本发明提出的目标检测网络获得目标检测模型,准确检测和定位出各物体在图像中的准确位置和坐标,为公安机关和交通部门进行路面管控和嫌疑人定位、抓获提供了有力的帮助。
图4为本发明一种交通目标识别系统结构示意图,如图4所示,一种交通目标识别系统,包括:
伪检测标注获得模块201,用于采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注。
区域得分标注集合确定模块202,用于采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合。
回归网络构建模块203,用于构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分。
区域评估网络确定模块204,用于采用区域得分标注集合训练所述回归网络获得区域评估网络。
目标检测网络构建模块205,用于构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分。
目标检测模型确定模块206,用于采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新。
目标检测模型应用模块207,用于采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
所述弱监督深度卷积神经网络包括弱监督目标检测器WSDDN和弱监督目标检测器OICR。
所述目标检测网络基于Faster RCNN网络构建。
所述损失函数为SmoothL1函数。
无标注图像获得模块,用于将交通监控摄像头获取到图像作为无标注图像。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种交通目标识别方法,其特征在于,包括:
采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注;
采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合;
构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分;
采用区域得分标注集合训练所述回归网络获得区域评估网络;
构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分;
采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新;
采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
2.根据权利要求1所述的交通目标识别方法,其特征在于,所述弱监督深度卷积神经网络包括弱监督目标检测器WSDDN和弱监督目标检测器OICR。
3.根据权利要求1所述的交通目标识别方法,其特征在于,所述目标检测网络基于Faster RCNN网络构建。
4.根据权利要求1所述的交通目标识别方法,其特征在于,所述损失函数为SmoothL1函数。
5.根据权利要求1所述的交通目标识别方法,其特征在于,所述采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注之前,还包括:
将交通监控摄像头获取到图像作为无标注图像。
6.一种交通目标识别系统,其特征在于,包括:
伪检测标注获得模块,用于采用弱监督深度卷积神经网络对无标注图像进行特征提取,将获得的检测结果作为伪检测标注;
区域得分标注集合确定模块,用于采用选择性搜索方法对所述无标注图像提取多个候选框,将各候选框与所述伪检测标注的并交比作为各候选框的得分,将大于或等于阈值k的得分进行归一化,将归一化后的得分与对应候选框构成区域得分标注集合;
回归网络构建模块,用于构建回归网络,所述回归网络包括删除最后全连接层的卷积神经网络、全局池化层、图像分类分支和分数回归分支,所述删除最后全连接层的卷积神经网络的输出连接所述全局池化层的输入,所述全局池化层的输出分别连接所述图像分类分支和所述分数回归分支;所述图像分类分支包括第一全连接层,用于输出图像类别,所述分数回归分支包括依次连接的第二全连接层和第三全连接层,所述分数回归分支用于输出候选框的得分;
区域评估网络确定模块,用于采用区域得分标注集合训练所述回归网络获得区域评估网络;
目标检测网络构建模块,用于构建目标检测网络,所述目标检测网络包括依次连接的卷积神经网络、区域生成网络和第四全连接层,所述目标检测网络还包括区域分类分支和区域建议评估分支,所述区域分类分支和所述区域建议评估分支均连接所述第四全连接层的输出,所述区域生成网络用于生成多个目标候选框,所述区域分类分支用于输出待检测图片的类别,所述区域建议评估分支包括所述区域评估网络,所述区域评估网络用于对各所述目标候选框进行打分,所述区域建议评估分支用于输出各所述目标候选框的平均分;
目标检测模型确定模块,用于采用训练集训练所述目标检测网络获得目标检测模型;所述训练集中图像为交通目标图像,训练集中图像的标签为伪检测标注;训练过程中,将所述训练集中图片输入所述目标检测网络获得预测目标位置和各所述目标候选框的平均分,将基于所述预测目标位置和所述伪检测标注的损失函数进行对应平均分加权,进行基于反向传播算法的损失优化和目标检测网络的更新;
目标检测模型应用模块,用于采用所述目标检测模型对待检测交通图像进行目标检测,获得待检测交通图像的目标分类和目标位置。
7.根据权利要求6所述的交通目标识别系统,其特征在于,所述弱监督深度卷积神经网络包括弱监督目标检测器WSDDN和弱监督目标检测器OICR。
8.根据权利要求6所述的交通目标识别系统,其特征在于,所述目标检测网络基于Faster RCNN网络构建。
9.根据权利要求6所述的交通目标识别系统,其特征在于,所述损失函数为SmoothL1函数。
10.根据权利要求6所述的交通目标识别系统,其特征在于,还包括:
无标注图像获得模块,用于将交通监控摄像头获取到图像作为无标注图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210525592.3A CN114627437B (zh) | 2022-05-16 | 2022-05-16 | 一种交通目标识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210525592.3A CN114627437B (zh) | 2022-05-16 | 2022-05-16 | 一种交通目标识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627437A true CN114627437A (zh) | 2022-06-14 |
CN114627437B CN114627437B (zh) | 2022-08-05 |
Family
ID=81907051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210525592.3A Active CN114627437B (zh) | 2022-05-16 | 2022-05-16 | 一种交通目标识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627437B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998840A (zh) * | 2022-07-18 | 2022-09-02 | 成都东方天呈智能科技有限公司 | 一种基于深度级联有监督学习的老鼠目标检测方法 |
CN115100501A (zh) * | 2022-06-22 | 2022-09-23 | 中国科学院大学 | 一种基于单点监督的精准目标检测方法 |
CN116206201A (zh) * | 2023-02-21 | 2023-06-02 | 北京理工大学 | 一种监督目标检测识别方法、装置、设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN108563977A (zh) * | 2017-12-18 | 2018-09-21 | 华南理工大学 | 一种高速公路出入口的行人预警方法及系统 |
CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
CN110598609A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于显著性引导的弱监督目标检测方法 |
WO2020020472A1 (en) * | 2018-07-24 | 2020-01-30 | Fundación Centro Tecnoloxico De Telecomunicacións De Galicia | A computer-implemented method and system for detecting small objects on an image using convolutional neural networks |
CN111275044A (zh) * | 2020-02-21 | 2020-06-12 | 西北工业大学 | 基于样本选择和自适应难例挖掘的弱监督目标检测方法 |
CN111612051A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于图卷积神经网络的弱监督目标检测方法 |
CN112364747A (zh) * | 2020-11-04 | 2021-02-12 | 重庆高新区飞马创新研究院 | 一种有限样本下的目标检测方法 |
CN112861917A (zh) * | 2021-01-14 | 2021-05-28 | 西北工业大学 | 基于图像属性学习的弱监督目标检测方法 |
CN113032612A (zh) * | 2021-03-12 | 2021-06-25 | 西北大学 | 一种多目标图像检索模型的构建方法及检索方法和装置 |
CN113191450A (zh) * | 2021-05-19 | 2021-07-30 | 清华大学深圳国际研究生院 | 一种基于动态标签调整的弱监督目标检测算法 |
CN113239924A (zh) * | 2021-05-21 | 2021-08-10 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及系统 |
CN113378829A (zh) * | 2020-12-15 | 2021-09-10 | 浙江大学 | 一种基于正负样本均衡的弱监督目标检测方法 |
CN113378686A (zh) * | 2021-06-07 | 2021-09-10 | 武汉大学 | 一种基于目标中心点估计的两阶段遥感目标检测方法 |
CN113642574A (zh) * | 2021-07-30 | 2021-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 基于特征加权与网络微调的小样本目标检测方法 |
CN113792803A (zh) * | 2021-09-16 | 2021-12-14 | 中国科学技术大学 | 前景信息引导的弱监督目标检测方法与系统 |
-
2022
- 2022-05-16 CN CN202210525592.3A patent/CN114627437B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN108563977A (zh) * | 2017-12-18 | 2018-09-21 | 华南理工大学 | 一种高速公路出入口的行人预警方法及系统 |
WO2020020472A1 (en) * | 2018-07-24 | 2020-01-30 | Fundación Centro Tecnoloxico De Telecomunicacións De Galicia | A computer-implemented method and system for detecting small objects on an image using convolutional neural networks |
CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
CN110533067A (zh) * | 2019-07-22 | 2019-12-03 | 杭州电子科技大学 | 基于深度学习的边框回归的端到端弱监督目标检测方法 |
CN110598609A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于显著性引导的弱监督目标检测方法 |
CN111275044A (zh) * | 2020-02-21 | 2020-06-12 | 西北工业大学 | 基于样本选择和自适应难例挖掘的弱监督目标检测方法 |
CN111612051A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于图卷积神经网络的弱监督目标检测方法 |
CN112364747A (zh) * | 2020-11-04 | 2021-02-12 | 重庆高新区飞马创新研究院 | 一种有限样本下的目标检测方法 |
CN113378829A (zh) * | 2020-12-15 | 2021-09-10 | 浙江大学 | 一种基于正负样本均衡的弱监督目标检测方法 |
CN112861917A (zh) * | 2021-01-14 | 2021-05-28 | 西北工业大学 | 基于图像属性学习的弱监督目标检测方法 |
CN113032612A (zh) * | 2021-03-12 | 2021-06-25 | 西北大学 | 一种多目标图像检索模型的构建方法及检索方法和装置 |
CN113191450A (zh) * | 2021-05-19 | 2021-07-30 | 清华大学深圳国际研究生院 | 一种基于动态标签调整的弱监督目标检测算法 |
CN113239924A (zh) * | 2021-05-21 | 2021-08-10 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及系统 |
CN113378686A (zh) * | 2021-06-07 | 2021-09-10 | 武汉大学 | 一种基于目标中心点估计的两阶段遥感目标检测方法 |
CN113642574A (zh) * | 2021-07-30 | 2021-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 基于特征加权与网络微调的小样本目标检测方法 |
CN113792803A (zh) * | 2021-09-16 | 2021-12-14 | 中国科学技术大学 | 前景信息引导的弱监督目标检测方法与系统 |
Non-Patent Citations (2)
Title |
---|
焦天池: ""基于深度学习的多尺度目标检测算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
蒋弘毅等: ""目标检测模型及其优化方法综述"", 《自动化学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100501A (zh) * | 2022-06-22 | 2022-09-23 | 中国科学院大学 | 一种基于单点监督的精准目标检测方法 |
CN115100501B (zh) * | 2022-06-22 | 2023-09-22 | 中国科学院大学 | 一种基于单点监督的精准目标检测方法 |
CN114998840A (zh) * | 2022-07-18 | 2022-09-02 | 成都东方天呈智能科技有限公司 | 一种基于深度级联有监督学习的老鼠目标检测方法 |
CN116206201A (zh) * | 2023-02-21 | 2023-06-02 | 北京理工大学 | 一种监督目标检测识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114627437B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
CN114627437B (zh) | 一种交通目标识别方法及系统 | |
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
Börcs et al. | Instant object detection in lidar point clouds | |
CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
CN108921083B (zh) | 基于深度学习目标检测的非法流动摊贩识别方法 | |
CN106934346A (zh) | 一种目标检测性能优化的方法 | |
CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
CN109472226B (zh) | 一种基于深度学习的睡觉行为检测方法 | |
CN108875754B (zh) | 一种基于多深度特征融合网络的车辆再识别方法 | |
CN110889421A (zh) | 目标物检测方法及装置 | |
CN106845458B (zh) | 一种基于核超限学习机的快速交通标识检测方法 | |
CN106251362A (zh) | 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统 | |
CN114863122B (zh) | 一种基于人工智能的智能化高精度路面病害识别方法 | |
Arora et al. | Automatic vehicle detection system in Day and Night Mode: challenges, applications and panoramic review | |
CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
CN112418207B (zh) | 一种基于自注意力蒸馏的弱监督文字检测方法 | |
Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
CN116630904A (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
CN114359493B (zh) | 一种用于无人船生成三维语义地图的方法和系统 | |
CN114973202A (zh) | 一种基于语义分割的交通场景障碍物检测方法 | |
Lampkins et al. | Multimodal road sign interpretation for autonomous vehicles | |
ALEXANDRESCU et al. | A Dynamic Approach for Railway Semantic Segmentation | |
Ng et al. | Real-Time Detection of Objects on Roads for Autonomous Vehicles Using Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |