CN112785561A - 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 - Google Patents
一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 Download PDFInfo
- Publication number
- CN112785561A CN112785561A CN202110018230.0A CN202110018230A CN112785561A CN 112785561 A CN112785561 A CN 112785561A CN 202110018230 A CN202110018230 A CN 202110018230A CN 112785561 A CN112785561 A CN 112785561A
- Authority
- CN
- China
- Prior art keywords
- image
- commercial vehicle
- cab
- prediction model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 239000002184 metal Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013434 data augmentation Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,包括采集二手商用车待检测部位的图像,将待检测部位的图像按比例划分为训练集和测试集;使用图像标记工具对训练集中事故点的类别和位置坐标进行标记;将训练集命名为预设格式的图像文件,通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸,之后对其进行数据增强操作,获取预处理图像等步骤。优点是:将深度学习技术和图像处理技术相结合,用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别,提高了检测的速度和精度。对Faster RCNN预测模型的网络结构和训练方式进行了改进,对优化算法和数据增广的方法进行了改进,提高了检测的效果。
Description
技术领域
本发明涉及二手车车辆检测技术领域,尤其涉及一种基于改进Faster RCNN预测模型的二手商用车车况检测方法。
背景技术
二手车的置换是促进新车销售的前提和关键,其交易量逐年上升,特别是二手商用车占整个二手车交易量的比重不断扩大,但不可否认的是二手商用车交易市场仍存在许多痛点,其中最为明显的是评估检测体系。商用车的评估检测体系需要复杂的流程以及对驾驶室、底盘、发动机、变速箱等进行全方位的检测,一般买家不具备甄别能力。同时,由于车辆实际使用环境和从业人员的专业知识以及专业第三方服务机构较少,二手商用车市场始终没有一套合理的评估制度或统一的标准,这使得购买二手商用车的用户往往很难准确判断车况,对二手车的信任度不断降低。
买家在购买二手商用车时,最关心的问题莫过于二手商用车是否经历过事故,事故产生了哪些事故点和事故现象;而使用传统手工特征的目标检测方法去对二手商用车的车辆上的事故点进行检测,虽然能完成检测任务,但是手工设计的特征对于多样性的变化没有很好的鲁棒性,检测识别效果不理想。
发明内容
本发明的目的在于提供一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,包括如下步骤,
S1、采集二手商用车待检测部位的图像,将待检测部位的图像按比例划分为训练集和测试集;使用图像标记工具对训练集中事故点的类别和位置坐标进行标记;
S2、将训练集命名为预设格式的图像文件,通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸,之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强,获取预处理图像;
S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理,得到特征图像;
S4、将特征图像输入到RPN网络中,通过特征图像与待检测图像之间的映射关系生成一系列anchor框,并对所有的anchor框进行处理获取候选框;
S5、将候选框和特征图像一起输入到ROI Align层中,获取固定大小的候选区域特征图;
S6、将候选区域特征图输入到分类网络和回归网络中,利用分类网络预测事故点的类别,并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数;利用回归网络预测事故点的位置坐标,并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数;使用优化算法不断优化分类损失函数和位置坐标回归损失函数,进而优化预测模型;
S7、将二手商用车的待预测图像输入优化好的预测模型中,识别图像的事故点的类别和位置坐标。
优选的,二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装;其中,所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围;所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。
优选的,所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。
优选的,所述卷积神经网络中添加有注意力机制;所述卷积神经网络的卷积层中添加有DropBlock,所述卷积神经网络的激活层采用的激活函数为Mish函数。
优选的,所述注意力机制包括通道注意力操作和空间注意力操作,其计算公式分别为,
其中,Mc表示在通道维度上做注意力提取的操作,Ms表示的是在空间维度上做注意力提取的操作;表示点乘;F表示输入到卷积神经网络中的预处理图像;F′表示经过通道注意力操作后的预处理图像,F″表示输出的特征图像。
优选的,步骤S4具体为,输入的特征图像经过卷积层和激活层进一步进行特征提取,之后经过1*1的卷积层改变通道数分为两个分支,分别为分类分支和回归分支,将分类分支经过softmax函数判断anchor属于正样本或负样本;将回归分支经过CIoU Loss回归损失函数去修正正样本anchor,获得精准的候选框;所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本;所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。
优选的,所述优化算法为ranger算法。
本发明的有益效果是:1、将深度学习技术和图像处理技术相结合,用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别,提高了检测的速度和精度。2、对Faster RCNN预测模型的网络结构和训练方式进行了改进,对优化算法和数据增广的方法进行了改进,提高了检测的效果。
附图说明
图1是本发明实施例中检测识别方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本实施例中,提供了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,包括如下步骤,
S1、采集二手商用车待检测部位的图像,将待检测部位的图像按比例划分为训练集和测试集;使用图像标记工具对训练集中事故点的类别和位置坐标进行标记;
S2、将训练集命名为预设格式的图像文件,通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸,之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强,获取预处理图像;
S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理,得到特征图像;
S4、将特征图像输入到RPN网络中,通过特征图像与待检测图像之间的映射关系生成一系列anchor框,并对所有的anchor框进行处理获取候选框;
S5、将候选框和特征图像一起输入到ROI Align层中,获取固定大小的候选区域特征图;
S6、将候选区域特征图输入到分类网络和回归网络中,利用分类网络预测事故点的类别,并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数;利用回归网络预测事故点的位置坐标,并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数;使用优化算法不断优化分类损失函数和位置坐标回归损失函数,进而优化预测模型;
S7、将二手商用车的待预测图像输入优化好的预测模型中,识别图像的事故点的类别和位置坐标。
本实施例中,训练集和测试集的比例可以根据实际情况进行设置,以便更好的满足实际需求。预设大小尺寸同样可以根据具体情况进行设置,通常设置为800*600。
本实施例中,步骤S2属于对图像的预处理过程,对输入的图像进行统一的理,使其保证符合输入网络模型的输入格式;对其数据进行差异化数据增广,保证输入的数据的多样性和复杂性。主要包括,
(1)双线性插值:将不同的输入图像重命名,采用双线性插值法缩放成
800*600,双线性插值算法就是一种比较好的图像缩放算法,它充分的利用了源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值,因此缩放效果比简单的最邻近插值要好很多。对于一个目的像素,设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)(其中i、j均为浮点坐标的整数部分,u、v为浮点坐标的小数部分,是取值[0,1)区间的浮点数),则这个像素得值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)(i+1,j+1)所对应的周围四个像素的值决定,即:f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)其中f(i,j)表示源图像(i,j)处的像素值,以此类推。
(2)、gamma矫正:对图像gamma矫正进行数据增广,图像的整体亮度值得到提升,同时低灰度处的对比度得到增加,更利于分辩低灰度值时的图像细节。其操作是首先对图像进行归一化,将像素值转换为0~1之间的实数;其次进行预补偿,将像素归一化后的数据求出以1/gamma为指数的对应值;最后进行反归一化,将经过预补偿的实数值反变换为0~255之间的整数值。
(3)、颜色通道的分离和随机翻转:将输入的图像分离为B,G,R三个通道,并随机输出某一通道的图片;将输入的图像进行水平翻转,垂直翻转并随机输出某一方向的翻转图像。
(4)、mosaic数据增强:训练时每批数据增广采用mosaic,mosaic数据增强则利用了四张图片,对四张图片进行拼接,每一张图片都有其对应的框,将四张图片拼接之后就获得一张新的图片,同时也获得这张图片对应的框,然后我们将这样一张新的图片传入到神经网络当中去学习,相当于一下子传入四张图片进行学习了。这极大丰富了检测物体的背景。且在标准化BN计算的时候一下子会计算四张图片的数据。其实现步骤如下:
a、从数据集中每次随机读取四张图片
b、分别对四张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)等操作。操作完成之后然后再将原始图片按照第一张图片摆放在左上,第二张图片摆放在左下,第三张图片摆放在右下,第四张图片摆放在右上四个方向位置摆好。
c、进行图片的组合和框的组合,完成四张图片的摆放之后,我们利用矩阵的方式将四张图片它固定的区域截取下来,然后将它们拼接起来,拼接成一张新的图片,新的图片上含有框等一系列的内容。
本实施例中,二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装;其中,所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围;所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。
本实施例中,所述卷积神经网络中添加有注意力机制;所述卷积神经网络的卷积层中添加有DropBlock,所述卷积神经网络的激活层采用的激活函数为Mish函数。
步骤S3将经过数据预处理之后的数据送入卷积神经网络进行图像特征的提取,在卷积神经网络中加入注意力机制模块,在网络结构中引入注意力机制可以提升网络模型的特征表达能力。注意力机制不止能告诉网络模型该注意什么,同时也能增强特定区域的表征。注意力机制模块在通道和空间两个维度上引入了注意力机制。主要网络架构也很简单,一个是通道注意力机制,另一个是空间注意力机制,注意力机制模块就是先后集成了这两个模块,分别执行以下两个运算,
其中,Mc表示在通道维度上做注意力提取的操作,Ms表示的是在空间维度上做注意力提取的操作;表示点乘;F表示输入到卷积神经网络中的预处理图像;F′表示经过通道注意力操作后的预处理图像,F″表示输出的特征图像。
卷积神经网络中的激活层采用的激活函数为Mish函数,这是因为Mish函数无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许更好的梯度流,而不是像激活函数ReLU中那样的硬零边界。平滑的激活函数允许更好的信息深入神经网络,从而得到更好的准确性和泛化。主要区别是Mish函数在曲线上几乎所有点上的平滑度。越来越多的层被添加到一个测试神经网络中,而没有一个统一的函数。随着层深的增加,ReLU精度迅速下降,其次是Swish。相比之下,Mish能更好地保持准确性,这可能是因为它能更好地传播信息。
卷积层之间加入了DropBlock,随机dropout激活单元,但是这样dropout后,网络还会从drouout掉的激活单元附近学习到同样的信息通过Dropout掉一部分相邻的整片区域,网络就会去注重学习别的部位特征,来实现正确分类,从而变现出更好的泛化性能。
本实施例中,将经过特征提取网络形成的特征图像送入RPN网络,二手商用车事故点形状各异,需要对RPN网络中的锚(anchor)大小比例进行调整,比如驾驶室A、B柱事故点是细长形状,长宽比不在使用原始的大小比例(1:1、1:3、3:1)。
则步骤S4具体为,输入的特征图像经过卷积层和激活层进一步进行特征提取,之后经过1*1的卷积层改变通道数分为两个分支,分别为分类分支和回归分支,将分类分支经过softmax函数判断anchor属于正样本或负样本;将回归分支经过CIoU Loss回归损失函数去修正正样本anchor,获得精准的候选框;所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本;所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。
其实RPN最终就是在原图尺度上,设置了密密麻麻的候选Anchor。然后用cnn去判断哪些Anchor是里面有目标的positive anchor(正样本),哪些是没目标的negativeanchor(负样本)。只有正样本才进行回归分支操作,回归损失函数修正正样本anchor,负样本则不进行此操作,负样本就是背景,不需要考虑它的计算。
RPN网络作用总结起来:生成anchors-softmax分类器提取positvie anchors-回归分支回归positive anchors-Proposal Layer生成候选框。
原始的回归损失函数采用的是Smooth L1 Loss,对候选框的四个点是独立回归,没有相关性。进而采用IoU Loss,考虑到候选框的三要素,重叠区域,中心点距离和长宽比,最终采用CIoU Loss,收敛更快,效果更好。
对预测的候选框进行ROI Align,原始的方式是采用ROI Pooling,本专利中改用ROI Align,RoIAlign消除了RoI Pooling中的两次量化过程,不需要进行取整操作,如果计算得到小数,也就是没有落到真实的像素上,那么就用最近的像素对这一点虚拟像素进行双线性插值,得到这个像素的值。实现步骤:
1、将候选框区域按输出要求的大小进行等分,很可能等分后各顶点落不到真实的像素点上;
2、在每个方块中再取固定的4个点;
3、针对每一个点,距离它最近的4个真实像素点的值加权(双线性插值),求得这个点的值;
4、一个方块内会算出4个新值,在这些新值中取最大值,作为这个方块的输出值;
5、最后就能得到7x7的输出,计算反向传播。
现有的优化方式为采用先训练RPN,然后训练fast RCNN,然后再训练RPN,最后再训练fastRCNN。本发明进行端到端的联合训练;将RPN和后面的分类回归网络作为一个整体,对它们两个网络同时训练。首先,用VOC2007和VOC2012与预训练出来的模型初始化共享卷积神经网络和分类回归网络的全连接层,然后再对此网络进行端到端的微调。相对于交替训练方法,此方法训练出来的网络性能更优秀。
本实施例中,所述优化算法为ranger。结合了RAdam、Lookahead、GC算法;
优化过程为:通过指数移动平均计算的梯度平方的方差大于使用简单平均计算的梯度平方的方差,而且当t较小时两者的差异较小。Lookahead算法:LookAhead优化器首先将模型参数拷贝两份,一份称为慢权重,一份称为快权重,然后使用内部优化器RAdam对快权重进行正常的训练优化,但是每隔K个训练迭代,算法会在权重空间的方向上使用线性插值方式来更新慢权重,然后再将更新后的慢权重赋值给快权重继续进行下个K步训练,这样便可以降低权重前后更新的高方差带来的负面影响。如此循环,训练结束后将慢权重作为最终的模型训练输出权重。
采用了梯度中心化的方法,与任何一个时间步的梯度无关。采用了梯度中心化,某种意义上挖掘了权重初始化的效益。而这也就给了预测模型很好的鲁棒性和抗干扰能力。
自适应动量优化器(Adam、RMSProp等)的机制,发现所有项目都需要进行预热,否则往往会在训练开始时带来糟糕的局部优化状态,RAdam利用基于
所遇到的实际方差的整流函数确定“预热启发式”。整流器会以动态形式对自适应动量进行关闭及“压实”,确保其不会全速跳跃,直到数据的方差稳定下来。一旦方差稳定下来,RAdam在余下的训练过程中基本上充当着Adam甚至是SGD的作用。因此,RAdam的贡献主要在于训练的开始阶段。LookAhead随后,一旦k间隔触发,Lookahead就会在其保存的权重与RAdam的最新权重之间进行差值相乘,并在每k个轮次乘以alpha参数(默认情况下为0.5),同时更新RAdam的权重。GC它通过将梯度向量中心化为零均值,实现对梯度的直接优化。GC可视为一种有约束损失函数的投影梯度下降法。
本实施例中,AP(Average Precision)是PR曲线中不同召回率下精确率的平均值,这里有两种不同的计算方法为:11点内插精度平均,取11个值(0,0.1,0.2,0.3,...,0.9,1),然后对于每个值i,得到召回率大于i前提下最大的精确率,这11个精确率平均后即为AP值。mAP(平均精确度)则为AP在所有类上的平均。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明提供了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,该方法将深度学习技术和图像处理技术相结合,用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别,提高了检测的速度和精度。对Faster RCNN预测模型的网络结构和训练方式进行了改进,对优化算法和数据增广的方法进行了改进,提高了检测的效果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (7)
1.一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:包括如下步骤,
S1、采集二手商用车待检测部位的图像,将待检测部位的图像按比例划分为训练集和测试集;使用图像标记工具对训练集中事故点的类别和位置坐标进行标记;
S2、将训练集命名为预设格式的图像文件,通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸,之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强,获取预处理图像;
S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理,得到特征图像;
S4、将特征图像输入到RPN网络中,通过特征图像与待检测图像之间的映射关系生成一系列anchor框,并对所有的anchor框进行处理获取候选框;
S5、将候选框和特征图像一起输入到ROI Align层中,获取固定大小的候选区域特征图;
S6、将候选区域特征图输入到分类网络和回归网络中,利用分类网络预测事故点的类别,并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数;利用回归网络预测事故点的位置坐标,并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数;使用优化算法不断优化分类损失函数和位置坐标回归损失函数,进而优化预测模型;
S7、将二手商用车的待预测图像输入优化好的预测模型中,识别图像的事故点的类别和位置坐标。
2.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装;其中,所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围;所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。
3.根据权利要求2所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。
4.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:所述卷积神经网络中添加有注意力机制;所述卷积神经网络的卷积层中添加有DropBlock,所述卷积神经网络的激活层采用的激活函数为Mish函数。
6.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:步骤S4具体为,输入的特征图像经过卷积层和激活层进一步进行特征提取,之后经过1*1的卷积层改变通道数分为两个分支,分别为分类分支和回归分支,将分类分支经过softmax函数判断anchor属于正样本或负样本;将回归分支经过CIoU Loss回归损失函数去修正正样本anchor,获得精准的候选框;所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本;所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。
7.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法,其特征在于:所述优化算法为ranger算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110018230.0A CN112785561A (zh) | 2021-01-07 | 2021-01-07 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110018230.0A CN112785561A (zh) | 2021-01-07 | 2021-01-07 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112785561A true CN112785561A (zh) | 2021-05-11 |
Family
ID=75756687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110018230.0A Pending CN112785561A (zh) | 2021-01-07 | 2021-01-07 | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112785561A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920140A (zh) * | 2021-11-12 | 2022-01-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车管盖脱落故障识别方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN108627348A (zh) * | 2017-03-17 | 2018-10-09 | 北京爱德盛业科技有限公司 | 一种基于图像识别汽车底盘的检查方法 |
CN109163914A (zh) * | 2018-11-12 | 2019-01-08 | 金瓜子科技发展(北京)有限公司 | 一种车辆远程检测方法和装置 |
CN109238756A (zh) * | 2018-10-15 | 2019-01-18 | 哈尔滨市科佳通用机电股份有限公司 | 货车运行故障动态图像检测设备及检测方法 |
CN109597991A (zh) * | 2018-11-27 | 2019-04-09 | 北京巅峰科技有限公司 | 汽车远程检测方法 |
CN109670545A (zh) * | 2018-12-13 | 2019-04-23 | 深源恒际科技有限公司 | 由粗到细的车辆图像定损方法 |
CN110705553A (zh) * | 2019-10-23 | 2020-01-17 | 大连海事大学 | 一种适用于车辆远景图像的划痕检测方法 |
CN111080612A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车轴承破损检测方法 |
CN111080614A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车轮轮辋及踏面的破损识别方法 |
CN111353442A (zh) * | 2020-03-03 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111680646A (zh) * | 2020-06-11 | 2020-09-18 | 北京市商汤科技开发有限公司 | 动作检测方法及装置、电子设备和存储介质 |
CN111723660A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种用于长形地面目标检测网络的检测方法 |
CN111783665A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(西安)科技有限公司 | 一种动作识别方法、装置、存储介质和电子设备 |
CN111898651A (zh) * | 2020-07-10 | 2020-11-06 | 江苏科技大学 | 一种基于Tiny YOLOV3算法的树木检测方法 |
CN111931623A (zh) * | 2020-07-31 | 2020-11-13 | 南京工程学院 | 一种基于深度学习的人脸口罩佩戴检测方法 |
CN111985365A (zh) * | 2020-08-06 | 2020-11-24 | 合肥学院 | 一种基于目标检测技术的秸秆焚烧监测方法和系统 |
CN111985316A (zh) * | 2020-07-10 | 2020-11-24 | 上海富洁科技有限公司 | 一种用于道路智能清扫的路面垃圾感知方法 |
-
2021
- 2021-01-07 CN CN202110018230.0A patent/CN112785561A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108627348A (zh) * | 2017-03-17 | 2018-10-09 | 北京爱德盛业科技有限公司 | 一种基于图像识别汽车底盘的检查方法 |
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN109238756A (zh) * | 2018-10-15 | 2019-01-18 | 哈尔滨市科佳通用机电股份有限公司 | 货车运行故障动态图像检测设备及检测方法 |
CN109163914A (zh) * | 2018-11-12 | 2019-01-08 | 金瓜子科技发展(北京)有限公司 | 一种车辆远程检测方法和装置 |
CN109597991A (zh) * | 2018-11-27 | 2019-04-09 | 北京巅峰科技有限公司 | 汽车远程检测方法 |
CN109670545A (zh) * | 2018-12-13 | 2019-04-23 | 深源恒际科技有限公司 | 由粗到细的车辆图像定损方法 |
CN110705553A (zh) * | 2019-10-23 | 2020-01-17 | 大连海事大学 | 一种适用于车辆远景图像的划痕检测方法 |
CN111080614A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车轮轮辋及踏面的破损识别方法 |
CN111080612A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车轴承破损检测方法 |
CN111353442A (zh) * | 2020-03-03 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111723660A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种用于长形地面目标检测网络的检测方法 |
CN111680646A (zh) * | 2020-06-11 | 2020-09-18 | 北京市商汤科技开发有限公司 | 动作检测方法及装置、电子设备和存储介质 |
CN111783665A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(西安)科技有限公司 | 一种动作识别方法、装置、存储介质和电子设备 |
CN111898651A (zh) * | 2020-07-10 | 2020-11-06 | 江苏科技大学 | 一种基于Tiny YOLOV3算法的树木检测方法 |
CN111985316A (zh) * | 2020-07-10 | 2020-11-24 | 上海富洁科技有限公司 | 一种用于道路智能清扫的路面垃圾感知方法 |
CN111931623A (zh) * | 2020-07-31 | 2020-11-13 | 南京工程学院 | 一种基于深度学习的人脸口罩佩戴检测方法 |
CN111985365A (zh) * | 2020-08-06 | 2020-11-24 | 合肥学院 | 一种基于目标检测技术的秸秆焚烧监测方法和系统 |
Non-Patent Citations (6)
Title |
---|
保罗•加莱奥内(PAOLO GALEONE)著: "《TensorFlow 2.0神经网络实践》", 30 June 2020 * |
刘树春等: "《深度实践OCR 基于深度学习的文字识别》", 31 May 2020 * |
张丹丹: "《基于深度神经网络技术的高分遥感图像处理及应用》", 31 August 2020 * |
朱超平等: "基于改进的 Faster-RCNN 模型的汽车轮毂表面缺陷在线检测算法研究", 《表面技术》 * |
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020 * |
郭燕燕: "基于深度卷积神经网络的人体姿态估计", 《万方数据》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920140A (zh) * | 2021-11-12 | 2022-01-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车管盖脱落故障识别方法 |
CN113920140B (zh) * | 2021-11-12 | 2022-04-19 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车管盖脱落故障识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10970600B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
CN102682446B (zh) | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 | |
CN111461213B (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
CN103093458B (zh) | 关键帧的检测方法及装置 | |
CN110728637A (zh) | 基于深度学习的用于图像处理的动态调光背光扩散方法 | |
CN104599288A (zh) | 一种基于肤色模板的特征跟踪方法及装置 | |
CN115019273A (zh) | 一种目标检测方法、装置、汽车及存储介质 | |
CN113971764A (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN111161160B (zh) | 一种雾天障碍物检测方法、装置、电子设备和存储介质 | |
CN116228686A (zh) | 一种基于轻量级网络的划痕缺陷检测方法、装置以及设备 | |
CN112785561A (zh) | 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 | |
CN117058606A (zh) | 一种x射线图像违禁品检测方法 | |
CN117437615A (zh) | 雾天交通标志检测方法、装置、存储介质和电子设备 | |
CN106611406A (zh) | 图像校正方法和图像校正设备 | |
CN114581652A (zh) | 目标对象的检测方法、装置、电子设备以及存储介质 | |
CN112215766A (zh) | 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络 | |
CN116958113A (zh) | 一种产品检测方法、装置、设备及存储介质 | |
JP6800901B2 (ja) | 物体領域識別装置、物体領域識別方法およびプログラム | |
CN114677670B (zh) | 一种身份证篡改自动识别与定位的方法 | |
CN115496966A (zh) | 一种跨模态生成视频对抗样本的方法和系统 | |
CN113537397A (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 | |
CN110827238A (zh) | 一种改进的全卷积神经网络的侧扫声纳图像特征提取方法 | |
CN118570099B (zh) | 基于图像增强的术后康复效果监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |