CN115049884A - 基于Faster RCNN网络的广义少样本目标检测方法及系统 - Google Patents
基于Faster RCNN网络的广义少样本目标检测方法及系统 Download PDFInfo
- Publication number
- CN115049884A CN115049884A CN202210971672.1A CN202210971672A CN115049884A CN 115049884 A CN115049884 A CN 115049884A CN 202210971672 A CN202210971672 A CN 202210971672A CN 115049884 A CN115049884 A CN 115049884A
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- training
- defects
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- PXFBZOLANLWPMH-SMLHJDAJSA-N Affinine Chemical compound C1C(C2=CC=CC=C2N2)=C2C(=O)C[C@@H]2C(=C/C)\CN(C)[C@H]1C2CO PXFBZOLANLWPMH-SMLHJDAJSA-N 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 241000519995 Stachys sylvatica Species 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 239000012535 impurity Substances 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005284 basis set Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 17
- 230000008014 freezing Effects 0.000 description 6
- 238000007710 freezing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- QYCUDRKEQFHGDK-UHFFFAOYSA-N spiro[1,3-oxazolidine-5,9'-fluorene]-2,4-dione Chemical compound O1C(=O)NC(=O)C21C1=CC=CC=C1C1=CC=CC=C12 QYCUDRKEQFHGDK-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
- Stored Programmes (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Faster RCNN网络的广义少样本目标检测方法及系统，属于汽车内饰检测技术领域，包括：S1、获取内饰板图，并进行预处理；S2、改进Faster RCNN网络模型；S3、通过第一仿射层和第二仿射层生成参数λ；S4、分类层和边框回归层解耦；S5、Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；S6、计算损失函数；S7、训练改进Faster RCNN网络模型；S8、建立评测系统。本发明对Faster RCNN进行改进，提升对于novel集的训练效果的同时，尽可能地不降低base类的检出能力。
Description
技术领域
本发明属于汽车内饰检测技术领域，具体涉及一种基于Faster RCNN网络的广义少样本目标检测方法及系统。
背景技术
汽车内饰板材在生产工艺中会不可避免地出现各种缺陷。这些缺陷有的甚小，有些甚不明显，依靠工人肉眼判断不仅效率低、成本高，最为关键的是漏检率极高，最终导致在售卖时增加用户投诉量。因此，通过人工智能深度学习进行该领域的检测逐渐成为主流。
缺陷分为很多类型，这些类型在真实应用场景中会自然形成长尾效应，即少数缺陷种类占总缺陷的绝大多数，而总有一部分缺陷出现次数极少，而又必须检出，这对于深度学习的模型能力是一项严峻的挑战。
深度学习目标检测通常需要庞大数据量在让模型自动学习数据集特征，来对已知类型进行检测。少样本检测（FSOD）旨在通过现有大数据集（base集）和base集中不存在的只有极少数新样本的新类型的小数据集（novel集）进行学习快速检测新的目标。目前，大多数研究者使用Faster RCNN作为基本检测框架，然而，由于其对于数据稀疏场景缺乏定制化的考虑，对于novel集的检测效果往往并不令人满意。不仅如此，在对novel集进行增量训练时，大多数模型对于base集的检出效果也会出现灾难性遗忘。检测novel集的同时，避免base集的检出发生灾难性遗忘的少样本检测任务被称为广义少样本检测（GFSOD）。
目前在汽车内饰板材生产流水线中应用的基于深度学习神经网络的目标检测主要包含两个分支：即双阶段目标检测和单阶段目标检测。单阶段目标检测主要包括yolo系列等，双阶段目标检测则以FasterRCNN最为典型。双阶段目标检测虽检出速度较慢，但具有检出率高的特点，因此成为大多数研究者研究FSOD问题的基本检测框架。TFA提出了一种基于迁移学习的方法，通过冻结网络主干，只微调能够输出novel样本的检测头的方法，尽可能让模型利用base集的庞大数据优势来对novel集进行预测。旷视团队的RetentiveRCNN认为完全冻结FasterRCNN的主干会使其主干网络无法学习对于novel类的区域建议能力，从而降低了学习效果。RetentiveRCNN在主干网络和头部网络中同时假如了base和novel网络的双分支，然后仅将base网络分支冻结，最后再将两个分支合并，以此增强了网络的学习能力，同时还对base集的检出效果进行了充分的保护，不容易发生灾难性遗忘。
现有技术的客观缺陷：
在汽车内饰板材的检测领域中，现有的广义少样本检测对于novel类的检出效果仍然不够理想，发表在顶级会议的论文对于30样例的novel类的检出率仅有在15%-20%，这些方法应用到汽车内饰板材领域时，效果还有进一步下降，novel类的样例数不足30时，效果也会大幅下降。同时，这些方法对于base类的检出效果仍会出现不同程度的下降，过分看中novel类效果的模型往往得不偿失，需要持续不断地改进才能在现实中更加实用。
发明内容
本发明为解决公知技术中存在的技术问题，提供一种基于Faster RCNN网络的广义少样本目标检测方法及系统，通过新的神经网络模型，在Faster RCNN的基础上进行改进，添加了一些有用的网络层，使其对不同层进行了解耦，网络中各个模块功能独立性增加，旨在提升其对于novel集的训练效果的同时尽可能地不降低base类的检出能力。
本发明的第一目的是提供一种基于Faster RCNN网络的广义少样本目标检测方法，包括：
S1、获取内饰板图，并进行预处理；具体为：
首先进行人工标注，然后根据各个类别的标签数量确定出基础集和小数据集，其中，基础集的标签数量大于小数据集的标签数量；最后将所述基础集和小数据集分别划分为训练集、验证集与测试集；
S2、改进Faster RCNN网络模型；
在Faster RCNN中的主干网络层的输出端和区域建议网络之间增加第一仿射层；在Faster RCNN中的主干网络层的输出端和头部网络之间增加第二仿射层；在所述头部网络和分类层之间增加注意力机制；
S3、通过第一仿射层和第二仿射层生成参数λ；具体为：
两个仿射变换层在求梯度时产生可调节的参数λ，所述参数λ作为超参数调节，两个仿射层的参数λ不同，进而实现对于区域建议网络和头部网络的独立调节；
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
S4、将输出部分的分类层和边框回归层解耦；
所述注意力机制的网络包含Q、K、V三部分，Q表示查询向量，K表示键向量，V表示值向量；上述三部分用过注意力层的输入得到，并通过下式得到网络层的输出：
Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
S5、Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；
S6、计算损失函数；
L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
S7、训练改进Faster RCNN网络模型；具体为：
使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数；
S8、建立评测系统；
采用平均精度mAP，记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比IOU：
S（）表示计算面积。
优选地，所述人工标注为：根据预定义的缺陷类型，将数据集中所有的缺陷标注出其类别和矩形框。
优选地，所述基础集的缺陷包括杂质、白点、凸点变形、划伤、漏印；所述小数据集的缺陷包括坑包、偏位、腐蚀点。
优选地，在S8中，对交并比IOU规定一个阈值t，即可认为大于阈值t的框为检出，否则舍弃，以此计算出模型的准确率P与召回率R；
准确率 = 提取出的正确缺陷条数/提取出的缺陷总条数；
召回率 = 提取出的正确缺陷条数/样本中的缺陷总条数。
本发明的第二目的是提供一种基于Faster RCNN网络的广义少样本目标检测系统，包括：
数据初始模块：获取内饰板图，并进行预处理；具体为：
首先进行人工标注，然后根据各个类别的标签数量确定出基础集和小数据集，其中，基础集为标签数量充足（大于100）的类别，小数据集为标签数不足100的类别；基础集的标签数量大于小数据集的标签数量；最后将所述基础集和小数据集分别划分为训练集、验证集与测试集；
模型改进模块：改进Faster RCNN网络模型；
在Faster RCNN中的主干网络层的输出端和区域建议网络之间增加第一仿射层；在Faster RCNN中的主干网络层的输出端和头部网络之间增加第二仿射层；在所述头部网络和分类层之间增加注意力机制；
参数生成模块：通过第一仿射层和第二仿射层生成参数λ；具体为：
两个仿射变换层在求梯度时产生可调节的参数λ，所述参数λ作为超参数调节，两个仿射层的参数λ不同，进而实现对于区域建议网络和头部网络的独立调节；
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
解耦模块：将输出部分的分类层和边框回归层解耦；
所述注意力机制的网络包含Q、K、V三部分，Q表示查询向量，K表示键向量，V表示值向量；上述三部分用过注意力层的输入得到，并通过下式得到网络层的输出：
Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
参数调试模块：Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；
损失计算模块：计算损失函数；
L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
训练模块：训练改进Faster RCNN网络模型；具体为：
使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数；
评测模块：建立评测系统；
采用平均精度mAP，记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比IOU：
S（）表示计算面积。
本发明的第三目的是提供一种信息数据处理终端，用于实现上述基于FasterRCNN网络的广义少样本目标检测方法。
本发明的第四目的是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述基于Faster RCNN网络的广义少样本目标检测方法。
本发明具有的优点和积极效果是：
1，本专利在现有的Faster RCNN基础上进行了改良，引入了仿射变换在骨干网络进行了解耦，大大优化了区域提议层网络的网络学习能力。仿射变换梯度超参数的设计也实现了更加柔和的骨干网络冻结效果，从以往的完全冻结优化成了非完全冻结，可以自行设计参数比例进行微调。
2，本专利还引入了注意力机制，在头部网络处对不同任务进行了解耦，大大优化了分类层的特征提取能力，同时克服了分类层和回归层之间存在的相互干扰。
这些优势使我们的网络在汽车内饰板材检测任务中对于罕见缺陷的检出率大大增加，同时对常见缺陷的检出率影响很小。
附图说明
图1为现有技术中Faster RCNN模型图；
图2为本申请改进后的Faster RCNN模型图；
图3为本申请的注意力机制局部模型图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图3。
一种基于Faster RCNN网络的广义少样本目标检测方法，包括：
1，根据从实际操作中取到的内饰板图，进行人工标注，即根据预定义的缺陷类型，将数据集中所有的缺陷标注出其类别和矩形框；然后根据各个类别的标签数量，确定数量较多的标签构成基础集（base集），数量较少的标签构成小数据集（novel集）。再由这些base集和novel集分别划分训练集、验证集与测试集。其中，base集缺陷包括杂质、白点、凸点变形、划伤、漏印，novel集缺陷包括坑包、偏位、腐蚀点。
2，FasterRCNN中的主干网络层的输出同时连接区域提议网络层和头部网络层，而两层需要的输入特征其实并不相同，需要进行解耦。本专利在此两处分别加入了不同的仿射变换层，实现了一定程度的解耦。
3，1中两个仿射变换层在求梯度时产生一个可调节的参数，这个参数λ可以作为超参数调节，当此λ设置得很小时，就能防止RPN层或HEAD层发生灾难性遗忘。且两个仿射变换层的λ可以不同，这就实现了对于区域提议网络和头部网络的独立调节。本专利的实现中，两个仿射变换层的λ均设置得很小，实现了不完全冻结网络主干，只对网络主干进行了微调的效果。微调后的网络主干不但很好地保留了对base集的特征提取能力，对novel集的提取能力也有提高。
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
4，将输出部分的分类层和边框回归层解耦，可以达到更好的效果。为此，本专利将近年来取得了巨大成功的注意力机制加入到分类层之前，以取得更好的分类效果，同时实现了解耦。注意力机制的网络包含Q、K、V三个部分，Q表示查询向量，K表示键向量，V表示值向量；且三者都可以用过注意力层的输入得到，并通过下式得到网络层的输出。经过了注意力层的分类网络会得到表征能力更强的输入，且实现了同边框回归层之间的耦合。
其中：Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
5，本发明的损失函数表达式如下，即区域建议网络、分类输出和边框回归输出的综合损失：
其中：L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
6，使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数。
7，本专利的评测系统采用平均精度（mAP）。记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比（IOU）：
对IOU规定一个阈值t，即可认为大于阈值t的框为检出，否则舍弃。以此计算出模型的准确率P与召回率R。
8，本专利的评测系统采用准确率与召回率：
准确率 = 提取出的正确缺陷条数/提取出的缺陷总条数
召回率 = 提取出的正确缺陷条数/样本中的缺陷总条数
在汽车内饰板材的实际应用中，生产企业更加关心召回率，因此我们把召回率作为主要指标，准确率作为次要指标。
9，测试集中的结果表明我们的方法在base集准确率几乎不变的情况下，novel集的精度有小幅上升。
表1、传统FasterRCNN模型检测结果表；
表2、改进后FasterRCNN模型检测结果表；
从上述两张表可以看出：本模型在base集的准确率与召回率影响很小的情况下，novel集有比较明显的提升，尤其是汽车内饰板材生产中更为关心的召回率方面。
一种基于Faster RCNN网络的广义少样本目标检测系统，包括：
数据初始模块：获取内饰板图，并进行预处理；具体为：
首先进行人工标注，然后根据各个类别的标签数量确定出基础集和小数据集，其中，基础集的标签数量大于小数据集的标签数量；最后将所述基础集和小数据集分别划分为训练集、验证集与测试集；所述人工标注为：根据预定义的缺陷类型，将数据集中所有的缺陷标注出其类别和矩形框；所述基础集的缺陷包括杂质、白点、凸点变形、划伤、漏印；所述小数据集的缺陷包括坑包、偏位、腐蚀点；
模型改进模块：改进Faster RCNN网络模型；
在Faster RCNN中的主干网络层的输出端和区域建议网络之间增加第一仿射层；在Faster RCNN中的主干网络层的输出端和头部网络之间增加第二仿射层；在所述头部网络和分类层之间增加注意力机制；
参数生成模块：通过第一仿射层和第二仿射层生成参数λ；具体为：
两个仿射变换层在求梯度时产生可调节的参数λ，所述参数λ作为超参数调节，两个仿射层的参数λ不同，进而实现对于区域建议网络和头部网络的独立调节；
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
解耦模块：将输出部分的分类层和边框回归层解耦；
所述注意力机制的网络包含Q、K、V三部分，Q表示查询向量，K表示键向量，V表示值向量；上述三部分用过注意力层的输入得到，并通过下式得到网络层的输出：
Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
参数调试模块：Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；
损失计算模块：计算损失函数；
L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
训练模块：训练改进Faster RCNN网络模型；具体为：
使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数；
评测模块：建立评测系统；
采用平均精度mAP，记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比IOU：
S（）表示计算面积。
在评测模块中，对交并比IOU规定一个阈值t，即可认为大于阈值t的框为检出，否则舍弃，以此计算出模型的准确率P与召回率R；
准确率 = 提取出的正确缺陷条数/提取出的缺陷总条数；
召回率 = 提取出的正确缺陷条数/样本中的缺陷总条数。
一种信息数据处理终端，用于实现上述基于Faster RCNN网络的广义少样本目标检测方法。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述基于Faster RCNN网络的广义少样本目标检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (10)
1.一种基于Faster RCNN网络的广义少样本目标检测方法，其特征在于，包括：
S1、获取内饰板图，并进行预处理；具体为：
首先进行人工标注，然后根据各个类别的标签数量确定出基础集和小数据集，其中，基础集的标签数量大于小数据集的标签数量；最后将所述基础集和小数据集分别划分为训练集、验证集与测试集；
S2、改进Faster RCNN网络模型；
在Faster RCNN中的主干网络层的输出端和区域建议网络之间增加第一仿射层；在Faster RCNN中的主干网络层的输出端和头部网络之间增加第二仿射层；在所述头部网络和分类层之间增加注意力机制；
S3、通过第一仿射层和第二仿射层生成参数λ；具体为：
两个仿射变换层在求梯度时产生可调节的参数λ，所述参数λ作为超参数调节，两个仿射层的参数λ不同，进而实现对于区域建议网络和头部网络的独立调节；
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
S4、将输出部分的分类层和边框回归层解耦；
所述注意力机制的网络包含Q、K、V三部分，Q表示查询向量，K表示键向量，V表示值向量；上述三部分用过注意力层的输入得到，并通过下式得到网络层的输出：
Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
S5、Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；
S6、计算损失函数；
L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
S7、训练改进Faster RCNN网络模型；具体为：
使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数；
S8、建立评测系统；
采用平均精度mAP，记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比IOU：
S（）表示计算面积。
2.根据权利要求1所述的基于Faster RCNN网络的广义少样本目标检测方法，其特征在于，所述人工标注为：根据预定义的缺陷类型，将数据集中所有的缺陷标注出其类别和矩形框。
3.根据权利要求1所述的基于Faster RCNN网络的广义少样本目标检测方法，其特征在于，所述基础集的缺陷包括杂质、白点、凸点变形、划伤、漏印；所述小数据集的缺陷包括坑包、偏位、腐蚀点。
4.根据权利要求1所述的基于Faster RCNN网络的广义少样本目标检测方法，其特征在于，在S8中，对交并比IOU规定一个阈值t，即可认为大于阈值t的框为检出，否则舍弃，以此计算出模型的准确率P与召回率R；
准确率 = 提取出的正确缺陷条数/提取出的缺陷总条数；
召回率 = 提取出的正确缺陷条数/样本中的缺陷总条数。
5.一种基于Faster RCNN网络的广义少样本目标检测系统，其特征在于，包括：
数据初始模块：获取内饰板图，并进行预处理；具体为：
首先进行人工标注，然后根据各个类别的标签数量确定出基础集和小数据集，其中，基础集的标签数量大于小数据集的标签数量；最后将所述基础集和小数据集分别划分为训练集、验证集与测试集；
模型改进模块：改进Faster RCNN网络模型；
在Faster RCNN中的主干网络层的输出端和区域建议网络之间增加第一仿射层；在Faster RCNN中的主干网络层的输出端和头部网络之间增加第二仿射层；在所述头部网络和分类层之间增加注意力机制；
参数生成模块：通过第一仿射层和第二仿射层生成参数λ；具体为：
两个仿射变换层在求梯度时产生可调节的参数λ，所述参数λ作为超参数调节，两个仿射层的参数λ不同，进而实现对于区域建议网络和头部网络的独立调节；
其中：x表示网络层的输入特征；Grad（）为求梯度函数；Affine为仿射变换；Rpn为区域建议网络；
解耦模块：将输出部分的分类层和边框回归层解耦；
所述注意力机制的网络包含Q、K、V三部分，Q表示查询向量，K表示键向量，V表示值向量；上述三部分用过注意力层的输入得到，并通过下式得到网络层的输出：
Attention为注意力机制；Softmax是激活函数；dk表示K的维度；T表示转置；
参数调试模块：Faster RCNN网络模型训练，先将参数λ值设为1，并用基础集对模型进行基础训练，再改变参数λ值用小数据集进行微调，得到最终模型；
损失计算模块：计算损失函数；
L为总损失，Lrpn为区域建议网络损失，Lbox为回归框损失，Lcls为分类损失；
训练模块：训练改进Faster RCNN网络模型；具体为：
使用训练集进行训练，并使用验证集反复评测模型性能，改动和调整每次训练的超参数；
评测模块：建立评测系统；
采用平均精度mAP，记每个缺陷的真实结果为GT，预测结果为DT，计算它们在图像中所在位置的交并比IOU：
S（）表示计算面积。
6.根据权利要求5所述的基于Faster RCNN网络的广义少样本目标检测系统，其特征在于，所述人工标注为：根据预定义的缺陷类型，将数据集中所有的缺陷标注出其类别和矩形框。
7.根据权利要求5所述的基于Faster RCNN网络的广义少样本目标检测系统，其特征在于，所述基础集的缺陷包括杂质、白点、凸点变形、划伤、漏印；所述小数据集的缺陷包括坑包、偏位、腐蚀点。
8.根据权利要求6所述的基于Faster RCNN网络的广义少样本目标检测系统，其特征在于，在评测模块中，对交并比IOU规定一个阈值t，即可认为大于阈值t的框为检出，否则舍弃，以此计算出模型的准确率P与召回率R；
准确率 = 提取出的正确缺陷条数/提取出的缺陷总条数；
召回率 = 提取出的正确缺陷条数/样本中的缺陷总条数。
9.一种信息数据处理终端，其特征在于，用于实现权利要求1至4任一项所述基于Faster RCNN网络的广义少样本目标检测方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至4任一项所述基于Faster RCNN网络的广义少样本目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210971672.1A CN115049884B (zh) | 2022-08-15 | 2022-08-15 | 基于Faster RCNN网络的广义少样本目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210971672.1A CN115049884B (zh) | 2022-08-15 | 2022-08-15 | 基于Faster RCNN网络的广义少样本目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049884A true CN115049884A (zh) | 2022-09-13 |
| CN115049884B CN115049884B (zh) | 2022-10-25 |
Family
ID=83166363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210971672.1A Active CN115049884B (zh) | 2022-08-15 | 2022-08-15 | 基于Faster RCNN网络的广义少样本目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049884B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115993365A (zh) * | 2023-03-23 | 2023-04-21 | 山东省科学院激光研究所 | 一种基于深度学习的皮带缺陷检测方法及系统 |
| CN116229333A (zh) * | 2023-05-08 | 2023-06-06 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135243A (zh) * | 2019-04-02 | 2019-08-16 | 上海交通大学 | 一种基于两级注意力机制的行人检测方法及系统 |
| CN110163066A (zh) * | 2018-12-07 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多媒体数据推荐方法、装置及存储介质 |
| US20200193222A1 (en) * | 2018-07-06 | 2020-06-18 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
| CN111788041A (zh) * | 2018-01-04 | 2020-10-16 | X开发有限责任公司 | 由机器人基于使用(一个或多个)机器学习模型确定的抓取策略对物体的抓取 |
| CN111814704A (zh) * | 2020-07-14 | 2020-10-23 | 陕西师范大学 | 基于级联注意力与点监督机制的全卷积考场目标检测方法 |
| CN112668440A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 基于平衡样本回归损失的sar舰船目标检测方法 |
| CN113392855A (zh) * | 2021-07-12 | 2021-09-14 | 昆明理工大学 | 一种基于注意力和对比学习的小样本目标检测方法 |
| CN114694178A (zh) * | 2022-03-23 | 2022-07-01 | 西安金源电气股份有限公司 | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 |
| CN114880427A (zh) * | 2022-04-20 | 2022-08-09 | 迈容智能科技(上海)有限公司 | 基于多层级注意力机制的模型、事件论元抽取方法及系统 |
-
2022
- 2022-08-15 CN CN202210971672.1A patent/CN115049884B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111788041A (zh) * | 2018-01-04 | 2020-10-16 | X开发有限责任公司 | 由机器人基于使用(一个或多个)机器学习模型确定的抓取策略对物体的抓取 |
| US20200193222A1 (en) * | 2018-07-06 | 2020-06-18 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
| CN110163066A (zh) * | 2018-12-07 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多媒体数据推荐方法、装置及存储介质 |
| CN110135243A (zh) * | 2019-04-02 | 2019-08-16 | 上海交通大学 | 一种基于两级注意力机制的行人检测方法及系统 |
| CN111814704A (zh) * | 2020-07-14 | 2020-10-23 | 陕西师范大学 | 基于级联注意力与点监督机制的全卷积考场目标检测方法 |
| CN112668440A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 基于平衡样本回归损失的sar舰船目标检测方法 |
| CN113392855A (zh) * | 2021-07-12 | 2021-09-14 | 昆明理工大学 | 一种基于注意力和对比学习的小样本目标检测方法 |
| CN114694178A (zh) * | 2022-03-23 | 2022-07-01 | 西安金源电气股份有限公司 | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 |
| CN114880427A (zh) * | 2022-04-20 | 2022-08-09 | 迈容智能科技(上海)有限公司 | 基于多层级注意力机制的模型、事件论元抽取方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| JIPING XIONG等: "Attention aware cross faster RCNN model and simulation", 《WIRELESS NETWORKS》 * |
| ZHIBO FAN等: "Generalized Few-Shot Object Detection without Forgetting", 《ARXIV:2105.09491V1 [CS.CV]》 * |
| 朱浩: "基于深度学习的少样本目标检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 段志伟 等: "一种基于改进区域建议网络的目标检测方法", 《计算机应用与软件》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115993365A (zh) * | 2023-03-23 | 2023-04-21 | 山东省科学院激光研究所 | 一种基于深度学习的皮带缺陷检测方法及系统 |
| CN116229333A (zh) * | 2023-05-08 | 2023-06-06 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
| CN116229333B (zh) * | 2023-05-08 | 2023-07-21 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049884B (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115049884B (zh) | 基于Faster RCNN网络的广义少样本目标检测方法及系统 | |
| CN109919934B (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
| CN110399800B (zh) | 基于深度学习vgg16框架的车牌检测方法及系统、存储介质 | |
| CN112766334B (zh) | 一种基于伪标签域适应的跨域图像分类方法 | |
| CN104239553A (zh) | 一种基于Map-Reduce框架的实体识别方法 | |
| CN112541639B (zh) | 基于图神经网络和注意力机制的推荐系统评分预测方法 | |
| CN110610482A (zh) | 一种基于resnet的工件瑕疵检测方法 | |
| Wu et al. | Hot‐Rolled Steel Strip Surface Inspection Based on Transfer Learning Model | |
| CN111611375B (zh) | 一种基于深度学习和转折关系的文本情感分类方法 | |
| CN111932394A (zh) | 一种基于关联规则挖掘的不良根因路径分析方法及系统 | |
| CN110826315B (zh) | 使用神经网络系统识别短文本时效性的方法 | |
| CN115617743A (zh) | 一种基于数据采集的科技项目档案管理系统 | |
| WO2023050649A1 (zh) | 基于数据补全的esg指数确定方法及相关产品 | |
| CN114596302A (zh) | 一种pcb板缺陷检测方法、系统、介质、设备及终端 | |
| CN114201583A (zh) | 一种基于图注意力网络的中文金融事件自动抽取方法及系统 | |
| CN114385694A (zh) | 一种数据加工处理方法、装置、计算机设备及存储介质 | |
| Liu et al. | Unbalanced classification method using least squares support vector machine with sparse strategy for steel surface defects with label noise | |
| CN117114705A (zh) | 一种基于持续学习的电商欺诈识别方法与系统 | |
| WO2024103436A1 (zh) | 设备缺陷数据规则库构建方法及设备缺陷关联性分析方法 | |
| CN116610795A (zh) | 文本检索方法及装置 | |
| CN110807082B (zh) | 质量抽检项目确定方法、系统、电子设备及可读存储介质 | |
| CN115827871A (zh) | 互联网企业分类的方法、装置和系统 | |
| CN112632284A (zh) | 用于未标注文本数据集的信息抽取方法及系统 | |
| Navarro-Cerdan et al. | Batch-adaptive rejection threshold estimation with application to OCR post-processing | |
| CN112365014A (zh) | 一种基于ga-bp-cbr的工业设备故障诊断系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |