CN116777905A - 基于长尾分布数据的智能工业旋转检测方法及系统 - Google Patents
基于长尾分布数据的智能工业旋转检测方法及系统 Download PDFInfo
- Publication number
- CN116777905A CN116777905A CN202311029464.0A CN202311029464A CN116777905A CN 116777905 A CN116777905 A CN 116777905A CN 202311029464 A CN202311029464 A CN 202311029464A CN 116777905 A CN116777905 A CN 116777905A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- feature
- tail
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000009826 distribution Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 230000007547 defect Effects 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000007405 data analysis Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101150055297 SET1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于长尾分布数据的智能工业旋转检测方法及系统，其包括：对原始数据进行尾部数据和头部数据的划分；通过Swin Transformer模型对头部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；重复执行上述步骤对尾部数据依次进行特征提取、特征融合、特征解析，得到尾部数据的缺陷目标的类别、位置和方向；最后对头部数据解析结果和尾部数据解析结果进行融合，得到融合输出结果；从而在不会大幅度提高计算复杂度造成运算负担的基础上，提高尾部数据的识别准确度。
Description
技术领域
本发明涉及工业缺陷检测技术领域，特别是一种基于长尾分布数据的智能工业旋转检测方法及其应用该方法的系统。
背景技术
随着工业领域和计算机视觉领域的技术发展，工业领域产品智能检测的场景逐渐丰富且多样，许多基于深度学习的缺陷检测方法也已广泛用于各种工业场景中。
但是，基于深度学习的缺陷检测方法有很强的数据依赖性，在实际工业生产中，工业缺陷检测在数据采集阶段常会发生严重的长尾分布问题，其表现为采集到的各种缺陷数据数量不均衡，呈现一种长尾分布。
长尾分布数据是一种偏态分布，即头部包含了大部分缺陷数据，尾部则包含了个别类数量很少的缺陷数据。在这种情况下，数据的长尾分布会导致在训练深度学习模型时，所使用的训练集获得的知识可能是不完整的，在尾部的缺陷类别往往会因为训练数据过少的原因，难以被检测模型所正确检测。
然而，实际工业生产中对尾部类样本的误检往往会带来更大的损失。因此，对尾部类样本的研究具有重要的价值和意义。
发明内容
本发明的主要目的在于提供了一种基于长尾分布数据的智能工业旋转检测方法及系统，旨在解决现有的带有旋转角度的缺陷目标的检测场景中，尾部类样本识别率较低的技术问题，通过对尾部类提供单独的旋转检测模型以提高尾部数据的识别准确度。
为实现上述目的，本发明提供了一种基于长尾分布数据的智能工业旋转检测方法，包括以下步骤：
步骤a.对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
步骤b.通过Swin Transformer模型对所述头部数据进行特征提取；
步骤c.通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；
步骤d.通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
步骤e.重复执行步骤b至d对所述尾部数据依次进行特征提取、特征融合、特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
步骤f.对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
优选的，所述步骤a中，还包括对原始数据进行预处理，所述预处理包括粗精洗处理、数据标注处理、数据增强处理的一种以上处理，其中：
粗清洗处理，是指去除存在过曝、无目标区域、目标部分缺失或图像丢失问题的不可用数据；
数据标注处理，是指对缺陷目标进行缺陷类别的标注；
数据增强处理，包括单样本数据增强和/或多样本数据增强；其中，
所述单样本数据增强包括对原始数据进行图像随机旋转处理、图像随机裁剪处理、图像随机翻转处理中的一种以上处理；所述多样本数据增强是指对原始数据或者对所述单样本数据增强处理后的增强数据进行多样本的融合增强处理。
优选的，所述图像随机旋转处理，是根据原始数据和旋转角度生成仿射矩阵，并通过仿射变换公式计算得到旋转后的图像；计算公式为：
其中，表示原始图像，/>表示旋转后的结果图像，/>表示仿射矩阵，/>表示原始图像的宽度，/>表示原始图像的高度，/>)表示仿射变化函数；
所述图像随机裁剪处理，计算公式为：
其中，表示原始图像，/>表示裁剪后的结果图像，/>表示结果图像的尺寸，L表示裁剪后的结果图像的最短边，/>为原始图像的宽度，/>为原始图像的高度；/>)表示图像大小调整函数；
所述图像随机翻转处理，是指对原始图片进行水平翻转或垂直翻转；
并且，所述图像随机旋转处理或图像随机裁剪处理或图像随机翻转处理的随机性，是通过对单样本增强设置发生概率；
所述融合增强处理，是根据预设的发生概率从数据集中随机抽取两张以上图片作为一个数据组，对该数据组内的图片进行随机位置的mosaic数据增强，合成新的图片。
优选的，所述步骤b进一步包括：
Stage 1，将所述头部数据或所述尾部数据分割成不重叠的数据组，每个数据组的特征维度为4*4*3=48；将所述数据组接入线性嵌入层进行降采样处理，并将其投影到任意维度，记为C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/4*W/4；其中，H为转换图像的高度，W为转换图像的宽度；
Stage 2，对降采样数据进行合并处理，并将相邻数据组进行串接，将串接特征接入线性嵌入层进行降采样处理，并将其投影为2C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/8*W/8；
Stage 3，重复操作步骤Stage 2，得到转换图像的分辨率为H/16*W/16，维度为4C；
Stage 4，重复操作步骤Stage 2，得到转换图像的分辨率为H/32*W/32，维度为8C。
优选的，所述步骤c中，所述PANet网络包括一个自顶向下的特征金字塔网络和一个自底向上的特征融合层，通过该PANet网络对所述Swin Transformer模型提取的特征进行双向融合，得到融合特征。
优选的，所述的步骤c中，对所述融合特征进行缺陷目标的边界点检测，以所述边界点作为中心，细化生成自适应点集；所述的步骤d中，通过分类对象损失、定位损失和倒角距离CD，对获得的自适应点集进行精确调整，得到缺陷目标的检测框。
优选的，所述的步骤d中:
分类对象损失计算公式如下：
其中表示点集的总数，/>表示focal loss，/>表示基于学习点/>的预测类置信度，/>表示真实的类别;
是定位损失的计算方式如下：
其中为正样本点集总数，/>表示真实框的位置，/>为定向多边形的GIoU损失，/>表示经过点集转换成方向多边形的预测置信度；/>中，/>表示真实的类别，方框/>表示范围，即，真实的类别取值大于或等于1；
其中，的计算方式为：/>；/>为方向转换函数，/>为学习点集；
CD倒角距离的计算公式如下：
其中，n表示学习点集的总数，表示经过转换函数从学习点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集，/>为表示经过转换函数从真实框轮廓点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集；
其中，/>；通过该CD倒角距离评估预测点集和真实框轮廓点之间的方向差异，使得模型逐渐收敛贴近真实框轮廓。
优选的，所述步骤f中，所述头部数据解析结果是通过头部数据检测模型检测得到，所述尾部数据解析结果是通过尾部数据检测模型检测得到，将两个模型检测结果进行融合输出，得到所述融合输出结果。
与所述基于长尾分布数据的智能工业旋转检测方法相对应的，本发明提供一种基于长尾分布数据的智能工业旋转检测系统，其包括：
数据分割模块，用于对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
头部数据检测模型，其通过Swin Transformer模型对所述头部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
尾部数据检测模型，其通过Swin Transformer模型对所述尾部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
融合输出模块，用于对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
此外，为实现上述目的，本发明还提供一种设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于长尾分布数据的智能工业旋转检测程序，所述基于长尾分布数据的智能工业旋转检测程序被所述处理器执行时实现如上文所述的基于长尾分布数据的智能工业旋转检测方法的步骤。
本发明的有益效果是：
（1）本发明针对工业数据长尾分布问题，为长尾分布中会造成识别准确度较低的尾部数据提供单独的旋转检测模型以提高整体数据的识别准确度；
（2）本发明的检测方法采用基于Oriented RepPoints方法和Swin Transformer(SwinT)模型的旋转目标检测架构，通过在旋转目标检测架构中引入旋转角度，形成带旋转角度的四边形框对缺陷进行框定，加少了背景区域的混入同时降低了在密集的带有旋转角度的缺陷的场景下的漏检；
（3）本发明通过使用了SwinT作为主干网络其在保证性能优于ResNet-50的前提下和其计算复杂度相当，因此在检测架构中单独为尾部数据提供一个检测器并不会大幅度提高计算复杂度造成运算负担；
（4）本发明的单样本数据增强和多样本数据增强的方法，能够丰富图像多样性；
（5）本发明基于Oriented RepPoints方法采用自适应点集作为细粒度表示并引入转化函数来捕捉存在方向变化的缺陷目标的几何结构，来对旋转目标进行更精准的定位和分类。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于长尾分布数据的智能工业旋转检测方法的流程简图（头部数据/尾部数据）；
图2为本发明实施例基于长尾分布数据的智能工业旋转检测方法的数据增强策略示意图；
图3为本发明实施例PANet的金字塔网络的自适应点集生成过程示意图；
图4为本发明实施例PANet的特征融合层的融合过程示意图；
图5为本发明实施例的自适应点集的细化过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着深度学习算法在工业缺陷检测领域的发展应用及大规模工业场景的发现，如机械零件和弯曲字符的识别检测等都需要对带有旋转角度的目标进行检测。对于该类带有旋转角度的缺陷目标的检测，如果使用常用的一些水平四边形框作为检测框对缺陷进行框定会引发以下两个问题，第一是检测到的目标中无关背景太多，第二是密集场景下很容易造成漏检；同时，工业检测数据的长尾分布问题，一直是影响工业智能检测准确度不可避免的问题，过少的尾部数据造成整体数据的类别不均衡情况导致对尾部数据的识别准确度较低。
为了解决上述问题，本发明提供一种基于长尾分布数据的智能工业旋转检测方法，其包括以下步骤：
步骤a.对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
步骤b.通过Swin Transformer模型对所述头部数据进行特征提取；
步骤c.通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；
步骤d.通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
步骤e.重复执行步骤b至d（如图1所示），对所述尾部数据依次进行特征提取、特征融合、特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
步骤f.对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
所述步骤a中，还包括对原始数据进行预处理，所述预处理包括粗精洗处理、数据标注处理、数据增强处理的一种以上处理，其中：
粗清洗处理，是指去除存在过曝、无目标区域、目标部分缺失或图像丢失问题的不可用数据；所述粗清洗处理能够消除或降低工业产线拍摄环境和设备等因素的影响。
数据标注处理，是指对缺陷目标进行缺陷类别的标注，本实施例是通过专家基于经验进行标注；
数据增强处理，包括单样本数据增强和/或多样本数据增强（如图2所示）；其中，
单样本增强包括以下内容：
设原始图片为, 宽高分别为w,h，增广后的图片为/>。
所述单样本数据增强包括对原始数据进行图像随机旋转处理、图像随机裁剪处理、图像随机翻转处理中的一种以上处理；所述多样本数据增强是指对原始数据或者对所述单样本数据增强处理后的增强数据进行多样本的融合增强处理。
所述图像随机旋转处理，是根据原始数据和旋转角度生成仿射矩阵，并通过仿射变换公式计算得到旋转后的图像；计算公式为：
其中，表示原始图像，/>表示旋转后的结果图像，/>表示仿射矩阵，/>表示原始图像的宽度，/>表示原始图像的高度，/>)表示仿射变化函数；
具体的，是一个2*3的矩阵，用于描述原始图像与结果图像的点之间的映射关系；本实施例中，/>是根据原始图像和旋转角度生成的仿射矩阵。/>（）函数用于实现图像的翻转(Flip)、旋转(Rotations)、平移(Translations)、缩放(Scaleoperations)等。例如：
图像旋转的主要步骤包括：
1、根据旋转角度和旋转中心获取旋转矩阵；
2、根据旋转矩阵进行仿射变换，即可实现任意角度和任意中心的旋转效果。旋转矩阵的形式如下：
其中，
α=scale·cosθ
β=scale·sinθ
其中,θ为旋转角度，scale为缩放因子，center.x表示旋转中心的x坐标，center.y表示旋转中心的y坐标。
图像平移的主要步骤包括：
1、定义好图像的平移矩阵；
2、分别指定x方向和y方向上的平移量tx和ty。
平移矩阵的形式如下：
所述图像随机裁剪处理，计算公式为：
其中，表示原始图像，/>表示裁剪后的结果图像，/>表示结果图像的尺寸，L表示裁剪后的结果图像的最短边，/>为原始图像的宽度，/>为原始图像的高度；/>)表示图像大小调整函数；
所述图像随机翻转处理，是指对原始图片进行水平翻转或垂直翻转；
图像旋转：是指在平面内将某个图形绕一个定点按某个方向转动一个角度。图像翻转：是指垂直于某一物体所在平面做任意旋转。本实施例中使用transpose()函数进行翻转处理。
并且，所述图像随机旋转处理或图像随机裁剪处理或图像随机翻转处理的随机性，是通过对单样本增强设置发生概率；若发生概率为0.5表示每张图有50%的概率进行以上单样本数据增强。
所述融合增强处理，是根据预设的发生概率从数据集中随机抽取两张以上图片作为一个数据组（batch），对该数据组内的图片进行随机位置的mosaic数据增强，合成新的图片。
本实施例中，从数据集中随机抽取4张图片作为一个batch，对4张随机抽取的图片，进行随机位置的裁剪拼接，合成新的图片。同样地，每张图有50%的概率被抽入batch进行mosaic数据增强。
本实施例中使用基于Anchor-free的Oriented Reppoints算法，其中采用SwinTransformer模型（适用于尺度多变等复杂场景）作为Backbone主干网络，路径聚合网络PANet作为Neck进行特征提取。采用自适应点集作为细粒度表示并引入转化函数来捕捉存在方向变化的缺陷目标的几何结构。
具体的，所述步骤b进一步包括：
Stage 1，将所述头部数据或所述尾部数据分割成不重叠的数据组，每个数据组的特征维度为4*4*3=48；将所述数据组接入线性嵌入层进行降采样处理，并将其投影到任意维度，记为C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/4*W/4；其中，H为转换图像的高度，W为转换图像的宽度；
Stage 2，对降采样数据进行合并处理，并将相邻数据组进行串接，将串接特征接入线性嵌入层进行降采样处理，并将其投影为2C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/8*W/8；
Stage 3，重复操作步骤Stage 2，得到转换图像的分辨率为H/16*W/16，维度为4C；
Stage 4，重复操作步骤Stage 2，得到转换图像的分辨率为H/32*W/32，维度为8C。
本实施例中，图像首先通过Patch Partition 输入的 RGB 图像分割成不重叠的patch（每个patch为一个token），其中H和W代表输入到网络的图像的长和宽。本实施例使用4*4的patch，因此每个patch的特征维度为4 *4*3 = 48。后接入线性嵌入层（LearningEmbedding）应用于这个原始值特征，以将其投影到任意维度（记为 C)。这些 patch token来到自注意块（Swin Transformer blocks）。 从线性嵌入层到自注意块被称为SwinT架构的“Stage 1”。
进入到“Stage 2”为了产生如卷积一样的分层表示，通过patch合并层（patchmerging）缩减token 的数量。通过patch merging （相邻patch进行合并）将每组2*2 相邻patch进行串接，并在 4C 维串接特征上应用线性层。这将 token 数量减少了 2*2=4 的倍数（2*分辨率下采样），并且输出维度设置为 2C。后接入自注意力块进行特征转换，此时分辨率保持在 H/8 *W/8 。以上操作为SwinT 架构的“Stage 2”。
接下来的“Stage 3”和“Stage 4”均为“Stage 2”操作的两次重复操作，输出分辨率分别为 H/16*W/16 和 H/32*W/32 。
经过以上的四个阶段共同产生层级表示，使得SwinT具有了与卷积网络相似的特征图分辨率，从而可作为各类视觉任务的backbone。
所述步骤c中，所述PANet网络（Path Aggregation Network，路径聚合网络）包括一个自顶向下的特征金字塔网络（a）和一个自底向上的特征融合层（b），通过该PANet网络对所述Swin Transformer（SwinT）模型提取的特征进行双向融合，得到融合特征。
其中，（a）为金字塔网络（Feature Pyramid Networks,FPN网络），其具体步骤为，通过SwinT模型提取出原始图像各个阶段的特征图{C2，C3,C4,C5}。FPN网络自顶向下进行特征图上采样和横向连接，得到特征图集合 {P5, P4, P3, P2}。
以图3的P5和P4为示例，首先对 C5 使用 256 个 1*1 的卷积运算得到 P5，然后对 F5 进行 256个 3*3 的卷积运算得到 P5，然后将对 F5 进行两倍上采样得到的结果与C4 经过 256 个 1*1 卷积运算得到的结果相加，得到 F4，再将 F4 进行 256个 3*3 卷积计算得到 P4；使用同样的方法计算得到 P2 和 P3；最后对 P5 进行最大池化操作，得到P6；最终所有特征图构成集合 {P5, P4, P3, P2}。
如图4所示，自底向上的特征融合层（b）采用下采样和横向连接，以与FPN网络同样的方式反方向，自底向上的进行卷积运算和下采样，最终得到特征图融合集{N5,N4,N3,N2}。
所述的步骤c中，对所述融合特征进行缺陷目标的边界点检测，以所述边界点作为中心，细化生成自适应点集；具体的，如图5所示，所述自适应点集的生成包括两个阶段：
第一阶段，将经过步骤c得到特征融合集中的特征图经过可变形卷积，在特征图上的每个点产生偏移量（offset1），所述偏移量带有方向信息，并将偏移量加到对应点位上生成对应的点集1（RepPoints1）；
第二阶段，将第一阶段得到的偏移量再经过可变形卷积得到新的偏移量（offset2），将新得到的偏移量加在点集1对应点位上生点集（RepPoints2）。
所述的步骤d中，通过分类对象损失、定位损失和倒角距离CD，对获得的自适应点集进行精确调整，得到缺陷目标的检测框。
所述的步骤d中,通过细化过程，将点集合带入方向转换函数g，即可得到点集转换为方向多边形的预测置信度，以及计算分类对象损失、定位损失和倒角距离，不断训练更新直至模型收敛。
具体细化过程计算公式如下:
分类对象损失计算公式如下：
其中表示点集的总数，/>表示focal loss，/>表示基于学习点/>的预测类置信度，/>表示真实的类别;
是定位损失的计算方式如下：
其中为正样本点集总数，/>表示真实框的位置，/>为定向多边形的GIoU损失，/>表示经过点集转换成方向多边形的预测置信度；/>中，/>表示真实的类别，方框/>表示范围，即，真实的类别取值大于或等于1；
其中，的计算方式为：/>；/>为方向转换函数（oriented conversionfunction），/>为学习点集；
CD（Chamfer distance）倒角距离的计算公式如下：
其中，n表示学习点集的总数，表示经过转换函数从学习点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集，/>为表示经过转换函数从真实框轮廓点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集；
其中，/>；通过该CD倒角距离评估预测点集和真实框轮廓点之间的方向差异，使得模型逐渐收敛贴近真实框轮廓。
本实施例的Oriented RepPoints模型是基于anchor-free的key-points方法，其核心思想是通过检测目标的边界点（如：角点）即点集而非主流的包围盒方向回归，再将边界点配对组合成目标的检测框。这种方法引入了对不同方向、形状和姿态的自适应点表示，与传统的包围盒方法相比，Oriented RepPoints能够捕获任意方向实例的几何信息做到准确分类定位。具体地说，该方法从中心点生成初始自适应点，并对其进行进一步细化以适应任意旋转方向的目标。
所述步骤f中，所述头部数据解析结果是通过头部数据检测模型检测得到，所述尾部数据解析结果是通过尾部数据检测模型检测得到，将两个模型检测结果进行融合输出，得到所述融合输出结果。
尾部数据除了数量占比极小外，其分布占比也很低（本实施例中定义为15%以下），如果不对尾部数据进行单独建模处理，意味着尾部数据仅参与了15%左右（甚至更低）的模型训练过程，同时其产生的梯度也会被头部类别数据淹没，这导致尾部样本对指导网络训练的贡献极低，造成尾部类别数据识别准确率较低。本实施例中尾部样本模型采用和上文相同的方案，单独使用尾部样本训练一个检测模型以提高尾部数据的检测准确度，最终将两个模型检测结果进行融合输出，得到最终的检测结果，从而提高整体模型的准确率。
本发明还对应提供一种基于长尾分布数据的智能工业旋转检测系统，其包括：
数据分割模块，用于对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
头部数据检测模型，其通过Swin Transformer模型对所述头部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
尾部数据检测模型，其通过Swin Transformer模型对所述尾部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
融合输出模块，用于对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
本发明还提供一种设备，该设备包括如上所述的基于长尾分布数据的智能工业旋转检测系统，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例及设备实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于长尾分布数据的智能工业旋转检测方法，其特征在于，包括以下步骤：
步骤a.对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
步骤b.通过Swin Transformer模型对所述头部数据进行特征提取；
步骤c.通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；
步骤d.通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
步骤e.重复执行步骤b至d对所述尾部数据依次进行特征提取、特征融合、特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
步骤f.对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
2.根据权利要求1所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于：所述步骤a中，还包括对原始数据进行预处理，所述预处理包括粗精洗处理、数据标注处理、数据增强处理的一种以上处理，其中：
粗清洗处理，是指去除存在过曝、无目标区域、目标部分缺失或图像丢失问题的不可用数据；
数据标注处理，是指对缺陷目标进行缺陷类别的标注；
数据增强处理，包括单样本数据增强和/或多样本数据增强；其中，
所述单样本数据增强包括对原始数据进行图像随机旋转处理、图像随机裁剪处理、图像随机翻转处理中的一种以上处理；所述多样本数据增强是指对原始数据或者对所述单样本数据增强处理后的增强数据进行多样本的融合增强处理。
3.根据权利要求2所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于：
所述图像随机旋转处理，是根据原始数据和旋转角度生成仿射矩阵，并通过仿射变换公式计算得到旋转后的图像；计算公式为：
其中，表示原始图像，/>表示旋转后的结果图像，/>表示仿射矩阵，/>表示原始图像的宽度，/>表示原始图像的高度，/>)表示仿射变化函数；
所述图像随机裁剪处理，计算公式为：
其中，表示原始图像，/>表示裁剪后的结果图像，/>表示结果图像的尺寸，L表示裁剪后的结果图像的最短边，/>为原始图像的宽度，/>为原始图像的高度；/>)表示图像大小调整函数；
所述图像随机翻转处理，是指对原始图片进行水平翻转或垂直翻转；
并且，所述图像随机旋转处理或图像随机裁剪处理或图像随机翻转处理的随机性，是通过对单样本增强设置发生概率；
所述融合增强处理，是根据预设的发生概率从数据集中随机抽取两张以上图片作为一个数据组，对该数据组内的图片进行随机位置的mosaic数据增强，合成新的图片。
4.根据权利要求1所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于,所述步骤b进一步包括：
Stage 1，将所述头部数据或所述尾部数据分割成不重叠的数据组，每个数据组的特征维度为4*4*3=48；将所述数据组接入线性嵌入层进行降采样处理，并将其投影到任意维度，记为C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/4*W/4；其中，H为转换图像的高度，W为转换图像的宽度；
Stage 2，对降采样数据进行合并处理，并将相邻数据组进行串接，将串接特征接入线性嵌入层进行降采样处理，并将其投影为2C维度；后接入自注意力块进行特征转换，得到转换图像的分辨率为H/8*W/8；
Stage 3，重复操作步骤Stage 2，得到转换图像的分辨率为H/16*W/16，维度为4C；
Stage 4，重复操作步骤Stage 2，得到转换图像的分辨率为H/32*W/32，维度为8C。
5.根据权利要求1所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于：所述步骤c中，所述PANet网络包括一个自顶向下的特征金字塔网络和一个自底向上的特征融合层，通过该PANet网络对所述Swin Transformer模型提取的特征进行双向融合，得到融合特征。
6.根据权利要求1所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于：
所述的步骤c中，对所述融合特征进行缺陷目标的边界点检测，以所述边界点作为中心，细化生成自适应点集；
所述的步骤d中，通过分类对象损失、定位损失和倒角距离CD，对获得的自适应点集进行精确调整，得到缺陷目标的检测框。
7.根据权利要求6所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于,所述的步骤d中:
分类对象损失计算公式如下：
其中表示点集的总数，/>表示focal loss，/>表示基于学习点/>的预测类置信度，/>表示真实的类别;
是定位损失的计算方式如下：
其中为正样本点集总数，/>表示真实框的位置，/>为定向多边形的GIoU损失，表示经过点集转换成方向多边形的预测置信度；/>中，/>表示真实的类别，方框/>表示范围，即，真实的类别取值大于或等于1；
其中，的计算方式为：/>；/>为方向转换函数，/>为学习点集；
CD倒角距离的计算公式如下：
其中，n表示学习点集的总数，表示经过转换函数从学习点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集，/>为表示经过转换函数从真实框轮廓点集获得的四个空间角点后，从两个相邻角点进行等间隔采样后的有序点集；
其中，/>；通过该CD倒角距离评估预测点集和真实框轮廓点之间的方向差异，使得模型逐渐收敛贴近真实框轮廓。
8.根据权利要求1所述的一种基于长尾分布数据的智能工业旋转检测方法，其特征在于：所述步骤f中，所述头部数据解析结果是通过头部数据检测模型检测得到，所述尾部数据解析结果是通过尾部数据检测模型检测得到，将两个模型检测结果进行融合输出，得到所述融合输出结果。
9.一种基于长尾分布数据的智能工业旋转检测系统，其特征在于，包括：
数据分割模块，用于对原始数据进行类别分布的统计，得到各缺陷类别占总数据量的类别分布的比例；将占比小于或等于预设阈值的缺陷类别数据作为尾部数据，将占比大于预设阈值的缺陷类别数据作为头部数据；
头部数据检测模型，其通过Swin Transformer模型对所述头部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到头部数据的缺陷目标的类别、位置和方向；
尾部数据检测模型，其通过Swin Transformer模型对所述尾部数据进行特征提取；通过PANet网络进行特征融合，得到特征融合集；根据所述特征融合集中的特征图，生成自适应点集；通过Oriented RepPoints模型对所述自适应点集进行特征解析，得到尾部数据的缺陷目标的类别、位置和方向；
融合输出模块，用于对所述头部数据解析结果和所述尾部数据解析结果进行融合，得到融合输出结果。
10.一种设备，其特征在于，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于长尾分布数据的智能工业旋转检测程序，所述基于长尾分布数据的智能工业旋转检测程序被所述处理器执行时实现如权利要求1至8任一项所述的基于长尾分布数据的智能工业旋转检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311029464.0A CN116777905B (zh) | 2023-08-16 | 2023-08-16 | 基于长尾分布数据的智能工业旋转检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311029464.0A CN116777905B (zh) | 2023-08-16 | 2023-08-16 | 基于长尾分布数据的智能工业旋转检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116777905A true CN116777905A (zh) | 2023-09-19 |
| CN116777905B CN116777905B (zh) | 2023-12-08 |
Family
ID=88013717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311029464.0A Active CN116777905B (zh) | 2023-08-16 | 2023-08-16 | 基于长尾分布数据的智能工业旋转检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777905B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| CN113780463A (zh) * | 2021-09-24 | 2021-12-10 | 北京航空航天大学 | 一种基于深度神经网络的多头归一化长尾分类方法 |
| CN113850311A (zh) * | 2021-09-17 | 2021-12-28 | 温州大学 | 一种基于分组和多样性增强的长尾分布图像识别方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN116109867A (zh) * | 2023-02-03 | 2023-05-12 | 北京龙智数科科技服务有限公司 | 长尾目标检测方法及装置 |
| CN116523885A (zh) * | 2023-05-08 | 2023-08-01 | 浙江欧威科技有限公司 | 一种基于多尺度融合及深度学习的pcb缺陷检测方法 |
-
2023
- 2023-08-16 CN CN202311029464.0A patent/CN116777905B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN113850311A (zh) * | 2021-09-17 | 2021-12-28 | 温州大学 | 一种基于分组和多样性增强的长尾分布图像识别方法 |
| CN113780463A (zh) * | 2021-09-24 | 2021-12-10 | 北京航空航天大学 | 一种基于深度神经网络的多头归一化长尾分类方法 |
| CN116109867A (zh) * | 2023-02-03 | 2023-05-12 | 北京龙智数科科技服务有限公司 | 长尾目标检测方法及装置 |
| CN116523885A (zh) * | 2023-05-08 | 2023-08-01 | 浙江欧威科技有限公司 | 一种基于多尺度融合及深度学习的pcb缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈坤;徐向?;: "改进Faster RCNN在铝型材表面缺陷检测中的应用研究", 中国计量大学学报, no. 02, pages 112 - 118 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116777905B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| CN111145174B (zh) | 基于图像语义特征进行点云筛选的3d目标检测方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| Kim et al. | High-speed drone detection based on yolo-v8 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| CN113591795B (zh) | 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统 | |
| Geng et al. | Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles | |
| CN111126205A (zh) | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 | |
| CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN115797813B (zh) | 基于航拍图像的水环境污染检测方法 | |
| CN114117614A (zh) | 一种建筑物立面纹理自动生成方法和系统 | |
| CN110909623A (zh) | 三维目标检测方法及三维目标检测器 | |
| CN116612292A (zh) | 一种基于深度学习的小目标检测方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| Fu et al. | Learning to reduce scale differences for large-scale invariant image matching | |
| CN117475416A (zh) | 一种热电站指针式仪表读数识别方法、系统、设备及介质 | |
| CN116912675B (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| CN111767919B (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
| CN113610178A (zh) | 一种基于视频监控图像的内河船舶目标检测方法和装置 | |
| CN109284752A (zh) | 一种车辆的快速检测方法 | |
| CN112668662A (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| CN116777905B (zh) | 基于长尾分布数据的智能工业旋转检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |