CN113902680A - 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 - Google Patents
引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 Download PDFInfo
- Publication number
- CN113902680A CN113902680A CN202111072700.8A CN202111072700A CN113902680A CN 113902680 A CN113902680 A CN 113902680A CN 202111072700 A CN202111072700 A CN 202111072700A CN 113902680 A CN113902680 A CN 113902680A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature layer
- original
- layer
- ssd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 8
- 230000010339 dilation Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法：步骤1：构建螺栓数据集；步骤2：对原始SSD网络模型进行融合处理，构建得到改进型的SSD网络模型；步骤3：训练改进型的SSD网络模型，得到训练好的SSD网络模型；步骤4：采用训练好的SSD网络模型对待检测的螺栓图片进行检测，得到检测结果，为拧紧状态或松动状态。采用本发明训练好的SSD网络模型对待测螺栓图片进行松动检测，与原始SSD算法相比，在自制螺栓数据集上的平均识别精度(mAP值)从70.53％提升至73.03％，提升了2.5％，具有更高的小目标识别精度和更好的鲁棒性。
Description
技术领域
本发明属于目标检测的人工智能技术领域，涉及一种基于SSD改进算法的螺栓松动检测方法,具体是一种引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法。
背景技术
在土木工程结构中，相比于焊接和铆接，高强度螺栓连接具有安装简便、检修方便等优点。而螺栓由于自身重力、高强度的负荷状态，容易出现疲劳松动，存在很大的安全隐患。因此，对螺栓安全状态的实时检测很有必要。现有的螺栓松动检测方式有人工沿线巡检。人工巡检废人费力，且存在很大的安全隐患，最重要的是结果受人为因素影响很大。另外，还有通过计算机视觉，定点拍摄螺栓连接处照片，然后人为进行排查的方式，该方式给相关人员造成很大的工作负担。因此，在工业智能化加速推进及减员增效政策持续深化的背景下，如何做到一定范围内的高精度监测螺栓安全状态成为了企业安全生产的迫切需求。
随着人工智能技术的发展，国内外诸多学者将人工智能技术运用在图像分析领域。实际上，螺栓松动检测可以看作典型的目标检测问题。早期的目标检测算法多数是以特征提取结合分类的模式，利用梯度直方图和支持向量机等分类器对特征进行分类。随着深度学习中卷积神经网络(Convolutional Neural Network，CNN)的提出和发展，学者们开始尝试使用深度学习技术实现目标检测，基于深度学习的目标检测算法具有良好的鲁棒性，且在检测准确率与检测速度上均有较大幅度的性能提升。基于深度学习的目标检测算法主要分为two-stage和one-stage两类。two-stage检测算法是在提取出候选检测区域的基础上，通过分类和回归的方式进行目标检测。one-stage检测算法是直接通过回归的方式实现目标检测，其需要预先划定默认框，根据预测框、默认框和真实框之间的对应关系进行训练，典型代表为YOLO算法和SSD(Signal Shot Multibox Detector)算法。与two-stage检测算法相比，one-stage检测算法大幅提升了算法的时间性能。相比上述其他目标检测算法，SSD算法具有更高的检测精度和检测速度，但其对于网络的特征表达能力仍存在不足。SSD网络本身存在局限性，尤其是对土木结构中的螺栓等中小目标的检测效果一般。这是由于在识别过程中，特征图通过卷积和池化等操作后，可能丢失深层语义信息，导致对中小目标的特征提取不充分。
具体来说，常规的或者说原始SSD网络模型的主网络结构是VGG-16，通过将最后两个全连接层改为卷积层并增加4个卷积层来构造网络结构，从而将前端网络产生的特征层进行不同尺度下的特征提取。利用主干网络可以获得6个有效特征层，分别是conv4的第三次卷积的特征，fc7卷积的特征，conv8的第二次卷积的特征，conv9的第二次卷积的特征，conv10的第二次卷积的特征，conv11的第二次卷积的特征，较靠前的特征图用于检测小目标，较靠后的特征图用于检测大目标。通过对每一个特征层的处理获得每个特征层对应的三个内容，分别是：num_priors x 4的卷积用于预测该特征层上每一个网格点上每一个先验框的变化情况；num_priors x num_classes的卷积用于预测该特征层上每一个网格点上每一个预测对应的种类；每一个特征层的每一个特征点上对应的若干个先验框。利用num_priors x 4的卷积对每一个有效特征层对应的先验框进行调整获得预测框。想要获得最终的预测结果，还要对每一个预测框进行得分排序与非极大抑制筛选。这一部分基本上是所有目标检测通用的部分。在这6种规格下的特征图直接进行分类与回归，对于识别小目标的低层特征图，其感受野较小且特征非线性程度不够，无法训练到足够的精确度，而对于识别中大型目标的高层特征图，其感受野较大，但分辨率低，容易出现目标漏检等情况。
综上，原始SSD网络模型存在的亟需解决的问题是对于中小尺度目标的识别精度差、鲁棒性较差、定位效果不佳等问题。
发明内容
为解决现有的SSD算法对于小尺度目标的检测能力不足、鲁棒性较差、定位效果不佳等问题，本发明的目的在于，提供一种引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，该方法在原始SSD网络的基础上，加入了多尺度特征融合操作，结合空洞卷积、反卷积操作来扩大感受野，且保证参数不变，使特征层学习到更多的上下文语义信息，且在此基础上引入通道注意力机制，自适应地关注包含纹理特征的关键细节信息。
为了实现上述目的，本发明给出如下技术方案予以解决：
一种引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，具体包括如下步骤：
步骤1：分别采集拧紧状态和松动状态的螺栓图片，构建螺栓数据集；
步骤2：对原始SSD网络模型进行融合处理，构建得到改进型的SSD网络模型；具体包括如下步骤：
步21，对原始SSD网络模型的原conv4_3特征层、原fc7特征层和原conv8_2特征层上分别进行特征融合处理，得到新的conv4_3特征层、新的fc7特征层、新的conv8_2特征层，即得到融合后的SSD网络模型；
步22，对新的conv4_3特征层、新的特征层fc7特征层和新的conv8_2特征层分别加入BN层，得到优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层；
步23，对优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层分别引入通道注意力机制，得到改进型的SSD网络模型；
步骤3：训练改进型的SSD网络模型，得到训练好的SSD网络模型；
步骤4：采用训练好的SSD网络模型对待检测的螺栓图片进行检测，得到检测结果，为拧紧状态或松动状态。
进一步的，所述步骤1中，所述拧紧状态和松动状态的螺栓图片的数量比为1：1。
进一步的，所述步骤21包括如下子步骤：
步骤211，对原始SSD网络模型的原conv4_3特征层进行改进，得到新的conv4_3特征层，所述新的conv4_3特征层包括两部分：由原conv4_3特征层自身的卷积运算得到256个38*38的特征图，以及在原fc7特征层的反卷积上进行采样操作得到256个38*38的特征图融合而成；
步骤212，对原fc7特征层进行改进，得到新的fc7特征层，所述新的特征层fc7特征层包括三部分：由原conv4_3特征层通过空洞卷积下采样操作生成256个19*19的特征图、原fc7特征层通过自身的卷积运算得到512个19*19的特征图，以及原conv8_2特征层通过反卷积上采样操作得到的256个19*19的特征图融合而成；
步骤213，对原conv8_2特征层进行改进，得到新的conv8_2特征层，所述新的conv8_2特征层包括三部分：由原fc7特征层通过空洞卷积下采样方式生成128个10*10的特征图，以及原conv8_2特征层通过自身卷积操作得到256个10*10的特征图，还有原conv9_2特征层通过反卷积上采样操作得到的128个10*10的特征图融合而成。
进一步的，所述步骤3中，取螺栓数据集的40％作为测试集，60％作为trainval文件，再取trainval文件中的90％作为训练集，10％作为验证集。
相较于现有技术，本发明的技术效果如下：
1、本发明在原网络SSD的基础上引入了不同卷积层特征融合的方法，采用空洞卷积下采样和反卷积上采样操作，实现了浅层细节层和中高语义层的特征融合，在新的特征层加入BN(BatchNorm)层，提高了融合效果，且融合方式更完善，用新融合的特征层代替原来的特征层用于目标识别。
2、在新融合的特征层上引入通道注意力机制，利用注意力机制挖掘类标签和局部特征关键区域之间的相关性，通过调整通道的权重配比以达到更好的识别效果，增强了高层特征图的语义信息，让模型有更好的特征表达能力，提高小目标检测精度。
综上，采用本发明训练好的SSD网络模型对待测螺栓图片进行松动检测，以mAP值为评估性能指标，在4080张自制螺栓数据集上，表现优于原来的SSD网络。经试验结果显示，与原始SSD算法相比，在自制螺栓数据集上的平均识别精度(mAP值)从70.53％提升至73.03％，提升了2.5％，具有更高的小目标识别精度和更好的鲁棒性。
附图说明
图1是普通卷积和空洞卷积感受野的区别；此处给出三个分图的各自名称。其中，(a)是3x3的卷积核，扩张率dilation rate为1，也是就普通卷积；(b)是3x3的卷积核，扩张率dilation rate为2，感受野为5x5；(c)是3x3的卷积核，扩张率dilation rate为3，感受野为7x7；
图2是原始SSD网络在加入特征融合和注意力机制后，得到的改进型的SSD网络的可视化对比；右上部三个图片是原始SSD网络对特征表达的热力图，右下部三个图片是改进型的SSD对特征表达的热力图。
图3是改进型SSD网络的框架图；
图4是基于深度学习的螺栓松动检测方法步骤示意图；
图5是改进前后网络对螺栓松动检测的mAP值比对图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图3所示，本发明的引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，具体包括如下步骤：
步骤一：分别采集拧紧状态和松动状态的螺栓图片，构建螺栓数据集。
由于网上开源的螺栓数据集很少，针对作业环境下的螺栓数据集大多由研究者自己获取。本实施例模拟作业环境，根据不同的应用背景、明暗度，共拍摄4080张螺栓图片，其中，拧紧(tight)状态和松动(loose)状态的螺栓图片的数量为1：1，并建立数据与标签之间的一一映射，构成螺栓数据集。
步骤二：对原始SSD网络模型进行融合处理，构建得到改进型的SSD网络模型，作为螺栓松动检测模型。
如图3所示，是本发明改进后的SSD网络模型。
原始的SSD网络架构的骨干网络是VGG网络，而骨干网络中，最终被SSD网络用于分类和回归，得到预测结果的仅仅是conv4_3和fc7层。在conv4_3和fc7层后加入conv8_2、conv9_2、conv10_3、conv11_3卷积层用于分类回归和预测。其中仅有conv4_3用于识别小占比目标，这就是为什么现有的SSD网络对中小目标识别不敏感的原因。而高层网络通常有很强的语义信息，因此，本发明对现有的SSD网络的改进思路是，将深层特征层中的语义信息与浅层特征层的细节信息进行融合，从而提升模型对中小目标的识别精度。由于conv9_2、conv10_3、conv11_3特征层过小，分别为5*5、3*3、1*1，自身包含的语义信息较强，从提升精度的角度出发还应考虑模型的检测效率。因此，本发明对原始SSD网络模型进行改动的特征层分别为conv4_3、fc7和conv8_2。具体包括如下步骤：
步21，对原始SSD网络模型上进行特征融合处理，得到融合后的SSD网络模型。具体操作如下：
对原始SSD网络模型的原conv4_3特征层进行改进，得到新的conv4_3特征层。该新的conv4_3特征层包括两部分：由原conv4_3特征层自身的卷积运算得到256个38*38的特征图，以及在原fc7特征层的反卷积上进行采样操作得到256个38*38的特征图融合而成。
对原fc7特征层进行改进，得到新的fc7特征层。该新的特征层fc7特征层包括三部分：由原conv4_3特征层通过空洞卷积下采样操作生成256个19*19的特征图、原fc7特征层通过自身的卷积运算得到512个19*19的特征图，以及原conv8_2特征层通过反卷积上采样操作得到的256个19*19的特征图融合而成。
对原conv8_2特征层进行改进，得到新的conv8_2特征层。该新的conv8_2特征层包括三部分：由原fc7特征层通过空洞卷积下采样方式生成128个10*10的特征图，以及原conv8_2特征层通过自身卷积操作得到256个10*10的特征图，还有原conv9_2特征层通过反卷积上采样操作得到的128个10*10的特征图融合而成。
如图1所示，是普通卷积和空洞卷积的区别，空洞卷积操作很好地解决了下采样中降低图像分辨率、信息丢失的问题。空洞卷积最直观的作用就是扩大感受野，且保证参数不变。利用添加空洞扩大感受野，其实就是向卷积层引入了一个称为“扩张率(dilationrate)”的新参数，该参数定义了卷积核处理数据时各值的间距。换句话说，相比原来的标准卷积，扩张卷积(dilated convolution)多了一个hyper-parameter(超参数)称之为dilation rate(扩张率)，指的是kernel各点之前的间隔数量。例如，让原本3x3的卷积核，扩张率dilation rate为1，在相同参数量和计算量下当扩张率dilated rate为2时，拥有5x5的感受野，从而无需下采样，同理当扩张率dilation rate为3时，卷积后的感受野为7x7。可以这么说,普通卷积是空洞卷积的一种特殊情况。另外,空洞卷积可以增大感受野,但是可以不改变图像输出特征图的尺寸。卷积核的感受野可由下式计算得到：Fdi＝[2(di /2)+2-1]×[2(di/2)+2-1]，其中，di(dilation)就是空洞卷积率，Fdi表示卷积核的感受野，我们可以通过上式看出随着di的增大，卷积核的感受野也会增大。因此，空洞卷积能很好地将高层和浅层的信息融合。
步22，对新的conv4_3特征层、新的特征层fc7特征层和新的conv8_2特征层分别加入BN(BatchNorm)层，得到优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层。
该步骤中，为了提高特征层的融合效果，对经过融合处理之后的三个新的特征层加入BN(BatchNorm)层。BN层就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布，作用机制是通过平滑隐藏层输入的分布，帮助随机梯度下降的进行，缓解随机梯度下降权重更新对后续层的负面影响，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。
步23，对优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层分别引入通道注意力机制，得到改进型的SSD网络模型。
该步骤的引入通道注意力机制能够进一步提升SSD网络模型对关键区域的特征表达能力。
步骤三：训练改进型的SSD网络模型，得到训练好的SSD网络模型。
具体是：训练检测过程中，取螺栓数据集的40％作为test文件(测试集)，60％作为trainval文件；再取trainval文件中的90％作为训练集，10％作为验证集。其中，训练集用于训练模型以及获取模型权重，验证集用于确定网络结构以及调整模型的超参数。共设置150个epoch，训练过程中采用的优化器为Adam优化器。训练完成后，得到最优的SSD网络模型权重，用于螺栓松动检测。
步骤四：采用训练好的SSD网络模型对待检测的螺栓图片进行检测，得到检测结果，为拧紧状态或松动状态。
本实施例中对1632张test图进行检测，实验结果平均准确率mAP可达73.03％。
如图5所示，是原始SSD网络与本发明的训练好的SSD网络模型对螺栓松动检测的mAP值比对图。可以明显看出，左右mAP值图直观的反应了本发明的改进后的SSD网络模型对螺栓“loose”和“tight”两种状态的检测准确率都有所提升，且最终平均准确率由70.53％提升至73.03％。
Claims (4)
1.一种引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，其特征在于，具体包括如下步骤：
步骤1：分别采集拧紧状态和松动状态的螺栓图片，构建螺栓数据集；
步骤2：对原始SSD网络模型进行融合处理，构建得到改进型的SSD网络模型；具体包括如下步骤：
步21，对原始SSD网络模型的原conv4_3特征层、原fc7特征层和原conv8_2特征层上分别进行特征融合处理，得到新的conv4_3特征层、新的fc7特征层、新的conv8_2特征层，即得到融合后的SSD网络模型；
步22，对新的conv4_3特征层、新的特征层fc7特征层和新的conv8_2特征层分别加入BN层，得到优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层；
步23，对优化后的conv4_3特征层、优化后的特征层fc7特征层和优化后的conv8_2特征层分别引入通道注意力机制，得到改进型的SSD网络模型；
步骤3：训练改进型的SSD网络模型，得到训练好的SSD网络模型；
步骤4：采用训练好的SSD网络模型对待检测的螺栓图片进行检测，得到检测结果，为拧紧状态或松动状态。
2.如权利要求1所述的引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，其特征在于，所述步骤1中，所述拧紧状态和松动状态的螺栓图片的数量比为1：1。
3.如权利要求1所述的引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，其特征在于，所述步骤21包括如下子步骤：
步骤211，对原始SSD网络模型的原conv4_3特征层进行改进，得到新的conv4_3特征层，所述新的conv4_3特征层包括两部分：由原conv4_3特征层自身的卷积运算得到256个38*38的特征图，以及在原fc7特征层的反卷积上进行采样操作得到256个38*38的特征图融合而成；
步骤212，对原fc7特征层进行改进，得到新的fc7特征层，所述新的特征层fc7特征层包括三部分：由原conv4_3特征层通过空洞卷积下采样操作生成256个19*19的特征图、原fc7特征层通过自身的卷积运算得到512个19*19的特征图，以及原conv8_2特征层通过反卷积上采样操作得到的256个19*19的特征图融合而成；
步骤213，对原conv8_2特征层进行改进，得到新的conv8_2特征层，所述新的conv8_2特征层包括三部分：由原fc7特征层通过空洞卷积下采样方式生成128个10*10的特征图，以及原conv8_2特征层通过自身卷积操作得到256个10*10的特征图，还有原conv9_2特征层通过反卷积上采样操作得到的128个10*10的特征图融合而成。
4.如权利要求1所述的引入注意力机制的多尺度特征融合SSD的螺栓松动检测方法，其特征在于，所述步骤3中，取螺栓数据集的40％作为测试集，60％作为trainval文件，再取trainval文件中的90％作为训练集，10％作为验证集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072700.8A CN113902680B (zh) | 2021-09-14 | 2021-09-14 | 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072700.8A CN113902680B (zh) | 2021-09-14 | 2021-09-14 | 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902680A true CN113902680A (zh) | 2022-01-07 |
| CN113902680B CN113902680B (zh) | 2024-08-13 |
Family
ID=79028077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111072700.8A Active CN113902680B (zh) | 2021-09-14 | 2021-09-14 | 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902680B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975145A (zh) * | 2024-02-04 | 2024-05-03 | 兰州理工大学 | 一种基于改进ssd模型的目标检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
| CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
| CN112149533A (zh) * | 2020-09-10 | 2020-12-29 | 上海电力大学 | 一种基于改进ssd模型的目标检测方法 |
| CN112419297A (zh) * | 2020-12-04 | 2021-02-26 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动检测方法、装置、设备及存储介质 |
| CN112668644A (zh) * | 2020-12-28 | 2021-04-16 | 燕山大学 | 一种基于ssd改进算法的无人机航拍目标检测方法 |
| CN112837284A (zh) * | 2021-01-27 | 2021-05-25 | 南京林业大学 | 基于深度学习的螺栓松动小角度检测方法 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
-
2021
- 2021-09-14 CN CN202111072700.8A patent/CN113902680B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
| CN111259808A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 一种基于改进ssd算法的交通标识的检测识别方法 |
| CN112149533A (zh) * | 2020-09-10 | 2020-12-29 | 上海电力大学 | 一种基于改进ssd模型的目标检测方法 |
| CN112419297A (zh) * | 2020-12-04 | 2021-02-26 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动检测方法、装置、设备及存储介质 |
| CN112668644A (zh) * | 2020-12-28 | 2021-04-16 | 燕山大学 | 一种基于ssd改进算法的无人机航拍目标检测方法 |
| CN112837284A (zh) * | 2021-01-27 | 2021-05-25 | 南京林业大学 | 基于深度学习的螺栓松动小角度检测方法 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 廖雨婷;王慧琴;柴茜;卢英;马宗方;: "Adaboost算法在图像型火灾探测中的应用研究", 计算机应用与软件, no. 04, 15 April 2015 (2015-04-15) * |
| 栾浩;王力;姜敏;王冬冬;: "基于改进SSD的目标检测方法", 软件, no. 01, 15 January 2020 (2020-01-15) * |
| 高建瓴;孙健;王子牛;韩毓璐;冯娇娇;: "基于注意力机制和特征融合的SSD目标检测算法", 软件, no. 02, 15 February 2020 (2020-02-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975145A (zh) * | 2024-02-04 | 2024-05-03 | 兰州理工大学 | 一种基于改进ssd模型的目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902680B (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Research on face intelligent perception technology integrating deep learning under different illumination intensities | |
| Li et al. | Sewer pipe defect detection via deep learning with local and global feature fusion | |
| CN111275688A (zh) | 基于注意力机制的上下文特征融合筛选的小目标检测方法 | |
| CN108509954A (zh) | 一种实时交通场景的多车牌动态识别方法 | |
| CN106408015A (zh) | 基于卷积神经网络的岔路口识别及深度估计方法 | |
| CN103106265A (zh) | 相似图像分类方法及系统 | |
| CN112270331A (zh) | 一种基于yolov5改进的广告牌检测方法 | |
| Han et al. | Vision-based crack detection of asphalt pavement using deep convolutional neural network | |
| CN114202803A (zh) | 一种基于残差网络的多阶段人体异常动作检测方法 | |
| Sarmiento | Pavement distress detection and segmentation using YOLOv4 and DeepLabv3 on pavements in the Philippines | |
| Jiang et al. | A robust bridge rivet identification method using deep learning and computer vision | |
| CN115690668A (zh) | 基于图像语义分割算法的损伤识别技术 | |
| CN113902680A (zh) | 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法 | |
| Abras et al. | Machine learning based physics inference from high-fidelity solutions: vortex classification and localization | |
| Lu et al. | MSCNet: a framework with a texture enhancement mechanism and feature aggregation for crack detection | |
| CN104504265B (zh) | 一种在役桥梁监测信息安全评估的方法 | |
| Li et al. | A Deep Learning–Based Diagnosis Model Driven by Tuyere Images Big Data for Iron‐Making Blast Furnaces | |
| Li et al. | Gadet: A geometry-aware x-ray prohibited items detector | |
| CN117351409A (zh) | 混凝土坝面作业风险智能识别方法 | |
| Ji et al. | Bucket teeth detection based on faster region convolutional neural network | |
| Chen | Migration Learning‐Based Bridge Structure Damage Detection Algorithm | |
| Nhat-Duc et al. | Computer Vision-Based Severity Classification of Asphalt Pavement Raveling Using Advanced Gradient Boosting Machines and Lightweight Texture Descriptors | |
| Al-maqtari et al. | Lightweight Yet Effective: A Modular Approach to Crack Segmentation | |
| Endri et al. | Road damage detection utilizing convolution neural network and principal component analysis | |
| Zhang et al. | Analyzing influence of robustness of neural networks on the safety of autonomous vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |