CN113269775B - 一种基于多尺度特征融合ssd的缺陷检测方法及设备 - Google Patents

一种基于多尺度特征融合ssd的缺陷检测方法及设备 Download PDF

Info

Publication number
CN113269775B
CN113269775B CN202110653005.4A CN202110653005A CN113269775B CN 113269775 B CN113269775 B CN 113269775B CN 202110653005 A CN202110653005 A CN 202110653005A CN 113269775 B CN113269775 B CN 113269775B
Authority
CN
China
Prior art keywords
layer
feature
ssd
defect
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110653005.4A
Other languages
English (en)
Other versions
CN113269775A (zh
Inventor
刘群坡
方源
魏萍
王满利
张建军
吴中华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202110653005.4A priority Critical patent/CN113269775B/zh
Publication of CN113269775A publication Critical patent/CN113269775A/zh
Application granted granted Critical
Publication of CN113269775B publication Critical patent/CN113269775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本申请的目的是提供一种多尺度特征融合SSD的缺陷检测方法及设备,本申请通过基于待检测缺陷特征确定SSD特征提取模型;获取目标图像;将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果,即在根据不同的待检测缺陷特征对SSD特征提取模型进行建模,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力,确保微精密玻璃封装电连接器缺陷检测精确度和效率。

Description

一种基于多尺度特征融合SSD的缺陷检测方法及设备
技术领域
本申请涉及计算机领域,尤其涉及一种基于多尺度特征融合SSD的缺陷检测方法及设备。
背景技术
现有技术中,微精密玻璃封装电连接器广泛应用于各种精密电子装备。它起着组件与组件之间进行电气连接和信号传递的重要功能,是保证整个系统可靠工作的重要基础元件。在生产过程中受工艺的影响表面会产生许多缺陷,从而严重影响产品质量。传统的检测依靠人工借助放大镜或者影像仪来检测,其检测精度低、工作量大。精密玻璃封装电连接器(简称为“微电连接器”)的绝缘体部分直径为2-5mm,主要有低温玻璃层、高温玻璃层和可伐合金柱组成。其中,低温玻璃由于密度较小、质地较为蓬松并且含有少量铅,在工业生产中极易因为温度把控不好产生气孔、缺块、黑点等缺陷,当制作的玻坯质量较差或烧结的工艺条件控制不佳时,烧结后玻璃的孔隙率较高。如果把有缺陷问题的玻璃封装电连接器装配应用,造成装配后的产品不可用或质量不好并需要返工,造成巨大的经济损失。传统的检测主要依靠人工借助放大镜或者影像仪完成,检测标准不一、工作量大、强度高,并且容易因为人为原因造成漏检和错检使得检测效率和精度低下。
传统目标检测方法需要使用图像处理的方法对缺陷进行特征提取,再将这些特征传入SVM进行训练,但是由于玻璃封装电连接器的缺陷特征微弱,并且表面有许多的噪声干扰,特征提取十分困难,并且检测精度和速度都很低。基于深度学习的目标检测算法具有自主学习缺陷特征的能力,具有很高的检测精度和速度。近年来随着深度学习技术在目标检测领域大放异彩,具有精度高、速度快特点,早期的一些传统的目标检测方法逐渐被淘汰。SSD算法是一种实时、高精度的目标检测算法,该算法最主要的特点是利用具有不同尺度的特征图进行目标的检测和识别,其主干特征提取网络是VGG 16。SSD在背景复杂、噪声干扰多、目标特征微弱环境下,存在特征提取能力弱、检测精度低的问题。
因此,基于SSD(Sing shot multibox detector)算法,改善SSD在背景复杂、噪声干扰多、目标特征微弱环境下,特征提取能力弱、检测精度低的问题从而提高微精密玻璃封装电连接器的缺陷检测精确度和效率是本领域技术人员需要继续研究的方向。
发明内容
本申请的一个目的是提供一种基于多尺度特征融合SSD的缺陷检测方法及设备,以解决现有技术中对微精密玻璃封装电连接器缺陷检测过程中特征提取能力弱、缺陷检测精度低的问题。
根据本申请的一个方面,提供了一种多尺度特征融合SSD的缺陷检测方法包括:
基于待检测缺陷特征确定SSD特征提取模型;
获取目标图像;
将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;
通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述基于待检测缺陷特征确定SSD特征提取模型,包括:
从SSD特征提取网络结构中的卷积层中确定特征预测层;
在低层的所述特征预测层构建深度残差结构;
对所述特征预测层进行特征层融合,并引入轻量级注意力机制得到SSD特征提取模型。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述从SSD特征提取网络结构中的卷积层中确定特征预测层,包括:
从所述SSD特征提取网络结构中的所述卷积层中确定conv4_3层、fc7层、conv6_2层、conv7_2层、conv8_2层、conv9_2层为特征预测层;
确定每个所述特征预测层的尺寸信息和通道数量。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述在低层的所述特征预测层构建深度残差结构,包括:
在Conv4层中增加跳线的连接方式,将所述目标图像的特征信息跳过原有的所述卷积层直接传递到原有的所述卷积层之后的所述卷积层,直至传递至低层的所述conv4_3层,得到基于所述Conv4层的所述深度残差结构。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述对所述特征预测层进行特征层融合,并引入轻量级注意力机制得到SSD特征提取模型,包括:
通过双线插值方法对所述特征预测层进行特征信息采样,在所述低层的所述特征预测层和中层的所述特征预测层之间利用对应元素求和方法进行特征层融合;
通过双线插值方法对所述特征预测层进行特征信息采样,在高层的所述特征预测层之间利用拼接模块方法进行特征层融合;
在特征层融合后的高层的所述特征预测层引入轻量级注意力机制得到所述SSD特征提取模型。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述通过双线插值方法对所述特征预测层进行特征信息采样,在所述低层的所述特征预测层和中层的所述特征预测层之间利用对应元素求和方法进行特征层融合,包括:
通过双线插值方法对所述fc7层和所述conv6_2进行特征信息采样;
利用1x1的卷积将所述fc7层调整至与所述conv4_3层相同的所述尺寸信息和所述通道数量,利用1x1的卷积将所述conv6_2层调整至与所述fc7层相同的所述尺寸信息和所述通道数量,并使用对应元素求和方法进行特征层融合。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述通过双线插值方法对所述特征预测层进行特征信息采样,在高层的所述特征预测层之间利用拼接模块方法进行特征层融合,包括:
在所述conv8_2层中通过双线插值方法进行特征信息采样,并利用拼接模块方法与所述conv7_2层进行特征层融合。
进一步地,上述多尺度特征融合SSD的缺陷检测方法中,所述在特征层融合后的高层的所述特征预测层引入轻量级注意力机制得到所述SSD特征提取模型,包括:
在特征层融合后的高层的所述conv7_2层引入轻量级注意力机制得到所述SSD特征提取模型。
根据本申请的另一方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理执行时,使所述处理器实现如上述多尺度特征融合SSD的缺陷检测方法。
根据本申请的另一方面,还提供了设备,该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述多尺度特征融合SSD的缺陷检测方法。
与现有技术相比,本申请通过基于待检测缺陷特征确定SSD特征提取模型;获取目标图像;将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果,即在根据不同的待检测缺陷特征对SSD特征提取模型进行建模,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力,确保微精密玻璃封装电连接器缺陷检测精确度和效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种多尺度特征融合SSD的缺陷检测方法的流程示意图;
图2示出根据本申请一个方面的一种多尺度特征融合SSD的缺陷检测方法的检测结果图;
图3示出根据本申请一个方面的一种多尺度特征融合SSD的缺陷检测方法中深度残差结构示意图;
图4示出根据本申请一个方面的一种多尺度特征融合SSD的缺陷检测方法的SDD模型结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit,CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change RAM,PRAM)、静态随机存取存储器(Static Random Access Memory,SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disk,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种多尺度特征融合SSD的缺陷检测方法的流程示意图,该方法适用于精密仪器缺陷检测,包括但不限于微精密玻璃封装电连接器,该方法包括步骤S1、步骤S2、步骤S3及步骤S4,其中,具体包括:
步骤S1,基于待检测缺陷特征确定SSD特征提取模型;在此,所述待检测缺陷特征用于指示工业制造中不同的待检测对象的缺陷类型与特点。例如:玻璃封装电连接器,外层低温玻璃上容易出现孔洞缺陷,同时还会存在表面裂缝、交界处裂缝、气泡、以及黑点杂质等缺陷。其中黑点杂质广泛分布在玻璃端子各处,所以玻璃封装电连接器上产生的缺陷特征微弱,表面有许多的噪声干扰,特征提取难度较大。
步骤S2,获取目标图像;
步骤S3,将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;
步骤S4,通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果。
上述步骤S1至步骤S4,通过基于待检测缺陷特征确定SSD特征提取模型;然后,获取目标图像;将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;最后通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果,即根据不同的待检测缺陷特征对SSD特征提取模型进行建模,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高微精密玻璃封装电连接器缺陷检测过程中的特征提取能力,确保微精密玻璃封装电连接器缺陷检测精确度和效率。
例如,对微精密玻璃封装电连接器的缺陷进行检测,首先基于微精密玻璃封装电连接器的缺陷特征确定SSD特征提取模型M;使用MVP400CNC自动影像测量仪所携带的CCD540TVL(高分辨率B/W黑白摄像机)来获取玻璃封装电连接器的图像即目标图像P1、P2、P3......P59,共59张,按照6:2:2的比例对所述目标图像进行划分,玻璃端子训练、验证集共48张样本,测试集11张。通过镜像、旋转、缩放、仿射变换、平移、高斯噪声等方法对数据集进行数据增强,从而增加训练的数据量和噪声数据,从而提高模型的泛化能力和鲁棒性,进行数据增强后的所述目标图像共有2236张。然后,将所述目标图像P1、P2、P3......P2236放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集N;最后通过非极大值抑制方法对所述缺陷特征图集N进行目标定位和检测,得到缺陷检测结果,玻璃端子的缺陷种类及个数为:孔洞212、缺块138、表面裂缝92、交界处裂缝152、气泡132、黑点杂质360。使用mAP指标来评估算法的性能得到该方法与经典的Faster-rcnn、YOLO v3等算法相比平均精度较高,并且在检测速度方面,明显快于其他检测方法。从图2可知,本发明不仅能够精准的检测到单个缺陷,而且在目标重叠的情况下也具有很高的精确度。
接着本申请的上述实施例,所述步骤S1基于待检测缺陷特征确定SSD特征提取模型,包括:
步骤S11,从SSD特征提取网络结构中的卷积层中确定特征预测层。在此,所述预测层用于提取不同的特征信息。
步骤S12,在低层的所述特征预测层构建深度残差结构;在此,在低层网络的特征预测层可以提取到大量的细节信息比如目标的轮廓边界、纹理等用于检测较小的目标,在高层网络的特征预测层可以提取到丰富的语义信息,用于检测较大的目标。在特征提取网络中,特征的传递路径是逐层的向后传递,缺陷特征会随着网络深度的不断加深丢失部分信息。低层的所述特征预测层包含的细节信息较少,不足以支撑卷积神经网络提取特征,所以在低层的所述特征预测层构建深度残差结构,有利于丰富其信息量。
步骤S13,对所述特征预测层进行特征层融合,并引入轻量级注意力机制得到SSD特征提取模型。在此,进行特征层融合有利于加强深层特征信息,使得融合后的特征层包含丰富的边界信息和背景信息,提高检测的精度。引入轻量级注意力机制用强化重要的特征抑制非重要的特征,从而提高SSD特征提取模型的精确度和速度。
例如:璃封装电连接器缺陷检测过程中,存在微精密玻璃封装电连接器缺陷像素点占比小,易受到周围高光、高噪声、复杂纹理背景等问题,通过设计深度残差结构、自顶向下的多尺度特征融合、构建轻量级通道注意力机制,对原有的所述SSD特征提取模型进行了改进,避免了关键特征信息丢失,提高了提取缺陷特征的精确度和效率。
接着本申请的上述实施例,步骤S11从SSD特征提取网络结构中的卷积层中确定特征预测层,包括:
从所述SSD特征提取网络结构中的所述卷积层中确定conv4_3层、fc7层、conv6_2层、conv7_2层、conv8_2层、conv9_2层为特征预测层;
确定每个所述特征预测层的尺寸信息和通道数量。在此,所述尺寸信息包括输出特征图的宽度和高度。
接着本申请的上述实施例,所述步骤S12在低层的所述特征预测层构建深度残差结构,包括:
在Conv4层中增加跳线的连接方式,将所述目标图像的特征信息跳过原有的所述卷积层直接传递到原有的所述卷积层之后的所述卷积层,直至传递至低层的所述conv4_3层,得到基于所述Conv4层的所述深度残差结构。采用残差网络中“跳线”的连接方法,可以改变特征在网络中传递方式,从而使得特征信息可以跳过原有的卷积层直接传递到后面的网络层中,有效的缓解了因为卷集层数过多而导致的梯度消失问题,但是过多的上下文联系会使得环境噪声的影响增加。所以,适当的引入上下信息可以既保证小尺度目标信息细节的丰富程度又使得环境噪声不会过多的影响检测的效果。
例如:在Conv4层引入残差结构后的网络结构如图3所示,虚线即为在在Conv4层中增加的跳线结构,使得特征信息可以跳过原有的卷积层直接传递到后面的卷积层中,丰富了低层的预测层conv4_3层的特征信息,有利于特征信息的提取。
接着本申请的上述实施例,所述步骤S13对所述特征预测层进行特征层融合,并引入轻量级注意力机制得到SSD特征提取模型,包括:
步骤S131,通过双线插值方法对所述特征预测层进行特征信息采样,在所述低层的所述特征预测层和中层的所述特征预测层之间利用对应元素求和方法进行特征层融合;在此,双线性插值是进行两次线性变换,相比其他上采集方法(反卷积和最邻近插值),双线性插值既不会出现“不均匀的重叠”也很好的避免了放大后图像会出现锯齿状,从而提高特征检测的精确度。由于SSD的特征提取网络结构中的低层和中层包含的细节信息丰富,通道数较多,应采用对应元素相加方法进行特征层融合,避免复杂的计算,从而提高特征检测效率和精确度。
步骤S132,通过双线插值方法对所述特征预测层进行特征信息采样,在高层的所述特征预测层之间利用拼接模块方法进行特征层融合;在此,高层的特征预测层具有高语义特征,通道数较少,虽然信息量少,但大多都是关键信息应该使用拼接模块方法进行特征层融合,最有效的丰富其特征信息量。
步骤S132,在特征层融合后的高层的所述特征预测层引入轻量级注意力机制得到所述SSD特征提取模型。在此,高层的特征预测层具有高语义特征,通道数较少,特征信息量少,所以利用注意力机制更准确提取特征,从而提高检测准确度。
例如:如图4所示,首先,通过双线插值方法对所述fc7层和所述conv6_2进行特征信息采样后利用1x1的卷积将所述fc7层调整至与所述conv4_3层相同的所述尺寸信息和所述通道数量,利用1x1的卷积将所述conv6_2层调整至与所述fc7层相同的所述尺寸信息和所述通道数量,并使用对应元素求和方法进行特征层融合。然后,在所述conv8_2层中通过双线插值方法进行特征信息采样,并利用拼接模块方法与所述conv7_2层进行特征层融合。最后,在特征层融合后的高层的所述conv7_2层引入轻量级注意力机制得到所述SSD特征提取模型。即本发明引入特征金字塔结构对特征层进行融合,并使用双线性插值方法代替最邻近榨汁方法来避免信息丢失;最后引入轻量级注意力机制,强化提取到的重要特征,抑制非重要特征,从而精准的检测到微精密玻璃端子的缺陷。
根据本申请的另一个方面,还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述控制用户对垒方法。
根据本申请的另一个方面,还提供了一多尺度特征融合SSD的缺陷检测设备,该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述在设备上控制用户对垒方法。
在此,所述设备的各实施例的详细内容,具体可参见上述设备端的控制用户对垒方法实施例的对应部分,在此,不再赘述。
综上所述,本申请通过基于待检测缺陷特征确定SSD特征提取模型;获取目标图像;将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果,即在根据不同的待检测缺陷特征对SSD特征提取模型进行建模,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力,确保微精密玻璃封装电连接器缺陷检测精确度和效率。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (8)

1.一种多尺度特征融合SSD的缺陷检测方法,其特征在于,所述方法包括:
基于待检测缺陷特征确定SSD特征提取模型,包括:
从SSD特征提取网络结构中的卷积层中确定特征预测层;
在低层的所述特征预测层构建深度残差结构;
对所述特征预测层进行特征层融合,并引入轻量级注意力机制得到SSD特征提取模型,包括:通过双线插值方法对所述特征预测层进行特征信息采样,在所述低层的所述特征预测层和中层的所述特征预测层之间利用对应元素求和方法进行特征层融合;通过双线插值方法对所述特征预测层进行特征信息采样,在高层的所述特征预测层之间利用拼接模块方法进行特征层融合;在特征层融合后的高层的所述特征预测层引入轻量级注意力机制得到所述SSD特征提取模型;
获取目标图像;
将所述目标图像放入所述SSD特征提取模型中进行缺陷特征提取,得到缺陷特征图集;
通过非极大值抑制方法对所述缺陷特征图集进行目标定位和检测,得到缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述从SSD特征提取网络结构中的卷积层中确定特征预测层,包括:
从所述SSD特征提取网络结构中的所述卷积层中确定conv4_3层、fc7层、conv6_2层、conv7_2层、conv8_2层、conv9_2层为特征预测层;
确定每个所述特征预测层的尺寸信息和通道数量。
3.根据权利要求2所述的方法,其特征在于,所述在低层的所述特征预测层构建深度残差结构,包括:
在Conv4层中增加跳线的连接方式,将所述目标图像的特征信息跳过原有的所述卷积层直接传递到原有的所述卷积层之后的所述卷积层,直至传递至低层的所述conv4_3层,得到基于所述Conv4层的所述深度残差结构。
4.根据权利要求3所述的方法,其特征在于,所述通过双线插值方法对所述特征预测层进行特征信息采样,在所述低层的所述特征预测层和中层的所述特征预测层之间利用对应元素求和方法进行特征层融合,包括:
通过双线插值方法对所述fc7层和所述conv6_2进行特征信息采样;
利用1x1的卷积将所述fc7层调整至与所述conv4_3层相同的所述尺寸信息和所述通道数量,利用1x1的卷积将所述conv6_2层调整至与所述fc7层相同的所述尺寸信息和所述通道数量,并使用对应元素求和方法进行特征层融合。
5.根据权利要求3所述的方法,其特征在于,所述通过双线插值方法对所述特征预测层进行特征信息采样,在高层的所述特征预测层之间利用拼接模块方法进行特征层融合,包括:
在所述conv8_2层中通过双线插值方法进行特征信息采样,并利用拼接模块方法与所述conv7_2层进行特征层融合。
6.根据权利要求3所述的方法,其特征在于,所述在特征层融合后的高层的所述特征预测层引入轻量级注意力机制得到所述SSD特征提取模型,包括:
在特征层融合后的高层的所述conv7_2层引入轻量级注意力机制得到所述SSD特征提取模型。
7.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如权利要求1至6中任一项所述的方法。
8.一种基于多尺度特征融合SSD的缺陷检测设备,其特征在于,该设备包括:
一个或多个处理器;
计算机可读介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
CN202110653005.4A 2021-06-11 2021-06-11 一种基于多尺度特征融合ssd的缺陷检测方法及设备 Active CN113269775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110653005.4A CN113269775B (zh) 2021-06-11 2021-06-11 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110653005.4A CN113269775B (zh) 2021-06-11 2021-06-11 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Publications (2)

Publication Number Publication Date
CN113269775A CN113269775A (zh) 2021-08-17
CN113269775B true CN113269775B (zh) 2022-10-28

Family

ID=77234825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110653005.4A Active CN113269775B (zh) 2021-06-11 2021-06-11 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Country Status (1)

Country Link
CN (1) CN113269775B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516661B (zh) * 2021-09-15 2022-02-08 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113793332B (zh) * 2021-11-15 2022-02-08 山东德普检测技术有限公司 一种实验仪器缺陷识别分类方法及系统
CN115965571B (zh) * 2022-04-28 2023-08-22 锋睿领创(珠海)科技有限公司 增量自主学习的多源信息融合检测、模型训练方法和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768398A (zh) * 2020-07-06 2020-10-13 北京瑞莱智慧科技有限公司 光伏组件的缺陷检测方法、装置、存储介质和计算设备
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921990B2 (ja) * 2012-08-23 2016-05-24 株式会社ニューフレアテクノロジー 欠陥検出方法
KR102576394B1 (ko) * 2018-09-18 2023-09-08 삼성전자주식회사 반도체 다이의 결함 검출 구조물, 이를 포함하는 반도체 장치 및 반도체 다이의 결함 검출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质
CN111768398A (zh) * 2020-07-06 2020-10-13 北京瑞莱智慧科技有限公司 光伏组件的缺陷检测方法、装置、存储介质和计算设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An Accurate and Real-Time Surface Defects Detection Method for Sawn Lumber;Yaxin Tu et al.;《IEEE Transactions on Instrumentation and Measurement》;20201120;第1-11页 *
High Efficient Single-stage Steel Surface Defect Detection;Fityanul Akhyar et al.;《2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》;20191125;第1-4页 *
基于深度学习的织物瑕疵小目标检测技术研究;赵亚男;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20200215(第2期);第B024-95页 *

Also Published As

Publication number Publication date
CN113269775A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269775B (zh) 一种基于多尺度特征融合ssd的缺陷检测方法及设备
CN110378398B (zh) 一种基于多尺度特征图跳跃融合的深度学习网络改进方法
CN111679142A (zh) 一种便携式输变电设备红外智能诊断装置及方法
CN111754546A (zh) 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN113466839B (zh) 侧扫声呐海底线检测方法和装置
CN114240969A (zh) 基于条纹多视野卷积网络的多线激光图像缺陷分割方法
CN117456198A (zh) 一种基于改进的Yolov5神经网络的输电线路故障检测方法
CN114119445A (zh) 一种基于自动x射线成像的焊盘空洞率计算方法
CN114065868B (zh) 文本检测模型的训练方法、文本检测方法及装置
Huang et al. Neighborhood correlation enhancement network for PCB defect classification
CN116205989A (zh) 基于激光雷达与相机融合的目标检测方法、系统及设备
CN113642398A (zh) 空间区域识别的方法及装置
Zan et al. Defect Identification of Power Line Insulators Based on a MobileViT‐Yolo Deep Learning Algorithm
CN114820613B (zh) 一种smt贴片加工用来料测量及定位方法
CN111967342B (zh) 平面参数设置的方法、装置、电子装置和存储介质
CN117853482B (zh) 一种基于多尺度的复合材料缺陷检测方法和设备
CN116182807B (zh) 一种姿态信息确定方法、装置、电子设备、系统和介质
Liu et al. MPGI‐Terminal defect detection based on M‐FRCNN
CN112801082B (zh) 图像的采样方法、装置及电子设备
WO2024044947A1 (zh) 缺陷检测的方法、装置和计算机可读存储介质
Ang et al. CSSD-YOLO: A Modified YOLOv5 Method for Solder Joint Defect Detection
CN116958888A (zh) 绝缘子检测方法、装置、计算机设备和存储介质
CN117252845A (zh) 玻璃检测方法、装置、设备及介质
CN117541979A (zh) 基于全局特征学习的行人重识别方法和模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant