CN111161260A - 一种基于深度学习的热轧带钢表面缺陷检测方法及装置 - Google Patents

一种基于深度学习的热轧带钢表面缺陷检测方法及装置 Download PDF

Info

Publication number
CN111161260A
CN111161260A CN202010002806.XA CN202010002806A CN111161260A CN 111161260 A CN111161260 A CN 111161260A CN 202010002806 A CN202010002806 A CN 202010002806A CN 111161260 A CN111161260 A CN 111161260A
Authority
CN
China
Prior art keywords
strip steel
defect detection
feature map
cascade
rcnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010002806.XA
Other languages
English (en)
Inventor
谢小东
贾鸿盛
毛尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010002806.XA priority Critical patent/CN111161260A/zh
Publication of CN111161260A publication Critical patent/CN111161260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明公开了一种基于深度学习的热轧带钢表面缺陷检测方法，所述检测方法包括：实时获取的待检测带钢表面图像；利用预先训练好的Cascade‑RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。本发明中，在实现高精度检测缺陷的基础上具有很高的实时性，能够满足实际生产中缺陷检测生产线对时间和效率的要求，有利于后期整个检测系统的搭建。

Description

一种基于深度学习的热轧带钢表面缺陷检测方法及装置
技术领域
本发明涉及机器视觉检测方法，更具体地说，涉及一种基于深度学习的热轧带钢表面缺陷检测方法及装置。
背景技术
目前，热轧带钢在生产过程中由于受到原材料、轧制工艺和系统控制等诸多技术因素的影响，其表面出现擦伤、边部裂纹系翘皮、表面划伤、精轧辊印、轧破、折叠、除鳞系铁皮等缺陷的情况时有发生。这些缺陷不仅会影响钢板表面的外观完整性，还会对带钢的耐磨性、抗腐蚀性、抗疲劳性和电磁特性等主要特性有不同程度的影响，同时还反应出产线机组的生产状态。因此及时检测钢板表面缺陷，对于提高带钢表面质量和产品经济效益、确定是否进行产线设备维护和避免事故扩大化具有重要意义。
钢厂内现有的热轧带钢表面缺陷检测技术，一般采用传统的模式识别方法，在工业相机获取钢板表面图片后，使用不同手段提取和处理缺陷特征，然后使用分类器对缺陷进行分类。缺陷类别判定准确度较低，缺陷详细位置定位准确度较低。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的热轧带钢表面缺陷检测方法及装置，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于深度学习的热轧带钢表面缺陷检测方法，所述检测方法包括：
实时获取的待检测带钢表面图像；
利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。
可选地，在训练所述Cascade-RCNN检测模型过程中，
将不同层卷积神经网络的特征图进行融合；
采用改进的Anchor进行区域提取；
将ROI Pooling替换为ROI Align。
可选地，训练所述Cascade-RCNN检测模型包括：
获取热轧带钢表面缺陷图像；
对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
将人工精确标注后的带钢表面缺陷图像划分为训练数据集和测试数据集；
利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
可选地，训练所述Cascade-RCNN检测模型还包括：
对所述训练数据集进行数据增强处理；所述增强处理包括以下至少之一：水平翻转、垂直翻转、旋转、对比度增强、亮度增强。
可选地，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图 Ci-1进行叠加，得到特征图Pi-1
对特征图P5进行降采样，得到特征图P6。
可选地，每层特征图上使用3个Anchors，共15个Anchors，Anchor的窗口面积尺寸分别为162、322、642、1282、2562，三种不同的长宽比例分别为1:1、1:2、2:1。
可选地，ROI Align的反向传播公式为：
Figure RE-GDA0002394590110000021
可选地，Cascade-RCNN检测模型的损失函数为：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
bt＝ft-1(xt-1,bt-1)
其中，L(xt,g)表示损失函数，Lcls是经典的交叉熵损失，g表示xt对应的真值，ht(xt)表示分类器函数，yt是xt的标号，λ表示折中系数，[·]表示指示函数，bt表示边界框，ft()表示回归器，Lloc是R-CNN中的L2损失函数。
为实现上述目的及其他相关目的，本发明提供一种基于深度学习的热轧带钢表面缺陷检测装置，所述检测装置包括：
图像获取模块，用于实时获取的待检测带钢表面图像；
缺陷检测模块，用于利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。
可选地，在训练所述Cascade-RCNN检测模型过程中，
将不同层卷积神经网络的特征图进行融合；
采用改进的Anchor进行区域提取；
将ROI Pooling替换为ROI Align。
可选地，训练所述Cascade-RCNN检测模型包括：
获取热轧带钢表面缺陷图像；
对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
将人工精确标注后的带钢表面缺陷图像划分为训练数据集和测试数据集；
利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
可选地，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图 Ci-1进行叠加，得到特征图Pi-1；
对特征图P5进行降采样，得到特征图P6。
如上所述，本发明的一种基于深度学习的热轧带钢表面缺陷检测方法及装置，具有以下有益效果：
1、本发明中，通过改进Cascade-RCNN的检测模型并优化训练方法来优化神经网络的参数以适应热轧带钢表面数据集；设计新的特征提取网络结构，对不同层特征图进行融合以及改进Anchor尺寸。对大小缺陷检测均达到准确率高、鲁棒性强。
2、本发明中，ROI Pooling替换为ROI Align，减少了因浮点数量化而导致的候选框偏差，使得最终小缺陷目标检测更加准确。
3、本发明中，在实现高精度检测缺陷的基础上具有很高的实时性，能够满足实际生产中缺陷检测生产线对时间和效率的要求，有利于后期整个检测系统的搭建。
附图说明
图1为本发明实施例提供的一种基于深度学习的热轧带钢表面缺陷检测方法的流程图；
图2为本发明实施例提供的训练构建及训练改进Cascade-RCNN的检测模型的流程示意图；
图3为本发明实施例中缺陷检测方法进行缺陷检测的效果示意图；(a)为表面划伤缺陷检测效果示意图，(b)为边部水印缺陷检测效果示意图，(c)为除磷系铁皮缺陷检测效果示意图， (d)为边部裂纹系翘皮缺陷检测效果示意图，(e)为板道系铁皮缺陷检测效果示意图，(f)为轧破缺陷检测效果示意图，(g)为铁皮灰缺陷检测效果示意图；
图4为本发明实施例提供的一种基于深度学习的热轧带钢表面缺陷检测装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明针对现有的无法对图像中多个、多类缺陷进行准确识别，也无法得到缺陷的精准位置的问题，提供一种基于深度学习的热轧带钢表面缺陷检测方法。如图1所示，具体包括：
S11实时获取的待检测带钢表面图像；
S12利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。其中，缺陷的相关参数包括：缺陷的类型、位置和尺寸
本发明实施例所述的热轧带钢表面缺陷检测方法，能够确定实时采集的带钢表面图像中每例缺陷的类型、位置和尺寸，对于提高带钢表面质量和产品经济效益、确定是否进行产线设备维护和避免事故扩大化具有重要意义。
本发明提供的缺陷检测方法的执行主体为质量检测装置，质量检测装置可以为终端设备、服务器等硬件设备，或者为硬件设备上的安装的软件。在步骤S11中，待检测的带钢表面图像可以通过高速线阵相机实时获取。
在S12利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷，就是将时实采集的待检测的带钢表面图像作为输入，输入到预先训练好的Cascade-RCNN缺陷检测模型中。
在一实施例中，在训练所述Cascade-RCNN检测模型过程中，将不同层卷积神经网络的特征图进行融合；采用改进的Anchor进行区域提取；将ROI Pooling替换为ROI Align。
其中，ROI Align的反向传播公式为：
Figure RE-GDA0002394590110000051
d(.)表示两点之间的距离，Δh和Δw表示点xi与点xi*(r,j)横纵坐标的差值，xi代表池化前特征图上的像素点，yrj代表池化后的第r个候选区域的第j个点；i*(r,j)代表点yrj像素值的来源(最大池化的时候选出的最大像素值所在点的坐标)。
在一实施例中，训练所述Cascade-RCNN检测模型包括：
S121获取热轧带钢表面缺陷图像；
S122对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
具体地，可以采用开源标注软件LabelImg进行标注。
S123将标注后的带钢表面缺陷图像划分为训练数据集和测试数据集。其中，训练数据集与测试数据集比例为1：9。
具体地，可以对训练数据集进行数据增强，对建立的缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数；其中，增强处理包括：水平翻转、垂直翻转、旋转、对比度增强、亮度增强操作中一种或多种。
S124利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
其中，所述检测网络参数包括特征图的数量、核大小、Anchor大小、步长、神经元数量、学习率以及训练迭代数。
在一实施例中，为了进一步优化Cascade-RCNN检测模型，可以使用测试数据集测试改进 Cascade-RCNN检测模型的性能。
缺陷检测模块训练好后，就可以利用其对实时采集的带钢表面图像中的每例缺陷进行分类和定位，并确定每例缺陷的尺寸。
在一实施例中，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图 Ci-1进行叠加，得到特征图Pi-1；
对特征图P5进行降采样，得到特征图P6。
具体地，在本实施例中，将每个阶段的最后一个残差结构输出的特征图定义为C2、C3、 C4、C5；
将特征图C5变换为特征图P5，对特征图P5进行上采样，将上采样的结果与特征图C4 进行叠加得到特征图P4；对特征图P4进行上采样，将上采样的结果与特征图C3进行叠加得到特征图P3，对特征图P3进行上采样，将上采样的结果与特征图C2进行叠加得到特征图P2；
将特征图P5进行降采样得到特征图P6。
在一实施例中，本实施例中，所述的区域提取网络RPN基于改进Anchor进行区域提取包括：每层特征图上使用3个Anchor，共15个Anchor，Anchor的窗口面积尺寸分别为162、322、 642、1282、2562三种不同的长宽比例分别为1:1、1:2、2:1。
在一实施例中，训练过程中的缺失函数公式为：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
bt＝ft-1(xt-1,bt-1)
其中，L(xt,g)表示损失函数，Lcls是经典的交叉熵损失，g表示xt对应的真值，ht(xt)表示分类器函数，yt是xt的标号，λ表示折中系数，[·]表示指示函数，bt表示边界框，ft()表示回归器，Lloc是R-CNN中的L2损失函数。
将真实图像数据，每个批次32张，X输入到检测模型中，输出高质量图像，计算函数损失L(xt,g)，进行反向传播并优化模型的参数。
重复上述步骤，迭代训练100次，训练过程中，检测网络参数包括特征图的数量、核大小、 Anchor大小、步长、神经元数量、学习率以及训练迭代数。
使用测试数据集测试改进Cascade-RCNN检测模型的性能；
本实施例中，可计算mAP(50)指标对检测模型进行性能评价。
图3(a)～(g)为使用本发明提供的缺陷检测方法进行缺陷检测的效果示意图。
如图4所示，本发明提供一种基于深度学习的热轧带钢表面缺陷检测装置，所述检测装置包括：
图像获取模块11，用于实时获取的待检测带钢表面图像；
缺陷检测模块12，用于利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。
在一实施例中，在训练所述Cascade-RCNN检测模型过程中，
将不同层卷积神经网络的特征图进行融合；
采用改进的Anchor进行区域提取；
将ROI Pooling替换为ROI Align。
在一实施例中，训练所述Cascade-RCNN检测模型包括：
获取热轧带钢表面缺陷图像；
对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
将人工精确标注后的带钢表面缺陷图像划分为训练数据集和测试数据集；
利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
在一实施例中，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图 Ci-1进行叠加，得到特征图Pi-1；
对特征图P5进行降采样，得到特征图P6。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，所述检测方法包括：
实时获取的待检测带钢表面图像；
利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。
2.根据权利要求1所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，在训练所述Cascade-RCNN检测模型过程中，
将不同层卷积神经网络的特征图进行融合；
采用改进的Anchor进行区域提取；
将ROIPooling替换为ROIAlign。
3.根据权利要求2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，训练所述Cascade-RCNN检测模型包括：
获取热轧带钢表面缺陷图像；
对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
将人工精确标注后的带钢表面缺陷图像划分为训练数据集和测试数据集；
利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
4.根据权利要求3所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，训练所述Cascade-RCNN检测模型还包括：
对所述训练数据集进行数据增强处理；所述增强处理包括以下至少之一：水平翻转、垂直翻转、旋转、对比度增强、亮度增强。
5.根据权利要求2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图Ci-1进行叠加，得到特征图Pi-1；
对特征图P5进行降采样，得到特征图P6。
6.根据权利要求5所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，每层特征图上使用3个Anchors，共15个Anchors，Anchor的窗口面积尺寸分别为162、322、642、1282、2562，三种不同的长宽比例分别为1:1、1:2、2:1。
7.根据权利要求2所述的带钢表面缺陷检测方法，其特征在于，ROI Align的反向传播公式为：
Figure FDA0002354128080000021
其中，d(.)表示两点之间的距离，Δh和Δw表示点xi与点xi*(r,j)横纵坐标的差值，xi代表池化前特征图上的像素点，yrj代表池化后的第r个候选区域的第j个点；i*(r,j)代表点yrj像素值的来源。
8.根据权利要求2所述的带钢表面缺陷检测方法，其特征在于，Cascade-RCNN检测模型的损失函数为：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
bt＝ft-1(xt-1,bt-1)；
L(xt,g)表示损失函数，Lcls是经典的交叉熵损失，g表示xt对应的真值，ht(xt)表示分类器函数，yt是xt的标号，λ表示折中系数，[·]表示指示函数，bt表示边界框，ft()表示回归器，Lloc是R-CNN中的L2损失函数。
9.一种基于深度学习的热轧带钢表面缺陷检测装置，其特征在于，所述检测装置包括：
图像获取模块，用于实时获取的待检测带钢表面图像；
缺陷检测模块，用于利用预先训练好的Cascade-RCNN缺陷检测模型对实时获取的带钢表面图像进行缺陷实时检测，确定带钢表面图像中的缺陷。
10.根据权利要求9所述的基于深度学习的热轧带钢表面缺陷检测装置，其特征在于，在训练所述Cascade-RCNN检测模型过程中，
将不同层卷积神经网络的特征图进行融合；
采用改进的Anchor进行区域提取；
将ROIPooling替换为ROIAlign。
11.根据权利要求10所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，训练所述Cascade-RCNN检测模型包括：
获取热轧带钢表面缺陷图像；
对每幅带钢表面缺陷图像的缺陷进行标注，标注信息包括：缺陷类型、缺陷位置；
将人工精确标注后的带钢表面缺陷图像划分为训练数据集和测试数据集；
利用所述训练数据集对缺陷检测网络进行训练，得到用于缺陷检测的检测网络参数。
12.根据权利要求10所述的基于深度学习的热轧带钢表面缺陷检测装置，其特征在于，所述将不同层卷积神经网络的特征图进行融合，包括：
将Cascade-RCNN检测模型中原有的提取特征图网络VGG替换成ResNet-101进行特征图提取；
将第i个阶段的最后一个残差结构输出的特征图定义为Ci,i＝2,3,4,5；
将特征图Ci进行变换得到特征图Pi,将特征图Pi进行上采样，将上采样的结果与特征图Ci-1进行叠加，得到特征图Pi-1；
对特征图P5进行降采样，得到特征图P6。
CN202010002806.XA 2020-01-02 2020-01-02 一种基于深度学习的热轧带钢表面缺陷检测方法及装置 Pending CN111161260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010002806.XA CN111161260A (zh) 2020-01-02 2020-01-02 一种基于深度学习的热轧带钢表面缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002806.XA CN111161260A (zh) 2020-01-02 2020-01-02 一种基于深度学习的热轧带钢表面缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN111161260A true CN111161260A (zh) 2020-05-15

Family

ID=70561322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002806.XA Pending CN111161260A (zh) 2020-01-02 2020-01-02 一种基于深度学习的热轧带钢表面缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN111161260A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833328A (zh) * 2020-07-14 2020-10-27 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN111968104A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN112183509A (zh) * 2020-12-01 2021-01-05 广州市玄武无线科技股份有限公司 一种基于目标检测的仓储稽核方法及系统
CN112508857A (zh) * 2020-11-17 2021-03-16 华南理工大学 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113822889A (zh) * 2021-11-24 2021-12-21 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN109902800A (zh) * 2019-01-22 2019-06-18 北京大学 基于拟反馈神经网络的多级骨干网络检测通用物体的方法
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110490842A (zh) * 2019-07-22 2019-11-22 同济大学 一种基于深度学习的带钢表面缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN109902800A (zh) * 2019-01-22 2019-06-18 北京大学 基于拟反馈神经网络的多级骨干网络检测通用物体的方法
CN110188724A (zh) * 2019-06-05 2019-08-30 中冶赛迪重庆信息技术有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110490842A (zh) * 2019-07-22 2019-11-22 同济大学 一种基于深度学习的带钢表面缺陷检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RANJIEWEN: "《详解ROI Align的基本原理和实现细节》", 《HTTPS://WWW.CNBLOGS.COM/RANJIEWEN/ARTICLES/8869703.HTML》 *
YANGYI_HUST: "《cascade R-CNN算法详解》", 《HTTPS://BLOG.CSDN.NET/WODUITAODONG2698/ARTICLE/DETAILS/85109546》 *
仲伟峰 等: "《旋转矩形区域的遥感图像舰船目标检测模型》", 《计算机辅助设计与图形学学报》 *
吴志洋 等: "《改进的多目标回归实时人脸检测算法》", 《计算机工程与应用》 *
贾鸿盛 等: "《基于类别和结构的工程图尺寸调整技术研究》", 《现代制造工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833328A (zh) * 2020-07-14 2020-10-27 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN111833328B (zh) * 2020-07-14 2023-07-25 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN111968104A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN112508857A (zh) * 2020-11-17 2021-03-16 华南理工大学 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN112508857B (zh) * 2020-11-17 2022-04-22 华南理工大学 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN112183509A (zh) * 2020-12-01 2021-01-05 广州市玄武无线科技股份有限公司 一种基于目标检测的仓储稽核方法及系统
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113628178B (zh) * 2021-07-30 2024-03-15 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113822889A (zh) * 2021-11-24 2021-12-21 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法
CN113822889B (zh) * 2021-11-24 2022-02-15 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111161260A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN110349126A (zh) 一种基于卷积神经网络带标记的钢板表面缺陷检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN109635806B (zh) 基于残差网络的电表数值识别方法
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
WO2022252348A1 (zh) 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN116993731B (zh) 基于图像的盾构机刀头缺陷检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: Building 1, No. 11, Huijin Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515