CN111223083A - 表面划痕检测神经网络的构建方法、系统、装置及介质 - Google Patents

表面划痕检测神经网络的构建方法、系统、装置及介质 Download PDF

Info

Publication number
CN111223083A
CN111223083A CN202010008443.0A CN202010008443A CN111223083A CN 111223083 A CN111223083 A CN 111223083A CN 202010008443 A CN202010008443 A CN 202010008443A CN 111223083 A CN111223083 A CN 111223083A
Authority
CN
China
Prior art keywords
module
neural network
network
image
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010008443.0A
Other languages
English (en)
Other versions
CN111223083B (zh
Inventor
王永斌
刘廉如
张忠平
丁雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Original Assignee
Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yitong Century Internet Of Things Research Institute Guangzhou Co ltd filed Critical Yitong Century Internet Of Things Research Institute Guangzhou Co ltd
Priority to CN202010008443.0A priority Critical patent/CN111223083B/zh
Publication of CN111223083A publication Critical patent/CN111223083A/zh
Application granted granted Critical
Publication of CN111223083B publication Critical patent/CN111223083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种表面划痕检测神经网络的构建方法、系统、装置及介质。该方法通过获取物体表面带有划痕的图像数据，基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；然后通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；最终通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络。该系统包括获取单元、筛选单元、构建单元和训练单元。通过使用本发明中的方法，识别出有划痕缺陷的物体图像，并且在网络复杂度低的同时实现了少量样本训练与高精度的检测。本发明可广泛应用于图像识别技术领域内。

Description

表面划痕检测神经网络的构建方法、系统、装置及介质
技术领域
本发明涉及图像识别技术领域，尤其是一种表面划痕检测神经网络的构建方法、系统、装置及介质。
背景技术
随着深度学习领域的快速发展，自动表面缺陷检测技术成为了工业应用上的重要检测技术。但是由于一般的工业实际生产中只能提供较少的缺陷样本，因此如何利用有限的样本得到所需要的特征进行训练，构建出合适的模型达到较高的精度是一个重要问题。
而现有的基于深度学习的物体表面缺陷检测技术，在追求检测精度的过程中，往往存在计算量大和训练困难等问题。如LBP特征提取方法，虽然在数据量较少的情况下能较好地提取图像的信息，但是算法计算复杂量大，在计算对应关系的时候难以选取合适的稀疏字典。而基于卷积神经网络的方法中，则通常是在浅层网络的基础上加深网络深度，以更复杂的网络来提高检测的精度，但这却降低了网络的训练效率，检测费时很长。目前，现有方案中还缺少一种良好的神经网络构建技术，以用于解决以上问题。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供一种表面划痕检测神经网络的构建方法，该方法构建的神经网络能够识别出有划痕缺陷的物体图像，并且在网络复杂度低的同时实现了少量样本训练与高精度的检测。
本发明实施例的另一个目的在于提供一种表面划痕检测神经网络的构建系统。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
第一方面，本发明实施例提供了一种表面划痕检测神经网络的构建方法，包括以下步骤：
获取物体表面带有划痕的图像数据，基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络；
其中，所述特征提取模块用于提取所述划痕图像样本的高频信息，并将结果输入到分割网络模块；所述分割网络模块用于对所述划痕图像样本进行像素级别的语义分割，并将结果输入到决策网络模块；所述决策网络模块用于输出特征向量。
另外，根据本发明上述实施例的表面划痕检测神经网络的构建方法，还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述特征提取模块包括粗糙提取子模块和局部残差子模块，所述粗糙提取子模块提取的粗糙图像特征信息用于输入到局部残差子模块。
进一步地，在本发明的一个实施例中，所述粗糙提取子模块包括两个卷积核大小为3×3的卷积层。
进一步地，在本发明的一个实施例中，所述特征提取模块还包括注意力子模块；
所述局部残差子模块对接收到的所述粗糙图像特征信息进行处理，得到残差图像特征信息，并将所述残差图像特征信息传递给对应的注意力子模块；
将所述残差图像特征信息在注意力子模块中与注意力掩模点乘操作，提取得到关注区域特征信息；
将所述关注区域特征信息和残差图像特征信息进行融合，并输入到所述分割网络模块。
进一步地，在本发明的一个实施例中，在所述局部残差子模块设置至少两个卷积层，并剔除批量标准化层；
在所述局部残差子模块中使用LeakyReLu函数作为激活函数。
进一步地，在本发明的一个实施例中，在所述分割网络模块中设置九个卷积层，其中前八个卷积层的卷积核大小为3×3，最后一个卷积层卷积核的大小为15x15；
在所述分割网络模块中的每个所述卷积层后设置批量标准化层和ReLU激活层。
进一步地，在本发明的一个实施例中，在所述决策网络模块中，对输入的图像特征信息分别进行最大池化和均值池化；
通过concat函数对最大池化得到的结果和均值池化得到的结果进行深度融合；
将融合后的结果输入到全连接层，按照通道维度拼接并输出最终的向量结果。
第二方面，本发明实施例提出了一种表面划痕检测神经网络的构建系统，包括：
获取单元，用于获取物体表面带有划痕的图像数据；
筛选单元，用于基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
构建单元，用于通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
训练单元，用于通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络。
第三方面，本发明实施例提供了一种表面划痕检测神经网络的构建装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的表面划痕检测神经网络的构建方法。
第四方面，本发明实施例还提供了一种介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的表面划痕检测神经网络的构建方法。
本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
本发明实施例的神经网络能够有效适用于工业图像中样本少、特征少、图像分辨率低等情况下的划痕检测，所述神经网络降低了网络的复杂性、减少网络深度的同时保证了训练结果的精确性，提高了划痕检测的效率。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明一种表面划痕检测神经网络的构建方法具体实施例的流程示意图；
图2为本发明一种表面划痕检测神经网络具体实施例的模块框图；
图3为本发明一种表面划痕检测神经网络具体实施例的局部残差子模块结构示意图；
图4为本发明一种表面划痕检测神经网络具体实施例的注意力子模块结构示意图；
图5为本发明一种表面划痕检测神经网络的构建系统具体实施例的结构框图；
图6为本发明一种表面划痕检测神经网络的构建装置具体实施例的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
下面参照附图详细描述根据本发明实施例提出的表面划痕检测神经网络的构建方法和系统，首先将参照附图描述根据本发明实施例提出的表面划痕检测神经网络的构建方法。
参照图1，本发明实施例中所述的表面划痕检测神经网络的构建方法，主要包括以下步骤：
S1：获取物体表面带有划痕的图像数据，基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
S2：通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
S3：通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络。
本发明实施例的步骤S1中，首先获取物体表面带有划痕的图像数据，由于不同的图像数据所具有的图像分辨率不同，即图像中存储的信息量程度不一。所述图像分辨率指用“水平像素数×垂直像素数”来表示成像或显示系统对图像细节的分辨能力，分辨率的单位叫做像素每英寸(Pixels Per Inch，简称PPI)，用来表示每英寸图像内有多少个像素点。通常情况下，图像的分辨率越高，表示图像中包含的细节越多，提供的信息量越大。在检测物体表面划痕时可以从工业上采集的样本图片着手，优先选择信息更丰富的图片样本。其实施手段主要包括：在进行工业图片采集时，可以选择性能较高的硬件设施，从而可以有效提高样本图片的分辨率，包括使用高精度仪器、传感器以及微处理器芯片等方式；另外，还可以基于预设的分辨率阈值对图像数据进行筛选，筛选出较高分辨率的图像，这样可以重点处理图像的高频信息，有效提高后续训练的进程速度，大大节约训练检测模型的成本。
参照图2，本发明实施例中，构建的神经网络结构主要分为三个部分：特征提取模块101、分割网络模块102和决策网络模块103。其中，特征提取模块101是为了从经过分辨率阈值进行筛选后的图像数据中提取出图像的高频信息，这些提取出的图像特征信息将会为下一步的网络训练奠定基础。
进一步作为优选的实施方式，所述特征提取模块101包括粗糙提取子模块1011和局部残差子模块1012，所述粗糙提取子模块1011提取的粗糙图像特征信息用于输入到局部残差子模块1012。
进一步作为优选的实施方式，所述粗糙提取子模块1011包括两个卷积核大小为3×3的卷积层。
进一步作为优选的实施方式，所述特征提取模块101还包括注意力子模块1013；
所述局部残差子模块1012对接收到的所述粗糙图像特征信息进行处理，得到残差图像特征信息，并将所述残差图像特征信息传递给对应的注意力子模块1013；
将所述残差图像特征信息在注意力子模块1013中与注意力掩模点乘操作，提取得到关注区域特征信息；
将所述关注区域特征信息和残差图像特征信息进行融合，并输入到所述分割网络模块102。
进一步作为优选的实施方式，在所述局部残差子模块1012设置至少两个卷积层，并剔除批量标准化层；
在所述局部残差子模块1012中使用LeakyReLu函数作为激活函数。
本发明实施例中，粗糙提取子模块1011的结构主要包括两个卷积层，该模块的主要作用是完成对图像特征信息的初步粗提取；而对于图像边缘、纹理等更加细致不易提取的特征，本发明实施例中通过局部残差子模块1012实现。局部残差子模块1012在保留输入图像特征上有着很好的应用，得到的残差图像特征信息可以为接下来的神经网络训练提供基础，借助分割网络模块102训练特征图。更为优选的是，本发明实施例中还可以通过多个局部残差子模块1012的级联，将每个局部残差子模块1012处理得到的结果进行筛选，然后再送入分割网络模块102中进行训练。
参照图3，本发明实施例中的局部残差子模块1012并不相同与现有技术中常用的类型，如图3所示，(a)和(b)分别是传统ResNet网络和常用的SRResNet网络中的残差模块结构，(c)为本发明实施例中的局部残差子模块1012。不同于目前常用的残差模块设计，本发明将(a)和(b)里中间过程的批量标准化(Batch Normalization，BN)层去掉，使得神经网络提取的特征分布范围更广。另一方面，本发明实施例中同时将激活函数从ReLu函数替换成了LeakyReLu函数，有效避免了Relu函数对负数结果的抑制。局部残差子模块1012的工作流程如下，输入数据首先经过卷积层进行卷积操作，然后利用LeakyReLu激活函数进行处理，最后再经过另一个卷积层，得到残差输出的部分，残差输出与残差模块的输入数据融合即可得到最终的输出数据。
参照图4，本发明实施例中的注意力子模块1013的组成结构。其中，最左侧“1”层表示特征提取层，中间若干“2”层表示映射层，最右侧的“3”层表示构造层，S表示Sigmod激活函数，X表示施加注意力掩模后点乘所得的结果。
进一步作为优选的实施方式，在所述分割网络模块中设置九个卷积层，其中前八个卷积层的卷积核大小为3×3，最后一个卷积层卷积核的大小为15x15；
在所述分割网络模块中的每个所述卷积层后设置批量标准化层和ReLU激活层。
进一步作为优选的实施方式，在所述决策网络模块中，对输入的图像特征信息分别进行最大池化和均值池化；
通过concat函数对最大池化得到的结果和均值池化得到的结果进行深度融合；
将融合后的结果输入到全连接层，按照通道维度拼接并输出最终的向量结果。
本发明实施例中，分割网络模块包含了9个卷积层与3个池化层，为了优化学习加快训练的收敛，设置了批量标准化层BN层与ReLU激活层，在每个卷积层后面进行处理，前面的卷积层都采用3x3大小的卷积核，最后一个卷积层的卷积核大小为15x15。然后再通过使用1x1的卷积，得到原图八分之一大小的图像，并且进行正则化处理。决策网络模块用分割网络模块的输出作为输入，通过全局最大池化与均值池化输出生成得到相应的输出向量，并进行深度融合后输入到全连接层得到最后的向量结果，上述的实施方式可以有效解决模型的过拟合问题以及卷积特征参数过多的问题。
当下大多数基于卷积神经网络的方法中的损失函数采用均方误差来定义，但是构造出模型会出现过度平滑的问题，因此，在本发明实施例中，损失函数由平均绝对误差(Mean Absolute Error，MAE)来定义。具体地，本发明的损失函数表示如下：
Figure BDA0002356202910000061
其中，n表示样本的数量，L(Θ)代表模型的平均损失，G(Yi,Θ)代表模型的预测情况，Xi代表原始图像的真实值，Θ代表神经网络参数，Yi表示预测的缺陷检测图像结果。
本发明实施例的有益效果包括但不限于：
1)基于少样本的网络训练
本发明针对工业中样本少，特征少，图像分辨率低，如何标注等实际问题出发，通过少样本、高精度的训练，结合卷积神经网络构造的网络模型，比常规的训练网络更适合解决工业缺陷问题。
2)残差模块提升网络性能
相比于其他网络，本发明设计的每个模块对于最终图像缺陷检测均有信息贡献，而不是仅仅取决于最后一层模块产生的影响。通过融合级联的残差模块结果可以充分学习到网络结构上下文信息，为后续图片训练奠定基础。
3)注意力机制筛选出划痕出现区域
为了可以很好的从输入图像中定位到划痕极大可能出现的区域，本发明将注意力机制引入到卷积神经网络中。通过设计注意力子模块可以很好的从输入图像中提取出划痕极大可能出现的区域。在注意力子模块中，通过设置Sigmod激活函数可以获取注意力掩模(数值分布在0-1之间)，对输入图像进行局部区域的加强和弱化的判断可以通过与输入的图像的点乘结果进行比较，从而提取到重点需要关注处理的区域。
4)网络深度和训练参数的减少
实现网络训练参数减少的有效方式可以通过使用小的卷积核，但与此同时需要满足针对输入图像满足足够大的视野域这一要求。本发明在满足视野域后采用一些小卷积核的卷积层，通过全局最大池化与卷积层实现了不同的快捷路径，有效阻止了网络复杂性，减少网络深度的同时不会降训练结果。
其次，参照附图描述根据本发明实施例提出的表面划痕检测神经网络的构建系统。
图5是本发明一个实施例的表面划痕检测神经网络的构建系统结构示意图。
所述系统具体包括：
获取单元201，用于获取物体表面带有划痕的图像数据；
筛选单元202，用于基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
构建单元203，用于通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
训练单元204，用于通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图6，本发明实施例提供了一种表面划痕检测神经网络的构建装置，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器301执行时，使得所述至少一个处理器301实现所述的表面划痕检测神经网络的构建方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器301可执行的指令，所述处理器301可执行的指令在由处理器301执行时用于执行所述的表面划痕检测神经网络的构建方法。
同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的物体销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件物体的形式体现出来，该计算机软件物体存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.表面划痕检测神经网络的构建方法，其特征在于，包括以下步骤：
获取物体表面带有划痕的图像数据，基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络；
其中，所述特征提取模块用于提取所述划痕图像样本的高频信息，并将结果输入到分割网络模块；所述分割网络模块用于对所述划痕图像样本进行像素级别的语义分割，并将结果输入到决策网络模块；所述决策网络模块用于输出特征向量。
2.根据权利要求1所述的表面划痕检测神经网络的构建方法，其特征在于，所述特征提取模块包括粗糙提取子模块和局部残差子模块，所述粗糙提取子模块提取的粗糙图像特征信息用于输入到局部残差子模块。
3.根据权利要求2所述的表面划痕检测神经网络的构建方法，其特征在于，所述粗糙提取子模块包括两个卷积核大小为3×3的卷积层。
4.根据权利要求2所述的表面划痕检测神经网络的构建方法，其特征在于，所述特征提取模块还包括注意力子模块；
所述局部残差子模块对接收到的所述粗糙图像特征信息进行处理，得到残差图像特征信息，并将所述残差图像特征信息传递给对应的注意力子模块；
将所述残差图像特征信息在注意力子模块中与注意力掩模点乘操作，提取得到关注区域特征信息；
将所述关注区域特征信息和残差图像特征信息进行融合，并输入到所述分割网络模块。
5.根据权利要求2-4中任一项所述的表面划痕检测神经网络的构建方法，其特征在于：
在所述局部残差子模块设置至少两个卷积层，并剔除批量标准化层；
在所述局部残差子模块中使用LeakyReLu函数作为激活函数。
6.根据权利要求1所述的表面划痕检测神经网络的构建方法，其特征在于：
在所述分割网络模块中设置九个卷积层，其中前八个卷积层的卷积核大小为3×3，最后一个卷积层卷积核的大小为15x15；
在所述分割网络模块中的每个所述卷积层后设置批量标准化层和ReLU激活层。
7.根据权利要求1所述的表面划痕检测神经网络的构建方法，其特征在于：
在所述决策网络模块中，对输入的图像特征信息分别进行最大池化和均值池化；
通过concat函数对最大池化得到的结果和均值池化得到的结果进行深度融合；
将融合后的结果输入到全连接层，按照通道维度拼接并输出最终的向量结果。
8.表面划痕检测神经网络的构建系统，其特征在于，包括：
获取单元，用于获取物体表面带有划痕的图像数据；
筛选单元，用于基于预设的分辨率阈值对所述图像数据进行筛选，得到划痕图像样本；
构建单元，用于通过特征提取模块、分割网络模块和决策网络模块构建基础神经网络；
训练单元，用于通过所述划痕图像样本训练所述基础神经网络，得到表面划痕检测神经网络。
9.表面划痕检测神经网络的构建装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的表面划痕检测神经网络的构建方法。
10.一种介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7中任一项所述的表面划痕检测神经网络的构建方法。
CN202010008443.0A 2020-01-06 2020-01-06 表面划痕检测神经网络的构建方法、系统、装置及介质 Active CN111223083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008443.0A CN111223083B (zh) 2020-01-06 2020-01-06 表面划痕检测神经网络的构建方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008443.0A CN111223083B (zh) 2020-01-06 2020-01-06 表面划痕检测神经网络的构建方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN111223083A true CN111223083A (zh) 2020-06-02
CN111223083B CN111223083B (zh) 2023-11-21

Family

ID=70810544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008443.0A Active CN111223083B (zh) 2020-01-06 2020-01-06 表面划痕检测神经网络的构建方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN111223083B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112288727A (zh) * 2020-10-30 2021-01-29 创新奇智(重庆)科技有限公司 磁环表面缺陷检测方法、装置、电子设备及存储介质
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN114820497A (zh) * 2022-04-20 2022-07-29 深圳市国电科技通信有限公司 污渍检测方法、装置、系统及存储介质、电子设备
CN115980070A (zh) * 2023-03-16 2023-04-18 广东石油化工学院 基于随机神经网络搜索的机油罐标签划痕检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742294A (zh) * 2017-11-27 2018-02-27 歌尔股份有限公司 划痕检测方法、装置和电子设备
CN109377487A (zh) * 2018-10-16 2019-02-22 浙江大学 一种基于深度学习分割的水果表面缺陷检测方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110490849A (zh) * 2019-08-06 2019-11-22 桂林电子科技大学 基于深度卷积神经网络的钢板表面缺陷分类方法及装置
CN110502972A (zh) * 2019-07-05 2019-11-26 广东工业大学 一种基于深度学习的路面裂缝分割与识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742294A (zh) * 2017-11-27 2018-02-27 歌尔股份有限公司 划痕检测方法、装置和电子设备
CN109377487A (zh) * 2018-10-16 2019-02-22 浙江大学 一种基于深度学习分割的水果表面缺陷检测方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110502972A (zh) * 2019-07-05 2019-11-26 广东工业大学 一种基于深度学习的路面裂缝分割与识别方法
CN110490849A (zh) * 2019-08-06 2019-11-22 桂林电子科技大学 基于深度卷积神经网络的钢板表面缺陷分类方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112288727A (zh) * 2020-10-30 2021-01-29 创新奇智(重庆)科技有限公司 磁环表面缺陷检测方法、装置、电子设备及存储介质
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN114820497A (zh) * 2022-04-20 2022-07-29 深圳市国电科技通信有限公司 污渍检测方法、装置、系统及存储介质、电子设备
CN115980070A (zh) * 2023-03-16 2023-04-18 广东石油化工学院 基于随机神经网络搜索的机油罐标签划痕检测系统及方法

Also Published As

Publication number Publication date
CN111223083B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN111223083A (zh) 表面划痕检测神经网络的构建方法、系统、装置及介质
CN108664981B (zh) 显著图像提取方法及装置
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN109948533B (zh) 一种文本检测方法、装置、设备及可读存储介质
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN110738106A (zh) 一种基于fpga的光学遥感图像船舶检测方法
CN111401290A (zh) 一种人脸检测方法及系统、计算机可读存储介质
CN112507876A (zh) 一种基于语义分割的有线表格图片解析方法和装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN115588024A (zh) 一种基于人工智能的复杂工业影像边缘提取方法及装置
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN111192279A (zh) 基于边缘检测的物体分割方法、电子终端及存储介质
CN111738272A (zh) 一种目标特征提取方法、装置及电子设备
CN117314880A (zh) 图像缺陷检测方法及装置
CN116596866A (zh) 一种基于高分辨率图像的缺陷检测方法、存储介质
CN116385411A (zh) 一种图像检测方法及系统
CN116363064A (zh) 融合目标检测模型和图像分割模型的缺陷识别方法及装置
CN113378847B (zh) 字符分割方法、系统、计算机设备和存储介质
CN112541507B (zh) 多尺度卷积神经网络特征提取方法、系统、介质及应用
CN113051901B (zh) 一种身份证文本识别方法、系统、介质及电子终端
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN107766863B (zh) 图像表征方法和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510630 room 1101, building 1, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province (office use only)

Applicant after: Guangdong Yitong Lianyun Intelligent Information Co.,Ltd.

Address before: 510630 building 1101, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: YITONG CENTURY INTERNET OF THINGS RESEARCH INSTITUTE (GUANGZHOU) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant