CN111598084A - 缺陷分割网络训练方法、装置、设备及可读存储介质 - Google Patents

缺陷分割网络训练方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111598084A
CN111598084A CN202010395361.6A CN202010395361A CN111598084A CN 111598084 A CN111598084 A CN 111598084A CN 202010395361 A CN202010395361 A CN 202010395361A CN 111598084 A CN111598084 A CN 111598084A
Authority
CN
China
Prior art keywords
defect
training
area frame
segmentation network
defect area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010395361.6A
Other languages
English (en)
Other versions
CN111598084B (zh
Inventor
黄耀
吴雨培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aqrose Robot Technology Co ltd
Original Assignee
Beijing Aqrose Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aqrose Robot Technology Co ltd filed Critical Beijing Aqrose Robot Technology Co ltd
Priority to CN202010395361.6A priority Critical patent/CN111598084B/zh
Publication of CN111598084A publication Critical patent/CN111598084A/zh
Application granted granted Critical
Publication of CN111598084B publication Critical patent/CN111598084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种缺陷分割网络训练方法、装置、设备和可读存储介质，该方法包括对样本训练集进行特征提取得到特征图；对所述样本训练集中的各训练图像生成缺陷区域框；对所述样本训练集中的各训练图像生成非缺陷区域框；根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。通过缺陷区域框与非缺陷区域框对特征图进行截取，从而调整缺陷区域在训练过程中输入信息中所占的比例，从而提高缺陷分割方法的识别准确性。

Description

缺陷分割网络训练方法、装置、设备及可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种缺陷分割网络训练方法、装置、设备及可读存储介质。
背景技术
在工业场景中，对产品的出厂指标都有非常严格的要求，这些要求为产品出厂后发挥功能性作用提供了保证。在工业场景下，各种机械、声、光、电的复杂环境和众多工序可能会给产品的外观造成损坏，使其成为带缺陷的产品零件。以往，大量的针对产品零件的缺陷检测都非常依赖于人工逐一检测，占用了大量的人力资源，消耗了大量的人力成本。
目前，工业界已经开始出现通过传统图像算法甚至利用训练的语义分割神经网络模型对缺陷进行识别。
对于传统的图像处理算法而言，存在诸如检测的缺陷种类非常单一，处理算法的前期验证复杂等不足，进而影响检测的效率。对于已经投入少量应用的语义分割神经网络模型的方案来说，在网络的训练过程中，有缺陷的产品往往数量很少，在有缺陷的产品的图像上，缺陷对应的区域往往也很小。通过这样的方式训练出来的网络模型，在实际应用检测的过程中，存在诸如小缺陷不易识别或者缺陷检测不出的问题，从而影响检测的效果。
发明内容
本申请的主要目的在于提供一种缺陷分割网络训练方法、装置、设备及可读存储介质，旨在解决现有的缺陷识别方法的准确率低的问题。
为实现上述目的，本申请提供的一种缺陷分割网络训练方法，所述缺陷分割网络训练方法包括以下步骤：
对样本训练集进行特征提取得到特征图；
对所述样本训练集中的各训练图像生成缺陷区域框；
对所述样本训练集中的各训练图像生成非缺陷区域框；
根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
可选地，所述对样本训练集进行特征提取得到特征图的步骤包括：
获取样本数据集；
对所述样本数据集中的训练图像，通过包含卷积层的神经网络模型进行特征提取，得到特征图。
可选地，所述对所述样本训练集中的各训练图像生成缺陷区域框的步骤包括：
获取各训练图像的缺陷标注信息；
根据所述缺陷标注信息，获取各所述训练图像的各缺陷区域的各中心坐标；
对第一预设数目的所述中心坐标进行随机扰动，获取扰动缺陷中心点；
根据所述扰动缺陷中心点，生成缺陷区域框。
可选地，所述对所述样本训练集中的各训练图像生成非缺陷区域框的步骤包括：
对各训练图像随机选取第二预设数目的像素点；
以所述像素点为中心，生成非缺陷区域框。
可选地，所述以所述像素点为中心，生成非缺陷区域框的步骤包括：
以各所述像素点作为预设尺寸的区域框的几何中心，生成各非缺陷区域框，
其中，各所述缺陷区域框与各所述非缺陷区域框为尺寸相同的矩形区域。
可选地，所述对所述样本训练集中的各训练图像生成非缺陷区域框的步骤之后包括：
根据所述缺陷区域框和所述非缺陷区域框对样本训练集中的训练图像进行截取，获取截取后的截取训练图像；
对所述截取训练图像进行特征提取，获取特征截取训练图像以及对应的特征截取标注信息；
根据所述特征截取训练图像与所述特征截取标注信息对缺陷分割网络的网络参数进行监督训练。
可选地，所述根据所述截取特征图与所述截取标注信息对于网络参数进行监督训练的步骤之后包括：
根据所述训练后的网络参数设置缺陷分割网络模型；
保存所述设置好的缺陷分割网络模型。
本申请还包括一种缺陷分割网络训练装置，所述缺陷分割网络训练装置包括：
提取模块，用于对样本训练集进行特征提取得到特征图；
第一生成模块，用于对所述样本训练集中的各训练图像生成缺陷区域框；
第二生成模块，用于对所述样本训练集中的各训练图像生成非缺陷区域框；
获取模块，用于根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
训练模块，用于根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
本申请还提供一种缺陷分割网络训练设备，所述缺陷分割网络训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的缺陷分割网络训练程序，所述缺陷分割网络训练程序被所述处理器执行时实现如上述的缺陷分割网络训练方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的缺陷分割网络训练方法的步骤。
本申请通过对样本训练集进行特征提取得到特征图；对所述样本训练集中的各训练图像生成缺陷区域框；对所述样本训练集中的各训练图像生成非缺陷区域框；根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。通过缺陷区域框与非缺陷区域框对特征图进行截取，从而调整缺陷区域在训练过程中输入信息中所占的比例，从而提高缺陷分割方法的识别准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本申请缺陷分割网络训练方法第一实施例的流程示意图；
图3为本申请缺陷分割网络训练方法第三实施例中对于图2步骤S20的细化流程图；
图4为本申请缺陷分割网络训练方法第四实施例中对于图2步骤S30的细化流程图；
图5为本申请缺陷分割网络训练方法第五实施例中对于图2步骤S30之后步骤的流程示意图；
图6为本申请缺陷分割网络训练装置一实施例的系统结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端为缺陷分割网络训练设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及缺陷分割网络训练程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的缺陷分割网络训练程序，并执行以下操作：
对样本训练集进行特征提取得到特征图；
对所述样本训练集中的各训练图像生成缺陷区域框；
对所述样本训练集中的各训练图像生成非缺陷区域框；
根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
基于上述终端硬件结构，提出本申请各个实施例。
本申请提供一种缺陷分割网络训练方法。
参照图2，在缺陷分割网络训练方法第一实施例中，该方法包括：
步骤S10，对样本训练集进行特征提取得到特征图；
对于缺陷分割网络的训练需要得到相应的样本训练集，样本训练集中包括训练图像和与每个训练图像对应的表示缺陷区域的标注信息。对于样本训练集中的每个训练图像，通过包含有卷积层的数据网络进行特征提取，得到相应的特征图。
步骤S20，对所述样本训练集中的各训练图像生成缺陷区域框；
对于样本训练集，每一个训练样本都由训练图像和对应的缺陷标注信息组成。缺陷标注信息中包括每个训练图像中存在缺陷的缺陷区域的相关信息。统计每个训练图像的缺陷标注信息中每个缺陷区域的中心坐标，从这些缺陷区域的中心坐标中选择第一预设数目的中心坐标，第一预设数目由系统或用户提前设置，同时设置的第一预设数目也是需要生成的缺陷区域框的数目，因此选择第一预设数目的缺陷区域的中心坐标进行处理，对于这些选择的中心坐标加入一定的随机信息得到新的扰动缺陷中心点，根据新生成的扰动中心点作为区域中心生成缺陷区域框，缺陷区域框的大小与形状也由系统或用户提前设置好。
步骤S30，对所述样本训练集中的各训练图像生成非缺陷区域框；
对于每一个训练图像，除了生成缺陷区域框，还需要生成非缺陷区域框。通过随机方法生成非缺陷区域框，即从训练图像中随机选择第二预设数目的像素点，以这些选择的像素点作为区域中心，生成非缺陷区域框，同时非缺陷区域框的数目可以与缺陷区域框的数目相同，也可以不同，但是每个非缺陷区域框与每个缺陷区域框的大小需要一致，即每个区域框不论缺陷区域框还是非缺陷区域框的大小需要相同。
步骤S40，根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
根据之前生成的缺陷区域框以及非缺陷区域框，对于每一个对应的训练图像的特征图进行截取获取截取特征图。由于一个训练图像的多个区域框截取的特征区域可能有重叠共享部分，对于这些重叠共享部分称为共享特征。在根据不同的区域框对于特征图进行截取的同时，对于训练图像的标注信息，也需要根据相应的区域框进行截取获取对应的截取标注信息。
步骤S50，根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练；
将样本数据集分批输入到缺陷分割网络中，同时结合获取的截取特征图与截取标注信息，对于缺陷分割网络的网络参数进行监督训练，同时整个训练过程可以重复多次，进行多次迭代，每一次迭代过程都需要对于样本训练集中的训练图像生成缺陷区域框与非缺陷区域框，再根据区域框对于训练图像的特征图以及标注信息进行截取，得到截取后的特征图以及标注信息用于监督训练。
在本实施例中，对样本训练集进行特征提取得到特征图；对所述样本训练集中的各训练图像生成缺陷区域框；对所述样本训练集中的各训练图像生成非缺陷区域框；根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。通过缺陷区域框与非缺陷区域框对特征图进行截取，从而调整缺陷区域在训练过程中输入信息中所占的比例，从而提高缺陷分割方法的识别准确性。
进一步地，在本申请缺陷分割网络训练方法上述各实施例的基础上，提供缺陷分割网络方法第二实施例，在第二实施例中，
步骤S10包括：
步骤A1，获取样本训练集；
样本训练集为收集的可以用于缺陷分割网络训练的数据集，包括训练图像以及与训练图像对应的表示缺陷区域的标注信息。
步骤A2，对所述样本训练集中的训练图像，通过包含卷积层的神经网络模型进行特征提取，得到特征图；
包含卷积层的数据网络可以通过卷积层对输入数据进行特征提取，卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小。通常包含卷积层的神经网络为卷积神经网络，卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。同时，卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，通过卷积层的堆叠，可以逐渐减小特征图的尺寸。因此，可以通过对于神经网络中的卷积层的参数设置得到符合要求的特征图。
在本实施例中，通过带卷积层神经网络模型对于样本训练集进行处理，获取训练图像的特征图，以便于之后的图像截取与缺陷分割网络的训练。
进一步地，参照图2和图3，在本申请缺陷分割网络训练方法上述各实施例的基础上，提供缺陷分割网络训练方法第三实施例，在第三实施例中，
步骤S20包括：
步骤S21，获取各训练图像的缺陷标注信息；
样本训练集中包括训练图像以及与训练图像对应的缺陷标注信息，缺陷标注信息中包括样本训练集中训练图像的缺陷区域信息。
步骤S22，根据所述缺陷标注信息，获取各所述训练图像的各缺陷区域的各中心坐标；
根据各训练图像的缺陷标注信息，统计个训练图像的各缺陷区域的中心坐标，各缺陷区域的中心坐标可以利用重心算法来获取各中心坐标，也可以使用其他的中心坐标的计算方法，本申请对此不做限制。对于获取的各中心坐标，需要相应的记录其对应的训练图像以及训练图像中的缺陷区域。
步骤S23，对第一预设数目的所述中心坐标进行随机扰动，获取扰动缺陷中心点；
对于每一个训练图像，根据第一预设数目选择相应数量的中心坐标，第一预设数目由用户或系统提前设置，选择完第一预设数目的中心坐标后，对于所述中心坐标进行随机扰动，即加入一定量的随机信息，对于中心坐标的随机扰动可以是每一个中心坐标都进行不同的随机扰动，也可以所有中心坐标进行相同的随机扰动，同时，优选的，对于每一个中心坐标都进行相应的随机扰动，随机扰动增加的随机信息可以是对于中心坐标随机进行平移、旋转等操作的信息，也可以为其他随机信息。对于各进行随机扰动后的中心坐标获取扰动中心点，即经过随机扰动的中心坐标。
步骤S24，根据所述扰动缺陷中心点，生成缺陷区域框；
对于各扰动缺陷中心点，以扰动缺陷中心点为区域中心，根据预设的区域框大小与形状生成缺陷区域框，一般的，将缺陷区域框为矩形区域框。
在本实施例中，对于第一预设数目的训练图像的缺陷区域的中心坐标进行随机扰动获取扰动缺陷中心点，并利用扰动缺陷中心点生成缺陷区域框，从而调整训练样本中缺陷区域的比例，缺陷区域框的生成是本申请的重要内容。
进一步地，参照图2和图4，在本申请缺陷分割网络训练方法上述各实施例的基础上，提供缺陷分割网络训练方法第四实施例，在第四实施例中，
步骤S30包括：
步骤S31，对各训练图像随机选取第二预设数目的像素点；
对于各训练图像，随机选取第二预设数目的像素点，对于选取的第二像素点，由于是随机选取，可能与生成缺陷区域框时的扰动缺陷中心点相同，也可能不同。
步骤S32，以所述像素点为中心，生成非缺陷区域框；
以随机选择的像素点为中心，根据预设的非缺陷区域框的大小与形状，生成非缺陷区域框。由于一个训练图像的多个区域框截取的特征区域可能有重叠共享部分，这些重叠共享部分称为共享特征。
其中，步骤S32包括：
步骤B，以各所述像素点作为预设尺寸的区域框的几何中心，生成各非缺陷区域框；
以随机选择的像素点为区域框的中心，根据区域框的预设尺寸以及形状，生成非缺陷区域框。
其中，各所述缺陷区域框与各所述非缺陷区域框为尺寸相同的矩形区域。对于缺陷区域框与非缺陷区域框，需要保证缺陷区域框与非缺陷区域框的尺寸一致，优选的，缺陷区域框与非缺陷区域框均为矩形区域，便于之后进行特征图以及标注信息的截取。
在本实施例中，随机选取训练图像中的像素点用于生成非缺陷区域框，与缺陷区域框的生成方法类似，非缺陷区域框也是本申请的重要内容，同时通过缺陷区域框与非缺陷区域框调整随机网络输入信息中的缺陷区域的占比。
进一步地，参照图2和图5，在本申请缺陷分割网络训练方法上述各实施例的基础上，提供缺陷分割网络训练方法第五实施例，在第五实施例中，
步骤S30之后包括：
步骤S60，根据所述缺陷区域框和所述非缺陷区域框对样本训练集中的训练图像进行截取，获取截取后的截取训练图像；
步骤S70，对所述截取训练图像进行特征提取，获取特征截取训练图像以及对应的特征截取标注信息；
步骤S80，根据所述特征截取训练图像与所述特征截取标注信息对缺陷分割网络的网络参数进行监督训练；
对于缺陷分割网络训练方法中步骤S30之后的步骤，还包括一种可替代方案，根据生成的缺陷区域框以及非缺陷区域框对于训练图像进行截取，而不是对于训练图像的特征图进行截取，同时对于训练图像进行截取后，再通过包含卷积层的神经网络获取特征截取训练图像以及特征截取标注信息，再根据特征截取训练图像与特征截取标注信息对于网络参数进行监督训练。同时，即在本申请的该实施例中，可以先不对于样本训练集中的样本图像进行特征提取，在结果区域框对于样本图像进行截取后，再进行特征提取。当设备的硬件实力存在一定的限制时，为了适当降低截取时的数据量，可以通过先获取特征图在对于特征图进行截取的方案，即按照本申请中的步骤S10至步骤S50完成缺陷分割网络的训练过程，当硬件实力可以满足要求时，为了更高的准确性，可以采用本实施例中的步骤S60至步骤S80替代步骤S40和S50，即对于训练图像的原图像进行截取，之后获取相应的特征图，训练图像的原图像中包含的信息更多，截取后原训练图像再获取特征图用于网络训练更加准确。
在本实施例中，提供一种替代方案，通过区域框对于样本训练集中的样本图像进行截取后再进行特征提取，同样实现同样的提高缺陷分割网络的准确性的效果。
进一步地，在本申请缺陷分割起来训练方法上述各实施例的基础上，提供缺陷分割网络训练方法第六实施例，在第六实施例中，
步骤S50之后包括：
步骤C1，根据所述训练后的网络参数设置缺陷分割网络模型；
步骤C2，保存所述设置好的缺陷分割网络模型；
通过对于神经网络模型的网络参数的迭代训练，根据最终的训练结果即对应的网络参数对于缺陷分割网络模型进行设置，保存最终设置好的缺陷分割网络模型。
在本实施例中，根据训练后的网络参数设置缺陷分割网络模型，得到最终可以的缺陷分割网络。
此外，参照图6，本申请实施例还提出一种缺陷分割网络训练装置，所述缺陷分割网络训练装置包括：
提取模块，用于对样本训练集进行特征提取得到特征图；
第一生成模块，用于对所述样本训练集中的各训练图像生成缺陷区域框；
第二生成模块，用于对所述样本训练集中的各训练图像生成非缺陷区域框；
获取模块，用于根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
训练模块，用于根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
可选地，提取模块还用于：
获取样本训练集；
对所述样本训练集中的训练图像，通过包含卷积层的神经网络模型进行特征提取，得到特征图。
可选地，第一生成模块还用于：
获取各训练图像的缺陷标注信息；
根据所述缺陷标注信息，获取各所述训练图像的各缺陷区域的各中心坐标；
对第一预设数目的所述中心坐标进行随机扰动，获取扰动缺陷中心点；
根据所述扰动缺陷中心点，生成缺陷区域框。
可选地，第二生成模块还用于：
对各训练图像随机选取第二预设数目的像素点；
以所述像素点为中心，生成非缺陷区域框。
可选地，第二生成模块还用于：
以各所述像素点作为预设尺寸的区域框的几何中心，生成各非缺陷区域框。
可选地，训练模块还用于：
根据所述缺陷区域框和所述非缺陷区域框对样本训练集中的训练图像进行截取，获取截取后的截取训练图像；
对于所述截取训练图像进行特征提取，获取特征截取训练图像以及对应的特征截取标注信息；
根据所述特征截取训练图像与所述特征截取标注信息对缺陷分割网络的网络参数进行监督训练。
可选地，缺陷分割网络训练装置还包括：
设置模块，用于根据所述训练后的网络参数设置缺陷分割网络模型；
保存模块，用于保存所述设置好的缺陷分割网络模型。
本申请缺陷分割网络训练设备和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述缺陷分割网络训练方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种缺陷分割网络训练方法，其特征在于，所述缺陷分割网络训练方法包括以下步骤：
对样本训练集进行特征提取得到特征图；
对所述样本训练集中的各训练图像生成缺陷区域框；
对所述样本训练集中的各训练图像生成非缺陷区域框；
根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
2.如权利要求1所述的缺陷分割网络训练方法，其特征在于，所述对样本训练集进行特征提取得到特征图的步骤包括：
获取样本训练集；
对所述样本训练集中的训练图像，通过包含卷积层的神经网络模型进行特征提取，得到特征图。
3.如权利要求1所述的缺陷分割网络训练方法，其特征在于，所述对所述样本训练集中的各训练图像生成缺陷区域框的步骤包括：
获取各训练图像的缺陷标注信息；
根据所述缺陷标注信息，获取各所述训练图像的各缺陷区域的各中心坐标；
对第一预设数目的所述中心坐标进行随机扰动，获取扰动缺陷中心点；
根据所述扰动缺陷中心点，生成缺陷区域框。
4.如权利要求3所述的缺陷分割网络训练方法，其特征在于，所述对所述样本训练集中的各训练图像生成非缺陷区域框的步骤包括：
对各训练图像随机选取第二预设数目的像素点；
以所述像素点为中心，生成非缺陷区域框。
5.如权利要求4所述的缺陷分割网络训练方法，其特征在于，所述以所述像素点为中心，生成非缺陷区域框的步骤包括：
以各所述像素点作为预设尺寸的区域框的几何中心，生成各非缺陷区域框。
其中，各所述缺陷区域框与各所述非缺陷区域框为尺寸相同的矩形区域。
6.如权利要求1所述的缺陷分割网络训练方法，其特征在于，所述对所述样本训练集中的各训练图像生成非缺陷区域框的步骤之后包括：
根据所述缺陷区域框和所述非缺陷区域框对样本训练集中的训练图像进行截取，获取截取后的截取训练图像；
对所述截取训练图像进行特征提取，获取特征截取训练图像以及对应的特征截取标注信息；
根据所述特征截取训练图像与所述特征截取标注信息对缺陷分割网络的网络参数进行监督训练。
7.如权利要求1所述的缺陷分割网络训练方法，其特征在于，所述根据所述截取特征图与所述截取标注信息对于网络参数进行监督训练的步骤之后包括：
根据所述训练后的网络参数设置缺陷分割网络模型；
保存所述设置好的缺陷分割网络模型。
8.一种缺陷分割网络训练装置，其特征在于，所述缺陷分割网络训练装置包括：
提取模块，用于对样本训练集进行特征提取得到特征图；
第一生成模块，用于对所述样本训练集中的各训练图像生成缺陷区域框；
第二生成模块，用于对所述样本训练集中的各训练图像生成非缺陷区域框；
获取模块，用于根据所述缺陷区域框和所述非缺陷区域框对所述特征图进行截取，获取截取后的截取特征图以及对应的截取标注信息；
训练模块，用于根据所述截取特征图与所述截取标注信息对缺陷分割网络的网络参数进行监督训练。
9.一种缺陷分割网络训练设备，其特征在于，所述缺陷分割网络训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的缺陷分割网络训练程序，所述缺陷分割网络训练程序被所述处理器执行时实现如权利要求1至7中任一项所述的缺陷分割网络训练方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的缺陷分割网络训练方法的步骤。
CN202010395361.6A 2020-05-11 2020-05-11 缺陷分割网络训练方法、装置、设备及可读存储介质 Active CN111598084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010395361.6A CN111598084B (zh) 2020-05-11 2020-05-11 缺陷分割网络训练方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010395361.6A CN111598084B (zh) 2020-05-11 2020-05-11 缺陷分割网络训练方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111598084A true CN111598084A (zh) 2020-08-28
CN111598084B CN111598084B (zh) 2023-06-02

Family

ID=72185231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010395361.6A Active CN111598084B (zh) 2020-05-11 2020-05-11 缺陷分割网络训练方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111598084B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298809A (zh) * 2021-06-25 2021-08-24 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
WO2022121531A1 (zh) * 2020-12-09 2022-06-16 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299759A1 (en) * 2007-01-11 2011-12-08 Kla-Tencor Corporation Reticle defect inspection with model-based thin line approaches
CN105324839A (zh) * 2013-05-21 2016-02-10 科磊股份有限公司 对参数追踪的计量系统优化
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
US20180107928A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
US20180342050A1 (en) * 2016-04-28 2018-11-29 Yougetitback Limited System and method for detection of mobile device fault conditions
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
US20190042888A1 (en) * 2017-08-02 2019-02-07 Preferred Networks, Inc. Training method, training apparatus, region classifier, and non-transitory computer readable medium
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110349145A (zh) * 2019-07-09 2019-10-18 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299759A1 (en) * 2007-01-11 2011-12-08 Kla-Tencor Corporation Reticle defect inspection with model-based thin line approaches
CN105324839A (zh) * 2013-05-21 2016-02-10 科磊股份有限公司 对参数追踪的计量系统优化
US20180342050A1 (en) * 2016-04-28 2018-11-29 Yougetitback Limited System and method for detection of mobile device fault conditions
US20180107928A1 (en) * 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
US20190042888A1 (en) * 2017-08-02 2019-02-07 Preferred Networks, Inc. Training method, training apparatus, region classifier, and non-transitory computer readable medium
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110349145A (zh) * 2019-07-09 2019-10-18 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐强胜;郑华东;胡祯;徐腾寅;: "高精密零件图像缺陷特征快速定位检索仿真" *
王尔琪: "轮毂铸造缺陷检测的关键技术研究" *
陈艳玲;: "城镇化对碳排放的门槛效应:省际数据的实证研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121531A1 (zh) * 2020-12-09 2022-06-16 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN113298809A (zh) * 2021-06-25 2021-08-24 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113298809B (zh) * 2021-06-25 2022-04-08 成都飞机工业（集团）有限责任公司 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116206111B (zh) * 2023-03-07 2024-02-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111598084B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN111340752B (zh) 屏幕的检测方法、装置、电子设备及计算机可读存储介质
US11741593B2 (en) Product defect detection method, device and system
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN111771226A (zh) 电子设备、其图像处理方法及计算机可读记录介质
CN105046254A (zh) 字符识别方法及装置
US20200058113A1 (en) Image processing apparatus and image processing method
CN109344762B (zh) 图像处理方法和装置
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN111680750B (zh) 图像识别方法、装置和设备
JP2014178229A (ja) 教師データ作成方法、画像分類方法および画像分類装置
CN111598863A (zh) 缺陷检测方法、装置、设备及可读存储介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
CN113706440B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111127358B (zh) 图像处理方法、装置及存储介质
CN110827301B (zh) 用于处理图像的方法和装置
GB2553641A (en) Techniques for selecting objects in images
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
CN111461767B (zh) 一种基于深度学习的Android欺骗性广告检测方法、装置及设备
CN114170227A (zh) 产品表面缺陷检测方法、装置、设备及存储介质
CN111080665A (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN115471439A (zh) 显示面板缺陷的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant