CN111681229A - 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置 - Google Patents

深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置 Download PDF

Info

Publication number
CN111681229A
CN111681229A CN202010521502.4A CN202010521502A CN111681229A CN 111681229 A CN111681229 A CN 111681229A CN 202010521502 A CN202010521502 A CN 202010521502A CN 111681229 A CN111681229 A CN 111681229A
Authority
CN
China
Prior art keywords
size
sliding window
wearable
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010521502.4A
Other languages
English (en)
Other versions
CN111681229B (zh
Inventor
张发恩
杨经宇
鱼群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202010521502.4A priority Critical patent/CN111681229B/zh
Publication of CN111681229A publication Critical patent/CN111681229A/zh
Application granted granted Critical
Publication of CN111681229B publication Critical patent/CN111681229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置，所述深度学习模型训练方法包括：获取可穿戴衣物的目标瑕疵对应的像素尺寸；根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸；将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸；根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集；基于所述数据集训练所述深度学习模型，得到所述可穿戴衣物的分类模型。本申请实施例提出的方法通过扩大初始滑移窗口得到的滑移窗口获取训练数据来训练分类模型，能够让深度神经网络更好的学习到正常服装纹理特征，降低误检概率。

Description

深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置
技术领域
本申请涉及瑕疵识别领域，具体而言，涉及一种深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置。
背景技术
在可穿戴衣物(例如，服装)的生产线上，瑕疵质检目前主要由人工或传统算法检查，对于复杂的瑕疵品类分类任务，传统算法准确率低，鲁棒性差。目前深度学习分类方法对于不同尺寸形状的瑕疵是通过插值调整尺寸一致后，通过相同的网络进行分类。本申请的发明人在研究中发现由于可穿戴衣服的瑕疵尺寸和形状的很大差异(例如，最小可到亚毫米尺寸，最大可能超过厘米甚至分米尺寸)，因此采用传统的插值方法调整尺寸后训练分类器得到的瑕疵分类结果受训练集影响很大，造成在不同场景下的分类器的分类结果表现性能差别也相对明显。
发明内容
本申请实施例的目的在于提供一种深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置，本申请实施例通过初始滑移窗口和滑移窗口来切分图像得到训练数据集，能够让深度神经网络更好的学习到正常可穿戴衣物的纹理特征，降低误检概率，能够提升可穿戴衣物瑕疵的准确率。
第一方面，本申请实施例提供一种深度学习模型训练方法，所述方法包括：获取可穿戴衣物的目标瑕疵对应的像素尺寸；根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸；将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸；根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集；基于所述数据集训练所述深度学习模型，得到所述可穿戴衣物的分类模型。
本申请实施例通过外扩初始滑移窗口(即滑移窗口)进行切图的技术方案可以克服采用直接采用初始滑移窗口进行切图后需要反射等方式填补边缘的对数据集造成的污染，进而提升训练得到的可穿戴衣物的分类模型的瑕疵识别准确率。
在一些实施例中，所述获取目标瑕疵对应的像素尺寸，包括：获取要求检出的所述目标瑕疵的尺寸；获取采样设备的像素精度；根据所述尺寸和所述像素精度获得所述目标瑕疵对应的像素尺寸。
本申请实施例通过采集设备的像素精度和需要检测的瑕疵的精度来确定目标瑕疵对应的像素尺寸，能够提升可穿戴衣物上不同尺寸瑕疵的训练集数据质量，提升可穿戴衣物的分类模型在不同场景(例如，不同瑕疵尺寸，最小可到牙毫米尺寸，最大可能超过厘米甚至分米尺寸)下的表现性能。
在一些实施例中，所述根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸，包括：根据所述深度学习模型的结构确定放大倍数；根据所述放大倍数对所述像素尺寸进行放大，得到初始滑移窗口尺寸；其中，所述放大倍数为6倍以上。
本申请实施例结合深度学习模型的结构来确定初始滑移窗口的尺寸，能够提升训练集的数据质量，进而提升训练得到的可穿戴衣服的分类模型的质量。
在一些实施例中，所述将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸，包括：将所述初始滑移窗口尺寸放大至少√2倍,得到所述滑移窗口尺寸。
本申请实施例通过扩大的初始滑移窗口尺寸(即滑移窗口尺寸)进行初步切图来提升数据集质量，可以避免采用填补边缘等方式进行数据增强时造成的对数据集的污染，提升数据集的质量，进而提升基于数据集训练得到的可穿戴衣服的分类模型的质量。
在一些实施例中，所述根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集，包括：根据所述滑移窗口尺寸在标注的所述可穿戴衣物的图像上进行有重叠的滑移和切分得到多幅第一图片；旋转所述第一图片，再根据所述初始滑移窗口尺寸从所述第一图片中切分得到所述数据集。
本申请实施例通过外扩的滑移切图(即利用滑移窗口切图)再中心旋转后再次切图(即对采用滑移窗口切图得到的第一图片旋转后再根据初始滑移窗口来再次切图)能够提升数据集的质量，进而提升基于数据集训练得到的可穿戴衣服的分类模型的质量。
第二方面，本申请实施例提供一种可穿戴衣服的瑕疵识别方法，所述方法包括：接收待识别图片；根据初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别；其中，所述初始滑移窗口尺寸通过可穿戴衣物的目标瑕疵对应的像素尺寸和深度学习模型的结构计算得到。
本申请实施例通过采用初始滑移窗口对待识别的图像进行切图，并将切图得到的子图片输入可穿戴衣物的分类模型(该模型是根据采用滑移窗口切图、旋转后再依据初始滑移窗口切图得到的数据集训练得到的)进行瑕疵识别，提升了可穿戴衣服瑕疵分类的准确率。
在一些实施例中，所述可穿戴衣物的瑕疵识别方法还包括：根据统计分析算法或设定的阈值进一步判定所述瑕疵类别。
本申请实施例通过结合统计分析和合理的阈值判定，能够进一步提升可穿戴衣物的瑕疵的准确率。
在一些实施例中，所述统计分析算法包括：取最大值、取平均值或者取类别数。
本申请实施例提供的统计分析可以提升可穿戴衣物的瑕疵识别准确率。
在一些实施例中，所述根据设定的阈值进一步判定所述瑕疵类别，包括：根据超过所述设定阈值的所述瑕疵子图片的比例来进一步判定所述瑕疵类别。
本申请实施例通过合理的阈值判定来进一步提升服装瑕疵的识别准确率。
第三方面，本申请实施例提供一种可穿戴衣物的瑕疵识别装置，所述装置包括：输入模块，被配置为接收第一瑕疵图片；切分模块，被配置为根据所述初始滑移窗口尺寸对所述瑕疵图片进行有重叠切图，得到瑕疵子图片；分类器，被配置为将所述瑕疵子图片输入可穿戴衣物的分类模型进行瑕疵类型识别。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述第一方面或者第二方面所述的方法。
第五方面，本申请实施例提供一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现第一方面和第二方面所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的瑕疵识别系统的组成框图；
图2为本申请实施例提供的瑕疵识别设备的识别过程示意图；
图3是本申请实施例提供的深度学习模型训练方法的流程图；
图4是本申请实施例提供的深度学习模型训练方法中S104所采用滑移窗口和初始滑移窗口切图过程示意图；
图5是本申请实施例提供的可穿戴衣服的瑕疵识别方法的流程图；
图6是本申请实施例提供的对待识别图像进行切图识别的过程示意图；
图7是本申请实施例提供的可穿戴衣服的瑕疵识别装置的组成框图；
图8是本申请实施例提供的信息处理设备的组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请的发明人在研究中发现对于可穿戴衣服(例如，服装)这种有复杂纹理的材质，其常见的缺陷类型包括布料瑕疵(例如纹理疏密分布等不合要求)，而传统深度学习分类的尺寸调整方法很难区分这些的问题。此外由于服装质检场景复杂，传统数据增强时通过旋转并用反射等方式填补边缘的方式对数据集实际上会造成一定污染，本申请的发明人发现采用外扩的滑移切图再中心旋转进行数据集获取能够很好地解决这个问题。
针对上述问题，本申请实施例提出基于滑移窗口的深度学习可穿戴衣服的瑕疵分类方法，提升了可穿戴衣物的瑕疵分类的准确率。
请参考图1，该图提供了本申请实施例的瑕疵识别系统100的组成框图。瑕疵识别系统100包括图像采集设备101以及瑕疵识别设备102。图像采集设备101可以用于采集无瑕疵的可穿戴衣物(例如，服装)和具有瑕疵的可穿戴衣物的图像用于训练瑕疵处理设备102，图像采集设备101还用于获取待识别的可穿戴衣服的图片，之后瑕疵处理设备102会根据图像采集设备101采集的图像进行模型训练并根据训练好的分类器对待识别的瑕疵进行类型识别。
图像采集设备101可以为工业用的相机或者摄像头等。瑕疵处理设备102可以包括具有数据处理及存储能力的设备，例如，计算机或者笔记本电脑等智能终端设备。
本申请实施例的瑕疵识别设备102需要建立深度学习网络。例如，本申请实施例瑕疵识别设备102建立的深度学习网络为resnet网络或者lenet网络等。瑕疵识别设备102根据数据集训练建立的深度学习网络的参数，得到用于可穿戴衣服的瑕疵识别的分类器。
可选的，本申请实施例的深度学习网络可以采用卷积神经网络CNN，如图2所示。瑕疵识别设备102可以执行图2示出的多个步骤来识别可穿戴衣物是否具有瑕疵以及瑕疵的具体种类：S102-1，从图像采集设备101获取待识别的整幅图像；S102-2，采用滑动窗口从整幅图像上切分出多个图像块；S102-3，将切分得到的图像块输入已经训练好的卷积神经网络CNN中进行特征提取和分类；S102-4，输出多个图像块的分类结果，至此完成待识别瑕疵的瑕疵类型识别。
下面结合图3说明深度学习网络(例如，图2的卷积神经网络)的训练过程并结合图5说明根据训练好的可穿戴衣服的分类模型进行瑕疵类型识别的过程。
如图3所示，本申请实施例提供一种深度学习模型训练方法，所述方法包括：S101，获取可穿戴衣物的目标瑕疵对应的像素尺寸；S102，根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸；S103，将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸；S104，根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集；以及S105，基于所述数据集训练所述深度学习模型，得到所述可穿戴衣物的分类模型。
本申请实施例通过外扩初始滑移窗口(即滑移窗口)进行切图的技术方案可以克服采用反射等方式填补边缘的对数据集造成的污染，进而提升训练得到的可穿戴衣物的分类模型的瑕疵识别准确率。
下面结合示例阐述S101。
S101的可穿戴衣物包括：服装、袜子或者帽子等。
S101的目标瑕疵类型可以包括：破洞、纬纱、上胶不均匀、脏污、刮纱、竹节等。
可选的，S101可以通过以下步骤获取像素尺寸：获取要求检出的所述目标瑕疵的尺寸；获取采样设备的像素精度；根据所述尺寸和所述像素精度获得所述目标瑕疵对应的像素尺寸。例如，利用要求检出的瑕疵尺寸(单位：毫米)除以采样设备的像素精度(单位：毫米每像素)，可以获得要求检出瑕疵(即目标瑕疵)对应的像素尺寸。
本申请实施例通过采集设备的像素精度和具体检测精度来确定目标瑕疵对应的像素尺寸，能够提升可穿戴衣物上不同尺寸瑕疵的训练集数据质量，提升可穿戴衣物的分类模型在不同场景(例如，不同瑕疵尺寸，最小可到亚毫米尺寸，最大可能超过厘米甚至分米尺寸)下的表现性能。
可选的，S102可以根据如下步骤确定初始滑移窗口尺寸：根据所述深度学习模型的网络结构特性确定放大倍数；根据所述放大倍数对所述像素尺寸进行放大，得到初始滑移窗口尺寸；其中，所述放大倍数为6倍以上。例如，S101根据要求检出的瑕疵尺寸(例如，单位为毫米)除以采样设备的像素精度(例如，像素精度的单位为毫米每像素)获得要求检出瑕疵(即，目标瑕疵)对应的像素尺寸，在此基础上，S102根据不同深度学习网络结构的特性确定初始滑移窗口尺寸。例如，S102得到的初始滑移窗口尺寸为对应的像素尺寸的6-10倍或更大。本申请实施例结合深度学习模型的结构来确定初始滑移窗口的尺寸，能够提升训练集的数据质量，进而提升训练得到的可穿戴衣服的分类模型的质量。
可选的，S103可以包括：将所述初始滑移窗口尺寸放大至少√2倍,得到所述滑移窗口尺寸。例如，S103可以将S102得到的初始滑移窗口尺寸放大√2倍，得到滑移窗口尺寸。执行放大初始滑移窗口操作得到滑移窗口的目的至少是为了对数据进行旋转等数据增强时，不需要采用边界填补，这对于服装这种有复杂纹理的数据，能有有效提升数据集质量，进而提升训练的分类器的质量。
可选的，S104可以包括：在标注数据上基于所述滑移窗口尺寸进行有重叠的滑移，切分得到多幅第一图片；旋转所述第一图片，再根据所述初始滑移窗口尺寸从所述第一图片中切分得到所述数据集。例如，执行S104也就是：根据S103生成的滑移窗口在标注数据(即标注的可穿戴衣物的图像)上进行有重叠的滑移(例如，为了保证数据集覆盖率，至少重叠比例应超过80％)，切分出多幅第一图片；旋转通过滑移窗口切出的小图(即第一图片)，再根据初始滑移窗口尺寸切分旋转后的第一图片，作为数据集；再对数据集进行数据增强后，切分数据集得到训练集和测试集，基于训练集和测试集训练可穿戴衣物的分类模型(例如，训练图2示出的卷积神经网络CNN)。
下面结合图4说明上述S104根据滑移窗口和初始滑移窗口获取数据集的过程。
将初始滑移窗口(图4中的实现框)放大得到滑移窗口(图4中的虚线框)，根据滑移窗口从整幅图像上进行有重叠的切图，得到多幅第一图片。旋转每一张第一图片，之后根据初始滑移窗口从旋转后的第一图片上切分，得到数据集图片。
本申请实施例通过外扩的滑移切图(即利用滑移窗口切图)再中心旋转后再次切图(即对采用滑移窗口切图得到的第一图片旋转后再根据初始滑移窗口切图)能够提升数据集的质量，进而提升基于数据集训练得到的可穿戴衣服的分类模型的质量。
如图5所示，本申请实施例还提供一种可穿戴衣服的瑕疵识别方法，所述方法包括：S201，接收待识别图片；S202，根据初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；S203，将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别；其中，所述初始滑移窗口尺寸通过目标瑕疵对应的像素尺寸和深度学习模型的结构计算得到。
S201从图像采集设备101接收待识别图像，其中的待识别图片可能是有瑕疵的图像，也可能是没有瑕疵的图像。
S202对于输入的瑕疵图片，按照图3计算得到的初始滑移窗口进行有重叠的滑移切图(例如，50％以上重叠区域)，切图后得到多个子图片，之后再执行S203即再将子图片输入经过图3训练得到的可穿戴衣物的分类模型进行瑕疵类型判别，依据分类以及给出的概率值进行分析。例如，滑移切图后得到的是一组子图片，经过可穿戴衣服的分类模型后所得到的是一组预测值，根据本申请实施例还可以进行这些预测值再进行统一分类。例如，如果有20％的切片预测值超过设定阈值，则认为该组子图片为瑕疵等。例如，如果若干张的平均预测值达到阈值的90％，也可认为该组子图片为瑕疵等。
需要说明的是，对于图5的S202的初始滑移窗口可以根据图3的S102计算得到，图5中S203的可穿戴衣物的分类模型可以采用图3的方法训练得到，因此在此不做过多赘述。
下面结合图6来简要说明图5的瑕疵类别识别方法。
根据初始滑移窗口从待识别图像上有重叠的切图，得到多个子图片(例如，图6的第一子图片、第二子图片、第三子图片以及第四图片等)；将得到的所有子图片输入根据图3方法训练得到的可穿戴衣物的分类模型，输出各子图片的瑕疵分类识别结果[Y0，Y1，…Yi…]。
本申请实施例通过采用初始滑移窗口对待识别的图像进行切图，并将切图得到的子图片输入可穿戴衣物的分类模型(该模型是根据采用滑移窗口切图、旋转后再依据初始滑移窗口切图得到的数据集训练得到的)进行瑕疵识别，提升了可穿戴衣服瑕疵分类的准确率。
本申请实施例为了进一步提高瑕疵类别的识别准确率，在一个示例中，图6的可穿戴衣物的瑕疵识别方法还包括：根据统计分析算法或设定的阈值进一步判定所述瑕疵类别。例如，所述统计分析算法包括：取最大值、取平均值或者取类别数。在另一示例中，根据设定的阈值进一步判定所述瑕疵类别可以包括：根据超过所述设定阈值的所述瑕疵子图片的比例来进一步判定所述瑕疵类别。
作为一个示例，图6的瑕疵类别识别方法可以包括：对于输入的瑕疵图片，按照初始滑移窗口尺寸进行滑移切图并且有50％以上重叠区域，切图后进入深度学习网络(即采用图3训练好的可穿戴衣服的分类模型)进行判别，依据分类以及给出的概率值进行分析。分析的方式有多种，包括不限于取最大值，取均值，取类别众数，计算超过阈值的切片比例等多种方式，综合给出当前瑕疵分类。
本申请实施例通过结合统计分析和合理的阈值判定，能够进一步提升可穿戴衣物的瑕疵的准确率。
请参考图7，图7示出了本申请实施例提供的可穿戴衣物的瑕疵识别装置，应理解，该装置与上述图5方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。图7的装置包括至少一个能以软件或固件的形式存储于存储器，所述装置包括：输入模块701，被配置为接收待识别图片；切分模块702，被配置为根据所述初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；分类器703，被配置为将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，图7描述的装置的具体工作过程，可以参考前述图3或者图5中方法的对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现图3或者图5所述的方法。
如图8所示，本申请实施例还提供一种信息处理设备，包括存储器810、处理器820以及存储在所述存储器810上并可在所述处理器820上运行的计算机程序，其中，所述处理器820通过总线830从存储器810上读取程序并执行所述程序时可实现图3或者图5所述的方法。
在一个示例中，本申请实施例的处理器820执行计算机程序可以实现如下方法：S101，获取可穿戴衣物的目标瑕疵对应的像素尺寸；S102，根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸；S103，将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸；S104，根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集；以及S105，基于所述数据集训练所述深度学习模型，得到所述可穿戴衣物的分类模型。
在另一个示例中，本申请实施例的处理器820执行计算机程序可以实现如下方法：S201，接收待识别图片；S202，根据初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；S203，将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别；其中，所述初始滑移窗口尺寸通过目标瑕疵对应的像素尺寸和深度学习模型的结构计算得到。
处理器820可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器820可以是微处理器。
存储器810可以用于存储由处理器820执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器820可以用于执行存储器810中的指令以实现图3或者图5中所示的方法。存储器810包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
由于可穿戴衣物(例如，服装)瑕疵的形态不一，分布不均匀，对于布料的长条瑕疵和大面积的脏污等，使用传统算法或调整图像尺寸插值的分类方法效果相对较差，应用本申请实施例提出的方法通过滑移窗口能够让深度神经网络更好的学习到正常服装纹理特征，降低误检概率。此外，对于同一瑕疵，本申请实施例通过多次有重叠的采集待识别图像、采用更好的数据集训练得到的深度学习网络分类模型之后，再结合统计分析和合理的阈值判定，能够进一步提升可穿戴衣物(例如，服装)瑕疵的准确率。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种深度学习模型训练方法，其特征在于，所述方法包括：
获取可穿戴衣物的目标瑕疵对应的像素尺寸；
根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸；
将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸；
根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集；
基于所述数据集训练所述深度学习模型，得到所述可穿戴衣物的分类模型。
2.如权利要求1所述的深度学习模型训练方法，其特征在于，所述获取目标瑕疵对应的像素尺寸，包括：
获取要求检出的所述目标瑕疵的尺寸；
获取采样设备的像素精度；
根据所述尺寸和所述像素精度获得所述目标瑕疵对应的像素尺寸。
3.如权利要求1或2所述的深度学习模型训练方法，其特征在于，所述根据所述像素尺寸和深度学习模型的结构确定初始滑移窗口尺寸，包括：
根据所述深度学习模型的结构确定放大倍数；
根据所述放大倍数对所述像素尺寸进行放大，得到初始滑移窗口尺寸；
其中，所述放大倍数为6倍以上。
4.如权利要求3所述的深度学习模型训练方法，其特征在于，所述将所述初始滑移窗口尺寸放大预设倍数，得到滑移窗口尺寸，包括：将所述初始滑移窗口尺寸放大至少
Figure FDA0002532248280000011
倍,得到所述滑移窗口尺寸。
5.如权利要求4所述的深度学习模型训练方法，其特征在于，所述根据所述滑移窗口尺寸从所述可穿戴衣物的图像上获得数据集，包括：
根据所述滑移窗口尺寸在标注的所述可穿戴衣物的图像上进行有重叠的滑移和切分得到多幅第一图片；
旋转所述第一图片，再根据所述初始滑移窗口尺寸从所述第一图片中切分得到所述数据集。
6.一种可穿戴衣服的瑕疵识别方法，其特征在于，所述方法包括：
接收待识别图片；
根据初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；
将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别；
其中，所述初始滑移窗口尺寸通过可穿戴衣物的目标瑕疵对应的像素尺寸和深度学习模型的结构计算得到。
7.如权利要求6所述的可穿戴衣物的瑕疵识别方法，其特征在于，所述可穿戴衣物的瑕疵识别方法还包括：根据统计分析算法或设定的阈值进一步判定所述瑕疵类别。
8.如权利要求7所述的可穿戴衣物的瑕疵识别方法，其特征在于，所述统计分析算法包括：取最大值、取平均值或者取类别数。
9.如权利要求7所述的可穿戴衣服的瑕疵识别方法，其特征在于，所述根据设定的阈值进一步判定所述瑕疵类别，包括：根据超过所述设定阈值的所述瑕疵子图片的比例来进一步判定所述瑕疵类别。
10.一种可穿戴衣物的瑕疵识别装置，其特征在于，所述装置包括：
输入模块，被配置为接收待识别图片；
切分模块，被配置为根据所述初始滑移窗口尺寸对所述待识别图片进行有重叠切图，得到子图片；
分类器，被配置为将所述子图片输入可穿戴衣物的分类模型进行瑕疵类型识别。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-9中任意一条权利要求所述的方法。
12.一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-9中任意一条权利要求所述的方法。
CN202010521502.4A 2020-06-10 2020-06-10 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置 Active CN111681229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521502.4A CN111681229B (zh) 2020-06-10 2020-06-10 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521502.4A CN111681229B (zh) 2020-06-10 2020-06-10 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置

Publications (2)

Publication Number Publication Date
CN111681229A true CN111681229A (zh) 2020-09-18
CN111681229B CN111681229B (zh) 2023-04-18

Family

ID=72454498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521502.4A Active CN111681229B (zh) 2020-06-10 2020-06-10 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置

Country Status (1)

Country Link
CN (1) CN111681229B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262576A (ja) * 2009-05-11 2010-11-18 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
CN104063720A (zh) * 2014-07-03 2014-09-24 浙江大学 基于深度玻尔兹曼机的电商网站违禁商品图片检测方法
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN105138975A (zh) * 2015-08-13 2015-12-09 济南大学 一种基于深度信念网络的人体肤色区域分割方法
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
WO2017140233A1 (zh) * 2016-02-18 2017-08-24 腾讯科技（深圳）有限公司 文字检测方法及系统、设备、存储介质
CN107316300A (zh) * 2017-07-17 2017-11-03 杭州盈格信息技术有限公司 一种基于深度卷积神经网络的轮胎x光病疵检测方法
US20180322327A1 (en) * 2017-05-02 2018-11-08 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
WO2019023606A1 (en) * 2017-07-28 2019-01-31 Alibaba Group Holding Limited SYSTEM AND METHOD FOR IDENTIFYING REPHOTOGRAPHED IMAGES
CN109492642A (zh) * 2018-09-25 2019-03-19 平安科技（深圳）有限公司 车牌识别方法、装置、计算机设备及存储介质
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及系统
CN109598287A (zh) * 2018-10-30 2019-04-09 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN109871829A (zh) * 2019-03-15 2019-06-11 北京行易道科技有限公司 一种基于深度学习的检测模型训练方法和装置
CN110163213A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN110781839A (zh) * 2019-10-29 2020-02-11 北京环境特性研究所 一种基于滑窗的大尺寸图像中小目标识别方法
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262576A (ja) * 2009-05-11 2010-11-18 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US20160180195A1 (en) * 2013-09-06 2016-06-23 Toyota Jidosha Kabushiki Kaisha Augmenting Layer-Based Object Detection With Deep Convolutional Neural Networks
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN104063720A (zh) * 2014-07-03 2014-09-24 浙江大学 基于深度玻尔兹曼机的电商网站违禁商品图片检测方法
CN105138975A (zh) * 2015-08-13 2015-12-09 济南大学 一种基于深度信念网络的人体肤色区域分割方法
WO2017140233A1 (zh) * 2016-02-18 2017-08-24 腾讯科技（深圳）有限公司 文字检测方法及系统、设备、存储介质
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
US20180322327A1 (en) * 2017-05-02 2018-11-08 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
CN107316300A (zh) * 2017-07-17 2017-11-03 杭州盈格信息技术有限公司 一种基于深度卷积神经网络的轮胎x光病疵检测方法
WO2019023606A1 (en) * 2017-07-28 2019-01-31 Alibaba Group Holding Limited SYSTEM AND METHOD FOR IDENTIFYING REPHOTOGRAPHED IMAGES
WO2019094504A1 (en) * 2017-11-07 2019-05-16 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN109492642A (zh) * 2018-09-25 2019-03-19 平安科技（深圳）有限公司 车牌识别方法、装置、计算机设备及存储介质
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及系统
CN109598287A (zh) * 2018-10-30 2019-04-09 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
CN109871829A (zh) * 2019-03-15 2019-06-11 北京行易道科技有限公司 一种基于深度学习的检测模型训练方法和装置
CN110163213A (zh) * 2019-05-16 2019-08-23 西安电子科技大学 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN110781839A (zh) * 2019-10-29 2020-02-11 北京环境特性研究所 一种基于滑窗的大尺寸图像中小目标识别方法
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GONZALO-MARTIN等: "Deep learning for superpixel-based classification of remote sensing images", 《GEOBIA 2016 : SOLUTIONS AND SYNERGIES 2016》 *
熊咏平等: "基于深度学习的复杂气象条件下海上船只检测", 《计算机应用》 *

Also Published As

Publication number Publication date
CN111681229B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2022170706A1 (zh) 用于模具监视的缺陷检测方法、装置、设备及介质
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
JP6936958B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
CN114418957A (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN109671078B (zh) 一种产品表面图像异常检测方法及装置
CN107871319B (zh) 限束器区域的检测方法、装置、x射线系统和存储介质
CN109410192B (zh) 一种多纹理分级融合的织物缺陷检测方法及其装置
CN110889838A (zh) 一种织物疵点检测方法及装置
CN115908415B (zh) 基于边缘的缺陷检测方法、装置、设备及存储介质
CN106780464A (zh) 一种基于改进阈值分割的织物疵点检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
CN113012157A (zh) 一种设备缺陷视觉检测方法及系统
US11270439B2 (en) Histogram-based method for auto segmentation of integrated circuit structures from SEM images
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN116485779A (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN110570418A (zh) 一种织唛缺陷检测方法和装置
CN112669300A (zh) 瑕疵检测方法及装置、计算机设备和存储介质
CN111681229B (zh) 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置
CN112435256A (zh) 基于图像的cnv活动性病灶检测方法及装置、电子设备
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN116363097A (zh) 一种光伏板的缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant