CN113711234B - 纱线质量控制 - Google Patents

纱线质量控制 Download PDF

Info

Publication number
CN113711234B
CN113711234B CN202080028542.3A CN202080028542A CN113711234B CN 113711234 B CN113711234 B CN 113711234B CN 202080028542 A CN202080028542 A CN 202080028542A CN 113711234 B CN113711234 B CN 113711234B
Authority
CN
China
Prior art keywords
images
defect
model
probability
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080028542.3A
Other languages
English (en)
Other versions
CN113711234A (zh
Inventor
卡莱布·罗兰·威尔金森
切尔西·梅·西德罗·华莱士
戴维·塞缪尔·登普斯特
詹娜·奥特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Invista North America LLC
Original Assignee
Invista North America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Invista North America LLC filed Critical Invista North America LLC
Publication of CN113711234A publication Critical patent/CN113711234A/zh
Application granted granted Critical
Publication of CN113711234B publication Critical patent/CN113711234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种纺织物包装件生产系统包括成像器、输送器、分拣机和控制器。该成像器被配置为生成纺织物包装件的光学图像。该成像器具有至少一个光学检测器和光学发射器。该图像具有检查区域。该输送器具有测试对象载体，该测试对象载体被配置用于相对于该载体和该检查区域进行相对移动。该分拣机联接到该输送器并且被配置为作出关于第一分类和第二分类的选择。该控制器具有处理器和存储器。该控制器联接到该成像器、该输送器该和该分拣机。该控制器被配置为实现人工引擎分类器，其中基于该光学图像并基于该存储器中的指令和训练数据来控制该分拣机。

Description

纱线质量控制
优先权要求
本申请要求于2019年3月15日提交的美国临时专利申请序列号62/819,122的优先权的权益，该专利申请据此全文以引用方式并入本文。
技术领域
本文档整体涉及但不限于纺织物制造。
背景技术
长丝用于制造纺织物产品。一种长丝生产方法的示例包括制备纱线包装件的中间步骤。根据一个示例，纱线包装件包括缠绕在形体上的连续长丝的集合。针对不同的材料并根据不同的生产工艺来选择该形体的形状、绕组的配置和层的布置。
长丝集合可被称为纤维或纱线。纱线可为天然的(诸如棉)或合成的(诸如尼龙)，并且包括一根或多根长丝。纱线可被纺丝或加捻。合成纱线的示例为聚酯，聚酯是在它们的主链中包含酯官能团的热塑性聚合物。示例包括聚对苯二甲酸乙二醇酯(PET)或聚乙烯琥珀酸酯(PES)。聚丙烯(PP)是在包括地毯制造在内的多种应用中使用的热塑性聚合物的另一个示例。聚酰胺(也称为尼龙)是合成聚合物的另一个示例。此外，聚对苯二甲酸丁二醇酯(PBT)包括热塑性聚酯。长丝可包括玻璃纤维(也称为纺丝玻璃)。芳族聚酰胺是纤维，其中链分子沿纤维轴高度定向，因此可利用化学键的强度。另外，技术纱线可用于出于非美学目的而制造的技术纺织物产品，其中功能(刚度、强度、尺寸稳定性、设计灵活性和经济可行性)是主要标准。
制造工艺和生产工序的变化可导致成品产品中的缺陷。过去已经使用了人工检查方法，然而它们成本高且效率低。
国际申请号PCT/US01/45122(公开号WO 02/40383A2)的名称为用于自动检查纱线包装件的方法和设备(Method and Apparatus for the Automated Inspection of YamPackages)，并且是指长丝检查方法。US9347889B2、EP 1574607B1、CN104532423B、WO2018193343A1、EP2644553B1、EP2475978A1中提及了用于观察运行纱线、移动片材材料等的属性(尺寸、物理外观等)的光学检查系统的其他示例，包括借助于计算机控制的反馈校正缺陷。
发明内容
除了别的以外，本发明人已经认识到，要解决的问题可包括克服与检查纱线包装件相关联的过多成本，同时提高效率。本主题可帮助提供此问题的解决方案，诸如通过实现被配置为识别包装件缺陷的基于图像的分类系统。一个示例包括利用人工智能的自动化系统，该系统被配置为提供控制包装件分拣装备的输出或调整纱线制造过程的参数的输出。
纺织物包装件生产系统的示例包括成像器、输送器、分拣机和控制器。该成像器被配置为生成纺织物包装件的光学图像。该成像器具有至少一个光学检测器和光学发射器。该成像器具有检查区域。该输送器具有测试对象载体，该测试对象载体被配置用于相对于该载体和该检查区域进行相对移动。该分拣机联接到该输送器并且被配置为关于第一分类和第二分类进行选择。控制器具有处理器和存储器。该控制器联接到该成像器、该输送器该和该分拣机。该控制器被配置为实现人工引擎分类器，其中基于该光学图像并基于该存储器中的指令和训练数据来控制该分拣机。
在一些示例中，在一个或多个计算机处实现一种方法。该方法包括使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，该相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，该第二子集中的该图像中的至少一个图像标记有缺陷类型。该方法包括使用生成式对抗网络(GAN)并基于该相机生成的多个图像生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，该计算机生成的图像中的一个或多个图像标记有该缺陷类型。该方法包括使用迁移学习引擎并使用包括该相机生成的多个图像和该计算机生成的多个图像的训练数据集进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和该缺陷类型，其中在使用该迁移学习引擎进行该进一步训练之前，该模型被先前训练以识别与缠绕的纤维线轴不同的图像。该方法包括提供表示该模型的输出。
一些示例包括一种存储用于执行上述方法的指令的机器可读介质。一些示例包括一种系统，该系统包括处理电路和存储器，该存储器存储用于执行上述方法的指令。
这些非限制性示例中的每个示例可独立存在，或者可与其它示例中的一个或多个示例以各种排列或组合的形式组合。
此概述旨在提供对本专利申请主题的概述。不旨在提供对本发明的排他性或穷举性的解释。包括具体实施方式以提供关于本专利申请的进一步信息。
附图说明
在未必按比例绘制的附图中，类似的数字可在不同的视图中描述类似的部件。具有不同字母后缀的类似数字可表示类似部件的不同实例。附图通常以举例的方式而非限制的方式示出了本文档中讨论的各种实施方案。
图1示出了根据一个示例的系统的示例。
图2示出了根据一个示例的成像器的示例。
图3示出了根据一个示例的方法的示例。
图4示出了根据一个示例的方法的示例。
图5示出了根据一个示例的构建体的示例。
图6示出了根据一个示例的方法的示例。
图7示出了根据一些实施方案的机器学习程序的训练和使用。
图8示出了根据一些实施方案的示例性神经网络。
图9示出了根据一些实施方案的图像识别机器学习程序的训练。
图10示出了根据一些实施方案的特征提取过程和分类器训练。
图11是根据一些实施方案的计算机器的框图。
图12示出了根据一些实施方案的示例性系统，其中可以实现基于人工智能的纱线质量控制。
图13示出了用于基于人工智能的纱线质量控制的示例性方法。
具体实施方式
图1示出了根据一个示例的系统100的示例。系统100包括供应部110。供应部110可包括其中提供长丝供应源的制造工厂或装运设施。装运设施中的长丝可处于生产的各个阶段，并且如114所示被运输到处理装备120。处理装备120可包括多种装备，包括精密卷绕机、加捻机、清洁装备、加热装备、光学处理装备和张紧装备。在此示例中，处理装备120的输出为缠绕成有时称为纱线包装件的形体的长丝。纱线包装件可包括线轴。
图1示出了已沿着由箭头124表示的路径从处理装备120移动的纱线包装件20A。包装件20A定位在传送器130上并且被配置为行进到成像器140A中，如箭头132所示。成像器140A具有内部区域142A，其中引导光学元件(此处称为发射器144A和检测器146A)。发射器144A可包括光发射器。检测器146A可包括光学相机。包装件20B以虚线呈现，以指示在区域142A或成像器140A内的放置。传送器130将包装件(诸如包装件20B)从成像器140A运送到分拣机156。分拣机156包括偏转器150，该偏转器被配置为围绕枢轴旋转并将包装件引导至第一路径或第二路径。在实线所示的视图中，偏转器150处于位置154A，其方式为引导包装件在箭头160B所示的方向上且如包装件20D所示排出。在虚线所示的视图中，偏转器150处于位置154B，其方式为引导包装件在箭头160A所示的方向上且如包装件20C所示排出。
在所示的示例中，系统100包括控制器50A。控制器50A通过线路112联接到供应部110，通过线路122联接到处理装备120，通过线路108联接到传送器130，通过线路148联接到成像器140A，并且通过线路152联接到分拣机156。
线路112、122、108和152可为双向或单向控制信道，在控制信道上以有线或无线协议承载信号。
控制器50A可以是模拟或数字处理器，并且在一个示例中，包括处理器。控制器50A联接到存储器55，并且通过链路62联接到用户界面60。用户界面60可包括键盘、鼠标、触摸板、显示器、打印机或其他装置。链路62可以是有线的或无线的。控制器50A联接到网络接口65，该网络接口继而还联接到网络70。网络70可以是互联网、内联网、云或其他数据或通信信道。
在一个示例中，控制器50A实现人工智能算法。人工智能算法访问训练数据并访问来自成像器140A的数据以评估光学可辨别的参数以对包装件进行分类。例如，在链路148上接收到参数数据时，控制器50A可使用人工智能来控制包装件的下游处理。在附图所示的示例中，控制器50A已将偏转器150设置在一定位置以在路径160B的方向上按路径传送包装件20B。路径160B可对应于检测到的缺陷。
响应于来自成像器140A的数据，或响应于以举例的方式来源于传送器130、分拣机156、处理装备120、供应部110、用户界面60或网络接口65的其他输入信息，控制器50A还可提供控制信号以通过调整与供应部110或处理装备120相关联的参数来调整生产过程。
图2示出了根据一个示例的成像器140B的示例。成像器140B被示出为在区域142B内具有纱线包装件20E。区域142B在此示例中由被配置为控制其中的照明条件的壳体界定。在所示的示例中，光发射器144B和144C被配置为提供具有便于光学检测器(此处称为相机146B和146C)对缺陷进行有意义检测的特性的光。光发射器144B和144C可包括环形灯或条形灯。
在一个示例中，发射器144B和144C以及相机146B和146C各自联接到控制器(诸如控制器50A)。例如，控制器50A可被配置为控制相机。相机控制可包括选择相机位置、选择相机视角、选择景深、选择镜头、选择相机参数(诸如快门速度、光圈或另一参数)。发射器控制可包括选择光位置、选择照明方向、选择滤光器、或选择光参数(诸如温度、光谱、强度或另一个参数)。
图3示出了根据一个示例的方法300的示例。方法300描绘了人工智能系统的训练。可以向训练模块提供呈多个带注释的图像的形式的训练数据310。带注释的图像可由主题专家准备。在此示例中，训练数据被分组以促进使用数据312A对方面1的训练、使用数据312B对方面2的训练、使用数据312C对方面3的训练以及使用数据312D对方面N的训练。例如，方面1可表示纱线断裂状况，并且训练数据312A可包括描绘纱线断裂的示例的大量图像。类似地，训练数据312B可对应于缺陷，诸如锥体上的缝线或倾覆。训练集中的图像可包括丰富类别的视图和示例。
训练模块330表示训练例程，其中控制器50B被配置为评估对象20F。模块330可包括随继续训练而演变以及随对象的继续评估而演变的滤波器参数和张量参数。当基于成像器140A提供的数据评估对应于对象20F(这里，表示纱线包装件)的图像时，控制器50B执行人工智能算法以对对象20F进行分类。提供分类结果，如输出340所示。输出340可包括通知信号、警报、设置标志、发送消息或调整制造参数(诸如供应部110或处理装备120)。
图4示出了根据一个示例的方法400的示例。方法400包括在410处访问训练数据。训练数据可包括图像数据并且可根据不同类型的缺陷进行分组。在415处，方法400包括生成模型。该模型可通过设置阵列维度的值、通过设置滤波器参数、通过设置采样速率或通过其他此类参数来定义。
在使用训练数据和模型生成进行充分训练之后，方法400包括在425处接收测试对象的一个或多个图像。测试对象图像可由成像器(诸如成像器140A)提供。在420处，测试对象图像数据可由控制器50A使用人工智能来分类。控制器50A可以实现若干不同人工智能分类器算法中的任一种人工智能分类器算法。一个示例包括卷积神经网络分析。已知一个示例称为YOLO(您仅观看一次)。YOLO的若干不同种类适合于在本主题中实现。
在420处分类之后，处理可如通过调整模型(在430处)、调整过程(在435处)以及对象的进一步按路径传送(在440处)所指示的那样继续。模型调整(诸如在430处)可包括调整与特定缺陷相对应的参数(诸如滤波器系数)。过程调整(诸如在435处)可包括调整处理装备中的纱线速度、调整缠绕参数(诸如纱线张力)、调整温度或调整其它参数。在440处，可通过可改变所传送的包装件的路径的机械结构来控制对象路线传送。
图5示出了根据一个示例的构建体500的示例。构建体500以箭头510的形式描绘了进度的光谱。在520处，在光谱的低端处示出已成像和处理的劣质线轴。在540处，在光谱的高端处示出已成像和处理的优质线轴。劣质线轴可以包括最差的示例，并且优质线轴可以是完美的示例。一种方法包括在530处使灰色区域变窄。
图6示出了根据一个示例的方法600的示例。方法600可结合构建体500进行解释，以示出用于训练机器语言算法的过程。在610处，方法600包括对一组完美(或优质)线轴进行成像并且对一组最差(或劣质)线轴进行成像。这包括每个缺陷的成像示例。在620处，方法600包括以缩小或减小灰色区域530的范围的方式对附加线轴成像。例如，可对表现出每个缺陷的质量更好的线轴成像。以这种方式，620包括以使灰色区域530变窄的方式朝向完美线轴工作。
在630处，方法600包括参与机器学习的良性循环，其中用户(诸如检查员)在线轴被成像时对它们进行分类。例如，生产线上的线轴将在相机和成像系统中成像，如本文所述，并且人类操作者可在指定条件下以每个线轴为基础来增强数据。在对一系列带注释的线轴进行成像之后，可存储训练数据集以供将来使用。
在640处，方法600包括跟踪结果。这可包括监测系统输出以确保分类和决策一致并且不偏离。在一个示例中，这可包括审计系统，其中已知的线轴被重新成像并与预期结果进行比较。在650处，在观察到分类中的偏差的情况下，可使用保存的图像重新训练算法。
在660处，方法600包括随着审计系统的继续使用跟踪结果。跟踪结果可包括在一段时间(诸如天、周、月、季度或年)内监测趋势和值的变化。在本主题的一个示例中，可在一段时间内识别包装件形成趋势。趋势可使用本主题的AI引擎来预测。
在一个示例中，来自成像器的输出被配置为提供高动态范围成像(HDR)。高动态范围成像是高动态范围(HDR)技术，该技术用于成像以再现比标准数字成像或摄影技术可能产生的更大动态范围的光度。某些技术仅允许在一定亮度范围内进行区分。在此范围之外，没有特征是可见的，因为在明亮区域中没有区别，因为一切仅呈现纯白色，并且在较暗区域中没有区别，因为一切看起来呈现纯黑色。
另一方面，HDR图像可记录并表示比使用更传统的方法可实现的更大的亮度水平范围。HDR图像可通过捕获并且然后组合相同主题的若干不同的较窄范围的曝光来生成。
HDR图像可包括计算机渲染和由合并多个低动态范围(LDR)或标准动态范围(SDR)照片产生的图像。HDR图像也可使用特殊图像传感器(诸如过采样的二进制图像传感器)来获取。
在一个示例中，输入HDR图像的扩展光度范围被压缩以使其可见。将HDR图像渲染到标准监视器或打印装置的方法可包括色调映射。色调映射减小HDR图像的总体对比度以有利于在具有较低动态范围的装置或打印输出上显示，并且可被应用于产生具有保留的局部对比度(或为了艺术效果而被夸大)的图像。在一个示例中，使用三个标准分辨率图像来生成HDR图像。
在各种示例中，提供成像滤光器以实现所选择的代表性图像。例如，可以选择图像以捕获(或衰减)绿光、黄光或棕色光范围内的光学内容。在一个示例中，滤光可包括使用偏振光和使用偏振滤光器成像。例如，污点或特征可与长丝上的污染物(诸如油脂或污垢)相关联。可利用彩色成像器(或相机)来区分污点的类型。在一个示例中，污点可与在线轴芯中所注意到的缺陷相关联。
在一个示例中，系统包括优先化分析方案。该分析可依次包括视觉系统，之后是计算机视觉系统，之后是机器学习视觉系统。在计算机视觉不能辨别条件的情况下，机器学习视觉接管。
在一个示例中，部署成像技术的组合以提供适用于检测小的、低对比度缺陷的无阴影照明。
机器学习实施方案
如上所述，缠绕的纤维线轴的制造工艺和生产工序的变化可导致成品产品中的缺陷。过去已经使用了人工检查方法，然而它们成本高且效率低。使用人工智能和/或机器学习技术使检查方法自动化可能是期望的。本文所公开的技术的一些方面涉及使用人工智能和/或机器学习技术来使用于缠绕的纤维线轴的检查方法自动化。
在一些实施方案中，服务器生成并训练图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的缠绕纤维线轴的图像是否描绘缺陷和缺陷类型。该模型被提供(例如，通过网络传输)到边缘装置。边缘装置然后部署模型以识别有缺损的线轴。边缘装置可以是台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
如本文所用，术语“识别”(或“识别”)涵盖其平常且普通的含义。除了别的以外，术语“识别”可指将图像识别为属于指定类(例如，“无缺损线轴”、“具有缺陷类型A的线轴”、“具有缺陷类型B的线轴”等)的人工神经网络(ANN)。然后可通过识别标记图像。例如，边界框可以围绕线轴放置，并且标签“缺陷类型A”可以放置在边界框上。标签可对应于边界框中描绘的事物的标识。在推断阶段，标签由ANN生成。在监督学习引擎的训练阶段，人类生成的标签(或由另一个机器学习引擎生成的标签)被提供给未经训练或部分训练的ANN，以便ANN训练其自身以生成标签，例如，如本文结合图1至图4所述。
监督图像分类网络训练系统使用图像的数据集。此数据集包括对，其中每对包括图像及其相关联的标签。此标签用作图像所属的样品(诸如线轴)的标识符。在推断阶段期间，认证系统仅接收图像(通常称为探测图像)，并且其任务是预测相关联的标签。为此，认证系统利用受过训练的分类网络。分类网络然后提供标识符/标签连同其关于标识符的确定程度的信息。通常使用概率来表示确定性。
本文所述的系统和方法的各方面可被实现为计算机系统的一部分。计算机系统可以是一个物理机器，或者可以诸如通过角色或功能、或者在云计算分布式模型的情况下通过处理线程分布在多个物理机器中。在各种实施方案中，本文所述的系统和方法的各方面可被配置为在台式计算机、嵌入式装置、移动电话、物理服务器机器上运行，并且在继而在一个或多个物理机器上执行的虚拟机中运行。应当理解，本文所述的系统和方法的特征可通过各种不同的合适的机器实施方式来实现。
该系统包括各种引擎，每个引擎被构造、编程、配置或以其他方式适于执行功能或一组功能。如本文所用，术语“引擎”是指使用硬件(诸如通过专用集成电路(ASIC)或现场可编程门阵列(FPGA))或例如作为硬件和软件的组合(诸如通过基于处理器的计算平台和将计算平台转换成专用装置以实现特定功能的一组程序指令)实现的有形装置、部件或部件的布置。引擎也可被实现为这两者的组合，其中某些功能由单独的硬件促进，并且其他功能由硬件和软件的组合促进。
在一个示例中，软件可以以可执行或不可执行的形式驻留在有形机器可读存储介质上。以不可执行形式驻留的软件可在运行时之前或期间被编译、翻译或换句话讲转换成可执行形式。在一个示例中，软件在由引擎的底层硬件执行时，使得硬件执行指定操作。因此，引擎被物理地构造或具体地配置(例如，硬连线)或临时配置(例如，编程)为以指定方式操作或执行本文结合该引擎所述的任何操作的一部分或全部。
考虑到引擎被临时配置的示例，每个引擎可在不同时刻被实例化。例如，在引擎包括使用软件配置的通用硬件处理器内核的情况下；通用硬件处理器内核可在不同时间被配置为相应不同引擎。软件可因此将硬件处理器内核配置为例如在一个时间实例处构成特定引擎并且在不同时间实例处构成不同引擎。
在某些实施方式中，引擎的至少一部分以及在一些情况下的全部可在执行操作系统、系统程序、以及应用程序的一台或多台计算机的处理器上执行，同时还在适当的情况下使用多任务、多线程、分布式(例如，集群、对等、云等)处理或其他此类技术来实现引擎。因此，每个引擎可以以各种合适的配置来实现，并且通常不应限于本文例示的任何特定实施方式，除非明确地指出此类限制。
此外，引擎本身可由多于一个子引擎构成，每个子引擎可被视为自身的引擎。此外，在本文所述的实施方案中，各种引擎中的每个引擎对应于定义的功能。然而，应当理解，在其他设想的实施方案中，每个功能可分配给多于一个引擎。同样，在其他设想的实施方案中，多个定义的功能可由执行那些多个功能的单个引擎来实现，可能与其他功能一起实现，或者与本文示例中具体示出的不同地分布在一组引擎中。
如本文所用，术语“卷积神经网络”或“CNN”除了别的以外可指由一个或多个卷积层(通常具有子采样操作)构成并且然后由一个或多个全连接层构成的神经网络，如在标准多层神经网络中那样。在一些情况下，CNN的架构被设计成利用输入图像的2D结构。这通过局部连接和绑定权重来实现，然后是某种形式的池化，这导致平移不变的特征。在一些情况下，CNN更容易训练，并且具有比具有相同数量的隐藏单元的全连接网络少得多的参数。在一些实施方案中，CNN包括多个隐藏层，因此可被称为深度神经网络(DNN)。CNN通常在以下中描述：“使用深度卷积神经网络的ImageNet分类(ImageNet Classification with DeepConvolutional Neural Networks)”，Alex Krizhevsky、Ilya Sutskever和GeoffreyE.Hinton撰写的“神经信息处理系统的进展25(Advances in Neural InformationProcessing Systems 25)”(NIPS2012)的一部分，可在papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networ获得，上次访问时间为2019年8月28日，其全部内容通过引用并入本文。
如本文所用，短语“计算机器”涵盖其平常且普通的含义。除了别的以外，计算机器可包括具有处理器和存储器的单个机器，或者可顺序地或并行地访问一个或多个处理器或一个或多个存储器的多个机器。服务器可以是计算机器。客户端装置可以是计算机器。边缘装置可以是计算机器。数据储存库可以是计算机器。
在整个本文档中，一些方法(例如，在图13中)被描述为串行并且以给定顺序实现。然而，除非另有明确说明，否则方法的操作可以以任何顺序执行。在一些情况下，可使用任何已知的并行处理技术并行执行方法的两个或更多个操作。在一些情况下，一些操作可被跳过和/或替换为其他操作。此外，相关领域的技术人员可认识到可结合本文所公开的方法的操作来执行的其他操作。
图7示出了根据一些示例性实施方案的机器学习程序的训练和使用。在一些示例性实施方案中，机器学习程序(MLP)(也称为机器学习算法或工具)用于执行与机器学习任务相关联的操作，诸如图像识别或机器翻译。
机器学习(ML)是使计算机能够学习而无需明确编程的研究领域。机器学习探索算法(在本文中也称为工具)的研究和构建，该算法可从现有数据中学习并对新数据进行预测。此类机器学习工具通过由示例性训练数据712构建模型来操作，以便作出表示为输出或评估720的数据驱动的预测或决策。虽然相对于少数机器学习工具呈现了示例性实施方案，但是本文呈现的原理可以应用于其他机器学习工具。
在一些示例性实施方案中，可使用不同的机器学习工具。例如，逻辑回归(LR)、朴素贝叶斯、随机森林(RF)、神经网络(NN)、矩阵分解和支持向量机(SVM)工具可用于对线轴的图像进行分类。
机器学习中的两种常见类型的问题是分类问题和回归问题。分类问题(也称为归类问题)旨在将项目分类为若干类别值中的一个类别值(例如，此对象是苹果还是橘子，或者图像是否描绘具有圆形缺陷或污点的线轴)。回归算法旨在量化一些项目(例如，通过提供实数值)。机器学习算法利用训练数据712在识别的特征702之间寻找影响结果的相关性。
机器学习算法利用特征702来分析数据以生成评估720。特征702是被观察到的现象的个体可测量属性。特征的概念与统计技术(诸如线性回归)中使用的解释变量有关。选择信息特征、鉴别特征和独立特征对于MLP在模式识别、分类和回归中的有效操作是重要的。特征可为不同的类型，诸如数字特征、字符串和图形。
在一个示例性实施方案中，特征702可为不同类型并且可包括可由访问输入图像的机器检测的各种图像特征703。图像特征703可包括纹理、颜色、形状、边缘等。
机器学习算法利用训练数据712在识别的特征702之间寻找影响结果或评估720的相关性。在一些示例性实施方案中，训练数据712包括标记数据，该标记数据是一个或多个识别的特征702和一个或多个结果的已知数据，诸如检测线轴中的缺陷或没有缺陷。
利用训练数据712和所识别的特征702，在操作714处训练机器学习工具。当特征702与训练数据712关联时，机器学习工具评估特征的值。训练的结果是受过训练的机器学习程序716。
当机器学习程序716用于执行评估时，新数据718作为输入被提供给受过训练的机器学习程序716，并且机器学习程序716生成评估720作为输出。例如，当检查线轴图像的缺陷时，机器学习程序利用图像特征来确定线轴中是否存在缺陷。
机器学习技术训练模型以准确地预测馈送到模型中的数据(例如，图像中描绘的线轴是否具有缺陷)。在学习阶段期间，针对输入的训练数据集开发模型，以优化模型，从而正确地预测给定输入的输出。一般来讲，学习阶段可以是监督的、半监督的或无监督的；指示对应于训练输入向其提供“正确”输出的降低水平。在监督学习阶段中，将所有输出提供给模型，并且引导模型开发将输入映射到输出的一般规则或算法。相比之下，在无监督学习阶段中，不向输入提供期望的输出，使得模型可开发其自己的规则以发现训练数据集内的关系。在半监督学习阶段中，提供不完全标记的训练集，其中一些输出对于训练数据集是已知的并且一些输出对于训练数据集是未知的。
可在若干时期(例如，迭代)上针对训练数据集运行模型，其中将训练数据集重复馈送到模型中以细化其结果。例如，在监督学习阶段中，开发模型以预测一组给定输入的输出，并且在若干时期内进行评估，以更可靠地提供被指定为对应于训练数据集的最大数量输入的给定输入的输出。在另一个示例中，对于无监督学习阶段，开发模型以将数据集群集成n组，并且在若干时期内评估其如何一致地将给定输入放置到给定群组中以及其如何可靠地在每个时期内产生n个期望群集。
一旦运行了时期，就对模型进行评估，并且调整其变量的值以尝试以迭代方式更好地细化模型。在各个方面，相对于模型的总体准确度，评估偏向假阴性、偏向假阳性或均匀偏向。可根据所使用的机器学习技术以若干方式调整这些值。例如，在遗传或进化算法中，用于预测期望输出最成功的模型的值用于开发在后续时期期间使用的模型的值，这可包括随机变化/突变以提供附加的数据点。本领域普通技术人员将熟悉可应用于本公开的若干其他机器学习算法，包括线性回归、随机森林、决策树学习、神经网络、深度神经网络等。
每个模型通过改变影响输入的一个或多个变量的值以更紧密地映射到期望的结果，在若干时期上建立规则或算法，但是随着训练数据集可以变化，而优选地非常大，可能无法实现完美的准确性和精确性。因此，构成学习阶段的多个时期可以被设置为给定数量的试验或固定时间/计算预算，或者可以在给定模型的准确性足够高或足够低或达到准确性平台时在达到该数量/预算之前终止。例如，如果训练阶段被设计为运行n个时期并且产生具有至少95％准确度的模型，并且此类模型在第n个时期之前产生，则学习阶段可以提前结束并且使用所产生的满足最终目标准确度阈值的模型。类似地，如果给定模型足够不准确以满足随机机会阈值(例如，该模型在确定真/假输出(或指示对于给定输入是否存在线轴缺陷的输出)时仅55％准确)，则该模型的学习阶段可提前终止，但是在学习阶段中其他模型可继续训练。类似地，当给定模型在多个时期(已经达到性能平台)上继续提供其结果的类似准确性或波动时，用于给定模型的学习阶段可以在达到时期数量/计算预算之前终止。
一旦学习阶段完成，模型完成。在一些示例性实施方案中，根据测试标准来评估完成的模型。在第一示例中，将包括其输入的已知输出的测试数据集馈送到最终模型中，以确定模型在处理其未被训练的数据方面的准确性。在第二示例中，假阳性率或假阴性率可用于在完成之后评估模型。在第三示例中，使用数据聚类之间的划分来选择产生其数据聚类的最清晰边界的模型。
图8示出了根据一些实施方案的示例性神经网络804。如图所示，神经网络804接收源域数据802作为输入。输入穿过多个层806以到达输出。每个层806包括多个神经元808。神经元808接收来自前一层的神经元的输入，并将权重应用于从那些神经元接收的值，以便生成神经元输出。将来自最终层806的神经元输出进行组合以生成神经网络804的输出。
如图8的底部所示，输入为矢量x。输入穿过多个层806，其中权重W1、W2、...、Wi施加到每层的输入以到达fl(x)、f2(x)、...、fi-l(x)，直到最后计算输出f(x)。通过网络的学习和训练来建立(或调整)权重。如图所示，每个权重Wl、W2、...、Wi为矢量。然而，在一些实施方案中，权重中的一个或多个权重可以是标量。
神经网络利用特征来分析数据以生成评估(例如，识别线轴中的缺陷)。特征是所观察到的现象的个体可测量属性。特征的概念与统计技术(诸如线性回归)中使用的解释变量有关。此外，深特征表示深度神经网络的隐藏层中的节点的输出。
神经网络(有时称为人工神经网络)是基于对生物脑的神经网络的考虑的计算系统/设备。此类系统/设备逐渐改善了执行任务(通常没有任务特定的编程)的性能，这被称为学习。例如，在图像识别中，可教导神经网络通过分析已用对象的名称加标签的示例性图像来识别包含对象的图像，并且在学习对象和名称之后，可使用分析结果来识别未加标签图像中的对象。神经网络基于称为神经元的连接单元的集合，其中神经元之间的每个连接(称为突触)可传输具有随连接强度而变化的激活强度(例如，如图8所示的权重)的单向信号。在第二神经元的输入处施加的用于第一神经元的输出的权重可对应于激活强度。接收神经元可激活信号并将信号传播到与其连接的下游神经元，这通常基于来自潜在许多发射神经元的组合输入信号是否具有足够的强度，其中强度是参数。
深度神经网络(DNN)是由多个层构成的堆叠神经网络。层由节点组成，节点是发生计算的位置、松散地图案化在生物脑中的神经元上，神经元在遇到足够的刺激时激活。节点将来自数据的输入与放大或抑制该输入的一组系数或权重组合，这为算法试图学习的任务的输入分配重要性。对这些输入-权重乘积求和，并且使总和通过所谓的节点激活函数，以确定该信号是否进一步前进通过网络以及前进到何种程度以影响最终结果。DNN使用非线性处理单元的多个层的级联以用于特征提取和变换。每个连续层使用来自前一层的输出作为输入。从较低层级特征导出较高层级特征以形成层级表示。输入层之后的层可以是产生特征图的卷积层，该特征图是输入的滤波结果并且由下一个卷积层使用。
在DNN架构的训练中，被构造为用于估计变量之间关系的一组统计过程的回归可包括成本函数的最小化。成本函数可被实现为函数，该函数用于返回表示在映射训练示例中执行以校正输出的神经网络有多好的数字。在训练中，如果基于已知的训练图像，成本函数值不在预定范围内，则使用反向传播，其中反向传播是训练与优化方法(诸如随机梯度下降(SGD)方法)一起使用的人工神经网络的通用方法。
反向传播的使用可包括传播和权重更新。当输入被呈现给神经网络时，其通过神经网络逐层向前传播，直到其到达输出层。然后使用成本函数将神经网络的输出与期望的输出进行比较，并且为输出层中的每个节点计算误差值。误差值从输出开始向后传播，直到每个节点具有大致表示其对原始输出的贡献的相关误差值。反向传播可使用这些误差值来计算成本函数相对于神经网络中的权重的梯度。将所计算的梯度馈送到所选择的优化方法以更新权重，从而尝试使成本函数最小化。
图9示出了根据一些实施方案的图像识别机器学习程序的训练。机器学习程序可在一个或多个计算机器处实现。框902示出了包括多个类别904的训练集。每个类别904包括与该类别相关联的多个图像906。每个类别904可对应于图像906中的对象的类型(例如，数字0-9、男人或女人、猫或狗、没有缺陷或具有指定缺陷类型的线轴等)。在一个示例中，机器学习程序被训练以识别人物的图像，并且每个类别对应于每个人物。在框908处，例如使用深度神经网络训练机器学习程序。在框910处，由框908的训练生成的受过训练的分类器识别图像912，并且在框914处，识别图像。例如，如果图像912是Bill Clinton的照片，则分类器在框914处将图像识别为对应于Bill Clinton。
图9示出了根据一些示例性实施方案的分类器的训练。机器学习算法被设计用于识别面部，并且训练集902包括将样品映射到类别904的数据(例如，类别包括钱包的所有图像)。这些类别也可称为标签。虽然本文所呈现的实施方案是参考对象识别来呈现的，但是相同的原理可应用于训练用于识别任何类型的项目的机器学习程序。
训练集902包括用于每个类别904的多个图像906(例如，图像906)，并且每个图像与要识别的类别(例如，类)中的一个类别相关联。机器学习程序用训练数据训练908以生成分类器910，该分类器可操作以识别图像。在一些示例性实施方案中，机器学习程序是DNN。
当要识别输入图像912时，分类器910分析输入图像912以识别对应于输入图像912的类别(例如，类别914)。
图10示出了根据一些示例性实施方案的特征提取过程和分类器训练。训练分类器可被划分为特征提取层1002和分类器层1014。每个图像被特征提取层1002中的多个层1006-1013依次分析。如下所述，机器学习的一些实施方案用于面部分类(即，将给定面部图像分类为属于给定人，诸如给定移动电话的拥有者等)。然而，如本文所述，面部识别图像分类神经网络或一般图像分类神经网络(其将图像分类为包括给定对象，诸如桌子、椅子、灯等)可被进一步训练以将线轴的图像分类为具有或不具有缺陷，并且对于具有缺陷的线轴的图像，按缺陷类型分类。
随着深度卷积神经网络的发展，面部识别的焦点是学习良好的面部特征空间，其中同一人的面部彼此靠近并且不同人的面部彼此远离。例如，具有LFW(野外标记的面部)数据集的验证任务通常已用于面部验证。
用于面部识别任务的许多面部识别数据集(例如，MegaFace和LFW)是基于图库集中的图像和查询集中的图像之间的相似性比较，这基本上是估计人的身份的K最近邻(KNN)方法。在理想情况下，存在良好的面部特征提取器(类别间距离总是大于类别内距离)，并且KNN方法足以估计人的身份。
特征提取是减少描述大的数据集所需的资源量的过程。当执行复杂数据的分析时，主要问题之一源于所涉及的变量的数量。具有大量变量的分析通常使用大量的存储器和计算能力，并且其可导致分类算法对训练样品过度拟合并且不佳地通用化新样品。特征提取是描述构建变量组合以解决这些大型数据集问题、同时仍然以足够的准确度描述数据以用于期望目的的方法的通用术语。
在一些示例性实施方案中，特征提取从测量数据的初始集开始，并且构建旨在提供信息和非冗余的推导值(特征)，从而促进后续学习和通用化操作。此外，特征提取与维度减小相关，诸如将大矢量(有时具有非常稀疏的数据)减小到捕获相同或类似信息量的较小矢量。
确定初始特征的子集被称为特征选择。预期所选择的特征包含来自输入数据的相关信息，使得可通过使用该简化表示而不是完整的初始数据来执行期望的任务。DNN利用层的叠堆，其中每个层执行功能。例如，该层可以是卷积、非线性变换、平均值的计算等。最终，此DNN由分类器1014产生输出。在图10中，数据从左行进到右，并且提取特征。训练神经网络的目标是找到所有层的使其足以用于期望任务的权重。
如图10所示，在层1006处施加“4的步长”滤波器，并且在层1007-1013处应用最大池化。步长控制滤波器如何围绕输入体积进行卷积。“4的步长”是指滤波器一次围绕输入体积卷积四个单位。最大池化是指通过选择每个最大池化区域中的最大值进行下采样。
在一些示例性实施方案中，每个层的结构是预定义的。例如，卷积层可包含小卷积内核及其相应卷积参数，并且求和层可计算输入图像的两个像素的总和或加权总和。训练有助于定义用于求和的权重系数。
改善DNN性能的一种方式是识别用于特征提取层的较新结构，并且另一种方式是改善在不同层处识别权重以用于完成期望任务的方式。挑战在于，对于典型的神经网络，可存在待优化的数百万个权重。试图从头开始优化所有这些重量可能需要数小时、数天或甚至数周，这取决于可用计算资源的量和训练集中的数据量。
图11示出了根据一些实施方案的计算机器1100的电路框图。在一些实施方案中，计算机器1100的部件可存储或集成到图11的电路框图中所示的其他部件中。例如，计算机器1100的部分可驻留在处理器1102中，并且可被称为“处理电路”。处理电路可包括处理硬件，例如一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)等。在另选的实施方案中，计算机器1100可以作为独立装置操作或者可以连接(例如，联网)到其他计算机。在联网部署中，计算机器1100可在服务器-客户端网络环境中以服务器、客户端或两者的能力操作。在一个示例中，计算机器1100可充当对等(P2P)(或其他分布式)网络环境中的对等机器。计算机器1100可以是专用计算机、个人计算机(PC)、平板电脑、个人数字助理(PDA)、移动电话、智能电话、网络器具、网络路由器、交换机或桥接器、或能够(顺序地或以其他方式)执行指定该机器要采取的动作的指令的任何机器。
如本文所述，示例可包括逻辑或多个部件、模块或机构，或者可在逻辑或多个部件、模块或机构上操作。模块和部件是能够执行指定操作的有形实体(例如，硬件)，并且可以以某种方式配置或布置。在示例中，电路可按指定方式(例如，在内部或相对于诸如其他电路的外部实体)布置为模块。在示例中，一个或多个计算机系统/设备(例如，独立的、客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分可由固件或软件(例如，指令、应用程序部分或应用程序)配置为操作以执行指定操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使得硬件执行指定操作。
因此，术语“模块”(和“部件”)被理解为涵盖有形实体，是物理构造、具体地配置(例如，硬连线)或临时(例如，通过传输)配置(例如，编程)为以指定方式操作或执行本文所述任何操作的一部分或全部的实体。考虑到模块被临时配置的示例，每个模块不需要在任何一个时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可在不同时间被配置为相应的不同模块。软件可因此将硬件处理器配置为例如在一个时间实例处构成特定模块并且在不同时间实例处构成不同模块。
计算机器1100可包括硬件处理器1102(例如，中央处理单元(CPU)、GPU、硬件处理器内核或它们的任何组合)、主存储器1104和静态存储器1106，它们中的一些或全部可经由互连链路(例如，总线)1108彼此通信。尽管未示出，但主存储器1104可包含可移动存储装置和不可移动存储装置、易失性存储器或非易失性存储器中的任一者或全部。计算机器1100还可包括视频显示单元1110(或其他显示单元)、字母数字输入装置1112(例如键盘)以及用户界面(UI)导航装置1114(例如鼠标)。在示例中，显示单元1110、输入装置1112和UI导航装置1114可以是触摸屏显示器。计算机器1100可另外包括存储装置(例如，驱动单元)1116、信号生成装置1118(例如，扬声器)、网络接口装置1120和一个或多个传感器1121，诸如全球定位系统(GPS)传感器、罗盘、加速度计或其他传感器。计算机器1100可包括输出控制器1128，诸如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接，以通信或控制一个或多个外围装置(例如，打印机、读卡器等)。
驱动单元1116(例如，存储装置)可包括机器可读介质1122，在机器可读介质上存储体现或由本文所述的技术或功能中的任何一者或多者利用的一组或多组数据结构或指令1124(例如，软件)。指令1124还可在其由计算机器1100执行期间完全或至少部分地驻留在主存储器1104内、静态存储器1106内或硬件处理器1102内。在示例中，硬件处理器1102、主存储器1104、静态存储器1106或存储装置1116中的一者或任何组合可构成机器可读介质。
虽然机器可读介质1122被示出为单个介质，但术语“机器可读介质”可包括被配置为存储一个或多个指令1124的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。
术语“机器可读介质”可以包括能够存储、编码或携带用于由计算机器1100执行的指令并且使得计算机器1100执行本公开的技术中的任何一者或多者的任何介质，或者能够存储、编码或携带由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可包括：非易失性存储器，诸如半导体存储器装置(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存装置；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；随机存取存储器(RAM)；以及CD-ROM和DVD-ROM盘。在一些示例中，机器可读介质可包括非暂态机器可读介质。在一些示例中，机器可读介质可包括不是暂态传播信号的机器可读介质。
指令1124还可利用多种传输协议(例如，帧中继器、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种，经由网络接口装置1120使用传输介质通过通信网络1126传输或接收。示例性通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如，电气和电子工程师协会(IEEE)802.11系列标准(称为)，IEEE802.16系列标准(称为/>))、IEEE802.15.4系列标准、长期演进(LTE)系列标准、通用移动电信系统(UMTS)系列标准、对等(P2P)网络等等。在示例中，网络接口装置1120可包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络1126。
图12示出了根据一些实施方案的示例性系统1200，其中可以实现基于人工智能的纱线质量控制。如图所示，系统1200包括服务器1210、数据储存库1220和边缘装置1230。服务器1210、数据储存库1220和边缘装置1230通过网络1240彼此通信。网络1240可包括互联网、内联网、局域网、广域网、蜂窝网络、网络、虚拟专用网络、有线网络、无线网络等中的一种或多种。在一些实施方案中，除了网络1240之外或代替网络，可使用直接有线或无线连接。
数据储存库1220存储缠绕的纤维线轴的图像。缠绕的纤维线轴的图像包括相机生成的图像和计算机生成的图像，该图像可如本文所述在服务器1210处生成。边缘装置1230可为台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。服务器1210生成并训练图像识别DNN模型，以在检测到缺陷时识别(缠绕的纤维线轴的)所接收的图像是否描绘缺陷和缺陷类型。图像识别DNN模型可以是CNN模型或任何其他类型的DNN模型。下面结合图13讨论服务器1210的操作的示例。
在图12中，服务器1210、数据储存库1220和边缘装置1230被示出为独立的机器。然而，在一些实施方案中，单个机器可包括服务器1210、数据储存库1220和边缘装置1230中的两种或更多种。在一些实施方案中，服务器1210的功能可在两个或更多个机器之间拆分。在一些实施方案中，数据储存库1220的功能可在两个或更多个机器之间拆分。在一些实施方案中，边缘装置1230的功能可在两个或更多个机器之间拆分。
服务器1210可以利用生成式对抗网络(GAN)、图像识别DNN模型和迁移学习引擎来存储、训练和推断，如结合图13所述。GAN和图像识别DNN模型可使用软件、硬件或软件和硬件的组合实现为引擎。
图13示出了用于基于人工智能的纱线质量控制的示例性方法1300。下文将方法1300描述为使用图12的系统1200在服务器1210处实现。然而，方法1300也可使用计算机器的不同配置来实现。
在操作1310处，服务器1210访问存储在数据储存库1220处的缠绕的纤维线轴的相机生成的多个图像。相机生成的多个图像包括被标记为无缺陷的线轴的多个第一图像和被标记为有缺损的线轴的多个第二图像。多个第二图像中的至少一个图像标记有缺陷类型。缺陷类型以及可用于识别缺陷类型的硬件和/或软件的一些示例示于下表1中。提供缺陷类型、硬件和软件作为示例，并且不限制本文所公开的技术。
可使用本主题的示例来识别各种各样的条件。示例包括包装件形成缺陷、污点、芯损坏、以及其它各种制造缺陷。
在操作1320处，服务器1210生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像。使用GAN并基于相机生成的多个图像生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像。计算机生成的图像中的一个或多个图像标记有缺陷类型(例如，表1中的缺陷类型中的一个或多个缺陷类型)。
在GAN中，两个神经网络在博弈中彼此竞争(在博弈论的意义上，通常但不总是以零和博弈的形式)。在给定训练集的情况下，此技术学习生成与训练集具有相同统计的新数据。例如，在照片上训练的GAN可生成新照片，该新照片看起来至少在表面上对人类观察者是真实的，具有许多实际特征。尽管最初被提议为用于无监督学习的生成模型的形式，但GAN也被证明可用于半监督学习、全监督学习和强化学习。
在一些情况下，相机生成的图像包括大量无缺陷的线轴的图像和数量少得多的有缺损的线轴的图像。这可能不足以训练模型来识别有缺损的线轴和缺陷类型。因此，有缺损的线轴的附加计算机生成的图像可为有用的。具有缺陷的缠绕的纤维线轴的计算机生成的多个图像可包括标记为有缺损的线轴的第二相机生成的多个图像的至少n倍，其中n可为2、3、10等。
在操作1330处，服务器1210使用迁移学习引擎并使用包括相机生成的多个图像和计算机生成的多个图像的训练数据集，进一步训练先前训练的图像识别DN模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型。在使用迁移学习引擎的进一步训练(在操作1330中)之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像。例如，在使用迁移学习引擎进行进一步训练(在操作1330中)之前，模型可对应于结合图9所述的面部识别模型。
在一些示例中，模型包括输入层、输出层和多个隐藏层。迁移学习引擎在进一步训练(操作1330的)之前至少调整输入层和输出层。(操作1330的)进一步训练修改施加在多个隐藏层中的权重。
迁移学习是机器学习的子领域，其集中于存储所获得的知识，同时解决一个问题(例如，面部分类或图像分类)并将其应用于不同但相关的问题(例如，缠绕的纤维线轴缺陷分类)。从实践的角度来看，重复使用或迁移来自先前学习的任务的信息来学习新任务具有显著改善强化学习代理的样品效率的潜力。
在操作1340处，服务器1210提供表示模型的输出。模型可被提供(例如，传输)到存储单元(例如，数据储存库1220或不同的存储单元)以用于在其处存储。
在一些实施方案中，提供表示模型的输出包括将模型提供(例如，传输)到边缘装置1230以用于在其处部署模型的推断阶段。在推断阶段中，边缘装置1230接收样品缠绕的纤维线轴图像。样品缠绕的纤维线轴图像可经由网络1240、从边缘装置1230的本地存储器或经由与边缘装置1230联接的相机(例如，网络摄像头或内置相机)接收。边缘装置1230使用部署的模型确定样品缠绕的纤维线轴图像描绘缺陷的概率。边缘装置1230提供与样品缠绕的纤维线轴图像描绘缺陷的概率相关联的输出。
在一些示例中，与概率相关联的输出可以包括概率本身或概率的数学函数。如果概率大于阈值(例如，50％、70％或90％)，则与概率相关联的输出可以包括第一值(例如，真)，并且如果概率小于阈值，则输出可以包括第二值(例如，假)。
在一些示例中，在确定样品缠绕的纤维线轴图像描绘缺陷的概率超过阈值(例如，55％、75％或95％)时，边缘装置1230使用部署的图像识别DNN模型确定缺陷的缺陷类型和缺陷类型的概率。边缘装置1230提供与缺陷类型的概率相关联的输出。例如，如果缺陷类型的概率超过概率阈值(例如，60％)，则边缘装置1230可提供指示缺陷类型的输出。
编号的实施例
一些方面在下文被描述为编号的实施例(实施例1、2、3等)。这些编号的实施例不限制本文所公开的技术。
实施例1是在一个或多个计算机器处实现的方法，该方法包括：使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，该相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，该第二子集中的图像中的至少一个图像标记有缺陷类型；使用生成式对抗网络(GAN)并基于相机生成的多个图像，生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，该计算机生成的图像中的一个或多个图像标记有缺陷类型；使用迁移学习引擎并使用包括相机生成的多个图像和计算机生成的多个图像的训练数据集进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及提供表示模型的输出。
在实施例2中，实施例1的主题包括，其中提供表示模型的输出包括向边缘装置提供模型以用于在其处部署，其中边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
在实施例3中，实施例2的主题包括，在边缘装置处接收样品缠绕的纤维线轴图像；使用所部署的模型来确定样品缠绕的纤维线轴图像描绘缺陷的概率；以及提供与样品缠绕的纤维线轴图像描绘缺陷的概率相关联的输出。
在实施例4中，实施例3的主题包括，在确定样品缠绕的纤维线轴图像描绘缺陷的概率超过阈值时：使用部署的图像识别DNN模型来确定缺陷的缺陷类型和缺陷类型的概率；以及提供与缺陷类型的概率相关联的输出。
在实施例5中，实施例3至4的主题包括，其中与概率相关联的输出包括如果概率大于阈值的第一值和如果概率小于阈值的第二值。
在实施例6中，实施例3至5的主题包括，其中与概率相关联的输出包括概率或概率的数学函数。
在实施例7中，实施例1至6的主题包括：其中模型包括输入层、输出层和多个隐藏层，该方法还包括：在进一步训练之前使用迁移学习引擎至少调整输入层和输出层，其中进一步训练修改施加在多个隐藏层中的权重。
在实施例8中，实施例1至7的主题包括，其中计算机生成的多个图像包括多个第二图像的至少两倍的图像。
在实施例9中，实施例1至8的主题包括，其中图像识别DNN包括卷积神经网络(CNN)。
在实施例10中，实施例1至9的主题包括，其中提供表示模型的输出包括将模型提供给存储单元以用于在其处存储。
实施例11是一种存储指令的机器可读介质，当在一个或多个计算机处执行时该指令使得该一个或多个计算机执行包括以下的操作：使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，该相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，该第二子集中的图像中的至少一个图像标记有缺陷类型；使用生成式对抗网络(GAN)并基于相机生成的多个图像，生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，该计算机生成的图像中的一个或多个图像标记有缺陷类型；使用迁移学习引擎并使用包括相机生成的多个图像和计算机生成的多个图像的训练数据集进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及提供表示模型的输出。
在实施例12中，实施例11的主题包括，其中提供表示模型的输出包括向边缘装置提供模型以用于在其处部署，其中边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
在实施例13中，实施例12的主题还包括：在边缘装置处接收样品缠绕的纤维线轴图像；使用所部署的模型来确定样品缠绕的纤维线轴图像描绘缺陷的概率；以及提供与样品缠绕的纤维线轴图像描绘缺陷的概率相关联的输出。
在实施例14中，实施例13的主题包括，操作还包括：在确定样品缠绕的纤维线轴图像描绘缺陷的概率超过阈值时：使用部署的图像识别DNN模型来确定缺陷的缺陷类型和缺陷类型的概率；以及提供与缺陷类型的概率相关联的输出。
在实施例15中，实施例13至14的主题包括，其中与概率相关联的输出包括如果概率大于阈值的第一值和如果概率小于阈值的第二值。
在实施例16中，实施例13至15的主题包括，其中与概率相关联的输出包括概率或概率的数学函数。
在实施例17中，实施例11至16的主题包括，其中模型包括输入层、输出层和多个隐藏层，该操作还包括：在进一步训练之前，使用迁移学习引擎至少调整输入层和输出层，其中进一步训练修改施加在多个隐藏层中的权重。
实施例18是一种系统，包括：处理电路；和存储器，该存储器存储指令，当在处理电路处执行时，该指令使得处理电路执行包括以下的操作：使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，该相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，该第二子集中的图像中的至少一个图像标记有缺陷类型；使用生成式对抗网络(GAN)并基于相机生成的多个图像生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，该计算机生成的图像中的一个或多个图像标记有缺陷类型；使用迁移学习引擎并使用包括相机生成的多个图像和计算机生成的多个图像的训练数据集进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及提供表示模型的输出。
在实施例19中，实施例18的主题包括，其中提供表示模型的输出包括向边缘装置提供模型以用于在其处部署，其中边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
在实施例20中，实施例19的主题包括，该操作还包括：在边缘装置处接收样品缠绕的纤维线轴图像；使用所部署的模型来确定样品缠绕的纤维线轴图像描绘缺陷的概率；以及提供与样品缠绕的纤维线轴图像描绘缺陷的概率相关联的输出。
实施例21是一种纺织物包装件生产系统，该纺织物包装件生产系统包括：成像器，该成像器被配置为生成纺织物包装件的光学图像，该成像器具有至少一个光学检测器和光学发射器，该成像器具有检查区域；输送器，该输送器具有测试对象载体，该测试对象载体被配置用于相对于该载体和检查区域进行相对移动；分拣机，该分拣机联接到输送器并被配置为作出关于第一分类和第二分类的选择；和控制器，该控制器具有处理器和存储器，该控制器联接到成像器、输送器和分拣机并且被配置为实现人工引擎分类器，其中基于光学图像并且基于存储器中的指令和训练数据来控制分拣机。
在实施例22中，实施例21的主题包括，其中控制器被配置为实现神经网络。
在实施例23中，实施例21至22的主题包括，其中控制器被配置为实现回归计算。
在实施例24中，实施例21至23的主题包括，其中成像器被配置为生成二维视图。
在实施例25中，实施例21至24的主题包括，其中控制器被配置为生成二维视图中的边界框。
在实施例26中，实施例25的主题包括，其中控制器被配置为生成对应于边界框的预测。
在实施例27中，根据实施例21至26所述的主题包括：其中该至少一个光学检测器包括相机。
实施例28是包括指令的至少一种机器可读介质，该指令在由处理电路执行时使得处理电路执行操作以实现实施例1至27中的任一项。
实施例29为一种设备，该设备包括用以实现实施例1至27中的任一项的器件。
实施例30是一种用于实现实施例1至27中的任一项的系统。
实施例31是一种实现实施例1至27中的任一项的方法。
各种注释
一个示例包括用于教导和操作的方法。教导可包括训练人工智能以在任何数量的条件之间进行区分。一个示例包括在可接受的质量和不可接受的质量之间进行区分。教导可包括光学扫描纱线容器以提供所扫描的纱线容器图像的库。图像可被分类为至少两个类别。此外，可扫描另外的图像。此外，人工智能算法可配有进一步的细化。这可包括基于图像中指示存在缺陷的异常进行学习。该方法可以包括操作人工智能系统以在生产模式中对图像进行分类。这可包括在线访问图像用于评估或在线访问训练数据。扫描图像可用于生成或增强人工智能系统的训练数据。受过训练的系统可被配置为识别线轴中的缺陷。
本主题的示例包括专用硬件和特定编程的计算机。硬件可包括成像装备，诸如光学透镜和滤光器，以使线轴中的精细细节成像。鉴于各种各样的线轴外观和缠绕长丝的非常小的尺寸，缺陷可为尤其具有挑战性的以进行辨别。结合用于实现本文所述的方法的特别编程的处理器，充分照明和敏感的光学系统可有助于对制造物品(诸如线轴)的质量进行评级。本文所公开的元件的组合可解决评估线轴处理设施中的纱线质量的问题。
该方法还可包括提供质量标准和分拣。提供质量标准可有利于通过特定缺陷进行分拣。此外，分拣可包括基于缺陷的类型、缺陷的性质或严重性或缺陷的数量将纤维容器分类成类别。分拣可以包括物理地分离线轴，或者分拣可以包括将与每个线轴的质量或特性相关联的数据存储在存储器中，或者其可以包括将每个线轴分类成多个类别。在本主题的一个示例中，省略物理分拣，并且将每个线轴的质量数据存储在存储器中。
在一个示例中，该方法也可包括在纤维制造过程中将至少一个特定缺陷与自变量相关联。此外，该方法可包括调整自变量以降低特定缺陷的发生率。
在一个示例中，该方法包括检测缺陷，该缺陷通过纤维在相邻行和层中的不均匀分布表征，并且其中调整的自变量为纤维包装件构建质量。
在一个示例中，通过修改纤维或纤维缠绕设备的机械条件来调整纤维包装件构建质量。
在一个示例中，该方法包括评估人工智能分拣系统并更新人工智能算法。
适于对纱线容器进行分拣的装置可以包括相机、灯、透镜、控制器、被配置为存储图像并执行人工智能算法的计算机、以及用于基于算法的执行对纤维容器进行分拣的机械分拣装置。一个示例包括边缘服务器或位于云环境中的服务器。定位在包装线附近的处理器可用于评估和存储模型，并且可在云中执行模型的训练。
本主题的一个示例实现被称为YOLO算法。与对象检测不同，YOLO以也执行检测的方式实现分类器。在YOLO中，可使用分开的边界框和相关联的类别概率将对象检测视为回归问题。单个神经网络在图像的单次通过中直接从完整图像预测边界框和类别概率。YOLO在图像中的元素周围创建框并确定每个框中的内容的标识。
除了回归分析(诸如由YOLO例示的回归分析)之外，本主题的一个示例还包括概率模型。因此，该计算利用随机值和概率分布来对线轴生产结果建模。
算法的一个示例包括可变形零件模型并使用滑动滤波器或基于区域的分类器。
一个示例使用包装件的整个图像来执行图像识别。
一个示例被配置为检测多个缺陷。缺陷可出现在包装件上的任何位置。例如，可检测包装件形成缺陷。一个示例可以检测纱线端部。一个示例可测量纱线和线轴的物理尺寸。
质量参数可与测量参数相关。测量参数的阈值可在算法上设定或可由用户设定。
本主题的一个示例可在制造之后或制造期间检测缺陷。
在一个示例中，测试对象和训练数据描绘整个线轴(包括面部)。
一个示例包括使用计算机视觉和机器学习来评估(分类)。与基线的简单比较不同，本主题可通过对测试对象的连续分析和分类来学习。
例如，一个实施方案包括被配置为学习各种缠绕图案(多个图案)的算法。
训练数据可通过将数据存储在存储器中、通过用户提供的示例或通过访问在线资源提供给控制器。
本主题的一个示例包括在纱线包装件质量控制和分拣的上下文中结合人工智能和计算机控制的光学检查。
一个示例包括纱线包装件缺陷检测和控制。本文所公开的主题可被配置用于与纺织物相关的过程，该过程使用如本文所述的装备和方法(相机图像采集和扫描、图像数据库、与标准图像相关的缺陷的AI处理，以及基于AI处理的分拣)。
以上描述包括对附图的参考，附图形成具体实施方式的一部分。附图通过说明的方式示出了可实践本发明的具体实施方案。这些实施方案在本文中也被称为“示例”。此类示例可包括除所示或所述的那些元件之外的元件。然而，本发明人还设想到其中仅提供所示或所述的那些元件的示例。此外，本发明人还设想了使用相对于示例(或其一个或多个方面)或相对于本文所示或所述的其他示例(或其一个或多个方面)所示或所述的那些元件(或其一个或多个方面)的任何组合或排列的示例。
在本文档与以引用方式并入的任何文档之间的使用不一致的情况下，以本文档中的使用为准。
在本文档中，如专利文档中常见的，术语“一”或“一个”用于包括一个或多于一个，而与“至少一个”或“一个或多个”的任何其他情况或使用无关。在本文档中，除非另外指明，否则术语“或”用于指非排他性的或，使得“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。在本文档中，术语“包括”和“其中(in which)”分别用作相应术语“包含”和“其中(wherein)”的通俗英语等同物。另外，在以下权利要求中，术语“包括”和“包含”是开放式的，即包括除了那些在权利要求中这样的术语之后列出的元件之外的元件的系统、装置、制品、组合物、制剂或过程仍然被认为落入该权利要求的范围内。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅用作标记，并且不旨在对其对象施加数值要求。
除非上下文另外指明，否则诸如“平行”、“垂直”、“圆形”或“正方形”的几何术语并非旨在要求绝对数学精度。相反，此类几何术语允许由于制造或等同功能而产生的变化。例如，如果元件被描述为“圆形”或“大致圆形”，则并非精确圆形的部件(例如，略微长方形或为多边多边形的部件)仍然被此描述涵盖。
本文所述的方法示例可至少部分地由机器或计算机实现。一些示例可包括用指令编码的计算机可读介质或机器可读介质，该指令可操作为将电子装置配置为执行如上述示例中所述的方法。此类方法的实施方式可包括代码，诸如微代码、汇编语言代码、高级语言代码等。此类代码可包括用于执行各种方法的计算机可读指令。代码可形成计算机程序产品的部分。此外，在示例中，代码可诸如在执行期间或在其他时间有形地存储在一个或多个易失性、非暂态或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频磁盘)、磁带盒、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。
以上描述旨在为例示性的而非限制性的。例如，上述示例(或其一个或多个方面)可彼此结合使用。诸如由本领域普通技术人员在查看上述描述时可使用其他实施方案。提供说明书摘要以允许读者快速确定技术公开的性质。提交的理解是其将不用于解释或限制权利要求的范围或含义。另外，在上文具体实施方式中，可将各种特征分组在一起以简化本公开。这不应理解为意图是未要求保护的公开特征对于任何权利要求都是必不可少的。相反，本发明主题可少于所公开的实施方案的所有特征。因此，以下权利要求书据此作为示例或实施方案并入具体实施方式中，其中每个权利要求本身作为单独的实施方案，并且预期此类实施方案可以以各种组合或排列彼此组合。因此，本发明的范围应当参考所附权利要求以及这些权利要求所授权的等同物的全部范围来确定。

Claims (27)

1.一种在一个或多个计算机器处实现的用于控制纱线质量的方法，所述方法包括：
使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，所述相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，所述多个第二图像中的至少一个图像标记有缺陷类型；
使用生成式对抗网络(GAN)并基于所述相机生成的多个图像，生成具有缺陷的缠绕的纤维线轴的、计算机生成的多个图像，计算机生成的多个图像中的一个或多个图像标记有缺陷类型；
使用迁移学习引擎并使用包括所述相机生成的多个图像和所述计算机生成的多个图像的训练数据集，进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及
提供表示所述模型的输出。
2.根据权利要求1所述的方法，其中，提供表示所述模型的所述输出包括将所述模型提供给边缘装置以用于在所述边缘装置处部署，其中，所述边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
3.根据权利要求2所述的方法，所述方法还包括：
在所述边缘装置处接收样品缠绕的纤维线轴图像；
使用所部署的模型来确定所述样品缠绕的纤维线轴图像来描绘缺陷的概率；以及
提供与所述样品缠绕的纤维线轴图像描绘所述缺陷的概率相关联的输出。
4.根据权利要求3所述的方法，所述方法还包括：
在确定所述样品缠绕的纤维线轴图像描绘所述缺陷的所述概率超过阈值时：
使用所部署的图像识别DNN模型来确定所述缺陷的缺陷类型和所述缺陷类型的概率；以及
提供与所述缺陷类型的所述概率相关联的输出。
5.根据权利要求3所述的方法，其中，与所述概率相关联的所述输出包括在所述概率大于阈值情况下的第一值和在所述概率小于所述阈值情况下的第二值。
6.根据权利要求3所述的方法，其中，与所述概率相关联的所述输出包括所述概率或所述概率的数学函数。
7.根据权利要求1所述的方法，其中，所述模型包括输入层、输出层和多个隐藏层，所述方法还包括：
在所述进一步训练之前，使用所述迁移学习引擎至少调整所述输入层和所述输出层，其中，所述进一步训练修改应用在所述多个隐藏层中的权重。
8.根据权利要求1所述的方法，其中，所述计算机生成的多个图像包括所述多个第二图像的至少两倍的图像。
9.根据权利要求1所述的方法，其中，图像识别DNN包括卷积神经网络(CNN)。
10.根据权利要求1所述的方法，其中，提供表示所述模型的所述输出包括将所述模型提供给存储单元以用于在存储单元处存储。
11.一种机器可读介质，所述机器可读介质存储指令，当在一个或多个计算机器处执行时，所述指令使得所述一个或多个计算机器执行操作，所述操作包括：
使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，所述相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，所述多个第二图像中的至少一个图像标记有缺陷类型；
使用生成式对抗网络(GAN)并基于所述相机生成的多个图像，生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，计算机生成的多个图像中的一个或多个图像标记有缺陷类型；
使用迁移学习引擎并使用包括所述相机生成的多个图像和所述计算机生成的多个图像的训练数据集，进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及
提供表示所述模型的输出。
12.根据权利要求11所述的机器可读介质，其中，提供表示所述模型的所述输出包括将所述模型提供给边缘装置以用于在所述边缘装置处部署，其中，所述边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
13.根据权利要求12所述的机器可读介质，所述操作还包括：
在所述边缘装置处接收样品缠绕的纤维线轴图像；
使用所部署的模型来确定所述样品缠绕的纤维线轴图像来描绘缺陷的概率；以及
提供与所述样品缠绕的纤维线轴图像描绘所述缺陷的概率相关联的输出。
14.根据权利要求13所述的机器可读介质，所述操作还包括：
在确定所述样品缠绕的纤维线轴图像描绘所述缺陷的所述概率超过阈值时：
使用所部署的图像识别DNN模型来确定所述缺陷的缺陷类型和所述缺陷类型的概率；以及
提供与所述缺陷类型的所述概率相关联的输出。
15.根据权利要求13所述的机器可读介质，其中，与所述概率相关联的所述输出包括在所述概率大于阈值的情况下的第一值和在所述概率小于所述阈值的情况下的第二值。
16.根据权利要求13所述的机器可读介质，其中，与所述概率相关联的所述输出包括所述概率或所述概率的数学函数。
17.根据权利要求11所述的机器可读介质，其中，所述模型包括输入层、输出层和多个隐藏层，所述操作还包括：
在所述进一步训练之前，使用所述迁移学习引擎至少调整所述输入层和所述输出层，其中，所述进一步训练修改应用在所述多个隐藏层中的权重。
18.一种用于控制纱线质量的系统，所述系统包括：
处理电路；和
存储器，所述存储器存储指令，所述指令当在所述处理电路处执行时使所述处理电路执行操作，所述操作包括：
使用服务器访问存储在一个或多个数据存储单元中的缠绕的纤维线轴的相机生成的多个图像，所述相机生成的多个图像包括被标记为无缺陷线轴的多个第一图像和被标记为有缺损线轴的多个第二图像，所述多个第二图像中的至少一个图像标记有缺陷类型；
使用生成式对抗网络(GAN)并基于所述相机生成的多个图像，生成具有缺陷的缠绕的纤维线轴的计算机生成的多个图像，计算机生成的多个图像中的一个或多个图像标记有缺陷类型；
使用迁移学习引擎并使用包括所述相机生成的多个图像和所述计算机生成的多个图像的训练数据集，进一步训练先前训练的图像识别深度神经网络(DNN)模型，以在检测到缺陷时识别所接收的图像是否描绘缺陷和缺陷类型，其中，在使用迁移学习引擎进一步训练之前，模型被先前训练以识别与缠绕的纤维线轴不同的图像；以及
提供表示所述模型的输出。
19.根据权利要求18所述的系统，其中，提供表示所述模型的所述输出包括将所述模型提供给边缘装置以用于在所述边缘装置处部署，其中，所述边缘装置包括台式计算机、膝上型计算机、平板电脑、移动电话、数字音乐播放器和个人数字助理(PDA)中的一种或多种。
20.根据权利要求19所述的系统，所述操作还包括：
在所述边缘装置处接收样品缠绕的纤维线轴图像；
使用所部署的模型来确定所述样品缠绕的纤维线轴图像来描绘缺陷的概率；以及
提供与所述样品缠绕的纤维线轴图像描绘所述缺陷的概率相关联的输出。
21.一种纺织物包装件生产系统，所述纺织物包装件生产系统包括：
成像器，所述成像器被配置为生成用于纺织物包装件的光学图像，所述成像器具有至少一个光学检测器和光学发射器，所述成像器具有检查区域；
输送器，所述输送器具有测试对象载体，所述测试对象载体被配置用于相对于载体和所述检查区域进行相对移动；
分拣机，所述分拣机被联接到所述输送器并被配置为作出关于第一分类和第二分类的选择；和
控制器，所述控制器具有处理器和存储器，所述控制器被联接到所述成像器、所述输送器和所述分拣机并且被配置为实现人工引擎分类器，在所述人工引擎分类器中，基于所述光学图像并且基于所述存储器中的指令和训练数据来控制所述分拣机。
22.根据权利要求21所述的系统，其中，所述控制器被配置为实现神经网络。
23.根据权利要求21所述的系统，其中，所述控制器被配置为实现回归计算。
24.根据权利要求21所述的系统，其中，所述成像器被配置为生成二维视图。
25.根据权利要求21所述的系统，其中，所述控制器被配置为在二维视图中生成边界框。
26.根据权利要求25所述的系统，其中，所述控制器被配置为生成对应于所述边界框的预测。
27.根据权利要求21所述的系统，其中，所述至少一个光学检测器包括相机。
CN202080028542.3A 2019-03-15 2020-03-13 纱线质量控制 Active CN113711234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962819122P 2019-03-15 2019-03-15
US62/819,122 2019-03-15
PCT/IB2020/052332 WO2020188452A1 (en) 2019-03-15 2020-03-13 Yarn quality control

Publications (2)

Publication Number Publication Date
CN113711234A CN113711234A (zh) 2021-11-26
CN113711234B true CN113711234B (zh) 2024-01-23

Family

ID=69960672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028542.3A Active CN113711234B (zh) 2019-03-15 2020-03-13 纱线质量控制

Country Status (5)

Country Link
US (1) US20220254005A1 (zh)
CN (1) CN113711234B (zh)
CA (1) CA3133596A1 (zh)
GB (1) GB2597857B (zh)
WO (1) WO2020188452A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11971600B2 (en) * 2020-06-12 2024-04-30 viaPhoton, Inc. Fiber organizer
US11679418B2 (en) * 2021-04-16 2023-06-20 Rios Intelligent Machines, Inc. Automatically individually separating bulk objects
US20230082479A1 (en) * 2021-09-16 2023-03-16 Belmont Textile Machinery Company Automated yarn package handling system and method
WO2023143740A1 (en) * 2022-01-28 2023-08-03 Sanko Tekstil Isletmeleri Sanayi Ve Ticaret Anonim Sirketi Baspinar Subesi Inspection system for yarn bobbins and method for inspecting yarn bobbins
CN116356463B (zh) * 2023-04-19 2023-12-15 吴江京奕特种纤维有限公司 喷气涡流纺纱线质量预测方法
CN116894840B (zh) * 2023-09-08 2023-11-17 南通世纪纺织有限公司 纺纱打样机产品质量检测方法及系统
CN117237340B (zh) * 2023-11-10 2024-01-26 江西省中鼐科技服务有限公司 一种基于人工智能的手机外壳外观检测方法及系统
CN117687371B (zh) * 2024-02-01 2024-04-19 成都正西机器人有限公司 一种组合式复合材料生产线和控制系统及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109003267A (zh) * 2017-08-09 2018-12-14 深圳科亚医疗科技有限公司 从3d图像自动检测目标对象的计算机实现方法和系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633383B1 (en) 1999-10-25 2003-10-14 Linetech Industries, Inc. Method and apparatus for the automated inspection of yarn packages
JP4049107B2 (ja) 2004-03-01 2008-02-20 株式会社豊田自動織機 紡績機における繊維束の品質管理方法
CH701772A1 (de) 2009-09-07 2011-03-15 Uster Technologies Ag Vorrichtung und Verfahren zur optischen Abtastung eines bewegten Textilmaterials.
JP2013227155A (ja) 2012-03-28 2013-11-07 Murata Machinery Ltd 糸欠陥分類装置及び糸巻取機
CZ2013565A3 (cs) 2013-07-16 2014-08-27 Rieter Cz S.R.O. CMOS optický snímač obsahující množství optických prvků pro zařízení ke zjišťování parametrů pohybující se příze na textilních strojích
CN104532423B (zh) 2015-01-15 2016-12-07 青岛玉兰祥商务服务有限公司 一种基于图像识别的纱线质量测控方法
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US11449985B2 (en) * 2016-12-02 2022-09-20 Regents Of The University Of Minnesota Computer vision for cancerous tissue recognition
IT201700042506A1 (it) 2017-04-18 2018-10-18 Btsr Int Spa Metodo, sistema e sensore per rilevare una caratteristica di un filo tessile o metallico alimentato ad una macchina operatrice
US10474929B2 (en) * 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation
KR20190004525A (ko) * 2017-07-04 2019-01-14 주식회사 마인즈랩 문장 학습 시스템 및 문장 학습 방법
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
WO2019067641A1 (en) * 2017-09-26 2019-04-04 Aquifi, Inc. SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY
IL257256A (en) * 2018-01-30 2018-03-29 HYATT Yonatan System and method for establishing production line tests

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003267A (zh) * 2017-08-09 2018-12-14 深圳科亚医疗科技有限公司 从3d图像自动检测目标对象的计算机实现方法和系统
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Antreas Antoniou et al .DATA AUGMENTATION GENERATIVE ADVERSARIAL NETWORKS.2017,第1-14段. *
Chung-Chi Huang et al.Study on Machine Learning Based Intelligent Defect 1 Detection System.MATEC Web of Conferences.2018,第1-10页. *
Jun-Feng Jing et al.automatic fabric defect detection using a deep convolution neural network.Society of Dyers and Colourists.2019,第1-11页. *
Leon Weninger et al .Defect Detection in Plain Weave Fabrics by Yarn Tracking and Fully Convolutional Networks.2018 IEEE INTERNATIONAL INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE.2018,第1-6页. *
Shuang Mei et al.automatic fabric defect detection with a muti-scale convolutional denoising autoencoder network model.sensors.2018,第1-18页. *
李明等.应用GAN和FastR-CNN的色织物缺陷识别.西安工程大学学报.2018,第第32卷卷(第第6期期),第664-668页. *

Also Published As

Publication number Publication date
GB202114482D0 (en) 2021-11-24
CN113711234A (zh) 2021-11-26
GB2597857B (en) 2023-05-17
CA3133596A1 (en) 2020-09-24
US20220254005A1 (en) 2022-08-11
WO2020188452A1 (en) 2020-09-24
GB2597857A (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN113711234B (zh) 纱线质量控制
US10607331B1 (en) Image segmentation into overlapping tiles
Kukreja et al. A Deep Neural Network based disease detection scheme for Citrus fruits
US10650508B2 (en) Automatic defect classification without sampling and feature selection
CN110717553B (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
Moses et al. Deep CNN-based damage classification of milled rice grains using a high-magnification image dataset
US11468266B2 (en) Target identification in large image data
US11068747B2 (en) Computer architecture for object detection using point-wise labels
US11694327B2 (en) Cross layer common-unique analysis for nuisance filtering
JP6528040B2 (ja) インテリジェントマシンのネットワーク
US20200364549A1 (en) Predicting optical fiber manufacturing performance using neural network
US11983917B2 (en) Boosting AI identification learning
CA3166581A1 (en) Method and system for training inspection equipment for automatic defect classification
CN113537277A (zh) 确定分类的解释
WO2021175902A1 (en) Systems and methods for fine tuning image classification neural networks
Gope et al. Peaberry and normal coffee bean classification using CNN, SVM, and KNN: Their implementation in and the limitations of Raspberry Pi 3
US20220383606A1 (en) Data band selection using machine learning
Martins et al. Deep learning applied to the identification of fruit fly in intelligent traps
Kalvankar et al. Galaxy morphology classification using efficientnet architectures
Puig et al. CleverTrash: an IoT system for waste sorting with deep learning
Rishita et al. Dog breed classifier using convolutional neural networks
Shamim et al. A deep convolutional neural network approach to rice grain purity analysis
Thakur et al. Automated fabric inspection through convolutional neural network: an approach
US20230058730A1 (en) Food product monitoring solution
Santosa et al. A robust feature construction for fish classification using grey Wolf optimizer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant