CN111524478A - 检测故障的设备和方法 - Google Patents

检测故障的设备和方法 Download PDF

Info

Publication number
CN111524478A
CN111524478A CN202010078786.4A CN202010078786A CN111524478A CN 111524478 A CN111524478 A CN 111524478A CN 202010078786 A CN202010078786 A CN 202010078786A CN 111524478 A CN111524478 A CN 111524478A
Authority
CN
China
Prior art keywords
data
time series
series sensor
sensor data
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010078786.4A
Other languages
English (en)
Inventor
李章焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN111524478A publication Critical patent/CN111524478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32222—Fault, defect detection of origin of fault, defect of product
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34477—Fault prediction, analyzing signal trends
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及检测故障的设备和方法。一种用于检测故障的方法包括：接收在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据；将多个时间序列传感器数据布置在二维(2D)数据阵列中；将2D数据阵列提供至卷积神经网络模型；使用卷积神经网络模型，在2D数据阵列中识别与故障状态相关联的模式；提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器确定电子装置包括故障。2D数据阵列具有到卷积神经网络模型的输入数据的维度。

Description

检测故障的设备和方法
相关申请的交叉引用
本申请要求2019年2月5日提交的第62/801,393号美国临时专利申请的优先权和权益，该申请的公开通过引用整体合并于此。
技术领域
本公开通常涉及一种例如通过使用机器学习(更具体地，采用踪迹数据的机器学习模型)检测故障的设备和方法。机器学习模型可以用于使用在诸如显示面板的各种电子装置的制造过程中获取的传感器数据，检测或预测诸如显示面板的各种电子装置的故障状态和缺陷。
背景技术
近年来，移动显示产业已经快速增长。随着新型的显示面板模块以及制造方法和过程被部署并且产品规范被收紧，需要并部署增强的装备和质量控制方案以维持生产的质量。质量控制措施可以提供早期故障检测、异常过程状态预测以及质量故障预测。
为了理解显示面板制造过程中的故障状态的本质，可以执行踪迹数据分析。踪迹数据可以被定义为通过信息系统承担的活动的记录。踪迹是作为状态和/或通道的标志而留下的标记，并且踪迹被记录为感兴趣的事件(例如，缺陷)已出现在过程中的证据。对于踪迹数据，信息系统可以用作数据收集和分析工具。
存在实施并且运行分类器以使用在制造过程期间采集的踪迹数据来检测故障面板的需要。踪迹数据必须包括用以检测或预测故障状态的信息。当前，踪迹数据仅是来自各种制造过程的传感器输入的收集。这些踪迹数据可以具有足够的信息以检测或预测可能引起显示面板上的缺陷或与显示面板上的缺陷相关的故障状态。
发明内容
根据一个实施例，一种检测故障的方法包括：接收在电子装置的一个或多个制造过程中获取的多个时间序列的传感器数据；将多个时间序列的传感器数据布置在二维(2D)数据阵列中；将2D数据阵列提供至卷积神经网络模型；使用卷积神经网络模型，在2D数据阵列中识别模式，该模式与故障状态相关联；提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器对电子装置是否包括故障进行分类。2D数据阵列具有到卷积神经网络模型的输入数据的维度。
根据另一实施例，一种检测故障的方法包括：提供采用具有第一格式的第一组数据预训练的卷积神经网络模型；接收具有第二格式的第二组数据；将第二组数据的第二格式转换为第一格式并且生成第三组数据；采用第三组数据重新训练卷积神经网络模型；并且获取更新后的卷积神经网络模型。
根据另一实施例，一种检测故障的设备包括：处理器；以及用于存储处理器可执行指令的存储器，其中处理器被配置为运行数据分析模型，并且其中数据分析模型包括数据预处理模块和分类器，其中数据预处理模块被配置为：接收在电子装置的一个或多个制造过程中获取的多个时间序列的传感器数据；将多个时间序列的传感器数据布置在二维(2D)数据阵列中，并且其中分类器被配置为：在2D数据阵列中识别模式，该模式与故障状态相关；提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器确定电子装置包括故障。
现在将参照附图更具体地描述包括实施方式和事件组合的各种创新细节的以上和其他优选特征并在权利要求中指出。将理解，仅借由图示而非限制的方式示出在本文中描述的具体系统和方法。如本领域技术人员将理解的，在本文中描述的原理和特征可以运用于各种和数个实施例中，而不脱离本公开的范围。
附图说明
作为本说明书的一部分被包括的附图图示了当前优选的实施例并且与以上给出的一般性描述以及以下给出的优选实施例的详细描述一起用于解释和教导本文中描述的原理。
图1示出了根据一个实施例的用于转换原始踪迹数据的示例性过程；
图2示出了从数字数据至2D类似图像数据的数据转换的三个示例；
图3示出了根据一个实施例的合并传感器输入的示例过程；
图4示出了根据一个实施例的重新排列输入数据的顺序的示例过程；
图5示出了根据一个实施例的较长传感器输入数据至2D类似图像数据的示例映射；
图6示出了根据一个实施例的将步骤输入数据映射至数据的相同区域中的示例；
图7示出了根据一个实施例的将传感器输入合并为特征图的示例；
图8示出了根据一个实施例的用于获取机器学习模型的示意图；并且
图9示出了根据一个实施例的将踪迹数据应用于机器学习模型以获取预测结果的示意图。
附图无需按照比例绘制，并且通常为了说明目的而遍及附图由相同的附图标记表示相似结构或功能的元素。附图仅意在促进本文中描述的各种实施例的描述。附图没有描述本文中公开的教导的每个特征方面并且不限制权利要求的范围。
具体实施方式
本文中公开的每个特征和教导可以分立地利用或者与其他特征和教导结合利用，以提供一种系统和方法，该系统和方法用于将踪迹数据转换为适于作为到数据分析模型的输入的格式，并且使用转换后的踪迹数据来检测和/或预测在制造过程中的显示面板的故障状态或缺陷。参照附图进一步详细描述分立和组合地利用许多这些额外特征和教导的代表性示例。这个详细描述仅意在教导本领域技术人员用于实践本发明教导的方面的进一步细节并且不意在限制权利要求的范围。因此，以上在详细的描述中公开的特征的组合可以无需以最广泛的含义来实践教导，并且被相反地仅教导以描述本教导的具体地代表性示例。
在以下说明书中，仅为了解释的目的，具体术语被阐述以提供本公开的全面理解。然而对于本领域技术人员显而易见的是，这些具体细节对实践本公开的教导不是必需的。
本文中详细描述的一些部分以对计算机存储器内的数据位操作的算法和符号表示的形式被呈现。这些算法描述和表示由数据处理领域的技术人员使用以有效地向本领域其他技术人员传达他们工作的实质。算法在此并且通常被设想为带来所需结果的自洽性的步骤的序列。这些步骤是需要物理量的物理操纵的步骤。惯常地，尽管并非必须，这些量采用能够被存储、传输、组合、比较以及另外操纵的电信号或磁信号的形式。将这些信号称作位、值、元素、符号、字符、项、数字等已经被证实有时是方便的，主要是为了习惯用语的原因。
然而应牢记的是，这些和类似术语的全部与适合的物理量相关联并且仅是应用于这些量的方便的标签。除非如从以下讨论明显地另外确切地陈述，可理解，遍及说明书采用诸如“处理”、“计算”、“核算”、“确定”、“显示”等的术语的讨论指的是计算机系统或类似电子计算装置的动作和过程，该类似电子计算装置操纵在计算机系统的寄存器和存储器内表示为物理(电子)量的数据，并将在计算机系统的寄存器和存储器内表示为物理(电子)量的数据变换为类似地表示为在计算机系统的存储器或寄存器或其他这种信息存储、传输或显示装置内的物理量的其他数据。
进一步，代表性示例和从属权利要求的各种特征可以以不特别地和明确地列举的方式组合，以便提供本发明教导的额外的有用的实施例。也要明确地注意，为了原始公开的目的以及为了限制所请求保护主题的目的，所有数值范围或实体群组的指示公开了每个可能的中间值或者中间实体。也要明确地注意，附图中所示部件的尺寸和形状被设计为帮助理解如何实践本发明教导，但是不意在限制示例中所示的尺寸和形状。
本系统和方法提供了一种用于将一维时间序列数据(在下文中也称作踪迹数据或原始踪迹数据)转换为适合于作为数据分析工具的输入数据的数据格式的数据转换方案。数据分析工具可以是包括处理器和存储器的硬件计算装置或者在硬件计算装置中实施的软件。数据分析工具可以运行数据分析模型以应用可以识别或预测输入数据的模式的数据分类算法。因为这种数据分类算法能够采用更多的数据训练、学习和细化，所以这种数据分类算法可以通常被称为机器学习(ML)算法。机器学习算法的示例包括但不限于深度神经网络(DNN)和卷积神经网络(CNN)。CNN是一类DNN，但是包括用于对输入应用卷积操作并且传递结果至下一层的一个或多个卷积层。卷积模拟了人类神经元对于视觉或听觉刺激的响应。CNN已经被示出在诸如图像和语音识别的人类识别任务上实现了高准确率。
可以将转换后的数据馈送至数据分析模型(例如，CNN模型)，以检测和/或预测在电子装置的制造过程期间可能出现或者可能已经出现的各种故障状态或缺陷。这种电子装置的示例是由包括沉积、移除、刻蚀、图案化等的半导体加工过程的步骤制造的显示装置。然而要注意，在半导体加工过程中制造的任何电子装置都可以受益于本系统和方法。
使用数据分析模型对与异常、故障、错误和缺陷相关的模式的检测以及基于所检测的模式的对异常、故障、错误和缺陷的分类可以导致故障状态或缺陷的早期确定，以便可以在制造过程期间拒绝或丢弃故障和有缺陷的电子装置。可以在制造过程的每个制造过程中执行故障检测过程。在这种情况下，可以将确定包括不可修复的故障的电子装置在移至下一个制造过程之前丢弃。在制造过程期间的故障状态的早期检测可以节省制造电子装置的资源和成本。进一步，数据分析工具可以为制造过程的微调参数和条件提供帮助，这可以导致较少的故障和缺陷同时实现更高产量。
原始踪迹数据可以是时间序列数据的收集，该时间序列数据表示由各种传感器生成并且反映制造过程的条件和参数的压力、温度、时间、密度等。因为原始踪迹数据仅是一维时间序列数据的收集，所以原始踪迹数据的大小、范围和单位可以取决于传感器的类型和感测数值的范围而改变。
原始踪迹数据可以不采取适于作为数据分析工具的输入的格式。此外，原始踪迹数据可以不具有为了训练并且符合可以可靠地预测电子装置的故障状态或缺陷的可靠数据分析模型的目的的足够数量的数据样本。
根据一个实施例，本系统和方法提供了一种将原始踪迹数据转换为适于作为数据分析工具的输入的数据格式的创新方式。数据分析工具可以在预测和检测故障状态和缺陷方面提供可预测和可靠的分类。
根据一个实施例，可以将转换后的踪迹数据馈送至使用足够数量的数据样本预训练的标准数据分析模型。用于训练的数据样本可以不必是踪迹数据，但是仍可以用作数据样本，以用于采用有限数量的数据样本训练原始踪迹数据并且对模式进行分类以检测和预测转换后的踪迹数据的故障和缺陷模式的目的。典型地，从电子装置的制造系统中的传感器获取的原始踪迹数据可以仅提供有限数量的数据样本，该有限数量的数据样本可能不足以能够使用机器学习(ML)、深度神经网络(DNN)和/或卷积神经网络(CNN)产生可预测、可重复和可靠的模式识别和模式分类。根据本系统和方法所转换的踪迹数据可以被馈送至数据分析工具以获取使用原始踪迹数据可能无法另外获取的有意义或有用的结果。
本系统和方法可以通过一个或多个步骤来提高数据分析模型的分类性能，该一个或多个步骤包括但不限于：1)将较长的传感器输入数据映射为二维(2D)数据；2)将步骤输入数据映射至数据的相同区域中；3)将传感器输入合并为特征图以及4)重新排列传感器输入数据的顺序。
根据一个实施例，本系统和方法接收多个一维时间序列踪迹数据并将多个一维时间序列踪迹数据转换为二维(2D)数据以采用基于图像的深度机器学习(ML)算法来利用显示面板制造踪迹数据。具体地，本系统和方法提供了一种数据转换方案以将踪迹数据转换为2D数据，以提高模式识别和模式分类的性能从而产生有意义的、可靠和可预测的结果。
本公开还提供了一种用于在将原始踪迹数据转换为对于机器学习最佳的数据格式之后使用机器学习(尤其是深度学习)算法来分析原始踪迹数据的方法。
图1示出了根据一个实施例的用于转换原始踪迹数据的示例性过程。数据转换系统包括数据预处理模块111和分类器112。数据预处理模块111接收原始踪迹数据101并将原始踪迹数据101转换为预处理后的踪迹数据115，并且将预处理后的踪迹数据115提供至分类器112。
根据一个实施例，数据预处理模块111和分类器112中的每一个可以包括各自的数据处理单元和/或处理器以及存储器，以分别执行数据预处理与模式识别和分类。在另一实施例中，数据预处理模块111和分类器112可以共用计算装置的单个处理器并且使用单个多核处理器的不同处理器内核运行不同的线程。
原始踪迹数据101可以是可在电子装置(例如显示装置的玻璃面板)的制造过程中从各种传感器获取的时间序列数据的收集。在本文中从每个传感器获取的数据也被称作参数。对于单个玻璃面板，可以存在在玻璃面板的制造过程期间获取的多个参数。然而，原始踪迹数据101也可以指的是从多于一个玻璃面板获取的数据收集或者从单个玻璃面板获取的部分数据。原始踪迹数据101的格式、长度、单位和/或范围可以取决于玻璃面板的偏差(例如玻璃面板的大小、分辨率、类型)以及制造过程而变化。对于由相同过程制造的相同大小的玻璃面板，原始踪迹数据101的偏差可以仅仅是大小。例如，如果玻璃面板的处理时间可以彼此不同，则原始踪迹数据101的一个集合可以比原始踪迹数据101的另一集合更长。
数据预处理模块111将原始踪迹数据101转换为采取归一化格式的预处理后的踪迹数据115，以便预处理后的踪迹数据115可以被输入至分类器112。例如，原始踪迹数据101是多个参数的一维时间序列数据，并且预处理后的踪迹数据115是二维(2D)类似图像数据。2D类似图像数据具有与参数对应的第一维度以及在时间上与数据样本对应的第二维度。第一维度和第二维度与2D类似图像数据的X坐标和Y坐标对应。
数据预处理模块111的一个主要任务是将每个原始踪迹数据101的集合转换为具有相同大小和维度的均匀大小的预处理后的踪迹数据115，以便分类器112可以识别可与故障或缺陷相关联的模式并且相应地对模式进行分类。数据预处理模块111可以进一步将2D类似图像数据归一化，以在中部偏移数据的平均值并且改变数据的规模和/或分辨率。以下进一步详细讨论可以应用于原始踪迹数据101的其他数据预处理方案。
分类器112从数据预处理模块111接收预处理后的踪迹数据115，对预处理后的踪迹数据115执行模式识别和分类，并且生成在本文中被称作故障检测结果121的输出数据。故障检测结果121可以指示原始踪迹数据101仅包括故障的模式(例如，故障或没有故障)。在一些实施例中，故障检测结果121可以在预定范围(例如，0(没有故障)至100(明确地包括故障))内指示对应的玻璃面板包括故障的概率。在其他实施例中，输出数据可以包括关于故障检测结果121的分类的进一步细节，例如，故障类型(例如，干法刻蚀过程缺陷，窗口缺陷，Mura缺陷，颗粒缺陷等)和/或故障的位置。故障或缺陷的详细信息可以用于识别故障或缺陷的本质，以对制造过程进行微调、或者如果故障或缺陷是可修复的则甚至使用修复工具修复故障或缺陷。
数据预处理模块111生成的预处理后的踪迹数据115采取适于由分类器112应用深度学习算法的格式。为分类器112优化的预处理后的踪迹数据115可以提升故障检测的识别和分类的性能。例如，分类器112可以使用深度神经网络(DNN)用于识别2D图像的模式或特征。在本示例中，这种模式可以与在电子装置(例如，显示装置的玻璃面板)的制造过程中可能出现的异常、故障和缺陷相关。在一些实施例中，分类器112可以在原始踪迹数据101中识别可以最终导致或者可以倾向于导致异常、故障和/或缺陷的特定模式。
分类器112运行的DNN算法可以专门地为识别2D图像数据的模式而定制，例如，面部识别、根据图像数据的字符识别或者根据声音数据的语音识别。DNN算法可以使用采用足够数量的数据样本被预训练、预测试和预验证的数据模型。一般而言，采用大的(例如，几十万)数据的集合训练、测试并验证的数据模型可以产生可靠并且可重复的结果。然而，用于训练、测试和验证DNN算法的数据样本可以不必是目标应用的踪迹数据。如之前所述，本系统和方法的目标应用之一是使用在制造过程期间获取的传感器数据对显示装置的玻璃面板的故障模式检测。传感器数据样本的数量可能不足以训练、测试和验证数据模型，因此，可以使用采用不同的数据集合预训练、预测试和预验证的数据模型，但是该数据模型仍然可以生成可靠并且可重复的结果。如果数据预处理模块111如以下将进一步详细讨论的那样通过调整大小、映射、合并和重新排列来执行数据处理，则预期良好的分类结果。标准数据模型的示例可以包括但不限于Caffe、VGG、ResNet、Alexnet和Squeezenet。
根据一个实施例，分类器112使用2D基于图像的卷积神经网络(CNN)。数据模型可以接收各种类型的数据格式。例如，数据模型可以接收2D基于整数的数据或2D浮点数据。当数据模型接收2D浮点数据时，输入数据(例如，踪迹数据)的原始分辨率可以被保留。当可应用时，数据预处理模块111可以将2D基于整数的图像数据转换为2D浮点数据，并将数据归一化为CNN的输入。分类器112接收采取2D浮点格式的归一化后的传感器输入数据，并且可以基于采取2D浮点格式的归一化后的传感器输入数据来识别故障模式。
根据一个实施例，数据预处理模块111通过最小化信息损失同时增强分类性能来转换原始踪迹数据101。使用专门为分类器112格式化和优化的预处理后的踪迹数据115，可以极大地提高经由分类器112的原始踪迹数据101的分类结果。可以使用各种交叉验证方案来验证经由分类器112的分类结果，以将分类的性能特征化并且更新数据预处理。例如，可以通过k折交叉验证来验证分类器112的DNN或CNN算法，以提供更高的并且一致的分类准确性。
图2示出了从数字数据至2D类似图像数据的数据转换的三个示例。原始踪迹数据(例如，图1的原始踪迹数据101)的每个样本可以具有不同维度和/或大小。例如，每个样本可以具有不同的采样时间间隔和/或处理时间。在本示例中，样本#1包括K个样本(沿y维度)的时间序列，而样本#2包括(K-2)个样本，并且样本#3包括(K-1)个样本。尽管在图2中未明确示出，但是每个样本也可以沿x维度具有不同数量的参数。如果将时间序列数字数据转换为2D类似图像数据，每个数据样本的大小可以随着原始踪迹数据的维度和/或大小改变而改变。
图3示出了根据一个实施例的合并传感器输入的示例过程。每个参数#1至参数#7具有不同的方差(variance)。每个参数的范围被指示为箱线图(box plot)，并且平均值被指示为每个数据样本的箱线图中的线条。每个参数的平均值可以从中值偏离。在本示例中，每个参数被示出为包括相同数量的数据样本。参数可以沿x维度布置，并且参数的时间序列数据的数据样本可以沿y维度布置，以获取2D数据。为了说明的目的，数据值由2D数据的灰度级表示。当原始踪迹数据被转换为2D数据时，因为数据值的范围是小的，所以具有低方差的参数(例如，参数#3和参数#5)可能无法容易地识别为缺陷，因此有缺陷的值的范围是小的。
图4示出了根据一个实施例的重新排列输入数据的顺序的示例过程。与参数#2、参数#5和参数#7对应的数据彼此间隔开，并且数据可以与具体的缺陷的类型密切地相关联。当参数#2、参数#5和参数#7彼此间隔开或散开时，具体的缺陷的类型可能不是容易地可识别的。一般而言，当在输入数据中将这些参数放置为彼此更靠近时，可以与这些参数中的一个或多个相关联的缺陷可以是更容易地可识别的。在这种情况下，可以重新排列输入数据的顺序以增强经由分类器的模式检测性能。在本示例中，与参数#2、参数#5和参数#7对应的数据被放置在彼此的附近，以提高故障模式检测的性能。可以以各种方式完成输入数据的重新排列，例如，基于每个参数的数据值的范围、平均值、中间值、偏差量以及数据特性。在一些实施例中，协方差或相关矩阵可以用于确定参数之间的相关性并且对输入数据中的参数进行重新排列。然而，要理解，其他参数可以被使用以重新排列输入数据，而不脱离本公开的范围。
根据一个实施例，本系统和方法提供了一种从在制造过程期间获取的原始踪迹数据生成2D类似图像数据样本的高效方法。通过改变数据预处理的设置经由一系列训练、测试和验证过程可以生成分类器的2D输入数据。数据预处理的示例包括但不限于，调节数据长度，缩放不同的传感器输入，并且重新排列来自原始踪迹数据集的输入数据的顺序。
用于玻璃面板的总处理时间可以包括多个单元处理步骤时间。每个处理步骤可以具有不同的处理时序，并且每个处理步骤不总是确保原始踪迹数据的大小是相同的。在玻璃面板的情况中，数据预处理模块111调节每个玻璃面板的总数据大小，以使得预处理后的2D数据具有均匀大小而与各自处理步骤时间的变化无关。这个过程在本文中被称作数据长度调节。数据长度调节将总的传感器输入的数量(例如，沿x维度的数据的数量)与数据样本的数量(例如，沿y维度的数据的数量)匹配。返回参照图1，数据预处理模块111执行数据长度调节，以调节原始踪迹数据101的大小。更确切地，数据预处理模块111从可以具有不同大小的时间序列原始踪迹数据生成具有均匀大小的2D数据。
为了提供用于将原始踪迹数据101转换为2D数据以输入至分类器112的优化和最佳的性能设置，数据预处理模块111可以执行调整大小、映射、合并和重新排列原始踪迹数据101中的一个或多个。这些数据预处理中的一些可以是必须的，而其他的可以是有条件的和/或可选择的。取决于所应用数据的特征以及分类执行的结果，可以连续地验证这些数据预处理步骤并且对真实数据样本进行更新以进一步提高分类器112的性能。
图5示出了根据一个实施例的将较长传感器输入数据映射至2D类似图像数据的示例。假设原始踪迹数据101具有M个样本点和N个传感器输入(或参数)。原始踪迹数据101初始地布置在第一2D阵列(M，N)中。然而，分类器112可以被配置为接收具有第二2D阵列(K，K)的2D类似图像的预处理后的踪迹数据115。在本示例中，2D类似图像数据的行和列的数量K是相同的；然而，要注意，这仅是示例，并且本公开不限于此，并且可以使用任意数量的行和列而不脱离本公开的范围。为了解释的方便，以下描述是基于在其中2D数据的行和列的数量(即K)相同的情况。
如果原始踪迹数据101中的样本点数目M大于待输入至分类器112的预处理后的踪迹数据115的大小K，即M>K，则数据预处理模块111通过调整(M，N)阵列大小来执行数据长度调节以符合(K，K)阵列。例如，原始踪迹数据101被分割为多个块(也可被称作数据集)101a和101b。在这种情况下，可以在分割后的数据集101a和101b的每块中共同地包括提供与在先数据和在后数据卷积的重叠区域102。在将原始踪迹数据101分割为两块之后，分割后的数据集101a和101b被放置在(K，K)阵列内。为了维持数据的连续性，每个分割后的数据集可以包括重叠的区域。在将原始踪迹数据101分割成分割后的数据集101a和101b(包括重叠区域102)以符合(K，K)阵列之后，分割后的数据集101a和101b可以初始地放置在(K，K)阵列内的随机位置处。在放置分割后的数据集101a和101b时，数据集101a和101b可以被旋转并相互分离。在放置分割后的数据集101a和101b之后，可以采用一些数字(例如，零)填充(K，K)阵列的空白区域。填充的数字可以取决于数据的类型、范围和格式而变化。一旦确定了分割后的数据集101a和101b在(K，K)阵列内的位置，后续的原始踪迹数据必须以相同的方式被分割并且被放置在相同位置处，以获取一致的分类结果。
根据一个实施例，基于CNN的第一层的卷积窗口大小来确定重叠区域的最小的大小。对于在CNN的第一层中的5×5卷积窗口的示例，重叠区域被设置为大于5。
玻璃面板的制造过程可以包括多个步骤。即使每个步骤未偏离平均处理时间太多，每个步骤也可以具有不同的数据长度，并且每个步骤可以甚至在处理时间上具有方差。
图6示出了根据一个实施例的将步骤输入数据映射至数据的相同区域中的示例。原始数据601和602具有相同数量的处理步骤，也即步骤1至步骤L。原始数据602的步骤1的大小大于原始数据601的步骤1的大小。在其中不同原始数据中的相同步骤的步骤大小不同的情况下，需要映射原始数据以将相同数据放置在调整大小后的原始数据603中的相同位置处。测试并验证的是，当相同步骤数据被馈送至2D数据中的相同位置时，可以实现最佳的分类性能。为了在相同位置处放置相同数据，可以将每个步骤大小映射为每个步骤的最小大小。对在相同位置处的相同数据进行调整大小以及映射，可以基于最小的步骤大小来确定步骤的最小大小。在本示例中，调整大小后的原始数据603中步骤1的大小被确定为小于原始数据602中步骤1的大小的原始数据601中步骤1的大小。概括对原始数据的调整大小和映射，可以仅缩减原始数据以具有所需大小。例如，原始数据602的步骤1中包括的20个样本可以缩短为采用前15个数据样本的15个数据样本。在另一示例中，可以采用抽选来对原始数据进行重新采样以获取每个步骤中所需大小。针对剩余的步骤2至步骤L，可以重复相同的调整大小和映射工序，以获取调整大小后的原始数据603。
根据一个实施例，每个传感器输入可以被合并为从(min，max)至(-1，1)范围的公共数据样本以归一化原始踪迹数据。在-1和1边界内的归一化数据可以抑制可具有宽偏差的原始踪迹数据之间的差异。
图7示出了根据一个实施例的将传感器输入合并为特征图的示例。原始数据701被零中心化(zero-centered)以将x值和y值两者中的平均值放置在零处，并且对零中心化后的数据702进行归一化，以生成归一化后的数据703，以符合在(-1，1)中的数据。
N个传感器输入或原始踪迹数据的全部可以被合并作为特征图。在一个实施例中，最小-最大(min-max)值被用于对数据进行归一化；x-min(x)/max(x)-min(x)，x是传感器数据。在另一实施例中，使用标准化的归一化；x-mean(x)/std.(x)，其中“mean”意味着均值并且“std.”意味着标准偏差。
图8示出了根据一个实施例的用于获取机器学习模型的示意图。在一个实施例中，机器学习模型可以指的是卷积神经网络模型。首先，获取机器学习模型(811)。可以使用采用大数据集821预训练的机器学习模型。用于预训练机器学习模型的大数据集可以不是表示将稍后输入至机器学习模型的传感器输入的踪迹数据。在这种情况下，可以使用诸如ImageNet、微软上下文中常见的对象(Microsoft Common Object in Context(COCO))以及PASCAL可视对象类(visual object classes)(VOC)等的其他源数据来预训练机器学习模型。根据另一实施例，可以通过采用踪迹数据的集合来进行预训练而获取机器学习模型，该踪迹数据的集合充分地足够大来产生专门以如上讨论的故障检测应用作为目标的可靠并且可预测的结果。不论用于对机器学习模型进行预训练的数据类型如何，在采用踪迹数据进行重新训练(这将在下一步骤中执行)之后，机器学习模型可以实现可靠的、可重复的故障模式分类和预测结果。
在获取了预训练后的机器学习模型之后，采用用于重新训练和推理的踪迹数据集822对预训练后的机器学习模型进行重新训练。踪迹数据集822也可以被称作包括用于特定目标应用的传感器数据的拓扑数据分析(TDA)数据集。踪迹数据集822被对准(align)以将踪迹数据集822的格式转换为适于作为到机器学习模型的输入的格式(812)，并且对准后的踪迹数据被应用到机器学习模型以用于重新训练(813)。重新训练的过程可以要求采用大量的踪迹数据集822迭代直至满足预定的条件。例如，当实现预定的精确率、召回率和/或准确率时，可以完成重新训练过程。在一些情况下，当实现平均精度均值时，完成重新训练过程。在机器学习模型被重新训练之后，可以针对踪迹数据集更新机器学习模型的网络系数，并且获取更新后的机器学习模型(814)，该更新后的机器学习模型对目标应用准备好用于分类和预测故障模式。
踪迹数据集822可以是或不是用于对机器学习模型进行预训练的大数据集的一部分。在一些情况下，用于对机器学习模型进行预训练的大数据集821可以单纯是诸如ImageNet、微软上下文中常见的对象(Microsoft Common Object in Context(COCO))以及PASCAL可视对象类(visual object classes)(VOC)的那些源数据。在其他情况下，大数据集821可以包括踪迹数据集822作为用于对机器学习模型进行预训练的源数据的一部分。机器学习模型的重新训练过程对于传递来自踪迹数据的习得知识是重要的，特别是当采用不同于踪迹数据的源数据对机器学习模型进行预训练时。在这种情况下，机器学习模型的内部层中的一个或多个(例如softmax层，全连接(FC)层)可以被更新以反映采用机器学习模型可识别和可分类的类别的差异。例如，采用ImageNet进行预训练的机器学习模型采用465,567张图像进行训练并且采用20,121张图像进行验证，并且该机器学习模型可以识别200个包括鳄梨酱(guacamole)、颈托(neck brace)、iPod、chime等的不同类别。采用大量的踪迹数据集822重新训练的机器学习模型可以能够识别不同数量和类型的类别，例如，干法刻蚀过程缺陷、窗口缺陷、Mura缺陷、颗粒缺陷等。踪迹数据集822可以采用新的踪迹数据进行更新，并且可以再次重新训练机器学习模型以细化分类和故障模式识别的准确率。
图9示出了根据一个实施例的将踪迹数据应用至机器学习模型以获取预测结果的示意图。假设如上参照图8描述的采用踪迹数据集来训练机器学习模型。踪迹数据921被对准(911)，包括调整大小、映射、合并和重新排列踪迹数据921。例如，可以将踪迹数据921转换为适合于机器学习模型的输入格式。随后将对准后的踪迹数据应用至机器学习模型(912)。机器学习模型可以获取分类结果并预测可以与多个故障类别相关联的模式(913)。
踪迹数据921可以包括在诸如显示面板的电子装置的制造过程期间获取的传感器数据。踪迹数据921可以在以上参照图3至图6所讨论的数据对准(911)过程期间转换并处理为2D图像数据，并被馈送至机器学习模型。可以连续地更新并重新训练机器学习模型以细化故障检测以及预测结果的准确率。当生成故障模式检测和预测结果时，可以执行机器学习模型的更新和细化。可替代地，机器学习模型的故障模式检测和预测结果可以与真实故障数据相关，并且可以与相关结果一起更新机器学习模型，以进一步提高机器学习模型的准确率以及故障检测和预测能力。
根据一个实施例，可以根据输入数据相关性重新排列原始踪迹数据101的顺序，以帮助机器学习模型容易地学习。参照图3，相关联的数据被放置为相互靠近，以便模式在输入数据集中可容易地被识别。
可以以各种其他方式重新排列原始踪迹数据。例如，可以通过将高方差数据输入放置到输入数据的中心来重新排列原始踪迹数据，以捕获高活动性的模式。在另一示例中，通过将原始踪迹数据的类似模式放置为相互靠近，来在重新排列的数据中将高协方差项放置为相互靠近。
包括调整大小、映射、合并和重新排列的上述数据预处理可以以任何组合使用以生成预处理后的踪迹数据115。所有这些数据预处理可以在开始机器学习训练、测试和/或验证之前完成。在未来数据集将与当前数据集具有相同分布的假设之下，相同的规则可以应用于包括未来数据集的所有数据集。
本系统和方法提供了一种用于将多个一维时间序列输入转换为2D类似图像数据以应用从其他DNN的转移学习的技术。本系统和方法提供一种正式方式以将一维多个时间序列输入转换为与现有DNN架构良好地配合的2D数据。
本公开可以以许多方式实施，包括作为一种过程、一种设备、一种系统、一种物质组成、一种具体化在计算机可读存储介质上的计算机程序产品和/或一种处理器，诸如被配置为执行存储在联接至处理器的存储器上和/或由该存储器所提供的指令的硬件处理器或处理器装置。在这个说明书中，这些实施方式或者本公开可以采取的任何其他形式可以被称作技术。一般而言，可以在本公开的范围内改变所公开的过程的步骤的顺序。除非另外规定，部件(诸如被描述为被配置为执行任务的处理器或存储器)可以实施为被临时地配置为在给定时间执行任务的通用部件或者被制造为执行任务的专用部件。如在本文中所使用，术语“处理器”指的是被配置为处理数据(诸如计算机程序指令)的一个或多个装置、电路和/或处理内核。
以下与图示了本公开原理的附图一起提供本公开的一个或多个实施例的详细描述。结合这些实施例描述本公开，但是本公开不限于任何实施例。本公开的范围仅由权利要求限制，并且本公开涵盖许多替代例、修改例和等价物。在以下描述中阐述许多特定细节，以便于提供本公开的全面理解。为了示例的目的而提供这些细节，并且本公开可以根据权利要求实践而不采用这些具体细节的一些或全部。为了清楚的目的，未详细描述本公开所属技术领域已知的技术材料，以便不会不必要地模糊本公开。
根据一个实施例，一种检测故障的方法包括：接收在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据；将多个时间序列传感器数据布置在二维(2D)数据阵列中；将2D数据阵列提供至卷积神经网络模型；使用卷积神经网络模型，在2D数据阵列中识别与故障状态相关联的模式；提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器对电子装置是否包括故障进行分类。2D数据阵列具有到卷积神经网络模型的输入数据的维度。
电子转置可以是显示装置。
电子装置可以是显示装置的玻璃面板。
卷积神经网络模型可以是VGG、Resnet、Alexnet或Squeezenet。
分类的结果可以包括故障状态的类型和位置。
2D数据阵列被转换为第二2D数据阵列，第二2D数据阵列包括彼此分离的多个数据阵列。
方法可以进一步包括：在一个或多个制造过程期间丢弃包括故障的电子装置。
方法可以进一步包括：将多个时间序列传感器数据放置到原始踪迹数据阵列，该原始踪迹数据阵列具有与传感器数量对应的第一维度和与传感器中的每一个传感器的数据样本的数量对应的第二维度；确定原始踪迹数据阵列是否符合2D数据阵列；将原始踪迹数据阵列分割为多个原始踪迹数据阵列块；并且将多个原始踪迹数据阵列块放置到2D数据阵列中。
多个原始踪迹数据阵列块中的每一个原始踪迹数据阵列块可以包括重叠区域。
方法可以进一步包括：接收具有不同数量的数据样本的多个时间序列传感器数据集合；在多个时间序列传感器数据集合之中确定具有最少数量的数据样本的时间序列传感器数据集合；并且调整多个时间序列传感器数据集合的剩余时间序列传感器数据集合的大小，以具有最少数量的数据样本。
方法可以进一步包括：确定多个时间序列传感器数据的与故障状态相关联的子集；并且重新排列2D数据阵列以将多个时间序列传感器数据的子集放置到彼此的附近。
方法可以进一步包括：接收多个时间序列传感器数据集合，其中多个时间序列传感器数据集合中的每一个包括与一个或多个制造过程中的多个处理步骤相对应的数据；比较在多个时间序列传感器数据集合中的、多个处理步骤中的每一个处理步骤的数据大小；针对多个处理步骤中的每个处理步骤，确定在多个时间序列传感器数据集合中的具有最小步骤大小的时间序列传感器数据集合；将在剩余时间序列传感器数据集合中的与相应过程步骤相对应的时间序列传感器数据映射为具有最小步骤大小；并且通过组合被映射为具有最小步骤大小的相应过程步骤而针对多个时间序列传感器数据集合中的每一个生成2D数据阵列。
方法可以进一步包括：当映射时间序列传感器数据时，选择最小步骤大小的第一数据样本。
方法可以进一步包括：采用抽取来对时间序列传感器数据重新采样，以获取具有最小步骤大小的重新采样后的时间序列传感器数据。
方法可以进一步包括：确定多个时间序列传感器数据的平均值；偏移多个时间序列传感器数据中的每一个以将平均值放置在零处；并且将多个时间序列传感器数据中的每一个归一化到在-1和+1之间的范围内。
根据另一实施例，一种检测故障的方法包括：提供采用具有第一格式的第一组数据被预训练的卷积神经网络模型；接收具有第二格式的第二组数据；将第二组数据的第二格式转换为第一格式并且生成第三组数据；采用第三组数据重新训练卷积神经网络模型；并且获取更新后的卷积神经网络模型。
第二组数据可以是在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据，并且第一格式是二维(2D)数据阵列。方法可以进一步包括：将具有2D数据阵列的第一格式的第三组数据提供至更新后的卷积神经网络模型；使用更新后的卷积神经网络模型，在2D数据阵列中识别与故障状态相关联的模式；提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器确定电子装置包括故障。2D数据阵列具有到更新后的卷积神经网络模型的输入数据的维度。方法可以进一步包括以下中的至少一个：1)将多个时间序列传感器数据放置到原始踪迹数据阵列中，该原始踪迹数据阵列具有与传感器的数量对应的第一维度和与传感器中的每一个传感器的数据样本数量对应的第二维度；确定原始踪迹数据阵列是否符合2D数据阵列；将原始踪迹数据阵列分割为多个原始踪迹数据阵列块；并且将多个原始踪迹数据阵列块放置到2D数据阵列中；2)接收具有不同数量的数据样本的多个时间序列传感器数据集合；在多个时间序列传感器数据集合之中确定具有最小数量的数据样本的时间序列传感器数据集合；并且调整多个时间序列传感器数据集合中的剩余时间序列传感器数据集合的大小，以具有最小数量的数据样本；3)确定多个时间序列传感器数据的与故障状态相关联的子集；并且重新排列2D数据阵列以将多个时间序列传感器数据的子集放置为彼此的附近；以及4)接收多个时间序列传感器数据集合，其中多个时间序列传感器数据集合中的每一个包括与一个或多个制造过程中的多个处理步骤对应的数据；比较多个时间序列传感器数据集合中的、多个处理步骤中的每一个处理步骤的数据大小；针对多个处理步骤中的每个处理步骤，在多个时间序列传感器数据集合中确定具有最小步骤大小的时间序列传感器数据集合；将在剩余时间序列传感器数据集合中的与相应过程步骤相对应的时间序列传感器数据映射为具有最小步骤大小；并且通过组合被映射为具有最小步骤大小的相应过程步骤而针对多个时间序列传感器数据集合中的每一个生成2D数据阵列。
电子装置可以是显示装置的玻璃面板。
更新后的卷积神经网络模型可以是VGG、Resnet、Alexnet或Squeezenet。
方法可以进一步包括：在一个或多个制造过程期间丢弃包括故障的电子装置。
根据另一实施例，一种检测故障的设备包括：处理器；以及用于存储处理器可执行指令的存储器，其中处理器被配置为运行数据分析模型，并且其中数据分析模型包括数据预处理模块和分类器，其中数据预处理模块被配置为：接收在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据；将多个时间序列传感器数据布置在二维(2D)数据阵列中，并且其中分类器被配置为：在2D数据阵列中识别与故障状态相关联的模式；并且提供在电子装置的一个或多个制造过程中的故障状态的故障指示器；并且基于故障指示器确定电子装置包括故障。
以上详细描述被提供以图示本公开的特定实施例，并且不意在限制。在本公开的范围内的许多修改和改变是可能的。本公开由所附权利要求限定。

Claims (21)

1.一种检测故障的方法，包括：
接收在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据；
将所述多个时间序列传感器数据布置在二维2D数据阵列中；
将所述2D数据阵列提供至卷积神经网络模型；
使用所述卷积神经网络模型，在所述2D数据阵列中识别模式，所述模式与故障状态相关联；
提供在所述电子装置的所述一个或多个制造过程中的所述故障状态的故障指示器；并且
基于所述故障指示器，对所述电子装置是否包括故障进行分类，
其中所述2D数据阵列具有到所述卷积神经网络模型的输入数据的维度。
2.根据权利要求1所述的方法，其中，所述电子装置是显示装置。
3.根据权利要求1所述的方法，其中，所述电子装置是显示装置的玻璃面板。
4.根据权利要求1所述的方法，其中，所述卷积神经网络模型是VGG、Resnet、Alexnet或Squeezenet。
5.根据权利要求1所述的方法，其中，所述分类的结果包括所述故障状态的类型和位置。
6.根据权利要求1所述的方法，其中，所述2D数据阵列被转换为第二2D数据阵列，所述第二2D数据阵列包括彼此分离的多个数据阵列。
7.根据权利要求1所述的方法，进一步包括：
在所述一个或多个制造过程期间丢弃包括所述故障的所述电子装置。
8.根据权利要求1所述的方法，进一步包括：
将所述多个时间序列传感器数据放置到原始踪迹数据阵列中，所述原始踪迹数据阵列具有与传感器的数量对应的第一维度和与所述传感器中的每一个传感器的数据样本的数量对应的第二维度；
确定所述原始踪迹数据阵列是否符合所述2D数据阵列；
将所述原始踪迹数据阵列分割为多个原始踪迹数据阵列块；并且
将所述多个原始踪迹数据阵列块放置到所述2D数据阵列中。
9.根据权利要求8所述的方法，其中，所述多个原始踪迹数据阵列块中的每一个原始踪迹数据阵列块包括重叠区域。
10.根据权利要求1所述的方法，进一步包括：
接收具有不同数量的数据样本的多个时间序列传感器数据集合；
在所述多个时间序列传感器数据集合之中确定第一时间序列传感器数据集合，所述第一时间序列传感器数据集合具有最小数量的数据样本；并且
调整所述多个时间序列传感器数据集合的剩余时间序列传感器数据集合的大小，以具有所述最小数量的数据样本。
11.根据权利要求1所述的方法，进一步包括：
确定所述多个时间序列传感器数据的子集，所述子集与所述故障状态相关联；并且
重新排列所述2D数据阵列，以将所述多个时间序列传感器数据的所述子集放置在彼此附近。
12.根据权利要求1所述的方法，进一步包括：
接收多个时间序列传感器数据集合，其中所述多个时间序列传感器数据集合中的每一个包括与在所述一个或多个制造过程中的多个处理步骤相对应的数据；
比较在所述多个时间序列传感器数据集合中的、所述多个处理步骤中的每个处理步骤的数据大小；
针对所述多个处理步骤中的每个处理步骤，确定在所述多个时间序列传感器数据集合中的第一时间序列传感器数据集合，所述第一时间序列传感器数据集合具有最小步骤大小；
将在剩余时间序列传感器数据集合中的与相应过程步骤相对应的时间序列传感器数据映射为具有所述最小步骤大小；并且
通过组合被映射为具有所述最小步骤大小的相应过程步骤，而针对所述多个时间序列传感器数据集合中的每一个生成所述2D数据阵列。
13.根据权利要求12所述的方法，其中，所述将在剩余时间序列传感器数据集合中的与相应过程步骤相对应的时间序列传感器数据映射包括：选择所述最小步骤大小的第一数据样本。
14.根据权利要求12所述的方法，进一步包括：
采用抽取来对在所述剩余时间序列传感器数据集合中的与相应过程步骤相对应的所述时间序列传感器数据重新采样，以获取具有所述最小步骤大小的重新采样后的时间序列传感器数据。
15.根据权利要求1所述的方法，进一步包括：
确定所述多个时间序列传感器数据的平均值；
偏移所述多个时间序列传感器数据中的每一个，以将所述平均值放置在零处；并且
将所述多个时间序列传感器数据中的每一个归一化到在-1和+1之间的范围内。
16.一种检测故障的方法，包括：
提供采用具有第一格式的第一组数据被预训练的卷积神经网络模型；
接收具有第二格式的第二组数据；
将所述第二组数据的所述第二格式转换为所述第一格式并且生成第三组数据；
采用所述第三组数据重新训练所述卷积神经网络模型；并且
获取更新后的卷积神经网络模型。
17.根据权利要求16所述的方法，其中，所述第二组数据是在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据，并且所述第一格式是二维2D数据阵列，并且所述方法进一步包括：
将具有所述2D数据阵列的所述第一格式的所述第三组数据提供至所述更新后的卷积神经网络模型；
使用所述更新后的卷积神经网络模型，在所述2D数据阵列中识别模式，所述模式与故障状态相关联，
提供在所述电子装置的所述一个或多个制造过程中的所述故障状态的故障指示器；并且
基于所述故障指示器确定所述电子装置包括故障，
其中所述2D数据阵列具有到所述更新后的卷积神经网络模型的输入数据的维度，并且
其中所述方法进一步包括以下中的至少一个：
1)将所述多个时间序列传感器数据放置到原始踪迹数据阵列中，所述原始踪迹数据阵列具有与传感器的数量对应的第一维度和与所述传感器中的每个传感器的数据样本的数量对应的第二维度；
确定所述原始踪迹数据阵列是否符合所述2D数据阵列；
将所述原始踪迹数据阵列分割为多个原始踪迹数据阵列块；并且
将所述多个原始踪迹数据阵列块放置到所述2D数据阵列中；
2)接收具有不同数量的数据样本的多个时间序列传感器数据集合；
在所述多个时间序列传感器数据集合中确定第一时间序列传感器数据集合，所述第一时间序列传感器数据集合具有最小数量的数据样本；并且
调整所述多个时间序列传感器数据集合中的剩余时间序列传感器数据集合的大小，以具有所述最小数量的数据样本；
3)确定所述多个时间序列传感器数据的子集，所述子集与所述故障状态相关联；并且
重新排列所述2D数据阵列，以将所述多个时间序列传感器数据的所述子集放置为彼此邻近；以及
4)接收多个时间序列传感器数据集合，其中所述多个时间序列传感器数据集合中的每一个包括与所述一个或多个制造过程中的多个处理步骤相对应的数据；
比较所述多个时间序列传感器数据集合中的、所述多个处理步骤中的每一个处理步骤的数据大小；
针对所述多个处理步骤中的每个处理步骤，在所述多个时间序列传感器数据集合中确定第一时间序列传感器数据集合，所述第一时间序列传感器数据集合具有最小步骤大小；
将在剩余时间序列传感器数据集合中的与相应过程步骤相对应的时间序列传感器数据映射为具有所述最小步骤大小；并且
通过组合被映射为具有所述最小步骤大小的相应过程步骤，而针对所述多个时间序列传感器数据集合中的每一个生成所述2D数据阵列。
18.根据权利要求17所述的方法，其中，所述电子装置是显示装置的玻璃面板。
19.根据权利要求17所述的方法，其中，所述更新后的卷积神经网络模型是VGG、Resnet、Alexnet或Squeezenet。
20.根据权利要求17所述的方法，进一步包括：
在所述一个或多个制造过程期间丢弃包括所述故障的所述电子装置。
21.一种检测故障的设备，包括：
处理器；以及
存储器，用于存储处理器可执行指令，
其中所述处理器被配置为运行数据分析模型，并且
其中所述数据分析模型包括数据预处理模块和分类器，
其中所述数据预处理模块被配置为：
接收在电子装置的一个或多个制造过程中获取的多个时间序列传感器数据；
将所述多个时间序列传感器数据布置在二维2D数据阵列中，并且
其中所述分类器被配置为：
在所述2D数据阵列中识别模式，所述模式与故障状态相关联；
提供在所述电子装置的所述一个或多个制造过程中的所述故障状态的故障指示器；并且
基于所述故障指示器确定所述电子装置包括故障。
CN202010078786.4A 2019-02-05 2020-02-03 检测故障的设备和方法 Pending CN111524478A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962801393P 2019-02-05 2019-02-05
US62/801,393 2019-02-05
US16/403,381 US11714397B2 (en) 2019-02-05 2019-05-03 System and method for generating machine learning model with trace data
US16/403,381 2019-05-03

Publications (1)

Publication Number Publication Date
CN111524478A true CN111524478A (zh) 2020-08-11

Family

ID=69024149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078786.4A Pending CN111524478A (zh) 2019-02-05 2020-02-03 检测故障的设备和方法

Country Status (5)

Country Link
US (2) US11714397B2 (zh)
EP (1) EP3693823A1 (zh)
KR (1) KR20200096861A (zh)
CN (1) CN111524478A (zh)
TW (1) TW202043954A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统
CN113204738A (zh) * 2021-04-30 2021-08-03 山东大学 一种基于小波变换与拓扑数据分析的机械故障特征提取方法
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN117793579A (zh) * 2024-02-23 2024-03-29 西安拓米网络科技有限公司 基于物联网的计量设备远程监测管理方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764179A1 (en) * 2019-07-08 2021-01-13 ABB Schweiz AG Assessing conditions of instustrial equipment and processes
US11314984B2 (en) * 2019-08-20 2022-04-26 International Business Machines Corporation Intelligent generation of image-like representations of ordered and heterogenous data to enable explainability of artificial intelligence results
US11415975B2 (en) * 2019-09-09 2022-08-16 General Electric Company Deep causality learning for event diagnosis on industrial time-series data
KR20220023490A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI793626B (zh) * 2020-08-28 2023-02-21 財團法人工業技術研究院 結構劣化的聲振診斷方法與系統
WO2022069258A1 (de) * 2020-09-30 2022-04-07 Siemens Aktiengesellschaft Vorrichtung und verfahren zur erkennung von anomalien in einer industriellen anlage zur ausführung eines produktionsprozesses
KR102417415B1 (ko) 2020-11-06 2022-07-06 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN114764550A (zh) * 2021-01-12 2022-07-19 联华电子股份有限公司 失效检测与分类模型的运作方法与运作装置
CN115129679A (zh) * 2021-03-29 2022-09-30 戴尔产品有限公司 通过日志文件的关键区域的基于机器学习的识别进行服务请求补救
EP4102318A1 (en) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft A method of virtually inspecting a quality of a product
US20220398410A1 (en) * 2021-06-10 2022-12-15 United Microelectronics Corp. Manufacturing data analyzing method and manufacturing data analyzing device
JP2023019776A (ja) * 2021-07-29 2023-02-09 富士フイルム株式会社 データ処理装置、データ処理方法、及びプログラム
CN114659785A (zh) * 2021-12-27 2022-06-24 三一重能股份有限公司 一种风力发电机传动链的故障检测方法及装置
TWI833251B (zh) * 2022-06-21 2024-02-21 南亞科技股份有限公司 失效模式分析系統及失效模式分析方法
US20230418702A1 (en) * 2022-06-24 2023-12-28 International Business Machines Corporation System log pattern analysis by image similarity recognition
CN115980512B (zh) * 2022-12-28 2023-08-15 山东恒道信息技术有限公司 一种输配电网故障定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107271925A (zh) * 2017-06-26 2017-10-20 湘潭大学 基于深度卷积网络的模块化五电平换流器故障定位方法
US20180096243A1 (en) * 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
CN108010016A (zh) * 2017-11-20 2018-05-08 华中科技大学 一种基于卷积神经网络的数据驱动故障诊断方法
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN109298993A (zh) * 2017-07-21 2019-02-01 深圳市中兴微电子技术有限公司 一种检测故障的方法、装置及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028353A1 (en) * 2001-08-06 2003-02-06 Brian Gventer Production pattern-recognition artificial neural net (ANN) with event-response expert system (ES)--yieldshieldTM
US7035877B2 (en) * 2001-12-28 2006-04-25 Kimberly-Clark Worldwide, Inc. Quality management and intelligent manufacturing with labels and smart tags in event-based product manufacturing
JP4384426B2 (ja) 2003-02-21 2009-12-16 株式会社堀場製作所 平面表示パネルの検査装置および平面表示パネルの検査方法
JP4080514B2 (ja) 2006-07-27 2008-04-23 シャープ株式会社 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体
PT2926303T (pt) 2012-11-28 2019-07-23 Saint Gobain Método e sistema para identificar defeitos em vidro
CN105224543A (zh) 2014-05-30 2016-01-06 国际商业机器公司 用于处理时间序列的方法和装置
CN104392432A (zh) * 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
CA2979193C (en) * 2015-03-11 2021-09-14 Siemens Industry, Inc. Diagnostics in building automation
GB2547712A (en) 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
US10109046B2 (en) 2016-07-19 2018-10-23 Globalfoundries Inc. Methods of detecting faults in real-time for semiconductor wafers
US10565513B2 (en) * 2016-09-19 2020-02-18 Applied Materials, Inc. Time-series fault detection, fault classification, and transition analysis using a K-nearest-neighbor and logistic regression approach
US10891545B2 (en) * 2017-03-10 2021-01-12 International Business Machines Corporation Multi-dimensional time series event prediction via convolutional neural network(s)
US20190187634A1 (en) * 2017-12-15 2019-06-20 Midea Group Co., Ltd Machine learning control of environmental systems
US10706701B2 (en) * 2018-01-12 2020-07-07 Qognify Ltd. System and method for dynamically ordering video channels according to rank of abnormal detection
US10354462B1 (en) * 2018-04-06 2019-07-16 Toyota Motor Engineering & Manufacturing North America, Inc. Fault diagnosis in power electronics using adaptive PCA
US11393082B2 (en) * 2018-07-26 2022-07-19 Walmart Apollo, Llc System and method for produce detection and classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096243A1 (en) * 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN107271925A (zh) * 2017-06-26 2017-10-20 湘潭大学 基于深度卷积网络的模块化五电平换流器故障定位方法
CN109298993A (zh) * 2017-07-21 2019-02-01 深圳市中兴微电子技术有限公司 一种检测故障的方法、装置及计算机可读存储介质
CN108010016A (zh) * 2017-11-20 2018-05-08 华中科技大学 一种基于卷积神经网络的数据驱动故障诊断方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统
CN113204738A (zh) * 2021-04-30 2021-08-03 山东大学 一种基于小波变换与拓扑数据分析的机械故障特征提取方法
CN113204738B (zh) * 2021-04-30 2022-04-08 山东大学 一种基于小波变换与拓扑数据分析的机械故障特征提取方法
CN116204846A (zh) * 2023-05-06 2023-06-02 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116204846B (zh) * 2023-05-06 2023-08-01 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN117793579A (zh) * 2024-02-23 2024-03-29 西安拓米网络科技有限公司 基于物联网的计量设备远程监测管理方法及系统

Also Published As

Publication number Publication date
KR20200096861A (ko) 2020-08-14
US20200249651A1 (en) 2020-08-06
TW202043954A (zh) 2020-12-01
EP3693823A1 (en) 2020-08-12
US11714397B2 (en) 2023-08-01
JP2020126601A (ja) 2020-08-20
US20230333533A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN111524478A (zh) 检测故障的设备和方法
US11645744B2 (en) Inspection device and inspection method
EP3465552B1 (en) Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
US20190164047A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
US11686689B2 (en) Automatic optimization of an examination recipe
US10922807B2 (en) Wafer manufacturing system, device and method
CN113066044A (zh) 基于机器学习的样本缺陷检测
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
Fadli et al. Steel surface defect detection using deep learning
JP7150918B2 (ja) 試料の検査のためのアルゴリズムモジュールの自動選択
Rele et al. Machine Learning based Brain Tumor Detection using Transfer Learning
CN117132919A (zh) 一种多尺度高维特征分析无监督学习视频异常检测方法
JP7482624B2 (ja) 不良検知方法および不良検知装置
JP2023145412A (ja) 欠陥検出方法及びシステム
US20220392051A1 (en) Method and apparatus with image analysis
CN115861305A (zh) 柔性电路板检测方法、装置、计算机设备及存储介质
CN112183669B (zh) 图像分类方法和装置、设备及存储介质
CN115063385A (zh) 一种用于晶圆检测的机器视觉方法
CN114119562A (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
KR20220143119A (ko) 인지 시스템용 훈련 데이터 후보의 자동 식별
Pahinkar et al. Faster region based convolutional neural network and VGG 16 for multi-class tyre defect detection
CN111553418B (zh) 神经元重建错误的检测方法、装置和计算机设备
US20230029163A1 (en) Wafer map analysis system using neural network and method of analyzing wafer map using the same
US20230342932A1 (en) Enhanced calibration of imaging device output

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination