CN115810554A - 检测异常的方法 - Google Patents

检测异常的方法 Download PDF

Info

Publication number
CN115810554A
CN115810554A CN202211106140.8A CN202211106140A CN115810554A CN 115810554 A CN115810554 A CN 115810554A CN 202211106140 A CN202211106140 A CN 202211106140A CN 115810554 A CN115810554 A CN 115810554A
Authority
CN
China
Prior art keywords
defective
product data
defective product
time point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211106140.8A
Other languages
English (en)
Inventor
吉志镐
卢泰永
吴泰和
郑范锡
姜卜荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115810554A publication Critical patent/CN115810554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076—Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R1/00—Details of instruments or arrangements of the types included in groups G01R5/00 - G01R13/00 and G01R31/00
    • G01R1/02—General constructional details
    • G01R1/04—Housings; Supporting members; Arrangements of terminals
    • G01R1/0408—Test fixtures or contact fields; Connectors or connecting adaptors; Test clips; Test sockets
    • G01R1/0491—Test fixtures or contact fields; Connectors or connecting adaptors; Test clips; Test sockets for testing integrated circuits on wafers, e.g. wafer-level test cartridge
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • G05B23/0289—Reconfiguration to prevent failure, e.g. usually as a reaction to incipient failure detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Power Engineering (AREA)
  • General Factory Administration (AREA)

Abstract

一种检测异常的方法包括：使用预定时段包括的多个时间点的不良品数据来计算参考不良率；使用所述参考不良率来计算与所述预定时段之后的检测时间点的不良品数据相对应的检测不良率和权重；基于将所述检测不良率乘以所述权重来计算异常指标；将所述异常指标与对应于用于稳定控制不良率的控制极限的指标进行比较；以及基于所述异常指标与对应于所述控制极限的所述指标的所述比较的结果，来检测所述检测时间点的所述不良品数据是否异常。

Description

检测异常的方法
相关申请的交叉引用
本申请要求于2021年9月14日在韩国知识产权局提交的韩国专利申请No.10-2021-0122546的优先权，该韩国专利申请的公开内容通过引用整体地并入本文。
技术领域
本发明构思涉及检测异常的方法。
背景技术
随着半导体工艺技术的发展，半导体行业中生产的产品的性能和可靠性也在逐步提高。特别地，可以将半导体产品生产为具有百万分之几(几个PPM)的低不良率。可以管理所生产的半导体产品以便不超过所设定的目标不良率。然而，根据相关技术的管理系统所使用的方法是在获得不良品数据之后响应于不良品数据超过目标不良率来管理不良率。根据相关技术的检测异常的方法是一种直观的方法，但是可能难以在最佳时间做出最佳响应，因为它不考虑取决于质量信息更新的时间点的可变性、样本的数目和/或不良率的变化趋势。
发明内容
一些示例实施例提供一种检测异常的方法，在所述方法中基于通过精确检验方法计算出的检测不良率以及基于不良品数据与目标不良品数据之间的差计算出的权重来执行异常的检测，使得在具有非常低的不良率的领域中提前检测不良率以有效地管理风险。
根据一些示例实施例，一种检测异常的方法包括：使用预定时段包括的多个时间点的不良品数据来计算参考不良率；使用所述参考不良率来计算与所述预定时段之后的检测时间点的不良品数据相对应的检测不良率和权重；基于将所述检测不良率乘以所述权重来计算异常指标；将所述异常指标与对应于用于稳定控制不良率的控制极限的指标进行比较；以及基于所述比较的结果来检测所述检测时间点的所述不良品数据是否异常。
根据一些示例实施例，一种检测异常的方法包括：使用预定时段包括的多个时间点的不良品数据来计算参考不良率；使用所述参考不良率和所述预定时段之后的检测时间点的不良品数据根据精确检验(exact test)来计算检测不良率；使用所述检测不良率来计算异常指标；以及基于所述异常指标来检测所述检测时间点的所述不良品数据是否异常。
根据一些示例实施例，一种检测异常的方法包括：使用预定时段包括的多个时间点的不良品数据来计算参考不良率；使用所述参考不良率来计算所述预定时段包括的所述多个时间点的所述不良品数据的标准差；定义基于所述标准差划分的包括第一区域、第二区域和第三区域的多个状态区域，所述第二区域与所述第三区域之间的边界对应于目标不良品数据的大小；确定所述多个状态区域当中的与所述预定时段之后的检测时间点的不良品数据的状态相对应的区域；以及基于所述检测时间点的所述不良品数据与所述目标不良品数据之间的差来计算权重。
附图说明
根据结合附图进行的以下详细描述，将更清楚地理解本发明构思的以上及其他方面、特征和优点。
图1是图示了根据一些示例实施例的在检测异常的方法中可能发生的问题的图。
图2是图示了根据一些示例实施例的检测异常的方法的流程图。
图3是图示了根据一些示例实施例的检测异常的方法的流程图。
图4、图5和图6是图示了根据一些示例实施例的检测异常的方法的效果的图。
图7是图示了根据一些示例实施例的检测异常的方法的流程图。
图8是图示了根据一些示例实施例的在检测异常的方法中定义的多个状态区域的图。
图9和图10是图示了根据一些示例实施例的检测异常的方法的效果的图。
图11是图示了根据一些示例实施例的检测异常的方法的流程图。
图12是图示了根据一些示例实施例的检测异常的方法的应用示例的图。
图13A、图13B和图13C是图示了根据一些示例实施例的检测异常的方法的应用示例的图。
图14是根据一些示例实施例的电子装置的框图。
具体实施方式
在下文中，将参考附图描述示例实施例。
如本文所描述的，当操作被描述为“通过”执行附加操作来执行时，应理解，可以“基于”附加操作来执行该操作，这可以包括单独执行所述附加操作或结合其他另外的附加操作执行所述附加操作。
在以下描述中，除非另外指示，否则术语“上”、“上部”、“上表面”、“下”、“下部”、“下表面”、“侧表面”等可以参考图来使用。
图1是图示了根据一些示例实施例的在检测异常的方法中可能发生的问题的图。
根据一些示例实施例的检测异常的方法可以应用于具有非常低的不良率的领域。作为示例，在半导体行业的领域中，可以将半导体产品生产为具有百万分之几(几个PPM)水平的非常低的不良率。根据一些示例实施例的检测异常的方法可以被应用于用于生产(“制造”)一个或更多个半导体产品(例如，电子装置、半导体装置等)的制造工艺。用于检测异常的方法在被应用于一个或更多个半导体产品时，可以用于选择性地维持/调整一些或所有制造工艺的工艺参数和/或工艺因素(aspect)(也称为工艺变量)(例如，通过生成被发送到一个或更多个装置的命令信号，所述一个或更多个装置被配置为实现一些或所有的所述调整)，包括选择性地通过/排除由制造工艺制造的一个或更多个半导体产品，以使其进一步包括在制造包括所述半导体产品的电子装置的进一步的制造工艺中，将一个或更多个半导体产品作为用于包装和/或销售的最终完成的产品进行分发等。
参考图1，具有非常低的不良率的不良品数据可以以第一分布d1的形式出现。作为示例，第一分布d1可以是包括大于0并且明显偏向0的不良品数据的分布。不良品数据可以指示一个或更多个被测装置(DoT)(例如，通过制造工艺制造的一个或更多个半导体产品)就对该(一个或更多个)装置执行的测试而言，未通过测试。这样的测试可以包括观察装置的可视缺陷、对装置的接口(例如，电极、通信接口等)施加电信号、以及对响应于所施加的电信号而从装置的接口(相同的或不同的)接收到的响应信号进行处理以确定装置是通过测试还是未通过测试等。
由于第一分布d1不满足正态性，所以可以将它近似处理为诸如第二分布d2的正态分布。然而，由于正态分布是对称分布，所以第二分布d2可以包括小于0的不良品数据，并且概率密度可以在第一分布d1和第二分布d2的右尾部分(例如，部分“A”)处反转。换句话说，基于第二分布d2估计的可以控制不良率的控制极限可能被估计为低于实际可控不良率的极限。
应用根据一些示例实施例的异常检测方法的领域具有明显低的不良率，导致随着不良品数据的不对称性增加，低估问题可能变得严重。
作为示例，在不良率的控制极限处于90％的水平的情况下，第一分布d1(不良品数据分布)中的可控不良率水平可以低于第二分布d2(近似正态分布)中的可控不良率水平。因此，这样的情况可能没有问题。
然而，当(例如，响应于)不良率的控制极限为99％或更高时，第一分布d1中的可控不良率水平可以增加到高于第二分布d2中的可控不良率水平，使得控制极限可能被估计为低于实际可控不良率水平。例如，当(例如，响应于)所估计的控制极限低于实际可控不良率水平时，可能涉及不必要的不良率控制并且生产系统的可靠性可能劣化。
上述低估造成了这样的限制：在检测时间点的不良品数据超过了目标不良品数据之后，除了对这样的问题做出响应别无选择。这种管理可以包括选择性地丢弃与不良品数据相关联的半导体产品(例如，被检验为生成不良品数据的半导体产品)、使此类半导体产品重回工艺线(re-routing)以修复、调整制造工艺的一个或更多个参数和/或因素以制造半导体产品等。例如，以简单确定在检测时间点获得的不良品数据是否超过目标不良品数据的方式来管理所生产产品的不良率。尽管这样的管理方法是直观的，但是它未考虑取决于质量信息更新的时间点的可变性、样本大小、基于不良品水平的不确定性、和/或不良品数据的变化趋势。
在根据一些示例实施例的检测异常的方法中，在检测到的不良品数据超过目标不良品数据之前，可以检测不良率的异常上升趋势以量化和管理不良品数据将超过目标不良品数据的可能性。因此，可以基于客观统计事实而不是管理员的主观判断来抢先管理不良率。结果，例如在制造半导体产品的领域中，可以响应于检测到异常不良率而抢先管理不良率(基于生成命令信号，该命令信号要引起制造半导体产品的制造工艺的一个或更多个参数和/或因素的调整)，以减小缺陷半导体产品的量和/或可能性，所述缺陷半导体产品需要被丢弃和/或修复而不是作为最终产品被分发和/或被并入到待制造的更大的电子装置中等。结果，基于执行根据一些示例实施例的检测异常的方法，可以改进制造工艺(例如，制造半导体产品的工艺)的性能、效率和/或成本效益，从而减少用于制造产品的时间和/或资源的超额开支。另外，根据如下制造工艺制造的产品的可靠性可以基于对与其相关联的不良率的抢先管理而得以提高：针对所述制造工艺可以执行根据任一示例实施例的检测异常的方法，从而提高根据该工艺制造的产品(例如，半导体产品)的整体可靠性。
另外，依照根据一些示例实施例的检测异常的方法，即使在具有非常低的不良率的领域(如半导体行业的领域)中也可以高度准确地检测不良品数据的异常变化。
图2是图示了根据一些示例实施例的检测异常的方法的流程图。
参考图2，根据一些示例实施例的检测异常的方法可以包括计算检测不良率的操作S110和计算权重的操作S120。
作为示例，可以基于检测时间点的不良品数据以及在检测时间点之前的特定(或预定)时段期间获得的多条不良品数据来计算检测不良率。在根据一些示例实施例的检测异常的方法中，可以使用基于二项分布的精确检验来计算不良率以解决在使用正态分布近似时可能发生的低估问题，并且提高检测准确度。
可以基于检测时间点的不良品数据与特定(或预定)目标不良品数据之间的差来计算权重。作为示例，当(例如，响应于)检测时间点的不良品数据接近于目标不良品数据时，检测不良率的增加被敏感地识别。然而，当(例如，响应于)检测时间点的不良品数据未接近于目标不良品数据时，可能不能敏感地识别检测不良率的增加。
在不良率低于目标不良率的情况下，当(例如，响应于)不良品数据增加时，增加后的不良品数据可以在目标不良品数据内。另外，在不良率接近于目标不良率的情况下，即使当(例如，响应于)具有相同水平的不良品数据增加时，增加后的不良品数据也可能超过目标不良品数据。
在根据一些示例实施例的异常检测方法中，可以对不良品数据的异常增加应用权重以减小当(例如，响应于)不良率低于目标不良率时由于不良品数据增加而出现噪声的概率。
根据一些示例实施例的检测异常的方法可以包括通过将计算出的检测不良率乘以权重来获得异常指标的操作S130。在操作S140，可以基于所获得的异常指标来确定检测到的不良品数据是否异常。在操作S150中，当(例如，响应于)异常指标被检测为在可控范围之外时，即使在不良品数据超过目标不良品数据之前，也可以抢先管理不良品数据以使得异常指标落在可控范围内。
在一些示例实施例中，例如在不良品数据表示测试根据制造工艺制造的一个或更多个装置(例如，半导体产品)的结果的示例实施例中，在S150对不良品数据的抢先管理可以包括：对与不良品数据相关联的制造工艺的一个或更多个部分(例如，参数、因素等)执行选择性调整(例如，调整致动器、流体供应阀、制造设备的编程控制等)，以抢先减少作为制造工艺的产品的和/或代表制造工艺的被测装置的测试未通过。可以通过对制造设备的手动调整和/或通过由一个或更多个电子装置来调整对制造设备的控制的编程来执行此类调整。
在一些示例实施例中，操作S150可以包括响应于确定出异常指标被检测为在可控范围之外和/或检测时间点的不良品数据异常而生成和/或发送命令信号。可以运行这样的命令信号以执行对与不良品数据相关联的制造工艺的一个或更多个部分(例如，参数、因素等)的选择性调整(例如，调整致动器、流体供应阀、制造设备的编程控制等)，从而抢先减少作为制造工艺的产品的和/或代表制造工艺的被测装置的测试未通过。可以通过对制造设备的手动调整和/或通过由一个或更多个电子装置调整对制造设备的控制的编程来执行此类调整。这样的命令信号可以由执行图2所示的方法的相同装置运行和/或可以被发送到外部装置，所述外部装置被配置为响应于命令信号而执行一些或所有调整。可以运行这样的命令信号以使显示装置和/或用户接口(例如，发光二极管(LED)、LED屏幕、有机发光二极管(OLED)屏幕等)生成警告通知来指示操作者对制造工艺等执行调整等。
图3是图示了根据一些示例实施例的检测异常的方法的流程图。
图3所图示的流程图可以是图示了在根据图2所图示的流程图的检测异常的方法中包括的计算检测不良率的过程的图。
参考图3，根据一些示例实施例的检测异常的方法可以从操作S210开始，在操作S210中在特定(或预定)时段中所包括的多个时间点收集不良品数据。作为示例，特定(或预定)时段可以是在检测时间点之前的时间段，并且多个时间点可以以规则间隔布置。然而，这仅是示例并且示例实施例可以不限于此。可以基于随时间执行一个或更多个被测装置(例如，根据制造工艺制造的半导体产品)的测试来收集不良品数据，其中不良品数据可以指示发生了测试未通过、与测试相关联的时间戳和/或特定产物等。“通过”测试的装置可以选择性地被包括在更大的电子装置的进一步制造中和/或可以选择性地作为最终产品被分发。“未通过”测试的装置可以选择性地被丢弃或者重新回到工艺线以被修复和重新测试。
在操作S220中，可以使用所收集的不良品数据来计算用于检测检测时间点的不良品数据是否异常的参考不良率。作为示例，可以使用统计假设检验来检测检测时间点的不良品数据是否异常。
在操作S230中，当(例如，响应于)用于不良品数据的随机变量X遵循应用了标准不良率的二项分布时，可以计算将发生比在检测时间点检测到的不良率更极端的事件的显著性概率(p值)，以确定检测时间点的不良率与标准不良率相比有多罕见。
如上所述，可以基于通过将不良品数据近似为正态分布而获得的结果来计算将发生比在检测时间点检测到的不良率更极端的事件的显著性概率(p值)，以将检测时间点的不良率与过去相比如何异常地增加指标化。因此，可以检测不良品数据是否异常。在一些示例实施例中，可以响应于确定出不良品数据异常而生成和/或发送命令信号，其中命令信号可以使一个或更多个制造设备实现不良率管理，诸如对与不良品数据相关联的制造工艺的一个或更多个部分(例如参数、因素等)执行选择性调整(例如，调整致动器、流体供应阀、制造设备的编程控制等)，以抢先减少作为制造工艺的产品的和/或代表制造工艺的被测装置的测试未通过。然而，当(例如，响应于)不良率非常低，低至几个PPM的水平时，通过将不良品数据近似为正态分布来检测异常的方法可能导致上述低估问题。
因此，根据一些示例实施例的检测异常的方法可以使用基于二项分布的精确检验来减少或防止低估问题并且提高检测准确度，从而实现对不良率的抢先管理(例如，调整制造工艺以降低制造工艺的产品的缺陷发生率)。在操作S240中，可以基于所计算的显著性概率(p值)来计算在检测时间点的检测不良率。
作为示例，在根据一些示例实施例的检测异常的方法中使用的检测不良率可以是指检测时间点的不良率的显著性程度。图3所图示的流程图中的操作S240可以对应于图2所图示的流程图中的操作S110。
当(例如，响应于)不良品数据X遵循总体比率(populationratio)为p的二项分布时，可以通过下式1来计算检测不良率APk。
APk＝1-pvalue [式1]
其中pvalue可以是将检测到高于参考不良率的不良率的显著性概率，并且可以指：检测时间点的不良率高于通过过去多个时间点的不良品数据计算出的参考不良率有多么罕见。作为示例，可以如在下式2中一样以条件概率的形式计算pvalue。
pvalue＝P(X≥x|p＝pref) [式2]
其中pref可以是基于在检测时间点之前的特定(或预定)时段中所包括的多个时间点的不良率计算出的参考不良率。作为示例，可以通过下式3来计算pref。
Figure BDA0003841207250000091
其中j可以是特定(或预定)时段的长度并且k可以是从特定(或预定)时段的起点到检测时间点的长度，xk可以是检测时间点的异常样本数，并且nk可以是检测时间点的总体数，例如，样本数。
在根据一些示例实施例的检测异常的方法中，计算出的检测不良率可以用于计算异常指标。可以将计算出的异常指标与和控制极限相对应的指标的大小进行比较，并且可以基于比较的结果来检测检测时间点的不良品数据是否异常。
图4、图5和图6是图示了根据一些示例实施例的检测异常的方法的效果的图。
图4可以图示在多个时间点依据图3所图示的流程图的操作计算出的检测不良率的示例。在图4的检测不良率曲线图中，可以图示不良率处于正常状态的第一点“B”和不良率处于异常状态的第二点“C”。
图5和图6分别是图示了在与不良率处于异常状态的第二点“C”相对应的时间点计算出的显著性概率以及在与当(例如，响应于)不良率处于正常状态时的第一点“B”相对应的时间点的显著性概率的图。
参考图4，可以收集在与第一点“B”相对应的时间点之前的特定(或预定)时段中包括的多个时间点的各条不良品数据，以计算第一点“B”的检测不良率。类似地，可以收集在与第二点“C”相对应的时间点之前的特定(或预定)时段中包括的多个时间点的各条不良品数据，以计算第二点“C”的检测不良率。例如，为了计算第一点“B”和第二点“C”的检测不良率而收集的各条不良品数据可以彼此不同。
在根据一些示例实施例的检测异常的方法中，用于计算第一点“B”和第二点“C”的检测不良率的参考不良率Cref和Bref可以使用式3来计算。作为示例，用于计算第一点“B”的检测不良率的第一参考不良率Bref可以不同于用于计算第二点“C”的检测不良率的第二参考不良率Cref。
在图4中，由于第一点“B”对应于不良率处于正常状态的时间点并且第二点“C”对应于不良率处于异常状态的时间点，所以第一参考不良率Bref可以低于第二参考不良率Cref。然而，这仅是示例并且示例实施例可以不限于此。
在根据一些示例实施例的检测异常的方法中，第一点“B”和第二点“C”的检测不良率可以使用式1和式2来计算。作为示例，第一点“B”的检测不良率可以是约0.075％，而第二点“C”的检测不良率可以是约0.22％。然而，这仅是示例并且示例实施例不限于此。
参考图5和图6，可以根据在与第一点“B”和第二点“C”相对应的时间点收集的不良品数据计算显著性概率。作为示例，图5可以表示根据在与不良率处于异常状态的第二点“C”相对应的时间点收集的不良品数据计算的显著性概率。另一方面，图6可以表示根据在与不良率处于正常状态的第一点“B”相对应的时间点收集的不良品数据计算的显著性概率。当(例如，响应于)不良率处于正常状态时的显著性概率可以低于当(例如，响应于)不良率处于异常状态时的显著性概率。
如图5和图6的示例中描述的，在根据一些示例实施例的检测异常的方法中，可以使用精确检验来检测不良率是否异常，以解决不良率的低估问题。此外，在根据一些示例实施例的检测异常的方法中，可以将不良率的显著性概率转换成介于0与1之间的值，而不是不良率的绝对数值，以将具有不同大小的控制极限的产品的不良率水平与平均不良率进行比较。
图7是图示了根据一些示例实施例的检测异常的方法的流程图。
图7图示的流程图可以是图示了在根据图2图示的流程图检测异常的方法中包括的计算权重的过程的图。
参考图7，根据一些示例实施例的检测异常的方法可以从在特定(或预定)时段包括的多个时间点收集不良品数据的操作S310开始。在操作S320中，可以使用所收集的不良品数据来计算用于检测检测时间点的不良品数据是否异常的参考不良率。操作S310和S320可以分别对应于图3图示的流程图中的操作S210和S220。作为示例，可以使用统计假设检验来检测检测时间点的不良品数据是否异常。
检测异常的一般方法和管理不良率的一般方法可以检测不良率的异常变化趋势，但是在考虑目标不良率的情况下很难确定管理方向。作为示例，即使如下两种情况的不良率增加程度相同也可以彼此不同地管理这两种情况：不良率在不良率可以被稳定控制的稳定区域内增加的情况，以及不良率在与目标不良率相邻的警报区域内增加的情况。然而，根据相关技术的检测异常的方法即使设置了目标不良率也不考虑目标不良率，导致即使不良率在稳定范围内发生改变，也可能出现诸如检测到不良品数据异常的噪声。
在根据一些示例实施例的检测异常的方法中，与不良品数据的状态相对应的区域可以基于目标不良品数据被细分并且被管理以减少或防止出现不必要的噪声。
根据一些示例实施例的检测异常的方法可以包括操作S330，在操作S330中，可以通过使用计算出的参考不良率来计算特定(或预定)时段包括的多个时间点的不良品数据的标准差，以定义多个状态区域。可以通过下式4来计算不良品数据的标准差。
Figure BDA0003841207250000111
其中pref可以是参考不良率并且n可以是产品的平均出货量。
在操作S340中，可以基于计算出的标准差来将不良品数据的大小定义为多个状态区域。在操作S350中，可以确定检测时间点的不良品数据处于与所定义的多个状态区域之一相对应的状态。作为示例，可以基于检测时间点的不良品数据的状态来管理产品的不良率。
在S350中，在根据一些示例实施例的检测异常的方法中，可以基于检测时间点的不良品数据与目标不良品数据之间的差来计算权重。权重可以确定相对于不良品数据的大小，检测到异常增加的敏感程度。例如，在根据一些示例实施例的检测异常的方法中，当(例如，响应于)不良品数据的大小小于目标不良品数据的大小时，可以使用权重来调整对不良品数据的上升趋势的敏感度。
作为示例，检测时间点的不良品数据的大小与目标不良品数据的大小之间的差越小，权重越大。因此，当(例如，响应于)不良品数据接近于目标不良品数据时，可以敏感地接受不良品数据的增加。然而，当不良品数据远离目标不良品数据时，不会敏感地接受不良品数据的增加。
在根据一些示例实施例的检测异常的方法中，可以通过下式5来计算权重，并且可以通过将不良品数据的大小与目标不良品数据的大小之间的差代入到激活函数中来计算取决于式5的权重W(zk)。作为示例，在根据一些示例实施例的检测异常的方法中使用的激活函数可以是Leaky-ReLU函数。然而，这仅是示例并且示例实施例可以不限于此。
Figure BDA0003841207250000121
其中“a”可以是第一斜率(第一斜率可以是特定(或预定)常数)，“b”可以是第二斜率(第二斜率可以是特定(或预定)常数)，并且可以通过下式6来计算zk。
Figure BDA0003841207250000122
其中xk可以是检测时间点的异常样本数，并且nk可以是检测时间点的总体数，例如，样本数，Target可以是目标不良品数据，并且σ可以是通过式4计算出的特定(或预定)时段包括的多个时间点的不良品数据的标准差。
可以通过基于特定点应用不同的第一斜率和第二斜率来计算权重。作为示例，特定点可以对应于不良品数据与目标不良品数据和标准差之间的差相同的点，并且可以通过另外的优化操作来确定第一斜率和第二斜率。
图8是图示了在根据一些示例实施例的检测异常的方法中定义的多个状态区域的图。
参考图8，在根据一些示例实施例的检测异常的方法中，可以将不良品数据定义为处于与多个状态区域之一相对应的状态。作为示例，多个状态区域可以包括第一区域Z1、第二区域Z2和第三区域Z3。
在根据一些示例实施例的检测异常的方法中，可以将检测时间点的不良品数据的状态确定为对应于多个状态区域之一。作为示例，可以基于检测时间点的不良品数据与目标不良品数据Target之间的差来确定检测时间点的不良品数据的状态。
在根据一些示例实施例的检测异常的方法中，第一区域Z1可以是指示在检测时间点获得的不良品数据是正常的并且被正常管理的稳定区域。第二区域Z2可以是指示在检测时间点获得的不良品数据是正常的但是需要被持续地观察和管理的监测区域。第三区域Z3可以是指示在检测时间点获得的不良品数据在正常范围之外的风险区域。
因此，当(例如，响应于)检测时间点的不良品数据位于第一区域Z1或第二区域Z2中时，检测时间点的不良品数据的大小可以小于目标不良品数据Target的大小。另一方面，当(例如，响应于)检测时间点的不良品数据位于第三区域Z3中时，检测时间点的不良品数据的大小可以大于目标不良品数据Target的大小。
第一区域Z1和第二区域Z2可以具有彼此相邻的边界。类似地，第二区域Z2和第三区域Z3可以具有彼此相邻的边界。例如，彼此相邻的第二区域Z2和第三区域Z3之间的边界可以对应于目标不良品数据Target的大小。
在根据一些示例实施例的检测异常的方法中，第三区域Z3可以包括基于检测时间点的不良品数据的大小比目标不良品数据Target的大小大的程度而定义的多个风险区域Z3a、Z3b、Z3c和Z3d。
在图8中，多个风险区域Z3a、Z3b、Z3c和Z3d被图示为四个区域，但是这仅是示例并且示例实施例可以不限于此。作为示例，第三区域Z3可以被划分成四个或更少个区域或者可以被划分成四个或更多个区域。因此，不良品数据可以在被细分成多个状态区域之后被管理。
如上所述，可以基于目标不良品数据Target，使用特定(或预定)时段包括的多个时间点的不良品数据的标准差来定义多个状态区域。作为示例，第二区域Z2与第三区域Z3之间的边界可以对应于目标不良品数据Target的大小，并且第一区域Z1与第二区域Z2之间的边界可以对应于目标不良品数据Target的大小与不良品数据的标准差之间的差。风险区域Z3a与风险区域Z3b之间的边界可以对应于目标不良品数据Target的大小与不良品数据的标准差之和。风险区域Z3b与风险区域Z3c之间的边界可以对应于目标不良品数据Target的大小与2倍的不良品数据的标准差之和。风险区域Z3b与风险区域Z3c之间的边界可以对应于目标不良品数据Target的大小与3倍的不良品数据的标准差之和。
第一区域Z1、第二区域Z2以及多个风险区域Z3a、Z3b、Z3c和Z3d中相邻区域之间的边界可以基于目标不良品数据Target的大小和标准差被确定。然而，这仅是示例并且示例实施例可以不限于此。作为示例，多个区域之间的间隔可以根据需要被不同地设置。
一起参考图7和图8，在根据一些示例实施例的检测异常的方法中，可以基于检测时间点的不良品数据与目标不良品数据Target之间的差来定义权重和多个状态区域。因此，当(例如，响应于)不良品数据有上升趋势时，可以准确且精确地检测不良品数据的上升趋势是否异常。
图9和图10是图示根据一些示例实施例的检测异常的方法的效果的图。
图9可以是图示了当(例如，响应于)未对在检测时间点收集的不良品数据应用权重时处理不良品数据的结果的图。然而，图10可以是图示了当(例如，响应于)图7和图8中描述的权重被应用于在检测时间点收集的不良品数据时处理不良品数据的结果的图。
参考图2所图示的流程图，根据一些示例实施例的检测异常的方法可以包括操作S130，在操作S130中通过将计算出的检测不良率乘以权重来获得异常指标。作为示例，异常指标可以是指示检测时间点的不良品数据实际增加的异常程度的指标。
参考图7和图8，可以基于不良品数据与目标不良品数据Target之间的差来计算权重。作为示例，可以通过上式5来计算权重。用作用于确定应用于权重计算的第一斜率和第二斜率的标准的特定点可以对应于第一区域Z1与第二区域Z2之间的边界。
例如，可以通过应用了第一斜率的激活函数来计算基于具有与第一区域Z1相对应的状态的不良品数据的权重。另一方面，可以通过应用了第二斜率的激活函数来计算基于具有与第二区域Z2相对应的状态的不良品数据的权重。
参考图9和图10，不良品数据可以指每百万样本中的异常样本的数目。在根据一些示例实施例的检测异常的方法中，可以将检测时间点的不良品数据与目标不良品数据Target进行比较以确定检测时间点的不良品数据的状态。另外，可以将异常指标与控制极限进行比较以确定检测时间点的不良率的变化是否异常。
参考图9，当(例如，响应于)未对异常指标的计算应用权重时，不管检测时间点的不良品数据的大小与目标不良品数据Target之间的差如何，不良品数据的上升趋势都可以被反映在异常指标中。作为示例，在将不良品数据的上升趋势反映在异常指标中的过程中，不良品数据位于多个状态区域当中的稳定区域中的情况可能无法与不良品数据位于多个状态区域当中的监测区域中的情况区分开。
作为示例，尽管与目标不良品数据Target之间的差很大，但是在M3至M4之间的时段包括的多个时间点收集的不良品数据的上升检测仍可以被检测为异常上升。因此，在M3与M5之间的时段内，实际不良品数据的大小可以小于目标不良品数据Target的大小。另外，即使当(例如，响应于)不良率在可控范围内并且因此可以被稳定时，所计算的异常指标看起来也可能超过控制极限。
参考图10，当(例如，响应于)权重被应用于异常指标的计算时，不良品数据的上升趋势被反映在异常指标中的程度可以依据检测时间点的不良品数据的大小与目标不良品数据Target之间的差而变化。作为示例，即使当(例如，响应于)不良品数据上升了相同水平时，相比于不良品数据位于多个状态区域当中的稳定区域中的情况，在不良品数据位于多个状态区域当中的监测区域中的情况下，可以更敏感地反映不良品数据的上升。
作为示例，在M3与M4之间的区间包括的多个时间点收集的不良品数据的大小有所增加，但是与目标不良品数据Target仍然存在很大的差。因此，不良品数据的上升在异常指标中可以不被反映为异常上升。因此，在M3与M5之间的时段内计算的异常指标看起来可能没有超过控制极限。
换句话说，在根据一些示例实施例的检测异常的方法中，可以使用权重来计算异常指标并且可以使用异常指标来检测不良率是否异常，从而解决当(例如，响应于)未使用权重时可能发生的噪声问题。另外，可以定义多个状态区域以基于细分标准来计算权重并且管理不良品数据。
图11是图示了根据一些示例实施例的检测异常的方法的流程图。
图11所图示的流程图可以是图示了在根据图2所图示的流程图的检测异常的方法中包括的执行对异常的检测过程的图。
参考图11，根据一些示例实施例的检测异常的方法可以包括操作S410，在操作S410中根据在特定(或预定)时段包括的多个时间点的不良品数据来计算检测不良率和权重。
作为示例，可以基于根据上述不良品数据计算的参考不良率和检测时间点的不良品数据来计算检测不良率。可以基于检测时间点的不良品数据与目标不良品数据之间的差来计算权重。操作S410可以对应于参考图3和图7描述的根据一些示例实施例的检测异常的方法中的操作。然而，这仅是示例并且示例实施例可以不限于此。
根据一些示例实施例的检测异常的方法可以包括操作S420，在操作S420中通过将计算出的检测不良率乘以权重来计算异常指标。使用计算出的异常指标，可以确定检测时间点的不良品数据的变化是否超过实际可控范围，并且可以检测检测时间点的不良品数据是否异常。
例如，在操作S430中，可以根据检测异常的方法将异常指标与对应于控制极限的指标彼此进行比较。作为示例，在操作S453中，当(例如，响应于)异常指标的值小于对应于控制极限的指标的大小时，可以确定检测时间点的不良率处于稳定状态。例如，在检测异常的方法涉及用于制造半导体产品的制造工艺的情况下，并且在不良品数据并且从而不良率涉及所述制造工艺的半导体产品未通过对其进行的一个或更多个测试的情况下，S453的确定可以包括生成和/或发送命令信号以使装置将制造工艺中的工艺变量(例如，参数和/或因素)维持在当前值，从而选择性地避免调整工艺并且因此维持制造工艺和/或其产品的性能、可靠性、成本效益、效率等。
另一方面，在操作S440中，当(例如，响应于)异常指标的值大于对应于控制极限的指标的大小时，可以将检测时间点的不良品数据的大小与目标不良品数据的大小彼此进行比较。作为示例，在操作S452中，当(例如，响应于)异常指标的值大于对应于控制极限的指标的大小但是不良品数据的大小满足目标不良品数据时，例如，当(例如，响应于)不良品数据的大小低于目标不良品数据时，可以确定检测时间点的不良率处于警报状态。
另一方面，在操作S451中，当(例如，响应于)异常指标的值大于对应于控制极限的指标的大小并且不良品数据的大小大于目标不良品数据的大小时，可以确定检测时间点的不良率处于过渡(transient)状态。
在根据一些示例实施例的检测异常的方法中，警报状态可以是指如下状态：检测时间点的不良率没有问题，但是由于检测到非理想的上升失控，所以迟早可能检测到目标不良品数据之外的不良品数据。因此，当(例如，响应于)检测到警报状态时，管理者可以主动管理不良率。例如，在检测异常的方法涉及用于制造半导体产品的制造工艺的情况下，并且在不良品数据并且从而不良率涉及所述制造工艺的半导体产品未通过对进行的一个或更多个测试的情况下，在S452主动管理不良率可以包括生成和/或发送命令信号以使装置根据当前值对制造工艺中的一个或更多个工艺变量执行选择性调整，从而选择性地调整制造工艺以减少所制造的半导体产品中的缺陷，并且因此降低不良率从而提高制造工艺和/或其产品的性能、可靠性、成本效益、效率等。
另一方面，过渡状态可以指检测时间点的不良率已经出现问题的状态。因此，当(例如，响应于)检测到过渡状态时，管理者可以改进内部质量以改进不良率。例如，在检测异常的方法涉及用于制造半导体产品的制造工艺的情况下，并且在不良品数据并且从而不良率涉及所述制造工艺的半导体产品未通过对其的一个或更多个测试的情况下，在S451改进内部质量可以包括生成和/或发送命令信号以使装置根据当前值对制造工艺中的一个或更多个工艺变量执行选择性调整，从而选择性地调整制造工艺以减少所制造的半导体产品中的缺陷，并且因此降低不良率，从而提高制造工艺和/或其产品的性能、可靠性、成本效益、效率等。
在根据一些示例实施例的检测异常的方法中，在检测到处于过渡状态的不良率之前，可以抢先检测警报状态下的不良率以对其做出响应。因此，可以有效地管理不良率，从而可以使不良率维持在稳定状态而不达到过渡状态。
例如，在根据一些示例性实施例的检测异常的方法中，可以提前检测以特定(或预定)时间间隔收集的不良品数据的异常上升，使得可以量化检测时间点的检测不良率超过目标不良率的风险从而对其进行管理。
图12是图示了根据一些示例实施例的检测异常的方法的应用示例的图。图13A、图13B和图13C是图示了根据一些示例实施例的检测异常的方法的应用示例的图。
参考图12和图13A至图13C，当前时间点的所有不良品数据都可能超过目标不良品数据Target。然而，可以应用根据一些示例实施例的检测异常的方法，以基于在多个检测时间点收集的不良品数据抢先检测特定时间点之后的各条不良品数据超过目标不良品数据Target，并且对检测的结果做出适当的响应。
当(例如，响应于)与检测时间点的不良品数据相对应的异常指标低于与控制极限相对应的指标时，可以确定检测时间点的不良品数据处于稳定状态。作为示例，参考图12，在时间点M1至M4(在第一点D之前的时间点)收集的不良品数据可以处于稳定状态，在第一点D异常指标与对应于控制极限的指标相同。
另一方面，当(例如，响应于)与检测时间点的不良品数据相对应的异常指标大于与控制极限相对应的指标时，可以将检测时间点的不良品数据的大小与目标不良品数据Target的大小彼此进行比较。另外，当(例如，响应于)检测时间点的不良品数据的大小小于目标不良品数据Target的大小时，可以将检测时间点的不良品数据的状态确定为警报状态。
参考图12，在第一点“D”与第二点“E”之间的时间点M5和M6收集的各条数据可以处于警报状态，在第一点“D”异常指标开始大于与控制极限相对应的指标，在第二点“E”不良品数据的大小与目标不良品数据Target的大小相同。例如，在根据一些示例实施例的检测异常的方法中，即使当(例如，响应于)不良品数据的大小小于目标不良品数据的大小时，也可以确定不良品数据的大小将持续增加。
另外，当(例如，响应于)检测时间点的不良品数据的大小大于目标不良品数据Target的大小时，可以将检测时间点的不良品数据的状态确定为过渡状态。参考图12，在第二点“E”之后的时间点M7至M9收集的不良品数据可以处于过渡状态，在第二点“E”不良品数据的大小开始大于目标不良品数据的大小。
作为示例，当(例如，响应于)M1与M4之间的第一时间点的不良品数据处于稳定状态并且M7与M9之间的第二时间点的不良品数据处于过渡状态时，第一时间点与第二时间点之间的第三时间点的不良品数据可以处于警报状态。例如，可以在获得处于过渡状态的不良品数据之前获得基于处于警报状态的不良品数据计算出的异常指标。因此，可以应用根据一些示例性实施例的检测异常的方法来抢先管理不良率，使得不良率不达到过渡状态。
图13A至图13C可以是图示了根据一些示例实施例的检测异常的方法被应用于不同产品的情况的图。
参考图13A，对应产品在时间点M1至M6的不良率可以处于过渡状态(在所述过渡状态下检测到的不良品数据超过目标不良品数据)，并且可以根据内部质量管理逐渐地得到改进。可以在时间点M7至M8将对应产品的不良率维持在稳定状态，可以在第一点Da检测到警报状态，并且可以在第二点Ea检测到过渡状态。
在根据本发明构思的检测异常的方法中，可以抢先检测已对其执行了内部质量管理的产品的不良品数据的变化，以有效地执行持续内部质量管理。
参考图13B，对应产品在时间点M1至M8的不良率可以处于稳定状态，在所述稳定状态下检测到的异常指标即使在几次波动之后也不超过控制极限。在对应产品的不良率中，可以在第一点Db检测到警报状态并且可以在第二点Eb检测到过渡状态。
在根据本发明构思的检测异常的方法中，即使产品的不良率存在波动时，也可以使用考虑到目标不良品数据Target的权重来准确地检测产品的不良品数据的异常上升，而不存在噪声问题。
参考图13C，对应产品在时间点M1至M3的不良率可以处于异常指标不超过控制极限的稳定状态。在对应产品的不良率中，可以在第一点Dc检测到警报状态并且可以在第二点Ec检测到过渡状态。
参考图13A至图13C，即使在根据一些示例实施例的检测异常的方法被应用于不同产品的情况下，也可以在给定控制极限和目标不良品数据时基于相同标准来执行对异常的检测。因此，可以将不同产品之间的不良率有效地彼此进行比较。
如上所述，在根据一些示例实施例的检测异常的方法中，可以基于通过精确检验计算出的检测不良率来检测不良品数据的异常，以减少或防止在具有非常低的不良率的领域中发生低估问题。
可以使用基于检测时间点的不良品数据与目标不良品数据之间的差而计算出的权重来执行异常的检测，以减小发生噪声的可能性。
可以基于检测时间点的不良品数据与目标不良品数据之间的差来定义多个状态区域以有效地管理不良率。
可以使用利用检测不良率和权重计算出的异常指标，在具有非常低的不良率的领域中提前检测不良率的异常，以有效地管理风险。
图14是根据一些示例实施例的电子装置的框图。所述电子装置可以包括和/或实现任一示例实施例中包括的电子装置、产品、系统、板、模块、单元、控制器和/或电路中的任一者，包括可以应用和/或对其应用检测异常的方法的任一装置。所述电子装置可以被配置为执行根据任一示例实施例的任一方法(例如，检测异常的方法)的任一或所有操作，包括但不限于图2、图3、图7和/或图11所示的任一或所有方法的任一或所有操作。
参考图14，电子装置1400可以包括经由总线1410电耦接在一起的处理器1420、存储器1430和接口1440。接口1440可以是通信接口(例如，有线或无线通信收发器)。
如图14所示，在电子装置1400被配置为执行根据任一示例实施例的检测异常的方法的情况下，接口1440可以通信地耦接到外部装置1450，该外部装置1450可以是被配置为基于正在对一个或更多个产品装置1460执行的检验来生成不良品数据的检验装置，使得电子装置1400可以经由接口1440接收不良品数据并且在处理器1420处理不良品数据作为执行检测异常的任一种方法的一部分。另外地，电子装置1400可以基于执行检测异常的方法以及确定异常不良率、异常指标等(其为执行该方法的一部分)(例如，基于如以上参考图11所描述的在S451确定过渡状态或在S452确定警报状态，作为如以上参考图2所描述的响应于确定出异常指标被检测为在可控范围之外和/或确定出检测时间点的不良品数据异常等而在S150管理不良率的一部分)，来生成可以被发送到与制造工艺1480(例如，用于制造一个或更多个产品装置1460的工艺)相关联的一个或更多个外部装置1470的命令信号，从而使一个或更多个外部装置1470实现对制造工艺1480(例如，其一个或更多个工艺变量)的调整，以降低制造工艺1480的产品(例如，一个或更多个产品装置1460)的不良率。然后可以根据调整后的制造工艺1480来制造产品装置1460，从而制造与降低的不良率相关联并且因此提高了可靠性的产品。
一个或更多个产品装置1460可以是可以由外部装置1470控制的制造工艺1480的产品(例如，半导体产品制造工艺的半导体产品)。外部装置1450可以基于正在对一个或更多个产品装置1460执行的一个或更多个检验来生成不良品数据。外部装置1450可以对一个或更多个产品装置1460执行检验，可以基于从对一个或更多个产品装置1460执行检验的另外的装置接收到检验结果来生成不良品数据，它们的任何组合等。此类检验可以包括：观察一个或更多个产品装置1460的可视缺陷；对一个或更多个产品装置1460的接口(例如，电极、通信接口等)施加电信号，以及对响应于所施加的电信号而从一个或更多个产品装置1460的接口(相同的或不同的)接收到的响应信号进行处理，以确定一个或更多个产品装置1460是通过测试还是未通过测试等。外部装置1450以及一个或更多个产品装置1460和一个或更多个外部装置1470均可以具有与电子装置1400相同的结构和内部元件(例如，包括处理器1420、存储器1430、接口1440、总线1410等)。
可以为非暂时性计算机可读介质的存储器1430可以存储指令程序和/或其他信息。存储器1430可以是诸如闪速存储器、相变随机存取存储器(PRAM)、磁阻RAM(MRAM)、电阻式RAM(ReRAM)或铁电RAM(FRAM)的非易失性存储器，或诸如静态RAM(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM)的易失性存储器。处理器1420可以执行所存储的指令程序以执行一个或更多个功能。例如，在电子装置1400被包括在检测异常的一种或更多种方法中和/或实现检测异常的一种或更多种方法的情况下，处理器1420可以被配置为处理经由接口1440从外部装置1450接收到的不良品数据，并且基于所述一种或更多种方法的结果(例如，确定出例如如参考图11所描述的警报状态、过渡状态或稳定状态)，经由接口1440向外部装置1470选择性地发送命令，以使外部装置1470选择性地维持或调整用于生产一个或更多个产品装置1460(例如，半导体产品)的制造工艺1480的一个或更多个参数或因素(“部分”)。在另一示例中，处理器1420可以运行存储在存储器1430的指令程序以实现如本文所描述的检测异常的任何方法的任何部分的功能，包括例如基于调整制造工艺1480的参数或因素来抢先管理不良率的任何功能(例如，实现外部装置1470的功能，使得可以省略外部装置1470)。
处理器1420可以包括诸如以下处理电路系统：包括逻辑电路的硬件；硬件/软件组合，诸如运行软件的处理器；或它们的组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。处理器1420可以被配置为基于这种处理来生成输出(例如，命令信号，例如，经由接口1440被发送到外部装置1470以调整制造工艺1480从而降低不良率的信号)。
处理器1420、存储器1430和/或接口1440中的一个或更多个可以被包括在诸如以下处理电路系统的一个或更多个实例中，包括诸如以下处理电路系统的一个或更多个实例，和/或实现诸如以下处理电路系统的一个或更多个实例：包括逻辑电路的硬件；硬件/软件组合，诸如运行软件的处理器；或它们的组合。在一些示例实施例中，处理电路系统的所述一个或更多个实例可以包括但不限于中央处理单元(CPU)、应用处理器(AP)、算术逻辑单元(ALU)、图形处理单元(GPU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器或专用集成电路(ASIC)等。在一些示例实施例中，如本文所描述的存储器、图像传感器、存储单元等中的任一者可以包括存储指令程序的非暂时性计算机可读存储装置，例如固态硬盘(SSD)，并且处理电路系统的一个或更多个实例可以被配置为执行指令程序以实现根据如本文所描述的任一示例实施例的处理器1420、存储器1430、接口1440等中的任一者的一些或全部功能，包括执行如本文所描述的任一方法，包括根据任一示例实施例的检测异常的任一种方法。
在一些示例实施例中，如本文参考任一附图所描述的系统、单元、模块、装置、电路、控制器和/或其元件中的一些或全部可以包括诸如以下处理电路系统的一个或更多个实例，可以被包括在诸如以下处理电路系统的一个或更多个实例中，和/或可以由诸如以下处理电路系统的一个或更多个实例实现：包括逻辑电路的硬件；硬件/软件组合，诸如运行软件的处理器；或它们的组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、应用处理器(AP)、微计算机、现场可编程门阵列(FPGA)、可编程逻辑单元、微处理器、专用集成电路(ASIC)、神经网络处理单元(NPU)、电子控制单元(ECU)等。在一些示例实施例中，处理电路系统可以包括存储指令程序的非暂时性计算机可读存储装置，例如固态硬盘(SSD)，并且包括处理器(例如，CPU)，该处理器被配置为运行指令程序以实现如本文所描述的系统、装置和/或其任一元件的功能，包括但不限于根据任一示例实施例的检验系统、检验设备、接口板、被测装置、图像传感器、电子装置等的任何部分的功能。应进一步理解，处理电路系统可以被配置为例如基于包括以下各项来执行如本文所描述的任一方法：包括存储指令程序的非暂时性计算机可读存储装置(例如，固态硬盘(SSD))，以及被配置为运行指令程序以实现(“执行”)根据任一示例实施例的任一种方法(例如，检测异常的方法)中的任一或所有操作(包括但不限于图2、图3、图7和/或图11所示的任一或所有方法的任一或所有操作)的处理器(例如，CPU)。
虽然已经在上面示出并描述了示例实施例，但是对本领域的技术人员而言将显而易见的是，在不脱离如由所附权利要求所限定的本发明构思的范围的情况下可以做出修改和变化。

Claims (20)

1.一种检测异常的方法，所述方法包括：
使用预定时段包括的多个时间点的不良品数据来计算参考不良率；
使用所述参考不良率来计算与所述预定时段之后的检测时间点的不良品数据相对应的检测不良率和权重；
基于将所述检测不良率乘以所述权重来计算异常指标；
将所述异常指标与对应于控制极限的指标进行比较，所述控制极限与稳定控制不良率相关联；以及
基于所述异常指标与对应于所述控制极限的所述指标的所述比较的结果，来检测所述检测时间点的所述不良品数据是否异常。
2.根据权利要求1所述的方法，还包括：
将所述检测时间点的所述不良品数据的大小与目标不良品数据的大小进行比较。
3.根据权利要求2所述的方法，进一步包括：
基于所述检测时间点的所述不良品数据的大小与所述目标不良品数据的大小的差，将所述检测时间点的所述不良品数据的状态确定为与多个状态区域之一相对应的状态。
4.根据权利要求2所述的方法，其中：
所述权重随着所述检测时间点的所述不良品数据的大小与所述目标不良品数据的大小的差减小而增大。
5.根据权利要求1所述的方法，还包括：
响应于确定出与所述检测时间点的所述不良品数据相对应的所述异常指标低于对应于所述控制极限的所述指标，将所述检测时间点的所述不良品数据的状态确定为稳定状态。
6.根据权利要求5所述的方法，进一步包括：
响应于确定出与所述检测时间点的所述不良品数据相对应的所述异常指标大于对应于所述控制极限的所述指标，将所述检测时间点的所述不良品数据的大小与目标不良品数据的大小彼此进行比较。
7.根据权利要求6所述的方法，进一步包括：
响应于确定出所述检测时间点的所述不良品数据的大小小于所述目标不良品数据的大小，将所述检测时间点的所述不良品数据的状态确定为警报状态。
8.根据权利要求1所述的方法，其中：
基于处于警报状态的不良品数据计算出的所述异常指标是在处于过渡状态的不良品数据被获得之前获得的。
9.根据权利要求1所述的方法，还包括：
响应于检测到所述检测时间点的所述不良品数据异常而调整制造工艺的参数；以及
基于所述制造工艺的调整后的所述参数来制造产品。
10.一种检测异常的方法，所述方法包括：
使用预定时段包括的多个时间点的不良品数据来计算参考不良率；
使用所述参考不良率和在所述预定时段之后的检测时间点的不良品数据根据精确检验来计算检测不良率；
使用所述检测不良率来计算异常指标；以及
基于所述异常指标来检测所述检测时间点的所述不良品数据是否异常。
11.根据权利要求10所述的方法，进一步包括：
响应于随机变量X遵循二项分布，通过式1来计算检测不良率APk，在所述二项分布中总体比率为p，
Figure FDA0003841207240000031
其中，在式1中，
j是所述预定时段的长度，
k是从所述预定时段的起点到所述检测时间点的长度，
xi是所述检测时间点的异常样本量，并且
ni是每个时间点的样本量。
12.根据权利要求10所述的方法，还包括：
响应于检测到所述检测时间点的所述不良品数据异常而调整制造工艺的参数；以及
基于所述制造工艺的调整后的所述参数来制造产品。
13.一种检测异常的方法，所述方法包括：
使用预定时段包括的多个时间点的不良品数据来计算参考不良率；
使用所述参考不良率来计算所述预定时段包括的所述多个时间点的所述不良品数据的标准差；
定义基于所述标准差分开的多个状态区域，所述多个状态区域包括第一区域、第二区域和第三区域，所述第二区域与所述第三区域之间的边界对应于目标不良品数据的大小；
确定所述多个状态区域当中的与所述预定时段之后的检测时间点的不良品数据的状态相对应的区域；以及
基于所述检测时间点的所述不良品数据与所述目标不良品数据之间的差来计算权重。
14.根据权利要求13所述的方法，其中：
所述第三区域包括依据所述检测时间点的所述不良品数据的大小比所述目标不良品数据的大小大的程度而定义的多个风险区域。
15.根据权利要求14所述的方法，其中：
所述第一区域、所述第二区域以及所述多个风险区域中相邻区域之间的边界基于所述目标不良品数据的大小和所述标准差被确定。
16.根据权利要求13所述的方法，其中：
具有与所述第一区域相对应的状态的不良品数据的大小小于所述目标不良品数据的大小。
17.根据权利要求13所述的方法，其中：
第一斜率用于基于所述检测时间点的所述不良品数据具有与所述第一区域相对应的状态来计算所述权重，第二斜率用于基于所述检测时间点的所述不良品数据具有与所述第二区域或所述第三区域相对应的状态来计算所述权重，所述第一斜率不同于所述第二斜率。
18.根据权利要求17所述的方法，其中：
基于所述检测时间点的所述不良品数据具有与所述第一区域相对应的状态，所述权重通过式2被计算为权重W(zk)，
W(zk)＝max(a(zk+1))+1 [式2]
其中，在式2中，
“a”是所述第一斜率并且是常数，并且
zk由式3确定，
Figure FDA0003841207240000041
其中，在式3中，
xk是所述检测时间点的异常样本量，
nk是所述检测时间点的样本量，
Target是所述目标不良品数据，并且
σ是所述预定时段包括的所述多个时间点的所述不良品数据的所述标准差。
19.根据权利要求17所述的方法，其中：
基于所述检测时间点的所述不良品数据具有与所述第二区域或所述第三区域相对应的状态，所述权重通过式4被计算为权重W(zk)，
W(zk)＝b(zk+1)+1 [式4]
其中，在式4中，
“b”是所述第二斜率并且是常数，并且
zk由式5确定，
Figure FDA0003841207240000051
其中，在式5中，
xk是所述检测时间点的异常样本量，
nk是所述检测时间点的样本量，
Target是所述目标不良品数据，并且
σ是所述预定时段包括的所述多个时间点的所述不良品数据的所述标准差。
20.根据权利要求13所述的方法，还包括：
根据所述检测时间点的所述不良品数据和所述权重来计算异常指标；
响应于基于计算出的所述异常指标确定所述检测时间点的所述不良品数据异常，来调整制造工艺的参数；以及
基于所述制造工艺的调整后的所述参数来制造产品。
CN202211106140.8A 2021-09-14 2022-09-09 检测异常的方法 Pending CN115810554A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210122546A KR20230039873A (ko) 2021-09-14 2021-09-14 이상 감지 방법
KR10-2021-0122546 2021-09-14

Publications (1)

Publication Number Publication Date
CN115810554A true CN115810554A (zh) 2023-03-17

Family

ID=85478777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211106140.8A Pending CN115810554A (zh) 2021-09-14 2022-09-09 检测异常的方法

Country Status (3)

Country Link
US (1) US20230085028A1 (zh)
KR (1) KR20230039873A (zh)
CN (1) CN115810554A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148091A (zh) * 2023-11-01 2023-12-01 杭州高坤电子科技有限公司 一种半导体测试方法、系统、终端及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884517B (zh) * 2023-09-06 2023-12-22 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116975768B (zh) * 2023-09-22 2023-12-19 山东爱福地生物股份有限公司 一种肥料安全生产的数据异常检测方法
CN117078281B (zh) * 2023-10-17 2024-01-09 肥城恒丰塑业有限公司 一种防音布生产防伪溯源管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148091A (zh) * 2023-11-01 2023-12-01 杭州高坤电子科技有限公司 一种半导体测试方法、系统、终端及存储介质
CN117148091B (zh) * 2023-11-01 2024-02-06 杭州高坤电子科技有限公司 一种半导体测试方法、系统、终端及存储介质

Also Published As

Publication number Publication date
KR20230039873A (ko) 2023-03-22
US20230085028A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN115810554A (zh) 检测异常的方法
TWI614721B (zh) 在半導體製造中用於檢測之雜訊中所內嵌之缺陷之偵測
US10825502B2 (en) Memory system for removing memory cell fault and method thereof
JP6219865B2 (ja) 制御装置の故障予測システム
US8421495B1 (en) Speed binning for dynamic and adaptive power control
US7590465B2 (en) Method and apparatus for detecting abnormal characteristic values capable of suppressing detection of normal characteristic values
US20140278234A1 (en) Method and a system for a statistical equivalence test
US11404331B2 (en) System and method for determining cause of abnormality in semiconductor manufacturing processes
CN112180230A (zh) 芯片测试参数异常的侦测方法、存储介质、终端
CN109213057B (zh) 智能诊断装置和方法
CN116964461A (zh) 使用内嵌缺陷部分平均测试进行半导体自适应测试的系统及方法
CN106952842B (zh) 取样量测系统及其取样量测方法
US10853538B2 (en) Model generation system and model generation method
KR101615345B1 (ko) 반도체 생산 공정에서 센서 데이터들을 이용하여 웨이퍼의 수율을 분석하는 방법
JP5342199B2 (ja) 不良率予測方法、不良率予測プログラム、半導体製造装置の管理方法、および半導体装置の製造方法
US11487848B2 (en) Process abnormality identification using measurement violation analysis
JP4825482B2 (ja) 不具合発生予測装置および不具合発生予測方法
US6991945B1 (en) Fault detection spanning multiple processes
US6988225B1 (en) Verifying a fault detection result based on a process control state
US20200150173A1 (en) Method and system for real time outlier detection and product re-binning
JP6752661B2 (ja) 処理装置、検査システムおよび処理プログラム
JP5018474B2 (ja) 半導体デバイス試験装置及び半導体デバイス試験方法
TWI832403B (zh) 用於多維動態部件平均測試之方法、設備及非暫時性電腦可讀媒體
EP4102321A1 (en) Systems and methods for concept intervals clustering for defect visibility regression
CN115020265B (zh) 一种晶圆芯片的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication