CN118076960A - 预测设备将失败的测试 - Google Patents
预测设备将失败的测试 Download PDFInfo
- Publication number
- CN118076960A CN118076960A CN202280068196.0A CN202280068196A CN118076960A CN 118076960 A CN118076960 A CN 118076960A CN 202280068196 A CN202280068196 A CN 202280068196A CN 118076960 A CN118076960 A CN 118076960A
- Authority
- CN
- China
- Prior art keywords
- test
- dut
- learning model
- machine learning
- tests
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 358
- 238000010801 machine learning Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000000523 sample Substances 0.000 claims description 20
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013102 re-test Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 27
- 230000004044 response Effects 0.000 description 10
- 238000010200 validation analysis Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2263—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2268—Logging of test results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
- G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
- G06F11/2635—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers using a storage for the test inputs, e.g. test ROM, script files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Tests Of Electronic Circuits (AREA)
Abstract
示例性技术可实现为一种方法、系统或存储指令的多个非暂态机器可读介质，该指令可由一个或多个处理设备执行。由示例性技术执行的操作包括获得表示由一个或多个测试仪器在测试系统中待测设备(DUT)的初始集上执行的测试的结果的数据；以及使用该数据来训练机器学习模型。该机器学习模型用于预测对于不同集的DUT该测试中的哪些测试将产生失败结果。该不同集中的DUT与该初始集中的DUT具有一个或多个共同的特征。
Description
技术领域
本说明书整体涉及用于预测设备将失败的测试的示例性过程。
背景技术
自动测试装备(ATE)包括用于向待测设备(DUT)发送信号以及用于从待测设备接收信号以便测试DUT的操作的电子器件。ATE包括不同类型的测试仪器，该测试仪器被配置为对DUT执行不同类型的测试。ATE记录DUT是否通过此类测试。例如，通过/失败数据可存储在计算机存储器中。
发明内容
示例性技术可实现为一种方法、系统或存储指令的多个非暂态机器可读介质，该指令可由一个或多个处理设备执行。由示例性技术执行的操作包括获得表示由一个或多个测试仪器在测试系统中待测设备(DUT)的初始集上执行的测试的结果的数据；以及使用该数据来训练机器学习模型。该机器学习模型用于预测对于不同集的DUT该测试中的哪些测试将产生失败结果。该不同集中的DUT与该初始集中的DUT具有一个或多个共同的特征。该技术可包括下列特征中的一种或多种特征(单独地或组合地)。
该机器学习模型可被配置为通过至少部分地将与第一DUT相关联的第一模式和与该初始集中的第二DUT相关联的第二模式匹配来执行对该不同集中的该第一DUT的预测。该第一模式可对应于该第一DUT已经通过或失败的第一测试，并且该第二模式可对应于该第二DUT已经通过或失败的第一测试。预测该测试中的哪些测试将产生针对该第一DUT的失败结果可包括识别该第二DUT已失败的第二测试。该第二测试可以是该第一DUT将失败的该测试中所预测的测试。该第一模式可以是用1或0表示通过或失败的二进制模式，并且该第二模式可以是用1或0表示通过或失败的二进制模式。
示例性技术可实现为一种方法、系统或存储指令的多个非暂态机器可读介质，该指令可由一个或多个处理设备执行。由该示例性技术执行的操作包括使用机器学习模型来预测第一待测设备(DUT)将失败的测试，其中由该机器学习模型进行的预测基于与先前在第二DUT上运行的测试相关联的模式匹配。该操作还可包括：在该第一DUT未通过该测试中的第一测试之后，控制测试系统以使用该机器学习模型已预测该第一DUT为失败的测试来继续测试该第一DUT，并且基于该第一DUT已被预测为失败的该测试来输出该第一DUT的测试结果。该技术可包括下列特征中的一种或多种特征(单独地或组合地)。
该操作可包括分析该测试结果以识别该第一DUT的测试失败的原因。可在没有针对该第一DUT的测试插入的情况下执行该测试结果的分析，其中，在该测试插入期间，探针在该第一DUT操作时接触该第一DUT。该机器学习模型可被配置为在该第一DUT的测试插入期间进行预测，其中在该测试插入期间，探针在该DUT操作时接触该DUT。该操作可包括分析该测试结果以确定是否重新测试该第一DUT。预测可在10毫秒(ms)或更短时间内执行。该机器学习模型可在单独的计算系统上执行，而不是用于控制测试该第一DUT的计算系统。该机器学习模型可以是或包括KNN(K最近邻)模型或神经网络中的一者。
示例性测试系统包括用于测试待测设备(DUT)的一个或多个测试仪器，其中该DUT包括第一DUT，和第一计算系统，该第一计算系统使用机器学习模型来预测该第一DUT将失败的测试，其中已经基于与来自第二DUT的测试结果相对应的模式来训练该机器学习模型，该第二DUT不在待由该一个或多个测试仪器测试的该DUT之中。该示例性测试系统还包括第二计算系统，该第二计算系统至少部分地控制由该一个或多个测试仪器执行的该测试。该第二计算系统被配置为执行操作，该操作包括：在该第一DUT未通过该测试中的第一测试之后，控制该一个或多个测试仪器使用该机器学习模型已预测该第一DUT为失败的测试来继续测试该第一DUT；以及基于该第一DUT已被预测为失败的该测试来输出该第一DUT的测试结果。该测试系统可包括下列特征中的一种或多种特征(单独地或组合地)。
该第一计算系统和该第二计算系统可在不同的硬件上实现。该第一计算系统和该第二计算系统可使用相同硬件中的至少一些硬件来实现。该第一计算系统可以是该一个或多个测试仪器的一部分。该测试系统还可包括探针，该探针被配置为通过在测试期间接触该第一DUT来实现测试插入。该机器学习模型可被配置为在该第一DUT的该测试插入期间进行预测。该预测可在10毫秒(ms)或更短时间内执行。该机器学习模型可包括KNN(K最近邻)模型或神经网络中的一者。
本说明书(包括此发明内容部分)中所描述的特征中的任何两者或更多者可组合以形成本文未具体描述的具体实施。
本说明书中所描述的示例性系统、技术和过程的至少一部分可通过在一个或多个处理设备上执行存储在一个或多个非暂态机器可读存储介质上的指令来配置或控制。非暂态机器可读存储介质的示例包括只读存储器、光盘驱动器、存储器磁盘驱动器和随机存取存储器。本说明书中所描述的系统、技术和过程的至少一部分可使用由一个或多个处理设备和存储指令的存储器组成的一个或多个计算系统来配置或控制，这些指令可由一个或多个处理设备执行以进行各种控制操作。
本文所述的示例性系统、技术和过程可例如通过设计、构造、布置、放置、编程、操作、训练、验证、激活、去激活和/或控制来配置。
附图和以下具体实施方式中陈述了一个或多个具体实施的详细信息。通过具体实施和附图以及通过权利要求书，其他特征结构、对象和优点将显而易见。
附图说明
图1是可用于实现识别设备将失败的测试的过程的示例性测试系统的部件的方框侧视图。
图2是可用于实现识别设备将失败的测试的过程的另一示例性测试系统的部件的方框侧视图。
图3是示出包括在用于训练示例性机器学习模型以预测设备将失败的测试的示例性过程中的操作的流程图。
图4是示出由机器学习模型用来预测设备将失败的测试的示例性数据的示图。
图5是示出用于机器学习模型的示例性训练和验证数据的示图。
图6是示出包括在用于使用机器学习模型来预测设备将失败的测试的示例性过程中的操作的流程图。
不同图中的类似附图标记指示类似元件。
具体实施方式
诸如自动测试装备(ATE)之类的示例性测试系统被配置为对待测设备(DUT)执行一个或多个测试。可执行测试以确定DUT是否正常工作和/或确定DUT未正常工作的原因。可由ATE对DUT执行的示例性测试可包括但不限于射频(RF)测试、微波测试、毫米波(mmWave)测试、直流(DC)和交流(AC)模拟电压(V)和模拟电流(I)信号测试、数字信号测试、参数测试和功率测试。测试可以是或包括系统级测试、部件级测试、或系统级测试和部件级测试两者。
示例性测试协议包括在DUT上执行多个不同测试以测试多个不同的DUT特征。例如，对DUT的测试可确定DUT所使用的信号(诸如时钟信号或温度警报)是否在预定义的电压范围内。这可通过向DUT发送信号并基于来自DUT的响应识别所发送的信号对DUT的影响来完成。如果感兴趣的信号在其规定范围内，则称该测试通过。如果感兴趣的信号不在该范围内，则称该测试失败。在一些情况下，测试可包括确定多个信号是否落入一个或多个电压范围内。如果所有或大于预定数量的信号落入其规定的电压范围内，则测试通过。如果没有信号落入其规定的电压范围内或者少于预定数量的信号落入其规定的电压范围内，则测试失败。
示例性测试协议按顺序执行其测试。例如，测试协议可包括迫使电流到DUT并且测量响应信号的信号电平和参数的第一测试、迫使电压到DUT并且测量响应信号的信号电平和参数的第二测试、向DUT发送RF信号并且测量响应信号的信号电平和参数的第三测试等等。示例性测试协议可在DUT未通过其测试中的一个测试之后停止。在简化的示例中，测试协议包括用于测试DUT中的各种模拟信号、数字信号和RF信号的十个测试。测试按以测试编号1开始并以测试编号10结束的顺序在DUT上进行。在一个示例中，DUT通过测试编号1和测试编号2，但未通过测试编号3。然后可不执行剩余的测试-4至测试10。在另一示例中，DUT通过测试编号1至测试编号5，但未通过测试编号6。然后可不执行剩余的测试-7至测试10。不执行的测试可提供对DUT的任何问题的洞察。例如，不执行的测试可提供对与DUT生产线或模型相关联的问题的洞察。
本文所述的示例性过程(统称为“过程”)使用机器学习模型来预测DUT将失败的测试。然后可执行这些测试以便获得关于DUT的信息。机器学习模型的预测是基于与先前在其他DUT上运行的测试相关联的模式匹配。例如，对于先前测试的DUT，可为通过的测试分配二进制值，诸如“1”，并且可为失败的测试分配不同的二进制值，诸如“0”，或者反之亦然。为已测试的每个DUT创建所通过的和所失败的测试的矩阵，该矩阵可以是或包括由1和0组成的通过/失败模式。机器学习模型可使用这些通过/失败模式来进行训练。所训练的机器学习模型可将先前测试的DUT的通过/失败模式与正在测试的目标DUT的通过/失败模式进行比较，以便识别目标DUT可能失败的附加测试。测试系统(例如，ATE)然后可使用目标DUT已被预测为失败的测试来继续测试目标DUT。那些失败测试的结果可输出用于视觉显示和/或可由ATE和/或EDA(电子设计自动化)工具进行分析以识别失败的原因、诊断与目标DUT相关联的问题(诸如其设计或构造固有的问题)、和/或确定目标DUT是否应重新测试。
图1示出了示例性ATE 10的部件，其可用于实现过程。在图1中，虚线在概念上表示系统部件之间的潜在信号路径。这些信号路径可包括诸如以太网或一个或多个计算机总线之类的有线传输路径和/或诸如无线网络或之类的直接或间接无线传输路径。
ATE 10包括测试头12和控制系统13。该控制系统可包括主计算机，该主计算机由一个或多个微处理器或如本文所述的其他适当的处理设备组成。控制系统13与包括在测试头12中的部件通信以控制测试。例如，控制系统13可将测试程序集下载到测试头中的测试仪器16A至测试仪器16N(统称为16)。在一个示例中，测试程序生成测试流以提供给该DUT。每个测试流程都是测试协议的一部分，该测试协议包括向DUT输出测试信号和从DUT接收响应。控制系统13可向测试仪器发送指令、测试信号和数据和/或可由测试仪器使用以实现测试协议的其他信息。如下文更详细地描述的，该测试仪器包括硬件设备，并且可包括一个或多个处理设备和其他电路。测试仪器16A至测试仪器16N可运行该测试程序集到与测试仪器通信的目标DUT。
在一些具体实施中，该控制系统被配置为，例如，被编程为生成用于在计算机显示设备上进行显示的图形用户界面(GUI)。该GUI用于启动一个或多个测试系统参数的编程，包括设置测试信号的属性。例如，这些注入到每个信号触点中的测试信号可以扫过一个频率范围。该GUI可允许用户设置这一频率范围及其功率电平。也可使用GUI设置其他测试参数。与控制系统软件和/或测试程序相关联的一个或多个API(应用编程接口)可用于对一个或多个测试系统参数进行编程，包括但不限于信号参数和测试信号的值。
GUI和/或API还可识别DUT通过的测试、DUT失败的测试以及DUT被预测为失败的测试。GUI还可呈现分析结果，诸如本文所述的用于诊断DUT的问题的分析结果。
设备接口板(DIB)15包括印刷电路板(PCB)，该印刷电路板连接至测试头12，并且包括与正在接受测试的或待通过ATE进行测试的一个或多个DUT(未示出)连接的机械接口和电接口。功率，包括电压在内，可经由该DIB中的一个或多个导管运行至连接至该DIB的DUT。在图1的示例中，DIB 15电连接和机械连接到测试头12。该DIB包括位点19，该位点可包括引脚、球栅阵列(BGA)垫，或可与DUT连接的其他电连接点和机械连接点。测试信号和响应信号，诸如RF信号和其它信号，经由穿过位点的测试通道在该DUT与测试仪器之间传递。DIB15还包括连接器、传导迹线和用于在该测试仪器、连接至位点19的DUT以及其它电路之间路由信号的电路等。
在图1的示例中，ATE 10包括多个测试仪器16A至16N，每个测试仪器可被适当地配置为执行一个或多个测试和/或其它功能。尽管仅描绘了四个测试仪器，但是ATE 10可包括任何适当数量的测试仪器，包括存在于测试头12外部的测试仪器。示例性测试仪器可被配置为通过向DUT输出信号来测试DUT，该信号诸如但不限于AC模拟信号、DC模拟信号、数字信号、RF信号、微波信号、mmWave信号或其他类型的信号。测试仪器可接收来自DUT的响应信号。响应信号可由测试仪器、控制系统或其他处理设备进行分析以确定DUT是否已经通过或未通过测试。
示例性测试协议可涉及执行数百个测试或数千个测试以便测试DUT的操作。可针对每个DUT或针对相同类型的DUT执行相同集的测试，或者可执行不同集的测试。如上所述，测试可确定DUT上的信号是否在可接受的电压或电流范围内、DUT是否在可接受的温度范围内操作、DUT信号定时是否准确等。一般而言，可测试DUT的任何特征。对于每个DUT，ATE记录DUT是否已经通过或未通过DUT所经受的测试。如先前所解释，所通过的测试可被分配二进制值，诸如“1”，且所失败的测试可被分配不同的二进制值，诸如“0”，或反之亦然。在该示例中，针对已测试的每个DUT创建由1及0组成的通过/失败模式。每个DUT的通过/失败模式可存储在例如控制系统上的计算机存储器中。在一些示例中，仅所失败的测试记录为通过/失败模式的一部分，尽管所通过的测试通过它们的不存在而被隐含地识别。
在一些示例中，ATE 10包括将测试仪器测试通道21连接至DIB 15的连接接口18。连接接口18可包括连接器20或用于在测试仪器与DIB 15之间路由信号的其他设备。例如，连接接口可包括其上安装有此类连接器的一个或多个电路板或其他基板。包括在该测试通道中的导体可被引导穿过连接接口和该DIB。
探针22可连接到DUT或DIB 15上的信号触点，以向DUT注入信号和/或从DUT接收信号。在一些具体实施中，该探针是ATE 10的一部分。在一些具体实施中，该探针可以连接至控制该探针操作的单独测试仪。探针可用于向DUT施加任何类型的信号，其示例在本文中描述。在一些示例中，该控制系统可引导该测试仪器控制该探针头，以将测试信号注入到具有由该控制系统指定的特征的信号触点中。然后经由DIB上的导管将信号路由到DIB上的DUT。
图2示出了ATE 25的另一示例性架构。在此架构中，测试头30可具有与图1的测试头12相同的部件并且实现相同的测试功能。在ATE 25中，DIB由探针接口板(PIB)36代替，该探针接口板将测试仪器通道连接到探针卡31。PIB 36用作测试头30和探针卡31之间的接口。在该示例中，探针卡31通过沿箭头33的方向移动而与DUT(或多个DUT)32(诸如位于卡盘35上的晶片或集成电路)接触。探针卡31包括电触点，该电触点连接到DUT 32上的对应电触点。测试信号和响应信号通过PIB 36并通过探针卡31上的电触点和DUT 32上的电触点之间的电连接发送到测试头30/从该测试头发送。如参照图1所述，测试仪器输出测试信号并接收来自DUT的响应信号。
分析由测试仪器或一个或多个计算设备执行以确定DUT是否已经通过或未通过所执行的各种测试。ATE 25还包括控制系统13和边缘计算机28，这两者都可与图1中的ATE 10相同。
探针或探针卡与DUT之间的接触称为测试插入。本文所述的过程中的全部或部分过程可在测试插入期间执行，或过程中的全部或部分过程可在无测试插入的情况下执行。
ATE 10和ATE 25可各自包括边缘计算机28，该边缘计算机可在每个系统中具有相同的结构和功能。边缘计算机28可以是与控制系统13分开的硬件，或者它可以是相同的硬件。边缘计算机28可包括一个或多个处理设备和存储指令的计算机存储器，该指令可由一个或多个处理设备执行以实现本文所述的过程中的全部或部分过程。在一些情况下，由边缘计算机执行的操作可由控制系统、由具有内置边缘计算机功能的测试仪器、由可插入到包含测试仪器的机架中的计算系统(未示出)和/或使用云计算来执行。在一个示例中，云计算包括使用托管在互联网上的一个或多个远程计算机的网络来存储、管理和/或处理数据。
使用单独的边缘计算机或其他处理设备来实现这些过程可使得测试控制和/或预测能够由控制系统以更低的延迟来执行。即，用于预测失败测试的过程可与由控制系统执行的测试控制操作分离，以便减少预测对测试性能和延迟的影响并且减少执行预测所花费的时间。在一个示例中，预测以几十毫秒(ms)或更少的量级执行，例如，以20毫秒(ms)或更少的时间、以10毫秒或更少的时间、或以5毫秒或更少的时间。一般而言，预测时间与机器学习模型的复杂性和数据集的大小成比例。
图3示出了包括在用于训练机器学习模型以预测设备将失败的测试的示例性过程35中的操作。机器学习模型和过程35可仅在边缘计算机上、仅在控制系统上、在边缘计算机和控制系统的组合上、在诸如测试头机架中的计算系统之类的其他硬件上、或在其任何组合上实现。在一个示例中，可使用云计算来实现模型训练。
过程35包括从ATE获得(35a)测试数据。测试数据表示由一个或多个测试仪器对DUT的初始集执行的测试的结果。对DUT的初始集执行的测试可以是本文所述的任何类型的测试。例如，图4示出了由ATE测试的DUT的数据集的一部分36。数据集的该部分包括与信号38相关的一组值37。这些值包括可接受的范围，该范围包含信号38的以毫伏(mV)为单位的高电压值39和低电压值40以及由ATE从DUT获得的信号38的各种测量结果42。如果这些测量结果中的每个测量结果都在可接受的范围内，则认为DUT已经通过了测试。如果这些测量结果中的一个或多个测量结果在可接受的范围之外，则认为DUT未通过测试。需注意，尽管该特定测试涉及信号38的多个测量结果42；但事实并非如此。即，单次测量可以是单个测试。
对从初始集中的DUT获得的测试数据进行分析(35b)，以确定每个DUT通过的测试以及每个DUT失败的测试。该分析可包括将信号的测量结果与可接受的范围进行比较、将电压或电流电平与阈值进行比较、识别正确的信号定时、或任何其他适当的分析。已经通过或失败的测试被格式化44(图4)，例如分配(35c)值。在该示例中，失败的值为0，通过的值为1。然而，可分配任何适当的值或其他指示符来指示通过或失败。每个所格式化的测试结果(诸如46)都与DUT(或“部件”)相关联，并且分配有对于DUT而言唯一的标签。例如，可从1到N(N>1)按顺序标记DUT 49，其中N是最后测试的DUT。同样，测试50可标记为从0到M(M>1)，其中M是待执行的最后一个测试。如上所述，在计算机存储器中存储(35d)初始集中所有DUT 49的所得的通过/失败模式，诸如示例性通过/失败模式52。在一些具体实施中，通过/失败模式对于诸如微处理器的DUT类型是特定的，或者对于特定的DUT制造商是特定的。关于DUT类型的信息可与对应的通过/失败模式一起存储在计算机存储器中。
通过/失败模式被分割成(35e)训练数据和验证数据。分割可以是或可以不是均匀的——例如，在训练数据中可存在与在验证数据中相同数量的通过/失败模式；验证数据中的通过/失败模式可少于训练数据中的通过/失败模式，或者训练数据中的通过/失败模式可少于验证数据中的通过/失败模式。在一些示例中，将通过/失败模式分割成训练数据和验证数据是随机的。
过程35使用训练数据来训练(35f)机器学习模型，以基于与初始集中的DUT的所存储的通过/失败模式中的一个模式匹配的通过/失败模式来预测目标DUT(即，不是初始集的一部分的DUT)将失败的测试。可使用任何适当的机器学习模型，其示例包括但不限于KNN(K最近邻)模型或神经网络。机器学习模型使用目标DUT的通过/失败模式来识别初始集的DUT当中的最接近的通过/失败模式。目标DUT的通过/失败模式与初始集中DUT的通过/失败模式之间的匹配不需要是精确的。相反，机器学习模型可进行训练以从与目标DUT的通过/失败模式接近的DUT的初始集识别通过/失败模式。接近度可根据个体匹配的数量来进行定义，其中匹配的数量越大指示接近度越高。在一些具体实施中，机器学习模型可进行训练以从初始集识别具有最接近目标DUT的通过/失败模式的N(N≥1)个DUT。
过程35使用验证数据来验证(35g)所训练的机器学习模型。附加训练数据和验证数据可与机器学习模型一起使用，以便影响例如改进其预测准确性。机器学习模型可部署在边缘计算机、控制系统或与ATE通信的任何其他适当硬件上。
在图5的示例中，针对198个DUT使用数据55来训练机器学习模型，其中每个DUT具有在其上执行的相同的13005个不同的测试(因此具有图5中的标签(198,13005))。198个DUT可全部是相同类型的DUT(例如，不同型号的WiFi模块)或不同类型的DUT(例如，各种型号的WiFi模块、微处理器和网络处理器)。数据集分成训练数据56和验证(“测试”)数据57。训练数据使用用于在198个DUT 58中的178个DUT上执行的8669个测试的通过/失败模式来训练机器学习模型。对于在198个DUT中的20个DUT上执行的相同的8669个测试，使用通过/失败模式来验证机器学习模型。在该示例中，机器学习模型一旦经过训练，就会预测DUT将在第8669个测试之后失败的测试60，如下所述。图5中的测试数量、DUT、训练数据和验证数据仅是示例。可使用任何适当数量的测试、DUT、训练数据和验证数据来实现本文所述的过程。
图6示出了包括在示例性过程61中的操作，该示例性过程使用机器学习模型来预测目标DUT将失败的测试。在训练机器学习模型之后，过程61从目标DUT接收(61a)数据集，该目标DUT不是初始集的一部分，但是已经经受与初始集中的DUT相同的测试中的至少一些测试。该数据集包括目标DUT的通过/失败模式。目标DUT的通过/失败模式可至少具有预定义的大小。就这一点而言，在上面的示例中，机器学习模型已经训练了8669个测试；然而，在其他示例中，机器学习模型可针对不同数量的测试进行训练，诸如但不限于10个测试、50个测试、100个测试、200个测试、500个测试、1000个测试、2000个测试、5000个测试、10000个测试，或者更小、更大或在这些值之间的任何数量。在一个示例中，训练机器学习模型的测试的数量对应于目标DUT的通过/失败模式的最小尺寸。以上述数字为例，目标DUT可能已经经受13005个测试中的8669个测试。那些8669个测试的通过/失败模式可输入到机器学习模型中以预测剩余测试中目标DUT将失败的测试。即，要预测的机器学习模型可预测测试编号8670至测试编号13004中DUT将失败的测试编号，其中这里使用13004，因为在该示例中用于测试的编号从0而不是1开始。如下所述，通过将目标DUT的通过/失败模式与所存储的通过/失败模式中的一个或多个模式进行匹配来确定该预测。在一些情况下，机器学习模型还接收识别目标DUT的类型或身份的信息，并且在进行预测时考虑该信息。例如，在一些情况下，在预测期间可忽略或不使用不相关DUT的通过/失败模式。
在一个示例中，机器学习模型识别(61b)目标DUT的通过/失败模式与所存储的通过/失败模式匹配。如上所述，匹配不需要模式之间的精确匹配。例如，识别初始集中具有与目标DUT的通过/失败模式最接近的通过/失败模式的DUT。初始集中的DUT失败的测试基于其通过/失败模式进行识别。机器学习模型然后预测(61c)因为初始集中的DUT未通过这些测试，所以目标DUT也将未通过相同的测试。在一些具体实施中，识别具有最接近目标DUT的通过/失败模式的通过/失败模式的多个DUT。例如，机器学习模型可挑选与目标DUT的通过/失败模式最接近的预定数量(例如，两个、五个等)的通过/失败模式。由那些通过/失败模式表示的DUT已经失败的测试基于其通过/失败模式进行识别。机器学习模型然后可预测目标DUT将未通过相同的测试。
在目标DUT的测试插入期间，机器学习模型可预测并识别目标DUT将失败的测试。或者，在针对目标DUT的测试插入之外，机器学习模型可预测并识别目标DUT将失败的测试。
过程35包括基于由机器学习模型做出的预测来控制(61d)目标DUT的测试。例如，可控制ATE，以使用机器学习模型已预测目标DUT将失败的测试来继续测试目标DUT。即使在目标DUT在序列中的先前测试失败之后，也会执行这些测试。在前述示例中，机器学习模型可预测目标DUT将未通过测试编号8670、测试编号8680、测试编号8690和测试编号9000。即使在测试8670失败之后，控制系统也将继续测试，以确保执行测试8680、测试8690和测试9000，并且获得基于那些(以及潜在地其他)测试的测试结果。
测试结果可由控制系统或另一计算系统输出和/或分析(61e)以诊断目标DUT的问题。测试结果的分析可在没有针对目标DUT的测试插入的情况下或者在针对目标DUT的测试插入期间执行。分析可包括例如识别DUT的特定部件始终未通过不同类型的测试。因此，分析可指示该部件的潜在问题。分析可包括例如识别DUT的特定部件在升高的温度下始终未通过相同类型的测试。因此，分析可指示应当使用对温度不太敏感的部件。
可执行该分析以便确定是否应重新测试DUT。例如，如果DUT被预测为未通过相同型号的其他DUT已经通过的多个测试，则DUT可能是有缺陷的。可执行对DUT的附加测试以便确定DUT是否有缺陷。
本文所述的示例性系统可包括硬件，或硬件和软件的组合。例如，类似本文所述系统的系统可包括各种控制器和/或处理设备，各种控制器和/或处理设备定位于系统中的各点处以控制自动化元件的操作。中央计算机可协调在各种控制器或处理设备中的操作。中央计算机、控制器和处理设备可执行各种软件例程来实现对各种自动化元件的控制和协调。
本文所述的过程可由系统或任何其他适当的计算设备执行。该过程可至少部分地通过使用一个或多个计算机程序产品来控制，该计算机程序产品例如为一个或多个信息载体(诸如一个或多个非暂态机器可读介质)中有形体现的一个或多个计算机程序，以用于一个或多个数据处理装置的执行或控制一个或多个数据处理装置的运行，该数据处理装置例如为可编程处理器、计算机、多台计算机和/或可编程逻辑部件。
计算机程序可采用任何形式的编程语言编写，包括编译或解释语言，并且其可以任何形式部署，包括作为独立程序或作为模块、组件、子程序或适用于计算环境中的其他单元。计算机程序可被部署成在一台计算机上或者在一个位点处或分布在多个位点并且通过网络互连的多台计算机上执行。
与实现全部或部分测试相关联的动作可通过一个或多个可编程处理器进行，该处理器执行一个或多个计算机程序来进行本文所述的一些功能。全部或部分测试可使用专用逻辑电路例如FPGA(现场可编程门阵列)和/或ASIC(专用集成电路)来实现。
适用于计算机程序执行的处理器包括(举例来说)通用和专用微处理器两者，以及任何种类数字计算机的任何一个或多个处理器。通常，处理器将从只读存储区或随机存取存储区或这二者接收指令和数据。计算机(包括服务器)的元件包括用于执行指令的一个或多个处理器以及用于存储指令和数据的一个或多个存储区设备。通常，计算机还将包括(或者操作地耦接以从其接收数据或向其传输数据或这二者)一个或多个机器可读存储介质，诸如用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘。适于体现计算机程序指令和数据的机器可读存储介质包括所有形式的非易失性存储区，包括(以举例的方式)半导体存储区设备，例如，EPROM、EEPROM和快闪存储区设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
如本文所述的任何“电连接”可包括直接的物理连接或包括中间部件但仍允许电信号在所连接的部件之间流动的间接连接。除非另有说明，否则无论是否用字词“电”来修饰术语“连接”，本文中所提到的涉及电信号流过的电路的任何“连接”均为电连接，而不一定是直接的物理连接。
本文所述的不同具体实施的元件可组合在一起以形成未在上面具体阐明的其他实施方案。多个元件可被排除在本文所述的结构之外而不对其操作产生不利影响。此外，各单独元件可组合为一个或多个单个元件来进行本文所述的功能。
Claims (23)
1.一种或多种存储指令的非暂态机器可读介质，所述指令可由一个或多个处理设备执行，以执行包括以下各项的操作：
获得表示由一个或多个测试仪器在测试系统中待测设备(DUT)的初始集上执行的测试的结果的数据；以及
使用所述数据来训练机器学习模型，所述机器学习模型用于预测对于不同集的DUT所述测试中的哪些测试将产生失败结果，其中，所述不同集中的DUT与所述初始集中的DUT具有一个或多个共同的特征。
2.根据权利要求1所述的一种或多种非暂态机器可读介质，其中，所述机器学习模型被配置为通过至少部分地将与第一DUT相关联的第一模式和与所述初始集中的第二DUT相关联的第二模式匹配来执行对所述不同集中的所述第一DUT的预测。
3.根据权利要求2所述的一种或多种非暂态机器可读介质，其中，所述第一模式对应于所述第一DUT已经通过或失败的第一测试，并且所述第二模式对应于所述第二DUT已经通过或失败的所述第一测试。
4.根据权利要求3所述的一种或多种非暂态机器可读介质，其中，预测所述测试中的哪些测试将产生针对第一DUT的失败结果包括识别所述第二DUT已经失败的第二测试。
5.根据权利要求4所述的一种或多种非暂态机器可读介质，其中，所述第二测试是所述第一DUT将失败的所述测试中所预测的测试。
6.根据权利要求2所述的一种或多种非暂态机器可读介质，其中，所述第一模式是以1或0表示通过或失败的二进制模式，并且所述第二模式是以1或0表示通过或失败的二进制模式。
7.一种或多种存储指令的非暂态机器可读介质，所述指令可由一个或多个处理设备执行，以执行包括以下各项的操作：
使用机器学习模型来预测第一待测设备(DUT)将失败的测试，其中，由所述机器学习模型进行的预测基于与先前在第二DUT上运行的测试相关联的模式匹配；
在所述第一DUT未通过所述测试中的第一测试之后，控制测试系统使用所述机器学习模型已预测所述第一DUT为失败的测试来继续测试所述第一DUT；以及
基于所述第一DUT已被预测为失败的所述测试来输出所述第一DUT的测试结果。
8.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，所述操作包括：
分析所述测试结果以识别所述第一DUT的测试失败的原因。
9.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，在没有针对所述第一DUT的测试插入的情况下执行所述测试结果的分析，其中，在所述测试插入期间，探针在所述第一DUT操作时接触所述第一DUT。
10.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，所述机器学习模型被配置为在针对所述第一DUT的测试插入期间进行预测，其中，在所述测试插入期间，探针在所述DUT操作时接触所述DUT。
11.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，所述操作包括：
分析所述测试结果以确定是否重新测试所述第一DUT。
12.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，在10毫秒(ms)或更短时间内执行预测。
13.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，所述机器学习模型在单独的计算系统上执行，而不是用于控制测试所述第一DUT的计算系统。
14.根据权利要求7所述的一种或多种非暂态机器可读介质，其中，所述机器学习模型包括KNN(K最近邻)模型或神经网络中的一者。
15.一种测试系统，所述测试系统包括：
一个或多个测试仪器，所述一个或多个测试仪器用于测试待测设备(DUT)，所述DUT包括第一DUT；
第一计算系统，所述第一计算系统使用机器学习模型来预测所述第一DUT将失败的测试，已经基于与来自第二DUT的测试结果相对应的模式来训练所述机器学习模型，所述第二DUT不在待由所述一个或多个测试仪器测试的所述DUT中；和
第二计算系统，所述第二计算系统至少部分地控制由所述一个或多个测试仪器执行的所述测试，所述第二计算系统用于执行包括以下各项的操作：
在所述第一DUT未通过所述测试中的第一测试之后，控制所述一个或多个测试仪器使用所述机器学习模型已预测所述第一DUT为失败的测试来继续测试所述第一DUT；以及
基于所述第一DUT已被预测为失败的所述测试来输出所述第一DUT的测试结果。
16.根据权利要求15所述的系统，其中，所述第一计算系统和所述第二计算系统在不同的硬件上实现。
17.根据权利要求15所述的系统，其中，所述第一计算系统和所述第二计算系统使用相同硬件中的至少一些硬件来实现。
18.根据权利要求15所述的系统，其中，所述第一计算系统是所述一个或多个测试仪器的一部分。
19.根据权利要求15所述的系统，所述系统还包括：
探针，所述探针被配置为通过在测试期间接触所述第一DUT来实现测试插入；
其中，所述机器学习模型被配置为在所述第一DUT的所述测试插入期间进行预测。
20.根据权利要求15所述的系统，预测时间与所述机器学习模型的复杂性和数据集大小成比例。
21.根据权利要求15所述的系统，其中，所述机器学习模型包括KNN(K最近邻)模型或神经网络中的一者。
22.一种方法，所述方法包括：
获得表示由一个或多个测试仪器在测试系统中待测设备(DUT)的初始集上执行的测试的结果的数据；以及
使用所述数据来训练机器学习模型，所述机器学习模型用于预测对于不同集的DUT所述测试中的哪些测试将产生失败结果，其中，所述不同集中的DUT与所述初始集中的DUT具有一个或多个共同的特征。
23.一种方法，所述方法包括：
使用机器学习模型来预测第一待测设备(DUT)将失败的测试，其中，由所述机器学习模型进行的预测基于与先前在第二DUT上运行的测试相关联的模式匹配；
在所述第一DUT未通过所述测试中的第一测试之后，控制测试系统使用所述机器学习模型已预测所述第一DUT为失败的测试来继续测试所述第一DUT；以及
基于所述第一DUT已被预测为失败的所述测试来输出所述第一DUT的测试结果。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/500,294 | 2021-10-13 | ||
| US17/500,294 US11921598B2 (en) | 2021-10-13 | 2021-10-13 | Predicting which tests will produce failing results for a set of devices under test based on patterns of an initial set of devices under test |
| PCT/US2022/046000 WO2023064160A1 (en) | 2021-10-13 | 2022-10-07 | Predicting tests that a device will fail |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118076960A true CN118076960A (zh) | 2024-05-24 |
Family
ID=85798819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280068196.0A Pending CN118076960A (zh) | 2021-10-13 | 2022-10-07 | 预测设备将失败的测试 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11921598B2 (zh) |
| CN (1) | CN118076960A (zh) |
| WO (1) | WO2023064160A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116774017A (zh) * | 2023-08-22 | 2023-09-19 | 南京宏泰半导体科技股份有限公司 | 一种基于机器学习的芯片测试效率提升系统及方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
| US6167352A (en) * | 1997-06-26 | 2000-12-26 | Agilent Technologies, Inc. | Model-based diagnostic system with automated procedures for next test selection |
| US6393594B1 (en) * | 1999-08-11 | 2002-05-21 | International Business Machines Corporation | Method and system for performing pseudo-random testing of an integrated circuit |
| US6510398B1 (en) * | 2000-06-22 | 2003-01-21 | Intel Corporation | Constrained signature-based test |
| US20110178967A1 (en) * | 2001-05-24 | 2011-07-21 | Test Advantage, Inc. | Methods and apparatus for data analysis |
| US7185247B2 (en) * | 2003-06-26 | 2007-02-27 | Intel Corporation | Pseudo bus agent to support functional testing |
| US8812922B2 (en) * | 2006-03-20 | 2014-08-19 | Mentor Graphics Corporation | Speeding up defect diagnosis techniques |
| US20080115029A1 (en) * | 2006-10-25 | 2008-05-15 | International Business Machines Corporation | iterative test generation and diagnostic method based on modeled and unmodeled faults |
| US7908532B2 (en) * | 2008-02-16 | 2011-03-15 | International Business Machines Corporation | Automated system and processing for expedient diagnosis of broken shift registers latch chains |
| AU2014359084A1 (en) * | 2013-12-06 | 2016-07-14 | Zintera Corporation | Pattern recognition system and method |
| US9959935B2 (en) * | 2016-04-12 | 2018-05-01 | Samsung Electronics Co., Ltd. | Input-output circuit for supporting multiple-input shift register (MISR) function and memory device including the same |
| CN110678850B (zh) * | 2017-11-10 | 2023-10-10 | 谷歌有限责任公司 | 自动化装置测试分类系统和技术 |
| US10929260B2 (en) * | 2018-05-16 | 2021-02-23 | Advantest Corporation | Traffic capture and debugging tools for identifying root causes of device failure during automated testing |
| US10748636B2 (en) * | 2018-09-04 | 2020-08-18 | Winbond Electronics Corp. | Testing system and adaptive method of generating test program |
| US10908980B2 (en) | 2018-11-20 | 2021-02-02 | Rohde & Schwarz Gmbh & Co. Kg | Method and system for detecting faulty devices |
| US10997015B2 (en) * | 2019-02-28 | 2021-05-04 | International Business Machines Corporation | Self-learning disaster-avoidance and recovery |
| US11409644B2 (en) * | 2019-03-11 | 2022-08-09 | Microstrategy Incorporated | Validation of mobile device workflows |
| US20200333394A1 (en) | 2019-04-18 | 2020-10-22 | Fei Company | Waveform separation for resolution limited optical probing tools |
| CA3152175A1 (en) | 2019-09-23 | 2021-04-01 | Carlos Moreno | A method and apparatus for detection of counterfeit parts, compromised or tampered components or devices, tampered systems such as local communication networks, and for secure identification of component |
| US20210110284A1 (en) * | 2019-10-11 | 2021-04-15 | Rohde & Schwarz Gmbh & Co. Kg | Method and system for automatic error diagnosis in a test environment |
| US11428729B2 (en) | 2020-01-22 | 2022-08-30 | Teradyne, Inc. | Device for testing a printed circuit board |
| WO2021148116A1 (en) | 2020-01-22 | 2021-07-29 | Advantest Corporation | A system and a method for obtaining a performance metric of a device under test based on one or more nearfield measurement results |
| US20210279577A1 (en) * | 2020-03-04 | 2021-09-09 | Seva Development, LLC | Testing of Computing Processes Using Artificial Intelligence |
| US11221365B2 (en) | 2020-03-11 | 2022-01-11 | Teradyne, Inc. | Calibrating an interface board |
| EP3889784B1 (en) * | 2020-03-30 | 2024-05-01 | Accenture Global Solutions Limited | Test case optimization and prioritization |
-
2021
- 2021-10-13 US US17/500,294 patent/US11921598B2/en active Active
-
2022
- 2022-10-07 CN CN202280068196.0A patent/CN118076960A/zh active Pending
- 2022-10-07 WO PCT/US2022/046000 patent/WO2023064160A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20230111796A1 (en) | 2023-04-13 |
| US11921598B2 (en) | 2024-03-05 |
| WO2023064160A1 (en) | 2023-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019082482A (ja) | 較正装置 | |
| US11187747B2 (en) | Inspection system and malfunction analysis/prediction method for inspection system | |
| CN101821642B (zh) | 仿真传统测试系统的行为 | |
| Polian et al. | Exploring the mysteries of system-level test | |
| US10451653B2 (en) | Controlling a per-pin measurement unit | |
| US8446164B2 (en) | Semiconductor device test system having high fidelity tester access fixture (HIFIX) board | |
| GB2209224A (en) | Fault diagnosis in circuits | |
| CN107925402A (zh) | 上升和下降信号沿的纠偏 | |
| WO2004081587A2 (en) | Apparatus and method for testing electronic systems | |
| US20220253375A1 (en) | Systems and methods for device testing to avoid resource conflicts for a large number of test scenarios | |
| CN106575960A (zh) | 单触发电路 | |
| TWI418824B (zh) | 判斷通訊頻道中的抖動之方法和系統 | |
| US7523007B2 (en) | Calibration device | |
| US10677815B2 (en) | Test system having distributed resources | |
| JP2022013885A (ja) | 試験測定システム及び被試験デバイス分析方法 | |
| CN118076960A (zh) | 预测设备将失败的测试 | |
| US7184932B1 (en) | Reliability prediction for complex components | |
| EP1655612A1 (en) | Universal test fixture | |
| NL2024200B1 (en) | A method for debugging a printed circuit board. | |
| RU2430406C2 (ru) | Автоматизированная система диагностирования цифровых устройств | |
| KR20240087850A (ko) | 장치가 불합격할 테스트의 예측 | |
| US10338137B1 (en) | Highly accurate defect identification and prioritization of fault locations | |
| US20150293828A1 (en) | Testing apparatus, testing system and testing method thereof | |
| CN115561566A (zh) | 测试信号的时间补偿方法及装置 | |
| US6870781B2 (en) | Semiconductor device verification system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |