CN101243324A - 测试序列优化方法以及设计工具 - Google Patents

Abstract

公开了一种用于定义测试序列以测试包括集成电路的多个电子设备的方法。定义了设备的参考组(110)，之后使在所述组中的设备经受考虑之下的所有可用测试(120)。收集针对每个测试的测试结果，从中提取针对设备组的测试的故障覆盖度量(130)。接下来，计算每个测试的测试益处(140)，该测试益处是所述测试的故障覆盖度量和测试持续时间之间的比。通过基于测试益处将测试反复添加至测试序列来构建所述测试序列(160)，直到所述测试序列的整个故障覆盖达到预定阈值(170)。因此，获得了在测试成本方面进行了优化的测试序列。

Description

测试序列优化方法以及设计工具

技术领域

本发明涉及一种用于定义用来测试多个设备的测试序列的方法。

本发明还涉及一种用于控制使用这种序列的测试程序的设备。

背景技术

在制造环境中的设备测试是一个复杂和昂贵的过程。作为首要示例，需要测试电子设备(例如集成电路)来确保设备根据预期规范操作。由于这些设备增加的复杂性，这些设备会经历大范围的故障，例如在硅或金属化层的短路，陷入故障等。为了便于检测到每个故障，每个设备典型地必须经历大量不同的测试，因为单个测试典型地仅揭示特定类型的故障。那些测试中的每个增加了设备整个测试过程的成本，这就意味着在大量测试的情况下，测试成本会相当高。

通常以自组织的形式定义在其中执行这些测试的序列。典型地，选择已知测试来揭示已知发生在特定被测设备(DUT)的故障。然而，这会导致大量测试冗余出现于其中的测试序列，即，其中大量测试能够检测相同故障的测试序列。

在测试序列中，存在以减少这样的冗余为目标的解决方案。可以在根据包括被称为面向拒绝分析(Reject Oriented Analysis，ROA)的功能的PDF/解决方案的DataPower产品中发现这种解决方案的示例。其描述可以在www.idsusa.com/site/products/dpc core.html上找到(2005年8月10日检索自因特网)。提出该功能以使测试序列基于用于揭示DUT的最大量故障的多个测试中的这些测试。然而，这不必导致在测试时间、因而是测试成本方面进行优化的测试序列。

发明内容

本发明寻找提供改进的方法，用于定义测试多个电子设备的测试序列，其中测试时间和测试冗余都减少。

本发明进一步寻找提供用于实现这种方法的设备。

根据本发明的一个方面，提供了如权利要求1所述的用于定义测试多个电子设备的测试序列的方法。在确定测试序列的过程中，测试益处的使用确保在最小化测试期间内获得了最大化的故障覆盖，与前述提及的ROA分析方法相比，这就优化了故障覆盖并且最小化所需的测试数量。ROA分析方法具有如下缺点：在单个测试导致了仅能通过多个其它测试获得的测试覆盖的情况下，选择单个测试，即使该测试比组合的多个其它测试复杂或者更加昂贵。基于测试益处的测试序列的优化克服了这一问题。

在优选实施例中，提供了如权利要求3所述的方法。该实施例通过基于共享测试初始化特性(例如在相同的测试设备上类似的测试建立次数)将测试分组来进一步减少整个测试序列的持续时间，这就意味着可以在单个初始步骤之后执行一组测试，而不是必须初始化每个测试。此外，通过基于有利的故障覆盖/测试持续时间比来选择测试组，获得(接近)最佳的测试序列。

有利地，将多个测试归类为多个测试组的步骤包括：如果测试具有未由已经添加至测试组的任何一个测试所覆盖的故障覆盖度量，那么向该测试组添加该测试。这就防止了测试组中冗余测试的出现。

有利地，将测试组以递减的测试益处顺序进行排序，从而便于切断测试组；可以通过移除不增加较高顺序测试的故障覆盖度量累积的较低顺序测试来实现这样的切断，该顺序是测试益处顺序。例如，通过针对失败策略应用异常中断，这种切断进一步提高了组的组益处，以及便于低成本的高测试通过量。

这样的切断步骤也可以包括与来自具有比较低顺序测试所属组的组益处更高的组益处的组的测试的比较，这具有如下优点：也移除了由于与具有更高组益处的组中测试的重叠而添加了故障覆盖的较低顺序测试。

有利地，该方法包括以递减的组益处顺序组织测试序列中的测试组的步骤。这便于通过从序列末端移除不具有足够高的测试益处的整个组来有效切断测试序列。

在另一实施例中，该方法包括：基于另一第二测试组中包括的另一第二测试的测试(或组)益处值，将所述另一第二测试添加至测试序列，所述另一第二测试(组)覆盖了也由已经添加至序列的测试所覆盖的故障覆盖度量。可以有意地添加一些冗余，因为针对多个电子设备的一部分所获得的故障覆盖度量可以与针对全部多个电子设备的度量不同。基于针对该部分的故障覆盖度量添加至测试序列的测试冗余降低了当利用测试序列测试全部多个电子设备时故障设备保持检测不到的机会。

在优选的实施例中，在多个设备生产过程的第一阶段应用该方法步骤，以及其中，在所述生产过程的另一阶段重复该方法步骤。本发明也基于以下实现：针对电子设备生产过程的给定阶段是(接近)最佳的测试序列，在针对该生产过程的另一个阶段不必是(接近)最佳的，例如，这是由于发生在该过程初始阶段的故障类型不同于在该过程的更成熟阶段发生的故障类型。换言之，由于故障覆盖度量是过程成熟度相关的，所以例如如果显著地改进了生产过程，则重新优化测试序列是有利的。

根据本发明的另一方面，提供了如权利要求15所述的设计工具。这样的设计工具实现了本发明的方法和益处，且根据针对该方法的前述相同的优势以作必要的修正，其中设计工具可以在数据载体(例如CD-ROM或DVD)上提供，或可以在自动测试设备上实现。

附图说明

参照附图，通过非限制性示例，将详细描述本发明，其中：

图1示出了本发明方法的实施例的流程图；

图2示出了故障覆盖矩阵的示例；

图3示出了本发明方法的另一个实施例的流程图；以及

图4示出了图3中所示的实施例的可选方面的流程图。

具体实施方式

应该理解，附图只是示意性的，并没有按比例绘制。也应该理解附图中所使用的相同参考数字指示相同或相似的元件。

根据图1中所示的本发明的方法的实施例，在第一步骤110中，通过选择要由测试序列所测试的所有电子设备的一部分，导出用于测试多个电子设备的测试序列。该部分用作要测试的整批电子设备的参考组。因此，必须要注意获得设备的统计代表性扩展。这可以通过针对在单个晶片的不同区域上的批或在不同晶片上的批来选择电子设备而实现，这就增加了设备受到制造过程中变化的影响的机会，并且易于显示出作为其后果的不同故障。

在下一步骤120中，参考组中所有电子设备或一部分经受被认为包括在测试的测试序列中的所有可用测试。对于每个测试，收集针对参考组的测试的测试结果，在步骤130中，计算相对于参考组的测试的故障覆盖度量。

这可以利用图2进行详细的解释，其中，用矩阵200的形式代表针对5个电子设备D1-D5的参考组的6个测试T1-T6的测试结果，电子设备D1-D5定义了列210，以及6个测试T1-T6定义了行220。在行M和列N的区域中的值给出了针对设备N的测试M的测试结果；‘0’表示设备N通过测试M，以及‘1’表示设备N没有通过测试M。在该示例中，D2是参考组中的唯一良好设备，其他均为故障设备。应该理解，选择了6个测试和5个设备是作为示例和仅为了清楚地阐述；典型地，将涉及更大数量的测试和电子设备。根据矩阵200，可以计算每个测试的故障覆盖度量，例如：

测试覆盖(TC)＝#所检测的失败设备/#参考组中的设备

现在，返回图1，在步骤140中，可以使用该度量来计算每个测试的测试益处。典型地，测试的测试益处(TB)表示为测试的TC和测试持续时间(TD)之比。测试持续时间可以仅基于测试执行时间、或也可以包括测试初始化时间，即，例如当该测试的初始化时间不可忽略时，TD＝初始化时间(T_init)+执行时间(T_exec)。在表I中给出了针对测试T1-T6的步骤140的执行：

表I

测试	TC	TD(s)	TB
				T1	0.6	60	0.01
T2	0.2	10	0.02
				T3	0.2	20	0.01
T4	0.4	10	0.04
				T5	0.4	20	0.02
T6	0.4	50	0.008

从表I中可看出，很明显，虽然T1是具有最佳测试覆盖的测试，但由于它的测试持续时间长，所以它的测试益处不是非常好。这清楚地说明，仅就测试覆盖来针对测试序列选择测试容易导致在测试成本方面的非最佳测试序列。

在下一个步骤150中，通过基于预定标准选择要添加至测试序列的第一测试，来启动测试序列的构建。这种标准可以是‘从多个测试中选择具有最高测试益处的测试’或‘从多个测试中选择具有至少0.02的测试益处的测试’等。在选择了第一测试后(例如在上述测试中的测试T4)，优选地使用相同的预定标准，可以在该方法的步骤160中将下一个测试添加至测试序列。在添加该测试之前，可以检查确定是否已经添加至测试序列的测试故障覆盖和考虑添加的测试故障覆盖的并集不同于已经添加至测试序列测试故障覆盖。换言之，可以执行检查来确定考虑中的测试是否将故障的检测添加至未被已经添加至测试序列的测试所检测到的测试序列。

例如，在将T4添加至测试序列之后，可以考虑将T2添加至测试序列，因为它的测试益处是0.02。计算测试覆盖T4和T2之间的并集如下：

TC(T4)U TC(T2)＝TC(T4)

得知：T2没有在测试批中添加其他故障设备的检测。这样，不必将T2添加至测试序列。

如果针对T4和T5之间的测试覆盖重叠进行该试验，T5像T2一样，也具有0.02的测试益处，计算并集：

TC(T4)U TC(T5)＝TC(T4)+D3

示出了T5将D3中的故障检测添加至测试序列的整个故障覆盖，所以可以将T3添加至序列。

可选地，除了在测试选择的过程中计算测试的故障覆盖并集之外，可以使用下列公式：

TB’(Tn)＝{TC(Tn)U TC(T_ts)-TC(T_ts)}/TD(n)

在可选步骤155中重新计算测试序列外的n个测试的测试益处。

简言之，对于每个测试，确定了除了由已经添加至测试序列(TC(T_ts))的测试所提供的故障覆盖之外由它提供了多少附加错误覆盖来除以测试持续时间。在测试T4已经添加至测试序列的示例中，在表II中示出了针对剩余测试示出的下列结果：

表II

	ΔTC	TD(s)	TB’
				T1	0.2	60	0.0033
T2	0	10	0
				T3	0.2	20	0.01
T5	0.2	20	0.01
				T6	0.4	50	0.008

根据该表，很明显，T3和T5是同样可行的候选测试，尽管T3比T5具有更低的初始测试益处。在本发明方法的步骤160中，可以使用T5的特性来决定要把哪个测试添加至测试序列。在这点上强调，在该申请的上下文中，故障测试度量可以是相对于一批电子设备的测试的故障度量的表示、或者可以是相对于测试组的测试的附加故障覆盖的表示。每次必须将测试添加至序列时，可以重复步骤155的步骤，直到序列中的具有满足预定标准(例如‘已经识别了所有故障设备的99％’)的组合故障覆盖度量。在本发明方法的步骤170中完成该检查。如果还没有完成预定标准，那么该方法返回步骤160或步骤150，以将另一个测试添加至测试序列。

一旦测试序列满足如步骤170所检查的前述标准，便可以认为该序列完成以及该方法可以如步骤180中所指示的那样结束。可选地，在结束序列选择过程之前，可以在步骤175中将一个或多个测试添加至该序列，来向该序列添加测试冗余。可以基于如步骤140中所计算的这些测试的测试益处来选择那些冗余测试。向测试序列添加冗余测试将降低测试序列在全部多个电子设备的应用会导致在测试序列中会错过相当大量的故障电子设备的风险，尽管针对方法步骤110中所定义的该批设备已经满足了故障覆盖标准。例如，当所选择的电子设备参考组没有合适地反映设备特性的扩散时(例如由过程变化中的扩散造成)，这种情况可能发生。对参考组来说是冗余的测试的添加对全部多个电子设备来说可能不是冗余的，在这种情况下，这些测试的添加提高了针对全部多个设备的错误覆盖。

在图3中示出了本发明方法的另一实施例。在前述步骤110、120、130、140执行之后，在步骤310，将多个测试组织为多个测试组，在单个组中的所有测试共享测试特性。在本发明的上下文中，共享测试特性表示以下特性：可以利用该特性，使作为组(即邻近序列中)执行的测试的测试持续时间比那些测试的单独测试持续时间之和短。这种测试特性的首要示例是测试的设置或初始化时间；例如，如果在相同的测试设备上执行所有测试，则针对该组中所有N个测试仅必须执行一次该设备的设置，而不是独立执行每个测试的N次，这样减少了针对测试组的测试设置时间T(N-1)^*T_init，因此减少了测试成本。

图3中所示的实施例提出了基于步骤310中所形成的组定义测试序列，而不是基于单个测试定义测试序列。所以在步骤320中计算组益处。典型地，使用下列等式计算包含M个测试的组的组益处(Gb)：

$G_{\mathrm{cov}}={\∪}_{i=1}^M{T}_c\left(i\right)$

$\mathrm{Gb}=\frac{G_{\mathrm{cov}}}{T_{\mathrm{init}}+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{T}_{\mathrm{exec}}}$

即，定义组故障覆盖G_COV为组中所有测试故障覆盖度量的并集，G_COV除以组中测试的测试执行时间T_exec加上测试共享的初始化时间T_init。如果T_init＜＜T_exec，则可以忽略T_init。

在下一步骤330中，从所形成的测试组中选择第一测试组，并基于满足预定标准的组益处(例如‘组益处需要具有最小值x’或‘选择具有最高组益处的组’)将该第一测试组添加至测试序列。也同样接受其它适合的标准。

在下一步骤340中，如果已被添加至序列的第一测试组提供了针对设备参考组的合适的故障覆盖，则做出评估。如果是这种情况，则可以在步骤380处(可选地，在步骤375之后)结束测试选择过程，正如先前所解释的，在步骤375中，将多个测试和/或测试组添加至没有(明显地)提高测试序列的故障覆盖的测试序列来给该序列增加测试冗余。可以在分别基于初始计算的测试益处和组益处来选择所添加的单个测试和/或测试组。

如果在步骤340中，做出如下评估：添加至测试序列的组所提供的故障覆盖没有达到预定阈值(例如‘必须覆盖所有故障设备的99％’)，则在步骤350中，基于满足另一个标准的另一个测试组的组益处，将所述另一个测试组添加至测试序列。所述另一个标准可以与所选第一测试组所使用的标准相同(例如，‘从还没有添加至测试序列的多个组中选择具有最高组益处的组’)。

与图1中可选步骤155类似，在先于选择另一个测试组的可选步骤345中，可以重新计算(即更新)还没有添加至测试序列的组的组益处。典型地，将下一组j的更新组益处(Gb’)表示为：已经包括在具有故障覆盖并集的测试序列中的K个测试组的故障覆盖并集G_COV(seq)和在另一个组(表示为G_COV(j))中M个测试的故障覆盖并集与G_COV(seq)之差，除以在另一个组中的M个测试的测试执行时间加上该组的初始化时间(如果显著)之和：

$G_{\mathrm{cov}}\left(\mathrm{seq}\right)={\∪}_{i=1}^K\mathrm{Gcov}\left(i\right)$

${\mathrm{Gb}}^{\′}\left(j\right)=\frac{[G_{\mathrm{cov}}\left(\mathrm{seq}\right)\∪G_{\mathrm{cov}}\left(j\right)]-G_{\mathrm{cov}}\left(\mathrm{seq}\right)}{T_{\mathrm{init}}+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{T}_{\mathrm{exec}}}$

在这之后，使用更新组益处Gb’、而不是在步骤320中计算的组益处Gb来执行步骤350。在步骤350之后，即将另一组添加至测试序列之后，重复评估步骤340，并添加另一组，直到满足步骤340的评估标准，在这之后可以执行步骤375和380。类似于图1中所示的方法，在电子设备制造过程的不同成熟度的阶段也可以重复图3中所示的方法，来考虑设备故障的本质和出现频率的变化，如前所述。

在执行步骤330之前，即为添加至测试序列选择第一测试组之前，可以在图4中所示的中间过程中优化步骤320中所形成的测试组。在第一步骤410中，以递减的测试益处的顺序组织每个测试组中的测试，之后，计算组中所有较高顺序测试与较低顺序测试的并集。换言之，类似步骤155，基于所检测到的、与组的较高顺序测试的并集(即故障覆盖累积)相比的附加数量的故障，重新计算较低顺序测试的测试益处。在步骤430中，评估较低顺序测试对较高顺序测试的故障覆盖并集的贡献。如果提高了故障覆盖，则在步骤440中，在测试组中保持较低顺序测试；否则，在步骤450中从测试组中删除该测试。如步骤460中所示，在组中针对所有测试重复该过程，之后在步骤470中结束优化。

该中间过程便于从在步骤320中形成的测试组中移除测试冗余。在测试组形成之后，该中间过程可以应用于测试组。可选地，可以‘在运行中’应用该中间过程，即，即针对已经被识别为与已经分配至组的测试共享测试特性的每个其他测试，检查其他测试是否提高了组的累积故障覆盖，并且仅添加提高了累积故障覆盖的测试。应该理解，可以以许多可选的方式来执行组的优化；例如，可以以递增的组益处顺序给组中的测试进行排序，并相应地评估，或可以应用这些策略的组合，或在累积故障覆盖的计算中包括比考虑中的测试组具有更高组益处的组中的测试，来减少组之间的测试冗余。

在这点上，强调通过以合适的算法表达该方法的不同步骤，在测试序列设计工具中可以容易地实现本发明的方法(的不同步骤)。这种试验是直接的，并不需要为此进一步细述。设计工具可以分布在数据载体(例如CD-ROM或DVD盘)上，或可以从远程存储器下载(例如因特网源)。可选地，可以在自动测试设备上实现该设计工具。

应该强调，尽管本发明的详细描述公开了针对电子设备测试序列的定义，但这仅是作为示例的方法。可以将该方面应用到利用多个测试必须对设备进行测试的任何制造过程。

应当注意到，上面所提到的实施例示出而不是限制本发明，以及本领域技术人员将能够在不偏离所附权利要求的范围内设计许多可选实施例。在权利要求中，置于括号中的任何参考符号不应当视为对权利要求的限制。词“包括”不排除不同于权利要求中所列出的那些元件或步骤的出现。在元件前的词“一个”不排除这种元件的复数的出现。可以通过包括几个明显元件的硬件的方式实现该方面。在设备权利要求列举几个装置中，可以通过同一个硬件将这些装置中的几个具体化。在相互不同的从属权利要求中所述的特定措施的事实并不指示不能有利的使用这些措施的组合。

Claims (20)

1.一种方法，用于定义用来测试多个设备的多个测试中的测试序列，所述方法包括：

将每个测试应用到多个设备的一部分(110；120)；

针对每个应用的测试，从所述一部分中的每个设备收集测试结果(120)；

根据针对每个应用的测试而收集的测试结果，确定所述一部分的故障覆盖度量(130)；

根据另一等式，计算针对每个应用的测试的测试益处，所述另一等式包括测试的故障覆盖度量除以测试的测试执行时间(140)；以及

通过将第一测试添加至测试序列来定义所述序列，所述第一测试具有符合预定标准的测试益处(150，330)。

2.如权利要求1所述的方法，还包括将另一测试添加至测试组的序列，所述另一测试包括符合预定的另一标准的测试益处、以及未被已经添加至所述序列的所述测试中的任何一个所覆盖的故障覆盖度量(160)。

3.如权利要求1所述的方法，还包括：

基于测试组中的多个测试所共享的测试初始化特性，将所述多个测试分类至多个测试组(310)；

根据包括组中每个测试的故障覆盖度量的并集除以组中每个测试的测试持续时间之和的等式，计算每个组的组益处(320)；以及其中：

将第一测试添加至所述序列的步骤包括：将包括所述第一测试的第一测试组添加至所述序列，所述第一测试组包括符合预定标准的组益处(330)。

4.如权利要求3所述的方法，还包括将另一测试组添加至所述序列，所述另一测试组包括符合预定的另一标准的组益处(350)。

5.如权利要求3或4所述的方法，其中将所述多个测试分类至多个测试组的步骤(310)包括：如果测试具有未被已经添加至所述组的所述测试中的任何一个所覆盖的故障覆盖度量，则将所述测试添加至测试组。

6.如权利要求1所述的方法，其中所述测试执行时间包括测试初始化时间和所述测试持续时间之和。

7.如权利要求3、4或5所述的方法，还包括以递减的测试益处顺序来组织每个组中的测试(410)。

8.如权利要求7所述的方法，还包括通过移除不增加较高顺序测试的故障覆盖度量累积的较低顺序测试，来优化每个组(420，430，450)。

9.如权利要求8所述的方法，其中所述较高顺序测试包括来自具有比较低顺序测试的组的组益处更高的组益处的组的测试。

10.如权利要求4所述的方法，还包括以递减的组益处顺序来组织所述测试序列中的测试组。

11.如权利要求3或4所述的方法，其中，所述共享的初始化特性包括共享初始化时间，以及所述等式包括将所述共享初始化时间与所述测试持续时间之和相加。

12.如权利要求4所述的方法，其中，将所述另一测试组添加至所述序列的步骤(350)包括：从多个测试组中选择另一测试组，所述多个测试组中的每个包括具有未被所述第一测试组中测试的任何一个所覆盖的故障覆盖度量的测试；基于所述另一测试组的组益处，从所述多个测试组中选择所述另一测试组。

13.如权利要求1-4中任一权利要求所述的方法，还包括基于另一第二测试的测试益处值，将所述另一第二测试添加至测试序列，所述另一第二测试覆盖了也由已经添加至所述序列的测试所覆盖的故障覆盖度量(175，375)。

14.如权利要求1-4中任一权利要求所述的方法，其中，将所述方法步骤应用到所述多个设备的生产过程的第一阶段，以及在所述生产过程的另一阶段重复所述方法步骤。

15.一种设计工具，用于设计用来测试多个设备的测试序列，所述设计工具包括：

算法，用于从数据集中确定故障覆盖度量，所述数据集包括应用到所述设备的一部分的每个测试的所收集的测试结果；

算法，用于根据另一等式，计算针对每个应用的测试的测试益处，所述另一等式包括测试的故障覆盖度量除以测试的测试执行时间；以及

算法，用于通过将第一测试添加至测试序列来定义所述序列，所述第一测试具有符合预定标准的测试益处。

16.如权利要求15所述的设计工具，还包括：算法，用于将另一测试添加至测试组的序列，所述另一测试包括符合另一预定标准的测试益处、以及未被已经添加至所述序列的所述测试中的任何一个所覆盖的故障覆盖度量。

17.如权利要求15所述的设计工具，还包括：

算法，用于基于测试组中的多个测试所共享的测试初始化特性，将所述多个测试分类至多个测试组；

算法，用于根据包括组中每个测试的故障覆盖度量的并集除以组中每个测试的测试持续时间之和的等式，计算每个组的组益处；以及其中：

用于将第一测试添加所述序列的算法包括：算法，用于将包括所述第一测试的第一测试组添加至所述序列，所述第一测试组包括符合预定标准的组益处。

18.如权利要求17所述的设计工具，还包括：算法，用于如果另一测试组包括具有未被所述第一测试组中测试的任何一个所覆盖的故障覆盖度量的测试，则将所述另一测试组添加至所述测试组序列。

19.一种数据载体，包括如权利要求15-18之一所述的设计工具。

20.一种用于测试多个电子设备的自动测试设备，包括如权利要求15-18之一所述的设计工具。

Images