CN118056211A - 错误原因推定装置、错误原因推定方法以及计算机可读介质 - Google Patents

Abstract

错误原因推定装置(100)是推定发生的错误的错误原因的装置，具有：特征量组生成部(A2a)，其对包含从检查装置收集到的检查结果的数据进行处理，生成多个特征量；模型生成部(4)，其生成对由特征量组生成部(A2a)生成的多个特征量与错误的关系进行学习的模型(A5a)；贡献度计算部(11)，其针对在模型(A5a)的学习中使用的多个特征量中的至少一个，计算表示对模型(A5a)的输出做出贡献的程度的贡献度；以及错误原因取得部(15)，其取得对根据由贡献度计算部(11)计算出的贡献度计算出的有用度而选择出的特征量标注的错误原因。

Description

错误原因推定装置、错误原因推定方法以及计算机可读介质

技术领域

本公开涉及推定发生的错误的错误原因的错误原因推定装置、错误原因推定方法以及计算机可读介质。

背景技术

半导体检查装置按照被称为制程(recipe)的设定参数，对半导体晶圆的表面的每个检查点实施检查动作、测量动作。制程的调整一般是工程师根据检查对象的属性、装置的特性等通过人工作业使各项目最佳化。因此，例如，由于使用调整不充分的制程，在检查动作中，检查结果有可能成为错误。另一方面，与这样的制程起因错误不同，有时由于硬件的经年劣化、不良情况而检查结果成为错误。当发生错误时，工程师针对制程起因错误修正制程，针对硬件起因错误更换经年劣化的部件或维护发生不良状况的部件。这样，应采取的对策方法根据错误原因而不同，因此错误原因的推定非常重要。

在错误原因的推定中使用基于机器学习等的分类方法(例如，参照专利文献1)。在专利文献1中公开了如下技术：作为对没有足够量的故障数据的情况的应对，通过生成关于电路共用的故障数据的学习数据、关于工艺共用的故障数据的学习数据，使故障数据的量增加。

现有技术文献

专利文献

专利文献1：日本特开2012-199338号公报

发明内容

发明所要解决的课题

由于制程的变更、装置部件的更新、检查对象的变化等各种原因，产生数据的趋势持续或不连续地变化的数据漂移。当发生数据漂移时，学习过去的检查结果而得到的错误原因的推定的公式化不适合于新的检查结果。因此，学习了过去的检查结果与错误原因的关系的分类模型难以根据错误原因对数据漂移的当前的检查结果进行分类。

本公开的目的在于提供一种即使产生检查结果持续或不连续地变化的数据漂移，也能够推定所产生的错误的错误原因的技术。

用于解决课题的手段

为了解决上述课题，本公开的错误原因推定装置推定成为错误的检查结果的错误原因，该错误原因推定装置具备计算机系统，该计算机系统具有一个或多个处理器和一个或多个存储器，所述计算机系统包括：第一特征量生成处理，对从检查装置收集的包含所述检查结果的数据进行处理，生成多个特征量；以及模型生成处理，生成对通过所述第一特征量生成处理而生成的所述多个特征量与错误的关系进行学习的第一模型；贡献度计算处理，针对在所述第一模型的学习中使用的所述多个特征量的至少一个，计算表示对所述第一模型的输出做出贡献的程度的贡献度；以及错误原因取得处理，取得对通过所述贡献度计算处理计算出的贡献度或基于根据所述贡献度计算出的有用度而选择的特征量或特征量的组合标注的错误原因。

发明效果

根据本公开，即使在检查结果持续或不连续地变化的情况下，也能够推定发生的错误的错误原因。

上述以外的课题、结构及效果通过以下的实施方式的说明而明确。

附图说明

图1是表示实施例1的错误原因推定装置的整体结构的框图。

图2是错误原因推定装置的计算机系统的硬件框图。

图3是表示特征量组A以及B的数据结构的图。

图4是按每个检查ID绘制了检查结果的图以及按每个检查ID绘制了特征量的图。

图5是表示选择在特征量列表中定义的特征量的选择画面的图。

图6是用于说明错误记录的检测规则的学习方法的图。

图7是表示错误原因推定部的详细情况的框图。

图8是表示特征量的有用度的计算方法的图。

图9是表示显示于输出装置的解析结果的画面。

图10是表示错误原因推定方法的流程图。

图11是表示实施例2的错误原因推定部的详细情况的框图。

图12是表示实施例2的错误原因推定方法的流程图。

图13是表示实施例2的错误辞典的数据结构的图。

图14是表示实施例3的模型生成部的详细情况的框图。

图15是表示实施例3的错误概率推定部的错误概率的推定结果的图。

图16是表示实施例4的错误原因推定装置的使用例的流程图。

具体实施方式

在以下说明的实施方式中，“半导体检查装置”包括测量形成于半导体晶圆的表面的图案的尺寸的装置、检查形成于半导体晶圆的表面的图案有无缺陷的装置、检查未形成图案的裸晶圆有无缺陷的装置以及将这些装置组合而成的复合装置。

另外，在以下说明的实施方式中，“检查”以测量或检查的意思使用，“检查动作”以测量动作或检查动作的意思使用。另外，在以下说明的实施例中，“检查对象”是指成为测量或检查的对象的晶圆、或者该晶圆中的测量或检查的对象区域。另外，在以下说明的实施例中，“错误”除了测定不良、装置故障以外，还包括警报、警告消息等错误的预兆。

＜实施例1＞

参照图1，说明实施例1的错误原因推定装置100。实施例1的错误原因推定装置100推定在半导体检查装置10中成为错误的检查结果(以下，适当称为错误数据)的错误原因。半导体检查装置10按照被称为制程(recipe)的设定参数，对半导体晶圆的表面的每个检查点实施检查动作。错误原因推定装置100可以是在半导体检查装置10的使用者管理的设施内运用的现场(on-premises)，也可以是在半导体检查装置10的使用者管理的设施外运用的云。另外，也可以在半导体检查装置10中组装错误原因推定装置100。错误原因推定装置100具备特征量组A生成部2a、特征量组B生成部2b、存储特征量列表A3a和B3b的特征量列表存储部3、模型生成部4、模型A5a、模型B5b、错误原因推定部6、特征量-错误原因列表8以及特征量-权重列表9。实施例1的错误原因推定装置100具有两个特征量组生成部(2a、2b)、两个特征量列表(A3a、B3b)以及两个模型(A5a、B5b)。错误原因推定装置100也可以分别具有3个以上的特征量组、特征量列表以及模型。

(解析对象数据1)

解析对象数据1是从半导体检查装置10收集的数据。输入到错误原因推定装置100的解析对象数据1存储包含想要解析错误原因的错误数据的半导体检查装置10的检查结果。检查结果与检查ID、装置数据、制程以及有无错误相对应地存储于解析对象数据1。解析对象数据1可以存储在半导体检查装置10的内部存储装置中，也可以存储在与半导体检查装置10可通信地连接的外部存储装置中。

检查ID是每当由半导体检查装置10检查检查对象时赋予的编号，是用于识别检查结果的编号。

装置数据包含装置固有参数、个体差异校正数据、观察条件参数。装置固有参数是用于使半导体检查装置10按照规定规格进行动作的校正参数。个体差异校正数据是用于校正半导体检查装置10间的个体差异的参数。观察条件参数例如是电子光学系统的加速电压等规定SEM(Scanning Electron Microscope：扫描电子显微镜)的观察条件的参数。

制程包括晶圆图、图案匹配图像、对准参数、寻址参数、测长参数。晶圆图是半导体晶圆上的坐标图(例如，图案的坐标)。图案匹配图像是用于检测测定坐标的被搜索图像。对准参数例如是用于校正半导体晶圆上的坐标系与半导体检查装置10内部的坐标系之间的偏差的参数。寻址参数例如是确定形成在半导体晶圆上的图案中存在于检查对象区域内的特征性的图案的信息。测长参数是记述了测定长度的条件的参数，例如是指定测定图案中的哪个部位的长度的参数。

检查结果包括测长结果、图像数据、动作日志。测长结果是与半导体晶圆上的图案的长度相关的信息。图像数据是半导体晶圆的观察图像。动作日志是记述了对准、寻址、测长的各动作工序中的半导体检查装置10的内部状态的数据，例如包含各部件的动作电压、观察视野的坐标等。由于制程的变更、装置部件的更新等半导体检查装置10的内部环境的变化、检查对象的变化等半导体检查装置10的外部环境的变化，产生半导体检查装置10的检查结果的趋势持续或不连续地变化的数据漂移。

有无错误是表示检查结果是表示错误的错误数据还是表示正常的正常数据的参数。该参数也可以表示从错误校准、寻址以及测长的各动作工序中发生了错误的工序。

(错误原因推定装置100的硬件结构)

错误原因推定装置100具备具有一个或多个处理器和一个或多个存储器的计算机系统200。该计算机系统200作为图1所示的特征量组A生成部2a、特征量组B生成部2b、特征量列表存储部3、模型生成部4、模型A5a、模型B5b、错误原因推定部6、特征量-错误原因列表8以及特征量-权重列表9发挥功能。而且，计算机系统200执行后述的图10的流程图的各处理。图2是表示计算机系统200的硬件结构的图。参照图2，说明计算机系统200的硬件结构。

计算机系统200具有处理器201、通信接口202(以下，将接口简记为I/F)、存储器203、存储装置204、RAID控制器205以及将上述的各模块可通信地连接的总线206。处理器201执行用于执行图10的流程图的各处理的程序命令。处理器201例如是CPU(CentralProcessing Unit，中央处理单元)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)等。处理器201将存储于存储装置204的程序命令以能够执行的方式在存储器203的作业区域展开。存储器203存储处理器201执行的程序指令、该处理器201处理的数据等。存储器203是闪存、RAM(RandomAccess Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等。存储装置204存储OS、引导程序和Web应用。另外，存储装置204存储上述的特征量列表A3a以及B3b、后述的特征量组A以及B、模型A5a以及模型B5b、特征量-错误原因列表8、以及特征量-权重列表9。存储装置204是HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)等。

通信I/F202与存储上述解析对象数据1的存储装置可通信地连接，从该存储装置接收解析对象数据1。另外，通信I/F202向本地或网络上的输出装置7输出解析结果900(参照图9)。RAID控制器205在逻辑上如一个装置那样运用多个存储装置204。然后，RAID控制器205将各种数据写入到多个存储装置204，并且从多个存储装置204读取各种数据。

(特征量组生成部)

特征量组A生成部2a对解析对象数据1进行处理，生成一个以上的特征量。将特征量组A生成部2a生成的一个以上的特征量称为特征量组A。特征量组A生成部2a生成的特征量由特征量列表A3a定义。另外，特征量组B生成部2b对解析对象数据1进行处理，生成一个以上的特征量。将特征量组B生成部2b生成的一个以上的特征量称为特征量组B。特征量组B生成部2b生成的特征量由特征量列表B3b定义。

参照图3，说明上述的特征量组A以及B的数据结构。每当半导体检查装置10对检查对象进行检查时，分配检查ID，对该检查ID记录制程、检查结果(X_1，1、X_1，2、…)。特征量组A生成部2a处理解析对象数据1，生成由特征量列表A3a定义的特征量A1以及特征量A2等。另外，特征量组B生成部2b对解析对象数据1进行处理，生成由特征量列表B3b定义的特征量B1以及特征量B2等。

(特征量的例示)

接着，说明特征量的具体例。

特征量例如是与同一装置内的检查结果的偏差相关的指标。该特征量是针对某个检查项目，同一装置内的检查结果的中央值或平均值与检查结果的差分。

另外，其他特征量例如是与同一测定点处的检查结果的偏差有关的指标。该特征量是针对某个检查项目，同一测定点的检查结果的中央值或平均值与检查结果的差分。

另外，其它特征量例如是与同一制程中的检查结果的偏差有关的指标。该特征量是针对某个检查项目同一制程的检查结果的中央值、平均值与检查结果的差分。

另外，其他特征量例如是与同一晶圆内的检查结果的偏差有关的指标。该特征量是针对某个检查项目的同一晶圆内的检查结果的中央值或平均值与检查结果的差分。

另外，其他特征量例如是与使用了同一图案匹配用的参照图像的测定点处的检查结果的偏差有关的指标。该特征量是针对某个检查项目使用了同一图案匹配用的参照图像的测定点处的检查结果的中央值或平均值与检查结果的差分。

另外，其他特征量例如能够将针对特定装置、特定坐标的错误率作为特征量。

(检查结果和特征量)

参照图4，对关于某检查项目的检查结果与处理该检查结果而生成的特征量的比较进行说明。在图4中，圆圈表示正常记录，叉号表示错误记录。图4的左侧的图是按每个检查ID绘制了检查项目X1的检查结果的图401。另外，图4的右侧的图是按每个检查ID绘制了特征量A1的图402。在图4的左侧的图401中，检查项目X1的原始数据(检查结果)的正常记录和错误记录在同一范围内混合存在，难以决定阈值来区分错误记录和正常记录。与此相对，在图4的右侧的图402中，通过生成上述那样的与检查结果的偏差有关的指标即特征量，能够决定阈值来区分错误记录和正常记录。如果特征量与错误原因具有密切的关系性，则如图4的右侧的图402所示，通过对每个检查ID绘制特征量，能够决定区分与特征量具有密切关系的错误原因引起的错误记录的阈值。

(特征量列表存储部3)

特征量列表存储部3存储特征量列表A3a和特征量列表B3b。特征量列表A3a定义特征量组A生成部2a生成的一个或多个特征量。即，特征量组A生成部2a生成由特征量列表A3a定义的一个或多个特征量。另外，特征量列表B3b定义特征量组B生成部2b生成的一个或者多个特征量。即，特征量组B生成部2b生成由特征量列表B3b定义的一个或多个特征量。

由特征量列表A3a以及B3b定义的特征量能够由用户任意地选择。图5是表示用于选择特征量的选择画面500的图。用户能够针对每个特征量列表A3a以及B3b选择特征量。用户从选择画面500的特征量一览501中选择任意的特征量，并追加到特征量列表栏502。在特征量列表栏502中显示的特征量是由特征量列表A3a定义的特征量。此外，用户可以选择并删除追加到特征量列表栏502的特征量。计算机系统200按照来自用户的指示，执行选择由特征量组A生成部2a以及特征量组B生成部2b生成的多个特征量的选择处理。另外，用户对特征量列表栏502的各特征量设定权重503。对各特征量设定的权重503按每个特征量存储于特征量-权重列表9。

用户能够经由选择画面500选择适于错误原因的推定的特征量的组合。该选择画面500可以显示于输出装置7的显示部，也可以显示于与错误原因推定装置100连接的显示部。例如，选择画面500是由错误原因推定装置100执行的Web应用提供的画面，输出装置7的Web浏览器显示从Web应用提供的选择画面500。即，由错误原因推定装置100执行的Web应用执行显示控制处理，使得在输出装置7的显示部显示选择画面500。

例如，在想要捕捉硬件起因错误作为错误原因的情况下，由特征量列表A3a定义上述的同一装置内的检查结果的中央值、平均值与检查结果的差分即特征量。另外，在想要捕捉制程起因错误作为错误原因的情况下，由特征量列表B3b定义上述的同一制程的检查结果的中央值、平均值与检查结果的差分即特征量。即，用户通过特征量列表A3a定义与硬件起因错误相关联的一个或多个特征量，由特征量列表B3b定义与制程起因错误相关联的一个或多个特征量。此外，由特征量列表A3a以及B3b定义的特征量是任意的，因此可以由特征量列表A3a定义与制程起因错误关联的特征量，也可以由特征量列表B3b定义与硬件起因错误关联的特征量。另外，也可以由特征量列表A3a以及B3b双方定义共同的特征量。

(特征量-错误原因列表8)

特征量-错误原因列表8存储标注了错误原因的特征量。在特征量-错误原因列表8中，例如对同一装置内的检查结果的中央值或平均值与检查结果的差分即特征量标注硬件起因错误。另外，在特征量-错误原因列表8中，例如对同一制程的检查结果的中央值、平均值与检查结果的差分即特征量标注制程起因错误。此外，错误原因不仅是硬件起因错误、制程起因错误，也可以是不适当的制程参数和装置的不良部位等详细的错误原因。

(特征量-权重列表9)

特征量-权重列表9将特征量与对特征量设定的权重相关联地存储。对特征量设定的权重是在选择画面500的特征量列表栏502中设定的权重。特征量-权重列表9中存储的权重根据与错误原因的关联性的高低来设定。该权重是在计算后述的有用度时使用的值。权重的默认值能够使用在其他地点调整后的值。

(模型生成部4)

模型生成部4生成学习多个特征量与错误的关系的模型A5a以及B5b。将以特征量组A生成部2a生成的特征量组A的特征量学习的模型设为模型A5a，将以特征量组B生成部2b生成的特征量组B的特征量学习的模型设为模型B5b。模型A5a以及B5b使用以随机森林(Random Forest)、梯度提升树(Gradient Boost Tree)等决策树为基础的算法或者神经网络等机器学习算法来构建。图6示出通过以决策树为基础的算法来构建模型的情况下的学习方法的图像。该模型是学习使用所输入的特征量组的各特征量对错误记录和正常记录进行分类的分类方法的模型。在图6中，示出了学习使用特征量A1和特征量A2对错误记录和正常记录进行分类的分类方法的例子。

(错误原因推定部6)

错误原因推定部6计算模型A5a和B5b的针对错误预测结果的各特征量的有用度，根据该有用度推定错误原因。错误原因推定部6基于特征量-错误原因列表8以及特征量-权重列表9，推定错误数据的错误原因。如图7所示，错误原因推定部6具备贡献度计算部11、提取部13、有用度计算部14以及错误原因取得部15。

(贡献度计算部11)

贡献度计算部11计算贡献度，该贡献度表示在模型A5a的学习中使用的特征量组A的各特征量对作为模型A5a的输出的错误预测结果的贡献程度。另外，贡献度计算部11计算表示在模型B5b的学习中使用的特征量组B的各特征量对作为模型B5b的输出的错误预测结果的贡献程度的贡献度。贡献度例如是在通过以决策树为基础的算法来构建模型的情况下，基于各特征量在模型内的分支中出现的个数、目标函数的改善值等而计算的变量重要度(Feature Importance)。另外，贡献度计算部11也可以使用针对SHAP(ShapleyAdditiveex Planations)等模型的灵敏度分析、特征量选择算法来计算贡献度。这样，贡献度计算部11计算模型A5a的学习中利用的特征量组A的各特征量的贡献度(以下，称为特征量组A的贡献度12a)，计算模型B5b的学习中利用的特征量组B的各特征量的贡献度(以下，称为特征量组B的贡献度12b)。

(提取部13)

提取部13基于由贡献度计算部11计算出的贡献度，提取一个或多个特征量。提取部13例如既可提取贡献度高的上位N个(N个为预先决定个数)特征量，也可提取具有预先决定的阈值以上的贡献度的特征量。由提取部13提取的特征量的组合与特征量组A及B的所属无关，例如也可能存在上位N个特征量全部属于特征量组A的情况。

(有用度计算部14)

有用度计算部14针对由提取部13提取出的各特征量，基于特征量的贡献度以及该特征量的权重来算出有用度。该有用度用于推定错误原因。如图8所示，有用度通过特征量的贡献度以及该特征量的权重w的相乘来计算。此外，有用度e基于特征量的贡献度/>以及该特征量的权重w来计算即可，其计算方法不限于特征量的贡献度/>以及该特征量的权重w的相乘。

(错误原因取得部15)

错误原因取得部15根据由有用度计算部14计算出的有用度来选择一个或多个特征量，取得对所选择的特征量标注的错误原因。错误原因取得部15例如参照特征量-错误原因列表8，取得对有用度最高的特征量标注的错误原因。另外，错误原因取得部15也可以取得对有用度高的上位M个(M个是预先决定的个数)特征量标注的错误原因。然后，错误原因取得部15将解析结果900发送到输出装置7。如图9所示，解析结果900包括所取得的错误原因901、有用度高的上位M个特征量902、这些特征量的贡献度903、以及按每个检查ID绘制了特征量(有用度最高的特征量)的图904。

(输出装置7)

输出装置7是显示装置，接收并显示错误原因取得部15发送的解析结果900。具体而言，如图9所示，输出装置7以用户能够识别的方式显示错误原因901、有用度高的上位M个特征量902、这些特征量的贡献度903、以及按每个检查ID绘制了特征量(有用度最高的特征量)的图904。另外，在错误原因取得部15取得对有用度高的上位M个特征量标注的错误原因的情况下，输出装置7也可以按照有用度顺序显示这些错误原因作为错误原因的候补。输出装置7可以是与错误原因推定装置100本地连接的装置，也可以是网络连接的装置。此外，贡献度903也可以是有用度。

(错误原因推定方法)

接下来，参照图10，对错误原因推定装置100执行的错误原因推定方法的详细情况进行说明。图10所示的流程图的各步骤由作为特征量组A生成部2a、特征量组B生成部2b、模型生成部4以及错误原因推定部6发挥功能的计算机系统200执行。此外，执行该错误原因推定方法的程序命令存储于非暂时性的计算机可读介质、例如存储装置204。

计算机系统200(特征量组A生成部2a、特征量组B生成部2b)生成包含由特征量列表A3a定义的特征量的特征量组A、以及包含由特征量列表B3b定义的特征量的特征量组B(S101[第一特征量生成处理以及第二特征量生成处理])。接着，计算机系统200(模型生成部4)生成以特征量组A的特征量学习的模型A5a以及以特征量组B的特征量学习的模型B5b(S102[模型生成处理])。然后，计算机系统200(贡献度计算部11)计算特征量组A的各特征量的贡献度以及特征量组B的各特征量的贡献度(S103[贡献度计算处理])。

接着，计算机系统200(提取部13)基于在S103中计算出的贡献度，提取一个或多个特征量(S104[提取处理])。接下来，计算机系统200(有用度计算部14)针对由提取部13提取出的各特征量计算有用度(S105[有用度计算处理])。有用度基于特征量的贡献度以及该特征量的权重来计算。然后，计算机系统200(错误原因取得部15)根据有用度选择一个或多个特征量，参照特征量-错误原因列表8，取得对所选择的特征量标注的错误原因(S106[错误原因取得处理])。计算机系统200将解析结果900发送到输出装置7。由此，输出装置7以用户能够识别的方式显示错误原因901、有用度高的上位M个特征量902、这些特征量的贡献度903、以及按每个检查ID绘制了特征量(有用度最高的特征量)的图904。

(实施例1的效果)

在准备标注有错误原因的多个错误数据并学习了这些错误数据与错误原因的关系的一般的分类模型中，无法应对错误的产生倾向持续或不连续地变化的数据漂移。因此，在实施例1中，参照特征量-错误原因列表8，取得对基于有用度选择出的特征量标注的错误原因。由此，即使发生了错误数据的趋势发生变化的数据漂移，通过向对错误做出反应的特征量标注错误原因，只要特征量不发生变化，就能够推定错误原因。

并且，在实施例1中，通过对特征量标注错误原因，与对错误数据标注错误原因的一般方法相比，能够大幅削减标注所需的工时。

另外，在实施例1中，通过准备存储标注有错误原因的特征量的特征量-错误原因列表8，能够根据基于有用度选择出的特征量容易地取得错误原因。

而且，在实施例1中，基于根据各特征量的贡献度与错误原因的关联性的高低而设定的特征量的权重，算出特征量的有用度。由此，为了确定错误原因，能够考虑根据与错误原因的关联性的高低而设定的权重，因此能够取得与错误原因的关联性高的错误原因，错误原因的推定精度提高。

另外，在实施例1中，通过算出提取部13提取出的特征量的有用度，与算出全部特征量的有用度的情况相比，能够降低有用度的算出所涉及的计算负荷。

如果针对多个错误原因共同反应的特征量混合，则有时在模型的学习中不使用有助于确定硬件起因错误、制程起因错误等错误原因的特征量。因此，在实施例1中，根据硬件起因错误、制程起因错误等想要捕捉的现象来划分要生成的特征量组，从而在模型的学习中使用有助于错误原因的确定的特征量。其结果，能够取得对该特征量标注的错误原因，因此错误原因的推定精度提高。

通过显示选择特征量组A生成部2a以及特征量组B生成部2b生成的特征量的选择画面500，工程师等能够从特征量的一览中选择认为与错误原因关联的特征量。其结果，能够事先排除认为与错误原因无关的特征量，因此错误原因的推定精度提高。

并且，在实施例1中，用户通过确认输出装置7显示的画面，能够掌握错误数据的错误原因。另外，用户通过确认有助于推定错误原因的特征量、趋势，能够确认提取出的特征量与错误的相关，能够确认推定出的错误原因的妥当性。由此，如果推定出的错误是制程起因错误，则用户能够以满意感实施制程的修正，如果是硬件起因错误，则用户能够以满意感实施装置的维护等应对。

另外，实施例1的模型A5a和B5b使用多个特征量来学习对错误记录和正常记录进行分类的阈值，从而能够容易地取得有助于输出错误测定结果的特征量。

另外，在实施例1中，通过使用与检查结果的偏差有关的指标作为特征量，即使产生了检查结果的数据漂移，只要与偏差有关的指标不受数据漂移的影响，就能够推定错误原因。

＜实施例2＞

参照图11～图13，说明实施例2的错误原因推定装置100。如图11所示，实施例1的错误原因推定装置100具备参照特征量-错误原因列表8以及特征量-错误原因列表8来取得错误原因的错误原因取得部15。另一方面，实施例2的错误原因推定装置100具备错误辞典22和参照错误辞典22来取得错误原因的错误原因取得部21。

接下来，参照图12，说明实施例2的错误原因推定装置100的错误原因推定方法。图12的S121～S125与实施例1的图10的S101～S105的处理相同，因此省略其说明。

错误原因取得部21从错误辞典22中检索与根据由有用度计算部14计算出的有用度选择出的特征量的组合一致或类似性高的特征量的组合，取得对该组合标注的错误原因(S126)。

在此，参照图13说明错误辞典22的数据结构。在错误辞典22的各行记录有标注了错误原因的特征量的组合。在图13中，用1表示与错误原因关联的特征量的值，用0表示与错误原因无关的特征量。另外，也可以根据重要度，以0～1的范围内的值来定义与错误原因相关的特征量。在该情况下，从错误辞典22中检索具有与特征量的有用度的值的类似性高的重要度的特征量的组合即可。作为该检索方法，例如能够使用协同过滤。错误原因取得部21取得对这样检索出的特征量的组合标注的错误原因。另外，这里取得的错误原因也可以取得类似度高的上位K个。

(实施例2的效果)

在实施例2中，通过参照存储标注了错误原因的特征量的组合的错误辞典，能够用于确定错误原因的信息增加。由此，如果是制程起因错误，则能够推定不适当的制程参数，另外，如果是硬件起因错误，则能够推定不良部位等更详细的错误原因。

＜实施例3＞

参照图14和图15说明实施例3的错误原因推定装置100。如图14所示，实施例3的错误原因推定装置100的模型生成部4与实施例1和2不同，具有错误概率推定部31和错误概率学习部32。

错误概率推定部31针对在解析对象数据1中未记录为错误的正常记录，推定是错误的概率。参照图14，说明推定正常记录的错误概率的方法。如图4所示，错误记录的错误概率为1.0。基于与特征量空间中的错误记录的位置关系来推定正常记录的错误概率。该错误概率例如能够根据像积极-无标签学习(Positive and Unlabeled Learning)那样预测是否分配了错误标签的模型来推定。

错误概率学习部32生成用于学习由错误概率推定部31推定出的错误概率的模型。推定该错误概率的推定模型使用以随机森林(Random Forest)、梯度增强树(GradientBoosting Tree)等决策树为基础的算法或神经网络(Neural Network)等机器学习算法来构建。

(实施例3的效果)

例如，CD-SEM(CD-SEM：Critical Dimension-Scanning Electron Microscope(临界尺寸扫描电子显微镜))的测定错误中，由于每次测定的装置动作的微小差异，即使是具有相同特征的数据，也会发生错误或不发生错误。当要针对这样的偶然发生的错误记录提高检测精度时，通过增加在学习中使用的特征量，为了将偶然发生的错误记录分离为错误记录，要学习新的检测规则。因此，在实施例3中，通过设为学习各记录的错误概率的模型，不需要识别偶发性的错误记录与正常记录的边界的模型化。由此，针对错误原因而关联低的特征量的学习被抑制，因此能够抑制模型的过度学习。其结果，有助于模型的泛化性能和错误原因的推定的特征量的提取精度提高，能够更高精度地推定错误原因。

＜实施例4＞

图16是表示用户对错误原因推定装置100的使用例的流程图。在实施例4中，参照图16，说明用户对错误原因推定装置100的使用例。

作为错误原因推定装置100的使用前的准备阶段，从蓄积有一个或多个半导体检查装置10的检查结果的数据库提取错误原因的解析对象数据1。作为解析对象数据1的提取方法，有产品名、制程名、指定它们的测定期间等。然后，将提取出的解析对象数据1输入到错误原因推定装置100，将错误原因推定装置100的解析结果900显示于输出装置7。

用户确认在输出装置7上显示的解析结果900(错误原因、有助于推定错误原因的特征量、特征量的趋势)(S161)。然后，用户确定输出装置7上显示的错误原因是否妥当(S162)。在判断为所显示的错误原因妥当的情况下(S162：是)，用户修正制程或执行装置的维护，以基于所显示的解析结果900消除错误原因(S163)。

在判断为所显示的错误原因不妥当的情况下(S162：否)，用户舍弃解析结果900(S164)。然后，用户调整与舍弃的解析结果900有关的特征量的权重，以便推定正确的错误原因(S165)。即，计算机系统200执行将被舍弃的解析结果900所涉及的特征量的权重调整得相对低的调整处理。该权重可以使用贝叶斯优化或元启发式算法等现有的优化算法自动调整，也可以在图5的选择画面中手动调整。另外，在如实施例2那样使用错误辞典的情况下，对存储于错误辞典的特征量的组合与由有用度计算部14计算出的有用度高的特征量的组合进行比较，调整为提高一致的特征量的权重，降低不一致的特征量的权重。这是因为可以判断与错误辞典不一致的特征量对于错误原因的推定不重要，并且与错误辞典一致的特征量对于错误原因的推定重要。权重的调整可以在每次废弃解析结果900时执行，也可以预先蓄积废弃的解析结果900，在任意的定时一并执行。

(实施例4的效果)

通过这样调整从用户舍弃的解析结果900所涉及的特征量的权重，能够与所使用的产品、制程相匹配地提高错误原因的推定精度。

＜变形例＞

本公开并不限定于上述的实施方式，包括各种变形例。例如，上述的实施方式是为了容易理解地说明本公开而详细地说明的实施方式，未必需要具备所说明的全部结构。另外，能够将某实施方式的一部分置换为其他实施方式的结构。另外，也可以在某实施方式的结构中添加其他实施方式的结构。另外，关于各实施方式的结构的一部分，也能够追加、删除或置换其他实施方式的结构的一部分。

例如，在上述的实施例1～实施例4中，对推定半导体检查装置10的错误原因的例子进行了说明，但也能够推定在半导体检查装置10以外的设备中产生的错误的错误原因。

另外，上述实施例1～实施例4的错误原因推定装置100具有两个特征量组A和B以及两个模型A5a和B5b，但错误原因推定装置100也可以是具有一个特征量组并且具有以该特征量组的特征量进行了学习的一个模型的装置。

另外，在上述的实施例1～实施例4中，取得了对基于有用度选择出的特征量标注的错误原因，但也可以取得对基于贡献度选择出的特征量标注的错误原因。

另外，在上述实施例1～实施例4中，计算由提取部13所提取的各特征量的有用度，但有用度计算部14也可以计算出所有特征量的有用度。在该情况下，错误原因取得部15参照特征量-错误原因列表8，根据计算出的有用度取得错误原因。

符号说明

1：解析对象数据

2a：特征量组A生成部

2b：特征量组B生成部

3：特征量列表存储部

3a：特征量列表A

3b：特征量列表B

4：模型生成部

5a：模型A

5b：模型B

6：错误原因推定部

7：输出装置

8：特征量-错误原因列表

9：特征量-权重列表

10：半导体检查装置

11：贡献度计算部

12a：特征量组A的贡献度

12b：特征量组B的贡献度

13：提取部

14：有用度计算部

15：错误原因取得部

21：错误原因取得部

22：错误辞典

31：错误概率推定部

32：错误概率学习部

100：错误原因推定装置。

Claims (19)

1.一种错误原因推定装置，其推定成为错误的检查结果的错误原因，其特征在于，

所述错误原因推定装置具备：计算机系统，其具有一个或多个处理器以及一个或多个存储器，

所述计算机系统执行如下处理：

第一特征量生成处理，对从检查装置收集到的包含所述检查结果的数据进行处理，生成多个特征量；

模型生成处理，生成对通过所述第一特征量生成处理生成的所述多个特征量与错误的关系进行学习的第一模型；

贡献度计算处理，针对在所述第一模型的学习中使用的所述多个特征量中的至少一个，计算表示对所述第一模型的输出做出贡献的程度的贡献度；以及

错误原因取得处理，取得对通过所述贡献度计算处理计算出的贡献度或基于根据所述贡献度计算出的有用度而选择的特征量或特征量的组合标注的错误原因。

2.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统具有：错误原因列表，其存储标注有所述错误原因的所述特征量，

在所述错误原因取得处理中，参照所述错误原因列表，取得对基于所述贡献度或所述有用度选择出的特征量标注的错误原因。

3.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统具有对所述特征量的组合标注了所述错误原因的辞典，

在所述错误原因取得处理中，参照所述辞典，取得对与基于所述贡献度或所述有用度选择出的特征量的组合一致或类似的组合标注的错误原因。

4.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统具有将所述多个特征量和对所述多个特征量分别设定的权重对应起来存储的所述权重列表，

所述计算机系统执行如下处理：根据针对所述特征量的所述贡献度和与该特征量对应起来存储的所述权重来计算所述有用度的有用度计算处理。

5.根据权利要求4所述的错误原因推定装置，其特征在于，

所述计算机系统执行如下的调整处理：在用户舍弃了通过所述错误原因取得处理取得的所述错误原因的情况下，将标注了所舍弃的所述错误原因的特征量的权重调整得较低。

6.根据权利要求4所述的错误原因推定装置，其特征在于，

所述计算机系统执行如下的提取处理：从所述多个特征量中提取所述贡献度较大的一个或多个特征量，

在所述有用度计算处理中，计算通过所述提取处理提取出的所述一个或多个特征量的有用度。

7.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统执行第二特征量生成处理，所述第二特征量生成处理对从所述检查装置收集到的包含所述检查结果的数据进行处理，生成与通过所述第一特征量生成处理生成的所述多个特征量不同的多个特征量，

在所述模型生成处理中，生成对通过所述第二特征量生成处理生成的所述多个特征量与错误的关系进行学习的第二模型，

在所述贡献度计算处理中，针对在所述第二模型的学习中使用的所述多个特征量中的至少一个，计算所述贡献度，

在所述错误原因取得处理中，取得对基于通过所述贡献度计算处理计算出的所述贡献度或所述有用度而选择的特征量或特征量的组合标注的错误原因。

8.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统执行从多个特征量中选择通过所述第一特征量生成处理生成的所述多个特征量的选择处理。

9.根据权利要求1所述的错误原因推定装置，其特征在于，

所述计算机系统执行显示控制处理，所述显示控制处理使显示部显示通过所述错误原因取得处理取得的错误原因、基于所述贡献度或所述有用度选择的所述特征量的列表、或所述特征量的趋势。

10.根据权利要求1所述的错误原因推定装置，其特征在于，

在所述模型生成处理中，生成对使用通过所述第一特征量生成处理生成的所述多个特征量对错误记录和正常记录进行分类的分类方法进行学习的模型。

11.根据权利要求1所述的错误原因推定装置，其特征在于，

在所述模型生成处理中，生成对基于所述多个特征量的特征量空间中的错误记录与正常记录的位置关系而推定出的各记录的错误概率进行学习的模型。

12.根据权利要求1所述的错误原因推定装置，其特征在于，

所述特征量是与检查结果的偏差相关的指标。

13.根据权利要求12所述的错误原因推定装置，其特征在于，

所述特征量是与同一装置内的检查结果的偏差有关的指标、与同一测定点处的检查结果的偏差有关的指标、与同一制程中的检查结果的偏差有关的指标、与同一晶圆内的检查结果的偏差有关的指标以及与使用了同一图案匹配用的参照图像的测定点处的检查结果的偏差有关的指标中的至少一个。

14.一种错误原因推定方法，推定成为错误的检查结果的错误原因，其特征在于，所述错误原因推定方法具有如下步骤：

对从检查装置收集到的包含所述检查结果的数据进行处理，生成多个特征量；

生成对所生成的所述多个特征量与错误的关系进行学习的第一模型；

针对在所述第一模型的学习中使用的所述多个特征量中的至少一个，计算表示对所述第一模型的输出贡献的程度的贡献度；以及

取得对基于计算出的贡献度或根据所述贡献度计算出的有用度而选择的特征量或特征量的组合标注的错误原因。

15.根据权利要求14所述的错误原因推定方法，其特征在于，

所述错误原因推定方法还具有提供存储标注有所述错误原因的所述特征量的错误原因列表的步骤，

取得所述错误原因的步骤包括：参照所述错误原因列表，取得对基于所述贡献度或所述有用度选择出的特征量标注的错误原因的步骤。

16.根据权利要求14所述的错误原因推定方法，其特征在于，

所述错误原因推定方法还具有：提供对所述特征量的组合标注了所述错误原因的辞典的步骤，

取得所述错误原因的步骤包括：参照所述辞典，取得对与基于所述贡献度或所述有用度选择出的特征量的组合一致或类似的组合标注的错误原因。

17.一种非暂时性的计算机可读介质，其存储执行推定成为错误的检查结果的错误原因的错误原因推定方法的程序命令，其特征在于，

所述错误原因推定方法具有如下步骤：

对从检查装置收集到的包含所述检查结果的数据进行处理，生成多个特征量；

生成对所生成的所述多个特征量与错误的关系进行学习的第一模型；

针对在所述第一模型的学习中使用的所述多个特征量中的至少一个，计算表示对所述第一模型的输出做出贡献的程度的贡献度；以及

取得对基于计算出的贡献度或根据所述贡献度计算出的有用度而选择的特征量或特征量的组合标注的错误原因。

18.根据权利要求17所述的计算机可读介质，其特征在于，

所述错误原因推定方法还具有如下步骤：提供对所述特征量标注了所述错误原因的错误原因列表，

取得所述错误原因的步骤包括：参照所述错误原因列表，取得对基于所述贡献度或所述有用度选择出的特征量标注的错误原因。

19.根据权利要求17所述的计算机可读介质，其特征在于，

所述错误原因推定方法还具有如下步骤：提供对所述特征量的组合标注了所述错误原因的辞典，

取得所述错误原因的步骤包括：参照所述辞典，取得对与基于所述贡献度或所述有用度选择出的特征量的组合一致或类似的组合标注的错误原因。