CN110023861B - 用于监控制造工厂的系统和方法 - Google Patents

Abstract

制造过程系统包括任何数量的组装站和测试站、模型单元，并且提供任何数量的最终产品。由模型单元执行的任何样本测试方法和统计分布监控方法被配置为在模型被部署之后监控模型质量并减少潜在的不必要成本，诸如由于向客户发送坏单元而导致的保修索赔成本，以及由于将好部件预测为坏部件并且在坏部件上浪费额外测试工作而导致的返工成本。此外，两种方法都被配置为最大化检测危险问题的概率，同时控制错误报警率。

Description

用于监控制造工厂的系统和方法

技术领域

本公开大体上涉及监控系统，并且更具体地，涉及用于监控制造工厂的系统和方法。

背景技术

除非本文另有说明，否则本部分中描述的材料不是本申请中的权利要求的现有技术并且不通过包括在本部分中被承认为现有技术。

发明内容

以下阐述本文公开的特定实施例的概述。应当理解，所提出的这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以包含可能未在下面阐述的各种方面。

本公开的实施例涉及用于监控制造过程系统的系统和方法。系统包括多个组装站和测试站。联接到多个测试站的模型单元被配置为通过组装站监控多个采样产品组装并触发关于事件的警报，其中，事件是制造关键质量值。例如，制造关键质量值包括模型退化、第一通过值、总废品率（overall scrap rate）、漏失废品率（missed scrap rate）、预测为坏物品的真实好物品的百分比中的至少一个。模型单元是计算机机器、客户端设备或服务器中的至少一个。

根据本公开的另一方面，由模型单元执行的监控制造过程系统的方法包括：识别待观察的真实废品的数量（N），从识别的N中识别待容许的错误分类的废品的数量（m），以及计算以下概率中的至少一个：在给定好模型的情况下，用于从N中观察错误预测的m的概率，定义为错误报警率；以及在给定坏模型的情况下，用于从N中观察错误预测的m的概率，定义为测试的效能（power of test）。该方法是由模型单元执行的采样测试方法。

附图说明

当参考附图阅读特定示例性实施例的以下详细描述时，将更好地理解本公开的这些和其它特征、方面和优点，在附图中，相同的标记在所有附图中表示相同的技术，其中：

图1是根据本公开的所述实施例的制造过程系统的简化框图。

图2是根据本公开的所述实施例的用于图1的制造过程系统的样本测试方法的简化示意图；以及

图3是根据本公开的所述实施例的用于由图1的制造过程系统的模型单元执行的样本测试方法的统计测试的简化图表。

具体实施方式

呈现以下描述以使得任何本领域技术人员能够制造和使用所描述的实施例，并且在特定应用及其要求的背景下提供以下描述。对于本领域技术人员来说，对所描述的实施例的各种修改是容易明白的，并且在不脱离所描述的实施例的精神和范围的情况下，本文限定的一般原理可以应用于其它实施例和应用。因此，所描述的实施例不限于所示的实施例，而是与符合本文公开的原理和特征的最宽范围相一致。

可以以最有助于理解所要求保护的主题的方式依次将各种操作描述为多个分离的动作或操作。然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别地，这些操作可以不按呈现的顺序执行。所描述的操作可以以与所描述的实施例不同的顺序执行。在附加的实施例中，可以执行各种附加操作和/或可以省略所描述的操作。

图1是根据本公开的所述实施例的制造过程系统100的简化框图。所提供的系统100是制造过程系统的一个示例，并且本文描述的实施例可以与任何类型的组装线（例如，用于汽车部件、汽车、飞机、重型装备等的组装线）一起使用并且不限于本文描述的示例。系统100包括任意数量的组装站102和测试站104、模型单元106和任何数量的最终产品108。组装站102用于将零件组装在一起并将它们转换成产品108。在测试站104处，通过采取产品108的一个或多个测量结果或值（属性）（例如，尺寸、形状、颜色、温度、位置等）来测试产品108。这些属性可以被用于确定产品108是通过还是不通过一个或多个核准度量标准（approval metric）。当属性不满足核准度量标准时，产品108未通过度量标准并且产品108可以被分类为“坏”或“废品”。相反，当属性满足核准度量标准时，产品108通过度量标准并且可以被分类为“好”。在一些实施例中，测量结果可以由制造过程系统100中包含的其它站收集，并且在一些实施例中，制造过程系统100包括多个测试阶段和相关站，并且线末端测试可以考虑由其它站收集的一个或更多属性、来自其它测试站的测试结果或其组合。模型单元106被配置为执行以下事项中的至少一个：（a）涉及模型退化的自动检测的统计模型监控；（b）顶级制造关键测量的同时监控；（c）不可接受的制造关键质量值的自动检测；（d）发生关键问题时的通知和警报发送；以及（e）依赖于获得一些真实标签来比较模型和基础过程的样本测试方法。统计模型监控方法和样本测试方法的细节将在下面进一步描述。

图2是根据本公开的所述实施例的用于图1的制造过程系统的样本测试方法200的简化示意图。样本测试方法200由图1的制造过程系统100的模型单元106执行，以用于将真实标签（例如好或废品）与采样产品或部件108的预测标签相比较。模型单元106可以是计算机机器、客户端设备、服务器、机器设备等。如果错误分类的部件或产品超过预定义的阈值，模型单元触发警报并引起目标注意。目标能够是组装工人、工厂工人、制造工人、利益相关者或其组合。方法200包括：接收任何数量的待测试的采样产品、接收生产量的值，以及接收特定组装线的废品率的值。方法200还包括在触发警报之前将阈值设置为用于测试的目的。例如，如果100个真实废品部件中的2个被预测为“好”部件，则模型单元108触发警报。在一些实施例中，方法200还可以包括设置其它参数，例如测试效能、错误报警率、制造关键测量等。测试效能，例如，包括在模型单元106停止工作时捕获采样的产品。错误报警率，例如，包括在模型仍在工作时错误拒绝模型的概率。制造关键测量，例如，包括在线末端（EOL）处完成的测量或由客户要求的测量。这些测量决定了产品的质量。最大偏差可以被设置为参数的一部分，并且最大偏差可以包括公差，在该公差内，这些EOL测试或客户委托的测试应该存在以用于确定具有好质量的产品。例如，测试效能能够被设置为高于90%并且错误报警率能够被设置为低于10%。如果制造关键测量是漏失的废品率并且在部署模型单元108之前已知漏失的废品率仅为0.5%，则当漏失的废品的值（例如，3%）在漏失的废品率之上或高于漏失的废品率时触发警报。在一些实施例中，警报能够通过控制或维持效能和错误报警概率来设置，以减少在制造关键测量期间将坏产品与好产品混合的结果中的任何差异。如图2中所图示的，混合的好产品和报废的坏产品最终被组装。与常规方法相对，由模型单元108执行的样本测试方法200从10个采样产品中识别七个真实的好产品，常规方法从10个采样产品中识别八个真实的好产品，其中，真实的好产品中的一个被错误地预测。

图3是根据本公开的所述实施例的用于由图1的制造过程系统100的模型单元108执行的样本测试方法200的统计测试程序300的简化图表。在执行样本测试方法200之前，统计测试程序300被限定，例如，需要从样本测试观察多少真实的废品（N），并且在N中，多少错误分类的废品（m）能够被容忍。例如，对于每个N和m对，执行函数中的至少一个或多个，该函数包括：a）在给定好模型的情况下，计算用于从N中观察错误预测的m的概率（例如，漏失的废品率为0.5%），定义为错误报警率；b）在给定坏模型的情况下，计算用于从N中观察错误预测的m的概率（例如，漏失的废品率为3%），定义为测试的效能；以及c）设置N-m对，使得例如，测试效能高于90%，例如，错误报警率低于10%，并且样本测试所需的时间能够被忽略。

替代地，由模型单元108执行的统计分布监控方法可以被用于监控来自统计测试程序的输出的经验累积分布函数（E-CDF）中的意外变化。鉴于统计测试程序是平稳的，E-CDF收敛于模型输出的理论CDF。量化两个概率分布之间的距离的示例测试，诸如非参数柯尔莫哥罗夫-斯米尔诺夫 （Kolmogorov-Smirnov）测试（KS测试），能够被用于跟踪E-CDF和理论CDF中的任何观察到的偏差。可以由制造过程系统100的领域专家选择可接受的阈值，超过该阈值，由统计分布方法检测到的预测标签的分布特性的任何变化都将触发报警。能够向诸如工厂用户的任何利益相关者提供关于模型退化或其它制造关键质量值的自动警报消息。例如，除了发送消息“模型警报”之外，制造过程系统100还能够提供关于第一通过率、总废品率、漏失的废品率、预测为坏的真正好部件的百分比等的数值。样本测试方法和统计分布监控方法两者均能够被用于下列事项中的任何一个中：（a）制造中的用于流数据的更新；（b）制造中的基于不确定性量化的质量监控；以及（c）基于不确定性量化的制造关键质量阈值的确定。这两种方法都允许利益相关者在模型被部署后监控模型质量并减少潜在的不必要成本，诸如由于向客户发送坏单元而导致的保修索赔成本，以及由于将好部件预测为坏部件并且在坏部件上浪费额外测试工作而导致的返工成本。此外，两种方法都最大化检测危险问题的概率，同时控制错误报警率。例如，一个危险的情况可能是，应该由移除过程捕获的所有坏部件，现在在没有那些测试站的情况下，被预测为好部件并被发送给客户。

已经通过示例示出了上述实施例，并且应该理解，这些实施例可以容许各种修改和替代形式。应进一步理解，权利要求不旨在限于所公开的特定形式，而是涵盖落入本公开的精神和范围的所有修改、等同物和替代物。

本公开的范围内的实施例还可以包括用于携带或使计算机可执行指令或数据结构存储在其上的非暂时性计算机可读存储介质或机器可读介质。这种非暂时性计算机可读存储介质或机器可读介质可以是能够由通用或专用计算机访问的任何可用介质。作为示例而非限制，这种非暂时性计算机可读存储介质或机器可读介质能够包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储设备，或者能够被用于携带或存储形式为计算机可执行指令或数据结构的所需程序代码工具的任何其它介质。以上的组合也应该被包括在非暂时性计算机可读存储介质或机器可读介质的范围内。

实施例还可以在分布式计算环境中被实践，其中，任务由通过通信网络链接（或者通过硬连线链路、无线链路，或者通过其组合）的本地和远程处理设备来执行。

计算机可执行指令包括，例如，导致通用计算机、专用计算机或专用处理设备执行特定功能或一组功能的指令和数据。计算机可执行指令还包括由计算机在独立或网络环境中执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。计算机可执行指令、相关数据结构和程序模块表示用于执行本文所公开的方法的步骤的程序代码工具的示例。这种可执行指令或相关数据结构的特定序列表示用于实现这些步骤中所描述的功能的对应动作的示例。

虽然已经参考各种实施例描述了本专利，但是应该理解，这些实施例是说明性的，并且本公开的范围不限于这些实施例。可以进行许多变型、修改、添加和改进。更一般地，已经在上下文或特定实施例中描述了根据本专利的实施例。功能可以在本公开的各种实施例中以块的方式被不同地分离或组合或者以不同的术语描述。这些和其它变型、修改、添加和改进可以落入如在所附权利要求中限定的本公开的范围内。

Claims (6)

1.一种制造过程系统，包括：

多个组装站和多个测试站；

联接到所述多个测试站的模型单元，所述模型单元被配置为监控通过所述组装站组装的多个采样产品并触发关于事件的警报，

其中所述模型单元被配置为：

识别待观察的真实废品的数量N；

识别待容许的从识别的N中错误分类的废品的数量m；以及

计算以下概率中的至少一个：

在给定好模型的情况下，用于从N中观察错误预测的m的概率，定义为错误报警率；和

在给定坏模型的情况下，用于从N中观察错误预测的m的概率，定义为测试的效能。

2.根据权利要求1所述的系统，其中，所述事件是制造关键质量值。

3.根据权利要求2所述的系统，其中，所述制造关键质量值包括模型退化、第一通过值、总废品率、漏失废品率、预测为坏物品的真实好物品的百分比中的至少一个。

4.根据权利要求1所述的系统，其中，所述模型单元是计算机机器、客户端设备或服务器中的至少一个。

5.一种监控制造过程系统的方法，所述方法由模型单元执行，所述方法包括：

识别待观察的真实废品的数量N；

识别待容许的从识别的N中错误分类的废品的数量m；以及

计算以下概率中的至少一个：

在给定好模型的情况下，用于从N中观察错误预测的m的概率，定义为错误报警率；和

在给定坏模型的情况下，用于从N中观察错误预测的m的概率，定义为测试的效能。

6.根据权利要求5所述的方法，其中，所述方法是由所述模型单元执行的采样测试方法。

Images