CN114730176A - 自动视觉检查站的离线故障排除和开发 - Google Patents

Abstract

在用于复制自动视觉检查(AVI)站的性能的方法中，构建执行该AVI站的一个或多个AVI功能的模拟AVI站。在由该AVI站的照射系统照射容器的同时由该AVI站的成像系统捕获一个或多个容器图像，并且由该模拟AVI站的模拟成像系统捕获一个或多个附加容器图像。该方法还包括：由一个或多个处理器识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异；由该一个或多个处理器生成该(这些)差异和/或用于修改该模拟AVI站的一个或多个建议的视觉指示；以及基于该视觉指示来修改该模拟AVI站。

Description

自动视觉检查站的离线故障排除和开发

技术领域

本申请总体上涉及用于药用产品或其他产品的自动视觉检查(AVI)系统，并且更具体地涉及用于执行AVI站的离线故障排除和/或开发的技术。

背景技术

在某些情况下(诸如制成的药物产品的质量控制程序)，有必要检查样品(例如，诸如注射器或小瓶等容器，和/或其内容物，诸如液体或冻干药物产品)的缺陷。在适用的质量标准下，特定样品的可接受性可能取决于诸如器皿缺陷(例如，缺口或裂纹)的类型和/或大小，或药物产品内不期望的颗粒(例如，纤维)的类型、数量和/或大小等指标。如果样品具有不可接受的指标，则其可能会被拒绝和/或丢弃。

为了处理通常与药品商业生产相关联的数量，缺陷检查任务已变得越来越自动化。此外，用于辅助自动缺陷检查的专用设备已经变得非常庞大、非常复杂且非常昂贵，并且需要大量人力和其他资源投资来鉴定和调试每条新产品线。仅作为一个示例，用于填充了药物的注射器的填充完成检查阶段的

296S商业生产线设备包括15个单独的视觉检查站和总共23个相机(即，每站有一个或两个相机)。总体而言，这种设备被设计为检测广泛的缺陷，包括诸如大裂纹或器皿封闭性等器皿完整性缺陷、诸如器皿表面上的划痕或污渍等美观性器皿缺陷、以及诸如液体颜色或异物颗粒的存在等与药物产品本身相关联的缺陷。

由于购买AVI生产线设备的附加件可能成本高昂，因此故障排除和新产品的表征活动通常必须在现场进行。因此，故障排除和新产品表征通常需要较长的停机时间，从而导致长期生产速率是次优的。

发明内容

本文描述的实施例涉及系统和方法，其中对“模拟”AVI站进行构建或升级以努力复制现有AVI站的性能，由此允许不干扰或在较小程度上干扰生产线操作的离线故障排除或新产品表征和/或鉴定工作。在一些实施例中，模拟AVI站是对现有商业生产线设备中的站(例如，生产线设备中的多个站中的一个站)的一个或多个AVI功能进行模拟的专用离线(例如，基于实验室的)站。在这样的实施例中，模拟AVI站可以用于针对商业生产线设备中的特定对应站的问题进行故障排除，或以其他方式改进该对应站的性能，而无需生产线设备的长时间关机。例如，可以对硬件部件(例如，照明装置、星轮等)、硬件布置(例如，样品与相机或照明装置之间的距离或角度、照明装置的配置等)和/或软件(例如，实施检查算法的代码)进行离线修改。一旦识别出适当的修改，便可以将商业生产线设备关机相对短的时间以便对原始AVI站实施这些改变，可能随后会进行某一量的现场鉴定工作。由于模拟AVI站是离线的，因此它提供了在实验室里而非在商业生产线设备上进行根本原因调查、配方开发和/或其他支持活动的机会。

在其他实施例中，模拟AVI站替代地是商业生产线设备的站，并且目标是模拟基于实验室的AVI站的特性/性能。在这样的实施例中，该基于实验室的AVI站可以用于表征和鉴定对新药物产品的检查，这以其他方式会/传统上会需要生产线设备的大量停机时间并阻止其同时用于其他药物产品。一旦识别出适当的硬件部件/配置和适当的软件，便可以将生产线设备关机相对短的时间以便实施这些改变(同样，可能随后会进行某一量的现场鉴定工作)。与前一实施例类似，这个实施例提供了在实验室里而非在商业生产线设备上进行配方开发、根本原因调查和/或其他支持活动的机会。

在这些实施例中的任一实施例中，适当类似的模拟AVI站的构建提出了重大挑战。特别地，重要的是，(多个)成像器(例如，(多个)相机、成像光学器件)、照射(例如，(多个)照明装置、环境/周围照明或反射)、相对几何结构(即，空间布置)、图像处理软件、计算机硬件和/或产品的机械移动(所有这些都可能影响检查性能)与正在再现的AVI站紧密地匹配。这是特别具有挑战性的，因为这些部件/特性中的许多部件/特性往往是任何给定AVI站所独有的。因此，在本披露的实施例中，稳健且可靠的过程用于尽可能紧密地(或像期望的那样紧密地)复制AVI站。

最初，可以使用各种合适技术中的任何一个来识别AVI站的部件/构造。例如，可以进行详细的手动拍照、3D扫描和测量。可替代地或另外地，三维计算机辅助设计(CAD)文件(例如，为矢量图形pdf或其他格式的分解技术图)可以用于这个目的。利用这种信息，可以获得和/或组装模拟AVI站的硬件，并将所述硬件放置在与原始AVI站(即，正在被模拟的站)相同的相对布置/几何结构中。3D扫描仪或其他设备/技术也可以用于重新创建AVI站。

本文披露的各种技术可以用于通过将由模拟AVI站捕获的样品(例如，容器)图像与由正在再现的AVI站捕获的样品图像进行比较来改进并验证所构建或部分地构建的模拟AVI站。从这个过程获得的反馈可以使得用户(例如，工程师)不仅能够确定模拟AVI站是否以与原始AVI站足够相似的方式表现，而且能够确定应修改模拟AVI站的哪些方面以便更好地复制原始AVI站的性能。

在一些实施例中，出于这个目的，图像比较软件工具执行比较，并生成对应输出。例如，该图像比较工具可以计算并向用户实时报告显著图像指标(例如，指示光强度、相机噪声、相机/样品对准、散焦、运动模糊等的指标)，从而为用户提供以相对快速的方式对模拟AVI站的可行性进行微调和评估的可靠过程。在一些实施例中，该图像比较工具生成基于指标的具体建议(例如，“减小相机与容器之间的距离”)，这些建议是显示给用户的。有利地，即使在原始AVI站和模拟AVI站位于远程位置时，该图像比较工具也可以实现AVI站性能的准确再现。也就是说，即使在难以或不可能精确再现硬件几何结构、计算机硬件和/或AVI站的其他方面的某些情况下，也可以充分地再现AVI站性能。该图像比较工具通常提供降低与人为错误和主观性相关联的风险的科学、可重复过程，并且因此更可能满足监管机构关于AVI站与对应模拟站之间的真正等效性的要求。

附图说明

技术人员将理解，本文描述的附图是出于说明的目的而包括的，而非限制本披露。附图不一定是按比例绘制，而是将重点放在说明本披露的原理上。应理解，在一些情况下，所描述的实施方式的各个方面可以被扩大或放大示出，以有助于理解所描述的实施方式。在附图中，贯穿各附图，相似的附图标记通常指代功能相似和/或结构相似的部件。

图1A和图1B描绘了用于通过构建和使用模拟AVI站对商业生产线设备的AVI站进行故障排除的示例过程。

图2描绘了通过模拟基于实验室的设定来开发用于商业生产线设备的AVI站中的AVI配方和/或硬件设定的示例过程。

图3是可以实施图1A和图1B的过程的示例系统的简化框图。

图4A至图4D描绘了可以模拟生产线设备的AVI站或用作生产线设备的AVI站的开发平台的示例基于实验室的设定、以及相关联容器图像。

图5描绘了可以模拟生产线设备的AVI站或用作生产线设备的AVI站的开发平台的另一示例基于实验室的设定。

图6描绘了可以用于促进模拟AVI站的构建或升级的示例图像比较工具。

图7描绘了可以由图6的图像比较工具实施的示例算法。

图8是用于复制基于实验室的或生产线设备的AVI站的性能的示例方法的流程图。

具体实施方式

以上介绍的以及在下文更详细地讨论的不同构思可以以多种方式中的任一种实施，并且所描述的构思不限于任何特定的实施方式。出于说明目的，提供了实施方式的示例。

图1A和图1B描绘了用于通过构建和使用模拟AVI站对商业生产线设备的自动视觉检查(AVI)站进行故障排除的示例过程100。首先参考图1A，在阶段102，包括一个或多个AVI站的商业生产线设备以正常/生产操作模式运行。例如，该商业生产线设备可以在“填充完成”阶段用于药用产品(例如，容纳液体药物产品的注射器或容纳冻干药物产品的玻璃小瓶)生产的质量控制。(多个)AVI站可以包括专用于容器检查(例如，注射器、小瓶等)的一个或多个站，和/或专用于样品检查(例如，检测和/或表征容器内的药物产品中的颗粒)的一个或多个站。例如，该商业生产线设备可以是将在下文参考图3更详细地讨论的商业生产线设备302。图1A和图1B中的从阶段102延伸到(下文讨论的)阶段142的顶部水平线/箭头表示使用商业生产线设备进行不中断的产品线检查。图1A和图1B的水平轴线通常表示时间，但未必按比例绘制，并且图1A和图1B未必(但可能)表示操作顺序(例如，阶段110可以发生在阶段122的第一次迭代之前或之后，等等)。

在阶段104，识别商业生产线设备内有问题的AVI站。例如，监测生产过程的个人可能观察到生产线设备的特定AVI站正在识别大量假阳性(例如，样品被生产线设备标记为有缺陷的，但经过更密切的手动或自动化检查被确定为可接受的)，和/或未能识别出有缺陷的样品。

在阶段110，操作员将用于有问题的AVI站的软件代码下载和/或安装到与基于实验室的设定(即，其将是模拟AVI站)相关联的计算系统。该代码可以直接从生产线设备传送，或可以以另一方式安装(例如，从便携式存储器装置或互联网下载等安装)。在一些实施例中，所安装的代码包括负责容器移动、图像捕获和图像处理的代码。例如，该代码可以控制在成像之前和/或期间摇动(例如，旋转、摇晃、颠倒等)容器的机构，在适当时间触发一个或多个相机，并处理相机图像以检测容器的缺陷(例如，裂纹、缺口)和/或内容物(例如，大纤维或其他外来物质)的缺陷。

在阶段112，生产线设备内有问题的AVI站捕获容器的一个或多个图像。取决于实施例和/或场景，阶段112可能需要或可能不需要对生产线设备的正常/生产操作的任何中断。例如，所捕获的图像可以是也在生产期间使用的图像。

在阶段114，对有问题的AVI站的硬件进行反向工程设计以启动模拟AVI站设定程序120。阶段114可以包括对有问题的AVI站的硬件部件(例如，相机、光学部件、照明装置、用于移动容器的机构等)、有问题的AVI站的硬件部件组装(例如，各种部件和子部件是如何组装的)、有问题的AVI站中的硬件部件的相对几何结构/布置(例如，容器相对于(多个)照明装置和(多个)相机的取向和距离)和/或有问题的AVI站的其他特性(例如，容器旋转速度等)进行反向工程设计。在一些实施例中，反向工程设计是纯手动的，并且涉及精确(例如，卡尺、直尺等)测量、可用示意图再审查等。3D扫描仪也可以用于准确地捕获AVI站的尺寸。在其他实施例中，例如，通过处理指示有问题的AVI站的尺寸(角度、距离等)的文件或图像来将反向工程设计的至少一部分自动化。

在阶段122的第一次迭代中，使用在阶段114获得的知识来构建模拟AVI站。该构建可以是部分地或完全地手动的。可以使用任何合适的制作技术(比如金属和塑料的CNC加工，和/或3D打印)来构建模拟AVI站的某些非电子硬件部件(例如，星轮等)。阶段122的第一次迭代还可以包括购买或以其他方式获得各种现成部件，比如相机、LED环或其他照明装置等。阶段122的第一次迭代还可以涉及设置各种软件参数以匹配在阶段112使用过的参数设置。例如，用户可以将容器旋转速度设置为等于当在阶段112捕获(多个)图像时生产线设备使用过的旋转速度设置。

在阶段124的第一次迭代中，在最初试图(在阶段122)复制有问题的AVI站之后，由模拟AVI站的一个或多个成像器(例如，相机)捕获容器的一个或多个图像。该容器应与在阶段112被成像的容器类型相同，并且实际上可以是相同容器。

在阶段126的第一次迭代中，图像比较工具确定在阶段112捕获的(多个)容器图像是否在某种可接受程度上与在阶段124的第一次迭代中捕获的(多个)容器图像匹配。为了做出这个确定，该图像比较工具可以为每个图像或图像集生成多个指标，并将这些指标进行比较以确定相似性的度量(例如，相似性得分)。例如，该图像比较工具可以生成与大小(例如，容器在图像内出现的有多大)、取向(例如，容器壁相对于图像的竖直轴线的角度)、光强度(例如，如由图像像素强度指示)、散焦、运动模糊和/或其他特性有关的指标。该图像比较工具还可以将来自阶段112的(多个)图像的对应指标与来自阶段124的(多个)图像的对应指标进行比较(例如，通过计算差值)。在下文参考图6和图7进一步详细地讨论示例指标。取决于实施例，在阶段126的确定可以由观察图像比较工具的输出的用户或者由该工具本身做出。

如果图像比较工具(或工具的用户)在阶段126的第一次迭代中确定图像或图像集不够相似，则在阶段122的第二次迭代中修改模拟AVI站。基于在阶段126的第一次迭代中的图像比较工具的输出，以聚焦方式进行在阶段122的第二次迭代中的修改。例如，如果图像比较工具指示在阶段124的第一次迭代中由模拟AVI站捕获的(多个)图像的光强度太低，则用户可以在阶段122的第二次迭代期间移动照明装置使其更靠近容器，或改变镜头光圈大小等。作为另一示例，如果图像比较工具指示在阶段124的第一次迭代中捕获的图像比在阶段112捕获的图像聚焦度低，则用户可以移动容器使其更靠近或更远离模拟AVI站的相机。在一些实施例中，图像比较工具处理经比较图像的指标以在阶段126提供建议，比如“移动照明装置使其更靠近容器”、“移动照明装置B使其更靠近容器”或“移动照明装置B使其向容器靠近3mm”等。

开发人员在阶段122的第二次迭代中进行(多个)修改之后，模拟AVI站在阶段124的第二次迭代中捕获一个或多个图像的新集合(例如，响应于用户的手动触发)，并且图像比较工具在阶段126的第二次迭代中将(多个)新图像与在阶段112捕获的图像(或可能与由有问题的AVI站捕获的新图像)进行比较。程序120(如图1A所示)内的循环可以针对任何次数的迭代继续，直到图像比较工具(或观察其输出的用户)在阶段126的迭代中确定模拟AVI站已足够准确地再现了有问题的AVI站的性能/特性，如通过由模拟AVI站捕获的(多个)图像与由生产线设备的有问题的AVI站捕获的(多个)图像之间的足够相似度所指示的。在一些场景中，即使硬件部件和/或几何结构存在巨大差异，也可以实现足够相似度。在其他场景中，足够相似度需要对硬件部件和几何结构的精确复制。

当实现足够相似度时，在过程130(如图1B所示)期间，模拟AVI站准备好用于故障排除能力。在示例过程130中，在阶段132的第一次迭代中，用户(例如，工程师)考虑/理论化对检查算法/配方的适当修改，和/或对硬件设定(例如，不同相机、镜头、照明装置类型等，和/或这样的装置/部件的不同布置和/或设置)的修改，以试图纠正在阶段104观察到的问题。此后，在阶段134的第一次迭代中，操作者根据在阶段132的第一次迭代中识别出的修改来修改硬件和/或代码。

在阶段136的第一次迭代中，模拟AVI站用于测试其性能是否令人满意，即，在阶段104观察到的问题是否已得到足够程度的纠正。例如，阶段136可以涉及将统计结果(例如，假阳性率等)与基于标准的要求进行比较。阶段136的每次迭代可能是时间密集型的和/或劳动密集型的，因为它可能需要大量图像和/或各种各样的容器/产品样品，以确定问题是否已经解决(例如，如果观察到的问题是低但仍可接受的假阳性率或假阴性率)。然而，时间投资可以是可接受的，因为它不需要中断商业生产线设备。

如果在阶段136未确定性能是令人满意的/可接受的，则重复过程130，在该过程中，在阶段132的第二次迭代中识别/理论化新修改。可以针对任何次数的迭代重复过程130而不会中断生产线设备的操作，直到在阶段136的迭代中确定性能是令人满意的/可接受的。此时，完成故障排除过程130，并且如果成功地执行了鉴定和调试活动(在阶段140)，则在阶段142，将在过程130期间做出的修改(即，如在阶段134的最终迭代之后在模拟AVI系统的最终状态中所反映的)应用于有问题的AVI站。虽然阶段142通常需要停止商业生产线设备的生产，以便进行来自过程130(并且也可能是对一些简短的鉴定/调试操作)的改变，但停机时间显著短于故障排除过程130替代地必须在有问题的AVI站本身上现场进行的情况的停机时间。在阶段142将改变应用于有问题的AVI站之后，生产(即，生产线设备的正常/生产操作)在阶段144恢复。

虽然已参考有问题的AVI站的故障排除描述了过程100，但应理解，过程100可以替代地用于改进已表现相当不错的AVI站(例如，进一步优化该AVI站的检查性能或使该AVI站更具成本效益等)。此外，虽然已参考药品生产线的填充完成阶段描述了过程100，但应理解，过程100可以替代地在不同阶段(例如，在装置组装之后检查产品时，或在检查产品的贴标签和/或包装时等)使用，和/或可以替代地在非药用情况(例如，具有相对严格质量标准的另一情况)下使用。

图1A和图1B描绘了用于通过构建和使用模拟AVI站对商业生产线设备的AVI站进行故障排除的过程100，而图2描绘了示例过程200，在该示例过程中，对商业生产线设备的AVI站进行升级以模拟基于实验室的AVI设定的性能。例如，图2的商业生产线设备包括一个或多个AVI站，并且可以是上文结合图1A和图1B或下文参考图3所讨论的任何类型的生产线设备(即，商业生产线设备302)。

在阶段202，商业生产线设备以正常/生产操作模式运行，例如，以进行特定药物产品(例如，填充了药物的注射器)的填充完成阶段检查。如上文结合图1A和图1B所讨论的，图2的过程200可以替代地应用于不同检查阶段(例如，装置组装、包装等)，和/或过程200可以在非药用情况下使用。图2中的从阶段202延伸到(下文讨论的)阶段220的顶部水平线/箭头表示使用商业生产线设备进行不中断的产品线检查。图2的水平轴线通常表示时间，但未必按比例绘制，并且图2未必(但可能)表示操作顺序(例如，阶段202可以在阶段204开始之前或之后开始)。

在阶段204，做出使商业生产线设备适用于新药物产品的填充完成检查的决策。出于各种原因，新产品可能需要对商业生产线设备的一个或多个AVI站进行定制修改。例如，新药物产品可能比先前产品透明度低(例如，需要更大的光强度进行成像)，或可能被放置到具有不同类型和/或区域的潜在缺陷的不同类型的容器中等。

接下来，在开发程序210中，使用基于实验室的设置来开发为新药物产品定制的AVI站。在开发程序210内，在阶段212，基于实验室的设定的成像系统(一个或多个相机和任何相关联的光学部件)捕获容器(例如，注射器或小瓶)中的被照射样品(例如，流体或冻干产品)的图像。

在阶段214，借助于所捕获的图像，基于实验室的设定的用户开发检查配方/算法，并调谐基于实验室的设定的各种参数，以努力实现期望的性能(例如，(多个)特定类型的缺陷的假阳性和/或假阴性小于阈值量)。经调谐“参数”可以包括软件、成像硬件、照明硬件和/或计算机硬件的任何设置、类型、位置和/或其他特性。例如，用户可以调整光强度设置、相机设置、相机镜头类型或其他光学部件、成像和照射系统的几何结构等。应理解，如本披露全文所使用的术语“用户”可以是指单个人或者两个或更多个人的团队。在一些场景中，用户可以在阶段214开发全新的软件算法。

在阶段216，用户执行表征和鉴定工作以确定如在阶段214开发/调谐的基于实验室的设定/站是否以令人满意的方式执行(例如，根据适用的规定)。如果否，则可以使用基于实验室的设定/站在阶段214的另一次迭代中进行进一步开发/调谐，这可能还需要在阶段212的另一次迭代中捕获附加图像。可以针对任何次数的迭代重复开发程序210的阶段212、214、216，直到在阶段216的表征/鉴定工作的结果被认为是令人满意的。

当结果被认为是令人满意的并且新产品准备进行商业规模的生产时，使商业生产线设备停机，并在阶段220更新生产线设备的AVI站的硬件和/或软件以便模拟基于实验室的设定的性能。虽然未在图2中明确示出，但阶段220内的模拟过程可以涉及与图1A的迭代设定程序120(即，阶段122、124、126)相似的程序，但由于已经存在AVI站正在更新的事实，阶段122的最初迭代(可能)不需要任何“构建”。实际上，在一些场景中，阶段122的第一次迭代可以完全跳过(即，如果开发人员相信现有AVI站已经与基于实验室的设定足够接近以直接进行到图像比较工具阶段)，并且仅针对以后的迭代执行。

还可能需要开发人员在阶段220(在基于图像比较工具而进行成功的更新之后)执行某种水平的现场鉴定工作，这会增加生产线设备的停机时间。然而，这种情况所需要的时间可能远少于在开发程序210期间的鉴定工作，并且在任何情况下，生产线设备停机时间由于开发工作(在程序210)离线发生的事实而大大减少。在阶段222，在成功鉴定之后，商业生产线设备恢复生产，但现在生产的是新产品。

在一些场景中，按顺序实施过程100和过程200两者。例如，如果确定生产线设备的AVI站正在生成不可接受数量的假阳性(即，在不存在重大缺陷的情况下标记这样的缺陷)，则可以使用过程100来构建和调谐模拟AVI站。此后，通过使用模拟AVI站，可以确定需要不同的硬件部件(例如，一个LED环形灯而非多个定向灯)。在鉴定了关于模拟AVI站的新设计之后，当对生产线设备中的AVI站进行升级时可以使用过程200，以确保升级的站与模拟站的性能精确地/足够地匹配。

图3是可以实施本文描述的技术的示例系统300的简化框图。具体来说，图3描绘了使用模拟AVI站来对商业生产线设备的AVI站进行故障排除的实施例。因此，例如，系统300可以实施和/或用于实施图1A和图1B的过程100。

如图3所示，系统300包括商业生产线设备302和模拟AVI站304。生产线设备302可以是具有N(N≥1)个AVI站310-1至310-N(也统称为AVI站310)的任何生产级设备。仅提供一个示例，生产线设备302可以是

296S生产线设备。在图3的示例中，生产线设备302的第i AVI站310-i需要故障排除(或可替代地，以优化为目标)，其中，i等于1、N或1到N之间的任何数。AVI站310中的每一个可以负责捕获要用于检查容器和/或容器内样品的不同方面的图像。例如，第一AVI站310-1可以捕获注射器或小瓶的俯视图的图像以检查是否有裂纹或缺口，第二AVI站310-2可以捕获侧视图图像以检查注射器或小瓶内容物(例如，流体或冻干药物产品)中是否有外来颗粒等。

图3以简化框图的形式示出了第i AVI站310-i的通常部件。特别地，AVI站310-i包括成像系统312、照射系统314和样品定位硬件316。应理解，其他AVI站310(如果有的话)可以是相似的，但可能具有不同的部件类型和配置，这对于每个给定站310的目的是适当的。

成像系统312包括一个或多个成像装置，并且可能包括相关联的光学部件(例如，附加透镜、镜子、滤光片等)，以捕获每个样品(例如，容器和药物产品)的图像。例如，这些成像装置可以是具有电荷耦合装置(CCD)传感器的相机。如本文所使用的，术语“相机”或“成像装置”可以是指任何合适类型的成像装置(例如，捕获人眼可见的频谱部分的相机、或红外相机等)。例如，照射系统314包括用于照射每个样品以进行成像的一个或多个照明装置，比如发光二极管(LED)阵列(例如，面板装置或环形装置)。

样品定位硬件316可以包括固持或以其他方式支撑样品的任何硬件，并且可能包括为AVI站310-i运送和/或以其他方式移动样品的硬件。例如，样品定位硬件316可以包括星轮、圆盘传送带、机械臂等。在一些实施例中，取决于AVI站310-i的功能，样品定位硬件316还包括用于摇动每个样品的硬件。例如，如果AVI站310-i检查液体内是否有外来颗粒，则样品定位硬件316可以包括转动/旋转、颠倒和/或摇晃每个样品的部件。

生产线设备302还包括处理单元320和存储器单元322。处理单元320可以包括一个或多个处理器，该一个或多个处理器中的每一个可以是可编程微处理器，该可编程微处理器执行存储在存储器单元322中的软件指令以执行如本文描述的生产线设备302的一些或全部软件控制的功能。可替代地或另外地，处理单元320中的一些处理器可以是其他类型的处理器(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，并且如本文描述的处理单元320的某个功能可以替代地以硬件实施。存储器单元322可以包括一个或多个易失性和/或非易失性存储器。存储器单元322中可以包括任何合适的一种或多种存储器类型，比如只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、固态驱动器(SSD)、硬盘驱动器(HDD)等。存储器单元322可以共同存储一个或多个软件应用程序、由这些应用程序接收/使用的数据以及由这些应用程序输出/生成的数据。

处理单元320和存储器单元322共同被配置为控制/自动化AVI站310的操作，并处理由AVI站310捕获/生成的图像以检测容器和/或容器内容物(例如，药物产品)中是否有相应类型的缺陷。在替代性实施例中，处理单元320和/或存储器单元322的功能分别分布在N个不同处理单元和/或存储器单元之间，这些处理单元和/或存储器单元各自是特定于AVI站310-1至310-N中的不同AVI站的。在又一实施例中，处理单元320和存储器单元322的某个功能(例如，用于样品的运送、摇动和/或成像)分布在AVI站310之间，而处理单元320和存储器单元322的其他功能(例如，用于处理样品图像以检测缺陷)由集中式处理单元执行。在一些实施例中，处理单元320和/或存储器单元322的至少一部分被包括在生产线设备302外部(并且可能距该生产线设备很远)的计算系统(例如，经专门编程的通用计算机)中。

存储器单元322存储由AVI站310捕获的样品(容器/产品)图像，并且还存储在由处理单元320执行时进行以下两个操作的AVI代码326：(1)使AVI站310捕获图像；以及(2)处理所捕获的图像以检测缺陷(例如，如上文所讨论的)。对于AVI站310-i，例如，AVI代码326包括在图3中表示为代码328的相应部分。作为一个实施例的示例，代码328可以触发成像系统312以在由照射系统314照射样品的同时捕获图像，并且可以控制样品定位硬件316以在适当时间将样品放置在正确位置中，并且可能在适当时间根据摇动曲线摇动样品。在捕获图像并将这些图像存储为图像324之后，代码328处理图像324以检测与站310-i相关联的特定类型的缺陷。如上所述，在一些实施例中，处理图像的代码328的部分可以与控制成像、摇动等的代码328的部分由不同的处理器、部件和/或装置执行。

模拟AVI站304可以是被构建以试图复制(在足够程度上)特定AVI站310-i的性能(例如，响应于了解到AVI站310-i具有不可接受的假阳性或假阴性水平)的基于实验室的设定。模拟AVI站304包括模拟成像系统332、模拟照射系统334和模拟样品定位硬件336。模拟成像系统332包括用于捕获每个样品(例如，容器和药物产品)的图像的一个或多个成像装置(并且可能包括相关联的光学部件)，模拟照射系统334包括用于照射每个样品进行成像的一个或多个照明装置，并且样品定位硬件316包括固持或以其他方式支撑样品的硬件，且可能包括运送和/或以其他方式移动样品的硬件。

理想地，模拟成像系统332、模拟照射系统334和模拟样品定位硬件336将分别完美地复制AVI站310-i的成像系统312、照射系统314和样品定位硬件316。更重要的是，模拟AVI站304作为整体将理想地复制AVI站310-i的性能。然而，在现实世界中，性能的精确匹配是非常难实现的。如上文结合图1A所述，可以使用各种手动和/或自动化反向工程设计技术来构建最初具有与AVI站310-i的性能“接近”的性能的模拟AVI站304(例如，在阶段122)。

在最初构建模拟AVI站104之后，如上文参考图1A的阶段126所讨论的，可以使用软件来促进模拟AVI站304的微调以改进性能匹配。为此，模拟AVI站304耦合到计算系统340(例如，专门编程的通用计算机)，该计算系统包括处理单元342和存储器单元344。计算系统340可以与模拟AVI站304分开或成一整体，并且靠近或远离模拟AVI站304。在一些实施例中，例如，计算系统(或其一部分)经由互联网链路从模拟AVI站304接收图像。

处理单元342可以包括一个或多个处理器，该一个或多个处理器中的每一个可以是可编程微处理器，该可编程微处理器执行存储在存储器单元344中的软件指令以执行如本文描述的计算系统340的一些或全部软件控制的功能。可替代地或另外地，处理单元342中的一些处理器可以是其他类型的处理器(例如，ASIC、FPGA等)，并且如本文描述的处理单元342的某个功能可以替代地以硬件实施。存储器单元344可以包括一个或多个易失性和/或非易失性存储器。存储器单元344中可以包括任何合适的一种或多种存储器类型，比如ROM、RAM、闪速存储器、SSD、HDD等。存储器单元344可以共同存储一个或多个软件应用程序、由这些应用程序接收/使用的数据以及由这些应用程序输出/生成的数据。

存储器单元344存储由模拟成像系统332捕获的图像346以及由AVI站310-i的成像系统312捕获的图像348。存储器单元344还存储图像比较工具(ICT)350和AVI代码352。通常，图像比较工具350促进调谐模拟AVI站304的过程，使得其性能匹配AVI站310-i(例如，如在上文结合阶段126并在下文结合图6和图7所讨论的)，并且AVI代码352用于在故障排除或优化过程期间控制所构建和调谐的模拟AVI站304。例如，AVI代码352可以是代码328的完美(或非常接近)副本，并且可以从生产线设备302、从便携式存储器装置、从互联网或从另一合适的源下载或上传。在其他实施例中，AVI代码352仅包括代码328的一部分(例如，不包括用于控制运送样品往返于适当成像位置的部分)。

计算系统340耦合到输出单元360，该输出单元可以是任何类型的视觉和/或音频输出装置(例如，计算系统340的计算机监视器、触摸屏或其他显示器和/或扬声器，或者具有显示器和/或扬声器并耦合到计算系统340的单独计算装置等)。图像比较工具350和AVI代码352可以使输出单元360向模拟AVI站304的开发人员或用户提供各种视觉和/或音频输出。例如，图像比较工具350可以使输出单元360显示表示图像346与图像348之间的差异的各种指标(如下文进一步讨论的)，并且AVI代码352可以使输出单元360显示比如特定样品是否有缺陷的指示符等信息。

虽然图3描绘了使用模拟AVI站(站304)来对商业生产线设备的AVI站(生产线设备302的站310-i)进行故障排除的实施例，但应理解，可以将相似部件用于其中更新/修改商业生产线设备的AVI站以复制基于实验室的设定/站的性能(例如，如在图2的过程200中)的实施例。在这样的实施例中，第i AVI站310-i是对AVI站304进行模拟的“模拟”站(即，基于实验室的设定)。此外，在这样的实施例中，图像比较工具350可以替代地驻留在生产线设备302的存储器322中。可替代地，图像比较工具350可以保留在计算系统340中。

在一些实施例中，系统300提供对远程站点(例如，全球制造站点)的访问，以使得远处的用户能够直接访问基于实验室的设定，而不管相应实验室和制造位置如何。这样的方法使得能够跨网络在站点/用户之间进行实时协作，并且使得故障排除和/或开发支持能够位于集中式全球设施处，例如，同时仍利用位于各地的个人(工程师等)的专业知识。因此，网络化方法可以带来更高效的组织结构。

图4和图5描绘了示例基于实验室的设定，这些基于实验室的设定中的任一者可以是图3的模拟AVI站304(例如，过程100的模拟AVI站)或可替代地是用作开发平台的基于实验室的AVI站(例如，在过程200中使用的基于实验室的设定)。应理解，这些基于实验室的设定/站仅仅是说明性的，并且存在几乎无限数量的替代类型和配置。

首先参考图4A，例如，可以使用第一基于实验室的设定400来检查容器的顶部(例如，填充有液体药物产品的注射器的顶部)是否有缺陷(例如，裂纹、缺口等)。设定400包括用于对容器进行成像的相机402，以及用于照射每个容器同时对该容器进行成像的LED环404。样品定位硬件406包括平台406A以及安装在平台406A上的星轮406B。相机402和LED环404还可以安装(直接或间接)在平台406A上。星轮406B可以将容器(例如，注射器)固持在沿着星轮406B的周边的配件中，并且星轮406B相对于平台406A旋转以使每个容器移动到成像位置中(即，在LED环404内居中，并在相机402正下方)。然而，在一些实施例和/或场景中，唯一重要的是，设定400匹配或紧密地接近生产线设备的AVI站在对单个容器进行成像的特性(例如，照明、光学等)，而非能够对多个连续容器进行顺序地成像。因此，在一些实施例中，即使正在模拟的AVI站(或正在进行开发活动的AVI站)需要这样的硬件或功能，星轮406B也不需要被设计成固持多个容器或旋转。

图4B针对设定400(和生产线设备的对应AVI站)捕获注射器的俯视图图像以便检测注射器凸缘上的缺陷的实施例描绘了可以由设定400捕获的示例图像450。如该示例所示，这些缺陷可以包括注射器凸缘上的缺口以及裂纹的各种位置和大小。

图4C描绘了表示由生产线设备的AVI站(例如，图3的AVI站310-i)捕获的图像的示例图像460，而图4D描绘了表示在成功进行故障排除之后由模拟AVI站(例如，设定400)捕获的图像的示例图像470。在该示例中，生产线设备AVI站可能具有由于在图像460所示的光反射而产生的不可接受的高假阳性率，并且在故障排除期间的修改(例如，从另一类型的照明装置改变为LED环，或改变相机或(多个)照明装置相对于容器的取向等)使反射大量减少，如图像470所示的。与光反射有关的伪影的减少可以降低缺陷被遮盖的可能性，和/或降低反射被错误地解释为缺陷的可能性。

现在参考图5的示例，例如，基于实验室的设定500可以用于从侧视图(例如，填充有液体药物产品的注射器的侧面)检查注射器是否有缺陷(例如，在容器注射器的侧壁中的裂纹、缺口、污渍等，和/或在药物产品内的不可接受类型和/或数量的颗粒)。设定500包括用于对容器进行成像的相机502，以及用于在对该容器进行成像的同时从后面照射每个容器的LED背光504。样品定位硬件包括圆盘传送带506，该圆盘传送带固持多个注射器，并将单个注射器定位在相机502与LED背光504之间。圆盘传送带506可以旋转以将每个注射器移动到成像位置中。如上所述，在一些实施例和/或场景中，唯一重要的是，设定500匹配或紧密地接近生产线设备的AVI站在对给定样品进行成像而非具有对多个连续样品进行顺序地成像的相同能力方面的特性。因此，在一些实施例中，即使正在模拟的AVI站(或正在进行开发活动的AVI站)需要这样的硬件或功能，圆盘传送带506也不需要被设计成固持多个注射器或旋转。

图6描绘了可以用于促进模拟AVI站(例如，在图1的过程100中的基于实验室的设定、图2中的过程200的生产线设备的AVI站或图3的模拟AVI站304)的构建和/或升级的示例图像比较工具600(例如，图3的图像比较工具350)。如图6所示，图像比较工具600接收原始图像602和模拟图像604，其中，原始图像602可以是由生产线设备的AVI站捕获的图像并且模拟图像604可以是由基于实验室的设定捕获的图像，或反之亦然，这取决于正在实施的是过程100还是过程200。在一些实施例中，假设图像602、604使用无损图像压缩格式。

图像比较工具600包括指标生成单元612和反馈单元614。指标生成单元612处理图像602和图像604，并生成/计算指示图像602、604的特性的指标，并且基于这些指标来计算指示图像602、604之间的差异的一个或多个附加指标。在一些实施例中，指标生成单元612在逐图像基础上计算(多个)指标，即，通过将原始图像602中的单个原始图像与模拟图像604中的单个模拟图像进行比较。在其他实施例中，指标生成单元612基于多个原始图像602和多个模拟图像604的集合来计算该(这些)指标中的每个指标。例如，可能在应用对准技术之后，原始图像602的一组x个图像(x>1)可以被平均或彼此叠加，并且模拟图像604的一组x个图像可以被平均或彼此叠加。例如，这样的方法可以减少离群值图像的影响。可以由例如实施图像比较工具600的相同计算装置或处理器或者由另一装置或处理器执行平均/叠加/对准。在替代性实施例(例如，如果使用行扫描相机)中，在单元612计算任何指标(例如，在使每个容器旋转以获得容器的360度视图的实施例中)之前，将原始图像602的x个图像拼接在一起，并且将模拟图像604的x个图像拼接在一起。图像602和604的其他预处理也是可能的(例如，跨所有x个图像生成其中每个像素具有该像素位置的最大强度的图像等)。为了便于解释，图6的其余描述和图7的描述仅提及一个原始图像602和一个模拟图像604。然而，应理解，以上变化或其他合适的变化是可能的。在下文参考图7讨论指标生成单元612可以计算的指标的一些具体示例。

基于由指标生成单元612生成的(多个)差异指标，反馈单元614使一个或多个输出以视觉和/或音频格式呈现给用户(例如，工程师、开发人员、技术人员等)。例如，这些输出可以由图3的输出单元360生成(例如，显示和/或发出)。在一些实施例中，反馈单元614仅仅向用户呈现(例如，在图形用户界面(GUI)上)(多个)所生成的指标。例如，反馈单元614可以使强度水平指标、图像散焦指标和/或其他指标显示给用户。

在其他实施例中，反馈单元614替代地或另外地基于该(这些)指标中的一个或多个来生成一个或多个用户建议。例如，反馈单元614可以用于生成移动相机、移动照明装置、改变光强度、改变相机设置等的建议。在下文参考图7讨论其他示例建议。

在一些实施例中，当模拟图像604由模拟AVI站的成像系统(例如，由模拟成像系统332)捕获时，和/或当模拟图像604由实施图像比较工具600的装置或系统(例如，由计算系统340)接收时，指标生成单元612和反馈单元614基本上实时操作。因此，例如，用户可能能够通过选择呈现在输出单元360上的GUI上的交互控件来捕获模拟站图像，并且然后几乎立即查看由指标生成单元312和/或反馈单元314生成的对应指标和/或建议。以这种方式，用户可以快速地经历修改模拟AVI站(例如，稍稍调整部件位置、设置等)并观察修改对模拟AVI站的性能的影响(即，修改可以如何使模拟AVI站更靠近或更远离原始AVI站的性能)的迭代。

例如，图7描绘了可以由图6的图像比较工具600(并且更具体来说，由指标生成单元612)实施的示例算法700。如图7所示，算法700接受单个原始图像702(例如，图像602中的一个图像)和单个模拟图像704(例如，图像704中的一个图像)作为输入。如上所述，在一些实施例中，这些“单个”图像可以是多个图像的合成(例如，平均)。在一个实施例中，算法700是使用OpenCV库以Python代码实施的。

在阶段712，算法700确定原始图像702和模拟图像704的一个或多个总图像参数(P1至Pj，其中，j≥1)，并将这些参数进行比较以检查一致性。例如，这些总图像参数可以表示相对基础的图像参数，比如图像大小、图像分辨率、颜色深度和/或图像文件格式。例如，图像比较工具600可以使用被输入到原始和模拟AVI站的各种硬件部件(例如，相机)或由这些硬件部件生成的配置文件确定总图像参数。算法700可以使GUI(例如，由图3的输出单元360显示)指示总图像参数的任何差异。因此，例如，用户可能能够容易地检测到原始AVI站中的相机(或后续处理)何时以某种方式(例如，裁剪、格式转换、重新调整大小等)更改所捕获的图像，并且可以手动地重新配置模拟AVI站以再现这些图像处理操作。

在阶段714A和714B，算法700分别计算原始图像702和模拟图像704的一个或多个指标(C1至Ck，其中，k≥1)。阶段714A和714B可以假设图像702、704的总图像参数是相同的。这些指标可以表示与检查准确性相关或可能相关的任何图像特性。算法700还包括指示两个图像702、704的对应指标之间的差的指标(在图7中表示为ΔC1至ΔCk)。该算法可以例如通过简单的减法(例如，其中，ΔC1等于图像702的C1与图像704的C1之间的差的绝对值等)或使用其他技术(例如，逐元素减法、点积等)来计算一些或全部差。

作为一个示例，这些指标可以包括一个或多个光强度指标。取决于实施例，可以以一种或多种方式测量光强度。例如，对于图像702、704中的每一个，算法700可以对所有像素的强度值求平均以生成平均值，并对图像702、704的平均值进行比较(例如，做减法)。作为另一示例，算法700可以生成图像702、704中的每一个的像素强度直方图，并且然后使用已知技术来对这些直方图进行数学比较。可以使用并提供反映直方图之间的差异的单值输出的一些技术包括巴塔恰里雅距离法、相关法、卡方法和相交法。要使用的最佳技术可以取决于所考虑的图像的性质。基于直方图的强度分析允许算法700考虑到每个图像内的动态强度范围(即，最小强度值与最大强度值之间的展度)。

对于复杂的图像，强度指标(比如上文所讨论的强度指标)可能是不够的，因为不均匀的照明可能会不成比例地从容器的小平面的子集和其直接环境反射开。此外，由于环境照射(例如，来自窗或荧光吸顶灯)不均匀而产生的粗糙效果可能导致跨图像的大波长、平缓强度变化。在一些实施例中，算法700使用低通频率滤波器来捕获此类变化。此外或可替代地，算法700可以计算关于图像702、704中的每一个的快速傅里叶变换(FFT)，并处理对应FFT输出以确定频率内容是否针对图像702、704相似地分布。

作为另一示例，这些指标可以包括指示图像散焦的一个或多个指标。例如，算法700可以计算图像702、704中的每一个的拉普拉斯算子，以生成可以易于比较的单值参数。例如，如果算法700使用OpenCV库被实施为Python代码，则可以针对图像702、704中的每一个将散焦计算为：

Defocus＝cv2.Laplacian(image,cv2.CV_64F).var()

拉普拉斯算子指标还可以指示被成像容器/样品相对于(多个)成像相机的运动。在商业AVI系统中，使样品相对于检查站快速移动是常见的。为了实现清晰成像，例如，商业系统通常会采用短相机曝光时间、照射灯的频闪、用于跟踪零件的成像部件的运动或这些特征中的一个或多个特征的组合。如果模拟AVI站的这些特征中的一个或多个与原始AVI站的不匹配，则可能会出现一定程度的运动模糊或图像拖尾。结果与散焦相似，但具有定向分量。因此，使用拉普拉斯算子技术计算的指标也可以指示运动。除拉普拉斯算子之外，还可以使用比如Sobel或Prewitt的一阶滤波器来获得关于图像清晰度的附加信息。

作为另一示例，这些指标可以包括指示相机噪声的一个或多个指标。对于现代数字工业相机，噪声仅可能发生在传感器本身中。一旦信号被数字化，它通常就不再容易受到损坏。由于在建立模拟AVI站时相机的品牌和型号在一些情况下可以很容易匹配，因此噪声水平可以是相似的。作为示例，对于特定相机品牌和型号，8位灰度图像中的给定像素上的累积噪声水平可以在0至255的动态范围之中的0至10的范围内。这使得在室温下的噪声对于大多数AVI应用来说是可忽略的。然而，可以想象，在一些情况下，相机噪声水平会影响检查性能，和/或由于过时而无法找到并使用相机型号。对于数字图像，相机噪声通常本质上是高频的。因此，算法700可以通过以下方式生成指示相机噪声的指标：计算关于图像702、704中的每一个的FFT，并处理FFT输出以生成指示高频分量的水平或相对水平的指标。

作为另一示例，这些指标可以包括指示被成像容器(以及可能其他被成像对象，比如样品定位硬件的一部分)的对准和比例缩放的一个或多个指标。例如，算法700可以确定被成像容器的相对旋转(例如，被成像容器的竖直壁相对于图像本身的竖直或水平轴线(即，相对于由相机框架确立的轴线)的角度)以及横向和/或比例深度偏移/移位(例如，基于如以像素为单位测量的长度和/或宽度来确定的)。

在阶段716，算法700基于在阶段714A和714B计算的指标来生成图像对702、704的加权比较得分。特别地，在该示例中，算法700将得分计算为SCORE＝(W1*ΔC1)+(W2*ΔC2)+…+(Wk*ΔCk)，其中，(如上所述)ΔCi是与两个图像702、704的Ci相对应的差指示符。权重W1、W2、…Wk可以表示实现每个指标的相似性的重要性，具体来说是关于哪些指标对于实现等效AVI检查性能更重要或不重要。这些权重在某种程度上可能是特定于应用的。在一些实施例或场景中，例如，像素强度水平可以比散焦更重要，并且因此强度差的权重可以比拉普拉斯算子标量值的差(或指示散焦的其他指标)重。

如上文结合图6所述，图像比较工具600可以使输出单元360实时显示一些或全部的所计算指标(例如，仅差指标ΔC1至ΔCk，或仅超过对应阈值的差指标等)。可替代地或另外地，工具600可以使输出单元360显示在阶段716生成的得分。在得分被计算和示出并被认为是足够的(例如，高于某一预定阈值)的实施例中，工程师或其他用户可以决定模拟AVI站与原始AVI站充分匹配，并且继续使用模拟AVI站来进行故障排除和/或优化。

如果得分不够，或如果未呈现得分并且个别指标似乎不够接近，则用户可以分析所显示的指标以便根据需要“稍稍调整”模拟AVI站以实现更好的匹配。例如，如果指标示出了模拟图像704作为整体相对于原始图像702较暗淡(例如，具有低平均强度)，则用户可能检查照明或相机装置设置(例如，光强度设置、镜头光圈设置、相机增益设置、相机曝光时间设置等)，和/或移动照明装置使其更靠近样品等。

存在与照射源相关联的可能影响图像像素的强度的多个方面。通常，在典型AVI应用中，影响在整个图像中可能是宏观的。通常将高端工业LED用于现代AVI站。当建立模拟AVI站时，如果LED源未放置在距容器的正确距离处，则强度可能下降。强度随着与源的距离的平方而下降，并且因此定位的适度差异可能对最终图像具有可检测到的影响。一旦设置了其相对于容器的位置，LED源的亮度便仍可以由于电力供应而变化。一旦排除了所有其他因素，图像比较工具600就可以实时用于微调LED源的功率和后续亮度。图像处理技术(比如上文的图像处理技术)提供了比在AVI应用中使用照度计测量光源亮度的常规方法更精确且更细致的解决方案。

如镜头等一些光学部件可以包括手动光圈或还可能影响总体图像强度(以及可能其他图像特性，比如影响图像清晰度的光圈设置)的其他部件。这些通常是镜头上的手动刻度盘或螺旋体，没有数字反馈。在一些情况下，这些部件还缺乏任何种类的可见梯度或刻度。远心镜头通常用在工厂自动化检查站中以实现产品的高保真度图像。这些镜头含有针孔光圈，在一些型号中可以手动地调整这些针孔光圈的大小。这对允许通过镜头的光量有影响，而且对图像的清晰度有特性影响。因此，通过考虑并组合两个因素，观察指标的用户可以恰当地设置与强度相关联的镜头特性。

跨图像的大幅、均匀强度下降还可以指示跨照射源(比如偏光器或漫射器)或在相机(比如替代性偏光器或波长滤波器)前面的不正确滤波器放置。因此，当观察到图像强度的巨大差时，用户可以尝试调整滤波器放置。

作为另一示例，检查图像702、704的强度直方图和/或低通频率滤波的输出的用户可以确定图像702、704之间是否存在强度的显著局部差。如果确实存在局部差，则用户可以尝试通过研究图像702、704以及直方图和/或其他指标来识别和移除这些局部差的来源。

作为另一示例，如果指标表明了模拟图像704中的容器相对于原始图像702中的容器是不对准的和/或不适当地按比例缩放的，则用户可以调整容器和/或相机的对准(例如，角度或旋转)、容器与相机之间的距离、相机的变焦水平(例如，镜头类型或数字变焦设置)等。

作为另一示例，如果指标(例如，标量拉普拉斯算子输出的差)示出了图像702、704中的一个图像相对于另一图像的散焦，则用户可以调整容器与相机之间的距离、电机速度、相机曝光时间等。在检查应用中经常使用的种类的远心镜头通常具有非常短的景深，使得镜头和容器的相对放置的小误差可能导致图像模糊。因此，即使小距离差也可能对散焦具有很大影响。此外，如上文所讨论的，这些镜头中的一些镜头具有可变针孔光圈，该可变针孔光圈在设置不当的情况下也可能导致图像模糊。因此，如果指标指示散焦差，则用户也可以调整该光圈。

其他指标可以引导用户调整模拟AVI站的这些和/或其他方面，例如，以实现图像中的杂散反射、图像中存在的关键对象、图像动态范围、图像漂白、图像对比度等的更好匹配。

在一些实施例中，如上所述，图像比较工具600基于这些指标来生成一个或多个建议。因此，例如，图像比较工具600可以使输出单元360显示(和/或生成计算机语音消息从而描述)上文讨论的补救技术中的任一种(例如，如果反映图像702、704的强度和/或散焦差的指标高于阈值水平等，则增加或减小相机与容器之间的距离，并且可能增加或减小镜头光圈等)。

图8是用于复制AVI站(例如，在故障排除场景中的AVI站310-i，或用于开发的基于实验室的设定等)的性能的示例方法800的流程图。在方法800中，在框802处，构建执行原始AVI站的一个或多个AVI功能的模拟AVI站(例如，在故障排除场景中的模拟AVI站304，或AVI站310-i等)。可以通过对原始AVI站进行反向工程设计手动地执行框802。然而，在一些实施例中，框802包括使用软件来辅助反向工程设计过程(例如，通过解译CAD文件或3D扫描仪的输出)。例如，框802可以包括阶段122的第一次迭代。

在框804处，由原始AVI站的成像系统(例如，单个相机)捕获一个或多个容器图像(即，在原始AVI站内的适当成像位置处的容器的图像)。在框806处，由模拟AVI站的成像系统(例如，相同类型的单个相机)捕获一个或多个附加容器图像。例如，框804和框806可以分别与过程100的阶段112和124相似。

此后，在框808处，识别由原始AVI站捕获的(多个)容器图像与由模拟AVI站捕获的(多个)容器图像之间的一个或多个差异。可以由执行图像比较工具(例如，工具350)的处理单元(例如，处理单元342)执行框808。例如，该图像比较工具可以在框808处生成反映这些差异的一个或多个指标。例如，框808可以包括算法700的阶段714A和714B，以及差指标(例如，图7中的指标ΔC1至ΔCk)的后续生成。

在框810处，生成在框808处识别的(多个)差异的视觉指示，以便辅助用户修改模拟AVI站。该视觉指示可以包括例如在框808处计算的指标(例如，差指标)中的一个或多个和/或基于这些指标的一个或多个建议(例如，如上文结合图6和图7所讨论的)。例如，框810可以由执行框808的相同处理单元执行，并且可以包括使输出单元(例如，输出单元360)呈现视觉指示(即，(多个)指标和/或建议)。

在框812处，基于在框810处生成的视觉指示来修改模拟AVI站。框812可以完全由用户(即，手动地)执行，或可以至少部分地自动(例如，通过计算系统340调整模拟AVI站的相机或照明装置的数字设置等)执行。例如，框812可以包括过程100的阶段122的第二次(或后来的)迭代。

尽管已经根据示例性实施例描述了系统、方法、装置及其部件，但是它们不限于此。详细描述仅被解释为是示例性的并且未描述本发明的每个可能的实施例，因为描述每个可能的实施例即便不是不可能的也是不实际的。可以使用当前技术或在本专利申请日之后开发的技术来实施许多替代性实施例，这些实施例仍然落入限定本发明的权利要求的范围内。

本领域技术人员将认识到，在不脱离本发明的范围的情况下，可以对关于上文描述的实施例做出各种各样的修改、更改和组合，并且可以将这样的修改、更改和组合视为在本发明构思的范围内。

Claims (33)

1.一种用于复制自动视觉检查(AVI)站的性能的方法，该方法包括：

构建执行该AVI站的一个或多个AVI功能的模拟AVI站，其中，该模拟AVI站包括模拟照射系统、模拟成像系统和被配置为固持和/或支撑容纳样品的容器的模拟样品定位硬件；

在由该AVI站的照射系统照射容器的同时由该AVI站的成像系统捕获一个或多个容器图像；

在由该模拟照射系统照射容器的同时由该模拟成像系统捕获一个或多个附加容器图像；

由一个或多个处理器识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异；

由该一个或多个处理器生成以下项的视觉指示：(i)该一个或多个差异，和/或(ii)用于修改该模拟AVI站的一个或多个建议；以及

至少通过修改该模拟照射系统、该模拟成像系统和/或该模拟样品定位硬件、基于该视觉指示来修改该模拟AVI站。

2.如权利要求1所述的方法，其中，(i)该AVI站被包括在商业生产线设备中并且该模拟AVI站是基于实验室的设定，或(ii)该模拟AVI站被包括在该商业生产线设备中并且该AVI站是该基于实验室的设定。

3.如权利要求1所述的方法，其中，修改该模拟站包括：

修改该模拟照射系统的至少一个照明装置、该模拟成像系统的至少一个成像装置和/或该模拟样品定位硬件的空间布置；和/或

修改该模拟照射系统的至少一个照明装置、该模拟成像系统的至少一个成像装置和/或该模拟样品定位硬件的硬件部件。

4.如权利要求1所述的方法，进一步包括：

在该模拟AVI站的计算机系统上安装实施检查算法的AVI软件，该检查算法也由该AVI设备实施；以及

在修改该模拟AVI站之后，

在由该模拟照射系统照射测试容器的同时由该模拟成像系统捕获一个或多个新容器图像，以及

通过根据该检查算法处理该一个或多个新容器图像来确定该测试容器和/或该测试容器内的样品的一个或多个特性。

5.如权利要求4所述的方法，进一步包括：

至少部分地基于该所确定的一个或多个特性来对该模拟AVI站进行故障排除或优化，其中，对该模拟AVI站进行故障排除或优化包括修改或进一步修改该模拟照射系统、该模拟成像系统、该模拟样品定位硬件和/或该AVI软件。

6.如权利要求5所述的方法，进一步包括：

根据对该模拟照射系统、该模拟成像系统、该模拟样品定位硬件和/或该AVI软件的这些修改或进一步修改来修改该AVI站。

7.如权利要求1所述的方法，其中：

该一个或多个容器图像包括第一多个容器图像；

该一个或多个附加容器图像包括第二多个容器图像；并且

识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异包括识别从该第一多个容器图像得到的第一合成图像与从该第二多个容器图像得到的第二合成图像之间的一个或多个差异。

8.如权利要求1所述的方法，其中，识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异包括识别关于以下方面的差异：

容器对准；

散焦；

强度；

强度变化；

运动模糊；和/或

成像传感器噪声。

9.如权利要求1所述的方法，其中，识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异包括计算(i)该一个或多个容器图像或从其得到的合成图像的快速傅里叶变换(FFT)，和(ii)该一个或多个附加容器图像或从其得到的合成图像的FFT。

10.如权利要求1所述的方法，其中，识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异包括生成(i)该一个或多个容器图像或从其得到的合成图像的像素强度水平的直方图，和(ii)该一个或多个附加容器图像或从其得到的合成图像的像素强度水平的直方图。

11.如权利要求1所述的方法，其中，识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异包括计算(i)该一个或多个容器图像或从其得到的合成图像的拉普拉斯算子，和(ii)该一个或多个附加容器图像或从其得到的合成图像的拉普拉斯算子。

12.如权利要求1所述的方法，其中，在捕获该一个或多个附加容器图像时实时执行(i)识别该一个或多个差异和(ii)生成该视觉指示。

13.如权利要求1所述的方法，进一步包括：

由该一个或多个处理器基于该一个或多个差异来生成用于修改该模拟AVI站的一个或多个建议，

其中，生成该视觉指示包括生成该一个或多个建议的视觉指示。

14.如权利要求13所述的方法，其中，生成该一个或多个建议包括生成：

用于修改该模拟成像系统的至少一个成像装置的一个或多个可配置设置的建议；

用于修改该模拟照射系统的至少一个照明装置的一个或多个可配置设置的建议；

用于修改该模拟成像系统的至少一个成像装置的位置的建议；和/或

用于修改该模拟照射系统的至少一个照明装置的位置的建议。

15.如权利要求13所述的方法，其中：

该模拟样品定位硬件被配置为根据移动曲线移动容器；并且

生成该一个或多个建议包括生成用于修改该移动曲线的一个或多个特性的建议。

16.如权利要求1所述的方法，进一步包括：

由该一个或多个处理器接收该成像系统的一个或多个操作参数以及该模拟成像系统的一个或多个操作参数；

由该一个或多个处理器将该成像系统的一个或多个操作参数与该模拟成像系统的一个或多个操作参数进行比较；以及

由该一个或多个处理器生成在该成像系统与该模拟成像系统之间不同的至少一个操作参数的附加视觉指示。

17.一种非暂态计算机可读介质，该非暂态计算机可读介质存储有指令，这些指令在由一个或多个处理器执行时，使该一个或多个处理器执行以下操作：

接收由自动视觉检查(AVI)站的成像系统捕获的一个或多个容器图像；

接收由模拟AVI站的模拟成像系统捕获的一个或多个附加容器图像；

识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异；以及

生成以下项的视觉指示：(i)该一个或多个差异，和/或(ii)用于修改该模拟AVI站的一个或多个建议。

18.如权利要求17所述的非暂态计算机可读介质，其中，这些指令使该一个或多个处理器识别该一个或多个附加容器图像与该一个或多个容器图像之间关于以下方面的一个或多个差异：

容器对准；

散焦；

强度；

强度变化；

运动模糊；和/或

成像传感器噪声。

19.如权利要求17所述的非暂态计算机可读介质，其中，这些指令使该一个或多个处理器至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

计算该一个或多个容器图像或从其得到的合成图像的快速傅里叶变换(FFT)；以及

计算该一个或多个附加容器图像或从其得到的合成图像的FFT。

20.如权利要求17所述的非暂态计算机可读介质，其中，这些指令使该一个或多个处理器至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

生成该一个或多个容器图像或从其得到的合成图像的像素强度水平的直方图；以及

生成该一个或多个附加容器图像或从其得到的合成图像的像素强度水平的直方图。

21.如权利要求17所述的非暂态计算机可读介质，其中，这些指令使该一个或多个处理器至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

计算该一个或多个容器图像或从其得到的合成图像的拉普拉斯算子；以及

计算该一个或多个附加容器图像或从其得到的合成图像的拉普拉斯算子。

22.如权利要求17所述的非暂态计算机可读介质，其中，这些指令使该一个或多个处理器在接收到该一个或多个附加容器图像时实时(i)识别该一个或多个差异并且(ii)生成该视觉指示。

23.如权利要求17所述的非暂态计算机可读介质，其中：

这些指令使该一个或多个处理器基于该一个或多个差异来生成用于修改该模拟AVI站的一个或多个建议；并且

该视觉指示指示该一个或多个建议。

24.如权利要求23所述的非暂态计算机可读介质，其中，该一个或多个建议包括：

用于修改该模拟成像系统的至少一个成像装置的一个或多个可配置设置的建议；

用于修改该模拟AVI站的模拟照射系统的至少一个照明装置的一个或多个可配置设置的建议；

用于修改该模拟成像系统的至少一个成像装置的位置的建议；和/或

用于修改该模拟照射系统的至少一个照明装置的位置的建议。

25.一种系统，包括：

自动视觉检查(AVI)站，该AVI站包括

成像系统，

照射系统，以及

样品定位硬件，该样品定位硬件被配置为固持和/或支撑容纳样品的容器；

执行该AVI站的一个或多个AVI功能的模拟AVI站，该模拟AVI站包括

模拟照射系统，

模拟成像系统，以及

模拟样品定位硬件，该模拟样品定位硬件被配置为固持和/或支撑容纳样品的容器；以及

计算系统，该计算系统被配置为接收由该AVI站的成像系统捕获的一个或多个容器图像；

接收由该模拟AVI站的模拟成像系统捕获的一个或多个附加容器图像；

识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异；以及

生成以下项的视觉指示：(i)该一个或多个差异，和/或(ii)用于修改该模拟AVI站的一个或多个建议。

26.如权利要求25所述的系统，其中，该计算系统被配置为识别该一个或多个附加容器图像与该一个或多个容器图像之间关于以下方面的一个或多个差异：

容器对准；

散焦；

强度；

强度变化；

运动模糊；和/或

成像传感器噪声。

27.如权利要求25所述的系统，其中，该计算系统被配置为至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

计算该一个或多个容器图像或从其得到的合成图像的快速傅里叶变换(FFT)；以及

计算该一个或多个附加容器图像或从其得到的合成图像的FFT。

28.如权利要求25所述的系统，其中，该计算系统被配置为至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

生成该一个或多个容器图像或从其得到的合成图像的像素强度水平的直方图；以及

生成该一个或多个附加容器图像或从其得到的合成图像的像素强度水平的直方图。

29.如权利要求25所述的系统，其中，该计算系统被配置为至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

对该一个或多个容器图像或从其得到的合成图像进行高通滤波；以及

对该一个或多个附加容器图像或从其得到的合成图像进行高通滤波。

30.如权利要求29所述的系统，其中，该计算系统被配置为至少通过以下方式识别该一个或多个附加容器图像与该一个或多个容器图像之间的一个或多个差异：

计算该一个或多个容器图像或从其得到的合成图像的拉普拉斯算子；以及

计算该一个或多个附加容器图像或从其得到的合成图像的拉普拉斯算子。

31.如权利要求25所述的系统，其中，该计算系统被配置为在接收到该一个或多个附加容器图像时实时(i)识别该一个或多个差异并且(ii)生成该视觉指示。

32.如权利要求25所述的系统，其中：

该计算系统被配置为基于该一个或多个差异来生成用于修改该模拟AVI站的一个或多个建议；并且

该视觉指示指示该一个或多个建议。

33.如权利要求25所述的系统，其中，该一个或多个建议包括：

用于修改该模拟成像系统的至少一个成像装置的一个或多个可配置设置的建议；

用于修改该模拟AVI站的模拟照射系统的至少一个照明装置的一个或多个可配置设置的建议；

用于修改该模拟成像系统的至少一个成像装置的位置的建议；和/或

用于修改该模拟照射系统的至少一个照明装置的位置的建议。

Images