CN114631125A - 深度学习在自动视觉检查设备中的定向应用 - Google Patents

Abstract

在一种用于提高容器自动视觉检查的准确度和效率的方法中，包含样品的容器被定向为使得线扫描相机具有容器塞子边缘的轮廓视图。在使容器自旋时，第一线扫描相机捕获塞子边缘的多个图像，其中，该多个图像中的每个图像对应于容器的不同旋转位置。至少基于该多个图像生成塞子边缘的二维图像，并且该二维图像的像素由执行包括经训练的神经网络的推断模型的一个或多个处理器来处理，以生成指示样品有缺陷的可能性的输出数据。

Description

深度学习在自动视觉检查设备中的定向应用

技术领域

本申请总体上涉及用于药物或其他产品的自动视觉检查（AVI）系统，并且更具体地，涉及用于检测和区分填充了样品（例如，溶液）的容器中的颗粒与其他物体（例如，气泡）的技术。

背景技术

在某些情况下（诸如制成的药物产品的质量控制程序），有必要检查样品（例如，诸如注射器或小瓶等容器/器皿，和/或其内容物，诸如液体或冻干药物产品）的缺陷。在适用的质量标准下，特定样品的可接受性可能取决于诸如器皿缺陷（例如，缺口或裂纹）的类型和/或大小，或药物产品内不期望的颗粒（例如，纤维）的类型、数量和/或大小等指标。如果样品具有不可接受的指标，则其可能会被拒绝和/或丢弃。

为了处理通常与药物商业生产相关联的数量，缺陷检查任务已变得越来越自动化。然而，溶液中颗粒的自动检测在制药行业内形成了特殊的挑战。高检测准确度通常难以实现，而且由于较高粘度的溶液抑制了颗粒运动（否则其可以指示颗粒类型）而变得甚至更加困难。对于含有释放气体（其将促进气泡形成）的配制品的基于蛋白质的产品，传统的颗粒检测技术可能导致尤其高的误拒绝率。例如，这种技术可能难以区分这些气泡（其可能粘附在容器上）与倾向于沉降/停留在容器的一部分（例如，填充了溶液的注射器的柱塞）上的重颗粒。

此外，用于辅助自动缺陷检查的专用设备已经变得非常庞大、非常复杂且非常昂贵。单个商业生产线设备可以包括许多不同的AVI站，其各自处理不同的特定检查任务。仅作为一个示例，用于填充了药物的注射器的填充完成检查阶段的Bosch®自动检查机（AIM）5023商业生产线设备包括14个单独的视觉检查站，伴随着16个一般检查任务和许多相机及其他传感器。总体而言，这种设备可以被设计为检测广泛的缺陷，包括诸如大裂纹或器皿封闭性等器皿完整性缺陷、诸如器皿表面上的划痕或污渍等美观性器皿缺陷、以及诸如液体颜色或异物颗粒的存在等与药物产品本身相关联的缺陷。然而，由于上述与颗粒检测和表征相关联的挑战，这种设备可能需要AVI站之间的冗余。例如，在Bosch® AIM 5023生产线设备的情况下，“塞子边缘”检查站（用于检测和区分停留在注射器柱塞圆顶上的重颗粒）的相对较差的性能使得必须在另一个“塞子顶部”AVI站使用附加相机进行颗粒检查，以达到可接受的颗粒检查准确度总体水平。这增加了设备的复杂性和成本，和/或要求“塞子顶部”AVI站适于执行多个检查任务，而不是针对单个任务（例如，检测塞子本身的缺陷）进行优化。

发明内容

本文描述的实施例涉及将深度学习应用于（例如，在可以包括多个AVI站的商业生产线设备内的）特定类型的AVI站以协同地提供对准确度的实质性改进（例如，远远更少的误拒绝和/或假阳性）的系统和方法。另外地或可替代地，所描述的系统和方法可以允许对（例如，在相同的商业生产线设备内的）其他AVI站进行有利的修改，诸如通过允许其他AVI站专门关注其他任务、和/或通过完全消除其他AVI站。

特别地，将深度学习应用于AVI站，该AVI站利用一个或多个线扫描相机（例如，（多个）CMOS线扫描相机）来检测和区分停留在或以其他方式位于包含样品（例如，液体溶液药物产品）的容器的塞子边缘上或附近的物体（例如，气体填充的气泡与玻璃和/或其他颗粒）。例如，AVI站可以利用（多个）线扫描相机来检测和区分位于与注射器内的液体样品相接触的注射器柱塞圆顶表面上或附近的物体。随着AVI站使容器旋转/自旋至少一圈（360度），（多个）线扫描相机可以捕获多个线图像，之后，AVI站内（或通信地耦合到AVI站）的处理设备或部件根据该多个线图像生成二维图像。

AVI站或外部处理部件将二维图像的像素值（例如，归一化像素强度值）提供给经训练的神经网络，该经训练的神经网络推断容器样品是否不可接受（例如，在成像区域内包含不可接受的数量、大小和/或类型的颗粒）。可以使用监督学习技术来训练神经网络，例如，使用已知（并且被标记）是具有可接受或不可接受的数量、类型、大小等的颗粒和/或气体填充的气泡的样品的各种二维图像。用于训练神经网络的图像的选择和分类对于推断阶段的性能至关重要。进一步地，应当预见意外情况，并将其包括在训练图像中，以避免接受有缺陷的单元。重要的是，经训练的神经网络或包括该神经网络的更大的推断模型可以在鉴定之前被“锁定”，使得在没有重新鉴定的情况下无法修改（例如，进一步训练）该模型。优选地，应当建立并预先批准接受标准，以确保系统性能与手动视觉检查相同或更好。

如果AVI站（或通信地耦合的处理设备）指示样品有缺陷，则AVI站或包含AVI站的商业生产线设备会将该容器/样品物理地传送到拒绝区域，在该拒绝区域中，样品可以被丢弃/销毁或转发以供进一步检查（例如，手动检查）。取决于实施例，容器/样品可以被直接传送到弹出/拒绝区域（例如，箱），或者可以首先通过一个或多个其他AVI站。如果推断模型未指示样品有缺陷，则AVI站或商业生产线设备可以将容器/样品直接传送到为接受的产品指定的区域，或者传送到下一个AVI站（例如，被设计为检测其他类型的样品和/或容器缺陷的一个或多个AVI站）以供进一步检查。

附图说明

技术人员将理解，本文描述的附图是出于说明的目的而包括的，而非限制本披露。附图不一定是按比例绘制，而是将重点放在说明本披露的原理上。应理解，在一些情况下，所描述的实施方式的不同方面可以被扩大或放大，以有助于理解所描述的实施方式。在附图中，贯穿各附图，相似的附图标记通常指代功能相似和/或结构相似的部件。

图1是可以实施本文所述的成像和深度学习技术的示例生产线设备的简化框图。

图2是现有技术商业生产线设备内的AVI站的简化描绘。

图3A和图3B描绘了示例容器，其中，使用线扫描相机对容器塞子边缘进行成像。

图4描绘了可以根据线扫描相机捕获的线图像来生成的示例二维塞子边缘图像。

图5描绘了可以用于基于诸如图4的二维图像等图像来推断样品可接受性或不可接受性的示例神经网络。

图6描绘了用于使用AVI站实施深度学习的示例开发和鉴定过程的阶段。

图7描绘了当对特定AVI站使用深度学习时获得的概念验证结果。

图8是用于提高容器自动视觉检查的准确度和效率的示例方法的流程图。

具体实施方式

以上介绍的以及在下文更详细地讨论的不同构思可以以多种方式中的任一种实施，并且所描述的构思不限于任何特定的实施方式。出于说明目的，提供了实施方式的示例。

图1是可以实施本文描述的技术的示例AVI生产线设备100的简化框图。例如，生产线设备100可以是具有N（N ≥ 1）个AVI站110-1到110-N（也统称为AVI站110）的任何生产级设备。为了提供更具体的示例，生产线设备100可以是Bosch®自动检查机（AIM）5023商业生产线设备的修改版本，下面将参考图2对其进行进一步讨论。AVI站110中的每一个可以负责捕获将用于检查容器（例如，注射器、小瓶等）和/或容器内的样品（例如，液体溶液药物产品）的不同方面的图像。例如，第一AVI站110-1可以捕获注射器、小瓶或其他容器的顶视图图像以检查裂纹或缺口，第二AVI站110-2（图1中未示出）可以捕获侧视图图像以检查容器内的整个样品的异物颗粒，等等。

图1还以简化框图的形式示出了第i AVI站110-i的一般部件，其中i可以是1到N之间的任何整数。AVI站110-i被配置为视觉地且自动地检查样品（容器内容物）、特别是在样品与容器塞子边缘触碰/接触的区域进行检查。例如，塞子可以是注射器的柱塞，或者是密封小瓶开口的盖子或塞等。为了执行该检查，AVI站110-i包括成像系统112、照射系统114和样品定位硬件116。应当理解，其他AVI站110（如果有的话）总体上可以具有相似类型的部件（例如，成像系统、照射系统和样品定位硬件），但可能具有不同的部件类型和配置，以适应每个给定站110的目的。

成像系统112包括至少一个线扫描相机，以及可能的相关光学部件（例如，附加透镜、镜子、滤光片等），以捕获每个样品（药物产品）的线图像。例如，（多个）线扫描相机中的每一个可以是CMOS线扫描相机。为了便于解释，以下许多描述将仅涉及单个线扫描相机。然而，应当理解，可以使用多个线扫描相机。例如，两个线扫描相机中的每一个可以以并行方式同时对不同的容器/样品进行成像，以增加吞吐量。

照射系统114包括用于在线扫描相机对样品进行成像时照射每个样品的一个或多个照明设备。（多个）照射设备可以包括一个或多个发光二极管（LED），例如被布置为背光面板的LED阵列。

样品定位硬件116可以包括为AVI站110-i固持（或以其他方式支持）和移动容器的任何硬件。在图1的实施例中，样品定位硬件116至少包括用于将每个容器定向为使得成像系统112的线扫描相机具有容器塞子边缘的轮廓视图的传送装置117，以及用于在线扫描相机捕获线图像时使每个容器自旋（例如，围绕容器的中心轴线旋转）的自旋装置118。传送装置117可以包括机动旋转台、星轮或转盘、机械手臂和/或用于定向（例如，移动和定位）每个容器的任何其他合适机构。例如，自旋装置118可以包括机动自旋机构（例如，为注射器提供“直接自旋”特征的Bosch® AIM 5023的部件，如下文参考图2所讨论的）。如下文进一步讨论的，在传送装置117恰当地定位/定向给定容器之后，自旋装置118使容器自旋，使得线扫描相机可以捕获共同覆盖塞子与样品相接触的区域内的塞子的全360度视图的线图像。

在一些实施例中，样品定位硬件116还包括用于倒置每个容器的硬件（例如，以确保在进行成像时塞子位于样品下方，使得重颗粒可以直接停留在塞子顶部上），和/或用于搅拌每个容器中包含的样品的硬件。在其他实施例中，恰当地定向每个容器（例如，容器倒置）的某些方面在较早的AVI站110处、在较早的AVI站110之间、或在通过生产线设备100进行处理之前等情况下发生。下面将参考图3A和图3B对在线扫描相机捕获自旋样品的图像时线扫描相机相对于容器/样品的各种示例取向进行讨论。

生产线设备100还包括一个或多个处理器120和存储器122。（多个）处理器120中的每一个可以是可编程微处理器，该可编程微处理器执行存储在存储器122中的软件指令，以执行如本文所述的生产线设备100的一些或全部软件控制功能。可替代地或另外地，（多个）处理器120中的一个或多个处理器可以是其他类型的处理器（例如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）等），并且如本文描述的（多个）处理器120的一些功能可以替代地以硬件实施。存储器122可以包括一个或多个易失性和/或非易失性存储器。存储器122中可以包括任何合适的一种或多种存储器类型，诸如只读存储器（ROM）、随机存取存储器（RAM）、闪速存储器、固态驱动器（SSD）、硬盘驱动器（HDD）等。存储器122可以共同存储一个或多个软件应用程序、由这些应用程序接收/使用的数据以及这些应用程序输出/生成的数据。

（多个）处理器120和存储器122共同构成处理装置，该处理装置用于控制/自动化AVI站110的操作、以及用于处理由AVI站110捕获/生成的图像，以检测容器和/或容器内容物（例如，药物产品样品）的各个类型的缺陷。具体地，对于AVI站110-i，处理装置（120和122）被配置为：(1) 在自旋装置118使容器自旋时，使得成像系统112在适当的时间捕获容器塞子边缘的图像，(2) 基于成像系统112捕获的一组图像生成塞子边缘的二维图像，以及(3) 使用经训练的神经网络处理所产生的二维图像的像素（例如，像素强度值）以生成输出数据，如下文将进一步详细讨论的。在替代性实施例中，（多个）处理器120和/或存储器122的功能分别分布在N个不同的处理单元和/或存储器单元之间，这些处理单元和/或存储器单元各自特定于AVI站110-1到110-N个中的不同的一个。在又一个实施例中，（多个）处理器120和存储器122的一些功能（例如，用于样品的传送、自旋和/或成像）分布在AVI站110之间，而（多个）处理器120和存储器122的其他功能（例如，用于根据线扫描相机图像生成二维图像，和/或处理二维图像以检测缺陷等）在集中处理位置处执行。在一些实施例中，（多个）处理器120和/或存储器122的至少一部分包括在生产线设备100外部的（且可能是远程的）计算系统中。

存储器122存储由AVI站110捕获的容器/样品图像124，并且还存储当由（多个）处理器120执行时使得AVI站110执行其各自的如上所述的功能的AVI代码126。例如，对于AVI站110-i，AVI代码126包括图1中表示为代码128的相应部分。作为一个实施例的示例，代码128可以在样品由照射系统114照射并通过自旋装置118自旋时触发成像系统112捕获线扫描图像，并且可以控制样品定位硬件116在适当的时间将容器放置在正确的位置。在图像被捕获并存储在图像124中之后，代码128处理各个图像124，以检测与站310-i相关联的缺陷（例如，基于颗粒和/或诸如气泡等其他物体的数量、大小和/或类型）。如上所述，在一些实施例中，代码128中处理图像的部分可以由与代码128中控制传送、成像、自旋等的（多个）部分不同的处理器、部件和/或设备来执行。

如图1所示，AVI站110-i的代码128包括生成用于控制如上所述的传送装置117和自旋装置118的命令/信号的样品移动和图像捕获单元134。代码128还包括根据每个不同容器的线扫描相机图像来构造/生成不同的二维图像的图像生成单元136。进一步地，代码128包括使用推断模型处理由图像生成单元136生成的二维图像的推断模型单元138。推断模型包括经训练的神经网络（并且可能完全由其构成），其处理像素（例如，强度值、以及可能的颜色值）以生成指示特定样品是否可能为缺陷品的输出数据（例如，可能在塞子边缘上或附近有不可接受的数量、大小和/或类型的颗粒）。下面参考图5和图6进一步讨论根据各种示例实施例的神经网络及其训练。

图2以简化的方式描绘了现有（现有技术）商业生产线设备200，更具体来说是Bosch® AIM 5023型号。在一个实施例中，使用本文描述的技术来升级或修改生产线设备200。也就是说，在如此修改（例如，通过现场升级或全产品重新设计）之后，生产线设备200可以用作图1的生产线设备100。

在生产模式下，设备200（Bosch® AIM 5023）通常负责运输、检查和分类填充了溶液（药物产品）的注射器。设备200通过一系列进给螺杆和星轮从去嵌套机（例如Kyoto®G176去嵌套机）接收注射器，之后自动检查从进给（预检查）单元开始，并在主单元中继续。进给单元和主单元具有图2中示出为站202（其中一些站202位于同一位置，如单个站处的两个附图标记所示）的各个AVI站。应当理解，图2并不试图精确或完全地重新创建Bosch®AIM 5023的布局和部件。例如，未示出各种星轮、弹出箱和其他部件，并且所描绘的各个AVI站202的相对定位不是严格准确的。

在进给单元中，生产线设备200沿着旋转星轮212A包括三个预检查站：(1) 带有电荷耦合器件（CCD）相机（称为“C01-1”和“C01-2”相机）的弯曲针头套检查站202-1；(2) 带有CCD相机（称为“C02”相机）的凸缘检查站202-2；以及 (3) 带有CCD相机（称为“C03”相机）的塞子存在/颜色站202-3。这些预检查基于包括CCD相机、稳定光源和图像处理器在内的技术的组合。在这些站202-1到202-3中的任一个中被识别为有缺陷的注射器被释放（经由星轮212A和另一个星轮212B）到弹出区域/箱中，而不是被倒置或转移到主单元。然而，通过这些检查的单元被倒置，并经由星轮212C运输到设备200的主单元。

在主单元中，生产线设备200沿着由两个星轮212D和212E联接的三个旋转台210A-210C包括13个检查站。具体地，两个检查站沿着旋转台210A定位：(1) 带有CCD相机（称为“C04”相机）的浊度检查站202-4；以及 (2) 带有CCD相机（称为“C05”相机）的液体颜色检查站202-5。五个检查站沿着旋转台210B定位：(1) 带有CCD相机（称为“C1-1”和“C1-2”相机）的体块/纤维检查站202-6；(2) 带有CCD相机（称为“C2-1”和“C2-2”相机）的体块（漂浮颗粒）检查站202-7；(3) 带有线扫描CMOS相机（称为“C3-1”和“C3-2”相机）的塞子边缘检查站202-8；(4) 带有CCD相机（称为“C4-1”和“C4-2”相机）的塞子侧部检查站202-9；以及 (5)带有CCD相机（称为“C5-1”和“C5-2”相机）的塞子顶部检查站202-10。在旋转台210B与210C之间的星轮212E上驻留有带有CCD相机（称为“C06”相机）的针头套颜色检查站202-11。另外五个检查站沿着旋转台210C定位：(1) 带有CCD相机（称为“C6-1”和“C6-2”相机）的颗粒检查站202-12；(2) 使用第三代静止划分（SDx）传感器（称为“SD1-1”和“SD1-2”传感器）的颗粒检查站202-13；(3) 带有CCD相机（称为“C7-1”和“C7-2”相机）的颗粒检查站202-14；(4)使用SDx传感器（称为“SD2-1”和“SD2-2”传感器）的颗粒检查站202-15；以及 (5) 带有CCD相机（称为“C8”相机）的填充水平/气隙检查站202-16。

当注射器运输通过主单元时，设备200的各个站202-4到202-16检查这些注射器。作为运输的一部分，注射器由自由旋转的底座附件和自旋盖牢固地固持。在旋转台210A上，自旋马达布置在台210A的外围区域，以使用使底座附件组件自旋的摩擦带来为气泡消散和检查设置恰当的自旋。旋转台210B配备有在注射器处吹拂电离空气以去除任何外部颗粒或灰尘的气刀电离器。在旋转台210B和210C上，每个注射器位置的底座附件轴配备有直接自旋功能，以恰当地检查溶液中的可见颗粒。每个底座附件可以以高速或低速、顺时针或逆时针方向单独自旋。

在通过主单元的所有检查站进行处理之后，注射器被释放并分类到“接受”路径并且将被运输到另一个区域并由下游机器（例如，Kyoto® G176自动托送器）收集，或者被分类到三个弹出区域/站之一。每个弹出站具有可手动切换的释放弹出轨道。各种旋转台和/或星轮可以构成将特定容器传送到指定拒绝区域的装置。例如，对于站202-8，星轮212E、212F、212G和旋转台210C以及可能的其他星轮、轨道和/或其他机构可以提供将在站202-8处拒绝的容器/样品传送到恰当的拒绝/弹出区域的装置。

返回参考图1，在一个实施例中，生产线设备100被修改成为设备200，并且塞子边缘检查站202-8被修改成为AVI站110-i（例如，具有成像系统112的（多个）线扫描相机，包括“C3-1”和“C3-2”相机中的一个或两个）。同样在该实施例中，传送装置117包括旋转台210B（并且可能还包括倒置每个注射器的单元），并且自旋装置118包括上述自由旋转底座附件、自旋盖、自旋马达和摩擦带。在这样的实施例中，特别是由于塞子边缘检查站202-8的准确度提高，塞子顶部检查站202-10可以省略，或者也可以被修改（例如，以侧重于塞子缺陷的检测而不是颗粒检查，从而潜在地提高站202-10以及站202-8的检测准确度）。

图3A和3B描绘了示例容器（注射器）300，其中，可以使用线扫描相机（诸如成像系统112的线扫描相机）对基本为圆柱形的壁312内的塞子（柱塞）310、以及尤其是柱塞圆顶314的边缘（即，圆顶314触碰注射器300中的溶液的位置）进行成像。柱塞310布置于其中的壁312可以由半透明塑料、玻璃或任何其他合适的材料制成。在图3A和图3B所示的特定取向（即，柱塞310位于注射器300的较低侧）上，注射器300内的样品/溶液中的任何大气穴都应远高于柱塞圆顶314、位于注射器300的相反（针头）端附近。

如图3A的放大插图所示，成像系统112的线扫描相机被定向为使得对于注射器300的每个旋转位置，相机捕获对应于区域322的一个竖直线图像（本文中有时也简称为“图像”）。每个线图像仅捕获在捕获图像时处于非常窄的切片/区域322内的内容。例如，在图3A中，第一线图像可以捕获物体330（例如，颗粒或气泡）的一部分，而（如果旋转从顶视图看是逆时针方向）第二线图像可以捕获物体330的另一部分。随着注射器300自旋转过360度的旋转（例如，通过自旋装置118），只要是以足够小的旋转增量来捕获图像（例如，每1度或3度等，取决于线扫描相机的图像宽度），则线扫描相机就能捕获足够的线图像（竖直像素切片/堆叠）以覆盖柱塞310的圆顶314的整个边缘。

如图3B所示，线扫描相机可以相对于水平面（例如，相对于注射器300的凸缘的平面）稍微向上倾斜，以匹配或近似柱塞圆顶314的斜坡。以这种方式，位于圆顶314的斜坡上的任何位置（例如，靠近顶点、靠近壁312或其间的某处）的颗粒、气泡或其他物体可以在注射器300内被照射的溶液提供的相对较亮的背景的映衬下格外醒目地被看见/描绘。线扫描相机相对于注射器300的其他取向也是可能的。

图4描绘了可以根据线扫描相机捕获（例如，随着自旋装置118将图3的注射器300旋转过至少360度）的线图像（例如，竖直像素堆叠）来生成的示例二维图像400。图像400描绘了塞子边缘402（其上方有半透明溶液），并且例如可以由图1的图像生成单元136生成。在示例图像400中，由于轮廓视图，可以相对清晰地看见停留在塞子边缘402上的两个物体410、412（这里分别是气泡和玻璃颗粒）。例如，塞子边缘402可以是柱塞圆顶314的边缘，并且物体410或412可以是图3A和图3B的物体330。

图5描绘了可以用于基于二维图像（例如，图4的二维图像400）来推断可接受性或不可接受性的示例神经网络500。例如，神经网络500可以是形成由图1的推断模型单元138实施的推断模型（或包括在该推断模型中）的经训练的神经网络。神经网络500可以是卷积神经网络（CNN）或另一合适类型的神经网络。如图5中所见，示例神经网络500包括输入层510、三个隐藏层512和输出层514，其中每一层包括多个节点或“神经元”。应当理解，在其他实施例中，神经网络500可以包括多于或少于三个隐藏层512，和/或每一层可以包括多于或少于图5所示的节点/神经元。

神经网络500被训练为推断特定二维图像（例如，图像400）是可接受的还是不可接受的。应当理解，“可接受”可能或可能不意味着对应的样品不需要进一步检查，并且“不可接受”可能或可能不意味着必须丢弃对应的样品。例如，在生产线设备100中，为了使容器/样品作为一个整体通过质量检查，容器/样品可能必须成功“通过”AVI站110-1到110-N中的每一个的检查，在这种情况下，AVI站110-i输出“接受”不一定意味着对应的容器/样品是可用的（例如，适合商业销售或其他用途）。作为另一个示例，在一些实施例中，AVI站110-i输出“不可接受”意味着容器/样品必须经受附加（例如，手动的）检查，但不一定会被拒绝或丢弃。

参考图1的生产线设备100，推断模型单元138可以将图像400的不同像素502的值（例如，强度值和可能的RGB颜色值）传递到输入层510的不同神经元/节点。在一些实施例中，推断模型单元138可以在将像素值（例如，0到255之间的强度和/或颜色值等）应用于输入层510之前预处理这些像素值。作为一个简单示例，推断模型单元138可以将每个像素值转换为0到1之间的归一化值。其他预处理（例如，对像素子集内的多个像素值进行平均，或者首先裁剪出图像400中的强度值变化不超过阈值量并且因此可能表示塞子本体的相对较大区域的像素，等等）也是可能的。

虽然图5仅示出了四个像素值被传递到输入层510的四个神经元，但在其他实施例中，更多像素值被传递到输入层510的更多神经元，使得神经网络500以更大的子集或“块”来处理图像400。在任何情况下，在一些实施例中，推断模型单元138可以仅在神经网络500确定每个像素子集502单独可接受时，才确定图像400是“可接受的”。在其他更复杂的实施例中，神经网络500在输出层514处可以包括两个以上的神经元，以反映给定像素子集中描绘了非气泡颗粒的中间概率，并且推断模型单元138可以联合处理所有像素子集的结果，以确定图像400作为一个整体表示可接受还是不可接受的样品（特别是在塞子边缘处）。在仍其他实施例中，神经网络500在输入层510处具有许多神经元，以一次处理图像400的全部（或者图像400中塞子触碰样品/溶液的狭窄水平带内的所有像素等）。

在一些实施例中，神经网络500中将第一神经元连接到第二神经元的每条线都与一权重相关联，该权重的值在训练过程期间确定（下文将进一步讨论）。神经网络500将“源”神经元（即，连接的左侧，如图5所示）的值/输出乘以该权重，并将乘积值作为输入提供给在“目的地”神经元（即，连接的右侧，如图5所示）处计算的函数。此外，每个隐藏层512的每个神经元可以与“激活函数”相关联，该激活函数对来自前一层510或512的输入进行操作。例如，每个隐藏层512神经元可以应用以下函数：

其中：

= 第i层中的第j个神经元的激活值；

（S形函数）；

= 第（i-1）层中的第k个神经元与第i层中的第j个神经元之间的权重值；并且

= 第i层中的第j个神经元的偏差。

可替代地，可以在隐藏层512的每个神经元处应用除S形函数之外的函数，例如双曲正切（Tanh）函数或修正线性单元（ReLU）函数。

应当理解，关于神经网络500的布置、像素值被预处理（例如，平均、分割等）和/或提供给神经网络500的方式、以及推断模型单元138处理或以其他方式利用神经网络500的输出的方式，许多其他实施例是可能的。

可以使用监督学习来训练神经网络500。更具体地，可以使用各种各样的不同条件的描绘溶液/塞子界面处的塞子边缘的较大二维图像（例如，每个图像类似于图像400）集合来训练神经网络500。例如，训练图像可以包括许多不同数量、大小、类型和位置的颗粒和/或气泡、以及可能的不同溶液类型（例如，具有不同的半透明水平和可能不同的粘度）和/或其他变化。此外，将每个训练图像以与神经网络500提供的一组可用输出（例如，在图5中，“可接受”或“不可接受”）中的单个正确或“真”输出相对应的方式进行标记。应当仔细地进行标记（例如，通过手动检查和可能的实验室测试），以确保每个标记是正确的。通过使用具有足够广泛的条件的训练样品，神经网络500可以可靠地区分通常难以区分的物体，诸如重颗粒（例如，玻璃颗粒）与气体填充的气泡。

一旦训练数据集完成，就可以训练神经网络500。可以使用任何合适的训练技术。例如，可以通过针对每个训练图像使用前向传播技术、基于推断结果的误差计算（例如，均方误差（MSE））和使用梯度下降技术的后向传播等已知技术来训练神经网络500。

在更高的层次上，图6描绘了用于使用AVI站（诸如图1的站110-i）实施深度学习的示例开发和鉴定过程600。在过程600的开发阶段，出于训练目的，生成和/或收集标记图像数据602。数据602应被仔细地策划，并且可以包括描绘溶液/塞子界面处的塞子边缘的具有广泛的一组不同条件（例如，颗粒大小/类型、气泡等）的许多二维图像，如上文所述。在阶段604中，机器学习算法对标记图像数据进行操作以训练神经网络（例如，如上所述的神经网络500）。

一旦训练了神经网络，在过程600的鉴定阶段，在阶段612中将图像数据610（不同于图像数据602）输入到经训练的模型。“经训练的模型”可以是单独的神经网络，或者可以包括一些附加的建模或处理（例如，在将图像数据输入到经训练的神经网络之前对图像数据进行预处理）。在整个鉴定中，经训练的模型被“锁定”。也就是说，为了确保鉴定结果保持有效，在鉴定阶段期间或之后不能修改模型。例如，这排除了用附加训练数据改良神经网络，从而避免了使神经网络性能恶化的风险（例如，如果附加训练图像被不恰当地标记等）。

在阶段614中，出于鉴定目的，观察推断结果。如果结果表明准确度在可接受水平（例如，在足够大的样品量上，假阳性率和/或假阴性率足够低），则鉴定成功并且模型可用于生产。如果在任何时间修改了模型（例如，通过使用描绘新条件的图像进一步训练/改良模型），则通常必须重复鉴定阶段。

图7描绘了通过对塞子边缘检查站（例如，类似于图2中Bosch® AIM 5023生产线设备的塞子边缘检查站202-8）利用基于神经网络的深度学习获得的概念验证结果700、720。如在结果700和结果720中所见，与运行没有深度学习能力的站相比，深度学习为该特定站提供了大约500%（5倍）的检测能力提升，并且减少了大约50%的误拒绝。

图8是用于提高容器（例如，注射器、小瓶等）自动视觉检查的准确度和效率的示例方法800的流程图。例如，方法800可以由图1的AVI站110-i和执行存储器122中的AVI代码128的（多个）处理器120来实施。

在方法800中，在框802处，包含样品（例如，液体溶液药物产品）的容器被定向为使得线扫描相机具有容器塞子（例如，柱塞或塞）边缘的轮廓视图。例如，容器可以如图3A和图3B所指示的那样相对于线扫描相机定位。例如，框802可以由图1的传送装置117响应于由执行样品移动和图像捕获单元134的（多个）处理器120生成的命令来执行。

在框804处，响应于由执行样品移动和图像捕获单元134的（多个）处理器120生成的命令，容器例如通过自旋装置118自旋。在框806处并且在容器自旋时（例如，至少一次完整的360度旋转），使用线扫描相机（例如，成像系统112的线扫描相机）捕获塞子边缘的多个图像。每个图像是在容器的不同旋转位置捕获的。应当理解，如本文使用的表达那样，即使图像是在容器已停止时捕获的，图像也可以是“在容器自旋时”捕获的。例如，在一些实施例中，线扫描相机的每次图像捕获的定时可以与容器静止的短暂时间相吻合（例如，在容器大体上通过360度旋转的步长旋转但是在小的、离散的旋转间隔之间静止的情况下）。可替代地，线扫描相机可以在容器的恰当旋转位置捕获图像，而无需容器在线扫描期间的任何点停止自旋/旋转。例如，框806可以由成像系统112的线扫描相机响应于由执行样品移动和图像捕获单元134的（多个）处理器120生成的命令来执行。

在框808处，至少基于该多个图像生成塞子边缘的二维图像。在框806处捕获的图像中的每个图像可以在二维图像的第一（例如，水平）轴线上提供仅一个（或几个，等等）像素，但在二维图像的第二（例如，竖直）轴线上提供所有像素。例如，框808可以由执行图像生成单元136的（多个）处理器120执行。

在框810处，通过执行包括经过经训练的神经网络（例如，图5的神经网络500）的推断模型来处理二维图像的像素，以生成指示样品有缺陷的可能性的输出数据（例如，基于样品中的在塞子边缘处或附近的颗粒或其他物体的数量、大小和/或类型）。在一些实施例中，框810包括通过将与不同像素相关联的强度值或根据强度值得出的其他值（例如，归一化值）应用于经训练的神经网络的输入层的不同节点来处理二维图像的像素。例如，框810可以由执行推断模型单元138的（多个）处理器120执行。

在一些实施例中，方法800包括图8中未示出的一个或多个附加框。

例如，在一个实施例中，方法800包括附加框，在该附加框中基于在框810处生成的输出数据使得容器被选择性地传送到指定的拒绝区域。例如，这可以由附加传送装置（例如，附加旋转台、星轮、轨道等，如上文参考图2所讨论的）响应于由执行样品移动和图像捕获单元134的（多个）处理器120生成的命令来执行。

作为另一个示例，方法800可以包括与框802到806类似的框，这些框与框802到806并行发生，但用于第二容器/样品（即，为了增加吞吐量）。在这样的实施例中，方法800还可以包括与框808和810类似的附加框，在这些附加框中生成和处理（第二容器的塞子边缘的）附加的二维图像。

尽管已经根据示例性实施例描述了系统、方法、装置及其部件，但是它们不限于此。详细描述仅被解释为是示例性的并且未描述本发明的每个可能的实施例，因为如果有可能的话，描述每个可能的实施例将是不实际的。可以使用当前技术或在本专利申请日之后开发的技术来实施许多替代性实施例，这些实施例仍然落入限定本发明的权利要求的范围内。

本领域技术人员将了解到，在不脱离本发明的范围的情况下，关于上文描述的实施例可以做出各种各样的修改、改变和组合，并且可以将此类修改、改变和组合视为在本发明构思的范围内。

Claims (30)

1.一种用于提高容器自动视觉检查准确度和效率的方法，该方法包括：

将包含样品的容器定向为使得线扫描相机具有该容器的塞子边缘的轮廓视图；

使该容器自旋；

由该线扫描相机并且在使该容器自旋时捕获该塞子边缘的多个图像，其中，该多个图像中的每个图像对应于该容器的不同旋转位置；

由一个或多个处理器并且至少基于该多个图像生成该塞子边缘的二维图像；以及

由执行包括经训练的神经网络的推断模型的一个或多个处理器处理该二维图像的像素，以生成指示该样品有缺陷的可能性的输出数据。

2.如权利要求1所述的方法，进一步包括：

由一个或多个处理器并且基于该输出数据使得该容器被选择性地传送到指定的拒绝区域。

3.如权利要求1所述的方法，其中，该输出数据指示该样品是否包括一种或多种特定类型的一个或多个物体。

4.如权利要求3所述的方法，其中，该经训练的神经网络被配置为区分该样品中的气体填充的气泡与颗粒。

5.如权利要求1所述的方法，其中，处理该二维图像的像素包括将与不同像素相关联的强度值或根据这些强度值得出的其他值应用于该经训练的神经网络的输入层的不同节点。

6.如权利要求1所述的方法，其中，该容器是注射器，该塞子是柱塞，并且该塞子边缘是接触该样品的柱塞圆顶的边缘。

7.如权利要求1所述的方法，其中，定向该容器包括使用机动旋转台或星轮来传送该容器。

8.如权利要求1所述的方法，其中，定向该容器包括倒置该容器以使得该塞子位于该样品之下。

9.如权利要求1所述的方法，其中，使该容器自旋包括围绕该容器的中心轴线旋转该容器至少360度。

10.如权利要求1所述的方法，其中，该线扫描相机是第一线扫描相机，该多个图像是第一多个图像，该容器是第一容器，该二维图像是第一二维图像，并且其中，该方法进一步包括：

在定向该第一容器时，还将第二容器定向为使得第二线扫描相机具有该第二容器的塞子边缘的轮廓视图；

在使该第一容器自旋时，使该第二容器自旋；

在捕获该第一多个图像时，由该第二线扫描相机并且在使该第二容器自旋时捕获该第二容器的塞子边缘的第二多个图像，其中，该第二多个图像中的每个图像对应于该第二容器的不同旋转位置；以及

至少基于该第二多个图像生成第二二维图像。

11.如权利要求1所述的方法，进一步包括：

在处理该二维图像的像素之前，使用容器塞子边缘的标记二维图像来训练该神经网络。

12.如权利要求11所述的方法，包括使用包含样品的容器的标记二维图像来训练该神经网络，这些样品包括不同类型、数量、大小和位置的物体。

13.一种自动视觉检查系统，包括：

线扫描相机；

传送装置，该传送装置用于将包含样品的容器定向为使得该线扫描相机具有该容器的塞子边缘的轮廓视图；

自旋装置，该自旋装置用于使该容器自旋；以及

处理装置，该处理装置用于

在该自旋装置使该容器自旋时，使得该线扫描相机捕获该塞子边缘的多个图像，其中，该多个图像中的每个图像对应于该容器的不同旋转位置，

至少基于该多个图像生成该容器的塞子边缘的二维图像，以及

通过执行包括经训练的神经网络的推断模型来处理该二维图像的像素，以生成指示该样品是否可接受的输出数据。

14.如权利要求13所述的自动视觉检查系统，其中，该传送装置是第一传送装置，并且其中，该自动视觉检查系统进一步包括：

第二传送装置，该第二传送装置用于将该容器传送到指定的拒绝区域，

其中，该处理装置进一步用于

使得该第二传送装置基于该输出数据选择性地将该容器传送到该指定的拒绝区域。

15.如权利要求13所述的自动视觉检查系统，其中，该输出数据指示该样品是否包括特定类型的一个或多个物体。

16.如权利要求15所述的自动视觉检查系统，其中，该经训练的神经网络被配置为区分该样品中的气体填充的气泡与颗粒。

17.如权利要求13所述的自动视觉检查系统，其中，该处理装置至少通过将与不同像素相关联的强度值或根据这些强度值得出的其他值应用于该经训练的神经网络的输入层的不同节点来处理该二维图像的像素。

18.如权利要求13所述的自动视觉检查系统，其中，该容器是注射器，该塞子是柱塞，并且该塞子边缘是接触该样品的柱塞圆顶的边缘。

19.如权利要求13所述的自动视觉检查系统，其中，该传送装置包括机动旋转台或星轮，并且其中，该传送装置至少通过使用该机动旋转台或星轮传送该容器来定向该容器。

20.如权利要求13所述的自动视觉检查系统，其中，该传送装置倒置该容器以使得该塞子位于该样品之下。

21.如权利要求13所述的自动视觉检查系统，其中，该处理装置使得该线扫描相机在该自旋装置使该容器围绕该容器的中心轴线自旋至少360度时捕获该多个图像。

22.如权利要求13所述的自动视觉检查系统，其中：

该线扫描相机是第一线扫描相机，该多个图像是第一多个图像，该容器是第一容器，该样品是第一样品，该传送装置是第一传送装置，该自旋装置是第一自旋装置，该二维图像是第一二维图像，并且该输出数据是第一输出数据；

该自动视觉检查系统进一步包括第二线扫描相机、第二传送装置和第二自旋装置；

该第二传送装置用于在该第一传送装置定向该第一容器时，将第二容器定向为使得该第二线扫描相机具有该第二容器的塞子边缘的轮廓视图；

该第二自旋装置用于在该第一自旋装置使该第一容器自旋时使该第二容器自旋；并且

该处理装置进一步用于：

使得该第二线扫描相机在该第一线扫描相机捕获该第一多个图像时捕获该第二容器的塞子边缘的第二多个图像，

至少基于该第二多个图像生成该第二容器的塞子边缘的第二二维图像，以及

通过执行该推断模型来处理该第二二维图像的像素，以生成指示该第二样品是否可接受的第二输出数据。

23.一种自动视觉检查系统，包括：

线扫描相机；

样品定位硬件，该样品定位硬件被配置为将包含样品的容器定向为使得该线扫描相机具有该容器的塞子边缘的轮廓视图，以及在如此定向时使该容器自旋；以及

存储指令的存储器，这些指令当由一个或多个处理器执行时使得该一个或多个处理器

使得该线扫描相机在该容器自旋时捕获该塞子边缘的多个图像，其中，该多个图像中的每个图像对应于该容器的不同旋转位置，

至少基于该多个图像生成该容器的塞子边缘的二维图像，以及

通过执行包括经训练的神经网络的推断模型来处理该二维图像的像素，以生成指示该样品是否可接受的输出数据。

24.如权利要求23所述的自动视觉检查系统，其中，该输出数据指示该样品是否包括特定类型的一个或多个物体。

25.如权利要求24所述的自动视觉检查系统，其中，该经训练的神经网络被配置为区分该样品中的气体填充的气泡与颗粒。

26.如权利要求23所述的自动视觉检查系统，其中，这些指令使得该一个或多个处理器至少通过将与不同像素相关联的强度值或根据这些强度值得出的其他值应用于该经训练的神经网络的输入层的不同节点来处理该二维图像的像素。

27.如权利要求23所述的自动视觉检查系统，其中，该容器是注射器，该塞子是柱塞，并且该塞子边缘是接触该样品的柱塞圆顶的边缘。

28.如权利要求23所述的自动视觉检查系统，其中，该样品定位硬件包括机动旋转台或星轮，并且至少通过使用该机动旋转台或星轮传送该容器来定向该容器。

29.如权利要求23所述的自动视觉检查系统，其中，该样品定位硬件倒置该容器以使得该塞子位于该样品之下。

30.如权利要求23所述的自动视觉检查系统，其中，这些指令使得该一个或多个处理器：

使得该线扫描相机在该容器围绕该容器的中心轴线自旋至少360度时捕获该多个图像。

Images