CN111432776A - 用于自动药物分配分析的计算机成像预处理 - Google Patents

Abstract

一种方法包括拍摄由收纳器容纳的药物的第一图像。该方法包括基于第一图像创建第二图像。该方法包括确定更可能对应于该收纳器的第二图像的像素的第一子集。该方法包括通过针对每个点进行以下步骤来沿着第一轴线处理第二图像：限定在该点处与第一轴线垂直相交的线，以及计数沿着该线定位的多少个像素在第一子集中。该方法包括确定计数的第一和第二局部最大值。该方法包括基于局部最大值的位置来估计该收纳器的第一边缘和第二边缘的位置。该方法包括基于第一边缘和第二边缘来限定椭圆，以及通过进一步处理排除所限定的椭圆之外的第一图像的区域。

Description

用于自动药物分配分析的计算机成像预处理

相关申请的交叉引用

本申请要求2017年11月22日提交的美国临时申请62/590,255和2018年11月14日提交的美国申请16/190,548的权益。以上引用的申请的全部公开内容通过引用合并于此。

技术领域

本公开涉及图像处理，并且更具体地涉及通过进一步的图像处理步骤排除不相关特征的图像预处理。

背景技术

药房可以根据处方订单处理和配备大量处方。大型药房可以使用自动系统来处理和履行处方。配备处方中的错误，如派药错误时或错误地组合多种药物时，很难检测到。人工检查是非常昂贵的，并且还要忍受人类能力的所有脆弱性。例如，人的注意力可能会转移，人的注意力可能会随着时间而下降，并且人眼可能对分配的药物中的某些差异不敏感。

然而，训练计算机识别药物分配错误是非常困难的。识别可以用来分配药物的无数种方式以及在分配的产品中可以用来排列各个药物项目的无数个角度对计算机算法提出重大挑战。此外，计算机算法可能很难在所分配的药物和药物被分配到的包裹之间进行区分。由于这些原因，许多药房不对每个分配的药物都使用自动检查，而是依靠对分配的药物的小的子集(通常是随机的)的人工抽查。

这里提供的背景描述是为了一般性地给出本公开的背景。在此背景技术部分中所描述的范围内，本发明人的工作，以及在申请时可能无法以其他方式视为现有技术的该描述的各方面，均不明确地或暗示地承认是针对本公开的现有技术。

发明内容

一种机器，包括照相机，所述照相机被配置为拍摄由收纳器收纳的药物的第一图像。所述机器包括：存储器硬件，其存储代码；和处理器硬件，其执行由所述存储器硬件存储的所述代码。所述代码实现颜色处理模块，所述颜色处理模块被配置为基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识。所述代码实现像素标识模块，所述像素标识模块被配置为将所述第二图像的像素分为像素的互斥的第一子集和第二子集。与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器。所述代码实现扫描模块，所述扫描模块被配置为通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：限定垂直于所述第一轴线并在该点与所述第一轴相交的线；计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；并记录计数。所述代码实现最大值检测模块，所述最大值检测模块被配置为确定所述计数的第一局部最大值和所述计数的第二局部最大值。所述代码实现椭圆计算模块，所述椭圆计算模块被配置为：基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置；基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置；以及基于所述第一边缘和所述第二边缘限定椭圆。所述代码实现输出模块，所述输出模块被配置为基于所述第一图像输出处理后的图像。所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

在其他特征中，所述颜色处理模块被配置为，针对所述第一图像的每个像素，生成排除所述第一图像的任何其他像素的所述第二图像的对应像素。在其他特征中，所述颜色处理模块被配置为，针对所述第一图像的每个像素，通过计算该像素的灰度值来生成所述第二图像的所述对应像素。在其他特征中，所述颜色处理模块被配置为，针对所述第一图像的每个像素，通过以下步骤生成所述第二图像的所述对应像素：将所述对应像素的绿色值设置为该像素的绿色值与该像素的蓝色值之和减去该像素的红色值；将所述对应像素的绿色值设置为零；以及将所述对应像素的蓝色值设置为零。

在其他特征中，所述输出模块被配置为在所述处理后的图像中包括元数据。所述元数据标识通过进一步处理排除的所述第一图像的区域。在其他特征中，所述输出模块被配置为将通过进一步处理排除的所述第一图像的区域设置为黑色。在其他特征中，所述最大值检测模块被配置为在所述第二图像的第一区内确定所述第一局部最大值并且在所述第二图像的第二区内确定所述第二局部最大值。所述第一区和所述第二区不重叠。所述第二图像的第三区的大小不为零，不与所述第一区重叠，也不与所述第二区重叠。

在其他特征中，所述扫描模块被配置为，通过针对沿着第二轴线的每个点进行以下步骤来沿着所述第二轴线处理所述第二图像：限定垂直于所述第二轴线并在该点与所述第二轴相交的线；计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；并记录计数。所述代码还实现第二最大值检测模块，所述第二最大值检测模块被配置为确定针对所述第二轴线的所述计数的第一局部最大值和针对所述第二轴线的所述计数的第二局部最大值。所述椭圆计算模块被配置为：基于沿着所述第二轴线的所述第一局部最大值的位置估计所述收纳器的第三边缘的位置；基于沿着所述第二轴线的所述第二局部最大值的位置估计所述收纳器的第四缘的位置；以及基于所述第一边缘、所述第二边缘、所述第三边缘和所述第四边缘限定所述椭圆。

在其他特征中，所述第一轴线平行于所述第一图像的第一边缘，并且所述第二轴线垂直于所述第一轴线。在其他特征中，所述椭圆计算模块被配置为，响应于所述第二局部最大值比所述第一局部最大值小超过预定量，估计所述收纳器的所述第二边缘的位置为所述第一图像的边缘。

一种方法包括拍摄由收纳器收纳的药物的第一图像。所述方法包括基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识。所述方法包括将所述第二图像的像素分为像素的互斥的第一子集和第二子集。与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器。所述方法包括通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：限定垂直于所述第一轴线并在该点与所述第一轴相交的线；计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；并记录计数。所述方法包括确定所述计数的第一局部最大值和所述计数的第二局部最大值。所述方法包括基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置。所述方法包括基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置。所述方法包括基于所述第一边缘和所述第二边缘限定椭圆。所述方法包括基于所述第一图像输出处理后的图像。所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

在其他特征中，创建所述第二图像包括，针对所述第一图像的每个像素，生成排除所述第一图像的任何其他像素的所述第二图像的对应像素。在其他特征中，创建所述第二图像包括，针对所述第一图像的每个像素，通过以下步骤生成所述第二图像的所述对应像素：将所述对应像素的绿色值设置为该像素的绿色值与该像素的蓝色值之和减去该像素的红色值；将所述对应像素的绿色值设置为零；以及将所述对应像素的蓝色值设置为零。

在其他特征中，所述方法包括在所述处理后的图像中包括元数据。所述元数据标识通过进一步处理排除的所述第一图像的区域。在其他特征中，所述方法包括将通过进一步处理排除的所述处理后的图像的区域设置为黑色。在其他特征中，在所述第二图像的第一区内确定所述第一局部最大值。在所述第二图像的第二区内确定所述第二局部最大值。所述第一区和所述第二区不重叠。所述第二图像的第三区的大小不为零，不与所述第一区重叠，也不与所述第二区重叠。

在其他特征中，所述方法包括通过针对沿着第二轴线的每个点进行以下步骤来沿着所述第二轴线处理所述第二图像：限定垂直于所述第二轴线并在该点与所述第二轴相交的线；计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；并记录计数。所述方法包括确定针对所述第二轴线的所述计数的第一局部最大值和针对所述第二轴线的所述计数的第二局部最大值。所述方法包括基于沿着所述第二轴线的所述第一局部最大值的位置估计所述收纳器的第三边缘的位置。所述方法包括基于沿着所述第二轴线的所述第二局部最大值的位置估计所述收纳器的第四缘的位置。所述方法包括基于所述第一边缘、所述第二边缘、所述第三边缘和所述第四边缘限定所述椭圆。

在其他特征中，所述第一轴线平行于所述第一图像的第一边缘，并且所述第二轴线垂直于所述第一轴线。在其他特征中，所述方法包括，响应于所述第二局部最大值比所述第一局部最大值小超过预定量，估计所述收纳器的所述第二边缘的位置为所述第一图像的边缘。

一种非暂时性计算机可读介质存储指令，所述指令包括拍摄由收纳器收纳的药物的第一图像。所述指令包括基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识。所述指令包括将所述第二图像的像素分为像素的互斥的第一子集和第二子集。与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器。所述指令包括通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：限定垂直于所述第一轴线并在该点与所述第一轴相交的线；计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；并记录计数。所述方法包括确定所述计数的第一局部最大值和所述计数的第二局部最大值。所述指令包括基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置。所述指令包括基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置。所述指令包括基于所述第一边缘和所述第二边缘限定椭圆。所述指令包括基于所述第一图像输出处理后的图像。所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

本公开的其他应用领域将从该详细描述、权利要求书和附图而变得显而易见。该详细描述和特定示例仅旨在用于说明性目的，并不旨在限制本公开的范围。

附图说明

可以通过该详细描述和附图来更全面地理解本公开。

图1是用于大型药房的系统的示例性实施方式的功能框图。

图2是根据示例性实施例的可以部署在图1的系统内的示例性药房履行装置的功能框图。

图3是根据示例性实施例的可以部署在图1的系统内的示例性订单处理装置的功能框图。

图4是假设的分配系统的侧视图的图形表示以及功能框图。

图5A是根据本公开的原理的预处理之前的示例性图像。

图5B是对图5A的图像施加了根据本公开的原理的图像预处理后的示例性图像。

图6是对图像进行逐片分析的图形示例。

图7是通过逐片分析图像而获取的示例性数据的标绘图。

图8是根据本公开的原理的示例性处理硬件的功能框图。

图9是根据本公开的原理的示例性预处理模块的功能框图。

图10是高级药房处理的流程图。

图11A和11B一起形成根据本公开的原理的示例性预处理操作的流程图。

图12是以计算机系统的示例性形式的机器的功能框图，在其中可以执行或存储用于使该机器执行本文所讨论的方法的一组处理器可执行指令。

在附图中，附图标记可被重复使用以标识相似和/或相同的元件。

具体实施方式

引言

描述了用于计算机成像预处理的示例性系统和方法，用于例如药房中的自动药物分配分析。通常，针对大型药房产生处方订单。处方订单可以包括用于履行的不止一种处方药。处方订单中的每种处方药都是处方订单的订单组成部分。通常，订购组成部分是药瓶、液体瓶、罩板包装(blister pack)、使用单位包装、可注射包装、喷雾瓶、试管、安瓿、滴剂、隔热箱、防儿童使用的容器或其中包含一定数量的处方药的其他包装。

虽然本公开中描述的药物将被称为处方药，但是本公开的原理也适用于非处方药。此外，尽管各种收纳器都能够收纳处方药，但是本公开将专注于作为圆柱形瓶的示例性容器。一般而言，分配设备将根据处方订单的处方药分配到瓶(有时称为药瓶)中。为了确保将正确的药物分配到瓶中，包括不包含意外的处方药(甚至是单个)，从瓶上方拍摄照片。对照片进行处理，以确定瓶中的处方药与处方订单相符并且不包含任何意外处方药的置信度。

许多因素影响图像质量，例如照明、照相机相对于瓶的位置、照相机相对于瓶的角度、照相机镜头的清洁度等。此外，在不同的分配线和不同的分配设施上硬件设置可能不同。另外，每个图像通常包括瓶外部的一些区域，或者，如果减小了成像区域，则可能在图像中省略瓶本身的部分。在可以进行自动图像分析之前，可以执行预处理以识别瓶的边缘。一旦识别出瓶的边缘，图像分析就可以忽略瓶外部的区域。此外，预处理可以排除瓶的一些或全部，从而图像处理只能集中在处方药上。

通过增强对比度或执行其他颜色处理，通常可以用最暗的像素来显示瓶。识别出图像中最暗的像素后，逐列分析图像。在知道瓶将是圆形或至少是椭圆形的情况下，分析图像的前三分之一和后三分之一以尝试识别瓶的边缘。分析图像的左三分之一以识别药瓶的可能的左边缘，并且分析右三分之一以识别药瓶的可能的右边缘。

每列最大数量的暗像素将出现在瓶的边缘。因此，最大数量的暗像素建立瓶的边缘。如果前三分之一和后三分之一中最大数量的像素数非常不同，则像素的峰值数量很低的边缘实际上可能在图像的边界之外。图像中没有边缘说明为什么暗像素的峰值数量如此之低。

在逐列分析图像之后，分析切换到逐行建立药瓶的顶部和底部边缘。在限定了四个边缘之后，基于边缘的位置计算椭圆。椭圆的所有外部都可能通过进一步分析被排除。应用这种预处理可以显著减少误报的数量，在误报中，机器视觉系统认为不需要的处方药已分配到瓶中。预处理还可以减少瓶中存在不需要的处方药但未被识别的误报。

高层框图

图1是根据示例性实施例的用于大型药房的系统100的示例性实施方式的框图。尽管通常将系统100描述为部署在大型药房或履行中心(例如，邮购药房、直接递送药房等)中，但是系统100和/或其组件可以以其他方式部署(例如，在小型药房等)。大型药房可以是能够自动地、机械地、手动地或以其组合填充处方的药房。系统100可以包括直接和/或通过网络104彼此通信的福利管理方装置102、药房装置106和用户装置108。该系统还可以包括存储装置110。

福利管理方装置102是由至少部分负责创建和/或管理药房或药品福利的实体操作的装置。尽管操作福利管理方装置102的这种实体通常是药房福利管理方(pharmacybenefit manager,PBM)，但是其他实体也可以代表他们自己(即，PBM)或其他实体来操作福利管理方装置102。例如，福利管理方装置102可以由健康计划、零售药房链、药品批发商、数据分析或其他类型的软件相关公司等来操作。在一些实施例中，提供药房福利的PBM还可以提供一种或多种其他福利，包括医疗或健康福利、牙科福利、视力福利、健康福利、放射学福利、宠物护理福利、保险福利、长期护理福利、疗养院福利等。除了其PBM操作外，PBM还可以操作一家或多家药房。该药房可以是零售药房、邮购药房等。

操作福利管理方装置102的PBM的某些操作可以包括以下活动和过程。药房福利计划的会员(或代表会员的人)可以在零售药房(例如，实体店等)从药剂师或助理药剂师那里获得处方药。会员还可以通过邮购药品寄送从可以是系统100的邮购药房获得处方药。在一些实施例中，会员可以通过使用机器直接或间接获得处方药，例如信息亭、自动售货机、移动电子装置、或其他类型的机械、电气、电子通信装置和/或计算装置。这样的机器可以由系统100以可以包括多个处方成分的处方包装填充处方药。药房福利计划由或通过福利管理方装置102管理。

会员可以具有处方药的共担额，共担额反映会员负责为处方药支付药房的金额。会员支付给药房的钱可以来自会员的个人资金、会员或会员家庭的健康储蓄账户(HSA)、会员或会员家庭的健康报销安排(HRA)、会员或会员家庭的弹性消费账户(FSA)等。在某些情况下，会员的雇主可以直接或间接为会员支付或报销共担额。

会员所需的共担额的金额可能因具有不同计划发起者或客户和/或针对不同处方药的不同药房福利计划而异。对于某些处方药、某些类型和/或类别的处方药和/或所有处方药，会员的共担额可以是固定共担额(例如，10美元等)、共同保险(例如，10％等)和/或自付额(例如，年度处方药费用的前500美元等)。共担额可以存储在存储装置110中或由福利管理方装置102确定。

在某些情况下，会员可以不支付共担额，或者仅支付处方药的部分共担额。例如，如果普通版本的处方药的常规成本为4美元，并且对于该处方药会员的固定共担额为20美元，则会员可以只需支付4美元即可收到该处方药。在涉及工人补偿理赔的另一个示例中，会员可能无需支付处方药的共担额。

另外，共担额还可以基于用于待接收的处方药的不同递送渠道而变化。例如，从邮购药房接收处方药的共担额可以小于从零售药房接收处方药的共担额。

从会员接收到共担额(如果有的话)并将处方药分配给会员之后，药房向PBM提出关于该处方药的理赔。在接收到理赔之后，PBM(例如，福利管理方装置102)可以执行某些裁决操作，包括核实会员的资格、识别/审查适用于会员的配方以确定任何适当的共担额、共同保险和处方药可扣除额，并对该会员进行药物使用审查(DUR)。此外，在执行至少一些前述操作之后，PBM可以对药房(例如药房系统100)提供响应。

作为裁决的一部分，当处方药被成功裁决时，计划发起者(或代表计划发起者的PBM)最终为药房进行报销以填充处方药。

前述的裁决操作通常发生在收到共担额和分配处方药之前。但是，在某些情况下，这些操作可以同时、基本同时或以不同的顺序发生。另外，可以作为裁决过程的至少一部分来执行或多或少的裁决操作。

可以至少部分地基于包括药房的药房网络的类型来确定由计划发起者支付给药房的报销金额和/或由会员支付的钱数。在一些实施例中，还可以基于其他因素来确定该金额。例如，如果会员在不使用PBM提供的处方或药品福利的情况下为处方药向药房支付，那么会员支付的金额可能会高于会员使用处方或药品福利的情况。在一些实施例中，药房收到的用于分配处方药和处方药本身的金额可能高于会员使用处方或药品福利时的金额。可以通过执行存储在福利管理方装置102和/或附加装置中的指令来执行一些或所有前述操作。

网络104的示例包括移动通信(GSM)网络、码分多址(CDMA)网络、第三代合作伙伴计划(3GPP)、因特网协议(IP)网络、无线应用协议(WAP)网络、WiFi网络或IEEE 802.11标准网络及其各种组合。网络104可以包括光网络。网络104可以是局域网或全球通信网络，例如因特网。在一些实施例中，网络104可以包括专用于处方订单的网络，例如，处方网络，如由弗吉尼亚州阿灵顿的Surescripts操作的电子处方网络。

此外，尽管该系统示出了单个网络104，但是可以使用多个网络。多个网络可以彼此串联通信以链接装置102-110，或者可以并行通信以链接装置102-110。

药房装置106可以是与零售药房(例如，独家药房，具有零售药房的杂货店或具有零售药房的一般销售店)或其他类型的药房相关联的装置，会员试图在此获得处方。药房可以使用药房装置106将理赔提交给PBM进行裁决。

另外，在一些实施例中，药房装置106可以使药房和PBM之间能够进行信息交换，例如，以允许诸如药物历史等的会员信息的共享，这可以允许药房更好地为会员服务(例如，通过提供更明智的治疗咨询和药物相互作用信息等)。在一些实施例中，福利管理方装置102可以在非会员或尚未将自己识别为会员的患者试图拥有药房开的处方时(或与该时间结合)跟踪他们的处方药履行和/或其他信息。

药房装置106可以包括直接和/或通过网络104彼此通信的订单处理装置114、药房管理装置116和药房履行装置112。

订单处理装置114可以接收有关填写处方的信息，并且可以将订单组成部分定向到药房中药房履行装置112的一个或多个装置。药房履行装置112可以根据订单处理装置114指示的一个或多个处方订单来履行、分配、汇总和/或打包处方药的订单组成成分。可以将订单处理装置114部署在系统100中，或者可以以其他方式使用。

通常，订单处理装置114是位于药房内的或与药房相关联的装置，以使得能够由药房履行装置112履行处方并分配处方药。在一些实施例中，订单处理装置114可以是与药房分开并与药房内的其他装置通信的外部订单处理装置。

例如，外部订单处理装置可以与内部药房订单处理装置和/或位于系统100内的其他装置进行通信。在一些实施例中，外部订单处理装置可以具有有限的功能(例如，由要求履行处方药的患者操作)，而内部药房订单处理装置可具有更大的功能(例如，由药剂师操作)。

订单处理装置114可以跟踪由药房履行装置112履行的处方订单。处方订单可以包括一种或一种以上要由药房填充的处方药。订单处理装置114可以针对特定处方订单做出药房路由决策和/或订单合并决策。药房路由决策包括药房中的哪些装置负责填充或以其他方式处理处方订单的某些部分。订单合并决策包括是否应将一个处方订单或多个处方订单的多个部分一起运送给患者或患者家属。订单处理装置114还可以跟踪和/或安排与每个处方订单或一起运送的多个处方订单相关的图文(literature)或文书工作(paperwork)。在一些实施例中，定单处理装置114可以与药房管理装置116结合操作。

订单处理装置114可以包括电路、处理器、用于存储数据和指令的存储器以及通信功能。订单处理装置114专用于执行本文所述的过程、方法和/或指令。也可以使用其他类型的电子装置，该电子装置被专门配置为实施本文所述的过程、方法和/或指令。

在一些实施例中，定单处理装置114的至少一些功能可以被包括在药房管理装置116中。定单处理装置114可以与药房管理装置116处于客户-服务器关系，与药房管理装置116处于点对点关系，或与药房管理装置116处于不同类型的关系。订单处理装置114和/或药房管理装置116可以直接(例如，通过利用本地存储等)和/或通过网络104(例如，通过利用云配置或软件作为服务等)与存储装置110通信。

用户装置108由装置操作员使用。装置操作员可以是与软件开发项目相关联的用户(例如，雇员、承包商、福利会员等)。其他装置操作员也可以操作用户装置108。

用户装置108可以是仅提供至少一些功能以使得能够进行软件开发风险的分析的独立设备，或者可以是具有软件开发风险分析之外的功能的多用途装置。用户装置108的示例包括机顶箱子(STB)、接收卡、移动电话、个人数字助理(PDA)、显示装置、便携式游戏机和计算系统等。然而，也可以使用其他装置。在一些实施例中，计算系统可以包括移动计算装置。例如，用户装置108可以包括移动电子装置，如苹果公司的iPhone或iPad、谷歌公司的Android驱动的移动电子装置、以及Research In Motion Limited的黑莓。用户装置108还可以包括其他计算装置，如台式计算装置、笔记本计算装置、上网本计算装置、游戏装置等。也可以使用其他类型的电子装置。

存储装置110可以包括：与福利管理方装置102、药房装置106和/或用户装置108直接和/或通过网络104通信的非暂时性存储(例如，存储器、硬盘、CD-ROM等)。该非暂时性存储可以存储订单数据118、会员数据120、理赔数据122、药品数据124、处方数据126和/或计划发起者数据128。此外，系统100可以包括其他装置，这些装置可以直接或通过网络104相互通信。

订单数据118可以与处方订单有关。订单数据可以包括处方药的类型(例如，药物名称和强度等)和处方药的数量等。订单数据118还可以包括用于完成处方的数据，如处方材料。通常，处方材料包括与处方药有关的信息的电子副本，以包含已履行的处方或以其他方式与其结合。处方材料可以包括关于药物相互作用警告、推荐用法、可能的副作用、有效期、开药日期等的电子信息。订单数据118可以由大型履行中心用来履行药房订单。

在一些实施例中，订单数据118包括与药房中的处方的履行相关联的核实信息。例如，订单数据118可以包括以下视频和/或图像：(i)分配之前、分配期间和/或分配后拍摄的处方药视频和/或图像；(ii)分配之前、分配期间和/或分配之后拍摄的用于容纳处方药的处方容器(例如，处方药瓶和密封盖、处方包装等)的视频和/或图像；(iii)分配之前、分配期间和/或分配之后拍摄的用于运送或以其他方式递送处方药的包装和/或包装材料的视频和/或图像；和/或(iv)药房内履行过程的视频和/或图像。其他类型的核实信息，如从用于在药房内运输处方的货盘、箱、托盘、手推车等读取的条形码数据，也可以被存储为订单数据118。

会员数据120包括关于与PBM相关联的会员的信息。存储为会员数据120的信息可以包括个人信息、个人健康信息、受保护的健康信息等。会员数据120的示例包括姓名、地址、电话号码、电子邮件地址、处方药历史记录等。会员数据120可以包括识别与该会员相关联的计划发起者的计划发起者标识符和/或向该计划发起者标识该会员的会员标识符。会员数据120可包括识别与患者相关联的计划发起者的会员标识符和/或向计划发起者识别患者的患者标识符。会员数据120还可以例如包括分配偏好，如标签的类型、盖的类型、消息偏好、语言偏好等。

会员数据120可由药房中的各种装置(例如，大型履行中心等)访问，以获得用于履行和运送处方订单的信息。在一些实施例中，由会员或代表会员操作的外部订单处理装置可以访问会员数据120的至少一部分，以进行审查、核实等或其他目的。

在一些实施例中，会员数据120可以包括关于是药房的患者但不是由PBM提供的药房福利计划中的会员的人的信息。例如，这些患者可以通过药房、大型履行中心或其他方式提供的私人标签服务直接从药房获得药物。通常，术语会员和患者在本文中可以互换使用。

理赔数据122包括关于在PBM提供的药物福利计划下PBM裁决的针对一个或多个计划发起者的药房理赔的信息。通常，理赔数据122包括发起针对其进行理赔的药物福利计划的客户的标识、和/或购买引起该理赔的处方药的会员的标识、由药房填充的处方药的标识(例如国家药品代码等)、分配日期、通用指标、GPI编号、药品类别、在药品福利计划下提供的处方药的成本、共担额/共同保险金额、回扣信息以及/或会员资格等。也可以包括其他信息。

在一些实施例中，可以将处方药理赔以外的其他类型的理赔存储在理赔数据122中。例如，可以将会员的医疗理赔、牙科理赔、健康理赔或其他类型的与健康相关的理赔存储为理赔数据122的一部分。

在一些实施例中，理赔数据122包括识别与该理赔相关的会员的理赔。在一些实施例中，理赔数据122包括已经被去标识的理赔(例如，与唯一标识符相关联但不与特定的可识别的会员相关联等)。

药数据124可以包括药物名称(例如，技术名称和/或通用名称等)、用来知道该药物的其他名称、有效成分、药物的图像(例如，药丸形式)等。药数据124可以包括与单一药物或多种药物相关的信息。

处方数据126可以包括关于处方的信息，该处方可以由开方者代表患者开出，该患者可以是药房福利计划的会员，例如由药房填写。处方数据126的示例包括患者姓名、药物或治疗(如实验室检查)、剂量信息等。处方可以是电子处方、已扫描的纸质处方或其他方式。在一些实施例中，剂量信息反映使用频率(例如，每天一次、每天两次、每餐之前等)和使用时间(例如，几天、一周、几周、一月等)。

在一些实施例中，订单数据118可以链接到相关联的会员数据120、理赔数据122、药数据124和/或处方数据126。

计划发起者数据128包括关于PBM的计划发起者的信息。计划发起者数据128的示例包括公司名称、公司地址、联系人姓名、联系人电话号码、联系人电子邮件地址等。

图2示出了根据示例性实施例的药房履行装置112。药房履行装置112可用于处理和履行处方和处方订单。履行后，将已履行的处方打包以进行运输。

药房履行装置112可以包括直接或通过网络104与福利管理方装置102、订单处理装置114和/或存储装置110通信的装置。特别地，药房履行装置112可以包括托盘定尺寸和定位(pucking)装置206、加载装置208、检查装置210、使用单元装置212、自动分配装置214、手动履行装置216、审查装置218，成像装置220、加盖装置222、累积装置224、打包装置226、图文装置228、使用单元打包装置230和邮件清单装置232。此外，药房履行装置112可以包括其他装置，这些装置可以直接或通过网络104相互通信。

在一些实施例中，可以顺序地执行由这些装置206-232之一执行的操作，或者与另一装置的操作并行地执行，这可以由订单处理装置114协调。在一些实施例中，订单处理装置114基于一个或多个装置206-232执行的操作跟踪药房的处方。

在一些实施例中，药房履行装置112可以通过使用托盘在大型履行中心，例如在多个装置206-232之间运送处方药容器。托盘定尺寸和定位装置206可在托盘中配置定位器(puck)。托盘可以是用于多个处方容器的运输结构，并且可以包括多个腔。可以通过托盘定尺寸和定位装置206在托盘中的一个或多个腔中放置定位器。定位器可以包括尺寸和形状可容纳处方容器的收纳器。这样的容器可以在托盘中运输期间由定位器支撑。不同的定位器可以具有不同尺寸和形状的收纳器，以容纳不同尺寸的容器，这可以适用于不同的处方。

托盘中的定位器的布置可以由订单处理装置114基于订单处理装置114决定开出的处方来确定。布置逻辑可以直接在托盘定尺寸和定位装置206中实现。在设置了要开出的处方之后，可以通过机械臂或拾取器将适合于该处方的合适尺寸的容器的定位器放置在托盘中。在在托盘中配置了定位器之后，托盘定尺寸和定位装置206可以启用托盘。

加载装置208可以通过机械臂、拾取和放置机构等将处方容器加载到托盘上的定位器中。在一个实施例中，加载装置208具有机械臂或拾取器，以抓握处方容器并将其移入或移出托盘或定位器。加载装置208还可以打印适合于要加载到托盘上的容器的标签，并将标签应用到容器上。在这些操作期间，托盘可以位于传送机组件上(例如，在大型履行中心等处)。

检查装置210可以核实托盘中的容器被正确标记并且在托盘上的正确位置。检查装置210可以扫描托盘上的一个或多个容器上的标签。容器的标签可以由检查装置210全部或部分地扫描或成像。这种成像可以在通过机械臂、拾取器等将容器从其定位器提出之后进行，或者可以在其保留在定位器中的同时进行扫描或成像。在一些实施例中，由检查装置210拍摄的图像和/或视频可以作为订单数据118存储在存储装置110中。

使用单元装置212可以临时存储、监视、标记和/或分配使用单元产品。通常，使用单元产品是处方药产品，其可以被交付给患者或会员而无需在药房重新包装。这些产品可以包括容器中的药丸、罩板包装中的药丸、吸入器等。由使用单元装置212分配的处方药产品可以单独包装或共同包装以便运输，或者可以与大型履行中心的其他装置分配的其他处方药组合运输。

装置206-232的至少一些操作可以由订单处理装置114指示。例如，手动履行装置216、审查装置218、自动分配装置214和/或打包装置226等可以接收由订单处理装置114提供的指令。

自动分配装置214可以包括一个或多个装置，该装置根据一个或多个处方订单将处方药或药品分配到处方容器中。通常，自动分配装置214可以包括机械和电子部件，在一些实施例中，具有软件和/或逻辑以促进药物分配，否则将由药剂师和/或助理药剂师以手动方式执行。例如，自动分配装置214可以包括快速填充多种处方药类型的大型填充器以及将药物分配到罩板中并打包的罩板包装机。由自动分配装置214分配的处方药可以单独包装或集中包装以便运输，或者可以与大型履行中心的其他装置分配的其他处方药组合运输。

手动履行装置216可以提供处方的手动履行。例如，手动履行装置216可以接收或获得容器，并且使药剂师或助理药剂师能够履行该容器。在一些实施例中，手动履行装置216将填充后的容器提供给药房履行装置112中的另一装置，以与其他容器按患者或会员的处方订单中的其他容器接合。通常，手动履行可包括至少部分由药剂师或助理药剂师执行的操作。例如，人可以取回所供应的处方药，可以进行观察，可以计数处方药的量并将其放入处方容器中等。手动履行过程的某些部分可以通过使用机器来自动化。例如，胶囊、片剂或药丸的计数可以至少部分地自动化(例如，通过使用药丸计数器等)。可以将由手动履行装置216分配的处方药单独地或共同地包装以便运输，或者可以与大型履行中心的其他装置分配的其他处方药组合地运输。

检查装置218可以处理要由药剂师审查的处方容器，以进行适当的药丸计数、异常处理、处方核实等。如州或地方法律要求，可以由药剂师手动审查和/或核实已履行的处方。可以根据当地和/或其他法律分配某些药物的药剂师或其他有执照的药房人员可以操作审查装置218并目视检查已装有处方药的处方容器。药剂师可以审查，核实和/或评估药物数量、药物强度和/或药物相互作用问题，或者以其他方式执行药剂师服务。药剂师还可以处理已标记为例外的容器，如带有不可读标签的容器、已取消关联处方订单的容器、带有缺陷的容器等。在示例中，可以在手动站执行手动审查。

在容器已经填充有药品之后，成像装置220可以对容器进行成像。成像装置220可以基于所获得的图像来测量容器中药物的填充高度，以在给定药物类型和处方中的药丸数量的情况下确定容器是否被填充至正确的高度。还可获取容器中药丸的图像，以检测药丸本身的大小及其上的标记。图像可以被发送到订单处理装置114和/或作为订单数据118的一部分存储在存储装置110中。

加盖装置222可以用于加盖或以其他方式密封处方容器。在一些实施例中，加盖装置222可以根据患者的偏好(例如，关于儿童抵抗等的偏好)、计划发起者的偏好、开方者的偏好等，用一种类型的盖来固定处方容器。加盖装置222也可以将消息蚀刻到盖中，但是该过程也可以由大型履行中心中的后续设备执行。

累积装置224累积处方订单中处方药的各种容器。累积装置224可以累积来自药房的各种装置或区域的处方容器。例如，累积装置224可以累积来自大型履行中心的使用单元装置212、自动分配装置214、手动履行装置216和审查装置218的处方容器。累积装置224可以用于在将处方容器运送到会员等之前对处方容器进行分组。

图文装置228打印或以其他方式生成图文，以包括处方药订单。图文可以印刷在多片基材上，如纸、涂布纸、可印刷的聚合物或其组合。由图文装置228打印的图文可以包括伴随包括在处方订单中的处方药所需的信息、与订单中的处方药有关的信息、与订单相关的财务信息(例如，发票或对帐单等)。

在一些实施例中，图文装置228折叠或以其他方式准备图文，以包括处方药订单(例如，在运输容器中等)。在一些实施例中，打印图文的图文装置228可以与准备包括处方订单的图文的图文装置分开。

打包装置226包装处方订单以准备运输订单。打包装置226可以装箱、装袋或以其他方式包装已履行的处方订单以进行递送。打包装置226可以进一步将插入物(例如，图文或其他纸等)放置在从图文装置228等接收的包装中。例如，大宗处方订单可以装在箱子中，而其他处方订单可以装在袋中，袋可以是包装密封袋。

打包装置226可以将地址和收件人的名字贴在箱子或袋上。标签可以被印刷并粘贴到袋或箱子上，可以被直接印刷到袋或箱子上，或者以其他方式与袋或箱子等相关联。打包装置226可以将箱子或袋分类以便以有效的方式邮寄(例如，按送货地址排序等)。打包装置226可包括用于处方的冰或温度敏感元件，其在运输期间将被保持在温度范围内，以保持功效等。然后，可以通过邮政、通过陆运和/或空运运送的邮购订单递送服务(例如，UPS，FEDEX或DHL等)、通过递送服务、通过运送站的储物柜(例如，AMAZON储物柜或PO Box等)或通过其他方式运送最终包装。

使用单元打包装置230包装使用单元处方订单以准备运输订单。使用单元打包装置230可以包括手动扫描要装袋以便运输的容器，以核实订单中的每个容器。在示例性实施例中，可以在手动站执行手动扫描。药房履行装置112还可以包括邮件清单装置232，以打印由打包装置226使用的邮寄标签，并且可以打印运输清单和打包列表。

虽然图2中的药房履行装置112被示出为包括单个装置206-232，但是也可以使用多个装置。装置206-232可以是相同类型或型号的装置，或者可以是不同类型或型号的装置。当存在多个装置时，多个装置可以具有相同的装置类型或型号，也可以具有不同的装置类型或型号。图2中所示的装置206-232的类型是示例性装置。在系统100的其他配置中，可以包括更少的、附加的或不同类型的装置。

此外，多个装置可以共享处理和/或存储器资源。装置206-232可以位于相同区域或不同位置。例如，装置206-232可以位于建筑物或一组相邻建筑物中。装置206-232可以互连(例如，通过传送机等)、联网和/或以其他方式彼此接触或彼此集成(例如，在大型履行中心等)。另外，装置的功能可以在多个离散装置之间划分和/或与其他装置组合。

图3示出了根据示例性实施例的订单处理装置114。订单处理装置114可以由一个或多个操作员使用，以生成处方订单，做出路由决策，做出处方订单合并决策，使用系统100跟踪图文和/或查看订单状态和其他与订单相关的信息。例如，处方订单可以包括订单组成部分。

订单处理装置114可以在没有操作员干预的情况下接收指令以履行订单。订单组成部分可以包括通过使用容器通过系统100履行的处方药。订单处理装置114可以包括订单核实子系统302、订单控制子系统304和/或订单跟踪子系统306。在订单处理装置114中也可以包括其他子系统。

订单核实子系统302可以与福利管理方装置102进行通信，以核实会员的资格并审查配方以确定处方药的适当共担额、共同保险和自付额和/或执行DUR。可以出于各种目的执行订单核实子系统302与福利管理方装置102之间的其他通信。

在通过系统100的进行期间，订单控制子系统304控制容器和/或托盘的各种运动以及各种填充功能。在一些实施例中，订单控制子系统304可以识别能够由自动分配装置214履行的一个或多个处方订单中的处方药。订单控制子系统304可以确定要开出哪些处方，并且可以确定要开出的自动填充容器的托盘。

订单控制子系统304可以确定要开出特定药品的自动填充处方，并且可以检查等待履行将要填充相同药品的其他处方的订单队列。然后，订单控制子系统304可以将具有类似自动填充药品需求的订单一起在托盘中发送到自动分配装置214。由于装置206-232可以通过传送机系统或其他容器移动系统互连，因此订单控制子系统304可以控制各种传送机以将托盘从加载装置208输送到手动履行装置216，例如从图文装置228输送托盘以根据填充处方的需要输送文书工作。

订单跟踪子系统306可以随着履行的执行(或停止)跟踪处方订单。订单跟踪子系统306可以跟踪、记录和/或更新订单历史、订单状态等。订单跟踪子系统306可以将数据存储在本地(例如，在存储器等中)或作为存储在存储装置110中的订单数据118的一部分。

分析设备

在图4中，诸如自动分配装置214的分配装置404将药物分配到瓶408中。仅出于说明的目的，将瓶408定位在传送机412上。瓶416已经通过传送机412从分配设备404移动到照相机420可以拍摄瓶416的照片的位置。照相机420可以由成像装置220实现。在各种实现中，传送机412可以停止以便拍摄照片。在其他实施方式中，当瓶416位于照相机420的大致下方时，照相机420可以拍摄照片。

处理硬件424分析照片以评估是否将正确的药物分配到瓶416中，并确定在瓶416中包括不需要的药物的可能性。如果包括不需要的药物或者完全配错药物的可能性足够高，则处理硬件424可以警告操作员接口428。例如，操作员接口428可以包括灯、蜂鸣器或电子通知(例如文本消息)。

包装设备432执行各种任务，包括在瓶416上加盖并将瓶416放入可以容纳多个瓶的包装中。例如，箱子可以容纳大量瓶，然后将箱子运送到分销商。在其他实施方式中，包装设备432将瓶416与少量其他瓶一起打包到单个订单中以交付给顾客。如果处理硬件424确定瓶416可能具有一种或多种不需要的药物，则分流器436可以使瓶416转向。分流器436可以将瓶416移到一边以供人观察或可以将瓶416丢弃。然后分配设备404可以在瓶416被转移之后填充另一个瓶，或者可以等待来自手动操作员的进一步输入。

实例分析

在图5A中，示出了例如由图4的照相机420从平面视角拍摄的瓶的示例图像。注意，瓶的右侧被截去，并且示出了与瓶相关联的例如在450和452处的塑料肋。在根据本公开的原理执行预处理之后，可能会得到诸如图5B所示的图像。大部分瓶已被去除，肋450、452被缩短到桩部(stub)460、462。这允许图像处理将重点放在瓶内的药物上，并避免由于肋和瓶其他组件产生的假阳性。

在图6中，示出了图像预处理的简化图形表示。首先，识别可能对应于瓶的图像像素。这些可以被称为候选像素。如下面更详细描述的，可以选择图像中最暗的25％的像素作为候选像素。在图6中，示出了候选像素并形成局部环。在真实图像中，候选像素不太可能形成这样清晰限定的环，实际上，可以预期某些候选像素甚至不会连续。

假设沿着水平轴线的图像的前三分之一将包括瓶的左侧，并且沿着水平轴线的图像的后三分之一将包括瓶的右侧，对图像的每一列分别进行分析以计算每列中出现了多少个候选像素。

当候选像素形成清晰限定的环时，如图6所示，环内边缘的列在图像的前三分之一内将具有最大的像素数。该列大约用参考数字480表示。每当您离开列480时，每列中的候选像素数都会减少。

在图7中，曲线图示出了在Y轴上的候选像素的数量的计数，其中X轴是图像的水平坐标(列数)。在图7中，针对图像的左三分之一内的计数确定峰值水平484，并且针对图像的右三分之一内的计数确定峰值水平488。如果峰值水平484和488之间的差异太大，则可能表明图像的具有较低峰值水平的一侧不包括瓶的边缘。例如，看图6中，瓶的右侧不见了，因此，在图像的右三分之一中的每列候选像素的峰值计数永远不会与在图像的左三分之一中一样高。

处理硬件

在图8中，处理硬件500的功能框图包括预处理模块504，该预处理模块504从照相机420接收图像并且将处理后的图像提供给分配分析模块508。分配分析模块确定是否存在误分配药物的可能性，并将该可能性报告给质量分析模块512以及补救措施模块516。质量分析512即时跟踪明显的分配错误。补救措施模块516可以启动操作员接口428和/或分流器436。

在图9中，预处理模块504的示例实现的功能框图包括颜色调整模块604。颜色调整模块604与输出模块608一样接收图像的副本。颜色调整模块604调整图像的颜色以使药丸的瓶本身更易于识别。例如，颜色调整模块604可以增加图像的对比度。在各种实施方式中，颜色调节模块可以根据以下描述的公式设置每个像素的红色、绿色和蓝色值。

像素识别模块612基于颜色调整后的图像来识别可能是瓶的一部分的像素。多轴扫描模块616沿着多个轴线输出这些可能像素的计数。例如，将像素的每列的可能像素的计数提供给第一最大值检测模块620，同时将图像的每一行中的可能像素的计数提供给第二最大值检测模块624。

第一最大值检测模块620可以确定图像的第一区域内的最大值和图像的第二区域内的最大值。这些值可以被称为h1和h3。例如，当第一最大值检测模块620分析水平轴线时，第一区域可以是图像的左手三分之一，而第二区域可以是图像的右手三分之一。因此，第一最大值检测模块620不分析图像的剩余的中间三分之一。

第二最大值检测模块624可以确定图像的第一区域内的最大值和图像的第二区域内的最大值。这些值可以称为v1和v3。例如，当第一最大值检测模块620分析垂直轴线时，第一区域可以是图像的顶部三分之一，而第二区域可以是图像的底部三分之一。因此，第二最大值检测模块624不分析图像的剩余的中间三分之一。

椭圆计算模块628基于由第一最大值检测模块620沿着第一轴线检测到的最大值的位置来限定椭圆，第一最大值检测模块620限定椭圆的第一轴的端点。椭圆还基于第二最大值检测模块624沿着第二轴线检测到的最大值的位置，第二最大值检测模块624限定椭圆的第二轴线的端点。椭圆的两个轴中的较长者称为主轴，而椭圆的两个轴中的较短者称为短轴。

如果沿轴线的两个最大值之间的差大于预定值，则可以假设最大值的下限不是瓶的边缘，而是瓶的边缘是在图像的边缘。椭圆的相应轴的端点因此将设置为图像的边缘。预定值可以是两个最大值中较大者的20％，或者可以是垂直于轴线的方向上图像大小的20％。

在各种实施方式中，由椭圆计算模块628限定的椭圆可以是圆，即，椭圆的长轴和短轴的长度相等。例如，椭圆计算模块628可以平均椭圆的长轴和短轴以确定圆的直径。在其他实施方式中，椭圆计算模块628可以选择长轴或短轴之一作为圆的直径。

椭圆计算模块628可以如下计算椭圆的边界：

瓶x和y坐标的中心：[(h1+h3)/2,(v1+v3)/2]

顶部中心边缘(T)：[(h1+h3)/2,v1]

底部中央边缘(B)：[(h1+h3)/2,v3]

右中心边缘(R)：[h3,(v1+v3)/2]

左中央边缘(L)：[hi,(v1+v3)/2]

瓶半径(RAD)：max[(h1+h3)/2,(v1+v3)/2]

左上边缘：[(h1+h3)/4,(v1+v3)/2-sin(pi/4)<*>RAD]

右上边缘：[3<*>(h1+h3)/4,(v1+v3)/2-sin(pi/4)<*>RAD]

左下边缘：[(h1+h3)/4,(v1+v3)/2+sin(pi/4)<*>RAD]

右下边缘：[3<*>(h1+h3)/4,(v1+v3)/2+sin(pi/4)<*>RAD]

输出模块608使用计算出的椭圆来调整原始图像的副本。该调整可以包括创建识别在处理时应当忽略的像素的元数据，或者可以包括调整要忽略的像素。例如，元数据可以嵌入在图像文件中，或者可以与图像文件结合提供。调整要忽略的像素可以包括将要忽略的像素设置为预定的颜色，例如黑色。输出模块608将处理后的图像输出到图8的分配分析模块508。

流程图

在图10中，示出了质量控制系统的整体操作的流程图。控制从704开始，在704如果已经将药物分配到瓶中，则控制在708继续；否则，控制保持在704。在708，控制从打开的瓶上方拍摄图像。在712，控制例如通过去除瓶外部的区域来预处理图像。

在716，控制基于预处理图像的处理来识别误分配药物的可能性。例如，首先在药丸图像上训练诸如卷积神经网络(CNN)之类的机器学习(ML)模型，该模型拍摄诸如颜色、形状、大小和标记之类的特征。图像可以是在药丸的不同方向上拍摄的单个药丸的高分辨率图像。然后将预处理后的图像提供给受过训练的CNN，以识别瓶内部存在哪些药丸。

在720，如果误分配药物的可能性大于预定阈值，则控制转移到724；否则，控制转移到728。受过训练的CNN可以输出一组概率，指示根据预处理后的图像在瓶中存在各种药丸的可能性。例如，受过训练的CNN可以输出图像中存在的5种最可能出现的药丸以及所述药丸实际存在的各概率。

在另一种实施方式中，可以训练CNN识别N个药丸(作为一个示例，N可以是1500)并输出一个N维向量，其中向量的每个要素表示在瓶里存在相应药丸的可能性。基于控制药丸分配的处方，可以创建一个参考向量，对于处方药值为1.0(表示存在的可能性为100％)，对于该向量的其余N-1个要素值为零。如果参考向量与从CNN输出的向量之间的差大于预定距离阈值，则控制可以确定误分配药物的可能性足够大，以触发补救措施。

在724，控制基于误分配药物的调解的可能性执行补救措施。例如，补救措施可以包括通知操作员，强制手动检查瓶和/或丢弃并重新装瓶。

控制然后在732继续。在732，基于所识别的误分配药物的可能性以及基于来自手动检查的任何反馈来更新质量统计。这些质量统计数据可用于判断图像处理中的假阳性，以及识别分配设备存在的问题。控制然后返回到704。在728，控制将瓶加盖并包装瓶以进行分配。然后控制在732继续。

图11A和11B一起形成根据本公开原理的预处理的示例操作的流程图。在图11A中，当接收到要预处理的图像时，控制在800开始。在800，控件调整图像副本的颜色以增加对比度。例如，对于每个像素，可以将像素的红色分量设置为等于绿色和蓝色值的之和减去红色值，而将绿色和蓝色值都设置为零。换句话说，在红色通道中编码的像素的颜色被减小为单个值。颜色的单个值也可以称为灰度，该值的大小指示像素在黑白连续体上的亮度。

在804，控制识别最有可能是瓶的外部的像素。例如，图像中的所有像素可以按照它们的暗度来排序，并且可以将最暗的25％的像素识别为可能的外部像素。在808，控制选择第一轴线。例如，如图6所示，第一轴线可以是水平轴线。在其他实施方式中，第一轴线是垂直轴线或与水平轴线或垂直轴线都不垂直的轴线。在812，控制沿所选轴线选择图像的前三分之一。例如，当所选轴线是水平轴线时，图像的前三分之一可以被限定为图像的左手三分之一。

在816，控制将名为Max的变量重置为0。在820，在图像的所选三分之一内，控制选择垂直于所选轴线的第一行像素。例如，如果所选的三分之一是图像的左手三分之一，则像素的第一行是像素的最左列。在824，控件对所选行中可能的外部像素的数量进行计数。在828，如果计数大于Max的当前值，则控制转移到832；否则，控制转移到832。否则，控制权转移到836。因为在816处将Max重置为0，所以第一个计数将成为下一个Max。在832，将变量Max设置为等于计数，并且将变量MaxLoc(对应于最大值的位置)设置为等于所选行的数量。然后控制在836继续。

在836，如果在图像的选定的三分之一中存在其他行，则控制转移到840；否则，控制转移到844。在840，控制选择下一行像素，并在824继续。在844，如果已经选择了图像的后三分之一，则控制转移到848；否则，控制转移到852。在852，未选择图像的后三分之一，这意味着已选择图像的前三分之一。因此，将MaxLoc的值记录为图像的前三分之一的关注位置，将Max的值记录为图像的前三分之一内的峰值。控制然后在856继续，其中控制选择沿所选轴线的图像的后三分之一。然后控制在816处继续。

在848，已经选择了图像的后三分之一，因此将MaxLoc的值记录为图像的后三分之一的关注位置，并且将Max的值记录为图像的后三分之一的峰值。控制然后在图11B中的860继续。在860，控制确定图像的后三分之一的峰值是否小于图像的前三分之一的峰值的80％。如果是这样，则控制转移到864以处理该差异；否则，控制移至864。否则，控制转移到868。在864，后三分之一峰值的相对较小的值表明在图像的后三分之一内不存在瓶的边缘。因此，瓶的边缘被假定为位于后三分之一的最末端，而后三分之一被设置为图像的后三分之一的末端。然后控制在872继续。

在868，控制确定图像的前三分之一的峰值是否小于图像的后三分之一的峰值的80％。如果是这样，控制转移到876以处理差异；否则，控制转移到872。在876，前三分之一峰值的相对较小表示瓶的边缘在图像的前三分之一之外，因此，将前三分之一的关注位置设置为图像前三分之一的最开头。然后控制在872继续。

在872，如果选择了第二轴线，则控制转移到880；否则，控制转移到884。在884，尚未选择第二轴线，因此，相对于第一轴线记录了前三分之一位置和后三分之一位置。这些位置对应于瓶沿第一轴线的确定的边缘。控制在888继续，在888选择第二轴线(例如垂直轴线)。然后控制返回到图11A中的812。

在880，已经选择了第二轴线，因此，记录了第二轴线的前三分之一位置和后三分之一位置。这些值对应于沿第二轴线确定的瓶边缘。控制在892继续，其中控制确定数学上限定的椭圆，该椭圆具有沿着第一轴线从前三分之一位置到为第一轴线确定的后三分之一位置的第一直径。椭圆还具有沿着第二轴线的第二直径，该第二直径从为第二轴线确定的前三分之一位置到后三分之一位置。控制在896继续，在896，将在数学上限定的椭圆用于掩盖原始图像中要从进一步处理中排除的区域。例如，原始图像内限定的椭圆之外的所有像素都可以设置为黑色。控制然后结束。

样机

图12示出了计算机系统900的示例形式中的专用机器的框图，在其中可以执行一组指令，从而使该机器执行本文中所讨论的任何一个或多个方法、过程、操作或方法。装置206-232例如可以包括一个或多个计算机系统900的功能。这些装置和系统专用于执行本文讨论的一种或多种方法、过程、操作或方法。

在示例实施例中，机器作为独立装置运行，或者可以连接(例如，联网等)到其他机器。在网络部署中，机器可以在服务器-客户端网络环境中以服务器或客户端计算机的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。

示例计算机系统900包括处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者，等等)，主存储器904和静态存储器906，它们经由总线908彼此连接进行通信。计算机系统900还包括视频显示单元910(例如，液晶显示器(LCD)或阴极射线管(CRT)等)。计算机系统900还包括字母数字输入装置912(例如键盘等)，光标控制装置914(例如鼠标等)、驱动单元916、信号生成装置918(例如扬声器等)、以及网络接口装置920。

驱动单元916包括计算机可读介质922，其上存储了体现本文所述的任何一种或一种以上方法或功能的一组或多组指令(例如，指令924等)。在计算机系统900执行指令924期间，指令924也可以全部或至少部分地驻留在主存储器904内和/或处理器902内，主存储器904和处理器902也构成非暂时性计算机可读的媒体。当加载指令924时，处理器902是仅专用于当前过程和方法的机器。指令924可以进一步经由网络接口设备920在网络926上发送或接收。

结论

在前面的详细描述中，可以看出，出于简化本公开的目的，在单个实施例中将各种特征组合在一起。本公开的方法不应被解释为反映了以下意图：所要求保护的实施例需要比每个权利要求中明确叙述的特征更多的特征。相反，如以下权利要求所反映的，发明主题可以在于少于单个公开实施例的所有特征。因此，以下权利要求由此被结合到详细描述中，其中每个权利要求独立地作为单独的实施例。

前述描述本质上仅是说明性的，绝不旨在限制本公开、其应用或用途。本公开的广泛教导可以以多种形式实现。因此，尽管本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和所附权利要求后，其他修改将变得显而易见。应当理解，在不改变本公开的原理的情况下，可以以不同的顺序(或同时)执行方法内的一个或多个步骤。此外，尽管以上将实施例中的每一个描述为具有某些特征，也可以在任何其他实施例的特征中实现和/或与其组合关于本公开的任何实施例描述的那些特征中的任何一个或多个，即使该组合没有明确描述。换句话说，所描述的实施例不是互相排斥的，并且一个或多个实施例彼此的置换仍在本公开的范围内。

如本文中所使用的，术语“基于”或“使用”反映了开放式术语，其可以反映除明确叙述的那些要素之外的其他要素。本公开参考了机器人和类似含义的单词。机器人可以是能够自动执行复杂的系列动作的机器。这些复杂的系列动作可以包括拾取、定向、定位和/或释放处方成分、药丸、容器或其他结构。机器人可以专用于单一系列的动作，或者可以执行多个系列的动作。机器人可以包括处理器，该处理器接收指令，然后执行指令以控制其运动。在另一个示例中，机器人可以类似于人类并复制某些人类的动作和功能，可以移动位置，具有关节臂，具有复制手指且不会损坏容器的抓握结构等。

使用各种术语包括“连接”、“接合”、“接口”和“耦合”来描述元件之间(例如，模块之间)的空间和功能关系。除非明确地描述为“直接的”，否则在以上公开中描述了第一元件和第二元件之间的关系时，该关系包括在第一元件和第二元件之间不存在其他中间元件的直接关系，以及在第一和第二元件之间(空间上或功能上)存在一个或多个中间元件的间接关系。如本文中所使用的，短语A、B和C中的至少一个应使用非排他性逻辑OR解释为表示逻辑(A OR B OR C)，并且不应解释为表示“A中的至少一个、B中的至少一个和C中的至少一个。”

在图中，如箭头所示，箭头的方向通常说明该插图感兴趣的信息(例如数据或指令)流。例如，当元件A和元件B交换各种信息，但从元件A传输到元件B的信息与图示有关时，箭头可能从元件A指向元件B。此单向箭头并不意味着没有其他信息从元件B发送到元件A。此外，对于从元件A发送到元件B的信息，元件B可以将对该信息的请求或接收确认发送到元件A。

在本申请中，包括以下限定，术语“模块”或术语“控制器”可用术语“电路”代替。术语“模块”可以指代执行代码的处理器硬件(共享、专用或组)或作为其一部分，或包括存储由处理器硬件执行的代码的存储器硬件(共享、专用或组)。

该模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网(LAN)、互联网、广域网(WAN)或其组合的有线或无线接口。本公开的任何给定模块的功能可以分布在经由接口电路连接的多个模块中。例如，多个模块可以允许负载平衡。在另一个示例中，服务器(也称为远程或云)模块可以代表客户端模块完成某些功能。

如以上所使用的，术语代码可以包括软件、固件和/或微代码，并且可以指代程序、例程、功能、类、数据结构和/或对象。共享处理器硬件包含一个微处理器，该微处理器执行多个模块中的部分或全部代码。组处理器硬件包含一个微处理器，该微处理器与其他微处理器组合，可以执行一个或多个模块中的部分或全部代码。对多个微处理器的引用包括离散管芯上的多个微处理器，单个管芯上的多个微处理器，单个微处理器的多个核，单个微处理器的多个线程或上述的组合。

共享存储器硬件包括单个存储器设备，该单个存储器设备存储来自多个模块的一些或全部代码。组存储硬件包含一种存储装置，该存储装置与其他存储装置结合使用，可以存储来自一个或多个模块的部分或全部代码。

术语存储器硬件是术语计算机可读介质的子集。如本文中所使用的，术语计算机可读介质不涵盖传播通过介质(例如在载波上)的瞬时电信号或电磁信号；因此，术语计算机可读介质被认为是有形的和非暂时性的。非暂时性计算机可读介质的非限制性示例是非易失性存储装置(例如闪存设备、可擦除可编程只读存储装置或掩码只读存储装置)，易失性存储装置(例如静态随机存取存储装置或动态随机存取存储装置)，磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或Blu-ray Disc)。

本申请中描述的装置和方法可以由通过将通用计算机配置为执行计算机程序中体现的一个或多个特定功能而创建的专用计算机来部分或完全实现。上述功能块和流程图元件用作软件规范，可以通过技术人员或程序员的例行工作将其转换为计算机程序。

所述计算机程序包括处理器可执行指令，所述处理器可执行指令存储在至少一个非暂时性计算机可读介质上。所述计算机程序还可以包括或依赖于所存储的数据。所述计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。

该计算机程序可以包括：(i)要解析的描述性文本，例如HTML(超文本标记语言)、XML(可扩展标记语言)或JSON(JavaScript Object Notation)，(ii)汇编代码，(iii)由编译器从源代码生成的目标代码，(iv)由解释器执行的源代码，(v)由即时编译器编译和执行的源代码，等等。仅作为示例，源代码可以是使用包括C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、

Fortran、Perl、Pascal、Curl、OCaml、

HTML5(Hypertext Markup Language第5修改版)、Ada、ASP(活动服务器页面)、PHP(PHP：超文本预处理器)、Scala、Eiffel、Smalltalk、Erlang、Ruby、

Visual

Lua、MATLAB、SIMULINK和

权利要求中记载的所有元件都不旨在成为35U.S.C.§112(f)意义内的装置加功能元件。除非使用短语“用于……的手段”或在方法权利要求的情况下使用短语“针对……的操作”或“针对……的步骤”明确叙述一个要素。

Claims (20)

1.一种机器，包括：

照相机，其被配置为拍摄由收纳器收纳的药物的第一图像；

存储器硬件，其存储代码；和

处理器硬件，其执行由所述存储器硬件存储的所述代码，其中所述代码实现：

颜色处理模块，其被配置为基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识；

像素标识模块，其被配置为将所述第二图像的像素分为像素的互斥的第一子集和第二子集，其中与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器；

扫描模块，其被配置为通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：

限定垂直于所述第一轴线并在该点与所述第一轴相交的线；

计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；以及

记录计数；

最大值检测模块，其被配置为确定所述计数的第一局部最大值和所述计数的第二局部最大值；

椭圆计算模块，其被配置为：

基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置；

基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置；以及

基于所述第一边缘和所述第二边缘限定椭圆；以及

输出模块，其被配置为基于所述第一图像输出处理后的图像，其中所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

2.根据权利要求1所述的机器，其中所述颜色处理模块被配置为，针对所述第一图像的每个像素，生成排除所述第一图像的任何其他像素的所述第二图像的对应像素。

3.根据权利要求2所述的机器，其中所述颜色处理模块被配置为，针对所述第一图像的每个像素，通过计算该像素的灰度值来生成所述第二图像的所述对应像素。

4.根据权利要求2所述的机器，其中所述颜色处理模块被配置为，针对所述第一图像的每个像素，通过以下步骤生成所述第二图像的所述对应像素：

将所述对应像素的绿色值设置为该像素的绿色值与该像素的蓝色值之和减去该像素的红色值；

将所述对应像素的绿色值设置为零；以及

将所述对应像素的蓝色值设置为零。

5.根据权利要求1所述的机器，其中所述输出模块被配置为在所述处理后的图像中包括元数据，其中所述元数据标识通过进一步处理排除的所述第一图像的区域。

6.根据权利要求1所述的机器，其中所述输出模块被配置为将通过进一步处理排除的所述第一图像的区域设置为黑色。

7.根据权利要求1所述的机器，其中：

所述最大值检测模块被配置为：

在所述第二图像的第一区内确定所述第一局部最大值；以及

在所述第二图像的第二区内确定所述第二局部最大值；

所述第一区和所述第二区不重叠，并且

所述第二图像的第三区的大小不为零，不与所述第一区重叠，也不与所述第二区重叠。

8.根据权利要求1所述的机器，其中：

所述扫描模块被配置为，通过针对沿着第二轴线的每个点进行以下步骤来沿着所述第二轴线处理所述第二图像：

限定垂直于所述第二轴线并在该点与所述第二轴相交的线；

计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；以及

记录计数；

所述代码还实现第二最大值检测模块，所述第二最大值检测模块被配置为确定针对所述第二轴线的所述计数的第一局部最大值和针对所述第二轴线的所述计数的第二局部最大值；并且

所述椭圆计算模块被配置为：

基于沿着所述第二轴线的所述第一局部最大值的位置估计所述收纳器的第三边缘的位置；

基于沿着所述第二轴线的所述第二局部最大值的位置估计所述收纳器的第四缘的位置；以及

基于所述第一边缘、所述第二边缘、所述第三边缘和所述第四边缘限定所述椭圆。

9.根据权利要求8所述的机器，其中：

所述第一轴线平行于所述第一图像的第一边缘；并且

所述第二轴线垂直于所述第一轴线。

10.根据权利要求1所述的机器，其中所述椭圆计算模块被配置为：响应于所述第二局部最大值比所述第一局部最大值小超过预定量，估计所述收纳器的所述第二边缘的位置为所述第一图像的边缘。

11.一种方法，包括：

拍摄由收纳器收纳的药物的第一图像；

基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识；

将所述第二图像的像素分为像素的互斥的第一子集和第二子集，其中与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器；

通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：

限定垂直于所述第一轴线并在该点与所述第一轴相交的线；

计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；以及

记录计数；

确定所述计数的第一局部最大值和所述计数的第二局部最大值；

基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置；

基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置；

基于所述第一边缘和所述第二边缘限定椭圆；以及

基于所述第一图像输出处理后的图像，其中所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

12.根据权利要求11所述的方法，其中创建所述第二图像包括，针对所述第一图像的每个像素，生成排除所述第一图像的任何其他像素的所述第二图像的对应像素。

13.根据权利要求12所述的方法，其中创建所述第二图像包括，针对所述第一图像的每个像素，通过以下步骤生成所述第二图像的所述对应像素：

将所述对应像素的绿色值设置为该像素的绿色值与该像素的蓝色值之和减去该像素的红色值；

将所述对应像素的绿色值设置为零；以及

将所述对应像素的蓝色值设置为零。

14.根据权利要求11所述的方法，还包括以下步骤至少之一：

在所述处理后的图像中包括元数据，所述元数据标识通过进一步处理排除的所述第一图像的区域；和

将通过进一步处理排除的所述处理后的图像的区域设置为黑色。

15.根据权利要求11所述的方法，其中：

在所述第二图像的第一区内确定所述第一局部最大值；

在所述第二图像的第二区内确定所述第二局部最大值；

所述第一区和所述第二区不重叠，并且

所述第二图像的第三区的大小不为零，不与所述第一区重叠，也不与所述第二区重叠。

16.根据权利要求11所述的方法，还包括：

通过针对沿着第二轴线的每个点进行以下步骤来沿着所述第二轴线处理所述第二图像：

限定垂直于所述第二轴线并在该点与所述第二轴相交的线；

计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；以及

记录计数；

确定针对所述第二轴线的所述计数的第一局部最大值和针对所述第二轴线的所述计数的第二局部最大值；

基于沿着所述第二轴线的所述第一局部最大值的位置估计所述收纳器的第三边缘的位置；

基于沿着所述第二轴线的所述第二局部最大值的位置估计所述收纳器的第四缘的位置；以及

基于所述第一边缘、所述第二边缘、所述第三边缘和所述第四边缘限定所述椭圆。

17.根据权利要求16所述的方法，其中：

所述第一轴线平行于所述第一图像的第一边缘；并且

所述第二轴线垂直于所述第一轴线。

18.根据权利要求11所述的方法，还包括：响应于所述第二局部最大值比所述第一局部最大值小超过预定量，估计所述收纳器的所述第二边缘的位置为所述第一图像的边缘。

19.根据权利要求11所述的方法，还包括：

获取与所述收纳器相对应的处方信息，其中所述处方信息指定期望药物；

将所述处理后的图像提供给受训机器学习模型，以识别所述收纳器中存在药物的概率；

基于所识别的药物概率，确定所述收纳器中的至少一种药物不是所述期望药物的可能性；以及

响应于所述可能性超过预定阈值，对所述收纳器启动补救措施。

20.一种存储指令的非暂时性计算机可读介质，所述指令包括：

拍摄由收纳器收纳的药物的第一图像；

基于所述第一图像创建第二图像，其中所述第二图像的每个像素由单个值标识；

将所述第二图像的像素分为像素的互斥的第一子集和第二子集，其中与所述第二子集的像素相比，所述第一子集的像素更可能对应于所述收纳器；

通过针对沿着第一轴线的每个点进行以下步骤来沿着所述第一轴线处理所述第二图像：

限定垂直于所述第一轴线并在该点与所述第一轴线相交的线；

计数沿着该线定位的所述第二图像中的多少个像素在所述第一子集中；以及

记录计数；

确定所述计数的第一局部最大值和所述计数的第二局部最大值；

基于沿着所述第一轴线的所述第一局部最大值的位置估计所述收纳器的第一边缘的位置；

基于沿着所述第一轴线的所述第二局部最大值的位置估计所述收纳器的第二缘的位置；

基于所述第一边缘和所述第二边缘限定椭圆；以及

基于所述第一图像输出处理后的图像，其中所述处理后的图像指示在所限定的椭圆之外的所述第一图像的区域通过进一步处理被排除。

Images