CN116830150A - 用于从药品包装去除无关内容以便于验证其中内容的方法、系统和计算机程序产品 - Google Patents

Abstract

一种方法包括：接收在其中包含一种或多种药品的药品包装的图像，该图像包括在药品包装的表面上显示的标签内容；使用人工智能引擎检测药品包装的表面上的标签内容；以及生成从其表面去除了标签内容的药品包装的修改图像。

Description

用于从药品包装去除无关内容以便于验证其中内容的方法、 系统和计算机程序产品

相关申请

本申请要求于2021年1月29日提交的美国临时申请第63/143,400号的优先权和权益，其公开内容据此通过引用整体并入本文。

技术领域

本公开总体上涉及药品包装，更具体地涉及用于从表面药品包装去除无关内容以便于验证药品包装内容的方法、系统和计算机程序产品。

背景技术

在诸如药房、医院、长期护理机构等设施中，药品包装系统可以用来分发药物以实现按处方配药。这些药品包装系统可以包括被设计为将药物包装在各种容器类型中的系统，这些容器类型包括但不限于小袋、小瓶、瓶子、泡罩卡和条形包装。条形包装是一种包装类型，其中药物被包装在单独的小袋中以在特定日期给药并且在某些情况下在特定时间给药。通常，单独的小袋可拆卸地连接在一起，并且往往是以卷的形式提供。当需要时，小袋可以与卷分离。

某些类型的药品包装(例如，小袋和泡罩卡)例如可以包含印刷在其上的内容，诸如个人健康信息(PHI)、制造商信息(例如，标志、名称、联系信息等)和/或关于药品包装内容的其他详细信息(诸如药品数量、药品名称、给药时间、给药强度、条形码等)。药品包装的表面上的此类内容可能使通过药品包装的成像来验证药品包装的内容变得更加困难。

发明内容

在本发明构思的一些实施例中，一种方法包括：接收在其中包含一种或多种药品的药品包装的图像，该图像包括在药品包装的表面上显示的标签内容；使用人工智能引擎检测药品包装的表面上的标签内容；以及生成从其表面去除了标签内容的药品包装的修改图像。

在其他实施例中，标签内容包括商业营销信息、患者识别信息或个人医疗保健信息。

在其他实施例中，商业营销信息包括标志或企业名称；患者识别信息包括患者姓名、患者电话号码、患者地址或患者识别号；并且个人医疗保健信息包括一种或多种药品的名称、一种或多种药品中的每种药品的数量、针对一种或多种药品中的每种药品的规定给药时间、或与一种或多种药品相关联的一个或多个条形码、处方单、患者账户、识别号或其他信息。

在其他实施例中，该方法还包括：响应于接收到药品包装的图像，对药品包装的图像执行伽马校正，以生成药品包装的伽马校正图像；对药品包装的伽马校正图像执行高斯模糊去噪，以生成药品包装的降噪图像；以及对药品包装的降噪图像执行自动图像阈值处理，以生成药品包装的前景-背景分离图像。使用人工智能引擎检测标签内容包括：使用人工智能引擎检测药品包装的前景-背景分离图像的表面上的标签内容。

在其他实施例中，人工智能引擎是卷积神经网络。

在其他实施例中，卷积神经网络包括多个卷积层，多个卷积层中的至少一些卷积层通过跳跃连接(skip connection)互相连接。

在其他实施例中，人工智能引擎是第一人工智能引擎，并且修改图像是第一修改图像。该方法还包括：接收针对一种或多种药品的订单信息和针对药品包装的标识符；使用第二人工智能引擎在第一修改图像中检测一种或多种药品中的单独药品；以及生成药品包装的第二修改图像，该第二修改图像包括区分一种或多种药品中的单独药品并将一种或多种药品与订单信息和针对药品包装的标识符相关联的标记。

在其他实施例中，区分一种或多种药品中的单独药品的标记包括一个或多个边界框。

在其他实施例中，订单信息包括药品包装中的一种或多种药品的名称。该方法还包括：使用第三人工智能引擎，基于一种或多种药品的名称在第二修改图像中识别一种或多种药品中的至少一些药品。名称与参考数据库中的药品属性相关联。

在其他实施例中，一种或多种药品中的至少一些药品包括一种或多种药品中的破碎药品。

在其他实施例中，该方法还包括：使用第三人工智能引擎将一种或多种药品的一部分识别为由于对一种或多种药品的损坏而导致的碎渣。

在其他实施例中，该方法还包括：用一种或多种药品的名称在第二修改图像中注释一种或多种药品中的至少一些药品。

在其他实施例中，该方法还包括：用未知药品标签注释一种或多种药品中的未用名称注释的任何药品。

在其他实施例中，名称是第一名称，并且订单信息包括药品包装中的一种或多种药品的国家药品编码(NDC)。该方法还包括：将与已经用第一名称注释的一种或多种药品中的至少一些药品不相关联的NDC与药品参考数据匹配；以及基于药品参考数据，用第二名称注释一种或多种药品中的未用名称注释的、具有与药品参考数据匹配的关联NDC的任何药品。

在其他实施例中，药品参考数据包括药品形状、药品颜色、药品蚀刻、药品印记、药品重量和/或药品标签。

在本发明构思的一些实施例中，一种系统包括：处理器；以及存储器，该存储器耦接到处理器并且包括体现在存储器中的计算机可读程序代码，该计算机可读程序代码能够由处理器执行以执行操作，该操作包括：接收在其中包含一种或多种药品的药品包装的图像，该图像包括在药品包装的表面上显示的标签内容；使用人工智能引擎检测药品包装的表面上的标签内容；以及生成从其表面去除了标签内容的药品包装的修改图像。

在进一步的实施例中，操作还包括：响应于接收到药品包装的图像，对药品包装的图像执行伽马校正，以生成药品包装的伽马校正图像；对药品包装的伽马校正图像执行高斯模糊去噪，以生成药品包装的降噪图像；以及对药品包装的降噪图像执行自动图像阈值处理，以生成药品包装的前景-背景分离图像。使用人工智能引擎检测标签内容包括：使用人工智能引擎检测药品包装的前景-背景分离图像的表面上的标签内容。

在进一步的实施例中，人工智能引擎是卷积神经网络。

在本发明构思的一些实施例中，一种计算机程序产品包括非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质包括体现在介质中的计算机可读程序代码，该计算机可读程序代码能够由处理器执行以执行操作，该操作包括：接收在其中包含一种或多种药品的药品包装的图像，该图像包括在药品包装的表面上显示的标签内容；使用人工智能引擎检测药品包装的表面上的标签内容；以及生成从其表面去除了标签内容的药品包装的修改图像。

在其他实施例中，操作还包括：响应于接收到药品包装的图像，对药品包装的图像执行伽马校正，以生成药品包装的伽马校正图像；对药品包装的伽马校正图像执行高斯模糊去噪，以生成药品包装的降噪图像；以及对药品包装的降噪图像执行自动图像阈值处理，以生成药品包装的前景-背景分离图像。使用人工智能引擎检测标签内容包括：使用人工智能引擎检测药品包装的前景-背景分离图像的表面上的标签内容。

对本领域技术人员而言，在查阅以下附图和详细描述后，根据本发明构思的实施例的其他方法、系统、制造品和/或计算机程序产品将显而易见或变得显而易见。旨在将所有此类附加的系统、方法、制造品和/或计算机程序产品包括在本说明书内，包括在本发明主题的范围内并且受所附权利要求保护。

附图说明

当结合附图阅读时，根据以下对具体实施例的详细描述，将更容易理解实施例的其他特征，在附图中：

图1是示出了根据本发明构思的一些实施例的包括人工智能(AI)辅助药品包装分析系统的通信网络的框图；

图2是根据本发明构思的一些实施例的图1的AI辅助药品包装分析系统的框图；

图3是根据本发明构思的一些实施例的用于检测药品包装的表面的标签内容的卷积神经网络的框图；

图4是根据本发明构思的一些实施例的图3的卷积神经网络的卷积层之间的跳跃连接布置的框图；

图5是示出了根据本发明构思的一些实施例的用于执行药品包装分析的操作的流程图；

图6是示出了根据本发明构思的一些实施例的药品包装图像预处理的框图；

图7至图10是示出了根据本发明构思的一些实施例的用于执行药品包装分析的进一步操作的流程图；

图11是根据本发明构思的一些实施例的可以用于在图1的AI辅助药品包装分析系统中实现一个或多个服务器的数据处理系统；

图12是示出了根据本发明构思的一些实施例的用于图1的AI辅助药品包装分析系统的软件/硬件架构的框图；以及

图13和图14是示出了根据本发明构思的一些实施例的用于区分药品包装图像中的单独药品的标记的图。

具体实施方式

在下面的详细描述中，为了提供对本发明构思的实施例的透彻理解，阐述了许多具体细节。然而，本领域技术人员将理解的是，本发明可以在没有这些具体细节的情况下实践。在某些情况下，没有详细描述公知的方法、程序、组件和电路，以免使本发明构思变得模糊不清。意在使本文公开的所有实施例可以单独地实现或者以任何方式和/或组合实现。关于一个实施例所描述的各方面可以并入不同的实施例中，尽管没有相对于这些实施例进行具体描述。也就是说，所有实施例和/或任何实施例的特征可以以任何方式和/或组合进行组合。

如本文所用，术语“数据处理装置”包括但不限于硬件元件、固件组件和/或软件组件。数据处理系统可以配置有一个或多个数据处理装置。

如本文所用，术语“药品包装系统”是指任何类型的药物分发系统，包括但不限于：用药品填充小瓶、瓶子、容器、小袋、泡罩卡等的自动化系统、用药品填充小瓶、瓶子、容器、小袋、泡罩卡等的半自动化系统以及用于用药品填充药品包装的自动系统和半自动系统的任意组合。药品包装系统还包括用于药物替代品的包装系统，所述药物替代品例如为营养保健品和/或生物保健品。

如本文所用，术语“药”和“药物”是可互换的，并且是指通过处方开给患者(人或动物)的药物。药或药物可以以各种方式体现，包括但不限于药丸形式、胶囊形式、片剂形式等。

术语“药品”是指可以通过自动化包装系统和半自动化包装系统包装在小瓶、瓶子、容器、小袋、泡罩卡等内的任何类型的药物，包括但不限于丸剂、胶囊剂、片剂、囊片、凝胶剂、锭剂等。药品也指药物替代品，例如营养保健品和/或生物保健品。在美国专利第10,492,987号中描述了包括用于履行包装订单的管理技术的示例药品包装系统，该专利的公开内容据此通过引用并入本文。

术语“药品包装”是指可以容纳药品的任何类型的物体，包括但不限于小瓶、瓶子、容器、小袋、泡罩卡等。

本发明构思的实施例在本文中是在包括一个或多个机器学习引擎和人工智能(AI)引擎的药品包装分析引擎的上下文中进行描述的。将理解的是，本发明构思的实施例不限于药品分析引擎的特定实现方式，并且可以使用各种类型的AI系统，包括但不限于多层神经网络、深度学习系统、自然语言处理系统和/或计算机视觉系统。此外，将理解的是，多层神经网络是包括人工神经元或节点的多层人工神经网络，并且不包括包含真实生物神经元的生物神经网络。本发明构思的实施例可以使用多个AI系统来实现，或者可以通过将各种功能组合成更少的功能或单个AI系统来实现。

本发明构思的一些实施例源于如下认识：当验证药品包装(例如，小袋或泡罩卡)的内容时，药品包装表面上的标签内容可能在执行药品包装的图像分析时使其中包含的药品模糊。本发明构思的实施例提供了一种AI辅助药品包装分析系统，该系统可以使用AI引擎来检测药品包装表面上的标签内容，并且可以生成去除了标签内容的药品包装的修改图像。标签内容可以包括例如商业营销信息、患者识别信息、个人医疗保健信息(PHI)等。在从药品包装表面去除了标签内容的情况下，可以使用AI系统检测包装中包含的药品中的一种或多种单独药品，并且可以生成第二修改图像，该第二修改图像包括区分药品包装中包含的药品中的单独药品的标记，例如边界框。在一些实施例中，被破碎或者甚至被损坏以变成碎渣的药品可以通过标记来区分。然后，可以使用AI系统通过特定药品的名称来识别药品包装中包含的一种或多种药品。在一些实施例中，可以基于药品的属性(例如，形状、颜色、蚀刻、印记、重量和/或标签)以及药品包装内容的知识和对药品包装中包含的药品中的其他药品的成功识别，使用AI系统通过名称来识别完整药品、破碎药品和/或碎渣。通过将药品包装中包含的药品的国家药品编码(NDC)或药品识别号码(DIN)与药品参考数据(其可以包括药品形状、颜色、蚀刻、印记、重量和/或标签信息)进行匹配，可以进一步分析无法识别的药品。如本文所用，NDC可以用于表示NDC信息和DIN信息。在获得匹配时，可以基于药品参考数据和NDC用名称来注释这些药品。本发明构思的实施例还可以用于填充和验证使用单位包装(unit of use package)(即每个包装包含单剂量的单一药品)。使用单位包装可以是特定于患者的，但也可以在没有患者信息的情况下生成，使得它们可以用作医院或长期护理机构的基本储备，例如针对一次性用途或紧急用途。这些小袋(或卡片上的泡罩)中的每一个可以具有标签信息，该标签信息可以是典型处方药品包装的子集或者与典型处方药品包装略有不同。例如，使用单位包装可以具有药品名称、剂量、NDC、制造商、批号、有效期和/或超出使用日期(BUD)。包装还可以包括药房信息或者与向其提供使用单位包装的设施有关的信息。

参考图1，根据本发明构思的一些实施例的包括AI辅助药品包装分析系统的通信网络100a包括药房管理系统(PMS)或主机系统110、包装系统服务器120、包装分析引擎服务器155以及经由网络140耦接的一个或多个药品包装系统130a和130b，如图所示。

PMS系统110可以被配置为针对客户管理处方和按处方配药。如本文所用，PMS系统可以用于药房，或者通常可以用作用于其他应用的批次生成系统，例如分发营养保健品或生物保健品。PMS系统110可以与各种类型的设施相关联，例如药房、医院、长期护理机构等。PMS系统或主机系统110可以是能够向一个或多个药品包装系统130a和130b发送有效处方的任何系统。包装系统服务器120可以包括包装系统接口模块135，并且可以被配置为管理药品包装系统130a和130b的操作。例如，包装系统服务器120可以被配置为从PMS系统110接收包装订单并识别应该将药品包装系统130a和130b中的哪一个用于包装特定的单独订单或批次的订单。此外，包装系统服务器120可以被配置为管理药品包装系统130a和130b的操作。例如，包装系统服务器120可以被配置为管理通过药品包装系统130a和130b中的每一个可获得的药品的库存，管理分配给或注册到一个或多个药品包装系统130a和130b的药品分发罐，管理药品包装系统130a和130b的通常操作状态，和/或管理关于包装订单、药品库存、订单账单等的状态(例如，分配、完成等)的报告。用户150(例如，药剂师或药房技师)可以使用任何合适的计算设备经由有线和/或无线连接与包装系统服务器120通信。尽管在图1中示出了用户150经由直接连接与包装系统服务器120通信，但将理解的是，用户150可以经由一个或多个网络连接与包装系统服务器120通信。用户150可以与包装系统服务器120交互，以批准或否决由包装系统服务器120在操作药品包装系统130a和130b时提出的各种建议。用户150还可以启动如上所述的针对药品包装系统130a和130b的各种报告的运行。尽管图1中仅示出了两个药品包装系统130a和130b，但将理解的是，包装系统服务器120可以管理多于两个的药品包装系统。

AI辅助药品包装分析系统可以包括包装分析引擎服务器155，该包装分析引擎服务器155包括包装分析引擎模块160，以通过从药品包装的图像中去除无关内容以便于验证药品包装的内容。包装分析引擎服务器155和包装分析引擎模块160可以表示一个或多个AI系统，所述一个或多个AI系统可以被配置为生成从其一个或多个表面去除了标签内容的药品包装的修改图像，在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品，和/或识别已经在药品包装图像中检测到的这些药品。根据本发明构思的各种实施例，标签内容可以从药品包装上的任何表面去除，药品包装上的任何表面包括药品包装的多个表面，例如，小瓶的顶部、底部和侧面、小袋和泡罩包装的正面和背面等。

将理解的是，本文描述的包装系统服务器120/包装系统接口模块135与包装分析引擎服务器155/包装分析引擎模块160之间的功能划分是示例。根据本发明构思的不同实施例，各种功能和能力可以在包装系统服务器120/包装系统接口模块135与包装分析引擎服务器155/包装分析引擎模块160之间移动。此外，在一些实施例中，包装系统服务器120/包装系统接口模块135和包装分析引擎服务器155/包装分析引擎模块160可以合并为单个逻辑和/或物理实体。

网络140将药品包装系统130a和130b、PMS系统110和包装系统服务器120互相耦接。网络140可以是全球网络(例如互联网)或其他可公开访问的网络。网络140的各种元件可以通过广域网、局域网、内联网和/或可能无法被一般公众访问的其他专用网络互连。因此，通信网络140可以代表公共网络和专用网络或虚拟专用网络(VPN)的组合。网络140可以是无线网络、有线网络，或者可以是无线网络与有线网络的组合。在一些实施例中，包装分析引擎服务器155还可以耦接到网络140。

在一些实施例中，通过包装分析引擎155和包装分析引擎模块160提供的AI辅助药品包装分析服务可以实现为云服务。在一些实施例中，AI辅助药品包装分析服务可以实现为表述性状态转移Web服务(Representational State Transfer Web Service)(RESTfulWeb服务)。

尽管图1示出了包括AI辅助药品包装分析系统的示例通信网络，但将理解的是，本发明主题的实施例不局限于这样的配置，而是旨在涵盖能够执行本文描述的操作的任何配置。

如上所述，包装分析引擎服务器155和包装分析引擎模块160可以表示一个或多个AI系统，所述一个或多个AI系统可以被配置为生成从其表面去除了标签内容的药品包装的修改图像，在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品，和/或识别已经在药品包装图像中检测到的这些药品。图2是用于实现AI系统(例如，机器学习系统)的包装分析引擎模块160的框图，该AI系统可以用于在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品、和/或识别已经在药品包装图像中检测到的这些药品。图2的AI系统可以实现为单个AI系统，以在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品以及识别已经在药品包装图像中检测到的这些药品。在其他实施例中，图2的AI系统的架构可以被复制以形成单独的AI系统，以分别地在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品以及识别已经在药品包装图像中检测到的这些药品。如图2所示，包装分析引擎模块160可以包括训练模块和用于处理新数据的模块，以此来检测和/或识别药品包装图像中的药品。在包装分析引擎模块160的训练部分中使用的模块包括训练数据模块205、特征化模块225、标签模块230和机器学习引擎240。

训练数据205可以包括药品包装的一个或多个图像，每个图像在其中包含一种或多种药品。药品包装可以在其表面上包括标签内容，该标签内容可以包括但不限于商业营销信息、患者识别信息和/或个人医疗保健信息(PHI)。商业营销信息可以包括例如标志和/或企业名称。患者识别信息可以包括例如患者姓名、患者电话号码、患者地址和/或患者识别号。个人医疗保健信息可以包括例如药品包装中包含的一种或多种药品的名称、针对一种或多种药品中的每种药品的给药时间、与一种或多种药品相关联的一个或多个条形码、处方单、患者账户、识别号和/或其他信息。在一些实施例中，可以修改药品包装图像，使得通过使用AI系统(例如神经网络，下面参考图3描述)去除其表面上包含的标签内容的至少一部分。在一些实施例中，为了在其表面上的标签内容的至少一部分被去除的修改药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品，训练数据205还可以包括针对药品包装中包含的一种或多种药品的订单信息和/或针对药品包装的标识符。在进一步的实施例中，为了识别已经在药品包装图像中检测到的这些药品，训练数据205中包括的订单信息可以包括药品包装中的一种或多种药品的名称。特征化模块225被配置为识别由包装分析引擎模块160用来在例如已经去除了标签内容的药品包装图像中检测和/或识别一种或多种药品的单独自变量，这些自变量可以被视作因变量。例如，训练数据205通常可以是未经处理的或者经格式化的，并且包括除药品和/或药品包装信息之外的额外信息。例如，训练数据205可以包括账户代码、企业地址信息等，其可以通过特征化模块225滤除。从训练数据205中提取的特征可以称为属性，并且特征的数量可以称为维度。标签模块230可以被配置为将定义的标签分配给训练数据和检测到的和/或识别出的药品，以确保输入的特征和生成的输出的命名规范一致。机器学习引擎240可以处理经特征化的训练数据205(包括由标签模块230提供的标签)，并且可以被配置为测试许多功能，以在经特征化且经标签处理的输入数据与生成的输出之间建立定量关系。机器学习引擎240可以使用建模技术来评估各种输入数据特征对生成的输出的影响。然后，这些影响可以用于调整和改善经特征化且经标签处理的输入数据与生成的输出之间的定量关系。由机器学习引擎240生成的经特征化且经标签处理的输入数据之间的经调整且经改善的定量关系被输出以用于AI引擎245。机器学习引擎240可以被称为机器学习算法。

用于在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品和/或识别已经在药品包装图像中检测到的这些药品的模块包括新数据模块255、特征化模块265、AI引擎模块245和药品包装处理和分析模块275。新数据255可以是在内容和形式上与训练数据205相同的数据/信息，不同之处在于：新数据255将用于分析新药品包装，而不是用于训练目的。同样地，特征化模块265对新数据255执行的功能与特征化模块225对训练数据205执行的功能相同。实际上，AI引擎245可以由机器学习引擎240以在经特征化且经标签处理的输入数据与输出的药品包装内容分析之间确定的定量关系的形式来生成。在一些实施例中，AI引擎245可以被称为AI模型。AI引擎245可以被配置为生成药品包装的修改图像，该修改图像包括区分其中包含的一种或多种药品中的单独药品且同时将一种或多种药品与订单信息和/或针对药品包装的标识符相关联的标记。标记可以以各种方式体现，包括但不限于边界框或多边形、圆形、包括直面和曲面的封闭形状、仅包括曲面的封闭形状、和/或划定一种或多种药品之间的边界的线或符号。在一些实施例中，标记可以采取近似于药品形状的形状。AI引擎245还可以被配置为基于一种或多种药品的名称来对一种或多种药品进行识别。根据本发明构思的不同实施例，AI引擎245可以使用各种建模技术以在药品包装图像中检测药品包装中包含的一种或多种药品中的单独药品，以及识别已经在药品包装图像中检测到的这些药品，所述各种建模技术包括但不限于：回归技术、神经网络技术、自回归积分移动平均(ARIMA)技术、深度学习技术、线性判别分析技术、决策树技术、朴素贝叶斯技术、K-最近邻技术、学习向量量化技术、支持向量机技术和/或装袋/随机森林技术。

药品包装处理和分析模块275可以被配置为向药品包装验证系统输出经修改的药品包装图像，所述经修改的药品包装图像具有通过标记(例如边界框)以及一种或多种药品的名称而识别出的一种或多种药品。

如上所述，包装分析引擎服务器155和包装分析引擎模块160可以表示一个或多个AI系统，所述一个或多个AI系统可以被配置为生成从其表面去除了标签内容的药品包装的修改图像。图3是用于通过神经网络实现AI系统的包装分析引擎模块160的框图，该AI系统可以用于生成从其表面去除了标签内容的药品包装的修改图像。在图3的示例实施例中，神经网络是卷积神经网络。然而，将理解的是，根据本发明构思的其他实施例，用于从药品包装图像中去除标签内容的AI系统也可以体现为完全连接的神经网络。然而，卷积神经网络在对图像进行处理或分类时可以是有用的，因为大量的像素和所产生的大量权重需要在神经网络层中进行管理。卷积神经网络可以通过卷积将主图像矩阵简化为第一层中具有较低维度的矩阵，这减少了所使用的权重数量并降低了对训练时间的影响。

现参考图3，图像预处理器305可以接收包括在其表面上显示的标签内容的药品包装的一个或多个图像。如下文将参考图6描述的，图像预处理器可以对图像数据执行各种校正，包括例如伽马校正、降噪和/或图像分割。然后，可以将经预处理的药品包装图像(其可以是由AxBx3维度的矩阵表示的图像，其中数字3表示颜色红、绿和蓝)提供给卷积神经网络310。如图3所示，卷积神经网络310包括第一卷积层320和第二卷积层330以及第一池化层325和第二池化层335。卷积层320和330中的每一个是维度小于输入矩阵的矩阵，并且可以被配置为与输入矩阵的具有相同维度的一部分执行卷积操作。对应元素的乘积之和是卷积层的输出。每个卷积层的输出还可以通过修正线性单元运算进行处理，其中低于0的任何数字都转换为0，并且任何正数保持不变。卷积神经网络310还包括第一池化层325和第二池化层335。池化层325和335可以各自被配置为通过执行下采样操作分别对卷积层320和330的输出进行滤波。池化操作或滤波器的大小小于输入特征图的大小，在一些实施例中，它是以2像素的步幅应用的2×2像素。这意味着池化层将始终将每个特征图的大小减小1/2，例如每个维度减半，从而将每个特征图中的像素或值的数量减少到大小的四分之一。例如，应用于6×6(36像素)特征图的池化层将导致输出3×3(9像素)的池化特征图。最终输出层是正常的完全连接神经网络层340，该层给出的输出是其表面上的标签内容的至少一部分被去除的修改药品包装图像345。

在本发明构思的一些实施例中，卷积神经网络310可以是在卷积层320和330之间使用跳跃连接的残差神经网络。跳跃连接的示例如图4所示。具体地，在跳跃连接中，卷积神经网络涉及接收前一卷积层的输出和到该前一卷积层的输入这两者作为输入的卷积层。

将理解的是，尽管为了说明的目的在图3的示例卷积神经网络310中示出了两个卷积层320和330，但根据本发明构思的各种实施例的卷积神经网络可以包含许多卷积层，并且在一些实施例中可以超过100层。

图3和图7至图10是示出了根据本发明构思的一些实施例的用于执行包括从其去除标签内容以便于验证其中的内容的药品包装分析的操作的流程图。现参考图5，操作开始于框500，其中卷积神经网络310接收其表面上显示标签内容的药品包装的图像。标签内容可以包括但不限于商业营销信息、患者识别信息和/或个人医疗保健信息(PHI)。商业营销信息可以包括例如标志和/或企业名称。患者识别信息可以包括例如患者姓名、患者电话号码、患者地址和/或患者识别号。个人医疗保健信息可以包括例如药品包装中包含的一种或多种药品的名称、针对一种或多种药品中的每种药品的规定给药时间、与一种或多种药品相关联的一个或多个条形码、处方单、患者账户、识别号和/或其他信息。在框505处，可以使用卷积神经网络310来检测药品包装的表面上的标签内容。然后，在框510处卷积神经网络310可以生成从其表面去除了标签内容的药品包装的修改图像。

如上所述，药品包装图像可以经过预处理以对图像数据执行各种校正。现参考图6和图7，操作开始于框700，其中伽马校正模块605对药品包装图像执行伽马校正以生成伽马校正图像。一个或多个相机可能使图像变暗；伽马校正可以使图像变亮，从而允许卷积神经网络310更好地识别图像中显示的各种元素的边缘。伽马校正可以体现为幂律变换，除了低光度之外，在低光度下伽马校正可以是线性的，以避免在亮度零处出现无限导数。这是用于编码SDR图像的传统非线性。指数或“伽马”的值可以为0.45，但曲线下部的线性部分可以使最终伽马校正函数更接近于0.5的低幂指数，即平方根变换；因此，伽马校正可以符合亮度感知的德弗里斯-罗斯(DeVries-Rose)定律。在框705处，高斯模糊去噪模块610用于对伽马校正图像执行高斯模糊去噪以生成降噪图像。高斯模糊去噪模块或滤波器610可以是线性滤波器。它可以用于模糊图像和/或降低噪声。可以使用两个高斯模糊去噪滤波器610，使得输出被减去以用于“反锐化掩模”(边缘检测)。高斯模糊去噪模块或滤波器610可以模糊边缘并降低对比度。中值滤波器是一种非线性滤波器，这种非线性滤波器可以用作降低图像中的噪声的一种方式。在框710处，自动图像阈值处理模块615可以对降噪图像执行自动图像阈值处理以生成前景-背景分离图像。阈值处理是在图像分割应用中使用的一种技术。阈值处理涉及选择期望的灰度阈值，以根据图像中感兴趣对象的灰度分布将所述感兴趣对象与背景分离。大津(Otsu)法是一种仅取决于图像灰度值的全局阈值处理。大津法是一种全局阈值处理选择方法，涉及到灰度直方图的计算。当仅在一个维度中应用时，图像可能无法充分分割。可以采用二维大津法，该方法是基于每个像素的灰度阈值及其在像素周围的邻域的空间相关信息的。因此，大津法在应用于噪声图像时可以实现令人满意的分割。来自图6的预处理模块的输出图像可以应用于药品包装修改引擎，例如图3的卷积神经网络310。

现参考图8，可以通过在框800处检测从其表面去除了标签内容的修改图像中的一种或多种药品中的单独药品来进一步处理药品包装图像，以便于验证其中的内容。该检测可以基于从其表面去除了标签内容的修改药品包装图像以及针对药品包装中包含的一种或多种药品的订单信息和/或针对药品包装的标识符使用AI引擎(例如上面关于图2描述的AI引擎245)来进行。在框805处AI引擎可以生成药品包装的第二修改图像，该第二修改图像包括区分药品中的单独药品并将药品与订单信息和针对药品包装的标识符相关联的标记。在一些实施例中，边界框可以用作区分药品中的单独药品的标记，例如如图13所示，图13示出了将圆圈用作标记来识别特定药品的位置。

现参考图9，可以通过在框900处基于一种或多种药品的名称在具有药品中的检测到的单独药品的第二修改图像中识别一种或多种药品中的至少一些药品来进一步处理药品包装图像，以便于验证其中的内容。该识别可以基于具有一种或多种药品中的检测到的单独药品的修改药品包装图像和订单信息(该订单信息包括药品包装中的一种或多种药品的名称)使用AI引擎(例如上面关于图2描述的AI引擎245)来进行。根据本发明构思的一些实施例，名称可以与参考数据库中的药品属性相关联。这些属性可以包括但不限于药品形状、颜色、蚀刻、印记、重量和/或标签。图14示出了图13的已经用名称“药物A”注释的药品。在一些实施例中，识别出的一种或多种药品可以包括破碎药品，例如药丸或片剂的一部分。识别出的一种或多种药品还可以包括识别由于对药品的损坏而导致的碎渣，例如，该损坏将全部或一部分药品变为粉末。通过名称识别药品包装图像中的一种或多种药品以及识别药品的一部分和包装碎渣可以有助于生成药品包装中的药品的计数，以用于验证药品包装的内容。药品包装图像可以用针对一种或多种药品确定的名称来注释，但也可能存在AI引擎不能确定药品包装图像中一种或多种药品的名称的情况。如果不能确定其名称的药品仅有一种或几种，那么这些药品可以用新的或之前从未见过的临时名称或国家药品编码(NDC)来注释。在一些实施例中，可以执行进一步的操作来确定这些药品的名称，例如下文参考图10描述的操作。

现参考图10，用于使用图9的AI系统操作来确定未通过名称识别出的药品的名称的操作开始于框1000，其中在订单信息中包括的但不与任何已命名药品相关联的国家药品编码(NDC)和药品参考数据(例如，药品形状、颜色、蚀刻和/或标签信息)之间执行匹配操作。然后，可以在框1005处确定药品包装图像中的任何未命名药品是否匹配与订单中包括的NDC相关联的形状、颜色、蚀刻、印记、重量和/或标签信息。如果存在匹配，则可以为未命名药品分配与关联NDC相对应的名称。

现参考图11，根据本发明构思的一些实施例，可以用于实现图1的药品包装图像分析引擎服务器155的数据处理系统1100包括输入设备1102(例如键盘或小键盘、条形码扫描仪或RFID阅读器)、显示器1104和与处理器1108通信的存储器1106。数据处理系统1100还可以包括也与处理器1108通信的存储系统1110、扬声器1112和输入/输出(I/O)数据端口1114。处理器1108可以是例如市售的或定制的微处理器。存储系统1110可以包括可移动和/或固定介质(例如软盘、ZIP驱动器、硬盘等)以及虚拟存储(例如RAMDISK)。I/O数据端口1114可以用于在数据处理系统1100与另一计算机系统或网络(例如，互联网)之间传输信息。这些组件可以是常规组件，例如在许多常规计算设备中使用的组件，并且相对于常规操作，这些组件的功能通常为本领域技术人员所熟知。存储器1106可以配置有计算机可读程序代码1116，以便于根据本发明构思的一些实施例实现无关的标签内容从药品包装表面的AI辅助去除和/或检测和识别其中包含的一种或多种药品以验证药品包装内容。

图12示出了存储器1205，存储器1205可以分别在数据处理系统(例如，图1的药品包装分析引擎服务器155和图11的数据处理系统1100)的实施例中使用，以便于根据本发明构思的一些实施例实现无关的标签内容从药品包装表面的AI辅助去除和/或检测和识别其中包含的一种或多种药品以验证药品包装内容。存储器1205代表一个或多个存储器设备，所述一个或多个存储器设备包含用于有助于本文描述的药品包装分析引擎服务器155和药品包装分析引擎模块160的操作的软件和数据。存储器1205可以包括但不限于以下类型的设备：高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。如图12所示，存储器1205可以包含五类或更多类的软件和/或数据：操作系统1210、药品包装处理和分析引擎模块1225以及通信模块1240。具体地，操作系统1210可以管理数据处理系统的软件和/或硬件资源，并且可以协调由处理器进行的程序执行。药品包装处理和分析引擎模块112可以包括机器学习引擎模块1230和AI引擎模块1235。机器学习引擎模块1230可以被配置为执行上面关于机器学习引擎240、卷积神经网络310以及图5和图7至图10的流程图所描述的一个或多个操作。AI引擎模块1225可以被配置为执行上面关于AI引擎245、卷积神经网络310以及图5和图7至图10的流程图所描述的一个或多个操作。通信模块1240可以被配置为支持例如药品包装分析引擎服务器155与例如药品包装验证系统之间的通信。

尽管根据本发明构思的一些实施例图11至图12分别示出了可以在数据处理系统(例如，图1的药品包装分析引擎服务器155和图11的数据处理系统1100)中使用的硬件/软件架构，但将理解的是，本发明的实施例不限于这样的配置，而是旨在涵盖能够执行本文描述的操作的任何配置。

出于开发便利性的考虑，用于执行上面关于图1至图11、图13和图14所讨论的数据处理系统的操作的计算机程序代码可以用高级编程语言编写，例如Python、Java、C和/或C++。此外，用于执行本发明的操作的计算机程序代码也可以用其他编程语言编写，例如但不限于解释语言。某些模块或例程可以用汇编语言或者甚至微代码编写，以提高性能和/或内存使用。将进一步认识到的是，任何或全部程序模块的功能也可以使用分立硬件组件、一个或多个专用集成电路(ASIC)或编程数字信号处理器或微控制器来实现。

此外，根据本发明构思的各种实施例，图1的药品包装分析引擎服务器155和图11的数据处理系统1100的功能可以各自实现为单处理器系统、多处理器系统、多核处理器系统或者甚至独立计算机系统的网络。这些处理器/计算机系统中的每一个都可以被称为“处理器”或“数据处理系统”。

根据本文描述的本发明构思的一些实施例，本文关于图1至图13所描述的数据处理装置可以用来有助于实现无关的标签内容从药品包装表面的AI辅助去除和/或检测和识别其中包含的一种或多种药品以验证药品包装内容。这些装置可以体现为一个或多个企业、应用、个人、普遍和/或嵌入式计算机系统和/或装置(其可操作以使用软件、固件和/或硬件的任何合适组合来接收、发送、处理和存储数据，并且可以是独立的或者通过任何公共和/或专用、真实和/或虚拟、有线和/或无线网络(包括被称为互联网的全球通信网络的全部或一部分)互联)，并且可以包括各种类型的有形非暂时性计算机可读介质。具体地，存储器1205在耦接到处理器时包括计算机可读程序代码，该计算机可读程序代码在由处理器执行时使处理器执行包括本文关于图1至图10、图13和图14所描述的一个或多个操作在内的操作。

如上所述，本发明构思的实施例可以提供AI辅助药品包装分析系统，该AI辅助药品包装分析系统可以使用AI技术(例如卷积神经网络)检测药品包装表面上的标签内容，以生成去除了标签内容的药品包装的修改图像，并且使用一个或多个机器学习引擎检测和识别药品包装中包含的药品。这可以在例如药房或医疗中心向客户或患者发放包装药品之前提高包装验证过程的准确性。

其他定义和实施例

在上面对本公开的各种实施例的描述中，本公开的各方面在本文中可以在许多可授予专利的类别或上下文(包括任何新的和有用的过程、机器、制造或物质组成，或其任何新的和有用的改进)中的任何一个中进行说明和描述。因此，本公开的各方面可以以完全硬件、完全软件(包括固件、驻留软件、微代码等)或组合软件和硬件的实现方式来实现，它们在本文中通常都可以被称为“电路”、“模块”、“组件”或“系统”。此外，本公开的各方面可以采取计算机程序产品的形式，该计算机程序产品包括具有其上体现计算机可读程序代码的一个或多个计算机可读介质。

可以使用一种或多种计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如但不限于)电子、磁性、光学、电磁或半导体系统、装置或设备，或者前述的任何合适组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、具有中继器的适当光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备，或者前述的任何合适组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用的或与该指令执行系统、装置或设备相关联的程序的任何有形介质。

计算机可读信号介质可以包括其中体现计算机可读程序代码的传播数据信号，例如在基带中或作为载波的一部分。这种传播信号可以采取各种形式中的任何一种形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以为不是计算机可读存储介质的、并且可以传送、传播或传输由指令执行系统、装置或设备使用的或与该指令执行系统、装置或设备相关联的程序的任何计算机可读介质。在计算机可读信号介质上体现的程序代码可以使用任何适当的介质来发送，包括但不限于无线、有线、光纤电缆、RF等，或者前述的任何合适组合。

用于执行针对本公开的各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合编写，所述一种或多种编程语言包括面向对象的编程语言(例如，Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等)、常规的过程编程语言(例如，“C”编程语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP)、动态编程语言(例如，Python、Ruby和Groovy)或其他编程语言。程序代码可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立软件包执行，部分地在用户的计算机上执行且部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以实现到外部计算机的连接(例如，通过使用互联网服务提供商的互联网)或在云计算环境中实现连接或作为诸如软件即服务(SaaS)之类的服务提供连接。

在本文中参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。将理解的是，流程图图示和/或框图中的每个框以及流程图图示和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程指令执行装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的机制。

这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质在执行时可以指导计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得指令在存储在计算机可读介质中时产生包括指令的制造品，所述指令在被执行时使计算机实现流程图和/或框图的一个或多个框中指定的功能/动作。计算机程序指令还可以加载到计算机、其他可编程指令执行装置或其他设备上以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实现过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。

附图中的流程图和框图示出了根据本公开的各个方面的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应注意的是，在一些备选实现方式中，框中注明的功能可以不按照附图中注明的顺序来发生。例如，连续示出的两个框实际上可以基本上同时地执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意的是，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或动作、或者专用硬件和计算机指令的组合。

本文中使用的术语仅用于描述特定方面的目的，并不旨在限制公开内容。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指出。将进一步理解的是，术语“包括(comprises)”、“包括(comprising)”、“包含(include)”、“包含(including)”、“具有(have)”、“具有(has)”、“具有(having)”或其变体在本说明书中使用时指出所述的特征、整数、步骤、操作、元素和/或组件的存在，但不排除存在有或添加了一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组。如本文所用，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。相同的附图标记在整个附图的描述中表示相同的元素。

还将理解的是，尽管第一、第二等术语在本文中可以用于描述各种元素，但这些元素不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。

除非另有定义，否则本文中使用的所有术语(包括技术术语和科学术语)的含义与本发明所属领域的普通技术人员通常理解的含义相同。将进一步理解的是，术语(诸如常用词典中定义的术语)应被解释为具有与其在说明书和相关技术的上下文中的含义一致的含义，并且不应以理想化的或过于正式的意义加以解释，除非本文明确如此定义。为简洁和/或清晰起见，可能没有详细描述公知的功能或构造。

本公开的描述已经出于说明和描述的目的而呈现，但并不旨在是详尽的或者受限于所公开形式的公开内容。在不脱离公开内容的范围和精神的情况下，许多修改和变化对于本领域普通技术人员而言将是明显的。选择并描述本文中公开内容的各方面，从而最好地解释公开内容的原理和实际应用，并使本领域的其他普通技术人员能够理解具有适合于所设想的特定用途的各种修改的公开内容。

Claims (20)

1.一种方法，包括：

接收在其中包含一种或多种药品的药品包装的图像，所述图像包括在所述药品包装的表面上显示的标签内容；

使用人工智能引擎检测所述药品包装的所述表面上的所述标签内容；以及

生成从其表面去除了所述标签内容的所述药品包装的修改图像。

2.根据权利要求1所述的方法，其中所述标签内容包括商业营销信息、患者识别信息或个人医疗保健信息。

3.根据权利要求2所述的方法，其中所述商业营销信息包括标志或企业名称；

其中所述患者识别信息包括患者姓名、患者电话号码、患者地址或患者识别号；并且

其中所述个人医疗保健信息包括所述一种或多种药品的名称、所述一种或多种药品中的每种药品的数量、针对所述一种或多种药品中的每种药品的规定给药时间、与所述一种或多种药品相关联的一个或多个条形码、处方单、患者账户或识别号。

4.根据权利要求1所述的方法，还包括：

响应于接收到所述药品包装的所述图像，对所述药品包装的所述图像执行伽马校正，以生成所述药品包装的伽马校正图像；

对所述药品包装的所述伽马校正图像执行高斯模糊去噪，以生成所述药品包装的降噪图像；以及

对所述药品包装的所述降噪图像执行自动图像阈值处理，以生成所述药品包装的前景-背景分离图像；

其中使用所述人工智能引擎检测所述标签内容包括：

使用所述人工智能引擎检测所述药品包装的所述前景-背景分离图像的所述表面上的所述标签内容。

5.根据权利要求4所述的方法，其中所述人工智能引擎是卷积神经网络。

6.根据权利要求5所述的方法，其中所述卷积神经网络包括多个卷积层，所述多个卷积层中的至少一些卷积层通过跳跃连接互相连接。

7.根据权利要求1所述的方法，其中所述人工智能引擎是第一人工智能引擎，并且所述修改图像是第一修改图像，所述方法还包括：

接收针对所述一种或多种药品的订单信息和针对所述药品包装的标识符；

使用第二人工智能引擎在所述第一修改图像中检测所述一种或多种药品中的单独药品；以及

生成所述药品包装的第二修改图像，所述第二修改图像包括区分所述一种或多种药品中的所述单独药品并将所述一种或多种药品与所述订单信息和针对所述药品包装的所述标识符相关联的标记。

8.根据权利要求7所述的方法，其中区分所述一种或多种药品中的所述单独药品的所述标记包括一个或多个边界框。

9.根据权利要求7所述的方法，其中所述订单信息包括所述药品包装中的所述一种或多种药品的名称，所述方法还包括：

使用第三人工智能引擎，基于所述一种或多种药品的所述名称在所述第二修改图像中识别所述一种或多种药品中的至少一些药品；

其中所述名称与参考数据库中的药品属性相关联。

10.根据权利要求9所述的方法，其中所述一种或多种药品中的所述至少一些药品包括所述一种或多种药品中的破碎药品。

11.根据权利要求9所述的方法，其中所述方法还包括：

使用所述第三人工智能引擎将所述一种或多种药品的一部分识别为由于对所述一种或多种药品的损坏而导致的碎渣。

12.根据权利要求9所述的方法，还包括：

用所述一种或多种药品的所述名称在所述第二修改图像中注释所述一种或多种药品中的所述至少一些药品。

13.根据权利要求12所述的方法，还包括：

用临时名称注释所述一种或多种药品中的未用所述名称注释的任何药品。

14.根据权利要求12所述的方法，其中所述名称是第一名称，并且所述订单信息包括所述药品包装中的所述一种或多种药品的国家药品编码NDC，所述方法还包括：

将与已经用所述第一名称注释的所述一种或多种药品中的所述至少一些药品不相关联的NDC与药品参考数据匹配；以及

基于所述药品参考数据，用第二名称注释所述一种或多种药品中的未用所述名称注释的、具有与所述药品参考数据匹配的关联NDC的任何药品。

15.根据权利要求14所述的方法，其中所述药品参考数据包括药品形状、药品颜色、药品蚀刻、药品印记、药品重量和/或药品标签。

16.一种系统，包括：

处理器；以及

存储器，所述存储器耦接到所述处理器并且包括体现在所述存储器中的计算机可读程序代码，所述计算机可读程序代码能够由所述处理器执行以执行操作，所述操作包括：

接收在其中包含一种或多种药品的药品包装的图像，所述图像包括在所述药品包装的表面上显示的标签内容；

使用人工智能引擎检测所述药品包装的所述表面上的所述标签内容；以及

生成从其表面去除了所述标签内容的所述药品包装的修改图像。

17.根据权利要求16所述的系统，其中所述操作还包括：

响应于接收到所述药品包装的所述图像，对所述药品包装的所述图像执行伽马校正，以生成所述药品包装的伽马校正图像；

对所述药品包装的所述伽马校正图像执行高斯模糊去噪，以生成所述药品包装的降噪图像；以及

对所述药品包装的所述降噪图像执行自动图像阈值处理，以生成所述药品包装的前景-背景分离图像；

其中使用所述人工智能引擎检测所述标签内容包括：

使用所述人工智能引擎检测所述药品包装的所述前景-背景分离图像的所述表面上的所述标签内容。

18.根据权利要求17所述的系统，其中所述人工智能引擎是卷积神经网络。

19.一种计算机程序产品，包括：

非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括体现在所述介质中的计算机可读程序代码，所述计算机可读程序代码能够由处理器执行以执行操作，所述操作包括：

接收在其中包含一种或多种药品的药品包装的图像，所述图像包括在所述药品包装的表面上显示的标签内容；

使用人工智能引擎检测所述药品包装的所述表面上的所述标签内容；以及

生成从其表面去除了所述标签内容的所述药品包装的修改图像。

20.根据权利要求19所述的计算机程序产品，其中所述操作还包括：

响应于接收到所述药品包装的所述图像，对所述药品包装的所述图像执行伽马校正，以生成所述药品包装的伽马校正图像；

对所述药品包装的所述伽马校正图像执行高斯模糊去噪，以生成所述药品包装的降噪图像；以及

对所述药品包装的所述降噪图像执行自动图像阈值处理，以生成所述药品包装的前景-背景分离图像；

其中使用所述人工智能引擎检测所述标签内容包括：

使用所述人工智能引擎检测所述药品包装的所述前景-背景分离图像的所述表面上的所述标签内容。