CN116829926A - 基于高光谱成像检查医药物品 - Google Patents

Abstract

描述了一种检查医药物品的方法，其中，该方法包括：捕捉医药物品的图像；捕捉医药物品的高光谱图像数据；基于图像中定位的医药物品，从高光谱图像数据中选择一个或多个高光谱图像数据部分；基于一个或多个高光谱图像数据部分分别确定一个或多个高光谱指纹，高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将一个或多个高光谱指纹中的一个与参考指纹进行比较。

Description

基于高光谱成像检查医药物品

技术领域

本发明涉及基于高光谱成像检查医药物品，特别是包括药物的袋，并且特别但不是唯一的，涉及基于高光谱成像检查医药物品的方法和系统以及执行这种方法的计算机程序产品。

背景技术

根据处方向病人提供药物。特别是患有慢性病的人需要周期性地长期服用相同的药。病人经常需要服用不同的药物组合，即，药丸、药片和/或胶囊。为了便于为病人开具处方，可以根据处方使用自动包装系统将药品包装进袋中(例如，透明塑料袋、吸塑或袋子)。不正确的处方包装可能会导致病人服用错误的药物(组合)或不正确的药物剂量，这可能对病人的健康有害。

为了降低故障率，医药物品由检查系统进行检测，该系统被配置为使用图像处理系统检查医药物品，其中，医药物品可以表示例如药丸和/或药片、胶囊、安瓿或包括医药物品的包、吸塑或袋。这种检查系统的一个示例在EP 2951563中已知。为了扩展这种检查系统的功能，可以考虑其他检查技术。例如，US2014/0319351描述了基于近红外NIR高光谱成像检查布置在吸塑包装中的药丸的在线系统的示例。该检查系统用卤素灯的光来照明吸塑包装中的药丸，然后高光谱图像传感器检测近红外光谱中15个波段的15个响应值。对响应值进行处理以确定属于药丸响应的响应值的部分。然后将这些部分与参考进行比较，以确定药丸是否包含正确的成分。

然而，为医药袋建立包括上述高光谱分析能力的准确的高吞吐量检查系统(例如，能够每小时检查10,000袋或更多的检查系统)由于几个原因而具有挑战性。与在吸塑包装中以有序方式在空间上布置一种大小、形状和成分的药丸或胶囊相比，医药袋中的医药物品可以包括不同大小、形状和成分的不同医药物品，它们在空间上以随机的顺序分布。医药物品可能被布置在它们的侧面，彼此相邻或(部分)相互覆盖，而透明袋材料可能在测量数据中引入误差。

此外，药物的NIR响应是相对较弱的信号，因为大多数药物主要是由相同的原料(涂层、粘合剂材料等)组成的，这些原料通常占药片质量的大部分。因此，为了区分不同的药物，每个像素需要大量的光谱响应值(例如，几百个或更多)，而不是像现有技术中提到的15个值。在这种情况下，高光谱图像数据通常包括需要实时分析的相当数据量的数据块(数据堆)(例如，每张图片超过100M字节)。现有技术中用于处理成像的药物袋的高光谱数据的方法并不适合这一目的。

因此，本领域需要改进的检查药品袋的方法和系统，特别是基于电磁波谱近红外部分中的高光谱成像来检查药品袋的方法和系统，这允许准确、实时、高吞吐量地检查药品袋。

发明内容

如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例在本文都可以被总体称为“电路”、“模块”或“系统”。本公开中描述的功能可以作为由计算机的微处理器执行的算法来实施。此外，本发明的各方面可以采取在一种或多种计算机可读介质中包含的计算机程序产品的形式，该介质具有在其上包含的计算机可读程序代码(例如，存储)。

参考本申请实施例描述的方法、系统、模块、功能和/或算法可以用硬件、软件、或硬件和软件的组合来实现。方法、系统、模块、功能和/或算法可以以集中方式在至少一个计算系统中实现，或者以不同的元件分布在几个互连的计算系统上的分布式方式实现。适于进行本申请中描述的实施例(或其部分)的任何种类的计算系统或其他设备都是适合的。典型的实施方式可以包括一个或多个数字电路，诸如专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)和/或一个或多个处理器(例如，x86、x64、ARM、PIC和/或任何其它适合的处理器架构)以及相关联的支持电路(例如，存储、DRAM、闪存、总线接口电路等)。每个分立的ASIC、FPGA、处理器或其它电路可以被称为“芯片”，并且多个这样的电路可以被称为“芯片组”。在实施方式中，可编程逻辑器件可以设置有快速RAM，特别是块RAM(BRAM)。另一种实施方式可以包括其上存储有一行或多行代码的非暂时性机器可读(例如，计算机可读)介质(例如，闪存驱动器、光盘、磁存储盘或类似)，当由机器执行时，使机器进行如本公开中所描述的过程。

附图中的流程图和框图可以表示本发明的各种实施例的方法、系统和/或模块的可能实施方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示模块、段或代码的一部分，其可以作为软件、硬件或软件和硬件的组合来实施。

还应当注意的是，在一些替代实施方式中，框中记录的功能可以不按附图中记录的顺序发生。例如，连续示出的两个框实际上可以基本同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应当注意的是，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合能够由基于专用硬件的系统来实施，该系统执行特定功能或动作，或由专用硬件和计算机指令的组合来实施。

本申请实施例的目标是提供医药包的有效和准确的检查方法，所述医药包包含一个或多个医疗物品(例如，药丸和/或胶囊)。

特别地，本申请实施例的目标是在医药检查系统中使用高光谱成像，使得该系统能够区分医药物品，所述医药物品对人眼看来相同(例如相同的颜色和形状)，因此无法通过分析医药物品的可见光谱的图像数据来区分。对于准确的医药物品检查系统来说，基于物质(成分)准确区分药物(medication)的能力是非常重要的，因为大量的药物在视觉上区别并不明显(经常是圆形、白色药片)。

高光谱成像的技术优势可以包括高光谱分辨率(>200个波段，而不是RGB多光谱成像的三个传统颜色波段)，其允许在可见光谱中检测其他相似物品的差异。此外，其允许基于电磁波谱的非可见部分(近红外部分)来辨别不同的药物。

在一个方面，本发明可以涉及一种检查医药物品的方法，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

在一个实施例中，高光谱图像数据的捕捉可以包括将医药物品暴露于具有连续光谱的光，所述连续光谱优选是电磁波谱的可见光和/或近红外域中的连续光谱。

在一个实施例中，高光谱数据可以包括像素，每个像素与多个光谱值相关联，优选地多个光谱值包括电磁波谱的可见光和/或近红外域中的光谱值。

在一个实施例中，一个或多个单波段或多波段图像可以包括像素的2D网格，每个像素与一个或几个光谱值相关联，所述一个或几个光谱值优选是从一个或多个光谱值(例如，RGB值和/或红外值)中选出的光谱值。

在一个实施例中，高光谱图像数据可以包括线扫描高光谱图像数据，该线扫描高光谱图像数据包括像素行。

在一个实施例中，该方法还可以包括：基于分割算法，定位与图像中一个或多个医药物品相关联的一个或多个像素组。

在一个实施例中，选择一个或多个高光谱图像数据部分可以包括：将该一个或多个像素组中的每一个映射到高光谱图像数据的像素上。

在一个实施例中，在选择一个或多个高光谱图像数据部分之前，可以执行以下一个或多个步骤：使用算法，优选聚类算法，从一个或多个高光谱图像数据中去除背景像素(异常值)；以及，从一个或多个高光谱图像数据中去除被镜面反射污染和/或过度曝光的像素。

在一个实施例中，确定一个或多个高光谱指纹还可以包括：降低一个或多个高光谱图像数据部分的维度，优选基于PCA方法，降低一个或多个高光谱图像数据部分的维度；以及，基于一个或多个降低的高光谱图像数据部分中的至少一个来确定指纹。

在一个实施例中，使用相机系统来捕捉一个或多个单波段或多波段图像和高光谱图像数据，优选地相机系统包括多光谱相机，以及可选的单波段或多波段相机，诸如单色或彩色相机。

在一个实施例中，高光谱图像数据可以是使用高光谱线扫描相机捕捉的，其中，在捕捉过程中，医药物品相对于高光谱线扫描相机移动，更优选地医药物品移动通过相机系统的视场。

在另一个方面，本发明可以涉及一种用于控制医药检查装置的模块，该医药检查设备包括相机系统，该模块包括具有在其中包含的计算机可读程序代码的计算机可读存储介质，以及耦合到该计算机可读存储介质的处理器，优选微处理器，其中，响应于执行该计算机可读程序代码，该处理器被配置为进行可执行操作，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

在进一步的方面，本发明可以涉及一种医药物品检查设备，包括：相机系统，以及计算机可读存储介质，具有在其中包含的至少一部分程序；以及，计算机可读存储介质，具有在其中包含的计算机可读程序代码，以及耦合到计算机可读存储介质的处理器，优选微处理器，其中，响应于执行计算机可读程序代码，处理器被配置为进行可执行的操作，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

在一个实施例中，高光谱数据可以使用高光谱相机确定，该高光谱相机可以被配置为在光谱的近红外(NIR)部分中检测成像区域的光谱响应。在另一个实施例中，高光谱相机可被配置为在光谱的可见光和NIR部分两者中检测成像区域的光谱响应。在这种情况下，高光谱相机可以在可见光范围和NIR范围两者内生成图像数据。如果高光谱相机被配置为同时为每个像素生成NIR和可见光谱值两者，就不再需要单独的多光谱相机(例如，RGB或RGB/IR相机)。在这种情况下，可以从高光谱数据堆中提取可见光谱中一个或多个波长的光谱值的一个或多个切片。因此，在该实施例中，可以从高光谱图像数据中得到单色或多色图像。基于该彩色图像，可使用标准的图像处理算法检测和定位医疗物品(例如，药丸)。

在一个实施例中，相机系统可以包括高光谱相机和用于照明高光谱相机的成像区域的灯。在一个实施例中，灯可以包括外壳和照明源。在一侧，外壳可以包括允许光从外壳射出并照明医药物品的孔。通常，照明源可以被配置为生成连续光谱的光(诸如卤素灯或光)。这样的照明源会生成大量的热量。因此，在一些实施例中，外壳可以包括可以连接到冷却系统(例如，空气冷却系统)的出口。这样，就能够产生流动(例如，空气流动)，其中热量从孔向出口传输。这样，就可以避免由照明源产生的热量增加其周围的温度。

本发明还可以涉及一种检查医药物品的方法，包括：捕捉医药物品的单波段图像或多波段图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物；捕捉该袋中的医药物品的高光谱图像数据；确定单波段图像或多波段图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于单波段图像或多波段图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于该高光谱图像数据部分确定高光谱指纹，该高光谱指纹表示医药物品中一种或多种化合物的光谱响应；以及，将该高光谱指纹与一种或多种参考指纹进行比较。

本发明还可以涉及一种计算机程序产品，其包括软件代码部分，该计算机程序产品被配置为当在计算机的存储器中运行时，执行根据上述任何过程步骤的方法步骤。

将参考附图进一步示出本发明，附图将示意性地示出根据本发明的实施例。可以理解的是，本发明不以任何方式限制于这些具体的实施例。

附图说明

图1图示根据本发明的实施例的医药物品检查系统；

图2图示根据本发明的实施例的基于高光谱成像的医药物品检查方案；

图3描绘了根据本发明的实施例的用于检查医药包的方法的流程图；

图4描绘了根据本发明的实施例的医药物品检查设备；

图5描绘了根据本发明的实施例的用于处理高光谱成像数据的系统；

图6描绘了由高光谱成像系统捕捉的医药包图像的一个示例；

图7A至图7D描绘了根据本申请中的实施例的基于图像处理方法处理的图像；

图8A至图8D描绘了根据本申请中的实施例的基于图像处理方法处理的图像；

图9和图10示出了医药袋的图像和医药物品的指纹。

具体实施方式

图1图示根据本发明的实施例的医药物品检查系统。特别地，附图描绘了检查系统100，包括运输系统102，用于通过检查区域来运输医药物品106，所述医药物品106包括医药袋，所述医药袋包括多个不同的医药物品，所述检查区域被配置为基于成像系统来检查医药物品。医药物品可以表示为例如药丸和/或药片、胶囊、安瓿，其可以被包装进包或袋，并且可以基于成像系统进行检查。在一个实施例中，成像系统可以包括一个或多个相机系统114、116。

例如，在一个实施例中，第一相机系统114可以包括一个或多个图像传感器，该图像传感器被配置为捕捉基于(有限的)多个颜色通道的医药物品的第一空间分辨率的图像。例如，在一个实施例中，图像传感器可以包括RGB像素，用于捕捉RGB彩色图像或每个颜色通道的图像。在进一步实施例中，图像传感器可以包括电磁波谱的非可见部分中的光谱通道，例如，近红外(NIR)中的通道。第一空间分辨率可以是一个高的空间分辨率，使得基于已知的图像处理算法能够非常快速和准确地确定袋中的药物的细节，包括形状、轮廓和字母。在一个实施例中，可以使用NIR相机来获得药物的高空间分辨率(近)红外图像。这种图像提供了包装中的药物外轮廓的准确信息。此外，在一个实施例中，可以使用彩色相机来捕捉药物的高空间分辨率彩色图像。基于这些图像，可以非常快速和准确地确定包装中的药物的位置、形状以及例如颜色。

在进一步的实施例中，第二相机系统116可以包括高光谱相机系统，特别是可以被配置为关于医药物品进行高光谱成像的高光谱相机。医药物品中的药用活性化合物响应于近红外辐射，特别是800nm至1700nm范围内的近红外辐射。这样，高光谱成像可以成为检查药物(诸如检查药丸、药片或胶囊中的药用活性化合物)的有价值的工具。因此，高光谱相机的每个像素可以在电磁波谱的预定部分(例如，400nm和800nm之间的可见光波段和/或近红外NIR波段(例如，800nm和1700nm之间))内检测多个光谱值，优选100个或更多的光谱值。这样，高光谱相机可以产生光谱图像数据堆，其中在光谱的波长处的光谱图像数据堆的切片可以表示包括药物的包装的第二空间分辨率的图像，其中第二空间分辨率小于第一空间分辨率。

由于EM光谱的NIR部分特别适合确定药用活性化合物的响应，因此高光谱图像数据堆的光谱值可以表示由高光谱成像系统捕捉的药物的光谱响应。

在高光谱成像期间，可以使用特别适合于高光谱成像的照明源122对物品进行照明。对于高光谱应用，照明源可以被选择为在光谱的相关部分具有连续的光谱，例如在UV、可见光和/或近红外(NIR)范围内的连续光谱。适合该目的的照明源包括基于高温加热的灯丝的白炽光源，诸如卤素灯。

在另一个实施例中，高光谱相机可以被配置为在光谱的可见光和NIR部分两者中检测成像区域的光谱响应。在这种情况下，高光谱相机可以在可见光范围和NIR范围两者内产生图像数据。如果高光谱相机被配置为生成像素的NIR和可见光谱值两者，则不需要单独的多光谱相机(例如，RGB或RGB/IR相机)。在这种情况下，可以从高光谱数据堆中提取可见光谱中一个或多个波长的光谱值的一个或多个切片。在一些实施例中，单波段图像(例如，NIR图像)或多波段图像(例如，RGB或RGBI图像)可以从高光谱图像数据中得出。基于该图像，表示医疗物品(例如，药丸)的像素组(斑点)，可以使用标准的图像处理算法进行检测和定位。

计算机118可以控制成像系统和医药物品的运输。此外，计算机可以包括一个或多个图像处理模块，被配置为处理由成像系统生成的图像数据，从而能够可靠地检查医药物品。图像处理模块可以被配置为执行参考本申请中的实施例描述的图像处理。

图2图示根据本发明的实施例的基于高光谱成像的检查医药物品的方案。特别地，附图包括方案200，包括捕捉医药袋201的第一空间分辨率的一个或多个第一图像(例如，一个或多个RGB和/或IR图像)，该医药袋201包括可以为不同的形状、大小和成分，并且可以随机布置在袋中的药物(在该示例中是药丸201_1-5)。在这种情况下，一些药丸(诸如药丸201_2、3和药丸201_4、5)可以部分地彼此相邻布置或重叠布置。一个或多个第一图像可以用于基于已知的物品检测和分割算法，在第一空间分辨率的图像中定位药丸。这样，图像中的药物201_1-5可以表示图像中的像素组(斑点)(步骤202)。此外，医药袋可以由高光谱相机成像以创建第二空间分辨率的高光谱图像数据(高光谱图像数据堆)，所述第二空间分辨率低于一个或多个第一图像的空间分辨率。

高光谱相机可以以不同的方式实施。在一个实施例中，相机可以是捕捉包括袋的曝光区域的2D相机。可选地，在一个实施例中，相机可以是1D相机，即线扫描器。这种线扫描相机可以包括一行光敏像素，所述光敏像素以高线扫描频率不断扫描移动的物品。如果物品在相机下以已知的速度移动，就能够用线扫描相机生成物品的二维图像。由线扫描器生成的数据可以被“缝合”在一起形成2D图像。由高光谱相机获取的高光谱数据可以具有“数据立方体”204的形式，其具有表示光谱不同部分的光谱响应的第三维度以及表示空间轴线的另外两个维度(在x和y方向)。在线扫描器的情况下，y轴可以分别是时间，如图所示。

然后，基于在一个或多个第一图像中定位的像素组(斑点)，可以选择高光谱图像数据中的斑点或部分斑点。这样，可以确定与在一个或多个第一图像中定位的药丸相关联的高光谱数据(步骤205)。这样的高光谱斑点可以包含定位的药物(例如，药片)的光谱值206。这些值可以表示作为医药物品的一部分的像素位置处的光谱208。基于光谱可以确定指纹，该指纹能够与参考指纹进行比较。

高分辨率图像中的高分辨率信息允许快速和准确地区分袋中的不同药物。因此，基于高分辨率图像中的定位的药物，能够实现快速和准确地选择与该定位的药物相关联的高光谱图像数据。然后，该信息能够用于选择实时、高吞吐量检查所需的高光谱图像数据中的数据的相关部分。

图3描绘了根据本发明的实施例的用于检查医药物品的方法的流程图。该处理可以包括第一步骤300：捕捉医药袋的第一空间分辨率的一个或多个第一图像。在一个实施例中，可以使用相机系统，包括高分辨率图像传感器(例如，1440×1080像素的图像传感器)和光学系统，所述光学系统提供每像素0.1mm(或～256像素/英寸，PPI)，优选每像素0.08mm(～317PPI)或更少的空间分辨率。在一个实施例中，可以捕捉一个或多个图像，同时将医药包暴露于电磁光谱的一个或多个部分的光。在这里，一个或多个第一图像中的至少一个可以是具有有限数量的颜色通道的图像(例如，RGB图像)。此外，一个或多个第一图像中的至少一个可以是红外IR或近红外NIR图像。在进一步实施例中，这些图像可以使用RGB相机或RGBI相机进行捕捉，其中“I”表示形成红外或近红外NIR通道的像素。

在进一步的步骤302中，该方法可以包括捕捉医药包的高光谱图像数据。在这里，高光谱图像数据的高光谱像素可以包括表示在该像素位置处的医药包的近红外光谱响应的多个光谱值(如上面参考图2所述)。这里，与一个波长(高光谱数据堆中的切片)相关联的捕捉的光谱值可以形成第二空间分辨率的2D图像，其中第二分辨率低于第一分辨率。通常，高光谱成像系统可以具有像素化的图像传感器和光学系统，所述光学系统提供的空间分辨率比与第一成像系统相关联的像素密度至少低2倍(例如，每像素0.5mm)。因为空间分辨率低更难区分相对靠近的不同物品。在一个实施例中，在捕捉高光谱图像数据期间，可以将医药包可以暴露于电磁波谱的可见光和/或近红外(NIR)部分的连续光谱的光。

该处理还可以包括在第一空间分辨率的一个或多个第一图像中，确定第一像素的一个或多个第一斑点，其表示一个或多个药物(例如，药丸和/或胶囊)(步骤304)。然后，基于在一个或多个第一图像中的一个或多个第一斑点的位置，可以从高光谱图像数据中选择第二像素的一个或多个第二斑点(步骤306)。在步骤308，可以确定一个或多个第二像素组中的一个的高光谱指纹，其中，高光谱指纹可以指示医药物品中的一种或多种化合物的光谱响应。此后，可以将高光谱指纹与参考指纹进行比较，以确定根据参考指纹是否能够将检查的医药物品识别为医药物品(步骤310)。

因此，简而言之，该方法提供了一种非常快速、高效和准确的检查医药物品的方式，该方式基于捕捉一个或多个医药物品的图像(例如，彩色图像)和一个或多个医药物品的高光谱图像数据。基于在高空间分辨率图像中定位的一个或多个医药物品，可以从高光谱图像数据中选择一个或多个高光谱图像数据部分，其中高光谱图像数据具有低于第一分辨率的第二空间分辨率。因此，基于高光谱图像数据，高速且准确地确定高光谱图像数据部分。这样，可以确定与医药物品有关的高光谱像素。该一个或多个高光谱图像数据部分随后可以用于确定一个或多个高光谱指纹，其中，高光谱指纹指示了医药物品中一种或多种化合物的光谱响应。这些一个或多个高光谱指纹用于确定是否能够基于参考指纹来识别一个或多个医药物品。

图4描绘了根据本发明的实施例的医药检查设备，所述医药检查设备包括高光谱成像系统。特别地，附图描绘了检查系统400，包括成像系统401，用于对一个或多个医药物品402_1-n(即，一个或多个包括药物的袋)进行成像。该系统还可以包括运输结构404，该运输结构404包括用于引导一个或多个医药物品通过成像系统的检查区域的运输路径406。医药物品可以包括基于由成像系统生成的图像数据来检查的药丸、药片、胶囊、安瓿等，或包括这些药丸、药片、胶囊、安瓿等的包或袋。当在使用检查系统时，可以在运输路径上将医药物品运输到检查区域。在一个实施例中，医药物品可以被配置为一串包，其可以从第一(上游)辊408₂展开，被引导通过检查区域并围绕第二(下游)辊408₁重新缠绕。辊的移动能够由电机412控制。

取决于实施方式，成像系统可以包括一个或多个相机系统。例如，在一个实施例中，成像系统可以包括相机系统414、416，其包括一个或多个多光谱图像传感器，该多光谱图像传感器被配置为基于(有限)多颜色通道捕捉包的图像。例如，图像系统可以包括用于捕捉RGB彩色图像或用于每个颜色通道的三个图像的RGB像素。此外，该图像系统可以包括一个或多个进一步的光谱通道，例如，近红外(NIR)中的光谱通道。

在另一个实施例中，成像系统可以包括根据本申请中任一个实施例的高光谱相机系统。高光谱相机系统可以包括高光谱相机418和用于照明高光谱相机的成像区域的灯420。在一个实施例中，灯可以包括外壳419和照明源423。在一侧，外壳可以包括允许光从外壳射出并照明医药物品的孔421。通常，照明源可以被配置为生成连续光谱的光(诸如卤素灯或光)。通常，这种照明源会生成大量的热量。因此，在一些实施例中，外壳可以包括出口425，出口425可以连接到冷却系统422(例如，空气冷却系统)。这样，就能够产生流动(例如，空气流动)，其中热量从孔向出口传输。这样，就可以避免由照明源产生的热量增加其周围的温度。检查系统可由控制器424(例如，计算机)控制，控制器424包括不同的模块(例如，软件和/或硬件模块)，其被配置为控制检查医药物品所需的处理。

在一个实施例中，高光谱相机可以被配置为检测成像区域在光谱的近红外(NIR)部分的光谱响应。在一些实施例中，高光谱相机还可以被配置为检测成像区域在光谱的可见部分的光谱响应。在这种情况下，高光谱相机可以在可见光范围和NIR范围两者内生成图像数据。

因此，对于每个相机像素，可以在近红外波段(例如，900nm至1700nm之间)和/或可见光波段检测多个光谱值，优选100个或更多的光谱值。因此，每个光谱值表示由高光谱成像系统成像的物品(例如，药物)的光谱响应。

由第一和第二相机系统生成的图片可以由控制器424所执行的图像处理模块处理。例如，第一相机系统的图像数据(例如，2D彩色图片，诸如RGB彩色图片)可以使用图像处理算法进行分析，该算法被配置为基于特征(诸如形状和/或颜色)来定位和辨别图片中的医药物品。相似地，第二相机系统的图像数据(例如，包括关于医药物品的光谱信息(优选近红外光谱信息)的3D图像数据堆)可以用于确定医药物品的指纹，该指纹可以与数据库中的参考指纹比较，以得出关于医药物品的成分的信息。

高光谱相机可以用不同的方式来实施。例如，在一个实施例中，相机可以是2D成像器。在另一个实施例中，相机可以作为线扫描器来实施。在2D成像器的情况下，相机可以包括光敏像素的2D网格，其被配置为生成2D高光谱图像数据。该2D高光谱图像数据可以包括成像区域的像素，其中每个像素与多个光谱响应值相关联。在线扫描相机的情况下，相机可以包括一行光敏像素，所述光敏像素以高的线扫描频率扫描区域，以在每次扫描产生1D高光谱图像数据。如果物品以已知的速度在相机下移动或者相机以已知的速度在物体上移动，就能够用线扫描相机生成物体的二维图像。在这种情况下，由线扫描器生成的1D高光谱图像数据(一行像素数据，其中每个像素数据包括多个光谱值)可以“缝合”在一起成为包括成像区域的像素的2D高光谱图像数据，其中每个像素与多个光谱响应值相关联。因此，由高光谱相机获取的数据可以具有“数据立方体”的形式，其具有表示在光谱的不同部分的光谱响应的第三维度以及分别表示空间轴和时间轴的另外两个维度(在x和y方向)。

在一个实施例中，高光谱相机可以被配置为至少在电磁波谱的近红外(NIR)范围内(波长大约选择在900nm和1700nm之间)生成光谱值。在其他实施例中，高光谱相机可以被配置为在NIR范围和可见光范围两者内或仅在可见光范围内生成光谱值。此外，线扫描器的典型数据采集可以对应于一“行”600至1000个像素，每个像素的长度大约在200μm至300μm之间。像素的宽度根据镜头的视场而变化，但是在本情况中大约在300μm和600μm之间。每个这样的空间像素可以包括超过200个在900nm-1700nm的带宽内等距离分布的光谱值。值得提出的是，该附图只是高光谱成像系统的非限制性示例，根据本申请所述的各种实施例，该高光谱成像系统可以用于医药检查系统。

驱动运输结构(例如，传送带)的电机(例如，步进电机)可以用作相机的触发机制。在电机的每一步，可以触发相机以获取一行像素。传送带的速度可以控制在100-200mm/s，这将每秒300次左右触发高光谱相机，所以物品的扫描速度是300fps。这意味着在获取两个连续的行之间最多只有3.3ms，因此，考虑到传输数据所需的时间，最大的曝光时间不超过3ms。

高光谱数据的处理可以包括在高光谱图像数据中识别与镜面反射和过度曝光区域(在包层面)有关的数据，并且去除识别的高光谱数据的步骤。然后，在进一步的步骤中，可以确定高光谱指纹(在药丸层面)，其中每个被检测的医药物品(药丸、胶囊、药片)可以由高光谱立方体的x-y平面上的斑点来表示。可以检测过度曝光的像素和/或被镜面反射污染的像素，使得这些值能够从高光谱指纹的计算中排除。在采集期间被过度曝光的像素值的检测可以基于阈值。例如，在一个实施例中，如果反射信号等于传感器的动态范围的最大值，就可以确定过度曝光。这些像素可以很容易地从原始数据中过滤掉，因为它们的反射值等于所有光谱波段的动态范围的最大值。

被镜面反射污染的像素，大多如镜子一样把光反射回到相机，使下层物品不可见。图6示出了在袋的高光谱扫描上的这种反射(例如参考602和604所示的白色区域)，其中由于袋的反射，袋内的药丸是不可见的。这些区域的反射光谱可以实质上等同于光源本身的光谱功率分布(SPD)，这等同于发射的总光量的反射。

已知的算法可以用于检测这些区域。例如，目标检测技术(诸如约束能量最小化(CEM)技术)可以用于检测这种区域。CEM是有限脉冲响应滤波器，其被设计为最大化已知目标轮廓(profile)的响应，同时抑制复合未知背景的响应，从而只匹配已知目标光谱。目标光谱可以是光源的SPD，其可以基于在整个光谱中具有>95％的反射等级的白色校准目标的反射来近似。复合未知背景可以表达为x-y平面上所有像素的相关或协方差矩阵，为CEM检测器提供以下数学公式：

其中d是目标轮廓的光源，x是单像素的光谱，R是复合背景相关或协方差矩阵。图7A至图7D示意性地示出了检测镜面反射和曝光过度的像素，以及随后从图6所示的高光谱图像数据中去除这些像素的处理。在这里，在图7A中，镜面反射是基于上述的目标检测技术进行检测的。相似地，在图7B中，可以基于阈值来确定过度曝光的像素。然后，受镜面反射和过度曝光二者影响的像素可以用于形成图7C所示的像素掩模，识别应该从光谱图像数据中去除的像素(和相关联的光谱值)。图7D描述了其中像素掩模被应用于高光谱图像数据的结果。基于这些数据可以确定高光谱指纹。

袋内各个医药物品的高光谱指纹的提取可以包括第一步：在医药袋的一张或多张高分辨率图像中定位药物(例如，药丸)。在高光谱处理之前，对这些图像的图像处理可能已经提供了可靠的药丸检测和分割。表示药物的检测到的斑点的轮廓可以用于定位在袋内的医药物品。与高光谱图像相比，高分辨图像的分辨率和像素大小可以不同，因此，需要对等高线坐标进行缩放，使得能够在表示医药物品的高光谱数据(高光谱斑点)中定位像素斑点。缩放系数对每个袋来说都可以是恒定的，其导致在高光谱图像的x-y平面上对药片的坐标进行非常快速的计算。

然后，高光谱斑点中的异常值(背景像素)可以从中去除。高光谱斑点可能包括背景像素，因为从高分辨率图像到高光谱图像的坐标映射可能不准确。此外，当从彩色相机的曝光区域运输到高光谱相机的曝光区域时，袋或袋中的医药物品的位置可以略有变化。在这种情况下，使用该映射指定的所有像素会导致一些背景像素在计算药物指纹时被考虑在内。为了解决该问题，选择的高光谱图像数据可以根据其光谱特性被聚类为两组。为此，在一个实施例中，可以对每个斑点分别使用聚类算法(诸如带有k＝2个聚类的k-均值聚类算法)。在一个实施例中，两个聚类的质心可以被定义为表示背景聚类的整个袋以及表示医药物品的映射的斑点的质心的光谱平均值。在执行聚类算法后，分配给药物聚类的像素可以用于所有后续计算。

进一步的步骤涉及高光谱斑点中像素的去噪和归一化。对于剩余的有效像素，可以减去相机的热噪声。这可以基于原始反射值实现。这种噪声实质上是相机的快门关闭时(完全没有光线)传感器收到的信号。为了获得噪声的可靠测量，可以在快门关闭时进行多次扫描，并且对每个波长值进行平均。这样获得的平均噪声曲线可以从每个单独像素的反射中减去。随后，可以去除光源的光谱特性。这样做是为了确保在确定指纹时只使用医药物品的反射特性。这可以通过将每个像素的反射值除以上述白色校准目标的平均反射来实现。

对于每个像素，可以计算对数导数，以使高光谱指纹对光强不变。光谱p在光谱波段i的对数导数可以计算为：

其中∈是确保不会发生除以零的情况的小的正常数。这种形式的导数被称为对数，因为其使用了连续光谱之间的比率，而不是其的差值。对数导数可能会突出几乎一致的光谱之间的微小结构差异。可以用滤波器(例如，Savitzky-Golay滤波器)来平滑光谱的对数导数，该滤波器对输入信号进行多项式函数(例如，二次多项式函数)的逐片拟合。可以计算每个光谱区(spectral bin)的所有有效像素的平滑对数导数的平均值，从而将数据降低到每个药物的单个反射光谱，并将噪声平均化。

在该阶段，可以由预定维度的向量来表示医药物品(例如，150维以上)。每个维度可以对应于930nm-1630nm范围内的不同波长，而且有可能一些波长在不同的医药物品之间没有明显的辨别力。这种多余的维度对成功匹配药物没有任何贡献，事实上其往往会降低匹配算法的性能。

为了获得承载最大量的判别信息的最小维度数量，可以使用降维算法(诸如PCA降维算法)。这种算法可以用于检测原始数据中的非线性结构，并将其展开为线性可分离的投影。在一个实施例中，可以使用余弦核，这实质上意味着基于参考集中高光谱轮廓之间的成对余弦距离矩阵，将数据投射到新的特征空间。这一步可能需要事先定义一组参考袋，因为正是这组参考袋被用来计算内核PCA转换。参考袋组越广泛、越完整，内核PCA模型就越可靠，特别是对于小数量的参考碎片。在一定数量的袋之后，由Kernel PCA算法“学习”的特征空间的投影几乎没有变化，但这个数字估计为几百袋。

图5描绘了根据本发明的实施例的用于处理高光谱图像数据的方法。图8A至图8D和图9、图10中描绘了图像处理期间的图像的示例。特别地，该图描绘了一种基于如上所述步骤的用于处理高光谱图像数据的方法。该方法可以包括捕捉医药包的第一空间分辨率的图像，并在图像中定位一个或多个医药物品，并且从医药包中捕捉高光谱图像数据(步骤500)的步骤。然后，一些图像处理步骤可以施加到高光谱数据。这些步骤可以包括使用算法(例如，聚类算法)从一个或多个高光谱图像数据部分去除背景像素(异常值)(步骤502)。此外，该方法可以包括从一个或多个高光谱图像数据中去除被镜面反射污染和/或过度曝光的像素的步骤(步骤504)。

图8A描绘了在彩色图像中的定位药丸的示例。相似地，图8B描绘了药丸的高光谱图像，并且图8C描绘了其中去除了包括镜面反射和过度曝光的像素的图像。然后可以通过将图像中的一个或多个定位的医药物品映射到高光谱图像数据上来确定一个或多个高光谱图像数据部分(步骤506)。该步骤由图8D示出，其描绘了基于在彩色图像中被定位的药丸从高光谱图像数据中选择像素的斑点。在进一步的步骤中，可以降低一个或多个高光谱图像数据部分的维度，优选基于PCA方法(步骤508)。指纹可以基于一个或多个降低的高光谱图像数据部分中的至少一个来确定(步骤510)。

图9和图10描绘了两个相同药品成分的药丸的指纹的示例，其中指纹是基于参考本公开的实施例描述的数据处理步骤计算的。这些结果示出了该过程提供了可依赖的和可重复的结果，其允许准确检查医药物品。

本公开的技术可以在各种各样的器材或设备中实施，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种组件、模块或单元，以强调配置为进行所公开技术的装置的各功能方面，但不一定需要由不同的硬件单元实现。相反，如上所述，各种单元可以组合在编解码器硬件单元中或由互操作硬件单元的集合提供，包括如上所述的一个或多个处理器，与合适的软件和/或固件结合。

本文中使用的术语仅用于描述特定实施例的目的，并不旨在限制本发明。如本文所用，除非上下文另有明确指出，单数形式“一个”、“一种”和“该”也旨在包括复数形式。将进一步理解的是，在本说明书中使用术语“包括”和/或“包含”是指存在所述特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组。

以下权利要求中的所有方法或步骤加功能元件的相应结构、材料、行为和等同物旨在包括与具体要求的其他权利要求要素相结合执行该功能的任何结构、材料或行为。本发明的描述已经用于示出和描述的目的而提出，但不旨在以公开的形式详尽无遗或限于本发明。许多修改和变化对于本领域普通技术人员来说是显而易见的，而不会脱离本发明的范围和精神。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并使本领域其他普通技术人员能够理解本发明的各种实施例，以及适合于所设想的特定用途的各种修改。

Claims (14)

1.一种检查医药物品的方法，包括：

捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，所述图像具有第一空间分辨率；

捕捉所述袋中的医药物品的高光谱图像数据，所述高光谱图像数据具有小于所述第一空间分辨率的第二空间分辨率；

确定所述第一空间分辨率的所述图像中的像素斑点，每个所述像素斑点表示所述医药物品中的一个；

基于所述第一空间分辨率的所述图像中的所述像素斑点中的至少一个，从所述高光谱图像数据中选择至少一个高光谱图像数据部分；

基于所述高光谱图像数据部分确定高光谱指纹，所述高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，

将所述高光谱指纹与一个或多个参考指纹进行比较。

2.根据权利要求1所述的方法，其中，所述高光谱图像数据的捕捉包括将一个或多个医药物品暴露于具有连续光谱的光，所述连续光谱优选是电磁波谱的可见光和/或近红外域中的连续光谱。

3.根据权利要求1或2所述的方法，其中，所述高光谱数据包括像素网格，每个像素与多个光谱值相关联，每个光谱值与所述电磁波谱的可见光和/或近红外域中的波长相关联。

4.根据权利要求1至3中任一项所述的方法，其中，一个或多个医药物品的图像包括所述第一空间分辨率的像素的2D网格，每个像素与至少一个光谱值相关联，所述光谱值优选是RGB值和/或红外值。

5.根据权利要求1至4中任一项所述的方法，其中，所述高光谱图像数据包括线扫描高光谱图像数据，所述线扫描高光谱图像数据包括像素行，其中每个像素与多个光谱值相关联。

6.根据权利要求1至5中任一项所述的方法，其中，确定所述图像中的一个或多个像素斑点基于物品检测和分割算法。

7.根据权利要求1至6中任一项所述的方法，其中，选择一个或多个高光谱图像数据部分包括：

将所述图像中的一个或多个像素斑点映射到所述高光谱图像数据的像素上。

8.根据权利要求1至7中任一项所述的方法，其中，在所述选择一个或多个高光谱图像数据部分之前，执行以下一个或多个步骤：

使用算法，优选聚类算法，从所述一个或多个高光谱图像数据中去除背景像素(异常值)；

从所述一个或多个高光谱图像数据中去除被镜面反射污染和/或过度曝光的像素。

9.根据权利要求1至8中任一项所述的方法，其中，所述确定一个或多个高光谱指纹还包括：

降低所述一个或多个高光谱图像数据部分的维度，优选基于PCA方法，降低所述一个或多个高光谱图像数据部分的维度；以及，

基于一个或多个降低的高光谱图像数据部分中的至少一个来确定指纹。

10.根据权利要求1至9中任一项所述的方法，其中，使用相机系统来捕捉一个或多个医药物品的图像，优选地所述相机系统包括单波段或多波段相机，例如，彩色相机。

11.根据权利要求1至10中任一项所述的方法，其中，所述高光谱图像数据是使用2D高光谱相机或高光谱线扫描相机捕捉的，其中在所述捕捉期间，所述医药物品相对于所述高光谱线扫描相机移动，更优选地所述医药物品移动通过所述相机系统的视场。

12.一种用于控制医药检查设备的模块，所述医药检查设备包括相机系统，

所述模块包括具有其中包含计算机可读程序代码的计算机可读存储介质，以及耦合到所述计算机可读存储介质的处理器，优选微处理器，

其中，响应于执行所述计算机可读程序代码，所述处理器被配置为进行可执行的操作，包括：

捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，所述图像具有第一空间分辨率；

捕捉所述袋中的医药物品的高光谱图像数据，所述高光谱图像数据具有小于所述第一空间分辨率的第二空间分辨率；

确定所述第一空间分辨率的所述图像中的像素斑点，每个所述像素斑点表示所述医药物品中的一个；

基于所述第一空间分辨率的所述图像中的所述像素斑点中的至少一个，从所述高光谱图像数据中选择至少一个高光谱图像数据部分；

基于所述高光谱图像数据部分确定高光谱指纹，所述高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，

将所述高光谱指纹与一个或多个参考指纹进行比较。

13.一种医药物品检查设备，包括：

相机系统，

计算机可读存储介质，具有在其中包含的至少一部分程序；和计算机可读存储介质，具有在其中包含的计算机可读程序代码，以及耦合到所述计算机可读存储介质的处理器，优选微处理器，其中，响应于执行所述计算机可读程序代码，所述处理器被配置为进行可执行的操作，包括：

捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，所述图像具有第一空间分辨率；

捕捉所述袋中的医药物品的高光谱图像数据，所述高光谱图像数据具有小于所述第一空间分辨率的第二空间分辨率；

确定所述第一空间分辨率的所述图像中的像素斑点，每个所述像素斑点表示所述医药物品中的一个；

基于所述第一空间分辨率的所述图像中的所述像素斑点中的至少一个，从所述高光谱图像数据中选择至少一个高光谱图像数据部分；

基于所述高光谱图像数据部分确定高光谱指纹，所述高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，

将所述高光谱指纹与一个或多个参考指纹进行比较。

14.一种计算机程序产品，包括软件代码部分，所述计算机程序产品被配置为当在计算机的存储器中运行时，执行根据权利要求1至11中任一项所述的方法步骤。