CN110582782A - 用于确定关于含药物容器的信息的方法和装置 - Google Patents

Abstract

关于含药物容器的信息是通过捕获含药物容器的圆柱形部分的弯曲表面的图像数据来确定的。该图像数据从该弯曲表面周围展开、被二进制化、并采用模板匹配算法来确定标签信息包括关于该容器和/或该药物的候选信息。

Description

用于确定关于含药物容器的信息的方法和装置

技术领域

本公开涉及确定关于含药物容器的信息。特别地，但不受限地，本公开涉及一种用于确定与包含在医疗设备(诸如自动注射器)中的含药物容器(原始包装)(诸如注射器或药筒)有关的信息的方法和装置。

背景技术

患有多种疾病(诸如多发性硬化症、关节炎、生长激素缺乏症、特纳综合症和慢性肾功能衰竭)中的一种或多种的患者可能需要定期经皮施用一种或多种药物。尽管药物施用可以由健康专业人员执行，但是在一些情形中，可以由患者自身或其护理者执行药物施用。一些医疗设备(诸如自动注射器)可操作以容纳含药物容器(诸如注射器或药筒)，并且在致动之际经皮向患者施用该药物。

概述

本公开的各方面和各特征在所附权利要求中阐述。

附图简述

现在将参照附图解释本公开的各示例，其中：

图1示出了医疗设备；

图2示出了示例含药物容器；

图3示出了替换的含药物容器；

图4示出了携带含药物容器的医疗设备；

图5示出了用于其中可以将单个成像设备与一对镜结合使用的示例设置。

图6和图7示出了使用“镜厅(hall of mirrors)”原理的替换布置；

图8示出了含药物容器和镜设置的端视图；

图9示出了图8的设置的透视图；

图10示出了一种混合办法，其中多个成像设备被布置成既直接对含药物容器成像又对相应的镜成像；

图11示出了用于含药物容器的示例标签；

图12示出了矩形标签的一对示例透视图，该矩形标签已经被包裹围绕含药物容器的圆柱形部分的弯曲表面；

图13解说了矩形标签的x和y像素坐标如何转换成成像设备坐标；

图14示出了数个经重构的标签片段；

图15示出了4个经重构的图像片段；

图16示出了与分别产生图15的经重构的片段的映射相对应的四个示例蒙版；

图17示出了在使用图10的装置进行采集之后的三个展开图像；

图18在左手侧示出了展开图像，并且在右手侧示出了展开图像的经二进制化版。

图19示出了大型模板及其三个子图块；

图20示出了示例展开图像以及对于标准模板匹配算法的响应；

图21示出了另一示例展开图像以及对于标准模板匹配算法的响应；以及图22解说了一种分类办法。

具体实施方式

一旦将含药物容器装载到医疗设备(诸如自动注射器)中，就期望用户将尝试致动该设备以便施用药物。然而，如果将错误的含药物容器装载到医疗设备中，则患者可能没有接收到他们需要的药物、可能接收到错误剂量的药物、或者可能接收到不适合于他们接收的药物——所有这些情形都严重损害患者。一般而言，检查含药物容器对于患者而言是否是正确的含药物容器是通过视觉检测承载于该含药物容器的圆柱形部分的弯曲表面上的标签来进行的。尽管可以通过例如键控的方式来对含药物容器进行机械配置以便使其从其形状上是可以识别的、和/或可以提供其他标识手段(诸如RFID标签)，但不同的制造商生产药物并且将它们提供在不同形状的容器中的事实意味着对容器标签进行视觉检查是当前验证含药物容器的内容物的最佳办法。

在另一实施例中，患者在使用后将丢弃含药物容器。可以使用配置成容纳该被丢弃的空药物容器的容器来执行对含药物容器的丢弃。为了改善合规性，监视被丢弃的容器可能需要识别空的含药物容器。因此在替换实施例中，本发明涉及一种用于识别和标识含药物容器以便能够记录所布置的含药物容器及其身份的设备和方法。

本文描述了一种办法，该办法用于确定关于含药物容器的信息，该信息由含药物容器的圆柱形部分的弯曲表面承载，以使得药物不可知的医疗设备(诸如自动注射器)可以确定哪个药物已被装载到该医疗设备中，并且因此可以确定是否启用药物的施用。

图1示出了医疗设备110、布置成支撑容纳容器(诸如注射器或药筒)的容器支架112。药物递送机构114可操作以与由容器支架112支撑的含药物容器一起动作，以便在医疗设备与患者(未示出)毗邻时施用包含在该容器中的药物，并且药物递送机构114由处理器116指令来这样做。药物递送机构可操作以使容器支架112的至少一部分与含药物容器以及与之耦合的针头一起沿着从医疗设备110内部内到医疗设备110外部的路径移动以刺穿患者的真皮。药物递送机构114可进一步操作以按压含药物容器的柱塞，从而使所容纳的药物从含药物容器中排出并且经由皮下注射针头进入到患者的组织中。医疗设备110进一步包括标签成像器118，该标签成像器118可操作以对承载于含药物容器的圆柱形部分的弯曲表面上的标签成像并且将由此成像引起的图像数据提供给处理器116。处理器116被布置成根据存储在存储器120中的指令来操作，以便从标签成像器118接收图像并且控制药物递送机构114。处理器116可以进一步被耦合到输入/输出组件122，处理器116可以通过该输入/输出组件122来接收指令(例如，关于与医疗设备相关联的药物和剂量的模板信息)和/或可以输出警报(例如，以指示不期望的含药物容器已被插入医疗设备110中)。

图2示出了示例含药物容器210，其是具有以下各项的注射器：皮下注射针头212、圆柱形部分214、柱塞216、护指器218、以及致动端220。注射器210的圆柱体部分214承载有矩形但是已经被包裹围绕圆柱体的弯曲表面的标签。标签222包含关于注射器210所包含的药物的信息，并且进一步包含关于注射器所包含的药物量的信息——在这一情形中为“5mg”。图3示出了替换的含药物容器310——在这一情形中，药筒具有柱塞312，该柱塞312可操作以在药筒314的圆柱形部分内滑动，以使得当针头刺穿可刺破的膜316并且该柱塞在方向A上移动时，药物经由针头排出。

已经设想并且现在将描述数个不同的方法以用于对由含药物容器的圆柱形部分的弯曲表面所承载的标签进行成像。

扫描成像设备

图4示出了携带含药物容器(在该情形中为注射器)412的医疗设备410。医疗设备410具有一对成像设备414、416，该对成像设备414、416可操作以在相应的致动器422、424在BC或CB方向上被致动之际沿相应的轨道418、420移动，以便使成像设备414、416能够捕获含药物容器412的圆柱形部分的弯曲表面的相对侧的多个图像。成像设备414、416形成标签成像器118的一部分，并且因此将所获取的图像作为图像数据中继到处理器116。

一旦被处理器116接收到，在成像设备沿着其轨道移动时在不同时间点处采集的来自每个成像设备的图像就可以被融合或混合，以便产生来自每个成像设备的单个图像以供后续处理。

尽管图4的示例使用安装在轨道上的一对成像设备，但是也可以设想其中成像设备数目大于两个(例如，三个至十个或甚至更多个)的方法。此外，成像设备不需要被安装在轨道上，并且可以采用替换机构以便使它们能够扫描含药物容器412的圆柱形部分。

镜厅

图5示出了一示例设置，其中单个成像设备510可以与一对镜512、514结合使用以使用“镜厅”办法来对含药物容器516进行成像。有利地，这种方法避免了成像设备需要靠近针头的末端，并且因此不会干扰将针头朝向患者的皮肤移动或致动含药物容器的柱塞。然而，对于某些含药物容器(诸如具有注射器凸缘的那些容器)而言，从含药物容器突出的部分可能使标签的某些部分被遮挡。图6和图7示出了使用“镜厅”原理的替换布置，其中成像设备610被布置于含药物容器612的针头的尖端附近，该含药物容器612被布置于与彼此的平面成角度的一对镜614、616毗邻。在图6中，可以在位置618和620处清楚地看见含药物容器612的反射。

图8示出了位于框814的孔812内的含药物容器810(在这种情形中为药筒)的端视图，该框814被布置成在图9的方向DE和ED上在含药物容器810上平移。框814进一步包括与含药物容器810的长轴呈一定角度的多个镜816，以使得当框814在方向DE或ED和成像设备(在图8或9中均未示出)上平移，对相对于方向D-E呈一定角度(在这种情形中为45°)放置的镜进行成像时，含药物容器810的圆柱形部分的弯曲表面被扫描和成像。在镜818位于沿连接到含药物容器810的针头将穿过以离开医疗设备的路径时，在镜818中提供椭圆形的孔820。

混合办法

图10示出了一种混合方法，其中多个成像设备1010、1012被布置成既直接对含药物容器1014进行成像又对相应的镜1016、1018进行成像，这些镜被布置成使得每个相应的成像设备都能看见含药物容器1014的弯曲表面的反射部分。在这种实例中，成像设备1010、1012被布置成相对于含药物容器1014的长轴在直径上彼此相对，并且镜1016、1018被布置成相对于含药物容器1014的长轴在直径上彼此相对并且成一角度(在这种情形中为45°)，以使得每个成像设备能够从两个不同的角度采集该含药物容器的图像。

图象展开

施加到含药物容器的各标签可以是粘贴标签(该粘贴标签在围绕含药物容器的圆柱形部分的弯曲表面卷起之前被打印在上面)或者可以被印刷或以其他方式放置在含药物容器的圆柱性部分的弯曲表面上。图11示出了用于含药物容器的示例标签1110，其包含关于药物1112的信息，在这种情形中药物为“Saizen(赛增)5.83mg/ml”，并且标签1110进一步包含关于含药物容器的信息1114，具体而言它是“6mg cartridge(药筒)”。图11进一步示出了标签1110在其已经围绕与含药物容器1116的圆柱形部分的弯曲表面的相对应弯曲表面卷起时的情况。在成像时，这种被卷起的标签使得其包含的标签信息的部分被缩短——例如，在图11的被卷起的标签1116中，单词“生长激素)118”被缩短到难以辨认的地步。相应地，为了从含药物容器的图像中提取出该含药物容器的图像的标签信息同时避免或减少标签信息缩短的影响，需要确立原始矩形标签(在标签信息被直接印刷到含药物容器上的情况下其可以是假想的原始矩形标签)与由对含药物容器进行成像的成像设备接收到的数据之间的关系。这个问题是有些令人困惑的，事实在于由于标签已经绕圆柱体被卷起，所以从含药物容器的圆柱部分的弯曲表面在成像设备的采集点上的投影将往往与标签上的两个点重合——一个点从近侧到成像设备以及一个点从远侧到成像设备。

图12示出了矩形标签的一对示例透视图，该矩形标签已经被包裹围绕含药物容器的圆柱形部分的弯曲表面。在图12的左侧，两个透视图1210、1212解说了标签的相应的不可见部分，这是由于标签的其他部分在这些不可见部分的前面。相应地，当来自采集这种透视图像的成像设备的信息被展开以将其设为矩形标签1214、1216时，不能重构标签的全部。相应地，一种用于将标签从含药物容器的圆柱形部分的弯曲表面拆开的办法(其可能是可任选的)包括移除由位于成像设备前面的标签的其他部分从成像设备遮挡的映射。然而，因为含药物容器及其中包含的药物有时有点透明，因此另一办法可能改为保留该信息并希望使用它来帮助阅读标签。

图13解说了矩形标签的x和y像素坐标如何转换成照片(或成像设备)坐标。特别地，在步骤s1310，采用矩形标签的一组x，y像素标签，并从步骤s1312计及含药物容器的圆柱形部分的预期圆柱半径和圆柱长度，在步骤s1314，像素标签可以包裹围绕圆柱以便将它们投影到3D世界坐标中。在校准步骤s1316校准成像设备以及该成像设备和容器支架都位于其中的设备之后，在步骤s1318可以将3D世界坐标投影到2D成像设备平面上，之后在步骤s1320可以移除从成像设备的角度将被遮挡的圆柱体的弯曲表面部分的映射，以便在步骤s1322作为输出产生与标签中的x，y像素位置相对应的照片中的各位置。一旦知道矩形标签中的任何像素将映射到圆柱体的图像中的位置，就可以在成像设备图像中对矩形标签中的每个像素进行采样以展开成像设备图像。由于待采样的成像设备图像中的位置将不一定与整数像素位置一致，因此可以使用插值方法(诸如最近邻、双线性、和/或较高阶办法(诸如b样条插值))来内插成像设备图像。

作为示例，可以从圆柱长度和半径参数获得标签大小：高度＝2*pi*半径，宽度＝长度。考虑到重新创建的标签的期望分辨率(以DPI(每英寸点数)计)，可以通过缩放来获得以像素计的图像大小。然后，将标签包裹在3D世界中的圆柱体上。选择世界坐标系的原点以使其与圆柱体底部中的圆心重合。然后，轴x和y在包含此圆的平面中，而z轴沿圆柱的长度。x轴可以指向标签“胶合”的位置，其对应于标签1116的底线。从该线朝上，标签的每条线以逆时针增大的角度被放置在圆上。从以像素计的标签(x，y)到以毫米计的圆柱体(x，y，z)的包裹或映射如下：

对于给定标签大小的每个(x，y)像素执行此操作，并且为每个像素给出世界中的物理位置(以mm计)。

给定世界中存在的圆柱体，期望估计当用已知参数的成像设备从已知位置拍摄其照片时该圆柱体的(x，y，z)体素中的每一者将出现的位置。图11还示出了图像坐标系及其在图像左上角中的原点。从世界到照片像素的映射可以创建为：

在此，P是4x4齐次成像设备转换矩阵：

本征成像设备参数(K矩阵)：K是包含本征成像设备参数的矩阵，并且取决于成像设备的焦距、传感器大小、和光学中心的位置。其本质上是缩放和平移矩阵，它将毫米坐标转换成像素坐标并且说明光学中心(图像的中心)不与照片原点(其在左上角中)相对应。这些参数取决于使用中的成像设备，并且本领域技术人员已经熟知使用校准对象(诸如棋盘)以便确定焦距f_x和f_y来确定K。在此情形中，K为：

其中s_x和s是像素尺寸(以毫米计)，并且O_x和O_y是图像中的光学中心的像素坐标(其应当在图像的实际中心周围但不与该实际中心重合)。

镜头畸变参数也可以从成像设备校准过程中获得，并相应地被用于调节K。

非本征成像设备参数(R和I矩阵)：由于世界坐标系与成像设备坐标系(位于光学中心，其中各轴如图11所示)不一致，因此需要由旋转矩阵R和平移矢量T表示的转换，以便相对于成像设备轴来表示世界点。可以采用适合于图像坐标系的指定成像设备位置的更直观的方式。待指定以获得R和T矩阵的参数是：

·成像设备在世界坐标中的物理位置(眼(eye)矢量)；

·成像设备所查看的点的坐标(中心(centre)矢量)；

·世界中当投影在图像平面上时将指向上方的方向，例如，世界y轴(上(up)矢量)。将眼矢量、中心矢量、以及上矢量作为原始矢量，R矩阵是通过以下步骤来获得：

相对于新旋转坐标系的成像设备平移为：

这也可以通过首先应用由描述的平移然后由R描述的旋转来理解。

移除至圆柱体隐藏部分的映射：在单个图像中并且假设标签不透明，只有标签的位于标签到成像设备的近侧的部分对该成像设备可见，因为标签的位于圆柱体的较远侧的部分将被近侧部分遮挡。因此，期望从标签空间中标识并且移除在经成像的标签空间中不可见的那些像素。为此，可以假设在观察圆柱形容器时，其长边缘当该长边缘在图像中出现时定义了将圆柱体一分为二的平面，从而将其划分成可见部分和遮挡部分。相应地，这将标签空间划分成可见的标签部分和被遮挡的标签部分，如图12中所示。圆柱体的长边缘可以在经成像标签空间中的映射点之中使用简单的边缘检测标识出来，并且由于对于经成像标签空间中的每个点而言已知成像设备与经成像标签之间的距离，因此可以丢弃映射到容器的较远一半的标签像素。对于镜所采用的以使成像设备接收到的图像不仅包含含药物容器的直接成像表示还包含含药物容器的反射图像的设置，需要自定义映射。例如，在图10的设置中，每个成像设备1010、1012将采集具有含药物容器1014的直接表示的图像以及已从相应的镜1016、1018反射的含药物容器1014的反射图像。相应地，由于成像设备所捕获的每个图像都包含含药物容器1014的两种表示，因此可以将两个不同的映射应用于每个图像以便提取与含药物容器1014的每个视图相关联的信息。一旦已经提取了来自各种视图的信息并将其展开，随后可以将各展开的图像拼在一起。

继续图10的示例设置，图14在左侧上示出了成像设备1010和1012直接观察含药物容器1014。在图14的右侧上，反射镜1016和1018的角度已经以夸张的方式示出，以强调成像设备1010和1012中的每一者除了对含药物容器1014进行直接成像之外，还将对含药物容器1014的反射图像1410、1412进行成像。用于描述此特定设置的参数为：

·C1_眼，C2_眼：相机1和相机2的(x,y,z)坐标(表示在世界坐标系中)；

·C1_中心，C2_中心：相机所查看的点的(x,y,z)坐标(光学中心)。这不是唯一性的，沿虚线的任何点是适用的；

·C1_上，C2_上：用于计算每个相机的“上”方向的矢量；在相机是“正面朝上”的情况下为(0,1,0)，在相机正面朝下的情况下为(0,-1,0)；

·镜的垂直位置：h_M1和h_M2(h_M2被认为是负)；

·镜与水平面的夹角，a_M1和a_M2；

这些参数在装置上测量并在世界坐标系中表示。z轴上的测量对准确标签读取的影响可能较小，因此可能假设圆柱体具有固定长度(例如，40mm)，并且可进一步假设成像设备指向该圆柱体的中间。

图10的设置从不同角度提供了注射器的4张不同图片。因此，需要四个映射，它们是：

1.从标签到图像1：世界坐标中的圆柱体，由成像设备1010观察；

2.从标签到图像1：镜1坐标系中的圆柱体，由成像设备1010观察；

3.从标签到图像2：世界坐标中的圆柱体，由成像设备1012观察；

4.从标签到图像2：镜2坐标系中的圆柱体，由成像设备1012观察；

映射1和3可以由前面描述的模型说明，通过将不同的投影矩阵用于正在查看含药物容器1014的成像设备中的每一者。通过在与原始圆柱体相同的坐标系(被视为“世界”坐标系以将其与成像设备坐标系区分开)中表示镜像图像的坐标来执行镜图像的映射。这可以按与上述相同的方式来实现，但是具有将圆柱体坐标的矢量乘以使镜坐标系与世界坐标系对准的转换矩阵的附加步骤。该转换矩阵将由M表示，并且可以表示为两个镜参数(镜角度和镜垂直位置)的函数；它类似于齐次旋转和平移矩阵，但由于镜坐标系不再遵循右手定则，因此将不能被视为正确的旋转矩阵。修改映射模型以容适镜图像可以如下给出：

其中

从成像设备图像到标签的映射可以离线生成，并且涵盖发生的图像失真。对于标签的每个像素(x,y)，映射是一对坐标：映射_x(x,y)，它给出照片中对应像素的x坐标；以及映射_y(x,y)，它给出y坐标。换言之，重新映射执行以下指派：

标签(x,y)＝照片(映射_x(x,y),映射_y(x,y))。

对于图10的示例，四个映射中的两个映射被应用于两个成像设备图像之一，并且另外两个映射被应用于这两个图像中的另一图像。如图15中所示，这将导致标签(具有3x2的图像矩阵)的四个经重构片段，其中第一列示出第一和第二成像设备图像，第二列第一行示出关于来自第一成像设备图像的含药物容器的镜面反射的经重构片段，第三列第一行示出了关于来自第一成像设备图像的直接观察的含药物容器的经重构片段，第二列第二行示出了关于来自第二成像设备图像的含药物容器的镜面反射的经重构片段，第三列第二行示出了关于来自第二成像设备图像的直接观察的含药物容器的经重构片段。在采用不同数目的成像设备和/或镜的示例中，映射数目将相应地变化并且因此经重构片段图像的数目也将变化：对于图4的装置，含药物容器由两个成像设备直接观察并且因此可以创建两个经重构片段图像；对于图6的装置，直观察接一次含药物容器并观察两个镜图像(全部由同一成像设备观察)并且因此可以创建三个经重构片段图像；对于图9的装置，单个成像设备捕获四个反射图像并且因此可以创建四个经重构片段图像。

在创建多个经重构片段图像的情形中，可以将它们组合以形成标签的单个展开图像。由于每个片段相对于标签在其正确的位置处，因此重新组装的问题归结为将不同片段混合在一起。混合是优选的，因为有时标签的相同部分出现在多个图像中，并且因此经重构片段图像可能交叠。作为一种可能性，在将每个片段添加到展开的标签图像之前，先将其乘以一个蒙版。在图16中示出了分别与产生图15的经重构片段的映射相对应的四个示例蒙版，其中白色对应于1并且黑色对应于0。本领域技术人员将认识到可以采用不同的混合技术并且将熟悉合适的替换混合技术。图17示出了在使用图10的装置和上述处理进行采集之后的三个展开图像。

在含药物容器的直径未知但可以采用数个不同的特定潜在值(即，预期注射器直径为8mm或11mm)的情况中，可以使用关于每个潜在值的映射来创建多个展开图像，可以对这些展开图像执行后续处理。这样的办法避免了对用于标识含药物容器的大小的专用处理的需求，而是改为在将最佳的个体标签确定结果作为对标签内容的指示之前，在每个展开图像上执行后续描述的处理。

标签分类

标签分类步骤的目的在于拍摄每个展开图像并产生关于标签是否具有预指定药物和/或剂量的决定。

一种办法是采用模板匹配算法，该算法在展开图像内搜索一个或多个给定模板。作为示例，这些模板之一可以是药物名称，并且将使用与剂量和标签的其他重要或区别特征相对应的其他模板。

在执行模板匹配之前，将预处理办法应用于展开图像以通过在保留相关信息的同时移除无关信息来改善分类性能。这些预处理步骤使模板匹配更稳健且计算上较不昂贵。

对于许多标签，分类的主要要求是使对应模板的形状与该标签匹配，并且理想地将忽略其他因素。作为示例，照明可导致展开图像的相当大的变化。相应地，展开图像的像素值被阈值化以产生二进制图像，该二进制图像移除这种变化并返回仍然可分类的简单得多的两级图像。在图18中给出这样的经二进制化图像的示例，其在左侧示出了展开图像并且在右侧示出了该展开图像的经二进制化版本。

现在将描述用于执行二进制化的两种办法。一种或其他办法可能更恰适于特定类型的模板。在通过搜索一个以上模板来标识药物或剂量的情况下，可能有必要计算展开图像的多个(不同)经二进制化版本以便由恰适的版本可用于每个模板搜索。

在下式中，采用以下标记：R、G和B用于表示像素的红色、绿色和蓝色值。(x，y)用于指定所讨论的像素的特定位置。例如，R(x,y)表示像素的红色值，该像素是从左边缘开始的x个像素，从顶部向下的y个像素。以及，F用于表示经二进制化图像中的像素值，并且被布置成使得F将始终具有0或1的值。

第一二进制化办法可适用于其中包含文本的像素可以基于强度容易地与其他像素分离的模板，并且涉及首先将彩色的展开图像转换为灰度。灰度值被计算为RGB值的加权和：

I＝0.2989R+0.5870G+0.1140B

灰度图像通过应用自适应阈值化算法被二进制化，但本领域技术人员将认识到同样可以采用的其他的阈值化办法，包括但不限于全局阈值的使用。对于现在的灰度展开图像中的每个像素，将计算矩形邻域中的平均像素值，并从所讨论的像素中减去该平均像素值。然后将固定阈值应用于所得到的图像。对于跨图像的光照变化而言，这有助于阈值化的稳健。图像中每个像素的局部平均强度通过下式计算：

然后将每个像素的二进制值设为：

第二二进制化办法可能适用于其中重要的是使用颜色信息来区分哪些像素属于文本而哪些像素属于背景的模板。在此类情形中，展开图像在需要的情况下从RBG转换为HSV(色调饱和度明度)。这种表示的优点在于，颜色信息大部分仅包含在H值中，并且对于不同程度的照明而言，它是相对稳健的。然后，通过选择其H、S和V值在给定范围(以文本颜色为中心)内的像素来对展开图像的HSV表示进行二进制化处理：

一旦已经对展开图像进行了二进制化处理，就采用了模板匹配办法，该办法在经二进制化的展开图像上四处滑动模板，并且通过评估模板与经二进制化的展开图像中的数个候选点之间的相似性度量来将模板与经二进制化的展开图像进行最佳匹配的情况下找到一个或多个点。这可以被认为是优化过程，其中展开图像中的潜在模板位置被评估以确定相似度得分，并且搜索相似度得分最佳(取决于相似度得分而是最大值或最小值)的模板位置。可以采用的示例性优化办法将是评估所有有可能的模板位置或使用梯度下降办法；也可以采用其他优化办法。

在彩色展开图像具有各种颜色和颜色强度可能出现问题的情况下，对展开图像的二进制化可能是合适的。作为另一可能性，可以将彩色图像上的模板匹配与合适的采用色彩的相似性度量一起使用。

模板匹配对噪声而言可以非常稳健，并且还可以容忍图像轻微失焦(与可能需要锐利的边缘的边缘或角落检测器不同)；相应地，模板匹配办法的选择同情展开图像的性质。然而，标准模板匹配对旋转、缩放因子、透视图失真、以及图像的遮挡/缺失部分的容忍度不高。

非基于模板的形状匹配(例如，关键点提取和通用霍夫转换)倾向于使用“投票”规程，在该规程中可以找到形状上的某些匹配点，并且对于对象的每个有可能位置和取向进行“投票”。这具有若干优势：它对图像的遮挡/缺失部分而言是健壮的(通过容忍一定数量的缺失选票)；它对于较小的旋转和透视变形而言是稳健的；以及它可以容忍较大的旋转和透视变形。如果与模板相对应的对象不存在于应用了投票规程的图像中，则可能存在来自与该对象不相关的图像匹配中的数个背景“投票”，因此最小投票阈值数目被用于检测对象存在于图像中。然而，对于展开图像而言，使用标准关键点提取特征并不证明是可靠的。

一种办法是通过将模板分解为较小的图块来将投票方法与模板匹配相组合，图19示出了大型模板1910，在这种情形中是标签及其三个小子图块1912、1914、1916。尽管图19中仅示出了三个图块，但是所有或基本上所有的所选模板将优选地由图块覆盖以使得模板内包含的所有或基本上所有信息也被包含在图块集内。然后依次对图块执行模板匹配。因为每个图块很小，所以处理所有图块的计算成本类似于完整模板匹配的成本。尽管任何给定的图块可能被发现在展开图像中不位于模板所表示的对象上的位置处的最佳匹配，但是接近于正确空间布置的多个匹配将偶然发生是不太可能的。

在对每个图块进行模板匹配之后，每个图块都使用以下描述的办法对其认为是“最佳”位置(映射回到原始模板的中心)的地方进行投票，该办法创建具有与经二进制化图像相同维度的投票图像V_t。

投票算法将要测试的图像I和一组经二进制化模板作为其输入。作为预处理步骤，对于每个模板T，该模板被划分为N个图块。在以下描述中，下标t用于表示专用于第t个图块的值。对于每个图块，将存储其相对于完整模板左上角的位置。f是完整模板的左边缘与图块的左边缘之间的像素数。同样，g是完整模板的顶部边缘与图块的顶部边缘之间的像素数。

在运行时：

1.对于每个模板：

a.对于当前模板i中的每个图块。计算：

其中

且

其中针对模板的维度求和，wh是加权因子，响应图像M_t是偏移了(f,g)的量以计及图块在模板中的相对位置。

来自个体模板的分数按以下方式组合。首先，将子模板匹配分数转换为票数：

然后将各个票数相加：

最后，这是宽松或模糊的，在这种情形中通过将V与一个方形窗卷积来进行。这最后一步通过有效地允许不同的子模板相对于彼此稍微移动，从而提供了一定的缩放和偏斜稳健性。

模板的最终分数被采用为图像S(x，y)中的最大值，并且认为模板位于该点处。

作为一个示例，为了得到模板与注射器的标签的匹配，分类涉及：将25x150模板拆分成30个5x25的片段，然后针对每个片段：计算标签中每个可能位置处的平方差之和以产生分数；确定标签中的最大分数，以及将阈值设为所确定的最大分数的90％；将标签上得分高于阈值的位置标记为1(否则为0)，并对这些位置进行计数(用N表示)；给予每个标记为1的位置一计算值1/N；对于每个片段，将标签中每个位置的计算值相加；标识具有最高总和值的位置。

图20示出了示例展开图像2010，以及对于使用“COPAXONE”模板的标准模板匹配算法2012的响应和对于相同模板的S(x,y)2014的响应。可以看出，S(x,y)2014在COPAXONE模板的正确位置示出强响应。

图21示出了另一示例展开图像2110，以及对于使用“COPAXONE”模板的标准模板匹配算法2112的响应和对于相同模板的S(x,y)2114的响应。可以看出，对于标准模板匹配算法2112的响应是与模板的不良匹配，而S(x，y)2114在COPAXONE模板的正确位置处示出强响应。对于图21的示例，在展开图像2110中保留一些透视失真，但是与标准模板匹配相反，投票算法对此具有容忍性。相应地，峰值不那么尖锐但是仍然存在。

尽管上述模板匹配办法对于匹配文本效果很好，但是对于模板是色块的情形而言效果不是很好。作为示例，对于药物Saizen而言，色块提供了关于含药物容器的有价值的信息，因为标签是黄色(对于20mg药筒具有黄色矩形)以及红色(对于12mg药筒具有红色矩形)。在此类情形中，不是选择模板来表示标签上的文字，而是可以改为选择成具有给定颜色和大小的块，并且然后使用平方差之和执行模板匹配以计算模板的质量。对于色块模板，使用基于色调的二进制化。将颜色二进制化过程配置成接受色块的预期色调周围的各种色调。这样使得标识对于一系列的照明条件而言是稳健的，并且还将意味着该过程对于印刷变化而言也是稳健的。这是行之有效的，因为均匀色块对于需要上述基于投票的模板匹配方案的透视失真而言非常稳健。注意，此模板匹配算法将被应用于彩色图像，而不应用于经二进制化版本。对于色块模板，基于色调的二进制化可能是恰适的，并且二进制化过程被配置成接受色块预期色调周围的各种色调。这使得标识对于一系列照明条件而言是稳健的，并且还提供了与印刷变化有关的稳健性。

待分类的每个标签可以具有与之相关联的多个模板。单个标签可能具有的模板类型的示例包括：包含药物物名称的模板、包含指定剂量的文本的模板、有助于标识药物类型或剂量的色块模板、包含预期不存在的特征的模板。包含预期不存在的特征的模板可以在已知相似标签的情形中有助于使分类器更强大，因为寻找不应当在相似标签上存在的特征可以帮助防止分类器错误地接受此类标签。

待分类的展开图像将为针对其进行评估的模板中的每一者产生模板匹配分数。然后将这些分数转换为分类结果。这是通过对每个特征应用阈值且在模板匹配分数均高于每个所需模板的阈值的情况下接受标签，以及在模板匹配分数低于模板的阈值的情况下拒绝标签(这如在图22中所解说的应当不存在)来实现的。

作为一种可能性，为了降低计算复杂度，在执行模板匹配时仅可以搜索展开图像的子区域。特别地，虽然药品名称的垂直位置可以在任何位置，但是水平位置将只会变化很小量，因此搜索可能被约束在某些水平范围内发生——例如，由药物名称表示对象的预期水平位置周围的图像宽度的10％。

作为一种可能，为了降低计算复杂度，可以降低(一个或多个)展开(或甚至成像设备)图像的分辨率。尽管针对完全分辨率图像获得了图20和21中所解说的结果，但是在降低(诸)成像设备图像和展开图像中的一个或多个的分辨率的附加步骤之后，也可以执行本文所述的方法。

作为一种可能性，为了降低计算复杂度，可以采用级联办法，其中在模板匹配的第一阶段期间仅使用图块子集(例如3个)以便能够在与其他图块执行约束模板匹配之前，对展开后的图像中的模板的位置进行快速初始估计，其中受约束的模板匹配限制了与针对其他图块执行的优化初始估计的距离。

模板匹配方法的大量计算成本来自以下事实：需要搜索大部分图像以找到包含药物名称的部分。这是由于含药物容器可能处于不同的旋转取向这一事实。作为一种可能性，由于每行中的暗像素相对于亮像素的量将随图像那部分中存在的事物而变化，因此可以计算每行中的暗像素相对于亮像素的度量，并将其登记成标签的最匹配该度量的旋转取向。然后将执行上述模式匹配，但是，由于药物名称的潜在位置将在较大程度上是已知的，因此将基于配准来执行受限模板匹配，从而允许该办法在搜索展开图像的大大减少部分的同时执行。

已经发现本文描述的办法花费10ms至15s的范围，并且可能花费200ms来确定标签是否为给定类型，并且估计需要在0.05mAh至0.5mAh的范围内，并且每标签标识可能花费为0.06mAh的处理器和采集能量。当布置成执行本文所述的模板匹配方法的装置需要能够识别新标签时，可以将新模板简单地提供给该装置，从而使该装置能够适配以识别新标签，而无需从根本上更改该装置的处理代码。

作为一种可能性，一旦自动注射器标识出它正携带特定的含药物容器，则可以继续进行以准许从该含药物容器进行注射。在自动注射器标识出它正携带的含药物容器不是其期望携带的含药物容器的情形中，它可能会发出视觉或听觉警报和/或禁用其注射能力。

作为一种可能性，在自动注射器内提供光源，并且该光源被用于照亮圆柱形部分的弯曲表面，以帮助缓解由照明不一致引起的图像处理问题。

作为一种可能性，替换地或附加地，使用上述模板匹配办法，可以采用基于神经网络的分类办法以从标签图像中标识药物和/或关于含药物容器的细节。n×m个像素的RGB图像具有基部维度3nm；因此对于2500x1900的图像，这将导致输入矢量的维度大致上为1400万。相应地，基本办法是将展开后的图像切成一组较小的o×p图像图块(例如，15个)，在这些图块中的每一者上计算一个代表性的“特征”度量，并且随后将该特征矢量用作神经网络的输入。优选地，该度量将以尽可能少的数量来捕获图块的突出特征，这些突出特征使它们自己具有某种程度的分离。对于每个图块上的度量，指导性启发式方法是使用将以某种方式捕获高频和低频特征的启发式方法。所选择的度量是三个颜色通道中每一者的数据能量和平均值的级联，其给出为4的度量维度。使用此度量，输入矢量的大小变为4rs，而使用5x3的图块维度则给出为60的输入矢量维度。这将使输入矢量大小接近于六个数量级的减小。使用的网络是60输入、一个隐藏层、单输出的全连接网络。隐藏层的大小为20。网络的一个特征是对隐藏层中的感知机使用高斯激活函数。然后，在已知药物信息的一组训练图像上对网络进行训练。

在本文中提到模板匹配的地方，可以构想，作为一种可能性，医疗设备将能够执行模板匹配而无需询问任何外部数据库。在这种情形中，医疗设备可能已在其存储器中存储了一个或多个模板，这些模板对应于有关容器和/或药物的候选信息。此外，尽管模板匹配算法从进行和/或不进行的匹配中学习可能是有益的，但是模板匹配方法不需要具有任何这种学习能力。

可以构想，本文描述的方法所采用的一个或多个成像设备可以是一个或多个相机，因此本文对术语“成像设备”的任何使用都可以被术语“相机”代替。

作为一种可能性，取代上述仅具有一个输出的网络体系结构，这意味着它不能将任何图像拒绝为无效。可以取而代之采用多输出网络。一种这样的拓扑可具有八个(或更少的更多)输出(每个标签类别一个输出)，其中期望对于给定的标签而言，该标签的输出将具有较高的值，而所有其他输出较低。任何偏离该模式的输出模式都将被解读为拒绝。

尽管本文描述的诸办法可以与任何医疗设备一起采用并在其中实现，但作为一种可能性，它们可以在诸如自动注射器之类的手持医疗设备中实现。作为另一种可能性，它们可以在非手持式设备(诸如锐器盒)中实现。

在本文描述的办法中，关于含药物容器的信息是通过捕获含药物容器的圆柱形部分的弯曲表面的图像数据来确定的。图像数据从弯曲表面周围展开、被二进制化、并采用模板匹配算法来确定标签信息包括关于容器和/或药物的候选信息。

作为一种可能性，本文描述的任何办法都可以在其中无需使用模板匹配(例如，使用文本、条形码、QRS和/或识别方法)就可从展开图像中读取标签信息的另一办法中采用。

本文描述的方法可以是计算机实现的，从而能由处理器执行指令的操作引起。本文描述的方法可以以包括硬件、固件和/或软件的任何适当形式来体现，例如在计算机可读介质上，该计算机可读介质可以是非瞬态计算机可读介质。计算机可读介质携带被安排用于在处理器上执行的计算机可读指令，以使该处理器执行本文所秒述的任何或所有方法，从而使这些方法是计算机实现的。

本文中所使用的术语计算机可读介质是指存储使得处理器以特定方式进行操作的数据和/或指令的任何介质。此类存储介质可以包括非瞬态介质和/或瞬态介质。非瞬态介质可以包括例如光盘或磁盘。瞬态介质可以包括动态存储器。存储介质的示例性形式包括软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有一个或多个或突起图案的任何物理介质、RAM、PROM、EPROM、闪存-EPROM、NVRAM，以及任何其他存储器芯片或盒式存储器。

Claims (15)

1.一种确定关于含药物容器和/或药物本身的信息的计算机实现方法，其中所述容器位于医疗设备内并且具有圆柱形部分，所述圆柱形部分承载关于所述容器和/或所述药物的标签信息，所述方法包括：

使用所述医疗设备中所包含的一个或多个成像设备来捕获所述圆柱形部分的弯曲表面的图像数据；

根据所述图像数据创建二维展开图像，其中所述创建是通过标识在所述展开图像围绕所述弯曲表面卷起的情况下所述展开图像中的点将映射到所述弯曲表面上的位置来进行的；

将所述展开图像二进制化；

对经二进制化图像应用模板匹配算法，以确定所述经二进制化图像中存在与关于所述容器和/或所述药物的候选信息相对应的一个或多个模板；以及

基于确定所述经二进制化图像中存在所述一个或多个模板来确定所述标签信息包括所述候选信息。

2.如权利要求1所述的方法，其特征在于，进一步包括，在创建所述展开图像之后并且在将所述展开图像二进制化之前，对所述展开图像执行拼接操作以将由所述一个或多个图像设备中的不同成像设备捕获的所述图像数据的各部分拼接在一起。

3.如任何前述权利要求所述的方法，其特征在于，执行所述二维展开图像的创建，以使得由每个成像设备捕获的图像数据仅相对于所述圆柱形部分的在捕获时能由该成像设备直接观察到的弯曲表面部分展开。

4.如任何前述权利要求中所述的方法，其特征在于，所述二进制化包括：

将所述展开图像转换为灰度图像；以及

创建所述经二进制化图像以使得在所述灰度图像数据的像素的灰度值小于局部平均强度阈值的情况下该像素具有第一值，否则该像素具有第二值。

5.如权利要求1至3中的任一者所述的方法，其特征在于，所述二进制化包括：

将所述展开图像转换为色调饱和度明度HSV图像；以及

创建所述经二进制化图像，以使得在像素的色调、饱和度和明度的值中的每一者位于相应的色调、饱和度和明度的上限与下限阈值之间的情况下该像素具有第一值，否则该像素具有第二值。

6.如任何前述权利要求所述的方法，其特征在于，进一步包括：

对所述展开图像应用模板匹配算法，以确定所述经二进制化图像中存在与关于所述容器和/或所述药物的彩色候选信息相对应的一个或多个彩色模板；以及

基于确定所述展开图像中存在所述一个或多个彩色模板来确定所述标签信息包括所述彩色候选信息。

7.如任何前述权利要求所述的方法，其特征在于，所述模板匹配算法被布置为通过针对所述经二进制化图像评估相应模板的多个图块部分来针对所述经二进制化图像评估所述模板中的每一者。

8.如权利要求7所述的方法，其特征在于，对于每个模板，创建具有与所述经二进制化图像相同维度的投票图像，并且基于来自所述模板的所述多个图块部分中的每一者的关于相应图块部分的评估高于还是低于该像素的预定阈值的投票来填充其像素，并且每个投票图像的最大像素值被用于确定所述模板在所述经二进制化图像中的存在。

9.如权利要求8所述的方法，其特征在于，在确定每个投票图像的最大像素值之前使其模糊。

10.如权利要求9所述的方法，其特征在于，通过使所述投票图像与方形窗卷积来实现所述投票图像的所述模糊。

11.如任何前述权利要求所述的方法，其特征在于，所述容器是注射器或药筒。

12.如任何权利要求所述的方法，其特征在于，进一步包括使用所述医疗设备内的光源来照亮所述圆柱形部分的所述弯曲表面。

13.一种确定关于含药物容器和/或药物本身的信息的计算机实现方法，其中所述容器位于医疗设备内并且具有圆柱形部分，所述圆柱形部分承载关于所述容器和/或所述药物的标签信息，所述方法包括：

使用所述医疗设备中所包含的一个或多个成像设备来捕获所述圆柱形部分的弯曲表面的图像数据；

根据所述图像数据创建二维展开图像，其中所述创建是通过标识在所述展开图像围绕所述弯曲表面卷起的情况下所述展开图像中的点将映射到所述弯曲表面上的位置来进行的；

从所述展开图像中读取所述标签信息。

14.一种医疗设备，其被布置为执行任何前述权利要求所述的方法，可任选地，其中所述一个或多个成像设备是相机。

15.一种包括机器可读指令的非瞬态计算机可读介质，所述机器可读指令被布置成当由一个或多个处理器执行时使所述一个或多个处理器执行权利要求1至13中的任一项所述的方法。