CN107106779A - 药剂剂量确定 - Google Patents

Abstract

一种数据收集装置(2)，包括照相机(25)和处理装置(24)，处理装置(24)其被配置为捕获药剂输送装置(1)的药剂剂量指示器(13)的至少两个图像，在所述至少两个图像的每个图像中使用第一字符识别技术识别所显示的剂量，在所述至少两个图像的每个图像中确定图像中显示的剂量是否不同，如果不同，则使用第二字符识别技术识别出图像中的至少一个字符，并基于该至少一个字符，确定药剂剂量指示器(13)指示的药剂剂量数量。第一字符识别技术例如是光学图案识别或相关技术，可以比例如为光学字符识别(OCR)的第二字符识别技术具有更低的计算强度。在另一实施例中，第一、二字符识别技术是不同的OCR过程。

Description

药剂剂量确定

技术领域

本发明涉及从药剂输送装置收集数据。特别是，本发明涉及一种用于确定药剂剂量的方法和装置。

背景技术

存在需要通过注射药剂进行定期治疗的各种疾病。这种注射可以由医疗人员或患者自己通过使用注射装置来进行。例如，1型和2型糖尿病可以由患者自己通过注射胰岛素剂量来治疗，例如每天一次或多次。例如，预先填充的一次性胰岛素笔可以用作注射装置。作为替代，可以使用可重复使用的笔。可重复使用的笔允许用新药筒来更换空药筒。任何一支笔可能都会附带一套每次使用前都需要更换的一次性针。然后可以例如通过转动剂量旋钮并且从胰岛素笔的剂量窗口或显示器观察实际剂量，在胰岛素笔上手动选择要注射的胰岛素剂量。然后通过将针插入合适的皮肤部分并且按压胰岛素笔的注射按钮来注射剂量。

为了能够监视胰岛素注射，例如为了防止胰岛素笔的错误处理或跟踪已经施加的剂量，期望以可靠且准确的方式测量与注射装置的状况和/或使用有关的信息，例如，注射的胰岛素类型、剂量和注射的定时中的一种以上。

数据收集技术也可以用于监视除胰岛素注射以外的目的。例如，可以收集数据以监视其他药剂的注射、其他医疗活动，例如患者服用片剂药剂或输液，或用于非医疗目的，例如出于安全原因对家庭或工业环境的设备和/或其操作的监视。

发明内容

根据一个方面，提供了一种使用数据收集装置来记录药剂剂量的方法，所述方法包括：用所述数据收集装置的照相机捕获药剂输送装置的药剂剂量指示器的至少两个图像；使用第一字符识别技术确定所述至少两个图像中药剂剂量指示器所显示的当前药剂剂量数量；确定所述至少两个图像中的当前药剂剂量数量是否不同；响应于确定当前药剂剂量数量是不同的，使用第二字符识别技术识别出所述至少两个图像的一个图像中的至少一个字符，并基于所述第二字符识别技术的结果，确定药剂剂量指示器指示的药剂剂量数量。

在这种方法中，所述第一字符识别技术的计算强度低于所述第二字符识别技术。例如，所述第一字符识别技术可以确定所述图像和所存储的基准图像之间的相关性，而所述第二字符识别技术可以分析并识别出单个字符，并且必要的话，将识别出的字符组合起来提供结果。

使用第一、第二字符识别技术，其中第一技术比第二技术的计算强度低，通过减少正在将剂量编排到药剂输送装置中时的用来识别字符的处理资源，允许数据收集装置内的处理资源得以有效利用。这又可以减少了能量要求。在数据收集装置由电池供电时，这种减少了的能量要求可以延长电池寿命。

所述方法可以包括基于所述第一字符识别技术的结果显示当前剂量数量。在数据收集装置包括的显示器被布置成实时显示被编排到药剂输送装置中的当前剂量的情况下，使用低处理要求的第一字符识别技术可以允许当前剂量得以快速显示。

所述第二字符识别技术可以包括光学字符识别(OCR)。

所述第一字符识别技术可以包括光学图案识别或光学图案相关技术，其中确定了所述至少一个字符和存储在所述数据收集装置中的一个以上模板之间的相关性。

所述第一字符识别技术可以包括OCR。例如，所述第一字符识别技术可以是第一OCR过程，所述第二字符识别技术是不同于第一OCR过程的第二OCR过程。在这样的示例中，可以降低处理要求，因为用来确定最终药剂剂量的第二OCR过程可能比在编排药剂剂量期间进行的第一OCR更详细，因此计算强度更高。例如，第一OCR过程可以以比第二OCR过程更低的分辨率分析图像。作为替代或补充，第二OCR过程中执行的迭代次数超过第一OCR过程中执行的迭代次数。

所述药剂输送装置可以是注射器笔，其包括用于选择所述数量的待分配药剂的可移动部件。

上述方面还提供了一种计算机程序，包括计算机可读指令，所述计算机可读指令在被数据收集装置的处理器执行时，导致所述数据收集装置执行前述任一种方法。

上述方面还提供了一种数据收集装置，包括照相机和处理装置，所述处理装置被配置为：用所述照相机捕获药剂输送装置的药剂剂量指示器的至少两个图像；在所述至少两个图像的每个图像中，使用第一字符识别技术确定药剂剂量指示器所显示的当前药剂剂量数量；确定所述至少两个图像中所示的当前药剂剂量数量是否不同；响应于确定当前药剂剂量数量在所述至少两个图像中是不同的，使用第二字符识别技术识别出所述图像中的至少一个字符，并基于所述第二字符识别技术的结果，确定药剂剂量指示器指示的药剂剂量数量。

所述第一字符识别技术的计算强度可以低于所述第二字符识别技术。

所述数据收集装置可以包括显示器，并被构造为基于所述第一字符识别技术的结果显示药剂剂量数量。

所述第二字符识别技术可以包括光学字符识别。

所述第一字符识别技术可以包括在光学图案识别或光学图案相关过程中，确定所述至少一个字符和存储在所述数据收集装置中的一个以上基准图像之间的相关性。这种图案识别/相关技术基于选择与所获得的所述至少一个字符的图像偏差最小的基准图像，可以提供稳定的字符识别方法。作为替代，所述第一字符识别技术可以包括光学字符识别。

所述数据收集装置可以包括配接装置，允许所述数据收集装置可释放地或永久地附接到药剂输送装置。作为替代，所述数据收集装置可以手持或可穿戴的电子装置。在这样的装置中，所述处理装置可以被配置为在使用所述第一字符识别技术识别所述至少一个字符之前，调整所述至少一个两个图像的比例。

所述处理装置可以被配置为将所述照相机捕获的、具有不同曝光水平的多个图像组合起来，从而为所述图像提供了高动态范围。获得这种高动态范围图像，可以提供更高质量的图像以及/或者改善的对比度，促进对所述至少一个字符的光学字符识别。

所述处理装置可以被配置为对所述药剂分配装置中至少一个部件的颜色进行识别，并基于所述颜色确定所述药剂的类型。识别颜色可以任选地包括基于设置在所述药剂输送装置上的基准颜色信息确定颜色平衡测量值。这可以允许有关药剂类型的信息得以自动获得，无需来自用户的专门输入，从而可能改善所获得信息的可靠性。

所述药剂输送装置可以是注射器笔，其包括用于选择所述数量的待分配药剂的可移动部件。

附图说明

现在将参考附图描述本发明的示例性实施例，其中：

图1a示出了一种药剂输送装置的分解图；

图1b示出了图1a药剂输送装置某些细节的透视图；

图2a绘制的是根据本发明一个实施例被构造成可释放地附接到图1a、1b药物输送装置的一个数据收集装置例子；

图2b绘制的是根据本发明另一个实施例被构造成可释放地附接到图1a、1b药物输送装置的一个数据收集装置例子；

图2c绘制的是根据本发明又一个实施例被构造成可释放地附接到图1a、1b药物输送装置的一个数据收集装置例子；

图3是图2a数据收集装置被附接到图1注射装置时的方框图；

图4是根据本发明另一实施例的数据收集装置的方框图；

图5是根据本发明一个实施例的确定药剂剂量方法的流程图；

图4和图5各自示出了图1a药剂输送装置的剂量窗口的一部分，显示了可以显示的数字的示例；

图8示出了与剂量窗口中显示的数字对应的二进制数字的示例；

图9和图10示意性地示出了可在剂量窗口中显示的数字的另外的示例；

图11示出了可在剂量窗口中显示的数字的另一示例，其中主数字行包含两个数字；

图12是根据本发明另一实施例的确定药剂剂量方法的流程图。

具体实施方式

在下文中，将参照胰岛素注射装置对本发明的实施例进行说明。然而，本发明不限于这样的应用，并且如上所述，可以同样好地与注射其他药剂的注射装置或与其它类型的药剂输送装置一起部署。

图1a是药剂输送装置的分解示意图，在该示例中，药剂输送装置是注射装置1，例如赛诺菲的胰岛素注射笔。

图1a的注射装置1是预填充的一次性注射笔，其包括壳体10并且包含胰岛素容器14，针15可以固定到胰岛素容器14。针由内针帽16和外针帽17保护，外针帽17又可以被帽18覆盖。可以通过转动剂量旋钮12来选择要从注射装置1注射的胰岛素剂量，然后所选择的剂量经由剂量窗口13显示，例如以所谓的国际单位(IU)的倍数显示，其中一个IU是约45.5微克纯结晶胰岛素的生物当量(1/22mg)。在剂量窗口13中显示的所选剂量的示例可以例如是30IU，如图1a所示。应当注意，所选剂量可以以不同方式同样好地显示。

剂量窗口13可以是壳体10中的孔口的形式，其允许用户观看被配置为当剂量旋钮12转动时移动的数码套筒70的有限部分。为了便于获取在剂量窗口13中显示的数码的图像，数码套筒70可以具有无光泽的表面。

在这个特定实施例中，注射装置1包括提供表示其中所装药剂类型的信息的部件。在该特定示例中，数码套筒70可以具有对应于药剂类型的背景颜色。在其他的实施例中，注射装置的一个以上零件，例如注射按钮或剂量旋钮12可以由具有与药剂对应的颜色的材料形成。任选的是，注射装置1内的胰岛素容器(未示出)的一部分可以包括指示药剂类型并且可以通过剂量窗口13看见的颜色编码部分。识别药剂的信息作为替代或者作为补充可以被编码成条形码、QR码等。识别药剂的信息也可以是黑白图案、彩色图案或浓淡的形式。在其他的实施例中，信息作为替代或者作为补充可以使用文本或颜色被包含在设置于壳体10上的标签中。例如，这样的标签19可以具有背景，或者包括阴影元素，例如具有对应于在注射装置中提供的特定类型的药剂的颜色的边框。作为替代，或者作为补充，标签可以包括存储这种关于药剂的信息的RFID标签或类似的装置。

转动剂量旋钮12产生用以向用户提供声学反馈的机械咔嗒声。带数码的套筒70与胰岛素容器14中的活塞以机械方式相互作用。当针15被插入患者的皮肤部分中，然后推动注射按钮11时，在剂量窗口13中显示的胰岛素剂量将从注射装置1排出。当注射装置1的针15在按下注射按钮11之后在皮肤部分中保持一定时间时，实际上很大比例的剂量注射到了患者体内。胰岛素剂量的注射还引起机械咔嗒声，然而该咔嗒声与当使用剂量旋钮12时产生的声音不同。

注射装置1可以用于几个注射过程，直到胰岛素容器14为空或注射装置1的有效期满(例如，在第一次使用后28天)为止。

此外，在首次使用注射装置1之前，可能需要进行用以从胰岛素容器14和针15除去空气的所谓“初始注射(prime shot)”，例如通过选择2个单位的胰岛素，然后在使针15向上地拿着注射装置1的同时，按压注射按钮11。

为了简化陈述，在下文中，将示例性地假定排出的剂量基本上等于注射的剂量，这样，例如当提出下一次要注射的剂量的建议时，该剂量等于要由注射装置排出的剂量。然而，当然可以考虑排出剂量和注射剂量之间的差异(例如，损失)。

图1b是注射装置1的端部的特写，示出了定位肋71位于观察窗13和剂量旋钮12之间。

图2a是对可释放地附接到图1a注射装置1的辅助装置2的示意性图示。辅助装置2包括壳体20，壳体20具有配接单元，配接单元被构造成抱住图1a的注射装置1的壳体10，使得辅助装置2紧紧地靠在注射装置1的壳体10上，但是仍然可从注射装置1移除，例如当注射装置1是空的并且需要更换时。图2a是高度示意性的，实际布置的细节在下面参照图2b描述。

辅助装置2包含用于从注射装置1收集信息的光学传感器和声学传感器。该信息的至少一部分，例如选择的剂量(任选的是还有该剂量的单位)通过辅助装置2的显示器单元21显示。注射装置1的剂量窗口13当附接到注射装置1时被辅助装置2挡住。

辅助装置2还包括至少一个用户输入换能器，图中示意性地表示为按钮22。这些输入换能器22允许用户接通/断开辅助装置2，以触发动作(例如，引起与另一装置建立连接或与另一装置配对，以及/或者触发信息从辅助装置2到另一装置的传输)，或确认某事。

图2b是可释放地附接到图1a注射装置1的辅助装置2的第二实施例的示意图。辅助装置2包括壳体20，壳体20具有配接单元，配接单元被构造为抱住图1a注射装置1的壳体10，使得辅助装置2紧紧地靠在注射装置1的壳体10上，但是仍然可从注射装置1移除。

信息通过辅助装置2的显示器单元21显示。注射装置1的剂量窗口13当附接到注射装置1时被辅助装置2挡住。

辅助装置2还包括三个用户输入按钮或开关。第一按钮22是电源开/关按钮，经该电源开/关按钮，可以例如接通和断开辅助装置2。第二按钮33是通信按钮。第三按钮34是确认或OK按钮。按钮22、33、34可以是任何合适形式的机械开关。这些输入按钮22、33、34允许用户接通/断开辅助装置2，以触发动作(例如，引起与另一装置建立连接或与另一装置配对，以及/或者触发信息从辅助装置2到另一装置的传输)，或者确认某事。

图2c是可释放地附接到图1a注射装置1的辅助装置2的第三实施例的示意图。辅助装置2包括壳体20，壳体20具有配接单元，配接单元被构造为抱住图1a注射装置1的壳体10，使得辅助装置2紧紧地靠在注射装置1的壳体10上，但是仍然可从注射装置1移除。

通过辅助装置2的显示器单元21显示信息。注射装置1的剂量窗口13当附接到注射装置1时被辅助装置2挡住。

辅助装置2还包括触敏输入换能器35。它还包括一个单个的用户输入按钮或开关22。按钮22是电源开/关按钮，通过该电源开/关按钮，辅助装置2可以例如接通和断开。触敏输入换能器35可以用于触发动作(例如，引起与另一装置建立连接或与另一装置配对，以及/或者触发信息从辅助装置2到另一装置的信息传输)。

图3示出了图2a的辅助装置2在附接到图1a注射装置1的状态下的示意图。

利用辅助装置2的壳体20，包含多个部件。这些部件由处理装置24控制，处理装置24包括一个以上处理器，例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，等等。处理装置24执行存储在程序存储器240中的程序代码(例如软件或固件)，并且使用主存储器241例如存储中间结果。主存储器241还可以用来存储有关所执行的排放/注射的日志。程序存储器240可以例如是只读存储器(ROM)，并且主存储器可以例如是随机存取存储器(RAM)。

在诸如图2b所示的实施例中，处理装置24与第一按钮22相互作用，经由该第一按钮22，辅助装置2可以例如接通和断开。第二按钮33是通信按钮。第二按钮可以用于触发与另一装置建立连接，或者用于触发向另一装置传输信息。第三按钮34是“确认”或“OK”按钮。第三按钮34可以用于确认呈现给辅助装置2的用户的信息。

在诸如图2c所示的实施例中，可以省略按钮33、34中的两个。相反，提供了一个以上电容传感器或其他触摸传感器。

处理装置24控制显示器单元21，在这个示例中，显示器单元21为液晶显示器(LCD)。显示器单元21用于向辅助装置2的用户显示信息，例如有关注射装置1当前设置或者将进行的下一次注射的信息。显示器单元21也可以被实现为触摸屏显示器，例如用于接收用户输入。

处理装置24还控制光学传感器25，光学传感器25被实现为光学字符识别(OCR)读取器，其能够捕获剂量窗口13的图像，剂量窗口13中显示当前选择的剂量(通过存在于注射装置1中所包含的套筒19上的数码、字符、符号或字形，这些数码能够通过剂量窗口13看见)。OCR读取器25进一步能够从捕获的图像识别出字符(例如数码)，并将该信息提供给处理器24。作为替代，辅助装置2中的单元25可以只是光学传感器，例如照相机，用于捕获图像，并将关于捕获图像的信息提供给处理装置24。接着，处理装置24负责在所捕获的图像上面进行OCR。

处理装置24还控制例如发光二极管(LED)29等的光源，以照亮剂量窗口13，在剂量窗口13中显示当前选择的剂量。漫射器可以用在光源的前面，例如由一片丙烯酸玻璃制成的漫射器。此外，光学传感器可以包括透镜系统，例如包括两个非球面透镜。放大率(像尺寸与物尺寸比率)可以小于1。放大率可以在0.05至0.5的范围内。在一个实施例中，放大率为0.15。

处理器24进一步控制光度计26，光度计26被构造为确定注射装置1壳体10的光学性质，例如颜色或浓淡。该光学性质可以只存在于壳体10的特定部分，例如套筒19的颜色或颜色编码，或者注射装置1中包括的胰岛素容器的颜色或颜色编码，该颜色或颜色编码可以例如能够通过壳体10(和/或套筒19)中的另一窗口看见。然后，关于这种颜色的信息被提供给处理装置24，处理装置24可以接着确定注射装置的类型或注射装置中所含胰岛素的类型(例如甘精胰岛素SoloStar具有紫颜色，赖谷胰岛素SoloStar具有蓝颜色)。作为替代，可以用照相机代替光度计26，然后可以将壳体、套筒或胰岛素容器的图像提供给处理装置24，用以通过图像处理确定壳体、套筒或胰岛素容器的颜色。进一步，可以提供一个以上的光源，以提高光度计的可读性。光源可以通过一定波长或光谱的光，以提高光度计26对颜色的检测。光源可以布置成使不想要的反射，例如剂量窗口13的反射，得以避免或减少。在一个示例实施例中，不使用光度计26或者作为光度计26的补充，可以部署照相机单元来检测与注射装置和/或其中所含药剂相关的码(例如条形码，其可以是例如一维或二维条形码)。该码可以例如位于壳体10上或注射装置1中所含的药剂容器上，这些只是几个例子而已。这个码可以例如指示注射装置和/或药剂的类型，以及/或者，指示其他的性质(例如有效日期)。

图4是根据本发明另一个实施例的辅助装置30的框图，该辅助装置30可以用于从图1的注射装置1收集诸如胰岛素类型、剂量和注射时间等数据。在图2a所示的特定示例中，辅助装置30是蜂窝电话或“智能电话”，但也可以使用其他类型的装置，例如可穿戴计算装置或平板计算机。辅助装置30装备有内置照相机31和处理装置32，处理装置32包括一个以上处理器，诸如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，等等。在该特定示例中，辅助装置30是可穿戴的电子装置，诸如可由用户穿戴的用于从其视角记录图像的照相机装置或安装在眼镜或以其他方式穿戴在用户头部或身体上的计算装置。蜂窝电话30还包括存储单元35、36，存储单元35、36包括主存储器35和程序存储器36，其可存储由处理装置32执行的软件。辅助装置30还包括通信装置37、38，诸如天线37和收发器38，以允许与蜂窝电话网络、个人区域网络、本地无线网络以及互联网中的一个以上进行双向通信。辅助装置30还包括诸如小键盘39和麦克风40等的输入装置39、40和诸如扬声器41和/或显示器42等的输出装置41、42。在一些实施例中，输入装置39、40可以包括使用显示器42的一些或全部的触摸屏形式的小键盘39。辅助装置30还包括通信总线43，通信总线43允许在照相机31、处理装置32、存储器单元33、34、通信装置37、38、输入装置39、40和输出装置41、42之间进行通信。

在图4所示示例中，存储在辅助装置30的存储器单元35、36中的软件包括软件应用程序或“app”，该软件应用程序或“app”当由处理装置32执行时，使辅助装置30获取注射装置1的图像，并对图像进行处理以获得有关注射装置中药剂类型和/或所选剂量的数据。

现在将参考图5至图11，使用辅助装置2描述根据本发明一个实施例的示例性方法。

从步骤s5.0开始，通过控制辅助装置2的照相机25捕获图像，获得注射装置1中至少剂量窗口13的图像。在其他实施例中，辅助装置30是手持式或可穿戴的，这时，注射装置1和照相机31之间的距离以及剂量窗口13的方位，不是固定的。鉴于这种情况，处理装置22调整图像的比例，使得剂量窗口13中显示的字符大小落在预定范围内。

接着，通过从图像中识别出注射装置一部分的指示药剂类型的颜色，获得有关药剂类型的信息(步骤s5.2)。在该特定实施例中，注射装置1数码套筒70的背景被配置为提供基准颜色信息，用来使图像中一种以上的颜色得以正确识别。例如，印制数码的背景可以用来提供白平衡水平，用来校准该图像中注射装置1诸部件的颜色。在另一实施例中，数码套筒70的颜色背景可以用来指示装进注射装置1中的药剂类型，并且任选的是，可以在注射装置1的别的地方提供基准颜色信息。作为替代，通过从包括标签(未示出)的图像一部分中识别出字符，或者从图像中抽取并解读条形码(未示出)，例如使用光学字符识别技术，可以获得有关药剂类型的信息。

使用照相机25获得剂量窗口13的第二图像(步骤s5.3)。

处理单元24接着确定第二图像所示剂量窗口13中显示的药剂剂量。在这个示例中，通过扫描与数码套筒70上的数码相对应的所存储的数码字符基准图像，并将其与第二图像相比较，使用光学图案识别技术或光学图案相关技术、由处理装置24执行的算法，对第二图像中剂量窗口13所示的数码套筒70的字符进行识别(步骤s5.4)。基准图像可以以查找表的形式存储在程序存储器240中。通过确定哪一个基准图像与第二图像中所示剂量窗口13表现为高度重合，可以识别出该至少一个字符及其在剂量窗口13中的位置。

按照这种方式，在步骤s5.4中执行的光学图案识别技术可以确定当前剂量数量，而无需识别出剂量窗口13中显示的单个的字符。例如，如果当前编排的剂量数量是“10”，则该剂量可以基于该图像与数码“10”基准图像之间的相关性来确定，无需识别出单个的数字“1”和“0”。

任选的是，可以基于冗余和对图像曝光的检查，对图案识别过程的结果进行检查，以监视并改进性能。

接着，基于光学图案识别过程的结果确定当前剂量，并且处理装置24通过比较该结果和对先前图像进行光学图案识别的结果(如果有的话)，确定剂量窗口13中所示剂量数量是否在变化。对应于数码套筒70运动的图像差异将表示当前编排剂量的变化。这种差异可以通过两个图像之间所述至少一个字符一致性的变化显示出，或者根据两个图像之间所述至少一个字符在剂量窗口13中位置的变化显示出。

如果确定剂量是在变化(步骤s5.5)，则由显示器21进行显示，并重复步骤s5.3到s5.5以捕获新图像(步骤s5.3)，确定新图像中所示的当前显示的剂量数量(步骤s5.4)，并确定该剂量是否在变化(步骤s5.5)。

如果无法进行确定，例如如果光学图案识别过程(步骤s5.4)的结果不清楚，或者如果没有先前图像供与步骤s5.3捕获的图像相比，则重复步骤s5.3到s5.5以捕获新图像(步骤s5.3)，确定新图像中所示的当前显示的剂量数量(步骤s5.4)，并确定该剂量是否在变化(步骤s5.5)。

如果确定剂量没有在变化(步骤s5.5)，则使用OCR技术识别出最新图像中的一个以上字符(步骤s5.7)。

作为替代，可以获得另一图像，然后将其用在步骤s5.7执行的分析过程。该另一图像可以通过以各种曝光水平拍摄剂量窗口13的多个图像并将它们组合起来获得，提供高动态范围(HDR)图像，从而为进行分析提供质量改善的图像。

在该实施例中，光学字符识别(步骤s5.7)包括由处理装置24进行预处理，以评估并且如果需要的话，通过执行以下步骤来改善图像数据质量：

·缺陷和坏像素校正

·光校正

·失真

·抖动

注意：预处理是可任选的特征。app可被设计为执行所需的标准，而无需对图像进行预处理。

由处理装置22执行的预处理也可以基于注射装置1相对于照相机的方位和/或剂量窗口13中显示的字符的任何倾斜，通过对剂量窗口13中显示的字符的偏斜进行校正，来调整图像。例如，剂量窗口13中的数码为了便于用户识别和定位可能是倾斜的，但是如果消除倾斜，则可能更容易由辅助装置2解码。

这种调整可以基于对具有预定形状和/或尺寸的注射装置1的特征进行的分析。例如，处理装置24可以在图像中识别出剂量窗口13、注射装置1上的标志(未示出)和/或注射装置1的其它特征，然后基于有关这些特征期望形状和/或大小的信息，校正图像中包括的文本和数码的偏斜。

图6和图7描绘了剂量窗口13的一部分，示出了可能显示的数字的示例。在图6中，已经将剂量拨选到注射装置1中，使得在剂量窗口13中央显示出一个数字34，在本情况中，为指示6IU的数码6。在图7中，7IU的剂量已经拨选到注射装置1中，使得分别表示数码6和8的数字35、36都显示在剂量窗口13中，并且这些数码之间的空格占据了剂量窗口13的中心区域。在这个特定的实施例中，处理装置24被配置为执行允许图6和图7中所描述的两种情况被精确解码的算法。

OCR过程包括以下步骤：

·二值化

·分割

·模式匹配

·位置计算

在一些实施例中可以有并行操作的两个OCR算法，以提高OCR过程的可靠性。在这些实施例中，两个OCR算法具有相同的输入图像，并且意图提供相同的输出。他们都执行类似的步骤，但是在每个步骤中使用的各自方法可能会有所不同。这两种OCR算法在二值化、分割、模式匹配和位置计算步骤之一中或在这些步骤的多于一个以上的步骤中可能不同。使用不同的方法提供相同结果的两个OCR部分，提高了整个算法的可靠性，因为数据用两种独立的方式进行了处理。

在OCR过程中，将从照相机25获得的并且经上述调整的彩色或灰度图像通过二值化处理转换成纯黑白图像37，如图8所示的图像。在剂量窗口中的明亮背景上呈现黑数码的一个示例中，黑白图像将指示具有黑色像素的数字38、39的存在，以及不存在具有白色像素的数字，如图8中的示例所示。在一些实施例中，使用固定阈值来分离黑色和白色像素。在二值化图片中，值等于或高于阈值的像素变为白色，低于阈值的像素变为黑色。高阈值将导致伪影(白色区域的黑色部分)，而低阈值的风险是，在某些情况下部分数字丢失。在一些实施例中，选择阈值使得在任何情况下都不会丢失数字的部分，因为该算法对于伪像通常是鲁棒的(即，可以在存在某些伪影的情况下执行准确的OCR过程)。在使用256个灰度值分析图像的测试中，127的阈值显示出良好的结果。

在例如预处理中已经执行了光校正的情况下，使用固定阈值是可能的。光校正和固定阈值的结合类似于窗口平均二值化。窗口平均二值化将像素值与其所在区域的像素的平均值进行比较。在失真和倾斜校正步骤之前执行光校正步骤意味着更多的信息可用于OCR过程，这已被证明在图片的边缘和角上产生更好的结果。

作为替代，Otsu阈值方法可以应用于所捕获的灰度图像以产生类似于图8所示二值化图像37的二进制图像。在一些替代实施例中，可以省略二值化，可以在所捕获的彩色或灰度图像上执行算法的OCR部分。

然后进行分割。该部分算法的目标是确定图像中每个可见或部分可见数码的确切位置。为了实现这一点，算法通过查找数字的边缘来定义可视数字的边界。这通常以两个步骤完成，这两个步骤可以以任何顺序执行。再次参考图6和图7，处理装置24可以执行对构成二值化图像37的像素列进行分析的“竖向投影”。单独分析每个像素列，并且计算每列中的黑色像素数之和。在一些实施例中，只有具有零个黑色像素的像素列限定数码的边缘。作为替代，考虑到污垢、划痕和其它干扰，可以为黑色像素数量设置低的阈值。计算相邻列的差值，差值最大的边界表示数码的边缘。另外，可以计算重叠的列组(例如，三个相邻列)的像素内容，以帮助确定数码的横向边缘。

然后，处理装置24执行对构成二值化图像37的像素行进行分析的“横向投影”。这以与上面针对竖向投影描述的方式类似的方式进行。

横向投影的预期结果被加到竖向投影的预期结果，于是，识别出可见数码的边缘。处理装置24可以用完整数码的预期高度(以像素行计)进行预编程，因此能够识别部分可见数码的存在。

在另一个实施例中，“横向投影”和“竖向投影”可以基于计算白色像素之和的分析，条件是每行和列中的白色像素的预期数量是已知的。

了解精确位置允许针对OCR过程的后续步骤仅使用图像中代表(一个以上)可见数码的部分。由此，该数码之外的其他对象，例如，污垢、划痕或其他干扰，所造成的任何影响就可以减少了。此外，在后续步骤中(例如，在图案匹配步骤中)要处理的像素的总数也减少了。这有助于降低对资源的要求。这也有助于提高性能。此外，知道确切位置还支持确定相对于图像中心的竖向位置。

OCR过程中下一步是选择要解码和识别的可见数码之一。通过将其中一个数码指定为“主数字行”来完成选择。主数字行是基于哪个可见数码具有最大高度来选择。这是因为印制在套筒70上的所有数字都具有大致相同的高度，因此可以认为高度最大的数码将完全可见，因此容易以高度确定性进行解码。在图9所示的示例中，数码“6”的高度高于上方和下方的部分可视数码，因此被选为主数字行。在图10所示的示例中，数码“6”和“8”都是完全可见的，并且具有相同的高度。在这种情况下，选择最上面的数码作为主数字行。主数字行是随后用于确定拨入注射装置1中的剂量的数码。

用于自行给送胰岛素的标准注射装置1可以注射1至80IU的任何数量的单位的药剂。因此，为了正确解码被识别为主数字行的数码，必须确定该数码是由一位数字还是两位数字组成的。因此，为了确定每个数码是由一位数字还是两位数字组成，处理装置24执行一系列步骤，在数码由两位数字组成的情况下，将数字彼此分开。处理装置24可以使用先前为此目的而计算出来的列像素信息。在图11所示的示例中，已经将9IU剂量的药剂拨选到注射装置1中。图中示出了横向和竖向投影的预期结果。数码“10”的高度比数码“8”高，因此被选为主数字行。

此后，处理装置24确定所选择的主数字行是否比预定义的“最大数字宽度”值宽。处理装置24可以用与所捕获的图像中的数码的预期大小相关的信息进行预编程，于是，可以定义单个数字的最大预期宽度。为了提高可靠性，最大宽度可以被设置为比最宽数目多少量的像素列。如果主数字行的宽度是最大数字宽度或小于最大数字宽度，则假定该行包含单个数字。如果主数字行太宽，不可能为单个数字，则在主数字行上(而不是整个图像上)执行第二次竖向投影。此外，每个单独数字的预期宽度可以用于预测分离应发生的位置。

图11所示的示例性视场是数码间隔很好的示意图。在其他布置中，由于可用空间有限和需要数码对用户来说可读取，在剂量窗口中显示的数码可能相当紧密地靠在一起。因此，在二值化之后，组成该数码的两个数字可能不会被干净地分离，即，在两个数字之间可能不存在没有黑色像素的列。这就是图8所示示例性二值化图像中的情况，其中上方的数字37中的“7”和“4”之间不具有不包含黑色像素的像素列。在这种情况下，再次使用每个单独数字的预期宽度预测应该进行分离的位置。如果预测列包含黑色像素，则计算该列与相邻列的偏差，以确定最佳分离位置。在这种情况下，由于不清楚所选分离列中的黑色像素属于左侧数字还是右侧数字，因此将它们忽略。这样做已被证明对OCR过程正确识别数字的可靠性影响很小。

然后执行图案匹配过程，通过将主数字行中的数字与程序存储器240中存储的基准图像进行比较，识别出主数字行中的数字。在一种直截了当的方法中，可以逐个像素地执行图案匹配。然而，这可能要求计算能力高，并且图像和模板之间可能容易发生位置变化。在使用基准图像的情况下，处理装置24可以配置为对图像数码执行其他类型的操作，例如通过改变一个以上数字的大小，将该数码裁剪为限定的像素区域，并且将以斜体字体印制的数码剪切成直立状态。这些操作可以在与存储的基准图像进行图案匹配比较之前执行。作为替代，如上面的讨论，这些操作可以在二值化处理之前的预处理中执行。还可以执行附加的浓淡、失真和曝光校正。

在一些其他实施例中，执行特征识别过程。特征可以是横线、竖线或斜线、曲线、圆或闭环，等等。这些特征可以在所选数码的图像中识别出来，然后与基准图像进行比较。

在另外的实施例中，图案匹配算法可以基于向量比较过程。例如，基准图像可以是描述每条黑色像素线(连续延续)的位置和长度的向量形式。在一个示例中，位置和长度与在各线中的绝对位置有关。在另一示例中，位置和长度涉及延伸穿过基准图像中心的竖线。所捕获的每个数字的二进制图像可以类似地被转换成向量，并且依次与每个存储的基准图像进行比较以找到最佳匹配。当将所捕获的图像的向量与特定的数字基准图像进行比较时，任何偏差都导致对图像和该基准图像之间匹配可能性施加减分(penalty)。减分的大小可取决于与基准图像相比图像中丢失的或增加的黑色像素的数量。在将数字图像与每个基准图像都进行比较并且已经应用了所有的减分之后，做出存在哪个数字的决定。在良好的光学条件下，正确的基准图像将具有非常低的减分，而所有其他基准图像将具有很高的减分。如果主数字行由两个数字组成，则该过程在两个数字上执行，然后处理装置24可以组合结果以产生该数码的最终结果。

某些数字可能存在特殊措施。例如，“1”在宽度上明显偏离所有其他数字，导致常见的漏检。为了解决这个问题，如果一个数字的二进制图像比“1”的预期宽度宽，那么当与所存储的“1”的矢量基准图像进行比较时，它会接收额外的检测减分。

在一些特殊情况下，如果主数字行的图案匹配结果的置信水平低于某个阈值(例如99％)，则处理装置24可以对一个以上其他可见或部分可见的数码执行第二次图案匹配过程。由于数码的顺序是已知的，所以该第二次图案匹配可以用作第一次图案匹配返回正确结果的检查。

如果结果的置信水平仍然不够高，则可以用照相机25获得另一个图像，然后重复步骤s5.7。

一旦成功识别出主数字行中的该一个数字或该多个数字，则应用加权函数，以确定拨选到注射装置1中的剂量(步骤s5.8)。为了制定加权函数，可以确定主数字行相对于剂量窗口13中心的竖向位置。这可以通过计算包括主数字行的中间像素行相对于表示图像中剂量窗口13中心线的像素行的偏移来完成。

例如，在一些实施例中，光学传感器包括矩形的64×48光敏元件阵列。所得到的二进制图像是具有这些相同尺寸的像素阵列。第24和/或第25像素行可以被指定为图像的中心行。确定包括主数字行的中间像素行的位置。然后计算包括主数字行的中间像素行与图像的(一个以上)中央行之间按像素行计的偏移。取决于偏移的方向，该偏移可以为正或负。用偏移除以连续数码之间的距离(以像素行计)，将偏移量转换为分数，之后，将偏移应用于相应确定的数码。因此，偏移允许确定该数码相对于传感器的旋转位置。如果主数字行的中心像素行与图像的中心像素行相同，则偏移为零，并且位置等于主数字行的编号。然而，在大多数情况下可能会有一些偏移。

印制在数码套筒70上的连续数码之间的距离是恒定的，因为这些数码表示与注射装置机构的离散机械运动有关的剂量。因此，所捕获的图像中连续数码之间的距离(以像素行计)也应该是恒定的。数码的预期高度和数码之间间距的预期高度可以预编程到app中。作为一个示例，每个数码的预期高度可以是22个像素，并且数字之间间距的预期高度可以是6个像素。因此，连续数码的中心像素行之间的距离将是28个像素。

继续该示例，如果像素行从图像的顶部到底部依次编号，则加权函数的应用在数学上可以定义为：

位置＝主数字行编号+[2×偏移/(数码预期高度+间距预期高度)]

其中，偏移＝与剂量窗口中心对应的图像行编号-主位数行中央行编号

因此，如果主数字行位于图像的上半部分中，则偏移为正，如果主数字行位于图像的下半部分中，则偏移为负。例如，如果主数字列中显示的数码为“6”并且偏移为零，则计算出的位置为：

位置＝6+[2×0/(28)]＝6

因此，将按预期返回结果“6”。

在75IU被拨选到注射装置1中的另一个示例中，如果上部的数码“74”被选择为主数字行，并且根据上述方程存在11个像素行的正偏移，再次假设组合的数码/间距高度为28个像素，则计算出的位置将为：

位置＝74+[2×11/(28)]＝74.79

然后，将该结果四舍五入为最接近的整数，按照预期给出位置确定“75”。

本领域技术人员将理解，上述加权函数和位置确定仅表示一个示例，并且可以使用许多其它计算方法来获得相同的结果。本领域技术人员还将理解，可以修改和改进上述数学计算以减少计算时间。因此，加权函数的确切形式对于本发明的定义不是必需的。

在一些注射装置中，由于空间限制和需要数码达到一定的尺寸，所以在剂量窗口13中仅显示偶数。在一些其它注射装置中，可以只显示奇数。然而，可以将任意数量的药剂单元拨选到注射装置1中。在其它注射装置中，可以同时呈现偶数和奇数，并且可以将半个单位的剂量拨选到注射装置中。注射装置可以限制为80IU的最大拨选剂量。作为替代，可以仅显示每第3、第4或第5个数码，并且可以用刻度线标示这些数码之间的剂量。鉴于此，app可以包括用于控制处理装置24识别注射装置1中使用的编号顺序的指令。例如，可以提示用户经由按钮34或小键盘39(如果提供了的话)来输入关于注射装置1的信息，或可以使用从图像获得的信息，例如从标签(未示出)上的文本或条形码获得的信息。app可以包括查找表或指示用于各种注射装置1的编号顺序的其他信息。然后，处理装置24可以基于OCR数据和针对注射装置1的适当编号顺序来确定所选择的剂量。作为替代，或作为补充，可以使用加权函数的修改形式，因为数码高度和数码间距的大小也可以被修改。

任选的是，该方法可以包括后处理，例如执行合理性检查和滞后计算。作为替代，OCR过程的结果可以在不进行后处理的情况下完成。

然后，在显示器21上显示所确定的药剂剂量(步骤s5.9)。

从图像获得的信息然后可以被存储在辅助装置2的程序存储器240中(步骤s5.10)，并且/或者使用通信装置25、26(步骤5.11)经过诸如手机网络、个人区域网络、或因特网之类的网络发送到另一装置，该过程结束(步骤s5.12)。任选的是，与图像时间戳有关的信息也可以存储和/或传输。以这种方式，可以记录和监视向患者给送药剂。

图12描绘了根据本发明另一实施例也使用辅助装置2确定药剂剂量的一种方法。

从步骤s12.0开始，使用照相机25获得至少剂量窗口13的图像(步骤s12.1)，并像上面参照图5、步骤s5.1、s5.2描述的那样，基于该图像确定药剂信息。

然后用照相机25获得第二图像(步骤s12.3)，接着使用第一光学字符识别技术(OCR1)确定当前显示的药剂剂量(步骤s12.4)。在这个特定示例中，OCR1基于隐马尔科夫模型(HMM)。

接着，基于OCR1的结果确定当前剂量，并且处理装置24通过比较该结果和对先前图像进行光学图案识别的结果(如果有的话)，确定剂量窗口13中所示剂量数量是否在变化(步骤s12.5)。对应于数码套筒70运动的图像差异将表示当前编排剂量的变化。这种差异可以通过两个图像之间所述至少一个字符一致性的变化显示出，或者根据两个图像之间所述至少一个字符在剂量窗口13中位置的变化显示出。

如果确定剂量是在变化(步骤s12.5)，则由显示器21显示当前剂量(步骤s12.6)，并重复步骤s12.3到s12.5以捕获新图像(步骤s12.3)，确定新图像中所示的当前显示的剂量数量(步骤s12.4)，并确定新图像和先前图像之间是否发生了剂量变化(步骤s12.5)。

如果无法进行确定，例如如果光学图案识别过程(步骤s12.4)的结果不清楚，或者如果没有先前图像供与步骤s12.3捕获的图像相比，则重复步骤s12.3到s12.5以捕获新图像，并确定该剂量是否在变化。

如果确定剂量没有在变化(步骤s12.5)，则使用第二光学字符识别过程OCR2识别出最新图像中的一个以上字符(步骤s12.7)。

作为替代，可以获得另一图像，然后将其用在步骤s12.7执行的分析过程。例如，该另一图像可以通过以各种曝光水平拍摄剂量窗口13的多个图像并将它们组合起来获得，提供高动态范围(HDR)图像，从而为进行分析提供质量改善的图像。

OCR2可以按照上面参照图5和步骤s5.7描述的方式进行。作为替代，OCR2可以是与OCR1不同的其他的光学字符识别过程，例如基于离散余弦变换(DCT)的技术。

一旦识别出了所述一个以上字符(步骤s12.7)，则确定所显示的剂量数量(步骤s12.8)，例如像上面参照图5和步骤s5.8描述的那样通过应用加权函数来确定。

任选的是，该方法可以包括后处理，例如执行合理性检查和滞后计算。作为替代，OCR过程的结果可以在不进行后处理的情况下完成。

然后，在显示器21上显示所确定的药剂剂量(步骤s12.9)，任选的是，还存储所确定的药剂剂量(步骤s12.10)，并且/或者将其传送给其他装置(步骤s12.11)，该过程结束(步骤s12.11)。

在图12的示例方法中，第一、第二OCR过程OCR1、OCR2基于不同的算法。但是，在其他实施例中，除了所用算法类型不同外，或者并非是所用算法类型不同，第一、第二OCR过程OCR1、OCR2在其他方面还可以不同。例如，OCR1和OCR2可以在分析图像使用的分辨率方面不同，其中，OCR2用的分辨率高于OCR1。作为替代或补充，OCR2可以包括迭代过程，而OCR1不包括。或者，在OCR1和OCR2都包括迭代过程的情况下，OCR2与OCR1相比，其中可以进行更多次的迭代。

在上述实施例中，使用了不同的技术来确定注射装置1编排或编程期间的剂量，例如图5的步骤s5.4和图12的步骤s12.4，以及最终的剂量，例如图5的步骤s5.7和图12的步骤s12.7。通过使用与用于确定最终剂量的技术相比(s5.7，s12.7)相比计算强度更低的技术来确定注射装置1编排或编程期间的剂量(s5.4，s12.4)，可以在对注射装置1编排或编程期间使用更少的处理资源，而不会牺牲步骤s5.9和s12.9确定的最终剂量的精度和可靠性，从而允许辅助装置2的处理资源和能量使用得以有效利用。

作为替代或补充，步骤s5.4和s12.4的当前剂量确定可以比步骤s5.7和s12.7的最终剂量确定更快地执行，从而允许显示器21上所示的剂量得以快速更新。

在一个测试示例中，捕获一个图像和如步骤s5.4所述使用光学图案识别技术基于对所捕获图像进行分析对显示器21显示的剂量数量进行的更新之间的时间间隔，在200ms和250ms之间。相比之下，基于HMM和DCT使用OCR技术时，图像捕获和显示更新之间的时间间隔为550到1000ms，因此需要更大的电池功率。

虽然针对从胰岛素注射器笔收集数据描述了上述实施例，但是应当注意，本发明的实施例可以用于其他目的，例如监视其他药剂的注射或其他医疗过程。

Claims (15)

1.一种使用数据收集装置来记录药剂剂量的方法，所述方法包括：

用所述数据收集装置的照相机捕获药剂输送装置的药剂剂量指示器的至少两个图像；

使用第一字符识别技术确定所述至少两个图像中药剂剂量指示器所显示的当前药剂剂量数量；

确定所述至少两个图像中的当前药剂剂量数量是否不同；

响应于确定当前药剂剂量数量是不同的，使用第二字符识别技术识别出所述至少两个图像的一个图像中的至少一个字符，并基于所述第二字符识别技术的结果，确定药剂剂量指示器指示的药剂剂量数量。

2.根据权利要求1所述的方法，其中，所述第一字符识别技术的计算强度低于所述第二字符识别技术。

3.根据权利要求1或2所述的方法，包括基于所述第一字符识别技术的结果显示当前剂量数量。

4.根据权利要求1或2或3所述的方法，其中，所述第二字符识别技术包括光学字符识别。

5.根据前述权利要求中任一项所述的方法，其中，所述第一字符识别技术包括确定所述至少一个字符和存储在所述数据收集装置中的一个以上模板之间的相关性。

6.根据权利要求4所述的方法，其中，所述第一字符识别技术包括第一光学字符识别过程，所述第二字符识别技术包括不同于第一光学字符识别过程的第二光学字符识别过程。

7.根据前述权利要求中任一项所述的方法，其中，所述药剂输送装置是注射器笔，其包括用于选择所述数量的待分配药剂的可移动部件。

8.一种计算机程序，包括计算机可读指令，所述计算机可读指令在被数据收集装置的处理器执行时，导致所述数据收集装置执行根据前述权利要求中任一项所述的方法。

9.一种数据收集装置，包括：

照相机；

处理装置，其被配置为：

用所述照相机捕获药剂输送装置的药剂剂量指示器的至少两个图像；

在所述至少两个图像的每个图像中，使用第一字符识别技术确定药剂剂量指示器所显示的当前药剂剂量数量；

确定所述至少两个图像中的当前药剂剂量数量是否不同；

响应于确定当前药剂剂量数量在所述至少两个图像中是不同的，使用第二字符识别技术识别出所述图像中的至少一个字符，并基于所述第二字符识别技术的结果，确定药剂剂量指示器指示的药剂剂量数量。

10.根据权利要求9所述的数据收集装置，其中，所述第一字符识别技术的计算强度低于所述第二字符识别技术。

11.根据权利要求9或10所述的数据收集装置，包括被构造为基于所述第一字符识别技术的结果显示药剂剂量数量的显示器。

12.根据权利要求9、10或11所述的数据收集装置，其中，所述第二字符识别技术包括光学字符识别。

13.根据权利要求9至12中任一项所述的数据收集装置，其中，所述第一字符识别技术包括确定所述至少一个字符和存储在所述数据收集装置中的一个以上模板之间的相关性。

14.根据权利要求12所述的数据收集装置，其中，所述第一字符识别技术包括第一光学字符识别过程，所述第二字符识别技术包括不同于第一光学字符识别过程的第二光学字符识别过程。

15.根据权利要求9至14中任一项所述的数据收集装置，其中，所述处理装置被配置为对所述药剂分配装置中至少一个部件的颜色进行识别，并基于所述颜色确定所述药剂的类型。