CN107073225A - 使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据 - Google Patents

使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据 Download PDF

Info

Publication number
CN107073225A
CN107073225A CN201580056920.8A CN201580056920A CN107073225A CN 107073225 A CN107073225 A CN 107073225A CN 201580056920 A CN201580056920 A CN 201580056920A CN 107073225 A CN107073225 A CN 107073225A
Authority
CN
China
Prior art keywords
image
character
drug dose
transacter
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580056920.8A
Other languages
English (en)
Other versions
CN107073225B (zh
Inventor
T·克莱姆
D·哈门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanofi Aventis Deutschland GmbH
Original Assignee
Sanofi Aventis Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanofi Aventis Deutschland GmbH filed Critical Sanofi Aventis Deutschland GmbH
Publication of CN107073225A publication Critical patent/CN107073225A/zh
Application granted granted Critical
Publication of CN107073225B publication Critical patent/CN107073225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178—Syringes
    • A61M5/31—Details
    • A61M5/315—Pistons; Piston-rods; Guiding, blocking or restricting the movement of the rod or piston; Appliances on the rod for facilitating dosing ; Dosing mechanisms
    • A61M5/31525—Dosing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178—Syringes
    • A61M5/24—Ampoule syringes, i.e. syringes with needle for use in combination with replaceable ampoules or carpules, e.g. automatic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178—Syringes
    • A61M5/31—Details
    • A61M5/315—Pistons; Piston-rods; Guiding, blocking or restricting the movement of the rod or piston; Appliances on the rod for facilitating dosing ; Dosing mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178—Syringes
    • A61M5/31—Details
    • A61M2005/3125—Details specific display means, e.g. to indicate dose setting
    • A61M2005/3126—Specific display means related to dosing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/505—Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52—General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/60—General characteristics of the apparatus with identification means
    • A61M2205/6063—Optical identification systems
    • A61M2205/6081—Colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

一种使用数据收集装置记录药剂剂量的方法，所述方法包括：拍摄药剂输送装置的药剂剂量指示器的图像；调整所述图像的比例；针对所述药剂剂量指示器显示的一个以上字符的偏斜，调整所述图像；确定所述图像中的所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。该方法可以用包括照相机的手持式电子装置执行，诸如手机、平板电脑或者其它装置。用于控制数据收集装置以执行该方法的计算机程序可以以软件应用程序或者“app”的形式提供。

Description

使用光学字符识别技术(OCR)记录来自药剂注射装置的剂量 数据
技术领域
本发明涉及从药剂输送装置收集数据。特别是，本发明涉及一种用于记录药剂剂量的方法和一种数据收集装置。
背景技术
存在需要通过注射药剂进行定期治疗的各种疾病。这种注射可以由医疗人员或患者自己通过使用注射装置来进行。例如，1型和2型糖尿病可以由患者自己通过注射胰岛素剂量来治疗，例如每天一次或多次。例如，预先填充的一次性胰岛素笔可以用作注射装置。作为替代，可以使用可重复使用的笔。可重复使用的笔允许用新药筒来更换空药筒。任何一支笔可能都会附带一套每次使用前都需要更换的一次性针。然后可以例如通过转动剂量旋钮并且从胰岛素笔的剂量窗口或显示器观察实际剂量，在胰岛素笔上手动选择要注射的胰岛素剂量。然后通过将针插入合适的皮肤部分并且按压胰岛素笔的注射按钮来注射剂量。
为了能够监测胰岛素注射，例如为了防止胰岛素笔的错误处理或跟踪已经施加的剂量，期望以可靠且准确的方式测量与注射装置的状况和/或使用有关的信息，例如，注射的胰岛素类型、剂量和注射的定时中的一种以上。
数据收集技术也可以用于监测除胰岛素注射以外的目的。例如，可以收集数据以监测其他药剂的注射、其他医疗活动，例如患者服用片剂药剂或输液，或用于非医疗目的，例如出于安全原因对家庭或工业环境的设备和/或其操作的监测。
发明内容
根据一个方面，提供了一种通过数据收集装置来记录药剂剂量的方法，所述方法包括：用所述数据收集装置的照相机捕捉药剂输送装置的药剂剂量指示器的图像；调整所述图像的比例；针对所述药剂药剂剂量指示器显示的一个以上字符的偏斜，调整所述图像；确定所述图像中所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。
所述数据收集装置可以是包括照相机的手持式电子装置，诸如手机、平板电脑、PDA或者类似装置。这些装置是通常可得到的。因此，可以不需要专门的或专用的数据收集装置，就能记录和监测药剂输送。此外，此外，由于用户可以利用他们熟悉的装置进行数据收集，所以用户可以不用先熟悉并且学习使用新的装置就开始记录剂量。
所述捕获图像可以包括组合具有不同曝光水平的多个图像，以使所述图像具有高动态范围。获得这样的高动态范围图像可以提供更高质量的图像和/或改善的对比度，从而利于所述至少一个字符的光学字符识别。
该方法还可以包括从所述图像获得颜色信息，并且基于所述颜色信息识别要分配的药剂的类型。任选的是，获得颜色信息可以包括基于在药剂输送装置上提供的基准颜色信息来确定颜色平衡测量。这可以允许在没有来自用户的特定输入的情况下自动获得关于药剂类型的信息，从而潜在地提高所获得的信息的可靠性。
所述药剂输送装置可以是注射器笔，其包括用于选择要分配的药剂数量的可移动部件。
该方面还提供了一种包括计算机可读指令的计算机程序，该计算机可读指令由处理器执行时，执行任何上述方法。
这样的计算机程序可以以例如智能电话软件应用程序(“app”)或者用于平板电脑的“app”来提供。
这一方面还提供了一种数据收集装置，其包括照相机和处理装置，所述处理装置被构造成：使用所述照相机捕获药剂输送装置的药剂剂量指示器的图像；调节所述图像的比例；针对所述药剂剂量指示器显示的一个以上字符的偏斜，调节所述图像；确定所述图像中所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于所述光学字符识别的结果，确定所述药剂剂量指示器指示的药剂剂量。
所述数据收集装置可以是手持式电子装置，诸如手机或者平板电脑。
所述处理装置可以构造成通过组合由所述照相机捕获的、具有不同曝光水平的多个图像来捕获图像，以使所述图像具有高动态范围。
所述处理装置可以被构造成识别所述药剂输送装置的至少一个部件的颜色，并且基于所述颜色确定所述药剂的类型。在一些实施例中，所述处理装置可以被构造成基于显示在所述药剂输送装置上提供的基准颜色信息的图像，获得颜色平衡测量。
附图说明
现在将参考附图描述本发明的示例性实施例，其中：
图1a示出了药物输送装置的分解图；
图1b示出了图1a药物输送装置一些细节的透视图；
图2a是根据本发明一个实施例的数据收集装置的框图；
图2b是根据本发明另一实施例的数据采集装置的框图；
图3是根据本发明一个实施例的数据收集方法的流程图；
图4和5各自示出了图1a药物输送装置的剂量窗口的一部分，显示了可显示的数字的例子；
图6示出了与剂量窗口中显示的数字对应的二进制数字的示例；
图7和图8示意性地示出了可在剂量窗口中显示的数字的另外的例子；
图9示出了可以在剂量窗口中显示的数字的另一示例，其中主数字行包含两个数字。
具体实施方式
在下文中，将参照胰岛素注射装置对本发明的实施例进行说明。然而，本发明不限于这样的应用，并且如上所述，可以同样好地与注射其他药剂的注射装置或与其它类型的药剂输送装置一起部署。
图1a是药剂输送装置的分解图。在该示例中，药剂输送装置是注射装置1，如Sanofi的胰岛素注射笔。
图1a的注射装置1是预填充的一次性注射笔，其包括壳体10并且包含胰岛素容器14，针15可以固定到胰岛素容器14。针由内针帽16和外针帽17保护，外针帽17又可以被帽18覆盖。可以通过转动剂量旋钮12来选择要从注射装置1注射的胰岛素剂量，然后所选择的剂量经由剂量窗口13显示，例如以所谓的国际单位(IU)的倍数显示，其中一个IU是约45.5微克纯结晶胰岛素的生物当量(1/22mg)。在剂量窗口13中显示的所选剂量的示例可以例如是30IU，如图1a所示。应当注意，所选剂量可以以不同方式同样好地显示。
剂量窗口13可以是壳体10中的孔口的形式，其允许用户观看被配置为当剂量旋钮12转动时移动的数码套筒70的有限部分。为了便于获取在剂量窗口13中显示的数码的图像，数码套筒70可以具有无光泽的表面。
标签19设置在壳体10上。标签19包括关于在注射装置内所包括的药剂的信息，包括识别药剂的信息。识别药剂的信息可以是文本的形式。识别药剂的信息也可以是颜色的形式。例如，标签19可以具有背景，或者包括阴影元素，例如具有对应于在注射装置中提供的特定类型的药剂的颜色的边框。作为替代，或者作为补充，标签可以包括存储这种信息的RFID标签或类似的装置。
任选的是，注射装置的一个以上部分，例如注射按钮11或剂量旋钮12，可以由具有与药剂对应的颜色的材料形成。任选的是，注射装置1内的胰岛素容器(未示出)的一部分可以包括指示药剂类型的颜色编码部分，并且可以通过剂量窗口13看见。识别药剂的信息作为替代或者作为补充可以被编码成条形码、QR码等。识别药剂的信息也可以是黑白图案、彩色图案或阴影的形式。
转动剂量旋钮12产生用以向用户提供声学反馈的机械咔嗒声。带数码的套筒70与胰岛素容器14中的活塞以机械方式相互作用。当针15被插入患者的皮肤部分中，然后推动注射按钮11时，在剂量窗口13中显示的胰岛素剂量将从注射装置1排出。当注射装置1的针15在按下注射按钮11之后在皮肤部分中保持一定时间时，实际上很大比例的剂量注射到了患者体内。胰岛素剂量的注射还引起机械咔嗒声，然而该咔嗒声与当使用剂量旋钮12时产生的声音不同。
注射装置1可以用于几个注射过程，直到胰岛素容器14为空或注射装置1的有效期满(例如，在第一次使用后28天)为止。
此外，在首次使用注射装置1之前，可能需要进行用以从胰岛素容器14和针15除去空气的所谓“初始注射(prime shot)”，例如通过选择2个单位的胰岛素，然后在保持注射装置1向上的同时，按压注射按钮11。为了简化陈述，在下文中，将示例性地假定排出的剂量基本上等于注射的剂量，这样，例如当提出下一次要注射的剂量的建议时，该剂量等于要由注射装置排出的剂量。然而，当然可以考虑排出剂量和注射剂量之间的差异(例如，损失)。
图1b是注射装置1的端部的特写，示出了位于观察窗口13和剂量旋钮12之间的定位肋71。
图2a是根据本发明一个实施例的数据收集装置的框图，数据收集装置可以用于从图1的注射装置1收集诸如胰岛素类型、剂量和注射定时的数据。
在图2a所示的特定示例中，数据采集装置是手机20，或“智能手机”，其配备有内置的照相机21以及包括一个以上处理器的处理装置22，处理器例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，等等。手机20还包括可以存储由处理装置22执行的软件的存储单元23、24，包括只读存储器23和随机存取存储器24。手机20还包括诸如小键盘27和麦克风28等的输入装置27、28和诸如扬声器29和显示器30等的输出装置29、30。在一些实施例中，该输入装置27、28可以包括以使用显示器31一部分或全部的触摸屏一部分的形式提供的小键盘27。手机20还包括通信总线31，通信总线31允许在照相机21、处理装置22、存储器单元23、24、通信装置25、26、输入装置27、28、31和输出装置29、30之间进行通信。
图2b是根据本发明另一实施例的数据采集装置的框图，该数据收集装置可用以从图1的注射装置1收集数据。
在图2b所示的特定示例中，数据收集装置是平板电脑32。平板电脑32配备有：内置的照相机21；处理装置22，其包括一个以上处理器，诸如微处理器、数码信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，等等；以及可以存储由处理装置22执行的软件的存储单元23、24，其包括只读存储器23和随机存取存储器24。平板电脑32还包括通信装置25、26，诸如天线25和收发器26等，用允许与手机网络、个人区域网络、本地无线网络和因特网中的一个以上进行双向通信。在该特定示例中，平板电脑32还包括用作输入装置和显示器的触摸屏33、扬声器30，任选的是还包括麦克风28。平板电脑32还包括通信总线31，其允许照相机21、处理装置22、存储单元23和24、通信装置25和26、触摸屏33、扬声器30以及麦克风28(如果有)之间的通信。
在这些特定示例中，存储在手机20或平板电脑33的存储单元23、24中的软件包括软件应用程序或者“app”，所述软件应用程序或者“app”在由处理装置22执行时，使得手机20或平板电脑33拍摄注射装置1的图像并处理该图像以获得关于注射装置1中的药剂的类型和/或所选剂量的数据。现在将参考图3至9描述根据本发明的实施例的示例性方法。
从图3步骤s3.0开始，控制照相机21以至少拍摄注射装置1的剂量窗口13的图像(步骤s3.1)。在一些实施例中，app被配置为使得处理装置22通过基于照相机21视场的“实时取景”提供关于注射装置1相对于照相机21定位的指令，而在拍摄图像之前向用户提供指导。例如，app可以被配置为引导用户将照相机21定位在照相机21可以对剂量窗口13上获得良好对焦的距离。在某些实施例中，当照相机和注射装置1之间的距离约为30cm时，可以实现这种对焦。
此外，如果药剂信息仅包括在注射装置1的另一部分中，诸如标签19中，则app可以使处理装置22通过在显示器29上提供消息和/或在扬声器30上通知，而指示数据收集装置20、33的用户包括注射装置1的该部分。
任选的是，照相机21可以由app控制，以不同曝光时间拍摄注射装置1的多个图像，然后处理装置22被构造为组合所述多个图像，以提供高动态范围(“HDR”)图像。
在该实施例中，处理装置22然后执行预处理(步骤s3.2)，以通过执行以下步骤来评估及在需要时提高图像数据质量：
·缺陷和坏像素校正
·光校正
·畸变
·抖动
例如，曝光控制算法拒绝太亮或太暗的图像，并且指示用户拍摄新的照片，使曝光参数可以得到调整。注意，预处理是任选的特征。app可被设计为执行所需的标准，而无需对图像进行预处理。
作为替代，app可以被配置为使处理装置控制曝光参数或控制附加照明来提供合适的照明，例如使用与照相机21相关联的闪光灯单元。
由于数据收集装置20、32是手持式的，注射装置1和照相机21之间的距离以及剂量窗口13和标签19(如果有)相对于照相机21的方位并不是固定的。鉴于此，处理装置22调节图像的比例，使得在剂量窗口13内显示的字符的大小在预定范围内(步骤S3.3)。
处理装置22可以通过基于注射装置1相对于照相机的方位校正在剂量窗口13中显示的字符的偏斜和/或在剂量窗口13中显示的字符的任何倾斜，来调节图像(步骤s3.4)。例如，剂量窗口13中的数码可以倾斜以便于用户的识别和定位，但是如果倾斜被移除，则可能更容易由数据收集装置20、32解码。
比例和偏斜调节可以基于对具有预定形状和/或尺寸的注射装置1的特征的分析。例如，处理装置22可以识别剂量窗口13、标签19、注射装置1上的标志(未示出)和/或图像中注射装置1的其它特征，并且基于关于这些特征的预期形状和/或尺寸的信息，调节由照相机21拍摄的图像的比例和对准，校正图像中包括的文本和数码的偏斜。
在一些实施例中，app还可以控制处理装置22以确定图像中是否包括剂量窗口13和注射装置1上包括药剂信息的特定部分，诸如标签19(步骤s3.5)。如果不包括注射装置1的那些部分，则向用户提供指示以拍摄新的图像。该确定可以基于图像中注射装置1的比例和注射装置1的一个以上部分在图像内的位置。作为替代，在拍摄图像之前基于“实时取景”对用户指导的实施例中，app可以为用户提供关于注射装置1相对于照相机21的适当定位的进一步指导，使得注射装置1的相关部分在照相机21的视场内。
另外在一些实施例(未示出)中，印制在要读取的窗口旁边的2D条形码，其包含如药物类型、有效期限、批号的药物信息。对于这些，不需要对笔体的颜色进行检测。
处理装置22然后使用app中所包含的光学字符识别(OCR)软件来尝试从图像中识别字符(步骤s3.6)，以为了确定在剂量窗口13中显示的数码或其他剂量指示(步骤s3.7)。
图4和图5描绘了剂量窗口13的一部分，示出了可能显示的数字的示例。在图4中，已经将剂量拨选到注射装置1中，使得在剂量窗口13中央显示出一个数字34，在本情况中，为指示6IU的数码6。在图5中，7IU的剂量已经拨选到注射装置1中，使得分别表示数码6和8的数字35、36都显示在剂量窗口13中，并且这些数码之间的空格占据了剂量窗口13的中心区域。在这个特定的实施例中，处理装置22被配置为执行允许图4和图5中所描述的两种情况被精确解码的算法。
OCR过程包括以下步骤：
·二值化
·分割
·模式匹配
·位置计算
在一些实施例中可以有两个并行操作的OCR算法，以增加OCR过程的可靠性。在这样的实施例中，两个OCR算法具有相同的输入(图像)，并且意图提供相同的输出。他们都执行类似的步骤，但是在每个步骤中使用的各自方法可能会有所不同。这两种OCR算法在二值化、分割、模式匹配和位置计算步骤之一中或在这些步骤的多于一个以上的步骤中可能不同。使用不同的方法提供相同结果的两个OCR部分，提高了整个算法的可靠性，因为数据用两种独立的方式进行了处理。
在OCR过程中，将从摄像机21获得的并且经上述调整的彩色或灰度图像通过二值化处理转换成纯黑白图像37，如图6所示的图像。在剂量窗口中的明亮背景上呈现黑数码的一个示例中，黑白图像将指示具有黑色像素的数字38、39的存在，以及不存在具有白色像素的数字，如图6中的示例所示。在一些实施例中，使用固定阈值来分离黑色和白色像素。在二值化图片中，值等于或高于阈值的像素变为白色，低于阈值的像素变为黑色。高阈值将导致伪影(白色区域的黑色部分)，而低阈值的风险是，在某些情况下部分数字丢失。在一些实施例中，选择阈值使得在任何情况下都不会丢失数字的部分，因为该算法对于伪像通常是鲁棒的(即，可以在存在某些伪影的情况下执行准确的OCR过程)。在使用256个灰度值分析图像的测试中，127的阈值显示出良好的结果。
在例如预处理中已经执行了光校正的情况下，使用固定阈值是可能的。光校正和固定阈值的结合类似于窗口平均二值化。窗口平均二值化将像素值与其所在区域的像素的平均值进行比较。在失真和倾斜校正步骤之前执行光校正步骤意味着更多的信息可用于OCR过程，这已被证明在图片的边缘和角上产生更好的结果。
作为替代，Otsu阈值方法可以应用于所捕捉的灰度图像以产生类似于图6所示二值化图像37的二进制图像。在一些替代实施例中，可以省略二值化，可以在所捕捉的彩色或灰度图像上执行算法的OCR部分。
然后进行分割。该部分算法的目标是确定图像中每个可见或部分可见数码的确切位置。为了实现这一点，算法通过查找数字的边缘来定义可视数字的边界。这通常以两个步骤完成，这两个步骤可以以任何顺序执行。再次参考图4和图5，处理装置22可以执行对构成二值化图像37的像素列进行分析的“竖向投影”。单独分析每个像素列，并且计算每列中的黑色像素数之和。在一些实施例中，只有具有零个黑色像素的像素列限定数码的边缘。作为替代，考虑到污垢、划痕和其它干扰，可以为黑色像素数量设置低的阈值。计算相邻列的差值，差值最大的边界表示数码的边缘。另外，可以计算重叠的列组(例如，三个相邻列)的像素内容，以帮助确定数码的横向边缘。
然后，处理装置执行对构成二值化图像37的像素行进行分析的“横向投影”。这以与上面针对竖向投影描述的方式类似的方式进行。
横向投影的预期结果被加到竖向投影的预期结果，于是，识别出可见数码的边缘。处理装置22可以用完整数码的预期高度(以像素行计)进行预编程，因此能够识别部分可见数码的存在。
在另一个实施例中，“横向投影”和“竖向投影”可以基于计算白色像素之和的分析，条件是每行和列中的白色像素的预期数量是已知的。
了解精确位置允许针对OCR过程的后续步骤仅使用图像中代表(一个以上)可见数码的部分。由此，该数码之外的其他对象，例如，污垢、划痕或其他干扰，所造成的任何影响就可以减少了。此外，在后续步骤中(例如，在图案匹配步骤中)要处理的像素的总数也减少了。这有助于降低对资源的要求。这也有助于提高性能。此外，知道确切位置还支持确定相对于图像中心的竖向位置。
OCR过程中下一步是选择要解码和识别的可见数码之一。通过将其中一个数码指定为“主数字行”来完成选择。主数字行是基于哪个可见数码具有最大高度来选择。这是因为印制在套筒70上的所有数字都具有大致相同的高度，因此可以认为高度最大的数码将完全可见，因此容易以高度确定性进行解码。在图7所示的示例中，数码“6”的高度高于上方和下方的部分可视数码，因此被选为主数字行。在图8所示的示例中，数码“6”和“8”都是完全可见的，并且具有相同的高度。在这种情况下，选择最上面的数码作为主数字行。主数字行是随后用于确定拨入注射装置1中的剂量的数码。
用于自行给送胰岛素的标准注射装置1可以注射1至80IU的任何数量的单位的药剂。因此，为了正确解码被识别为主数字行的数码，必须确定该数码是由一位数字还是两位数字组成的。因此，为了确定每个数码是由一位数字还是两位数字组成，处理装置22执行一系列步骤，在数码由两位数字组成的情况下，将数字彼此分开。处理装置22可以使用先前为此目的而计算出来的列像素信息。在图9所示的示例中，已经将9IU的药剂剂量拨选到注射装置1中。图9示出了横向和竖向投影的预期结果。数码“10”的高度比数码“8”高，因此被选为主数字行。
此后，处理装置22确定所选择的主数字行是否比预定义的“最大数字宽度”值宽。处理装置22可以用与所捕捉的图像中的数码的预期大小相关的信息进行预编程，于是，可以定义单个数字的最大预期宽度。为了提高可靠性，最大宽度可以被设置为比最宽数目多少量的像素列。如果主数字行的宽度是最大数字宽度或小于最大数字宽度，则假定该行包含单个数字。如果主数字行太宽，不可能为单个数字，则在主数字行上(而不是整个图像上)执行第二次竖向投影。此外，每个单独数字的预期宽度可以用于预测分离应发生的位置。
图9所示的示例性视场900是数码间隔很好的示意图。在其他布置中，由于可用空间有限和需要数码对用户来说可读取，在剂量窗口中显示的数码可能相当紧密地靠在一起。因此，在二值化之后，组成该数码的两个数字可能不会被干净地分离，即，在两个数字之间可能不存在没有黑色像素的列。这就是图6所示示例性二值化图像中的情况，其中上方的数字37中的“7”和“4”之间不具有不包含黑色像素的像素列。在这种情况下，再次使用每个单独数字的预期宽度预测应该进行分离的位置。如果预测列包含黑色像素，则计算该列与相邻列的偏差，以确定最佳分离位置。在这种情况下，由于不清楚所选分离列中的黑色像素属于左侧数字还是右侧数字，因此将它们忽略。这样做已被证明对OCR过程正确识别数字的可靠性影响很小。
然后执行图案匹配过程以识别主数字行中的数字。可以通过app对每个数码的模板进行预编程，然后将识别的数字与这些模板进行比较。在一种直截了当的方法中，可以逐个像素地执行图案匹配。然而，这可能要求计算能力高，并且图像和模板之间可能容易发生位置变化。在使用模板的情况下，app可以被配置为使处理装置22对图像数码执行其他类型的操作，例如通过改变一个以上数字的大小，将该数码裁剪为限定的像素区域，并且将以斜体字体印制的数码剪切成直立状态。这些操作可以在与存储的模板进行图案匹配比较之前执行。作为替代，这些操作可以在二值化处理之前的预处理中执行。还可以执行附加的阴影、失真和曝光校正。
在一些其他实施例中，执行特征识别过程。特征可以是横线、竖线或斜线、曲线、圆或闭环，等等。这些特征可以在所选数码的图像中识别出来，然后与模板进行比较。
在另外的实施例中，图案匹配算法可以基于向量比较过程。例如，模板可以是描述每条黑色像素线(连续延续)的位置和长度的向量形式。在一个示例中，位置和长度与在各线中的绝对位置有关。在另一示例中，位置和长度涉及延伸穿过模板中心的竖线。所捕捉的每个数字的二进制图像可以类似地被转换成向量，并且依次与每个存储的模板进行比较以找到最佳匹配。当将所捕捉的图像的向量与特定的数字模板进行比较时，任何偏差都导致对图像和该模板之间匹配可能性施加减分(penalty)。减分的大小可取决于与模板相比图像中丢失的或增加的黑色像素的数量。在将数字图像与每个模板都进行比较并且已经应用了所有的减分之后，做出存在哪个数字的决定。在良好的光学条件下，正确的模板将具有非常低的减分，而所有其他模板将具有很高的减分。如果主数字行由两个数字组成，则该过程在两个数字上执行，然后处理装置22可以组合结果以产生该数码的最终结果。
某些数字可能存在特殊措施。例如，“1”在宽度上明显偏离所有其他数字，导致常见的漏检。为了解决这个问题，如果一个数字的二进制图像比“1”的预期宽度宽，那么当与所存储的“1”的矢量模板进行比较时，它会接收额外的检测减分。
在一些特殊情况下，如果主数字行的图案匹配结果的置信水平低于某个阈值(例如99％)，则处理器可以对一个以上其他可见或部分可见的数码执行第二次图案匹配过程。由于数码的顺序是已知的，所以该第二次图案匹配可以用作第一次图案匹配返回正确结果的检查。
如果结果的置信水平仍然不够高，则可以向用户提供指令获取第二图像并重复步骤s3.1至s3.6。作为替代，可以显示错误消息。
一旦成功识别出主数字行中的该一个数字或该多个数字，则应用加权函数，以确定拨选到注射装置1中的剂量。为了制定加权函数，可以确定主数字行相对于剂量窗口13中心的竖向位置。这可以通过计算包括主数字行的中间像素行相对于表示图像中剂量窗口13中心线的像素行的偏移来完成。
例如，在一些实施例中，光学传感器包括矩形的64×48光敏元件阵列。所得到的二进制图像是具有这些相同尺寸的像素阵列。第24和/或第25像素行可以被指定为图像的中心行。确定包括主数字行的中间像素行的位置。然后计算包括主数字行的中间像素行与图像的(一个以上)中央行之间按像素行计的偏移。取决于偏移的方向，该偏移可以为正或负。用偏移除以连续数码之间的距离(以像素行计)，将偏移量转换为分数，之后，将偏移应用于相应确定的数码。因此，偏移允许确定该数码相对于传感器的旋转位置。如果主数字行的中心像素行与图像的中心像素行相同，则偏移为零，并且位置等于主数字行的编号。然而，在大多数情况下可能会有一些偏移。
印制在数字套筒70上的连续数码之间的距离是恒定的，因为这些数码表示与注射装置机构的离散机械运动有关的剂量。因此，所捕捉的图像中连续数码之间的距离(以像素行计)也应该是恒定的。数码的预期高度和数码之间间距的预期高度可以预编程到app中。作为一个示例，每个数码的预期高度可以是22个像素，并且数字之间间距的预期高度可以是6个像素。因此，连续数码的中心像素行之间的距离将是28个像素。
继续该示例，如果像素行从图像的顶部到底部依次编号，则加权函数的应用在数学上可以定义为：
位置＝主数字行编号+[2×偏移/(数码预期高度+间距预期高度)]
其中，偏移＝与剂量窗口中心对应的图像行编号-主位数行中央行编号
因此，如果主数字行位于图像的上半部分中，则偏移为正，如果主数字行位于图像的下半部分中，则偏移为负。例如，如果主数字列中显示的数码为“6”并且偏移为零，则计算出的位置为：
位置＝6+[2×0/(28)]＝6
因此，将按预期返回结果“6”。
在75IU被拨选到注射装置1中的另一个示例中，如果上部的数码“74”被选择为主数字行，并且根据上述方程存在11个像素行的正偏移，再次假设组合的数码/间距高度为28个像素，则计算出的位置将为：
位置＝74+[2×11/(28)]＝74.79
然后，将该结果四舍五入为最接近的整数，按照预期给出位置确定“75”。
本领域技术人员将理解，上述加权函数和位置确定仅表示一个示例，并且可以使用许多其它计算方法来获得相同的结果。本领域技术人员还将理解，可以修改和改进上述数学计算以减少计算时间。因此，加权函数的确切形式对于本发明的定义不是必需的。
在一些注射装置中，由于空间限制和需要数码达到一定的尺寸，所以在剂量窗口13中仅显示偶数。在一些其它注射装置中，可以只显示奇数。然而，可以将任意数量的药剂单元拨选到注射装置1中。在其它注射装置中，可以同时呈现偶数和奇数，并且可以将半个单位的剂量拨选到注射装置中。注射装置可以限制为80IU的最大拨选剂量。作为替代，可以仅显示每第3、第4或第5个数码，并且可以用刻度线标示这些数码之间的剂量。鉴于此，app可以包括用于控制处理装置22识别注射装置1中使用的编号顺序的指令。例如，可以提示用户经由小键盘27或触摸屏33来输入关于注射装置1的信息，或可以使用从图像获得的信息，例如从标签19上的文本或条形码获得的信息。app可以包括查找表或指示用于各种注射装置1的编号顺序的其他信息。然后，处理装置22可以基于OCR数据和针对注射装置1的适当编号顺序来确定所选择的剂量。作为替代，或作为补充，可以使用加权函数的修改形式，因为数码高度和数码间距的大小也可以被修改。
任选的是，该方法可以包括后处理，例如执行合理性检查和滞后计算。作为替代，OCR过程的结果可以在不进行后处理的情况下完成。
关于药剂类型的信息可以通过下列项中的一项以上来获得：使用OCR图像中包括标签19的那部分获得，从图像中包括标签19的那部分中提取和解释条形码获得，或者通过从图像识别注射装置1的某个部分指示药剂类型的颜色获得(步骤s3.8)。
在使用颜色检测的实施例中，注射装置1的数码套筒70可以被配置为提供基准颜色信息，以允许正确地识别图像中的一种或多种颜色。例如，印制的数字的背景可以用于提供校准图像中所示注射装置1诸部件的颜色用的白平衡等级。
从图像获得的信息然后可以被存储在数据收集装置20、32的随机存取存储器24中(步骤s3.9)，并且/或者使用通信装置25、26经诸如手机网络、个人区域网络之类的网络发送到另一装置或因特网(步骤3.10)。任选的是，也可以存储和/或传送关于图像时间戳的信息。以这种方式，可以记录和/或监测向患者给送药剂。
如上所讨论的实施例所示，提供app或类似的软件产品以获得与注射、其他医疗处理或其他设备的操作相关的信息，可以允许使用用户通常可得到且熟悉的诸如手机20或平板32的装置，更准确地和/或可靠地记录这种信息。由于上述实施例不需要制造和分配专门的装置，所以它们可能潜在地降低对治疗或操作进行记录和/或监视的成本和复杂性。
虽然针对从胰岛素注射器笔收集数据描述了上述实施例，但是应当注意，本发明的实施例可以用于其他目的，例如监测其他药剂的注射或其他医疗过程。实施例也可以用于非医疗目的，例如出于安全原因监视其他类型的设备的操作。

Claims (14)

1.一种使用数据收集装置记录药剂剂量的方法，所述方法包括：
用所述数据收集装置的照相机拍摄药剂输送装置的药剂剂量指示器的图像；
调整所述图像的比例；
针对所述药剂剂量指示器显示的一个以上字符的偏斜，调整所述图像；
确定所述图像中的所述一个以上字符中的至少一个字符的位置；
使用光学字符识别技术识别所述至少一个字符；
基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。
2.根据权利要求1所述的方法，其中，所述数据收集装置是包括所述照相机的手持式电子装置。
3.根据权利要求2所述的方法，其中，所述手持式电子装置是手机或者平板电脑。
4.根据权利要求1、2或3所述的方法，其中，所述拍摄图像包括组合由所述照相机拍摄的具有不同曝光水平的多个图像，以使所述图像具有高动态范围。
5.根据前述权利要求中任一项所述的方法，包括从所述图像获得颜色信息，并且基于所述颜色信息识别要分配的药剂的类型。
6.根据权利要求5所述的方法，其中，所述获得颜色信息包括基于在所述药剂输送装置上提供的基准颜色信息获得颜色平衡测量。
7.根据前述权利要求中任一项所述的方法，其中，所述药剂输送装置是注射器笔，包括用于选择要分配的药剂数量的可移动部件。
8.一种包括计算机可读指令的计算机程序，所述计算机可读指令在由处理器执行时导致执行根据前述权利要求中任一项所述的方法。
9.一种用于智能电话或用于平板电脑的应用程序，其中，所述应用程序包括根据权利要求8所述的计算机程序。
10.一种数据收集装置，包括：
照相机；和
处理装置，所述处理装置被构造成：
使用所述照相机拍摄药剂输送装置的药剂剂量指示器的图像；
调整所述图像的比例；
针对所述药剂剂量指示器显示的一个以上字符的偏斜，调整所述图像；
确定所述图像中所述一个以上字符中的至少一个字符的位置；
使用光学字符识别技术识别所述至少一个字符；
基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。
11.根据权利要求10所述的数据收集装置，所述数据收集装置是手持式电子装置。
12.根据权利要求11所述的数据收集装置，其中，所述手持式电子装置是手机或者平板电脑。
13.根据权利要求10至13中任一项所述的数据收集装置，其中，所述处理装置被构造成组合由所述照相机拍摄的具有不同曝光水平的多个图像，以使所述图像具有高动态范围。
14.根据权利要求14所述的数据收集装置，其中，所述处理装置被构造成识别所述药剂分配装置的至少一个部件的颜色，并且基于所述颜色确定所述药剂的类型。
CN201580056920.8A 2014-10-21 2015-10-15 使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据 Active CN107073225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14189705 2014-10-21
EP14189705.8 2014-10-21
PCT/EP2015/073858 WO2016062604A1 (en) 2014-10-21 2015-10-15 Recording dose data from drug injection devices using optical character recognition (ocr)

Publications (2)

Publication Number Publication Date
CN107073225A true CN107073225A (zh) 2017-08-18
CN107073225B CN107073225B (zh) 2020-07-24

Family

ID=51752006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056920.8A Active CN107073225B (zh) 2014-10-21 2015-10-15 使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据

Country Status (6)

Country Link
US (1) US10169536B2 (zh)
EP (2) EP3689401B1 (zh)
JP (2) JP6822950B2 (zh)
CN (1) CN107073225B (zh)
DK (1) DK3209354T3 (zh)
WO (1) WO2016062604A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3463521A1 (en) 2016-05-24 2019-04-10 Sanofi-Aventis Deutschland GmbH A supplementary device for attachment to a drug delivery device, a number sleeve for a drug delivery device, and a drug delivery device
US11623049B2 (en) 2017-03-15 2023-04-11 Novo Nordisk A/S Dose capturing assembly with secondary image analysis feature
CA3056446A1 (en) * 2017-04-20 2018-10-25 Becton, Dickinson And Company Smartphone app for dose capture and method
US11612699B2 (en) 2017-12-18 2023-03-28 Sanofi Injection device with a remote control
WO2022256432A1 (en) * 2021-06-01 2022-12-08 Reciprocal Labs Corporation Mobile application for determining and recording medication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997981A (zh) * 2010-11-01 2011-03-30 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
CN102201051A (zh) * 2010-03-25 2011-09-28 汉王科技股份有限公司 文字摘录装置、方法和系统
CN102905613A (zh) * 2010-03-22 2013-01-30 赛诺菲-安万特德国有限公司 用于确定与医疗装置相关的信息的装置和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0415774A (ja) * 1990-05-02 1992-01-21 Eastman Kodak Japan Kk バーコードリーダ
US5557091A (en) * 1994-04-15 1996-09-17 Krummel; Larry Method and system for bar code image processing
US5523552A (en) * 1994-10-19 1996-06-04 Symbol Technologies, Inc. Method and apparatus to scan randomly oriented two-dimensional bar code symbols
JPH1110982A (ja) * 1997-06-24 1999-01-19 Matsushita Electric Ind Co Ltd 発券装置
JPH11155808A (ja) * 1997-11-27 1999-06-15 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000228745A (ja) * 1999-02-05 2000-08-15 Matsushita Electric Ind Co Ltd 映像信号処理装置および映像信号処理方法、画像処理装置および画像処理方法、ならびに撮像装置
US20040069044A1 (en) 1999-04-29 2004-04-15 Gilad Lavi Device for measuring a volume of drug
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
WO2003099357A1 (en) 2002-05-24 2003-12-04 Eli Lilly And Company Medication injecting apparatus with fluid container piston-engaging drive member having internal hollow for accommodating drive member shifting mechanism
ES2279409T3 (es) 2003-05-30 2007-08-16 Eli Lilly And Company Aparato de dispensacion de medicacion de multiples camaras.
EP1732628B1 (en) 2004-03-30 2011-09-28 Eli Lilly & Company Medication dispensing apparatus with gear set having drive member accommodating opening
US8320708B2 (en) 2004-04-02 2012-11-27 K-Nfb Reading Technology, Inc. Tilt adjustment for optical character recognition in portable reading machine
US7946493B2 (en) * 2007-09-27 2011-05-24 Hand Held Products, Inc. Wireless bar code transaction device
EP2060289A1 (en) * 2007-11-13 2009-05-20 F.Hoffmann-La Roche Ag Administration device comprising indication unit and method for setting a dose
US8340428B2 (en) * 2008-04-02 2012-12-25 Xerox Corporation Unsupervised writer style adaptation for handwritten word spotting
US9089650B2 (en) 2008-10-01 2015-07-28 Novo Nordisk A/S Medical assembly with monitoring device
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8774558B2 (en) * 2010-11-29 2014-07-08 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
JP2013544158A (ja) 2010-11-29 2013-12-12 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 自動−注射器送達デバイスと共に使用するための薬用モジュール
EP3871713A1 (en) * 2011-03-24 2021-09-01 Sanofi-Aventis Deutschland GmbH Device and method for detecting an actuation action performable with a medical device
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
EP2760508A1 (en) * 2011-09-27 2014-08-06 Novo Nordisk A/S Medical system configured to collect and transfer data
CN108355204A (zh) 2012-02-13 2018-08-03 赛诺菲-安万特德国有限公司 笔式注射装置及其电子夹式模块
US8681268B2 (en) 2012-05-24 2014-03-25 Abisee, Inc. Vision assistive devices and user interfaces
US9093072B2 (en) * 2012-07-20 2015-07-28 Microsoft Technology Licensing, Llc Speech and gesture recognition enhancement
KR102022444B1 (ko) 2013-02-21 2019-09-18 삼성전자주식회사 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
WO2016049066A1 (en) 2014-09-23 2016-03-31 Oscillari Llc Vibration sensor based drug delivery monitor
US20160166766A1 (en) 2013-07-12 2016-06-16 Oscillari Llc Acoustic based drug delivery monitor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905613A (zh) * 2010-03-22 2013-01-30 赛诺菲-安万特德国有限公司 用于确定与医疗装置相关的信息的装置和方法
CN102201051A (zh) * 2010-03-25 2011-09-28 汉王科技股份有限公司 文字摘录装置、方法和系统
CN101997981A (zh) * 2010-11-01 2011-03-30 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机

Also Published As

Publication number Publication date
CN107073225B (zh) 2020-07-24
US10169536B2 (en) 2019-01-01
JP7042934B2 (ja) 2022-03-28
JP2017533017A (ja) 2017-11-09
EP3689401A1 (en) 2020-08-05
EP3209354B1 (en) 2020-04-08
JP6822950B2 (ja) 2021-01-27
DK3209354T3 (da) 2020-07-06
JP2021058688A (ja) 2021-04-15
US20170316158A1 (en) 2017-11-02
EP3689401B1 (en) 2024-02-28
WO2016062604A1 (en) 2016-04-28
EP3209354A1 (en) 2017-08-30

Similar Documents

Publication Publication Date Title
CN107073226A (zh) 使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据
CN107106779B (zh) 药剂剂量确定
JP6806937B2 (ja) 光学式文字認識（ｏｃｒ）を用いて使用者が設定した用量値を記録および表示するために注射デバイスに取り付けるための補助デバイス
US10503994B2 (en) Device and method for performing optical character recognition
CN107077530A (zh) 药剂剂量数据采集
CN107073225A (zh) 使用光学字符识别技术(ocr)记录来自药剂注射装置的剂量数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant