CN110781709A - 经由药物包装及/或标签以分类及辨识该药物的方法及系统 - Google Patents

经由药物包装及/或标签以分类及辨识该药物的方法及系统 Download PDF

Info

Publication number
CN110781709A
CN110781709A CN201811094999.5A CN201811094999A CN110781709A CN 110781709 A CN110781709 A CN 110781709A CN 201811094999 A CN201811094999 A CN 201811094999A CN 110781709 A CN110781709 A CN 110781709A
Authority
CN
China
Prior art keywords
image
images
processed
computer
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811094999.5A
Other languages
English (en)
Inventor
钟圣伦
陈智芳
王靖煊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chen Chih Fang
Original Assignee
Chen Chih Fang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chen Chih Fang filed Critical Chen Chih Fang
Publication of CN110781709A publication Critical patent/CN110781709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
    • A61J1/03—Containers specially adapted for medical or pharmaceutical purposes for pills or tablets
    • A61J1/035—Blister-type containers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

本发明关于一种改良的药物管理系统以及该系统实现的方法，用以经由一药物包装及/或标签来识别及分类该药物。该方法包含以下步骤：(a)接受药物包装的复数个原始影像；(b)规整该复数个原始影像中的两张以产生一合并影像，其中该两张原始影像彼此不同；(c)处理该合并影像以产生一参考影像；以及(d)借助该参考影像建立药物数据库。所述系统包含一影像采集装置、一影像处理器以及一机器学习处理器。影像处理器编程指令以执行用以产生合并影像的方法。

Description

经由药物包装及/或标签以分类及辨识该药物的方法及系统
技术领域
本发明内容是关于药物管理系统领域，特别是有关于一种可经由药 物的标签及/或包装来分类及识别该药物的方法及系统。
背景技术
医疗用品及药学产品的高效储存及管理系统及/或方法，对于医院系 统的顺利运行以及提供优质病患照护来说是重要的先决条件。在此情况 下，处方配药的准确性对所有医疗机构都至关重要。虽然全自动配药柜 (automated dispensing cabinets，ADCs)被引入医疗院所已有20年的历史， 但仍存在药事上的疏失。由于全自动配药柜的给药在很大程度上仍仰赖 临床人员对于标准流程的精确遵守，因此不太可能完全排除最终的人为 错误。举例来说，药房可能将错误的药品存放在给定的药柜，或是临床 人员可能从邻近的药柜上拿到“长得像”的药品。因此，以人眼经由药物 外观识别该药物是相当不可靠的，遑论可否适用到药物管理系统中。
深度学习(deep learning)是基于多级别学习数据表示(representation) 的更广泛机器学习方法系列的一部分，这些方法是透过组合简单但非线 性的模块(module)所获得，每个模块将一个级别的表示转换为更高、更 稍微抽象的级别来表示。通过这些转换足够的组合，可以学习较为复杂 的功能(例如分类任务)。因此，深度学习对于解决存在于人工智能社群 多年的问题上取得重大的进展，同时可应用至许多技术领域。针对药学 管理系统，深度学习在识别物体外观的优异表现应可为目前药物分配技 术的缺点带来解决之道。然而，考虑到涉及某些外观相似的药物包装的 种类繁多，仅执行深度学习是无法产生期望的结果。
鉴于上述，现有技术有必要提供一种用于药物管理(例如，经由药物 的标签及/或包装来分类和识别该药物)的改善方法及系统。
发明内容
为了给读者提供基本的理解，以下提供本发明内容的简要发明内 容。此发明内容不是本发明内容的广泛概述，同时非用来识别本发明的 关键/必需组件或勾勒本发明的范围。其唯一目的是以简化的概念形式呈 现本发明内容的一些概念，以作为呈现于后文中更详细描述的序言。
如本文所体现和广泛描述的，本发明内容的目的是提供一种改善的 药品管理系统以及透过该系统识别临床药物的实施方法，通过该方法可 大幅改善配药的效率及精确性。
本发明内容的一方面是关于一种用以建立一药物数据库的计算机 实施方法。在某些实施方式中，该方法包含：(a)接受一药物包装的复 数个原始影像；(b)规整(juxtapose)该复数个原始影像中的两张，以产生 一合并影像，其中该两张原始影像彼此相异；(c)处理该合并影像以产 生一参考影像；以及(d)借助于该参考影像以建立该药物数据库。
在某些非必要实施方式中，前述方法更包含在步骤(a)之前同时采集 该药物包装的该复数个原始影像。
根据本发明内容的某些实施方式，该药物是一泡型包装(blister package)的形式。
根据本发明内容的某些实施方式，步骤(b)包含：(b-1)分别处理该 复数个原始影像，以产生复数个分别具有经定义轮廓的第一处理影像； (b-2)识别该复数个第一处理影像的各经定义轮廓的角点，以确定其坐 标；(b-3)基于步骤(b-2)确定的该坐标，旋转步骤(b-1)的各该第一处理 影像，以产生复数个第二处理影像；以及(b-4)结合该复数个第二处理 影像中的任两张，以产生步骤(b)的该合并影像。
根据本发明内容的某些实施方式，步骤(b-1)的各该复数个原始影像 分别受到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边 缘识别处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
根据本发明内容的某些实施方式，可以任何顺序独立地执行前述(i) 至(v)各处理；且在前述(i)至(v)各处理中，可使用步骤(b-1)的原始影像， 或是使用经当前处理以外的其它经(i)至(v)任一处理的影像。
在本发明内容的某些实施方式中，是以一直线转换算法或一质心算 法来执行步骤(b-2)。
较佳的是前述合并影像具有该药物泡型包装的双面影像。
根据本发明内容的某些实施方式，以一机器学习算法来执行步骤 (c)。
本发明内容的另一方面是关于一种用以经由一药物泡型包装来识 别该药物的计算机实施方法。所述方法包含：(a)同时取得该药物泡型包 装的正面与反面影像；(b)规整步骤(a)的该正面与反面影像以产生一候 选影像；(c)比对该候选影像与前述方法所建立的一药物数据库的一参 考影像；以及(d)输出步骤(c)的结果。
根据本发明内容的某些实施方式，步骤(b)包含：(b-1)分别处理该正 面与反面影像，以产生两张分别具有经定义轮廓的第一处理影像；(b-2) 识别该两张第一处理影像的各经定义轮廓的角点，以确定其坐标；(b-3) 基于步骤(b-2)确定的该坐标，旋转步骤(b-1)的各该两张第一处理影像， 以产生两张第二处理影像；以及(b-4)结合该两张第二处理影像，以产 生步骤(b)的该合并影像。
根据本发明内容的某些实施方式，步骤(b-1)的该正面与反面影像分 别受到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边缘 识别处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
在某些实施方式中，可以任何顺序独立地执行前述(i)至(v)各处理； 且在前述(i)至(v)各处理，可使用步骤(b-1)的正面及反面影像或是使用经 当前处理以外的其它经(i)至(v)任一处理的影像。
在某些非必要实施方式中，是以一直线转换算法或一质心算法来执 行步骤(b-2)。
在某些非必要实施方式中，是以一机器学习算法来执行步骤(d)。
在某些非必要实施方式中，所述方法更包含在步骤(c)之前传送该候 选影像至该药物数据库内。
本发明内容的另一方面是关于一种药物管理系统，其包含一影像采 集装置、一影像处理器以及一机器学习处理器，设以实现前述方法。
具体而言，该影像采集装置是设以采集一药物包装的复数个影像。 所述影像处理器经指令编程以执行用于产生一候选影像的方法，所述方 法包含：(1)分别处理该药物包装的该复数个影像，以产生复数个分别具 有经定义轮廓的第一处理影像；(2)识别该复数个第一处理影像的各经 定义轮廓的角点，以确定其坐标；(3)基于步骤(2)确定的该坐标，旋转 步骤(1)的各该第一处理影像，以产生复数个第二处理影像；以及(4)规 整步骤(3)的该复数个第二处理影像中的两张，以产生该候选影像，其中 该两张第二处理影像彼此相异。再者，所述机器学习处理器是经指令编 程执行一方法，该方法是用于比对候选影像与前述药物数据库的一参考 影像。随后可将通过机器学习处理器产生的结果输出以通知正在配药的 操作员。
在本发明内容的某些实施方式中，影像采集装置包含一透明板体， 药物放置在该透明板体上，且二影像采集单元分别设置于该透明板体各 侧的上方。
在本发明内容的某些实施方式，步骤(1)的各该复数个影像是分别受 到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边缘识别 处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
在某些实施方式中，可以任何顺序独立地执行前述(i)至(v)各处理； 且在前述(i)至(v)各处理中，可使用步骤(1)的该复数个影像或是使用经当 前处理之外的其它经(i)至(v)任一处理的影像。
额外地或替代性地，可通过一直线转换算法或一质心算法来执行所 述步骤(2)。
在某些非必要实施方式中，是通过一机器学习算法来执行所述用于 比对该候选影像与前述药物数据库的参考影像的方法。
经由以上配置，用于分类及识别的药物管理方法及系统可以实时的 方式进行，通过该方法在配药过程中，不论药物的方位为何，均可缩短 整体影像辨识的处理时间。
此外，可提升经由药物外观及/或泡型包装来识别药物的准确度，并 可降低配药过程中人为的错误。因此，可改善药物使用的安全性。
在参阅下文实施方式后，本领域技术人员当可轻易了解本发明的基 本精神及其它发明目的，以及本发明所采用的技术手段与实施方式。
附图说明
为让本发明的上述与其它目的、特征、优点与实施例能更明显易懂， 所附图式的说明如下。
图1是根据本发明内容实施方式的方法100绘示的流程图；
图2是根据本发明内容实施方式的方法200绘示的流程图；
图3绘示本发明内容一实施方式的药物管理系统300；
图4绘示本发明内容的一实例，以例示如何透过质心算法定义包装 的角点。
附图标记：
方法100、200、系统300、影像采集装置310、透明板体3101、影像 采集单元3102、影像处理器320、机器学习处理器330、药物数据库3301、 步骤S110-S140、S210-S250。
根据惯常的作业方式，图中各种组件与特征并未依比例绘制，其绘 制方式是为了以最佳的方式呈现本发明相关的具体特征与组件。此外， 在不同的图式间，以相同或相似的组件符号来指称相似的组件/部件。
具体实施方式
为了使本发明内容的叙述更加详尽与完备，下文针对了本发明的实 施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明 具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及 用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用 其它具体实施例来达成相同或均等的功能与步骤顺序。
I.定义
为了便于说明，此处统一地说明本说明书、实施例以及后附的权利 要求书中所记载的特定术语。除非本说明书另有定义，此处所用的科学 与技术词汇的含义与本领域技术人员所理解与惯用的意义相同。此外， 在不和上下文冲突的情形下，本说明书所用的单数名词涵盖该名词的复 数型；而所用的复数名词时亦涵盖该名词的单数型。具体而言，除非上 下文另有明确说明，本文和后附的权利要求书所使用的单数形式“一”(a 及an)包含复数形式。此外，在本说明书与权利要求书中，“至少一”(at least one)与“一或更多”(oneor more)等表述方式的意义相同，两者都代表包含 了一、二、三或更多。
虽然用以界定本发明较广范围的数值范围与参数皆是约略的数值， 此处已尽可能精确地呈现具体实施例中的相关数值。然而，任何数值本 质上不可避免地含有因个别测试方法所致的标准偏差。在此处， “约”(about)通常是指实际数值在一特定数值或范围的正负10％、5％、1％ 或0.5％之内。或者是，“约”一词代表实际数值落在平均值的可接受标准 误差之内，视本领域技术人员的考虑而定。除了实验例之外，或除非另 有明确的说明，当可理解此处所用的所有范围、数量、数值与百分比(例 如用以描述材料用量、时间长短、温度、操作条件、数量比例及其它相 似者)均经过“约”的修饰。因此，除非有相反的说明，本说明书与附随 权利要求书所公开的数值参数皆为约略的数值，且可视需求而更动。至 少应将这些数值参数理解为所指出的有效位数与套用一般进位法所得 到的数值。在此处，将数值范围表示成由一端点至另一端点或介于二端 点之间；除非另有说明，此处所述的数值范围皆包含端点。
本文使用的“泡型包装”(blister pack或blister package)一词涵盖产品 被包含在片体材料之间的任何类型的分层包装；其中这些片体材料可通 过本领域技术人员熟知的方法黏合或封装，举例来说，这些片体可通过 热及/或压力活化胶加以黏合。可从市售获得这些可做为单独片体(用于 手工包装)或作为卷料上连续卷片(用于机器包装)的片体材料。泡型包装 的主要结构是由可成形网(通常是热塑性塑料)制成的空腔或袋体。空腔或袋体足够大以容纳在泡型包装中的物品。根据应用，泡型包装可具有 热塑性材料的背衬。对于制药领域，泡型包装常用作药片的单剂量包装， 且包含印刷在该泡型包装背面的药物信息。此外，这些片体有各种厚度 可以选择。
II.本发明实施方式
对病患照护来说最重要的事情是药物使用的安全性。正确填写处方 药和配药对病患照护至关重要。由于习知的自动配药系统(例如ADCs) 仍有改进的余地，本发明旨在提供一种改善的诱导式深度学习方法，通 过该方法解决前述问题。此外，本发明亦旨在发展一种自动药物验证 (automatic medication verification，AMV)设备，采用实时操作系统，通 过该设备减低临床人员的工作负荷。
具体来说，所谓诱导式的深度学习是指将特征或影像输入算法之 前，处理或醒目化这些特征或影像的方法，通过该方法以更强调的方式 学习这些特征信息。为了更好地划分所识别的目标并曝光固有的描述性 特征，一般是通过各种影像处理步骤以达成特征处理，这些步骤将泡型 包装外观的两面剪裁影像整合至一固定尺寸的模板中，从而利于后续学 习网络的分类过程。
1.建立药物数据库的方法
配合图1，本发明内容的第一方面是关于一种用于在计算机可读取 储存媒体中建立药物数据库的方法。
如图1所示，其根据本发明内容一实施方式绘示以计算机实施的方 法100的流程图。所述方法包含至少以下步骤：
(S110)接受一药物包装的复数个原始影像；
(S120)规整所述复数个原始影像中的两张以产生一合并影像，其中 该两张原始影像彼此相异；
(S130)处理前述合并影像以产生一参考影像；以及
(S140)借助于该参考影像以建立所述药物数据库。
在实施方法100之前，可通过任何已知的方式(例如一影像采集装置， 例如摄像机)采集一药物包装(例如泡型包装)的复数个原始影像。接着， 在本发明方法的步骤S110中，经采集的影像被自动地转发到其嵌有用于 执行本发明方法100的指令的装置及/或系统。在之后的步骤S120，透过 前述装置及/或系统接收的复数个原始影像的两张可彼此规整，以产生一 合并影像。值得注意的是两个经规整的原始影像彼此相异。在一例示性 实施方式中，该药物是以泡型包装的包装形式；因此，以影像采集装置 取得的复数个原始影像会包含该泡型包装的两个面。也就是，分别显示 泡型包装的正面及反面的两张影像会彼此规整以产生一合并影像。为了 增进后续机器学习程序对外观辨识的精确度，对该原始影像进行处理及 醒目化该原始影像，通过该方法给出具有预定特征(例如固定在预定的像 素尺寸等)的一干净影像。在干净影像中，非主体(即，泡型包装及/或卷 标的影像)的背景部分均全部被移除。
在步骤S130中，前述合并影像用以训练嵌入计算器(例如处理器)的 一机器学习算法，以产生参考影像。可重复步骤S110至S130多次，每次 使用的药物包装与之前使用的不同。最后，借助于参考影像可建立一药 物数据库(步骤S140)。
回到步骤S120，通常包含以下步骤：
(S121)分别处理复数个原始影像，以产生分别具有经定义轮廓的复 数个第一处理影像；
(S122)识别该复数个第一处理影像的各经定义轮廓的角点，以确定 其坐标；
(S123)基于步骤S122经确定的该坐标，旋转步骤S121的各该第一处 理影像，以产生复数个第二处理影像；以及
(S124)结合该复数个第二处理影像的任两张，以产生步骤S120的合 并影像。
步骤S121是利用一影像处理器分别处理所述复数个原始影像，最终 产生分别具有明确定义的轮廓的复数个第一处理影像。影像处理器执行 数种算法，以消除影像的背景噪声并提取目标特征。具体来说，步骤S121 的每一复数个原始影像分别接受以下的处理：(i)一灰阶转换处理、(ii) 一噪声滤除处理、(iii)一边缘识别处理、(iv)一凸包运算处理以及(v)一寻 找轮廓处理。须注意的是，可独立地以任何顺序执行前述(i)至(v)各处理。
具体来说，(i)使用色彩转换算法执行灰阶转换处理，以将BGR色彩 (彩色)转换成灰阶(S1211)；(ii)使用过滤器算法执行噪声滤除处理，以将 背景噪声减至最少(S1212)；(iii)使用边缘识别算法执行边缘识别处理， 以测定影像中泡型包装的各边缘的坐标(S1213)；(iv)使用凸包运算算法 执行凸包运算处理，以计算影像中药物泡型包装的实际面积(S1214)；以 及(v)使用轮廓定义算法执行所述寻找轮廓处理，以提取及醒目化泡型包装的主要区域(S1215)。
根据本发明内容的某些实施方式，步骤S121的原始影像接受前述(i) 至(v)所有处理之后才续行步骤S122。如同前述，可以任何顺序独立地执 行这些处理，因此除了步骤S121形成的原始影像之外，接受任一处理之 后的影像可以是下一个处理的原始影像。举例来说，步骤S121的原始影 像先经受(i)处理或步骤S1211，在此步骤中，原始影像的BGR色彩被转 换成灰阶，以产生一灰阶影像。接着以(ii)至(v)任一处理，对从(i)处理得 来的灰阶影像进行处理，直到成功地对该影像施用(i)至(v)的所有处理， 通过该方法产生具有经定义轮廓的第一处理影像。
或者是，或非必要地，步骤S121的原始影像是先经受(iv)处理或步 骤S1214。在此步骤中则是执行一凸包运算算法。凸包运算算法是用来 在平面或其它低维度找到有限点集合(set of points)的凸包。本发明内容 则是透过计算影像中药物泡型包装的实际面积来定义凸包。从(iv)处理或 步骤S1214获得的影像可接着经受(i)、(ii)、(iii)或(v)的任一处理，直到(i) 至(v)所有处理均被成功地施用在该影像上，接着产生具有经定义轮廓的第一处理影像。
应当理解的是，前述记载的(i)至(v)处理或是步骤S1211至S1215可依 序、随机及/或重复地执行(例如可重复一次或多次(iii)处理)；较佳地，是 以(i)至(v)的顺序或是从步骤S1211至S1215的顺序执行。
通过执行前述步骤S1211至S1215，从复数个原始影像产生各具有经 定义轮廓的复数个第一处理影像，其中原始影像的背景噪声被消除，且 该泡型包装的主要部分被提取并醒目化，以利后续影像处理程序。
续行步骤S122，该步骤定义出每一张第一处理影像的角点(图1)。不 论泡型包装的轮廓形状为何，此步骤可确定每一张第一处理影像的至少 一角点的坐标。较佳地，确定从步骤S121获取的每一张第一处理影像的 四个角点坐标。此步骤的目标在于从泡型包装的轮廓边缘预测出至少三 条直线，接着透过几何学推理方式以获得最贴近泡型包装边缘的四边形 以及各角点坐标。由于泡型包装可能具有多种形状及/或轮廓，因此，可 采用不同算法来从药物包装的第一处理影像中识别角点。举例来说，若 第一处理影像中的药物包装的轮廓形状是常规四边形(如：矩形)，则可 采用直线转换算法来识别四个角点。另一方面，若第一处理影像中药物 包装的轮廓形状是非常规四边形，像是具有三个直线边缘及一个曲线边 缘的非典型多边形，那么则采用质心算法来进行角点识别。透过前述设 计，不论药物包装的方向及形状为何，均能确定每个角点的坐标。
于步骤S122识别每一处理影像的角点不仅是为了建立后续旋转步 骤(S123)及合并步骤(S124)的定锚点，同时也是为了确保整个药物包装被 包含在第一处理影像中以便后续分析。值得注意的是，前述泡型包装影 像经测定的四个角点必须以顺时针或逆时针方式排列，据此可基于该四 个角点的确定坐标将第一处理影像旋转至一预定的位置(S123)。预定的 位置可随着实际实施需求变化。在某些实施例中，预定位置是指泡型包 装的短边与长边分别与笛卡儿坐标系统的X轴及Y轴平行的位置。泡型包 装较佳的定向方式是仅需旋转一次影像就可使其短边与长边分别与笛 卡儿坐标系统的X轴及Y轴平行。实际施用时，可使用多种透视转换算法 旋转第一处理影像，其设有预定像素尺寸(例如448×224像素)，以产生 有预定位置的第二处理(经旋转)影像。
接着，在步骤S124，可将药物的任两张第二处理影像并排放置(或是 彼此规整)以产生一合并影像。应注意的是从此步骤获得的合并影像可包 含各种组合，这有利于尽可能地建立药物数据库数据。两张第二处理影 像可以是泡型包装的两相反面(无论正立或倒立)。较佳地，相同方向且 分别呈现药物泡型包装两面的两张第二处理影像彼此规整，以产生包含 该药物包装最多特征信息的合并影像。
为了建立药物数据库，在步骤S130及S140中将合并影像用于训练嵌 入计算器的机器学习算法，以产生参考影像。包含药物信息的合并影像 是以储存在药物数据库的参考影像来分类，且之后可提取用于识别候选 包装。在某些实施方式中，将至少一合并影像输入至机器学习算法中。 在例示性实施方式，可将超过10至20,000张的合并影像，例如10、100、 200、300、400、500、1000、1,100、1,200、1,300、1,400、1,500、2,000、 2,500、3,000、3,500、4,000、4,500、5,000、5,500、10,000、11,000、12,000、 13,000、14,000、15,000、16,000、17,000、18,000、19,000及20,000张合 并影像输入至机器学习算法，以建立药物数据库。每张影像可用于训练 机器学习系统以将该影像信息转换成参考信息，接着可将该参考信息储 存在装置及/或系统内建的数据库中。
须注意的是，适用于本发明内容的机器学习程序系统可以是任何本 技术领域公知的视觉对象侦测模型，根据实际需要在某些准则下优化或 不优化，这些模型包含但不限于：可变型组件模型(formable parts model， DPM)、区域卷积神经网络(regionconvolutional neural network，R-CNN)、 快速区域卷积神经网络(Fast R-CNN)、高速区域卷积神经网络(Faster R-CNN)、屏蔽区域卷积神经网络(mask R-CNN)以及YOLO。较佳地，对 适用于训练本发明内容的学习步骤的视觉对象侦测模型进行优化，至少 对参数(像是输入的影像像素、定界框(bounding box)及锚框(anchor box) 的数目和尺寸)进行优化。根据本发明内容，经前述步骤处理且后续输入 至学习系统的合并影像应为符合预定尺寸(例如固定像素)的“满版影 像”(full bleed image)。因此，锚框的数目及尺寸可被最小化(例如最小化 至仅有一个锚框)，以增进计算速度与效能。换言之，通过上述将两张影 像规整成一张的步骤，即使是处理大规模药物包装的大量数据时，机器 学习系统也能顺畅快速地运行。更甚者，可缩短整体处理时间，这大幅 地增进建立药物数据库的效能。
通过执行前述步骤S130及S140，当实施药物数据库时，可输出每个 不同药物的训练结果作为分类模型。
2.识别药物的方法
配合图2，本发明内容的第二方面是关于一种经由药物包装(例如泡 型包装)来识别该药物的方法。
参阅图2，其根据本发明内容的实施方式绘示方法200的流程图。方 法200包含以下步骤：
(S210)同时取得该药物泡型包装的正面与反面影像；
(S220)将步骤S210的该正面与反面影像规整以产生一候选影像；
(S230)非必要地，传送该候选影像至药物数据库内；
(S240)比对该候选影像与如前段所述的方法所建立的药物数据库 的一参考影像；以及
(S250)输出步骤S240的结果。
较佳地，可透过嵌有用于执行本发明的步骤的指令以及一药物数据 库的非暂时处理器可读取储存媒体来执行本发明方法200。药物数据库 可以是原本储存或内建的药物数据库，也可以是通过前述方法100所建 立的药物数据库。
在影像接受步骤(S210)中，同时采集一药物的两张原始影像。两张 原始影像较佳分别是该药物泡型包装的每一面(即，正面及反面影像)可 通过任何已知的方式取得原始影像，较佳是透过至少一影像采集装置(例 如摄像机)来取得。在一例示性实施方式中，通过分别设置在药物两侧(例 如药物的正面和反面)的两个影像采集装置同时采集泡型包装的两张原 始影像；因此，两张原始影像会涵盖泡型包装双面的药物信息。为了改 善后续机器学习程序辨识外观的精确度，接着将步骤S210获得的两张原 始影像彼此规整，以产生一候选影像(步骤S220)。与前述方法100相似， 目标是产生一具有预定特征(例如：并排摆放正面与背面影像、具有预定 像素大小......等等)，且不含主体以外的信息(即，仅含泡型包装及/或卷标 的影像)的干净影像。
接着将步骤S220产生的候选影像与药物数据库储存的参考影像进 行比对(S240)，并将结果输出给一使用者(S250)。可透过与执行步骤 S210、S240及S250相同或不同的计算装置执行步骤S220。根据本发明内 容的，步骤S220是在一计算装置上执行，该计算装置不同于执行步骤 S210、S240及S250的计算装置。据此，可选择执行步骤S230，此步骤是 将步骤S220中经处理的影像或候选影像传送到执行步骤S240及S250的 计算装置。
回到步骤S220，其与方法100的步骤S120相似，通常包含以下步骤：
(S221)处理正面与反面影像，以产生分别具有经定义轮廓的两张第 一处理影像；
(S222)识别该两张第一处理影像的各经定义轮廓的角点，以确定其 坐标；
(S223)基于步骤S222经确定的这些坐标旋转步骤S221的各该两张 第一处理影像，以产生两张第二处理影像；以及
(S224)结合步骤S223的该两张第二处理影像，以产生该步骤候选影 像。
在步骤S221中，通过影像处理器分别处理正面及背面影像，以产生 两张第一处理影像，其中各经处理影像具有明确定义的轮廓。为了达成 此目的，步骤S221的正面及反面影像分别接受以下处理：(i)一灰阶转换 处理、(ii)一噪声滤除处理、(iii)一边缘识别处理、(iv)一凸包运算处理 以及(v)一寻找轮廓处理。需注意的是可独立地以任何顺序执行(i)至(v) 的处理。实际操作时，可使用多种已知的算法以消除两张原始影像的背 景噪声并从这些影像提取目标特征。
具体来说，(i)使用色彩转换算法执行灰阶转换处理(S2211)；(ii)使用 过滤器算法执行噪声滤除处理，以尽可能减少背景噪声(S2212)；(iii)使 用边缘识别算法执行边缘识别处理，以测定影像中泡型包装的各边缘的 坐标(S2213)；(iv)使用凸包运算算法执行凸包运算处理，以计算影像中 药物泡型包装的实际面积(S2214)；以及(v)使用轮廓定义算法执行所述寻 找轮廓处理，以提取及醒目化泡型包装的主要区域(S1215)。
实际施用是步骤S221的原始影像接受前述(i)至(v)所有处理之后才 续行步骤S222。如同前述，可以任何顺序执行这些处理，因此步骤S121 获得的原始影像或是接受任一处理之后的影像均可用于下一个处理。举 例来说，S221的原始影像先经受(i)处理或步骤S2211，其中原始影像的BGR色彩被转换成灰阶，以产生一灰阶影像。接着以(ii)至(v)任一处理， 对从(i)处理得来的灰阶影像进行处理，直到成功地对该影像施用所有(i) 至(v)处理，通过该方法产生具有经定义轮廓的第一处理影像。
或者是，或非必要地，步骤S221的原始影像是先经受(iv)处理或步 骤S1214。在此步骤中则是执行一凸包运算算法。凸包运算算法是用来 在平面或其它低维度找到有限点集合(set of points)的凸包。本发明内容 则是透过计算影像中药物泡型包装的实际面积来定义凸包。从(iv)处理或 步骤S2214获得的影像可接着经受(i)、(ii)、(iii)或(v)的任一处理，直到(i) 至(v)所有处理均被成功地施用在该影像上，接着产生具有经定义轮廓的第一处理影像。
在一较佳实施方式中，是依照步骤S2211至步骤S2215的顺序进行 处理。步骤S2211至S2215使用的策略及算法与前述步骤S121描述的雷 同，因此为了精简在此不再赘述。
应当注意的是，可由本技术领域习知的任何替代算法执行步骤 S2212至S2215的每个步骤，只要该算法可达成与前述相同的结果即可。
通过执行步骤S2211至S2215，从两张原始影像(即从一药物的泡型包 装取得的正面与反面影像)产生各具有经定义轮廓的两张第一处理影像， 其中原始影像的背景噪声被消除，且该泡型包装的主要部分被提取并醒 目化以利后续影像处理程序。
接着继续执行步骤S222至S224，这些步骤的目的与步骤S122-S124 所述的相同。步骤S222测定泡型包装的至少三条直线，接着透过几何学 推理方式以获得最贴近泡型包装边缘的四边形以及其各角点坐标。一旦 识别角点的步骤S222完成之后，可基于经确定的坐标执行步骤S223以产 生两张经处理、醒目化并具有固定特征模板的影像。在步骤S224，可将 该两张第二处理影像并排规整并合并成一张影像，通过该方法产生含有 药物两面包装的信息的候选影像。步骤S220利用的策略与方法100中所 使用的策略相同，在此不再赘述。
接着在步骤S240将合并影像或候选影像与药物数据库储存的参考 影像进行比对，通过该方法以确定该药物的身分识别。在某些实施方式 中，药物数据库可存在与具有用于执行步骤S220的指令相同或不同的计 算装置或其它处理器可读取储存媒体中。根据本发明内容非必要实施方 式，候选影像可在嵌有用于执行步骤S220的指令的第一处理单元产生， 接着可将该经处理的影像传送到位在第二处理单元的药物数据库(例如 通过前述方法100建立的药物数据库)中。在嵌入储存媒体的机器学习指 令下执行步骤S240，以比对候选影像与药物数据库中的参考影像，并将 结果(不论有无匹配)输出至一使用者。若比对结果指明候选影像与药物 数据库中的一特定参考影像匹配或是具有高相似度，则输出与该特定参 考影像对应的药物信息。若比对结果无法产生候选影像与数据库所有参 考影像之间的匹配结果，则输出“无匹配结果”的概念性表示。
如同前述，机器学习算法的目的在于改善药物的视觉辨识。在某些 实施方式中，例示性算法可以是在任何习知的视觉对象侦测模型下执行 的深度学习算法，其根据实际需求有或没有以某些准则进行优化。在一 例示性实施方式，是在优化的侦测模型下执行深度学习。在另一例示性 实施方式中，以本发明方法处理的候选影像应为具有预定像素尺寸(例如 448×224像素)的“满版影像”；因此，可以将机器学习的操作参数设在最 小数值，通过该方法增进计算速度与效能。
需注意的是，通过将两张处理影像规整成一张的“合并影像”，当处 理大规模药物包装的大量数据时，本发明内容的机器学习系统及/或方法 也能顺畅快速地运行。换言之，经处理及醒目化的影像实际上增加计算 效能与准确度。通过上述技术特征，本发明内容目的在于透过药物泡型 包装识别该药物的方法200，可于配药过程增进药物识别的准确度并消 除人为疏失，通过该方法改善药物使用安全及病患照护的质量。
本文所述的标的可以使用储存有处理器可读取指令的非暂时、有形 的处理器可读取储存媒体来实施。当受到一可程序化装置的处理器执行 时，所述指令可控制该可程序化装置以执行根据本发明内容实施方式的 方法。适用于实现本文所述的标的的例示性处理器可读取储存媒体可包 含(但不限于)RAM、ROM、EPROM、EEPROM、闪存或其它故态内存 技术：CD-ROM、DVD或其它光储存、磁卡式、磁盘储存或其它磁性储 存装置，以及其它可用于储存所需信息且可由处理器读取的媒体。此外， 实现本发明标的的处理器可读取储存媒体可以位于单一装置或计算平 台上，或者也可分布在多个装置或计算平台上。在某些实施方式中，计 算平台是具有实时计算约束的嵌入式系统。
3.药物管理系统
本发明标的的另一个方面是提供一药物管理系统。参考绘示系统 300的图3，系统300包含一影像采集装置310、一影像处理器320以及一 机器学习处理器330，其中该影像采集装置310及机器学习处理器330分 别耦合至该影像处理器320。影像采集装置310设以采集一药物的包装的 复数个影像。在某些实施方式中，影像采集装置310其结构包含有一透明板体3101以及两个分别设置在该透明板体3101两侧的影像采集单元 3102。该透明板体3101可以是由玻璃或丙烯酸聚合物制成。在实施上， 药物放置在透明板体3101上，并通过两个影像采集单元3102同时采集该 药物包装的两面影像。举例来说，两个影像采集单元3102是实时数字相 机。
除非另有说明，根据本发明内容，影像处理器320及机器学习处理 器330分别包含用于储存复数个指令的内存，这些指令可使处理器实现 本发明的方法。在某些实施方式中，是将影像处理器320及机器学习处 理器330设成两个独立的装置；或者也可将两者设置在相同硬件中。在 某些实施方式中，影像处理器320及机器学习处理器330是可通讯式彼此连接。具体而言，影像处理器320是可通讯式与影像采集装置310连接， 以接受经由该影像采集装置310采集的影像，并设以执行本发明方法的 影像处理步骤(像是步骤S120及S220)，据此产生可用于后续识别的候选 影像。机器学习处理器330是可通讯式与影像处理器320连接，并设以实 现本发明方法的影像比对(例如步骤S240)以用于药物识别。此步骤包含 将候选影像与以本发明方法建立的药物数据库中的参考影像进行比对。 药物数据库可通讯式与机器学习处理器330连接。在图3描述的例示性实 施方式中，本发明药物数据库3301是储存于机器学习处理器330中或者 是，或是非必要地，药物数据库可以储存在透过电缆连接或无线网络与 机器学习处理器330相连的储存装置中。
在某些实施方式中，系统300更包含一使用者接口(未示出)，设以输 出药物识别结果、接受来自外部使用者的指令、以及将使用者输入反馈 至影像处理器320及机器学习处理器330。
可使用各种技术实施影像采集装置310、影像处理器320及影像学习 处理器330之间的通讯。举例来说，本发明系统300可包含一网络接口以 许可影像采集装置310、影像处理器320以及机器学习处理器330之间通 过网络(例如一区域通信网路(LAN)、一广域网络(WAN)、网络或无线网 络)来通讯。在其它实施例中，该系统可具有一系统总线(systembus)，其 耦合各种系统组件(包含影像采集装置310)至该影像处理器320。
下文提出多个实施例来说明本发明的某些实施方式，以利本领域技 术人员操作本发明。不应将这些实验例视为对本发明范围的限制。无须 进一步说明，据信本领域技术人员可根据本文的描述，最大限度地利用 本发明。本文引用的所有公开文献均透过引用其整体并入本文。
实施例1：构建药物数据库
制备校正双面并整影像(Rectified Two-sided Images，RTIs)
马偕纪念医院(台北，台湾地区)医院药房收集市售现有的250多种药 物。为了构建药物数据库的数据库，尽可能地取得所有药物泡型包装的 照片。利用编程在影像处理器中的源代码开放式(Open Source Computer Vision 2，OpenCV 2)函数，对影像进行裁剪以最小化背景噪声并对其进 行处理以产生每个药物的多种合并影像(也称为“校正双面并整影像 (RTIs)”)。每个RTI可与一预定模板(以下称为校正双面并整模板 (rectified two-sided template，RTT)适配并且包含一药物泡型包装的两个 面。总共取得18,000的RTIs，并利用CNN模型进行后续深度学习处理程 序。
侦测药物包装的不规则四边形角点的策略
在待测药物包装具有三直线边缘及一曲线边缘构成的不规则四边 形形状的情况下，利用质心算法(表1)透过几何学推理以测定曲线边缘和 未定义角点。
表1：用于侦测不规则四边形形状角点的质心算法
图4例示性地呈现如何对具有不规则四边形的药物包装执行角点识 别。如图4所绘，具有三条直线边缘(L1、L2、L3)及一曲线边缘(C1)的泡 型包装呈现随机的方向，其中将L1及L2的交点指定为P1，而L2及L3的交 点则指定为P4。目标是要确定P2及P3的坐标，据此四个点(P1、P2、P3及 P4)以及四个边缘(L1、L2、L3及C1)包围的区域会涵盖整个包装的影像。 首先确定P1及P4之间在边缘L2上的中点M，接着可透过算法cv2.moments (OpenCV 2)确定泡型包装面积的质心B。基于中点M及质心B的坐标计算 出位移向量v。最后可确定分别距交点P1及P4两倍位移向量的位置便是 P2及P3的坐标。透过前述流程，四个交点或角点P1、P2、P3及P4可自动 地以顺时针或逆时针方向排序。
优化机器学习能力
本实施例是透过卷积神经网络(Convolutional Neural Network，CNN) 来实现机器学习的目的。为了达成前述目的，透过图形处理单元(graphics processing unit，GPU)执行的YOLOv2微型版本(也称为Tiny YOLO)神经 以训练每一RTI的视觉辨识。常规YOLOv2的通则概念是将一影像分割成 多个网格并使用锚框以预测定界框。简言之，以本实施例的每一具有 416×416像素尺寸的RTI影像来说，当输入至网络时，Tiny YOLOv2神经 会在每一影像产生奇数个网格；据此，在中心的网格只会有一个(即，中 心网格)。接着分析每个网格和其邻居网格以确定这些网格中是否含有任 何特征信息。举例来说，可将输入的影像分割成13×13个网格，其中可 预测五种尺寸的定界框，且从每个网格回传的信心分数可用于测定该网 格是否含有欲分析的物体。在本实施例中，因为已经先对输入影像进行 醒目化及寻找轮廓，如此一来，优化常规Tiny YOLO可改良识别效率， 也可减少操作成本。由于每一张RTI的输入影像已经处理成“满版影像” 且已适配至一预定的像素尺寸，可将操作的锚框数目减至一个，且锚框 的尺寸也可以设定在7×7个网格。据此，机器学习网络只需对一个拥有 全尺寸(完整大小)的输入影像的定界框进行预测。优化的Tiny YOLO的 具体参数列于表2。
表2：经优化Tiny YOLO网络的参数
执行的时候，可将优化的Tiny YOLO编程在一有高分辨率图形卡的 机器学习处理器上(
Figure BDA0001805333260000192
GTX 1080(NVIDIA,USA))。透过优化后 的Tiny YOLO训练模型来使机器学习处理器执行深度学习程序。表3列出 优化的Tiny YOLO的训练准则。
表3：经优化Tiny YOLO的训练准则
影像输入尺寸(像素) 224×224
训练样本数扩增 关闭
预测训练模型 无
批量大小 8
最大训练型样(epoch) 100个型样(即，168,800次迭代)
训练权重 1个型样(即，1,688次迭代)
实施例2：评估基于实施例1的药学数据库执行机器学习的药物管理 系统的分类效率
处理并合并影像
为了评估本发明内容RTIs的视觉辨识效能，将药物的原始影像(未处 理且未合并)及RTIs(经处理并合并)分别输入至训练模型(经优化的Tiny YOLO)以进行深度学习。表4总结训练结果。根据表4的数据，相较于未 处理的原始影像，本发明内容的“醒目化”影像在训练视觉辨识方面具高 效能。训练的F1-分数越高，表示深度学习网络对包装影像的视觉辨识的 效果越好。相较于那些未经处理的影像，经处理成RTT的RTIs也显著地 增加训练效果。
表4：未处理影像与RTIs的比较
Figure BDA0001805333260000201
经优化学习模型
进行另一次比较以评估本发明训练模型的效能。使用两种常规学习 模型：ResNet101及SE-ResNet 101来建立RTIs的训练模型。表5总结比较 结果。
表5：经优化系统及常规系统的比较
实验组别 组别I 组别II 组别III
训练模型(算法) 经优化Tiny YOLO ResNet 101 SE-ResNet 101
训练时间(分) 273 975 1728
训练型样 48 39 32
精密度(％) 99.83 99.84 99.98
召回 99.83 99.83 99.98
F1-分数 99.78 99.79 99.97
从表4及表5的比较结果可看出，特别是当以经优化Tiny YOLO模型 处理影像时，经本发明方法处理以适配RTT的RTIs可增加训练效能，同 时还可显著缩短训练时间。将所有的18,000张RTIs输入至训练模型中， 通过该方法透过执行经优化Tiny YOLO模型建立本发明的药物数据库。 可将药物数据库和深度学习网络进一步储存在一嵌入式系统用于后续 应用。
实时药物识别应用
操作时，随机选择一药物放置在配备有玻璃制成的透明板体的特制 柜体内。设置围绕透明板体的光源以利照明，并将两个BRIO网络摄影机 (Logitech,USA)分别设置在透明板体的两侧(与板体保持一距离)，确保该 网络摄影机的视野能涵盖整个板体区域。另一方面，先将建好的药物数 据库储存在实时嵌入式计算装置JETSONTM TX2(NVIDIA,USA)中。JETSONTM TX2，称为“开发者套件(developer kit)”，其包含内存、CPU、 GPU、USB端口、网形天线以及其它计算组件，通过该方法使影像处理 步骤及机器学习步骤可在相同装置内执行。操作上，两个网络摄影机可 透过USB电缆与JETSONTM TX2连接，据此所选药物的两面影像可实时 地同时传送给处理器。将所选药物泡型包装的两张原始影像处理成一张RTI，接着该RTI接受编程在JETSONTM TX2内的学习模型Tiny YOLO进 行后续程序。Tiny YOLO模型的视觉辨识速度可达每秒约200帧(FPS)。 总流程(即，从采集影像至视觉识别)所花费的时间约每秒6.23帧。识别结 果可实时呈现在一外部显示装置上，例如计算机屏幕或是行动电话使用 接口。因此，外部使用者几乎可与药物放入柜体同时获得该药物的识别 结果。
再者，为了评估本发明系统是否可有效地降低配药过程人为疏失的 机率，再次进行另一比较。举例来说，一抗焦虑药物：乐耐平(Lorazepam)， 其外观与其它药物的相似度颇高，因此在配药过程中是最容易误认的药 物。首先，将乐耐平的RTI输入本发明系统，以与该数据库中的所有药 物进行比较。经计算后，学习模型提出经该学习模型分析后基于外观相 似度可能误认的数种候选药物。候选窗体可协助临床人员复核所选药物 是否正确。因此，通过本发明内容的药物管理系统，可改善配药的准确 度，也可以将人为疏失减至最小以确保病患安全。
总言之，本发明用于药物管理的方法和系统可通过执行影像处理步 骤以将影像合并成一张，以及以实时的方式执行深度学习模型，以达成 前述目的。本发明内容的优势不仅在于无论物体(即：药物)的方位为何 皆可有效地处理原始影像，还可经由药物外观增加药物分类的准确性。
应当理解的是，前述对实施方式的描述仅是以实施例的方式给出， 且本领域技术人员可进行各种修改。以上说明书、实施例及实验结果提 供本发明的例示性实施方式的结构与用途的完整描述。虽然上文实施方 式中揭露了本发明的各种具体实施例，然其并非用以限定本发明，本领 域技术人员在不悖离本发明的原理与精神的情形下，当可对其进行各种 变化与修饰，因此本发明的保护范围当以附随权利要求书所界定者为 准。

Claims (19)

1.一种用以建立一药物数据库的计算机实施方法，包含：
(a)接受一药物包装的复数个原始影像；
(b)规整所述复数个原始影像中的两张以产生一合并影像，其中所述两张原始影像彼此相异；
(c)处理所述合并影像以产生一参考影像；以及
(d)借助于所述参考影像以建立所述药物数据库。
2.如权利要求1所述的计算机实施方法，更包含在步骤(a)之前同时采集所述药物包装的所述复数个原始影像。
3.如权利要求1所述的计算机实施方法，其中所述药物是一泡型包装的形式。
4.如权利要求1所述的计算机实施方法，其中步骤(b)包含：
(b-1)分别处理所述复数个原始影像，以产生复数个分别具有经定义轮廓的第一处理影像；
(b-2)识别所述复数个第一处理影像的各经定义轮廓的角点，以确定其坐标；
(b-3)基于步骤(b-2)确定的所述坐标，旋转步骤(b-1)的各所述第一处理影像，以产生复数个第二处理影像；以及
(b-4)结合所述复数个第二处理影像中的任两张，以产生步骤(b)的所述合并影像。
5.如权利要求4所述的计算机实施方法，其中步骤(b-1)的各所述复数个原始影像受到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边缘识别处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
6.如权利要求4所述的计算机实施方法，其中以一直线转换算法或一质心算法来执行步骤(b-2)。
7.如权利要求4所述的计算机实施方法，其中所述合并影像包含所述药物的所述泡型包装的双面影像。
8.如权利要求1所述的计算机实施方法，其中以一机器学习算法来执行步骤(c)。
9.一种用以通过一药物泡型包装来识别所述药物的计算机实施方法，包含：
(a)同时取得所述药物泡型包装的正面与反面影像；
(b)规整步骤(a)的所述正面与反面影像以产生一候选影像；
(c)比对所述候选影像与如权利要求1所述的方法所建立的所述药物数据库的参考影像；以及
(d)输出步骤(c)的结果。
10.如权利要求9所述的计算机实施方法，其中步骤(b)包含：
(b-1)分别处理步骤(a)的所述正面与反面影像，以产生两张分别具有经定义轮廓的第一处理影像；
(b-2)识别所述两张第一处理影像的各经定义轮廓的角点，以确定其坐标；
(b-3)基于步骤(b-2)确定的所述坐标，旋转步骤(b-1)的各所述两张第一处理影像，以产生两张第二处理影像；以及
(b-4)结合步骤(b-3)的所述两张第二处理影像，以产生所述步骤(b)的所述候选影像。
11.如权利要求10所述的计算机实施方法，其中步骤(b-1)的所述正面与反面影像分别受到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边缘识别处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
12.如权利要求10所述的计算机实施方法，其中以一直线转换算法或一质心算法来执行步骤(b-2)。
13.如权利要求9所述的计算机实施方法，其中以一机器学习算法来执行步骤(c)。
14.如权利要求9所述的计算机实施方法，更包含在步骤(c)之前传送所述候选影像至所述药物数据库内。
15.一种药物管理系统，包含：
一影像采集装置，用以采集一药物包装的复数个影像；
一影像处理器，经指令编程执行一用以产生一候选影像的方法，其中所述方法包含：
(1)分别处理所述药物包装的所述复数个影像，以产生复数个分别具有经定义轮廓的第一处理影像；
(2)识别所述复数个第一处理影像的各经定义轮廓的角点，以确定其坐标；
(3)基于步骤(2)确定的所述坐标，旋转步骤(1)的各所述第一处理影像，以产生复数个第二处理影像；以及
(4)规整步骤(3)的所述复数个第二处理影像中的两张，以产生所述候选影像，其中所述两张第二处理影像彼此相异；以及
一机器学习处理器，经指令编程执行一方法，所述方法是用于比对所述候选影像与如权利要求1所述的方法建立的所述药物数据库的参考影像。
16.如权利要求15所述的系统，其中所述影像采集装置包含：
一透明板体，用以使所述药物放置其上；以及
二影像采集单元，分别设置于所述透明板体各侧的上方。
17.如权利要求15所述的系统，其中步骤(1)的各复数个影像受到以下处理：(i)一灰阶转换处理、(ii)一噪声滤除处理、(iii)一边缘识别处理、(iv)一凸包运算处理以及(v)一寻找轮廓处理。
18.如权利要求15所述的系统，其中以一直线转换算法或一质心算法来执行步骤(2)。
19.如权利要求15所述的系统，其中以一机器学习算法来执行所述用于比对所述候选影像与所述药物数据库的参考影像的方法。
CN201811094999.5A 2018-07-30 2018-09-19 经由药物包装及/或标签以分类及辨识该药物的方法及系统 Pending CN110781709A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/048,446 US10699162B2 (en) 2018-07-30 2018-07-30 Method and system for sorting and identifying medication via its label and/or package
US16/048,446 2018-07-30

Publications (1)

Publication Number Publication Date
CN110781709A true CN110781709A (zh) 2020-02-11

Family

ID=69178480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811094999.5A Pending CN110781709A (zh) 2018-07-30 2018-09-19 经由药物包装及/或标签以分类及辨识该药物的方法及系统

Country Status (2)

Country Link
US (1) US10699162B2 (zh)
CN (1) CN110781709A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878270B1 (en) * 2018-06-26 2020-12-29 Amazon Technologies, Inc. Keypoint-based multi-label word segmentation and localization
EP3933764A4 (en) * 2019-02-28 2022-04-27 FUJIFILM Corporation AREA DETERMINATION DEVICE, METHOD, PROGRAM, LEARNING DEVICE, METHOD, PROGRAM AND IDENTIFICATION DEVICE
EP4174787A3 (en) * 2021-11-01 2023-05-10 Rehrig Pacific Company Delivery system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2704112A1 (en) * 2012-08-31 2014-03-05 Evondos Oy Method for operating a medication dispenser, and medication dispenser
US20150169829A1 (en) * 2013-12-12 2015-06-18 Aesynt Incorporated Method, Apparatus, and Computer Program Product for the Identification and Packaging of Medication
US20150302255A1 (en) * 2012-01-23 2015-10-22 Perceptimed, Inc. Automated Pharmaceutical Pill Identification
CN105022983A (zh) * 2014-04-30 2015-11-04 聚晶半导体股份有限公司 使用多镜头辅助的影像辨识系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302255A1 (en) * 2012-01-23 2015-10-22 Perceptimed, Inc. Automated Pharmaceutical Pill Identification
EP2704112A1 (en) * 2012-08-31 2014-03-05 Evondos Oy Method for operating a medication dispenser, and medication dispenser
US20150169829A1 (en) * 2013-12-12 2015-06-18 Aesynt Incorporated Method, Apparatus, and Computer Program Product for the Identification and Packaging of Medication
CN105022983A (zh) * 2014-04-30 2015-11-04 聚晶半导体股份有限公司 使用多镜头辅助的影像辨识系统及其方法

Also Published As

Publication number Publication date
US10699162B2 (en) 2020-06-30
US20200034658A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
Li et al. Computer‐assisted diagnosis for diabetic retinopathy based on fundus images using deep convolutional neural network
US10467477B2 (en) Automated pharmaceutical pill identification
CN105474234B (zh) 一种掌静脉识别的方法和掌静脉识别装置
Tan et al. Comparison of yolo v3, faster r-cnn, and ssd for real-time pill identification
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN110781709A (zh) 经由药物包装及/或标签以分类及辨识该药物的方法及系统
CN109410168A (zh) 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
SE528068C2 (sv) Igenkänning av 3D föremål
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP6820886B2 (ja) 薬剤のラベルおよび／またはパッケージによって、その薬剤を区分けし識別するための方法およびシステム
CN109034016A (zh) 一种普适性的基于s-cnn模型的手背静脉图像识别方法
Anisuzzaman et al. A mobile app for wound localization using deep learning
Maitrichit et al. Intelligent medicine identification system using a combination of image recognition and optical character recognition
Akshaya et al. Detection and Identification of Pills using Machine Learning Models
Hasan et al. Dental impression tray selection from maxillary arch images using multi-feature fusion and ensemble classifier
CN105404883B (zh) 一种异质三维人脸识别方法
TWI695347B (zh) 經由藥物包裝及/或標籤以分類及辨識該藥物的方法及系統
TWI692356B (zh) 藉由行動裝置實現的藥片服用輔助方法
TWI731484B (zh) 經由藥物泡型包裝影像建立藥物資料庫及管理藥物之方法及系統
Hnoohom et al. Blister Package Classification Using ResNet-101 for Identification of Medication
Chang et al. Characterizing placental surface shape with a high-dimensional shape descriptor
BR112021014579A2 (pt) Método de identificação de usuário por característica biométrica e dispositivo móvel
CN117115899A (zh) 一种白睛脉络特征识别方法、装置、计算机存储介质及电子设备
Jogeshwar Tool for the Analysis of Human Interaction with Two-Dimensional Printed Imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200211