CN114845682A - 图像处理装置和方法 - Google Patents

Abstract

本发明提供能够提高药剂的视觉确认性的图像处理装置和方法。取得拍摄药剂得到的图像，根据取得的图像来检测药剂，剪切出检测到的药剂的图像而生成单个药剂图像。判定所生成的单个药剂图像的视觉确认性的好坏，对视觉确认性差的单个药剂图像进行提高视觉确认性的处理并显示于显示装置。

Description

图像处理装置和方法

技术领域

本发明涉及图像处理装置和方法，尤其是涉及对拍摄药剂得到的图像进行处理的图像处理装置和方法。

背景技术

作为辅助药剂师进行配药的监查业务的技术，已知有机器监查。在机器监查中，通过图像识别进行监查处理。

在专利文献1中公开了如下装置：针对被包成一包的药剂，以分包为单位实施机器监查，并以分包为单位显示其结果。在专利文献1的装置中，与机器监查的结果一起显示出被包成一包的药剂的拍摄图像。通过与机器监查的结果一起显示被包成一包的药剂的拍摄图像，能够辅助药剂师通过目视进行监查。

现有技术文献

专利文献

专利文献1：国际公开第WO2016/047569号

发明内容

发明要解决的问题

在专利文献1的装置中，在相同的条件下拍摄各药剂。因此，在专利文献1的装置中，以相同的背景颜色显示各药剂的拍摄图像。

药剂的颜色是各种各样的。因此，在专利文献1的装置中，在显示出拍摄图像时，药剂的视觉确认性有时显著下降。例如，在为透明药剂的情况下，如果在背景变黑的条件下进行拍摄，则药剂与背景同化，药剂的视觉确认性显著下降。在药剂的颜色与背景颜色成为同色系的情况下也发生相同种类的问题。

本发明是鉴于这样的情况而完成的，其目的在于，提供一种能够提高药剂的视觉确认性的图像处理装置和方法。

用于解决问题的手段

(1)一种图像处理装置，其中，具备处理器，处理器进行如下处理：取得拍摄药剂而得到的第1拍摄图像，根据第1拍摄图像来检测药剂，从第1拍摄图像中剪切出检测到的药剂的图像而生成单个药剂图像，对视觉确认性差的单个药剂图像进行提高视觉确认性的处理。

(2)在(1)的图像处理装置的基础上，处理器判定单个药剂图像的视觉确认性的好坏，对视觉确认性差的单个药剂图像进行提高视觉确认性的处理。

(3)在(2)的图像处理装置的基础上，处理器基于单个药剂图像的药剂的区域的像素值与基准值的差分，判定单个药剂图像的视觉确认性的好坏。

(4)在(3)的图像处理装置的基础上，基准值是单个药剂图像或者第1拍摄图像的药剂以外的区域的像素值。

(5)在(2)的图像处理装置的基础上，在基于处方笺信息对药剂进行配药的情况下，处理器取得处方笺信息，基于处方笺信息，判定单个药剂图像的视觉确认性的好坏。

(6)在(5)的图像处理装置的基础上，处理器基于根据处方笺信息而确定的药剂的种类的信息，判定单个药剂图像的视觉确认性的好坏。

(7)在(6)的图像处理装置的基础上，在为透明或半透明的药剂的情况下，处理器判定为单个药剂图像的视觉确认性差。

(8)在(6)的图像处理装置的基础上，在为与第1拍摄图像的背景颜色同色系的药剂的情况下，处理器判定为单个药剂图像的视觉确认性差。

(9)在(1)至(8)中的任意一个图像处理装置的基础上，处理器对视觉确认性差的单个药剂图像实施对药剂的边缘进行强调的图像处理来提高视觉确认性。

(10)在(1)至(8)中的任意一个图像处理装置的基础上，处理器取得第2拍摄图像，该第2拍摄图像是在成为与第1拍摄图像不同的背景颜色的条件下拍摄药剂而得到的，处理器针对视觉确认性差的单个药剂图像，置换为从第2拍摄图像剪切出来的图像来提高视觉确认性。

(11)在(1)至(10)中的任意一个图像处理装置的基础上，处理器生成对单个药剂图像进行了一览显示的显示图像。

(12)在(11)的图像处理装置的基础上，处理器将显示图像显示于显示装置。

(13)在(1)至(12)中的任意一个图像处理装置的基础上，第1拍摄图像是拍摄被包成一包的药剂而得到的图像。

(14)一种图像处理方法，包括以下步骤：取得拍摄药剂而得到的第1拍摄图像；根据第1拍摄图像来检测药剂；从第1拍摄图像中剪切出检测到的药剂的图像而生成单个药剂图像；以及对视觉确认性差的单个药剂图像进行提高视觉确认性的处理。

发明的效果

根据本发明，能够提高药剂的视觉确认性。

附图说明

图1是示出药剂检查辅助系统的系统结构的一例的框图。

图2是示出被包成一包的药剂的一例的俯视图。

图3是示出拍摄装置的概要结构的俯视图。

图4是示出拍摄装置的概要结构的侧视图。

图5是示出药剂检查辅助装置的概要结构的框图。

图6是由处理装置实现的功能的框图。

图7是单个药剂图像的提取的概念图。

图8是通过求出单个药剂图像的中央部分的像素值而求出药剂的区域的像素值的方法的概念图。

图9是示意性示出图像处理的一例的图。

图10是示出边缘强调的一例的图。

图11是示出检查结果的显示图像的一例的图。

图12是示出使用了药剂检查辅助系统的药剂的检查步骤的流程图。

图13是示出提高单个药剂图像的视觉确认性的处理步骤的流程图。

图14是示出拍摄装置的概要结构的俯视图。

图15是示出拍摄装置的概要结构的侧视图。

图16是示出通过拍摄得到的图像的一例的图。

图17是由处理装置实现的功能的框图。

图18是示意性示出图像切换的一例的图。

图19是示出检查结果的显示图像的一例的图。

图20是示出仅针对单面切换了显示的情况下的显示图像的一例的图。

图21是示出由处理装置实现的功能的一例的框图。

图22是示出药剂DB的一例的图。

图23是示出对拍摄药剂得到的图像进行显示的情况下的另一例的图。

具体实施方式

以下，按照附图对本发明的优选实施方式详细进行说明。

[第1实施方式]

这里，以在辅助药剂师对被包成一包的药剂进行的检查的装置中应用了本发明的情况为例进行说明。“被包成一包(单剂量包装)”是指将多个药剂汇聚成一包。被包成一包主要是针对服用时间点相同的药剂而进行的。药剂师基于处方笺信息，对药剂进行配药而被包成一包。针对被包成一包的药剂，在被包成一包之后，由药剂师确认药剂是否按照处方笺被包成一包。本实施方式的药剂检查辅助装置用于辅助该药剂师所进行的事后的确认作业。

[系统结构]

图1是示出药剂检查辅助系统的系统结构的一例的框图。

如该图所示，药剂检查辅助系统1具备拍摄装置10、处方笺信息输入装置20以及药剂检查辅助装置30。

[拍摄装置]

拍摄装置10对被包成一包的药剂进行拍摄。由拍摄装置10拍摄到的图像被输入到药剂检查辅助装置30。

图2是示出被包成一包的药剂的一例的俯视图。

如该图所示，通过被包成一包而将多个药剂T封入到1个药包TP。另外，该图示出药包TP呈带状相连的方式(药包带)。药包TP由透明体(包含半透明体)构成，使得能够在封入了药剂T的状态下进行拍摄。被包成一包的药剂T主要是片剂和胶囊剂等。例如使用分包装置等进行被包成一包的处理。

图3和图4分别是示出拍摄装置的概要结构的俯视图和侧视图。

拍摄装置10具有2台照相机(第1照相机12A和第2照相机12B)，对载置在透明的载台14上的药包TP的两面进行拍摄。

载台14水平地设置。第1照相机12A和第2照相机12B隔着载台14相互对置地配置。第1照相机12A正对于药包TP的第1面(表面)，对药包TP的第1面进行拍摄。第2照相机12B正对于药包TP的第2面(背面)，对药包TP的第2面进行拍摄。另外，药包TP将与载台14相接的面作为第2面，将与第2面相反的一侧的面作为第1面。

隔着载台14，在第1照相机12A的一侧设置有第1照明装置16A，在第2照相机12B的一侧设置有第2照明装置16B。

第1照明装置16A向载置于载台14的药包TP的第1面照射照明光。第1照明装置16A具有呈辐射状配置的4个发光部16A1～16A4，从正交的4个方向照射照明光。各发光部16A1～16A4的发光被单独地控制。

第2照明装置16B向载置于载台14的药包TP的第2面照射照明光。第2照明装置16B具有呈辐射状配置的4个发光部16B1～16B4，从正交的4个方向照射照明光。各发光部16B1～16B4的发光被单独地控制

如下那样进行拍摄。首先，使用第1照相机12A对药包TP的第1面(表面)进行拍摄。在拍摄时，使第1照明装置16A的各发光部16A1～16A4发光。接着，使用第2照相机12B，对药包TP的第2面(背面)进行拍摄。在拍摄时，使第2照明装置16B的各发光部16B1～16B发光。通过像这样进行拍摄而拍摄药包TP的第1面和第2面。如上所述，药包TP是透明的。因此，当拍摄药包TP时，拍摄封入在该药包TP中的药剂T。即，拍摄被包成一包的药剂T。

另外，在暗室的状态下进行拍摄。因此，在拍摄时向药包TP照射的光仅是来自第1照明装置16A和第2照明装置16B的照明光。像这样拍摄到的药包TP的背景变黑，拍摄到各药剂T。

药包TP被旋转的辊18夹住而输送到载台14。药包TP在输送过程中进行整平，消除了重叠。在多个药包TP是呈带状相连的药包带的情况下，如果1个药包TP的拍摄结束，则给予1包量的进给，进行下一个药包TP的拍摄。

[处方笺信息输入装置]

处方笺信息输入装置20将作为检查对象的药剂的处方笺信息输入到药剂检查辅助装置30。处方笺信息是记载于处方笺的信息。在处方笺信息中包含处方药剂的名称、数量、用法、用量、识别信息等信息。另外，对于处方笺信息，并不一定需要输入记载于处方笺的全部信息。输入记载于处方笺的信息中的药剂的检查所需的信息即可。

处方笺信息输入装置20例如能够由药方计算机构成。在该情况下，构成处方笺信息输入装置20的药方计算机与药剂检查辅助装置30以能够通信的方式连接。药剂检查辅助装置30与药方计算机进行通信，取得处方笺信息。

此外，处方笺信息输入装置20能够采用以下方式等：光学地读取记载于处方笺的文字信息而取得处方笺信息并输入到药剂检查辅助装置30；读取记载于处方笺的码(例如，条形码、二维码等)而取得处方笺信息并输入到药剂检查辅助装置30；通过键盘等将记载于处方笺的信息输入到药剂检查辅助装置30。

另外，对于处方笺信息，可以是记载于处方笺的信息本身，也可以是医师及/或药剂师基于记载于处方笺的信息进行了设定、变更等得到的信息。例如，通过进行如下处理等而得到的信息也能够包含在“处方笺信息”中，该处理为：在处方笺中记载有原研药的名称的情况下变更为仿制药(非专利药)，或者在只记载有药剂的通常名称的情况下选择原研药或仿制药。

[药剂检查辅助装置]

图5是示出药剂检查辅助装置的概要结构的框图。

如该图所示，药剂检查辅助装置30具备处理装置32、操作装置34、显示装置36以及存储装置38等。

处理装置32由具备CPU(Central Processing Unit：中央处理单元)、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)的计算机构成。处理装置32通过CPU执行规定的程序而实现各种功能。之后叙述由处理装置32实现的功能。处理装置32是图像处理装置的一例。

操作装置34受理来自用户的操作输入。操作装置34例如由键盘、鼠标、触摸面板等构成。

显示装置36显示各种信息。显示装置36例如由液晶显示器(liquid crystaldisplay；LCD)、有机电致发光显示器(organic electro-luminescence display；OELD)等构成。

存储装置38存储各种信息。存储装置38例如由HDD(Hard Disk Drive：硬盘驱动器)构成。处理装置32的CPU所执行的程序以及执行程序所需的信息存储在存储装置38或ROM中。

图6是由处理装置实现的功能的框图。

处理装置32通过CPU执行规定的程序，从而实现拍摄控制部32A、拍摄图像取得部32B、单个药剂图像提取部32C、处方笺信息取得部32D、主图像取得部32E、对照部32F、检查结果判定部32G、视觉确认性判定部32H、图像处理部32I、显示图像生成部32J以及显示控制部32K的功能。

拍摄控制部32A控制由拍摄装置10进行的药包的拍摄。如上所述，拍摄装置10对药包的第1面(表面)和第2面(背面)的图像进行拍摄。

拍摄图像取得部32B从拍摄装置10取得由拍摄装置10拍摄到的药包的拍摄图像。如上所述，从拍摄装置10取得的药包的拍摄图像是被包成一包的药剂的拍摄图像。该图像是第1拍摄图像的一例。

单个药剂图像提取部32C从药包的拍摄图像(被包成一包的药剂的拍摄图像)中提取各个药剂的图像(单个药剂图像)。作为一例，通过以下的步骤进行提取。

图7是单个药剂图像的提取的概念图。首先，从取得的药包的拍摄图像ITP中检测各个药剂T。在药剂T的检测中能够采用公知的技术。例如，能够采用使用通过机器学习、深度学习等生成的图像识别模型来检测药剂T的方法。接着，用矩形的框F包围检测到的各个药剂T。框F以能够包围药剂T的最小尺寸包围药剂T。剪切出由框F包围的区域，提取各个药剂T的图像。由此，生成显现出各个药剂的单个药剂图像IT。所生成的单个药剂图像IT成为包含背景的图像。在本实施方式的药剂检查辅助装置30中，生成黑色背景的单个药剂图像IT。针对全部的拍摄图像ITP进行单个药剂图像IT的提取。

处方笺信息取得部32D从处方笺信息输入装置20取得作为检查对象的药剂的处方笺信息。

主图像取得部32E基于由处方笺信息取得部32D取得的处方笺信息，从药剂DB(DB；Data Base：数据库)中取得处方笺所包含的药剂的主图像。药剂DB存储在存储装置38中。在药剂DB中存储有各种药剂(能够配药的药剂)的信息。在药剂的信息中包含该药剂的图像(主图像)。在主图像中准备了药剂的表面的图像和背面的图像。对于不存在表背的药剂(例如，胶囊片等)，将具有刻印或印刷的面设为表面并将其相反侧的面设为背面而准备2张图像。对于不具有刻印和印刷的药剂，将某个面设为表面并将其相反侧的面设为背面而准备2张图像。

对照部32F将由单个药剂图像提取部32C提取出的单个药剂图像与由主图像取得部32E取得的主图像进行对照。通过将单个药剂图像与主图像进行对照，能够确定显现在各单个药剂图像中的药剂的种类。此外，能够判定封入到检查对象的药包的药剂(被包成一包的药剂)是否按照处方笺被包成一包。在对照处理中采用公知的技术。例如，从单个药剂图像中提取特征量，对该特征量与从主图像提取出的特征量进行比较，由此进行对照处理。

检查结果判定部32G基于对照部32F的对照结果，判定封入到检查对象的药包的药剂(被包成一包的药剂)是否按照处方笺被包成一包。判定以药包为单位来进行。即，判定封入到每个药包的药剂有无过量或不足。

视觉确认性判定部32H判定由单个药剂图像提取部32C提取出的单个药剂图像的视觉确认性的好坏。在使单个药剂图像显示于显示装置36的情况下，通过是否容易观察到药剂来判断视觉确认性的好坏。乍一看就能够将药剂与背景明确地区分出的图像成为视觉确认性好的图像。另一方面，难以将药剂与背景区分出的图像成为视觉确认性差的图像。在本实施方式的药剂检查辅助装置30中，视觉确认性判定部32H基于单个药剂图像的药剂的区域的像素值，来判定单个药剂图像的视觉确认性的好坏。具体而言，求出单个药剂图像的药剂的区域的像素值V1和药剂以外的区域的像素值V2，基于其差分(V1-V2)来判定单个药剂图像的视觉确认性的好坏。在差分(V1-V2)为阈值以上的情况下，判定为视觉确认性好。另一方面，在差分(V1-V2)小于阈值的情况下，判定为视觉确认性差。

药剂的区域的像素值V1例如通过从单个药剂图像中提取药剂的区域并求出所提取的药剂的区域的平均像素值而取得。另一方面，药剂以外的区域的像素值V2通过求出除了药剂的区域之外的区域的平均像素值而取得。

另外，在剪切的性质上，药剂被在单个药剂图像的中央。因此，单个药剂图像的中央部分的像素值表示药剂的区域的像素值。因此，也能够构成为通过求出单个药剂图像的中央部分的像素值而取得药剂的区域的像素值V1。图8是通过求出单个药剂图像的中央部分的像素值而求出药剂的区域的像素值的方法的概念图。如该图所示，在单个药剂图像IT的中央部分设定规定尺寸的检测框FD，求出该检测框FD内的平均像素值，从而求出药剂的区域的像素值V1。

此外，关于药剂以外的区域、即背景，无论哪个单个药剂图像都相同，其像素值成为已知值。因此，药剂以外的区域的像素值V2也能够设定为固定值。在该情况下，事先根据单个药剂图像或药包的拍摄图像而求出药剂以外的区域的像素值，取得药剂以外的区域的像素值V2。所取得的像素值V2能够用作用于比较的基准值。

在单个药剂图像由RGB图像(将1个像素的颜色由R(Red；红)、G(Green；绿)、B(Blue；蓝)这3种原色表示的图像)构成的情况下，也可以构成为转换成灰度而求出各区域的像素值。此外，也可以构成为求出特定通道(例如，G)的像素值。

通常，在以成为黑色背景的条件进行了拍摄的情况下，对于透明的药剂，视觉确认性显著下降。此外，对于与背景颜色同色系的药剂，视觉确认性也下降。同色系例示出在D50环境下的Lab表色系中色差为13以下。

图像处理部32I针对在视觉确认性判定部32H中判定为视觉确认性差的单个药剂图像实施规定的图像处理，提高该图像中的药剂的视觉确认性。

图9是示意性示出图像处理的一例的图。该图的(A)示意性示出图像处理前的单个药剂图像IT0。此外，该图的(B)示意性示出图像处理后的单个药剂图像IT1。在该图所示的例子中，使药剂的轮廓变得明确，提高了视觉确认性。作为使图像的轮廓变得明确的图像处理之一，能够例示边缘强调。

图10是示出边缘强调的一例的图。该图的(A)示出图像处理前的单个药剂图像IT0。此外，该图的(B)示出图像处理后的单个药剂图像IT1。如该图所示，通过对视觉确认性差的图像实施边缘强调处理，从而药剂与背景的边界变得明确，能够提高药剂的视觉确认性。

提高图像中的药剂的视觉确认性的处理不限于此，也能够采用其他方法。例如能够采用改变明亮度的处理、改变对比度的处理等。此外，也能够通过组合这多个处理来提高图像中的药剂的视觉确认性。

此外，也能够对图像实施加工来提高图像中的药剂的视觉确认性。例如，也能够提取药剂的轮廓并对轮廓标注线来提高药剂区域的视觉确认性。

显示图像生成部32J基于检查结果判定部32G的检查的判定结果而生成检查结果的显示图像。此时，与各包的检查结果一起生成显示出封入到各包的药剂的图像(单个药剂图像)的图像。

图11是示出检查结果的显示图像的一例的图。该图示出14包量的检查结果的一例。此外，示出在各包中封入了5个药剂(A胶囊、B片、C片、D片、E片)的情况下的例子，E片示出透明药剂的情况下的例子。

如该图所示，在检查结果的显示图像ID中，显示出处方药剂的名称、处方药剂的主图像、封入到各包的药剂的图像(单个药剂图像)、以及各包的检查结果。

处方药剂的名称及其主图像显示在处方药剂信息显示栏C1中。药剂的名称在处方药剂信息显示栏C1中并排地显示为一个纵列。与各药剂的名称对应地在右侧相邻的列中显示该药剂的主图像。另外，在图11中，与各名称对应地显示的2个主图像中的上层的图像是表面的图像，下层的图像是背面的图像。

封入到各包的药剂的图像和检查结果显示在检查结果显示栏C2中。封入到各包的药剂的图像并排地显示为一个纵列。因此，在相同列中显示的图像表示封入到相同药包的药剂的图像。此外，各药剂的图像以与显示于处方药剂信息显示栏C1的药剂的名称的排列相同的排列被显示。因此，在与显示于处方药剂信息显示栏C1的药剂的名称相同的行中显示的图像表示该名称的药剂的图像。在相同的行中显示有主图像，因此，能够容易通过目视进行检查。

在各列的前头(上端)，标注了表示各药包的检查顺序(图像的拍摄顺序)的编号。该编号在检查结果的显示中使用。具体而言，在没有按照处方笺封入药剂(被包成一包)的情况下，将该药方的编号反转显示。即，将文字和背景的颜色反转显示。例如，在按照处方笺封入了药剂的情况下，在白色背景中以黑色文字显示编号(所谓的白底黑字显示)。另一方面，在没有按照处方笺封入药剂的情况下，在黑色背景中以白色文字显示编号(所谓的黑底白字显示)。图11示出第13个药包(显示编号“013”)与处方笺不同的情况下的例子。第13个药包的C片不足。在该情况下，针对第13个药包不显示C片的单个药剂图像。因此，通过确认单个药剂图像的显示，能够识别不足的药剂。

显示于检查结果显示栏C2的各药剂的图像是从拍摄图像剪切而生成的单个药剂图像。但是，在以该状态直接显示时，药剂的视觉确认性有时差。因此，显示图像生成部32J在存在由视觉确认性判定部32H判定为视觉确认性差的单个药剂图像的情况下，将该图像置换为由图像处理部32I进行图像处理后的图像，生成显示图像。由此，能够容易地进行通过目视而确认单个药剂图像时的确认作业。

显示控制部32K控制在显示装置36中的显示。在由显示图像生成部32J生成检查结果的显示图像时，显示控制部32K将生成的显示图像显示于显示装置36。

[动作]

图12是示出使用了药剂检查辅助系统的药剂的检查步骤的流程图。

首先，向药剂检查辅助装置30输入作为检查对象的药剂的处方笺信息(步骤S10)。从处方笺信息输入装置20向药剂检查辅助装置30输入处方笺信息。

药剂检查辅助装置30取得所输入的处方笺信息。药剂检查辅助装置30基于取得的处方笺信息，从药剂DB中取得处方笺所包含的药剂的主图像(步骤S11)。

另一方面，在拍摄装置10中，对作为检查对象的药剂进行拍摄(步骤S12)。通过拍摄药包而进行拍摄。通过拍摄药包而拍摄封入到该药包的药剂，即，被包成一包的药剂。拍摄到的药包的图像(被包成一包的药剂的图像)被输出到药剂检查辅助装置30。

药剂检查辅助装置30取得从拍摄装置10输出的药包的拍摄图像(第1拍摄图像)(步骤S13)。

药剂检查辅助装置30从取得的药包的拍摄图像(被包成一包的药剂的拍摄图像)中提取单个药剂的图像(单个药剂图像)(步骤S14)。通过从图像中检测药剂并剪切出检测到的药剂而进行提取。

在提取了单个药剂图像之后，药剂检查辅助装置30将提取出的单个药剂图像与主图像进行对照(步骤S15)。在对照后，药剂检查辅助装置30基于对照结果来判定检查结果(步骤S16)。即，判定封入到检查对象的药包的药剂(被包成一包的药剂)是否按照处方笺被包成一包。

此外，药剂检查辅助装置30在单个药剂图像的提取后，对视觉确认性差的单个药剂图像进行提高视觉确认性的处理(步骤S20)。

图13是示出提高单个药剂图像的视觉确认性的处理步骤的流程图。

首先，进行判定单个药剂图像的视觉确认性的好坏的处理(步骤S21)。视觉确认性的好坏是基于单个药剂图像的药剂的区域的像素值和药剂以外的区域的像素值之间的差分来判定的。

接着，判断所判定的结果是否差(步骤S22)。在判定结果差的情况下，即，在视觉确认性差的情况下，进行提高视觉确认性的图像处理(步骤S23)。

另一方面，在判定结果好的情况下，即，在视觉确认性好的情况下，不进行图像处理，直接用作显示用的图像。

在像这样提高单个药剂图像的视觉确认性的处理中，首先，判定图像的视觉确认性的好坏，仅对判定为视觉确认性差的图像实施提高视觉确认性的图像处理。针对所提取的全部的单个药剂图像进行该处理。因此，判定全部的单个药剂图像的判定是否结束(步骤S24)。在全部的单个药剂图像的判定结束时，提高单个药剂图像的视觉确认性的处理结束。

返回到整体流程，在视觉确认性的提高处理和检查结果的判定处理完成后，药剂检查辅助装置30生成表示检查结果的显示图像(步骤S17)。药剂检查辅助装置30将生成的显示图像显示于显示装置36(步骤S18)。

如图11所示，检查结果的显示图像显示出处方药剂的名称、处方药剂的主图像、封入到各包的药剂的图像(单个药剂图像)、以及各包的检查结果。

这里，在对单个药剂图像进行了提高视觉确认性的处理的情况下，显示处理后的图像。即，不显示从拍摄图像中直接剪切出来的图像，而是置换为处理后的图像进行显示。对于处理后的图像，图像中的药剂的视觉确认性提高，因此，能够容易通过目视进行确认作业。

如以上说明的那样，根据本实施方式的药剂检查辅助装置30，在显示拍摄到的药剂的图像时，根据需要使视觉确认性提高。由此，能够减轻基于目视的药剂的检查。

[第2实施方式]

在上述实施方式中，对视觉确认性差的单个药剂图像实施图像处理，提高视觉确认性。在本实施方式中，在存在视觉确认性差的单个药剂图像的情况下，置换为在不同条件下拍摄到的图像来提高视觉确认性。具体而言，置换为在成为不同的背景颜色的条件下拍摄到的图像来提高视觉确认性。

[拍摄装置]

拍摄装置构成为能够在成为不同的背景颜色的条件下拍摄药剂。图14和图15分别是示出本实施方式的拍摄装置的概要结构的俯视图和侧视图。

本实施方式的拍摄装置10在具备第1拍摄板40A和第2拍摄板40B这一点与上述第1实施方式的拍摄装置不同。因此，这里，仅对第1拍摄板40A和第2拍摄板40B的结构和功能进行说明。

第1拍摄板40A和第2拍摄板40B由白色的板构成。第1拍摄板40A和第2拍摄板40B隔着载台14而上下配置，并且分别与载台14平行地配置。第1拍摄板40A配置在第1照相机12A侧，第2拍摄板40B配置在第2照相机12B侧。

第1拍摄板40A和第2拍摄板40B分别被未图示的驱动机构驱动而在拍摄位置与退避位置之间水平地滑动移动。第1拍摄板40A通过向拍摄位置移动而移动到载台14的正上方(参照图14)。由此，载置在载台14上的药包的上表面(表面)被第1拍摄板40A覆盖。第1拍摄板40A通过向退避位置移动而移动到载台外的位置。第2拍摄板40B通过向拍摄位置移动而移动到载台14的正下方。由此，载置在载台14上的药包的下表面(背面)被第2拍摄板40B覆盖。第2拍摄板40B通过向退避位置移动而移动到载台外的位置。

[由拍摄装置进行的药包的拍摄]

药包的拍摄(被包成一包的药剂的拍摄)如下那样进行。

首先，在使第1拍摄板40A和第2拍摄板40B退避到退避位置的状态下，对药包TP的第1面(表面)和第2面(背面)进行拍摄。由第1照相机12A拍摄药包TP的第1面，使第1照明装置16A发光而拍摄。由第2照相机12B拍摄药包TP的第2面，使第2照明装置16B发光而拍摄。

接着，使第2拍摄板40B位于拍摄位置而拍摄药包TP的第1面。使用第1照相机12A进行拍摄，使第1照明装置16A发光而拍摄。在拍摄后，第2拍摄板40B退避到退避位置。

接着，使第1拍摄板40A位于拍摄位置而拍摄药包TP的第2面。使用第2照相机12B进行拍摄，使第2照明装置16B发光而拍摄。在拍摄后，第2拍摄板40B退避到退避位置。

图16是示出通过拍摄得到的图像的一例的图。

该图的(A)和(B)是示出在使第1拍摄板40A和第2拍摄板40B退避后进行拍摄的情况下得到的拍摄图像的一例的图。该图的(A)示出在拍摄了药包的第1面的情况下得到的拍摄图像ITP1的一例。该图的(B)示出在拍摄了药包的第2面的情况下得到的拍摄图像ITP2的一例。如该图的(A)和(B)所示，在使第1拍摄板40A和第2拍摄板40B退避后进行拍摄时，以黑色背景拍摄各药剂。拍摄图像ITP1、ITP2是第1拍摄图像的一例。

该图的(C)和(D)是示出在放入第1拍摄板40A和第2拍摄板40B而拍摄的情况下得到的拍摄图像的一例的图。该图的(C)示出在放入第2拍摄板40B而拍摄药包的第1面的情况下得到的拍摄图像ITP3的一例。该图的(D)示出在放入第1拍摄板40A而拍摄药包的第2面的情况下得到的拍摄图像ITP4的一例。如该图的(C)和(D)所示，当放入第1拍摄板40A和第2拍摄板40B进行拍摄时，以白色(或灰色)的背景对各药剂进行拍摄。拍摄图像ITP3、ITP4是第2拍摄图像的一例。

[药剂检查辅助装置]

图17是由本实施方式的药剂检查辅助装置的处理装置实现的功能的框图。

如该图所示，本实施方式的药剂检查辅助装置的处理装置32在代替图像处理部32I(参照图6)而具有图像切换部32L的功能这一点与上述实施方式的处理装置32不同。

处理装置32的基本动作与上述第1实施方式相同，使用从黑色背景的拍摄图像(第1拍摄图像)中提取出的单个药剂图像，进行与主图像的对照。此外，在显示检查结果的情况下，原则上也使用从黑色背景的拍摄图像中提取出的单个药剂图像。但是，在该图像的视觉确认性差的情况下，使用从白色背景的拍摄图像(第2拍摄图像)中提取出的单个药剂图像。

图像切换部32L基于视觉确认性判定部32H的判定结果，切换在检查结果的显示中使用的单个药剂图像。具体而言，在从黑色背景的拍摄图像中剪切出来的单个药剂图像的视觉确认性差的情况下，切换为从白色背景的拍摄图像中剪切出来的单个药剂图像。另外，剪切的处理由单个药剂图像提取部32C进行。此时，药剂的检测能够利用在黑色背景的拍摄图像中进行的检测的结果。

图18是示意性示出图像的切换的一例的图。该图的(A)示意性示出从黑色背景的拍摄图像中提取出的单个药剂图像IT2。此外，该图的(B)示意性示出从白色背景的拍摄图像中提取出的单个药剂图像IT3。如该图所示，通过切换为背景颜色不同的图像，能够提高视觉确认性。

显示图像生成部32J在进行了图像的切换的情况下，使用切换后的图像，生成检查结果的显示图像。

图19是示出检查结果的显示图像的一例的图。该图示出将E片的图像全部置换为白色背景的图像并显示的情况下的例子。

如该图所示，在从黑色背景的拍摄图像中剪切出来的单个药剂图像的视觉确认性差的情况下，置换为从白色背景的拍摄图像中剪切出来的单个药剂图像并进行显示。通过显示在背景颜色不同的条件下拍摄到的图像，能够提高药剂的视觉确认性。

[变形例]

在上述实施方式中，构成为针对药包的第1面和第2面分别拍摄背景颜色不同的图像，但也可以构成为仅针对单面实施改变了背景颜色的拍摄。例如，也可以仅针对第1面改变背景颜色进行拍摄。在该情况下，在显示结果时，仅切换第1面的图像。

图20是示出仅针对单面切换了显示的情况下的显示图像的一例的图。该图针对E片，将单面(第1面)的图像全部切换为白色背景的图像。这样，即便仅切换单面的图像，也能够容易地通过目视进行检查。

另外，在仅针对单面改变背景颜色并进行拍摄的情况下，拍摄板(第1拍摄板40A和第2拍摄板40B)设置于至少一方即可。

此外，在上述实施方式中，构成为通过放入白色的拍摄板(第1拍摄板40A和第2拍摄板40B)并进行拍摄来拍摄背景颜色不同的图像，但拍摄背景颜色不同的图像的方法不限于此。尤其是放入拍摄板的位置、照明的条件等能够适当变更。

[其他实施方式]

[视觉确认性的判定方法的变形例]

在预先决定的拍摄条件下拍摄药剂的情况下，所拍摄的图像的视觉确认性主要由药剂的颜色(包含透明)决定。药剂的颜色能够由药剂的种类确定。因此，如果能够事先确定药剂的种类，则能够估计该药剂的视觉确认性。例如，在为透明药剂的情况下，如果在背景变黑的条件下进行拍摄，则视觉确认性下降。同样，与所得到的图像的背景颜色同色系的药剂的视觉确认性下降。药剂的种类能够根据处方笺信息而确定。通过针对基于处方笺信息进行配药的药剂而取得处方笺信息，能够判定(估计)该单个药剂图像的视觉确认性的好坏。

图21是示出在基于处方笺信息来判定单个药剂图像的视觉确认性的情况下由处理装置实现的功能的一例的框图。

在该情况下，处理装置32实现颜色信息取得部32M的功能。颜色信息取得部32M基于由处方笺信息取得部32D取得的处方笺信息，从药剂DB中取得作为检查对象的药剂的颜色信息。视觉确认性判定部32H基于由颜色信息取得部32M取得的颜色信息，来判定单个拍摄图像的视觉确认性。例如，在背景变黑的条件下拍摄药剂的情况下，当所取得的药剂的颜色为透明或半透明时，对于该药剂的单个药剂图像，判定为药剂的视觉确认性差。同样，在所取得的药剂的颜色为黑色系(黑色、茶色等)的情况下，对于该药剂的单个药剂图像，判定为药剂的视觉确认性差。

在由视觉确认性判定部32H判定为视觉确认性差的情况下，进行提高视觉确认性的处理。即，对判定为视觉确认性差的药剂的单个药剂图像实施图像处理来提高视觉确认性。或者，切换为视觉确认性好的图像(在成为不同的背景颜色的条件下拍摄到的图像)来提高视觉确认性。

如上所述，从药剂DB中取得药剂的颜色信息。图22是示出药剂DB的一例的图。如该图所示，药剂的颜色的信息(颜色信息)与药剂的名称(和主图像)关联地存储。因此，如果确定了药剂的名称，则该药剂的颜色被确定。

另外，在上述的例子中，说明了将药剂的颜色信息存储于药剂DB并基于从该药剂DB中取得的药剂的颜色信息来判定视觉确认性的好坏的例子，但也可以构成为将药剂的视觉确认性的好坏直接存储于药剂DB。在该情况下，能够根据药剂的种类(名称)直接判别视觉确认性的好坏。

此外，在根据药剂的拍摄图像判定视觉确认性的好坏的情况下，当对图像的像素值进行比较而判定时，可以在RGB图像中进行比较，也可以在单通道中进行比较。此外，也能够使用Lab图像、hsv图像、lch转换等。

[检查对象的另一例]

在上述实施方式中，以在检查基于处方笺进行配药而被包成一包的药剂的装置中应用了本发明的情况为例进行了说明，但本发明的应用不限于此。在检测没有被包成一包的药剂、不是基于处方笺进行配药的药剂等的情况下，也能够应用本发明。

[拍摄的变形例]

在上述实施方式中，在对被包成一包的药剂进行拍摄时，构成为拍摄封入到药包的状态下的药剂，但也能够构成为拍摄封入药包前的状态下的药剂。例如，也能够构成为拍摄载置在托盘中的状态下的药剂。

此外，在上述实施方式中，构成为拍摄药剂的表背两面，但也能够构成为仅拍摄单面。在该情况下，所显示的图像仅成为单面。

[显示的变形例]

在上述实施方式中，以一览显示多个药包的检查结果的情况为例进行了说明，但检查结果的显示方式不限于此。也能够构成为单独地显示每1包。此外，也能够构成为一个一个地显示药剂。

此外，在上述实施方式中，在显示视觉确认性差的药剂的单个药剂图像时，构成为显示提高了视觉确认性的图像处理后的图像，但也可以根据来自用户的指示，切换为图像处理前的图像的显示。即，也可以任意地切换图像处理前的图像(所谓的原始图像)的显示与图像处理后的图像的显示。在该情况下，例如，构成为在画面中显示切换按钮，通过按下(点击)该切换按钮来切换显示。在置换为提高了视觉确认性的图像的情况下也是同样的。

[向其他装置的应用]

在上述实施方式中，以将本发明应用于药剂检查援装置的情况为例进行了说明，但本发明的应用不限于此。能够应用于全部的对拍摄药剂得到的图像进行显示的装置。

图23是示出对拍摄药剂得到的图像进行显示的情况下的另一例的图。该图示出将药剂的拍摄图像显示于智能手机的情况下的一例。尤其是该图示出将被包成一包的药剂的拍摄图像显示于智能手机的情况下的例子。从拍摄药包得到的图像中剪切而生成各药剂的图像(单个药剂图像)。该图示出判定为E片的单个药剂图像的视觉确认性差的情况下的例子，并示出置换为视觉确认性好的图像(在成为不同的背景颜色的条件下拍摄到的图像)并进行了显示的情况下的例子。在本例中，智能手机的显示器是显示装置的一例。

[处理装置的另一例]

构成药剂检查辅助装置的处理装置能够构成为包含如下所示的各种处理器。对于各种处理器，除了包含在上述实施方式中说明的CPU之外，还包含可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等专用电子电路等，该可编程逻辑器件是在FPGA(Field ProgrammableGate Array：现场可编程门阵列)等的制造后能够变更电路结构的处理器，该专用电子电路是具有为了执行特定的处理而专门设计的电路结构的处理器。处理装置的功能可以由这些各种处理器中的1个处理器实现，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或者CPU与FPGA的组合)实现。此外，也可以由1个处理器实现多个功能。作为由1个处理器实现多个功能的例子，如片上系统(System On Chip：SoC)等所代表的那样，具有使用由1个IC(integrated circuit：集成电路)芯片实现包含多个功能的系统整体的功能的处理器的方式。这样，以硬件构造的形式使用1个以上的上述各种处理器来实现各种功能。此外，更具体而言，这些各种处理器的硬件构造是将半导体元件等电路元件组合而成的电子电路。

在处理器或者电子电路执行程序时，预先将要执行的程序的代码存储到ROM及/或闪速ROM等非易失性记录介质中，处理器参照该软件。预先存储在非易失性记录介质中的软件包含用于执行本发明的药剂检查辅助方法的程序。也可以将代码不记录于ROM而记录于各种光磁记录装置、半导体存储器等非易失性记录介质。在进行使用了软件的处理时，例如，也能够将VRAM(Video RAM：图象随机存取存储器)、SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存取存储器)用作暂时的存储区域，此外，例如也能够参照存储在未图示的EEPROM(Electronically Erasable and Programmable Read OnlyMemory：电可擦可编程只读存储器)中的数据。

附图标记说明

1 药剂检查辅助系统

10 拍摄装置

12A 第1照相机

12B 第2照相机

14 载台

16A 第1照明装置

16A1 发光部

16B 第2照明装置

16B1 发光部

18 辊

20 处方笺信息输入装置

30 药剂检查辅助装置

32 处理装置

32A 拍摄控制部

32B 拍摄图像取得部

32C 单个药剂图像提取部

32D 处方笺信息取得部

32E 主图像取得部

32F 对照部

32G 检查结果判定部

32H 视觉确认性判定部

32I 图像处理部

32J 显示图像生成部

32K 显示控制部

32L 图像切换部

32M 颜色信息取得部

34 操作装置

36 显示装置

38 存储装置

40A 第1拍摄板

40B 第2拍摄板

C1 处方药剂信息显示栏

C2 检查结果显示栏

F 框

FD 检测框

IT 单个药剂图像

IT0 单个药剂图像

IT1 单个药剂图像

IT2 单个药剂图像

IT3 单个药剂图像

ITP 拍摄图像

ITP1 拍摄图像

ITP2 拍摄图像

ITP3 拍摄图像

ITP4 拍摄图像

T 药剂

TP 药包

S10～S18 药剂的检查步骤

S20～S24 提高单个药剂图像的视觉确认性的处理步骤。

Claims (14)

1.一种图像处理装置，其中，

所述图像处理装置具备处理器，所述处理器进行如下处理：

取得拍摄药剂而得到的第1拍摄图像，

根据所述第1拍摄图像来检测所述药剂，

从所述第1拍摄图像中剪切出检测到的所述药剂的图像而生成单个药剂图像，

对视觉确认性差的所述单个药剂图像进行提高视觉确认性的处理。

2.根据权利要求1所述的图像处理装置，其中，

所述处理器判定所述单个药剂图像的视觉确认性的好坏，对视觉确认性差的所述单个药剂图像进行提高视觉确认性的处理。

3.根据权利要求2所述的图像处理装置，其中，

所述处理器基于所述单个药剂图像的所述药剂的区域的像素值与基准值之间的差分，判定所述单个药剂图像的视觉确认性的好坏。

4.根据权利要求3所述的图像处理装置，其中，

所述基准值是所述单个药剂图像或者所述第1拍摄图像的所述药剂以外的区域的像素值。

5.根据权利要求2所述的图像处理装置，其中，

在基于处方笺信息对所述药剂进行配药的情况下，

所述处理器取得所述处方笺信息，基于所述处方笺信息，判定所述单个药剂图像的视觉确认性的好坏。

6.根据权利要求5所述的图像处理装置，其中，

所述处理器基于根据所述处方笺信息而确定的所述药剂的种类的信息，判定所述单个药剂图像的视觉确认性的好坏。

7.根据权利要求6所述的图像处理装置，其中，

在为透明或半透明的所述药剂的情况下，所述处理器判定为所述单个药剂图像的视觉确认性差。

8.根据权利要求6所述的图像处理装置，其中，

在为与所述第1拍摄图像的背景颜色同色系的所述药剂的情况下，所述处理器判定为所述单个药剂图像的视觉确认性差。

9.根据权利要求1至8中的任意一项所述的图像处理装置，其中，

所述处理器对视觉确认性差的所述单个药剂图像实施对所述药剂的边缘进行强调的图像处理来提高视觉确认性。

10.根据权利要求1至8中的任意一项所述的图像处理装置，其中，

所述处理器取得第2拍摄图像，该第2拍摄图像是在成为与所述第1拍摄图像不同的背景颜色的条件下拍摄所述药剂而得到的，

所述处理器针对视觉确认性差的所述单个药剂图像，置换为从所述第2拍摄图像剪切出来的图像来提高视觉确认性。

11.根据权利要求1至10中的任意一项所述的图像处理装置，其中，

所述处理器生成对所述单个药剂图像进行了一览显示的显示图像。

12.根据权利要求11所述的图像处理装置，其中，

所述处理器将所述显示图像显示于显示装置。

13.根据权利要求1至12中的任意一项所述的图像处理装置，其中，

所述第1拍摄图像是拍摄被包成一包的药剂而得到的图像。

14.一种图像处理方法，其中，

所述图像处理方法包括以下步骤：

取得拍摄药剂而得到的第1拍摄图像；

根据所述第1拍摄图像来检测所述药剂；

从所述第1拍摄图像中剪切出检测到的所述药剂的图像而生成单个药剂图像；以及

对视觉确认性差的所述单个药剂图像进行提高视觉确认性的处理。

Images