CN113260344A - 药剂对照装置、药剂对照方法以及药剂对照系统 - Google Patents

Abstract

本发明的目的在于，提供能提升对药剂的信息进行匹配时的稳健性的药剂对照装置、药剂对照方法以及药剂对照系统。本发明的第1方式所涉及的药剂对照装置具备：外观信息取得部，取得药剂的外观信息；匹配部，对基于所取得的外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；显示控制部，基于匹配的程度使包含在基准信息群中且与外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；接受部，接受多个候补中包含的基准信息的选择；和反映部，将与所选择的基准信息对应的外观信息以及/或者对照对象信息反映到所存储的基准信息群，反映部在针对所选择的基准信息的匹配的程度不满足预先决定的基准的情况下进行反映。

Description

药剂对照装置、药剂对照方法以及药剂对照系统

技术领域

本发明涉及对药剂的信息进行匹配的药剂对照装置、药剂对照方法以及药剂对照系统。

背景技术

在医院设施、药房等中进行药剂的监查、自备药的鉴别。若以目视进行这些处理，则药剂师等的作业负担大，因此开发有对监查或鉴别进行辅助的技术。例如已知通过计算机对药剂的图像进行对照来进行监查辅助、鉴别辅助，作为这样的技术的示例能举出专利文献1。在专利文献1中记载了一种使用以多个摄像机以及光源拍摄药剂而得到的图像与模板图像进行图案匹配来进行药剂的鉴别的药剂鉴别系统。

现有技术文献

专利文献

专利文献1：WO2015/152225公报

发明内容

发明要解决的课题

进行药剂的监查、鉴别时的匹配例如如以下说明的那样，受到药剂的个体差异、主图像的特性等对照条件影响。

图20是表示药片的割线以及印字的示例的图。同图的(a)部分是药片的侧视图，如从该部分掌握的那样，该药片在一个面附有割线。图20的(b)部分是表示割线与印字的关系的示例，从该部分的左下向右上方向附有割线。同图的(c)部分是表示针对同一药剂的割线与印字的关系的其他示例，从该部分的左上向右下方向附有割线。如此地，即使是同一药剂，有时割线与印字的关系也会根据个体而不同。

图21是表示割线与印字的关系的其他图。同图的(a)部分、(b)部分分别表示在割线的上部、下部有2列印字的示例，(c)部分表示印字的一部分被割线消去而难以判别的示例。另外，如同图的(d)部分那样，即使是同一药剂，也存在印字被变更的情况。图20、21例示的药剂的个体差异对于刻印也同样会发生。进而，不仅对照对象药剂，对于主图像也会发生同样的问题。

但是，在专利文献1那样的现有技术中，并未充分考虑这些事情，对药剂的信息进行匹配时的稳健性低。

本发明鉴于这样的事情而提出，其目的在于，提供能提升对药剂的信息进行匹配时的稳健性的药剂对照装置、药剂对照方法以及药剂对照系统。

用于解决课题的手段

为了达成上述目的，本发明的第1方式所涉及的药剂对照装置具备：外观信息取得部，取得药剂的外观信息；匹配部，对基于所取得的外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；显示控制部，基于匹配的程度使包含在基准信息群中且与外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；接受部，接受多个候补中包含的基准信息的选择；和反映部，将与所选择的基准信息对应的外观信息以及/或者对照对象信息反映到所存储的基准信息群，反映部在针对所选择的基准信息的匹配的程度不满足预先决定的基准的情况下进行反映。

在第1方式中，由于在针对所选择的基准信息的匹配的程度不满足预先决定的基准的情况(例如难以进行确定的匹配的情况等)下，使基准信息的候补显示于显示装置，因此用户能选择正确的基准信息(与所取得的外观信息对应的基准信息)。将与所选择的基准信息对应的外观信息以及/或者对照对象信息反映到基准信息群。如此地，在匹配的程度不满足基准的情况下，对基准信息群进行基于所选择的基准信息的反映，因此能使用合适的基准信息(群)，能提升对药剂的信息进行匹配时的稳健性。

在第1方式中，可以使用所取得的外观信息进行匹配，也可以使用基于所取得的外观信息的对照对象信息(对所取得的外观信息实施处理而生成的信息)来进行匹配。作为使用对照对象信息的情况下的处理，例如能进行药剂区域的提取、刻印以及/或者印字的提取、强调。这样的处理例如能基于改变照明条件而拍摄的多个图像来进行。另外，作为“匹配的程度”，能使用信息的一致度、相似度、可靠度或相关等值。

在第1方式以及后述的其他方式中，能将能确定药剂的形状、尺寸、刻印以及/或者印字、色彩等的信息设为“外观信息”。另外，能将针对药剂的形状、尺寸、刻印以及/或者印字、色彩等的、成为匹配时的基准的信息设为“基准信息”，并将基准信息的集合设为“基准信息群”。作为这些信息，能使用药剂的二维图像，但也可以不使用二维图像而使用三维图像、其他测量数据。

第2方式所涉及的药剂对照装置在第1方式的基础上，反映部通过将与所选择的基准信息对应的外观信息以及/或者对照对象信息作为针对外观信息所表示的药剂的新的基准信息追加存储到存储装置来进行反映。第2方式规定了反映的一个方式，在匹配的程度不满足预先决定的基准的情况下，追加存储基准信息(基准信息增加)。基准信息可以针对1个种类的药剂存储多个。

第3方式所涉及的药剂对照装置在第1方式的基础上，反映部基于与所选择的基准信息对应的外观信息以及/或者对照对象信息、和所存储的基准信息来生成新的基准信息，用生成的基准信息来更新所存储的基准信息，由此进行反映。第3方式规定了反映的一个方式，在匹配的程度不满足预先决定的基准的情况下，用新的基准信息来更新基准信息。因此，针对各个药剂的基准信息的数量得到维持。另外，新的基准信息能通过多个信息的加权相加等而生成，但生成手法并不限定于这样的方式。

第4方式所涉及的药剂对照装置在第1到第3方式任一者的基础上，反映部在针对所选择的基准信息的程度不足预先决定的基准值的情况下，判断为程度不满足基准并进行反映。第4方式规定了“不满足基准的情况”的一个方式，作为“(匹配的)程度”，针对第1方式，如上述那样，能使用一致度、相似度、可靠度、相关等值。

第5方式所涉及的药剂对照装置在第1到第4方式任一者的基础上，反映部在由针对所选择的基准信息的程度确定的顺位比预先决定的顺位低的情况下，判断为程度不满足基准并进行反映。第5方式规定了“不满足基准的情况”的一个方式，例如能设为“在由匹配的程度确定的顺位比第1位低的(第2位以下)情况下进行反映”。

第6方式所涉及的药剂对照装置在第1到第5方式任一者的基础上，还具备：信息处理部，对外观信息实施强调药剂的刻印以及/或者印字的处理，匹配部使用实施了处理的外观信息来进行匹配。通过使用第6方式中的实施了强调处理的信息来进行匹配，能提升匹配的精度。

第7方式所涉及的药剂对照装置在第1到第6方式任一者的基础上，反映部使表示反映的定时的定时信息与基准信息建立关联地存储到存储装置。作为“表示反映的定时的信息”，例如能使用反映的日期时间，但也可以使用其他信息。

第8方式所涉及的药剂对照装置在第7方式的基础上，显示控制部使基准信息和定时信息建立关联地显示于显示装置。根据第8方式，用户能视觉辨识进行反映的定时以及该定时的基准信息。

第9方式所涉及的药剂对照装置在第1到第8方式任一者的基础上，还具备：拍摄部，拍摄药剂，外观信息取得部取得拍摄部所拍摄的图像。在第9方式中，优选通过使用多个拍摄装置、能移动的拍摄装置、或使药剂的位置、姿态变化的装置等的方法策略来从多个方向拍摄药剂。另外，在第9方式中，能将拍摄部所拍摄的图像、或对拍摄图像实施了图像处理而得到的图像用作“基准信息”或“基准信息群”，由此能用对照对象的药剂和基准信息配合拍摄条件进行精度高的匹配。

第10方式所涉及的药剂对照装置在第1到第9方式任一者的基础上，还具备：光源，对药剂进行照明。第10方式所涉及的药剂对照装置可以具备多个光源、能移动的光源，还也可以是对应于拍摄方向来切换照明方向的方式。

第11方式所涉及的药剂对照装置在第1到第10方式任一者的基础上，还具备：关联信息取得部，取得药剂的关联信息，匹配部使用针对由关联信息确定的药剂的基准信息来进行匹配。另外，在第11方式中，能将读取了记载于处方笺的信息的数据、基于记载于处方笺的信息而由医师等用户输入以及/或者编辑的数据、记载于“药品笔记本”等笔记本的数据等用作“关联信息”。

第12方式所涉及的药剂对照装置在第1到第11方式任一者的基础上，外观信息、基准信息以及基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。第12方式规定了外观信息、基准信息以及基准信息群的一个方式。另外，在第12方式中，优选由同种信息构成外观信息、基准信息以及基准信息群(“若外观信息是药剂的二维图像，则基准信息以及基准信息群也由二维图像构成”等)。

为了达成上述的目的，本发明的第13方式所涉及的药剂对照方法具有：外观信息取得步骤，取得药剂的外观信息；匹配步骤，对基于所取得的外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；显示控制步骤，基于匹配的程度使包含在基准信息群中且与外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；接受步骤，接受多个候补中包含的基准信息的选择；和反映步骤，将与所选择的基准信息对应的外观信息以及/或者对照对象信息反映到所存储的基准信息群，在反映步骤中，在针对所选择的基准信息的匹配的程度不满足预先决定的基准的情况下进行反映。

根据第13方式，与第1方式同样，能提升对药剂的信息进行匹配时的稳健性。另外，对于第13方式所涉及的药剂对照方法，也可以进一步包含与第2到第12方式同样的结构。另外，使药剂对照装置或计算机执行这些方式的药剂对照方法的程序、以及记录有该程序的计算机可读的代码的非临时性记录介质也能作为本发明的方式而举出。

第14方式所涉及的药剂对照方法在第13方式的基础上，外观信息、基准信息以及基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。第14方式与第12方式同样地规定了外观信息、基准信息以及基准信息群的一个方式。

为了达成上述的目的，本发明的第15方式所涉及的药剂对照系统包含：外观信息取得装置，取得药剂的外观信息；匹配装置，对基于所取得的外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；显示控制装置，基于匹配的程度使包含在基准信息群中且与外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；接受装置，接受多个候补中包含的基准信息的选择；和反映装置，将与所选择的基准信息对应的外观信息以及/或者对照对象信息反应到所存储的基准信息群，反映装置在针对所选择的基准信息的匹配的程度不满足预先决定的基准的情况下进行反映。

根据第15方式，与第1方式同样地，能提升对药剂的信息进行匹配时的稳健性。另外，对于第15方式所涉及的药剂对照系统，也可以进一步包含与第2到第12方式同样的结构。

第16方式所涉及的药剂对照系统在第15方式的基础上，外观信息、基准信息以及基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。第16方式与第12方式同样地规定了外观信息、基准信息以及基准信息群的一个方式。

发明效果

如以上说明的那样，根据本发明的药剂对照装置、药剂对照方法以及药剂对照系统，能提升对药剂的信息进行匹配时的稳健性。

附图说明

图1是表示第1实施方式所涉及的药剂对照装置的结构的图。

图2是表示运送被分包的药剂的情形的图。

图3是表示光源以及摄像机的配置的侧视图。

图4是表示光源以及摄像机的配置的俯视图。

图5是表示处理部的结构的图。

图6是表示存储于存储部的信息的图。

图7是表示第1实施方式所涉及的药剂对照方法的处理的流程图。

图8是照明方向切换的说明中所用的第1说明图。

图9是照明方向切换的说明中所用的第2说明图。

图10是表示显示基准图像的多个候补的情形的图。

图11是表示显示基准图像的多个候补的情形的其他图。

图12是表示追加了基准图像的状态下的匹配结果的示例的图。

图13是表示显示基准图像的多个候补的情形的另外其他图。

图14是表示将基准图像和反映日期时间建立关联地显示的情形的图。

图15是表示将基准图像不断更新的情形的图。

图16是表示第2实施方式所涉及的药剂对照装置的结构的图。

图17是表示进行药剂的鉴别辅助的情况下的光源以及摄像机的配置的侧视图。

图18是表示进行药剂的鉴别辅助的情况下的光源以及摄像机的配置的俯视图。

图19是表示第2实施方式所涉及的药剂对照方法的处理的流程图。

图20是表示割线与印字的关系有偏差的情形的图。

图21是表示割线与印字的关系有偏差的情形的其他图。

具体实施方式

以下参考附图来详细说明本发明所涉及的药剂对照装置、药剂对照方法以及药剂对照系统的实施方式。另外，本发明所涉及的药剂对照系统由分别具有构成以下说明的药剂对照装置的各部的功能的多个装置构成。

<第1实施方式>

图1是表示本发明的第1实施方式所涉及的药剂对照装置10(药剂对照装置)的结构的图。药剂对照装置10具备处理部100、存储部300(存储装置)、显示部400(显示装置)、操作部500和运送机构240，在处理部100连接有照明部200(光源)、摄像机210(拍摄部)、摄像机220(拍摄部)以及处方笺读取器230。

摄像机210以及摄像机220由数字摄像机构成。如图2所示那样，在连续构成分包袋702(药包)的药包带700的铅垂上侧(图3的+Z侧)配置摄像机210，在药包带700的铅垂下侧(图3的-Z侧)配置摄像机220，来从上下(多个不同的方向)拍摄被分包到分包袋702中的药剂800(药片、胶囊剂等)，针对表面以及背面取得图像。分包袋702(药包带700)通过运送机构240在图2的+X方向(沿着药包带700的长边方向的轴；图2的箭头方向)上被运送，在拍摄时，照明部200所具有的多个光源202(光源)从上下分别4个方向对分包袋702进行照明。多个光源202各自与摄像机210、220的拍摄光轴1001的间隔(d1、d2、d3、d4)相同。即，多个光源202和拍摄光轴1001为等间隔(d1＝d2＝d3＝d4)(参考图4)。

处方笺读取器230读取处方笺信息(关联信息的一个方式)。例如通过OCR(OpticalCharacter Recognition，光学字符识别)来从记载于纸的处方笺读取患者姓名、开处方的药剂以及其数量等信息。在将表示与开处方的药剂相关的信息的条形码等记录于处方笺的情况下，可以从条形码读取开处方的药剂以及其数量等信息。另外，医师、药剂师等用户也可以读取处方笺，并用操作部500的键盘510以及/或者鼠标520等输入设备来输入处方笺信息。

<处理部的结构>

处理部100基于用摄像机210、220拍摄的图像以及用处方笺读取器230读取的信息等来进行分包到分包袋702中的药剂的对照。如图5所示那样，处理部100具备关联信息取得部100A(关联信息取得部)、外观信息取得部100B(外观信息取得部)、匹配部100C(匹配部)、显示控制部100D(显示控制部)、接受部100E(接受部)、反映部100F(反映部)、以及信息处理部100G(信息处理部)。另外，处理部100具备CPU110(CPU：Central Processing Unit，中央处理器)、ROM120(ROM：Read Only Memory，只读存储器)、以及RAM130(RAM：Random AccessMemory，随机存取存储器)。

上述的处理部100的功能能使用各种处理器(processor)来实现。在各种处理器中例如包含执行软件(程序)来实现各种功能的通用的处理器即CPU(Central ProcessingUnit，中央处理器)。另外，在上述的各种处理器中还包含专门化成图像处理的处理器即GPU(Graphics Processing Unit，图形处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等能在制造后变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)。进而，ASIC(Application Specific Integrated Circuit，特定用途集成电路)等具有为了执行特定的处理而专用设计的电路结构的处理器即专用电气电路等也包含在上述的各种处理器中。

各部的功能可以由1个处理器实现，也可以由同种或异种的多个处理器(例如多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)实现。另外，可以由1个处理器实现多个功能。作为由1个处理器构成多个功能的示例，第1，如以计算机所代表的那样，有由1个以上的CPU与软件的组合构成1个处理器且该处理器作为多个功能而实现的形态。第2，如系统级芯片(System On Chip：SoC)等所代表的那样，有使用由1个IC(Integrated Circuit，集成电路)芯片实现系统整体的功能的处理器的形态。如此地，使用1个以上的上述各种处理器将各种功能作为硬件的结构来构成。进而，这些各种处理器的硬件的结构更具体是将半导体元件等电路元件组合而成的电气电路(circuitry)。这些电气电路也可以是使用或、与、非、异或、以及将它们组合而成的逻辑运算来实现上述功能的电气电路。

在上述的处理器或电气电路执行软件(程序)时，将要执行的软件的处理器(计算机)可读的代码存储到ROM120(ROM：Read Only Memory，只读存储器)等非临时性记录介质中，由处理器参考该软件。存储于非临时性记录介质的软件包含用于执行本发明所涉及的药剂对照方法的程序。也可以将代码不是记录于ROM而是记录于各种光磁记录装置、半导体存储器等非临时性记录介质。在利用软件的处理时，例如将RAM130(RAM：Random AccessMemory，随机存取机器)用作临时性存储区域，另外例如还能参考存储于未图示的EEPROM(Electronically Erasable and Programmable Read Only Memory)的数据。这些处理器或电气电路所进行的处理由CPU110整合。

<存储部的结构>

存储部300由CD(Compact Disk，光盘)、DVD(Digital Versatile Disk，数字多功能盘)、硬盘(Hard Disk)、各种半导体存储器等非临时性记录介质以及其控制部构成，将图6所示的信息相互建立关联地存储。关联信息300A(关联信息)是用处方笺读取器230读取的处方笺的信息、或基于处方笺由用户进行了输入、编辑等的信息。关于关联信息300A，可以进行基于记载于处方笺的药剂的一般名称来输入特定的药剂的名称、或者将先发医药品和后发医药品相互变更等。拍摄图像300B(图像、外观信息)是用摄像机210、220拍摄的药剂的图像，包含针对药剂的表面以及背面的图像。在拍摄图像中包含多个药剂的情况下，可以将从拍摄图像提取出针对单一的药剂的区域而得到的图像作为拍摄图像300B。对照对象图像300C(对照对象信息)是基于拍摄图像300B生成的图像(例如强调了刻印以及/印字的图像)。基准图像群300D(基准信息群)是针对药剂的表面以及背面的图像，是成为模板匹配时的基准的基准图像(主图像)的集合。基准图像可以包含从制药公司提供的图像等用药剂对照装置10以外的手段拍摄的图像、对该图像实施了图像处理而得到的图像。对照结果300E(对照结果)是拍摄图像或对照对象图像所表示的药剂的对照结果，定时信息300F(定时信息)是表示对基准信息的反映的定时的信息(追加、更新的日期时间等)。

<显示部以及操作部的结构>

显示部400具备监视器410(显示装置)，能显示输入的图像等外观信息、基准图像的候补、存储于存储部300的信息等。操作部500包含作为输入设备以及/或者指向设备的键盘510以及鼠标520，用户能经由这些设备以及监视器410的画面进行外观信息(图像等)的取得指示、药剂的对照指示、基准信息的选择等本发明所涉及的药剂对照方法的执行所需的操作(后述)。另外，可以由触控面板构成监视器410，并经由该触控面板进行操作。

<药剂对照方法的处理>

参考图7的流程图来说明上述结构的药剂对照装置10所进行的药剂对照方法的处理。另外，以下对外观信息、基准信息以及基准信息群是药剂的图像(二维图像)的情况进行说明，但如后述那样，这些信息也可以是三维的图像，还可以是图像以外的信息。具体地，外观信息、基准信息以及基准信息群只要包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者即可。例如能将能确定药剂的形状、尺寸、刻印以及/或者印字、色彩等的信息(图像、测量数据等)设为“外观信息”。另外，能将针对药剂的形状、尺寸、刻印以及/或者印字、色彩等的成为匹配时的基准的信息设为“基准信息”，并将基准信息的集合设为“基准信息群”。

<关联信息的取得>

关联信息取得部100A例如经由处方笺读取器230取得处方笺信息等关联信息(步骤S100：关联信息取得步骤)。可以将输入的处方笺信息直接作为关联信息取得，也可以取得由用户基于处方笺经由操作部500进行了输入、编辑等的信息。另外，关联信息取得部100A可以对应于用户的操作而取得用户以目视等而辨认出的药剂的特征(例如药片的种类、形状、颜色等)、或所谓的“药品笔记本”等笔记本中记载的药剂名称、数量、服用方法等信息来作为关联信息，并将其加入处方笺信息，或取代其来使用。

<基准图像的取得>

外观信息取得部100B基于步骤S100中取得的关联信息来取得基准图像(基准图像群、基准信息群)(步骤S105：基准图像取得步骤、基准信息取得步骤)。例如，取得针对处方笺信息中包含的药剂的基准图像。要取得的基准图像可以是用药剂对照装置10拍摄的图像，也可以是对拍摄图像实施了图像处理(例如能由信息处理部100G进行)而得到的图像。另外，也可以是对这些图像进行后述的“反映”而得到的基准图像。外观信息取得部100B可以从存储部300取得(读出)基准图像(基准图像群300D中包含的图像)，也可以从外部的存储装置(网络上的服务器、数据库等)取得。也可以对从外部的存储装置取得的图像实施图像处理来作为基准图像。

<分包药剂的拍摄>

外观信息取得部100B控制摄像机210、220(拍摄部)，来取得从多个不同的方向(图2～4的±Z方向；铅垂上下方向)拍摄分包到分包袋702中的药剂800(参考图2、4)而得到的拍摄图像(拍摄图像300B、外观信息)(步骤S110：外观信息取得步骤)。这时，由照明部200以及光源202对分包袋702进行照明。外观信息取得部100B使拍摄图像作为拍摄图像300B存储到存储部300。

<对照对象图像的生成>

信息处理部100G(信息处理部)生成基于拍摄图像的对照对象图像(步骤S120：外观信息取得步骤、信息处理步骤)。信息处理部100G例如能进行刻印以及/或者印字的强调、2值化、反转等图像处理。另外，信息处理部100G能不仅在基于拍摄图像的对照对象图像(对照对象信息的一个方式)的生成中，而且在基准图像(基准信息的一个方式)的生成中也进行这些图像处理。以下说明作为图像处理的一个方式的刻印强调图像的生成例。

<刻印强调图像的生成>

外观信息取得部100B通过切换照明部200所具有的多个光源202(参考图3、4)当中对药剂进行照明的光源，来依次切换针对药剂的照明方向。外观信息取得部100B每当切换针对药剂的照明方向时，就使摄像机210、220(拍摄部)拍摄药剂。信息处理部100G将与多个照明方向对应的多个拍摄图像(外观信息)合成来生成强调图像(外观信息)。根据本方式，能不受对药剂进行照明的照明方向、药剂的表面形状的影响地正确进行附于药剂的刻印的辨认。

如图8所示那样，刻印EM由形成于药剂T的表面的槽构成。另外，图8的(a)部分是刻印EM的主视图，(b)部分是沿着图中的直线CL的药剂T的截面图，(c)部分是表面形状与(b)部分不同的药剂T的截面图。若从一个方向对刻印EM进行照明，就会沿着刻印EM的照明光源侧的轮廓产生影。该影的朝向、形状以及强度根据照明方向、刻印EM的形状以及药剂T的表面形状而不同。

如图9的上层((a)部分)所示那样，在4个方向的药剂区域图像数据54中，分别沿着刻印EM的照明光源侧(正照射照明光的光源202侧)的轮廓产生影图像56。另外，刻印EM由于与药剂T的表面同色，因此在实际的图像上难以识别，但在图中为了说明与照明方向相应的刻印EM与影图像56的关系而图示成能识别刻印EM。

信息处理部100G如图9的中层((b)部分)所示那样，通过对每个药剂T的4个方向的药剂区域图像数据54分别实施边缘检测处理，来从各药剂区域图像数据54中分别提取与影图像56对应的特征图像数据58。由此，对1分包的量的各个药剂T得到4个方向的每个照明方向的特征图像数据58(以下称作4个方向的特征图像数据58)，信息处理部100G将每个药剂T的4个方向的特征图像数据58依次存放到存储部300中。

信息处理部100G如图9的下层((c)部分)所示那样，从存储部300读出1分包的量的每个药剂T的4个方向的特征图像数据58，按每个药剂T将4个方向的特征图像数据58合并来生成合并图像数据60。例如将4个方向的特征图像数据58重合来进行合并。由此，由于将4个方向的每个照明方向的影图像56合并成一者，因此在合并图像数据60上，刻印EM的全部轮廓就变得清楚。然后，对1分包的量的每个药剂T分别生成合并图像数据60(刻印强调图像)，将各个合并图像数据60作为基准图像(基准图像群300D)或对照对象图像(对照对象图像300C)存放到存储部300中。

信息处理部100G不仅能生成上述的刻印强调图像，还能通过拍摄图像的边缘强调、印字部分以及/或者背景部分的浓度、色彩的变更、2值化等来生成印字强调图像。

<模板匹配>

匹配部100C(匹配部)对步骤S120中生成的对照对象图像300C(对照对象信息)和步骤S105中取得的基准图像(基准图像群300D：基准信息群)进行模板匹配(对照)(步骤S130：匹配步骤)。模板匹配能通过公知的手法(例如记载于JP特开2014-67342号的方法)进行，例如能在使对照对象图像300C和基准图像相对移动以及/或者旋转的同时算出一致度、相似度、相关等匹配程度。也可以进行图像的放大或缩小。匹配部100C使对照结果作为对照结果300E存储到存储部300。

<基准图像的候补的显示>

显示控制部100D(显示控制部)基于匹配的程度使基准图像(基准信息)的多个候补显示于监视器410(显示装置)(步骤S140：显示控制步骤)。具体地，显示控制部100D显示包含在基准图像群300D(基准信息群)中且与对照对象图像(外观信息)对应的针对药剂的基准图像的多个候补。图10是表示候补的显示例的图，将对照对象图像810和基准图像的多个候补(基准图像902、904、906)与匹配顺位(将匹配程度高的候补设为上位)一起显示。在图10中仅显示药剂的单面，但也可以显示两面(以后的图中也同样)。图11是候补的其他显示例，显示基准图像和其匹配度(相似度等；将完全一致的情况设为1.0)。

<基准图像的选择>

反映部100F(反映部)判断匹配程度是否满足预先决定的基准(步骤S150：判断步骤)。以下将“匹配顺位为第1位以及/或者匹配程度为0.80(基准值的一例)以上”作为基准来进行说明。反映部100F(反映部)能通过经由操作部500的用户的操作来设定基准的项目(顺位或程度等)以及内容(顺位、匹配程度的值等)，能参考所设定的基准来进行判断。在满足基准的情况下(例如顺位为第1位、匹配程度为0.80以上、等)，不进行后述的基准图像的反映而前进到步骤S200。这时，反映部100F可以使“由于满足匹配基准，因此不进行基准图像的反映”这一意思的消息显示于监视器410。另一方面，在不满足基准的情况下，如以下那样接受基准图像的选择并进行反映。

在图10、11的示例中，对照对象图像810本来的话应当与基准图像906最为匹配，但起因于拍摄条件等，刻印的水平部分(附图标记810A，以虚线表现)变得细而不清晰，刻印映照得接近于V字。因此，与基准图像902的匹配程度会变高，基准图像906的匹配顺位是第3位(比预先决定的顺位(第1位)低)，匹配程度是0.79(不足预先决定的基准值(0.80))，不满足上述的基准(步骤S150“否”)。因此，接受部100E接受所显示的多个候补(图10、11的示例中是基准图像902、904、906)中包含的基准图像(基准信息)的选择(步骤S160：接受步骤)。在图10、11的示例中，设经由操作部500接受基于用户操作的基准图像906(正解图像)的选择。

<向基准信息群的反映>

若选择了基准图像，反映部100F就将与所选择的基准信息对应的外观信息以及/或者对照对象信息反应到所存储的基准信息群。具体地，将与所选择的基准图像906(基准信息)对应的对照对象图像810(对照对象信息)反映到存储于存储部300(存储装置)的基准图像群300D(基准信息群)。如以下说明的那样，在“反映”中包含基准图像的追加和更新，反映部100F能基于经由操作部500的用户的设定来判断是追加还是更新基准图像(步骤S170：判断步骤)。

<追加基准图像的情况>

反映部100F将与所选择的基准图像906(基准信息)对应的拍摄图像(外观信息)以及/或者对照对象图像810(对照对象信息)作为针对对照对象图像810所表示的药剂(以下称作“药剂A”)的新的基准图像(构成基准图像群300D的图像、基准信息)，追加存储到存储部300(存储装置)(步骤S180：反映步骤、追加步骤)。通过该“追加”，对药剂A增加基准图像的数量。反映部100F能将表示追加(反映)的定时的信息作为定时信息300F与基准图像908(基准信息)建立关联地存储到存储部300。

图12是表示通过上述的处理对药剂A追加对照对象图像810作为基准图像908的状态下的匹配结果的示例的图。图12表示在追加了基准图像908的状态下进行匹配，对照对象图像810(与图10、11的示例相同)和所追加的基准图像908相匹配，由此药剂A的匹配顺位成为第1位的状态(被正确匹配的状态)。如此地，通过在匹配的程度不满足预先决定的基准的情况下进行基准图像的追加(基准信息的反映)，从而不断追加合适的基准图像(刻印的映照方式多种多样的多个基准图像：例如参考图14)。由此，能对存在拍摄条件的不同、药剂的个体差异的各种对照对象图像(对照对象信息的一个方式)进行正确的匹配，能提升对药剂的信息进行匹配时的稳健性。

图13是表示匹配结果的其他示例的图。在该示例中，对照对象图像812的刻印的左侧(附图标记812A，以虚线表现)变得细而不清晰，刻印映照得接近于Y字。因此，与基准图像910的匹配程度会变高。在这样的情况下，也能进行上述的选择的接受以及基准图像的追加。

图14是表示不断追加基准图像的情形的图。显示控制部100D例如能对应于经由操作部500的用户的指示，使基准图像(基准信息)、文件名、以及针对基准图像的定时信息(图14的示例中是反映日期时间)建立关联地显示于监视器410(显示装置)。

<更新基准图像的情况>

在图10、11的示例中进行基准图像的更新的情况下(步骤S170的判断结果是“更新”的情况)，反映部100F基于与所选择的基准图像906(基准信息)对应的拍摄图像(外观信息)以及/或者对照对象图像810(对照对象信息)、和存储于存储部300的基准图像906来生成新的基准图像(基准信息)。然后，反映部100F用生成的主图像(基准图像)来更新存储的基准图像906(步骤S190：反映步骤、更新步骤)。在更新的情况下，维持基准图像的数量。反映部100F例如能通过多个图像的加权相加来生成新的基准图像。图15是表示基准图像的更新的情形的图。虽然最初的基准图像906的刻印细而不清晰，但第一次更新后的基准图像916的刻印的左右部分变得粗而清晰。另外，在第二次更新后的基准图像918中，刻印的水平部分也变得粗而清晰。与基准图像的追加的情况同样，反映部100F能将表示更新(反映)的定时的信息作为定时信息300F与基准图像908(基准信息)建立关联地存储到存储部300，显示控制部100D能将基准图像和定时信息建立关联地显示于监视器410。

通过这样的基准图像的更新，也能使用合适的基准图像(图15的示例中，刻印粗而清晰的基准图像)，能提升对药剂的信息进行匹配时的稳健性。

<第2实施方式>

<药剂的鉴别辅助>

在上述的实施方式中，主要说明在药剂监查辅助中进行的分包药剂的对照，但本发明的药剂对照装置、药剂对照方法以及药剂对照系统还能适用于患者带到医院、药房等的药剂的鉴别辅助。图16是表示用于辅助药剂的鉴别的药剂对照装置11的结构的图，与第1实施方式所涉及的药剂对照装置10相比较，省略了处方笺读取器230和药包带的运送机构240。在使用药剂对照装置11来进行鉴别辅助的情况下，如图17的侧视图所示那样，取代分包袋而在培养皿等容器710中放入药剂800来进行拍摄。图18是图17所示的状态的俯视图。进行鉴别的情况下的其他结构与上述的药剂对照装置10同样。药剂对照装置11的药剂的对照处理也能与药剂对照装置10的情况同样地进行，在进行自备药的鉴别的情况下，有时处方笺无法确认。在该情况下，关联信息取得部100A可以根据用户的操作将以目视等辨认出的药剂的特征(例如药片的种类、形状、颜色等)、或记载于所谓的“药品笔记本”等笔记本的药剂名称、数量、服用方法等信息作为关联信息来输入，并取代处方数据进行使用。

<进行鉴别辅助的情况下的处理>

图19是药剂对照装置11的药剂对照处理(鉴别辅助处理)的流程图。在图19中，对象药剂的拍摄能取代图7的步骤S110而作为步骤S112(外观信息取得步骤)来进行。另外，与其对应，省略图7的步骤S210，步骤S200成为步骤S205。其他处理(匹配、候补的显示、选择的接受、反映等)与图7的流程图同样。通过这样的处理，对于药剂的鉴别辅助，也能通过本发明的药剂对照装置、药剂对照方法以及药剂对照系统来提升对药剂的信息进行匹配时的稳健性。

<外观信息、基准信息等的其他示例>

在上述的第1、第2实施方式中，说明了外观信息、基准信息以及基准信息群是药剂的图像(二维图像)的情况。但在本发明中，药剂的外观信息、基准信息以及基准信息群也可以不是二维图像，能使用能掌握形状、尺寸、色彩、刻印以及/或者印字等的其他信息(药剂的形状数据以及/或者外观数据、三维图像(立体图像))。具体地，药剂的外观信息、基准信息以及基准信息群只要包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者即可。以下说明能用作外观信息、基准信息以及基准信息群的信息(测量数据)的其他示例。

在通过光切法取得药剂的三维数据的情况下，从激光源对药剂照射线状的激光并用摄像机拍摄反射光，通过对图像进行解析来算出被照射激光的位置处的截面形状。然后，通过在使药剂和激光相对移动的同时(例如在与切面正交的方向上移动的同时)重复该处理，能测量(复原)药剂的三维形状、尺寸、刻印等。在测量时，也可以通过用1个或多个能旋转的反射镜使激光的照射方向变化来移动切面。

作为光切法以外的三维测量手法，能举出图案投影法、TOF法(TOF：Time ofFlight，飞行时间)、立体法、SfM法(SfM：Solid from Motion)等。图案投影法是如下那样的方法：通过激光等对测量对象物投影条纹状的图案，并用立体摄像机(分离配置的多个摄像机)拍摄条纹的状态，基于所得到的图像来复原三维形状。同样地，还能使用利用了由立体摄像机取得的三维图像的立体法。在TOF法中，基于对测量对象物照射激光后到接受到反射光为止的时间来求取到测量对象点的距离，在改变成为对象的点的同时重复测量，来得到三维形状。

另外，在SfM法中，取得多个测量对象物的图像，基于所取得的图像中的特征点来求取拍摄时的摄像机位置。在求取摄像机位置时，特征点的三维配置也被复原。进而，通过除了SfM法以外还使用被称作MVS(Multi-View Stereo，多视角立体)的手法，能将密的点群复原。另外，通过并用编码靶标、定位靶标，能进一步高精度地进行测量。

在本发明的药剂对照装置、药剂对照方法以及药剂对照系统中，能将通过以上例示的方法得到的测量数据用作外观信息、基准信息以及基准信息群，由此能与上述的第1、第2实施方式同样地提升对药剂的信息进行匹配时的稳健性。另外，本发明的药剂对照装置可以具备利用这些方法的测量部(激光源、图案投射装置、立体摄像机、复原处理部等)，本发明的药剂对照方法也可以包含利用这些方法的测量步骤。

以上关于本发明的实施方式以及其他方式进行了说明，但本发明并不限定于上述的方式，能在不脱离本发明的精神的范围内进行各种变形。

附图标记说明

10 药剂对照装置

11 药剂对照装置

54 药剂区域图像数据

56 影图像

58 特征图像数据

60 合并图像数据

100 处理部

100A 关联信息取得部

100B 外观信息取得部

100C 匹配部

100D 显示控制部

100E 接受部

100F 反映部

100G 信息处理部

110 CPU

120 ROM

130 RAM

200 照明部

202 光源

210 摄像机

220 摄像机

230 处方笺读取器

240 运送机构

300 存储部

300A 关联信息

300B 拍摄图像

300C 对照对象图像

300D 基准图像群

300E 对照结果

300F 定时信息

400 显示部

410 监视器

500 操作部

510 键盘

520 鼠标

700 药包带

702 分包袋

710 容器

800 药剂

810 对照对象图像

812 对照对象图像

850 激光源

852 药剂

854 摄像机

856 反射镜

902 基准图像

904 基准图像

906 基准图像

908 基准图像

910 基准图像

916 基准图像

918 基准图像

1001 拍摄光轴

EM 刻印

H 高度

S100～S210 药剂对照方法的各步骤

T 药剂

W 宽度

Claims (16)

1.一种药剂对照装置，其特征在于，具备：

外观信息取得部，取得药剂的外观信息；

匹配部，对基于所述取得的所述外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；

显示控制部，基于所述匹配的程度使包含在所述基准信息群中且与所述外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；

接受部，接受所述多个候补中包含的所述基准信息的选择；和

反映部，将与所述选择的所述基准信息对应的所述外观信息以及/或者所述对照对象信息反映到所述存储的所述基准信息群，

所述反映部在针对所述选择的所述基准信息的所述匹配的所述程度不满足预先决定的基准的情况下进行所述反映。

2.根据权利要求1所述的药剂对照装置，其特征在于，

所述反映部通过将与所述选择的所述基准信息对应的所述外观信息以及/或者所述对照对象信息作为针对所述外观信息所表示的药剂的新的基准信息追加存储到所述存储装置来进行所述反映。

3.根据权利要求1所述的药剂对照装置，其特征在于，

所述反映部基于与所述选择的所述基准信息对应的所述外观信息以及/或者所述对照对象信息、和所述存储的所述基准信息来生成新的基准信息，用所述生成的所述基准信息来更新所述存储的所述基准信息，由此进行所述反映。

4.根据权利要求1～3中任一项所述的药剂对照装置，其特征在于，

所述反映部在针对所述选择的所述基准信息的所述程度不足预先决定的基准值的情况下，判断为所述程度不满足所述基准并进行所述反映。

5.根据权利要求1～4中任一项所述的药剂对照装置，其特征在于，

所述反映部在由针对所述选择的所述基准信息的所述程度确定的顺位比预先决定的顺位低的情况下，判断为所述程度不满足所述基准并进行所述反映。

6.根据权利要求1～5中任一项所述的药剂对照装置，其特征在于，

所述药剂对照装置还具备：

信息处理部，对所述外观信息实施强调药剂的刻印以及/或者印字的处理，

所述匹配部使用实施了所述处理的外观信息来进行所述匹配。

7.根据权利要求1～6中任一项所述的药剂对照装置，其特征在于，

所述反映部使表示所述反映的定时的定时信息与所述基准信息建立关联地存储到所述存储装置。

8.根据权利要求7所述的药剂对照装置，其特征在于，

所述显示控制部使所述基准信息和所述定时信息建立关联地显示于所述显示装置。

9.根据权利要求1～8中任一项所述的药剂对照装置，其特征在于，

所述药剂对照装置还具备：

拍摄部，拍摄所述药剂，

所述外观信息取得部取得所述拍摄部所拍摄的图像。

10.根据权利要求1～9中任一项所述的药剂对照装置，其特征在于，

所述药剂对照装还具备：

光源，对所述药剂进行照明。

11.根据权利要求1～10中任一项所述的药剂对照装置，其特征在于，

所述药剂对照装置还具备：

关联信息取得部，取得药剂的关联信息，

所述匹配部使用针对由所述关联信息确定的药剂的所述基准信息来进行所述匹配。

12.根据权利要求1～11中任一项所述的药剂对照装置，其特征在于，

所述外观信息、所述基准信息以及所述基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。

13.一种药剂对照方法，其特征在于，具有：

外观信息取得步骤，取得药剂的外观信息；

匹配步骤，对基于所述取得的所述外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；

显示控制步骤，基于所述匹配的程度使包含在所述基准信息群中且与所述外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；

接受步骤，接受所述多个候补中包含的所述基准信息的选择；

反映步骤，将与所述选择的所述基准信息对应的所述外观信息以及/或者所述对照对象信息反映到所述存储的所述基准信息群，

在所述反映步骤中，在针对所述选择的所述基准信息的所述匹配的所述程度不满足预先决定的基准的情况下进行所述反映。

14.根据权利要求13所述的药剂对照方法，其特征在于，

所述外观信息、所述基准信息以及所述基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。

15.一种药剂对照系统，其特征在于，包含：

外观信息取得装置，取得药剂的外观信息；

匹配装置，对基于所述取得的所述外观信息的对照对象信息和存储于存储装置的药剂的基准信息群进行匹配；

显示控制装置，基于所述匹配的程度使包含在所述基准信息群中且与所述外观信息对应的针对药剂的基准信息的多个候补显示于显示装置；

接受装置，接受所述多个候补中包含的所述基准信息的选择；

反映装置，将与所述选择的所述基准信息对应的所述外观信息以及/或者所述对照对象信息反映到所述存储的所述基准信息群，

所述反映装置在针对所述选择的所述基准信息的所述匹配的所述程度不满足预先决定的基准的情况下进行所述反映。

16.根据权利要求15所述的药剂对照系统，其特征在于，

所述外观信息、所述基准信息以及所述基准信息群包含药剂的二维或三维的形状数据以及/或者外观数据、药剂的二维图像或三维图像当中至少1者。

Images