CN110892445A - 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序 - Google Patents

药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN110892445A
CN110892445A CN201880047269.1A CN201880047269A CN110892445A CN 110892445 A CN110892445 A CN 110892445A CN 201880047269 A CN201880047269 A CN 201880047269A CN 110892445 A CN110892445 A CN 110892445A
Authority
CN
China
Prior art keywords
image
medicine
images
light source
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880047269.1A
Other languages
English (en)
Other versions
CN110892445B (zh
Inventor
岩见一央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Medical Co ltd
Original Assignee
Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyama Chemical Co Ltd filed Critical Toyama Chemical Co Ltd
Publication of CN110892445A publication Critical patent/CN110892445A/zh
Application granted granted Critical
Publication of CN110892445B publication Critical patent/CN110892445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/007—Marking tablets or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toxicology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序，减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息，精度良好地提取刻印。由图像处理装置解决上述课题，其具备：取得向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像的取得部；对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像的边缘图像生成部；和将多个边缘图像合成来生成合成图像的图像合成部。

Description

药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理 方法以及程序
技术领域
本发明涉及药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序，特别涉及读取附加于药剂的刻印的药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序。
背景技术
已知从拍摄到药剂的拍摄图像识别药剂的种类的装置。例如将药剂照亮，拍摄被照亮的药剂，对得到的拍摄图像的药剂区域和按每个药剂的种类预先登记的主图像进行对照，能由此识别药剂的种类。
在专利文献1中记载了一种刻印显示读取装置，其具备：从不同方向对设置于物体的刻印显示照射光的多个照明单元；对刻印显示进行摄像的摄像单元；将由摄像单元得到的照明不同的多个各图像信息合成来得到合成图像的图像合成单元；和从该合成图像读取刻印显示的内容的读取单元。
根据专利文献1的装置，能使对象物的拍摄面清晰，改善刻印的S/N(Signal toNoise，信噪比)比因颜色不均匀以及反射不均匀而变差。
现有技术文献
专利文献
专利文献1：JP特开2002-334323号公报
发明内容
发明要解决的课题
但是，在专利文献1的装置中不能减少刻印以外的信息。因此，若将专利文献1记载的装置应用到药剂的识别中，就会读取药剂所具有的斑纹等。如此地，若将斑纹等刻印以外的信息作为药剂的信息而得到，就不能适当地进行与主图像之间的对照，存在这样的问题点。
本发明鉴于这样的事情而完成，其目的在于，提供药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序，减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息，精度良好地提取刻印。
用于解决课题的手段
为了达成上述目的，图像处理装置的一个方案具备：取得部，取得向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像；边缘图像生成部，对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和图像合成部，将多个边缘图像合成来生成合成图像。
根据本方案，由于对向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像，将多个边缘图像合成来生成合成图像，因此能减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
优选地，边缘图像生成部使用比刻印的槽的宽度的一半大的尺寸的边缘提取滤波器来生成多个边缘图像。由于通过使用这样的尺寸的边缘提取滤波器，从而不依赖于光的照射方向的表面的纹样等的信号就会相对降低，因此能减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
优选地，所谓与照射方向相应的方向，包含照射方向的俯视表面的情况下的方向。由此，能适当地生成多个边缘图像。
优选地，所谓与照射方向相应的方向，包含与照射方向的俯视表面的情况下的方向相比倾斜45度的方向和与照射方向的俯视表面的情况下的方向相比倾斜-45度的方向。由此，能适当地生成多个边缘图像。
优选地，取得部取得向表面照射的光的照射方向为第1方向、第2方向、第3方向以及第4方向的药剂的4张图像，所谓第2方向，是在俯视表面的情况下与第1方向对置的方向，所谓第3方向，是在俯视表面的情况下与第1方向正交的方向，所谓第4方向，是在俯视表面的情况下与第3方向对置的方向。通过使用从正交的4个方向照射光的图像，能生成适当的合成图像。
为了达成上述目的，药剂识别装置的一个方案具备：载台，载置在表面附加有刻印的药剂；照射部，具有向表面照射的光的照射方向分别不同的多个光源；拍摄部，取得分别拍摄到通过多个光源对药剂的表面分别照射光的药剂的多个图像；边缘图像生成部，对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和图像合成部，将多个边缘图像合成来生成合成图像。
根据本方案，由于将在表面附加有刻印的药剂载置于载台，通过向表面照射的光的照射方向分别不同的多个光源对药剂的表面分别照射光，取得拍摄到药剂的多个图像，对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像，将多个边缘图像合成来生成合成图像，因此能减少药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
优选地，照射部具备：在第1方向上照射光的第1光源；在第2方向上照射光的第2光源；在第3方向上照射光的第3光源；和在第4方向上照射光的第4光源，所谓第2方向，是在俯视表面的情况下与第1方向对置的方向，所谓第3方向，是在俯视表面的情况下与第1方向正交的方向，所谓第4方向，是在俯视表面的情况下与第3方向对置的方向。通过从正交的4个方向照射光来取得图像，能生成适当的合成图像。
优选地，照射部具备：在第5方向上照射光的第5光源；在第6方向上照射光的第6光源；在第7方向上照射光的第7光源；和在第8方向上照射光的第8光源，所谓第6方向，是在俯视表面的情况下与第5方向对置的方向，所谓第7方向，是在俯视表面的情况下与第5方向正交的方向，所谓第8方向，是在俯视表面的情况下与第7方向对置的方向，载台由具有光透过性的材料构成，第1光源、第2光源、第3光源以及第4光源配置在载台的一个面侧，第5光源、第6光源、第7光源以及第8光源配置在载台的与一个面侧不同的另一个面侧。在药剂的刻印配置于载台的上表面以及下表面的任一者的情况下，都能从正交的4个方向照射光来取得图像，能生成适当的合成图像。
为了达成上述目的，图像处理方法的一个方案具备：取得步骤，取得向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像；边缘图像生成步骤，对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和图像合成步骤，将多个边缘图像合成来生成合成图像。
根据本方案，由于对向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像，将多个边缘图像合成来生成合成图像，因此能减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
为了达成上述目的，程序的一个方案使计算机执行如下功能：取得功能，取得向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像；边缘图像生成功能，对多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和图像合成功能，将多个边缘图像合成来生成合成图像。
根据本方案，由于对向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像的各图像分别使用与照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像，将多个边缘图像合成来生成合成图像，因此能减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
为了达成上述目的，药剂检查辅助装置的一个方案对药剂进行检查，在该药剂检查辅助装置中具备：药剂判别部，对来自包含药剂的药剂主图像的药剂数据库的药剂主图像和拍摄到要进行检查的药剂的拍摄图像进行对照，来判别存在于拍摄图像的药剂与哪一个药剂相符；和一览作成部，作成要进行检查的药剂的一览表，该一览表将药剂主图像和拍摄图像中的判别为各药剂的药剂区域图像对齐位置且强调刻印部分或印字部分地进行显示。
根据本方案，由于将药剂的药剂主图像和拍摄图像中的药剂区域图像对齐位置且强调刻印部分或印字部分地进行显示，因此不管识别信息是刻印还是印字，都能使用户适当地辨识识别信息。
发明的效果
根据本发明，能减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息，精度良好地提取刻印。
附图说明
图1是药剂识别装置的顶视图。
图2是药剂识别装置的侧视图。
图3是表示药剂识别装置的内部结构的框图。
图4是表示全方向入射图像、左入射图像、右入射图像、上入射图像以及下入射图像的一例的图。
图5是表示全方向补正图像、左补正图像、右补正图像、上补正图像以及下补正图像的图。
图6是表示全方向补正图像、左补正图像、右补正图像、上补正图像以及下补正图像的识别信息的区域的图。
图7是药剂识别装置的立体图。
图8是药剂识别装置的顶视图。
图9是药剂识别装置的顶视图。
图10是药剂识别装置的侧视图。
图11是药剂识别装置的顶视图。
图12是药剂识别装置的侧视图。
图13是表示药剂识别装置的内部结构的框图。
图14是穿过药片的俯视xy面的情况下的中心的x轴方向的截面结构的示意图。
图15是表示药片的左入射图像的穿过俯视xy面的情况下的中心的x轴方向的亮度分布的图。
图16是表示药片的右入射图像的穿过俯视xy面的情况下的中心的x轴方向的亮度分布的图。
图17是表示药片的合成图像的亮度分布的图。
图18是表示左方向的索贝尔滤波器以及右方向的索贝尔滤波器的图。
图19是表示图15所示的分布的微分分布的图。
图20是表示图15所示的分布的微分分布的图。
图21是表示图19以及图20所示的分布的合成分布的图。
图22是表示上入射图像、右入射图像、左入射图像以及下入射图像的一例、和各图像的亮度值的范围的图。
图23是表示调整亮度值的范围后的上入射图像、右入射图像、左入射图像以及下入射图像的一例、和调整后的亮度值的范围的图。
图24是表示上方向的索贝尔滤波器、右上方向的索贝尔滤波器、左上方向的索贝尔滤波器、下方向的索贝尔滤波器、右下方向的索贝尔滤波器以及左下方向的索贝尔滤波器的图。
图25是表示上方向边缘图像、右方向边缘图像、左方向边缘图像以及下方向边缘图像的一例的图。
图26是表示合成图像的一例和亮度值的范围的图。
图27是表示药剂识别装置的内部结构的框图。
图28是表示包装有药片的多个药包连续的药包带的图。
图29是表示药剂识别方法的处理的一例的流程图。
图30是表示药剂检查辅助装置的内部结构的框图。
图31是表示药剂检查辅助方法的处理的流程图。
图32是表示一览表的图。
图33是表示比较例的一览表的图
具体实施方式
以下，按照附图来详细说明本发明的优选的实施方式。
<第1实施方式>
在药剂(药片)的表面附加有用于识别药剂的类别的识别信息。该识别信息一般通过刻印或印字(印刷)而附加。因此，只要能判别该识别信息是通过刻印以及印字的哪一者附加的，就能减少药剂的对照过程的候补。
第1～第3实施方式所涉及的药剂识别装置判定附加在表面的药剂的识别信息是通过刻印以及印字的哪一者来附加的。
另外，所谓通过刻印来附加，是指通过在药剂的表面形成凹陷区域即槽来形成识别信息。槽并不限定于通过挖掘表面而形成，也可以是通过按压表面而形成。另外，刻印也可以包含分割线等不附带识别功能的刻印。
另外，所谓通过印字来附加，是指通过在药片的表面以接触或非接触的方式赋予可食性墨水等来形成识别信息。在此，所谓通过印字来附加，与通过印刷来附加同义。
〔药剂识别装置的结构〕
图1是第1实施方式所涉及的药剂识别装置100(图像处理装置的一例)的顶视图，图2是药剂识别装置100的侧视图。
如图1以及图2所示那样，药剂识别装置100具备载台102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、摄像机120以及摄像机122。另外，在图1中省略摄像机120以及摄像机122的图示。
载台102是具有与xy平面(水平面)平行的载置面102A以及背面102B的板状构件。载台102由具有光透过性的材料构成。这里，在x轴方向上具有130mm的大小，在y轴方向上具有80mm的大小。在载台102的载置面102A载置药片T(药剂的一例)。若将药片T当中与载置面102A相接的面设为下表面，将下表面的相反面设为上表面，则在药片T的上表面以及下表面的至少一者通过刻印或印字而附加药片T的识别信息I。在此，药片T未被分包纸包裹，但也可以在被透明或半透明的分包纸包裹的状态下载置。
第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118分别是条状(线状)的LED(Light Emitting Diode，发光二极管)光源。第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118被未图示的支承部支承，分别从相对于z轴方向倾斜的方向向载台102照射可见光的照明光。在此，第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118点亮时的亮度分别相同。
第1光源104在从载台102向z轴方向的一侧(图2中上侧)离开一定量的位置且在载置面102A的x轴方向的一侧(图1中左侧)的位置与y轴方向平行地配置。第1光源104向载台102在第1方向上照射照明光。
第2光源106在从载台102向z轴方向的一侧离开一定量的位置且在x轴方向的另一侧(图1中右侧)的位置与y轴方向平行地配置。第2光源106向载台102在第2方向上照射照明光。第2方向是在俯视xy面(俯视表面的一例)的情况下与第1方向对置的方向。
第3光源108在从载台102向z轴方向的一侧离开一定量的位置且在y轴方向的一侧(图1中上侧)的位置与x轴方向平行地配置。第3光源108向载台102在第3方向上照射照明光。第3方向是在俯视xy面的情况下与第1方向正交的方向。
第4光源110在从载台102向z轴方向的一侧离开一定量的位置且在y轴方向的另一侧(图1中下侧)的位置与x轴方向平行地配置。第4光源110向载台102在第4方向上照射照明光。第4方向是在俯视xy面的情况下与第3方向对置的方向。
第5光源112在从载台102向z轴方向的另一侧(图2中下侧)离开一定量的位置且在x轴方向的一侧的位置与y轴方向平行地配置。第5光源112向载台102在第5方向上照射照明光。第5方向是在俯视xy面的情况下与第1方向相同的方向。
第6光源114在从载台102向z轴方向的另一侧离开一定量的位置且在x轴方向的另一侧的位置与y轴方向平行地配置。第6光源114向载台102在第6方向照射照明光。第6方向是在俯视xy面的情况下与第5方向对置的方向。
第7光源116在从载台102向z轴方向的另一侧离开一定量的位置且在y轴方向的一侧的位置与x轴方向平行地配置。第7光源116向载台102在第7方向上照射照明光。第7方向是在俯视xy面的情况下与第5方向正交的方向。
第8光源118在从载台102向z轴方向的另一侧离开一定量的位置且在y轴方向的另一侧的位置与x轴方向平行地配置。第8光源118向载台102在第8方向上照射照明光。第8方向是在俯视xy面的情况下与第7方向对置的方向。
摄像机120以及摄像机122是取得可见光的彩色图像的摄像装置，被未图示的支承部支承。摄像机120以及摄像机122分别具备未图示的镜头以及摄像元件。
摄像机120设置于从载台102向z轴方向的一侧离开一定量的位置。摄像机120使光轴与z轴方向平行地朝向载置面102A配置。摄像机122设置于从载台102向z轴方向的另一侧离开一定量的位置。摄像机122使光轴与z轴方向平行地朝向背面102B配置。摄像机120的光轴以及摄像机122的光轴隔着载台102对置。
图3是表示药剂识别装置100的内部结构的框图。药剂识别装置100具备取得部124、图像比较部130以及判定部136。
取得部124除了包含前述的摄像机120以及摄像机122以外，还包含照射部126以及拍摄控制部128而构成。
照射部126具有多个光源。在此，照射部126具备前述的第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118。
拍摄控制部128对照射部126的各光源分别控制点亮以及熄灭。
另外，拍摄控制部128控制摄像机120以及摄像机122。摄像机120以及摄像机122遵循拍摄控制部128的控制分别拍摄通过多个光源对药片T的表面分别照射光的药片T，取得多个拍摄图像。
另外，取得部124也可以构成为，通过具备用于与计算机等外部设备进行通信的通信接口而从外部设备取得向药片T的表面照射的光的照射方向分别不同的药片T的多个图像。
图像比较部130对取得部124取得的多个拍摄图像分别进行比较。图像比较部130具备图像处理部132以及相关度检测部134。
图像处理部132对取得部124取得的多个拍摄图像分别实施亮度不均匀补正处理以及噪声降低处理等图像处理。相关度检测部134对由图像处理部132实施过图像处理的各图像彼此的相关度进行评价。
判定部136对应于图像比较部130的比较结果来判定药片T的识别信息I是通过刻印以及印字的哪一者而附加的。在此，对由相关度检测部134检测到的相关度和预先确定的阈值进行比较来进行判定。另外，判定部136判定是否在药片T的表面附加有刻印。
〔图像处理方法〕
对第1实施方式所涉及的图像处理方法进行说明。在此，在载台102的载置面102A，将识别信息I朝向铅垂方向的上侧来载置药片T。即，识别信息I配置在药片T的上表面。另外，优选是不对药片T照射照射部126的光源的照明光以外的光的环境。
首先，拍摄控制部128将第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118全都点亮，由第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118对药片T的上表面以及下表面照射照明光。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的全方向入射图像以及下表面的全方向入射图像。
接下来，拍摄控制部128将第1光源104以及第5光源112点亮，将其他光源熄灭，通过第1光源104以及第5光源112对药片T的上表面以及下表面照射照明光。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的左入射图像以及下表面的左入射图像。
接下来，拍摄控制部128将第2光源106以及第6光源114点亮，将其他光源熄灭，通过第2光源106以及第6光源114对药片T的上表面以及下表面照射照明光。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的右入射图像以及下表面的右入射图像。
接下来，拍摄控制部128将第3光源108以及第7光源116点亮，将其他光源熄灭，通过第3光源108以及第7光源116对药片T的上表面以及下表面照射照明光。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的上入射图像以及下表面的上入射图像。
进而，拍摄控制部128将第4光源110以及第8光源118点亮，将其他光源熄灭，通过第4光源110以及第8光源118对药片T的上表面以及下表面照射照明光。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的下入射图像以及下表面的下入射图像(取得步骤的一例、取得功能的一例)。
如此拍摄的全方向入射图像、左入射图像、右入射图像、上入射图像以及下入射图像被输入到图像比较部130。
图像比较部130的图像处理部132从输入的全方向入射图像、左入射图像、右入射图像、上入射图像以及下入射图像提取拍摄有识别信息I的图像。在此，由于识别信息I朝向铅垂方向的上侧，因此识别信息I被摄像机120拍摄到。图4是表示在取得部124中取得的全方向入射图像、左入射图像、右入射图像、上入射图像以及下入射图像当中由摄像机120拍摄到的药片T的上表面的全方向入射图像GA1、左入射图像GL1、右入射图像GR1、上入射图像GU1以及下入射图像GD1的一例的图。另外，在识别信息I朝向铅垂方向的下侧的情况下，识别信息I被摄像机122拍摄。另外，在载台102载置多个药片T而拍摄到多个药片T的情况下，从各图像提取所期望的药片T的区域。
图像处理部132对全方向入射图像GA1、左入射图像GL1、右入射图像GR1、上入射图像GU1以及下入射图像GD1分别实施亮度不均匀补正处理，生成全方向补正图像GA2、左补正图像GL2、右补正图像GR2、上补正图像GU2以及下补正图像GD2。
在该亮度不均匀补正处理中，例如用全方向入射图像GA1、左入射图像GL1、右入射图像GR1、上入射图像GU1以及下入射图像GD1分别除以对全方向入射图像GA1、左入射图像GL1、右入射图像GR1、上入射图像GU1以及下入射图像GD1分别实施高斯滤波处理后得到的图像。
图5是表示在图像处理部132中实施亮度不均匀补正处理后得到的全方向补正图像GA2、左补正图像GL2、右补正图像GR2、上补正图像GU2以及下补正图像GD2的图。
另外，图像处理部132也可以对全方向补正图像GA2、左补正图像GL2、右补正图像GR2、上补正图像GU2以及下补正图像GD2分别实施噪声降低处理。
该噪声降低处理例如实施包含中值滤波处理、高斯滤波处理、非局部平均滤波处理以及维纳滤波处理当中的至少一者的处理。
另外，图像处理部132也可以对亮度不均匀补正处理前的全方向入射图像GA1、左入射图像GL1、右入射图像GR1、上入射图像GU1以及下入射图像GD1分别实施噪声降低处理。
接着，图像比较部130的相关度检测部134对全方向补正图像GA2、左补正图像GL2、右补正图像GR2、上补正图像GU2以及下补正图像GD2分别进行比较，检测各图像的识别信息I的区域(刻印或印字区域的一例)的相关度(图像比较步骤的一例、图像比较功能的一例)。本实施方式所涉及的相关度是进行比较的图像的相关越大则值越高的指标。相关度例如使用零平均归一化互相关匹配等模板匹配来检测。
图6是表示识别信息I通过印字P而附加的情况下的全方向补正图像GA2、左补正图像GL2、右补正图像GR2、上补正图像GU2以及下补正图像GD2的识别信息I的区域和识别信息I通过刻印S而附加的情况下的全方向补正图像GA3、左补正图像GL3、右补正图像GR3、上补正图像GU3以及下补正图像GD3的识别信息I的区域的一例的图。
如图6所示那样，在识别信息I通过印字P而附加的情况下，不依赖于照明光的照射方向地保存识别信息I的轮廓。因此，图像间的相关度相对变高。另一方面，在识别信息I通过刻印S而附加的情况下，对于刻印来说，由于影子的位置依赖于照明光的照射方向而不同，因此识别信息I的轮廓根据照射方向的不同会有较大不同。因此，图像间的相关度相对变低。
相关度检测部134中检测到的相关度被输入到判定部136。判定部136在输入的相关度高于预先确定的阈值的情况下判定为识别信息是通过印字而附加的，在阈值以下的情况下判定为识别信息是通过刻印而附加的(判定步骤的一例、判定功能的一例)。
如以上那样，能判定识别信息I是通过刻印以及印字的哪一者附加的。由此，能减少药片T的对照过程的候补，能减少运算的负担，谋求对照处理的高速化。
在本实施方式中，通过从4个方向照射照明光来取得4张各方向入射图像以及1张全方向入射图像，但也可以通过从2个方向照射照明光来取得2张各方向的入射图像以及1张两方向入射图像。另外，优选通过从3个以上方向照射照明光来取得3张以上的各方向的入射图像以及1张全方向入射图像。
<第2实施方式>
〔药剂识别装置的结构〕
图7是第2实施方式所涉及的药剂识别装置140的立体图，图8是药剂识别装置140的顶视图。另外，对与图1以及图2所示的药剂识别装置100共同的部分标注相同的附图标记，省略其详细的说明。
如图7以及图8所示那样，药剂识别装置140具备载台102、摄像机120、摄像机122、载置面侧圆顶照明142以及背面侧圆顶照明148。另外，在图8中省略摄像机120、摄像机122以及背面侧圆顶照明148的图示。
载置面侧圆顶照明142在从载台102向z轴方向的一侧(载置面102A侧)离开一定量的位置被未图示的支承部支承。载置面侧圆顶照明142包含光源保持部144以及多个点光源146而构成。光源保持部144是保持多个点光源146的保持构件。光源保持部144由具有光透过性的材料形成。光源保持部144形成为大致圆顶形状。
在光源保持部144的铅垂方向的上侧形成使光源保持部144的内部暴露的开口窗144A。在开口窗144A的铅垂方向的上方配置摄像机120。由此，能用摄像机120经由开口窗144A拍摄光源保持部144内的药片T。所谓光源保持部144内的药片T，是指载置于载台102且位于光源保持部144的内侧的药片T。
点光源146使用LED光源。点光源146沿着光源保持部144的外侧面的下段部以及上段部各自的周向等间隔地安装有8个。这16个点光源146向光源保持部144内的药片T照射照明光。
背面侧圆顶照明148在从载台102向z轴方向的另一侧(背面102B侧)离开一定量的位置被未图示的支承部支承。背面侧圆顶照明148包含光源保持部150以及多个点光源152而构成。光源保持部150与载置面侧圆顶照明142的光源保持部144同样地构成。
在光源保持部150的铅垂方向的下侧形成使光源保持部150的内部暴露的开口窗150A。在开口窗150A的铅垂方向的下方配置摄像机122。由此，能用摄像机122经由开口窗150A拍摄光源保持部150内的药片T。所谓光源保持部150内的药片T，是指载置于载台102且位于光源保持部150的内侧的药片T。
点光源152的结构以及配置与载置面侧圆顶照明142的点光源146同样。在此，多个点光源146以及多个点光源152的点亮时的亮度分别相同。
另外，表示药剂识别装置140的内部结构的框图与图3所示的药剂识别装置100的框图同样，点光源146以及点光源152包含在照射部126中。
这样构成的药剂识别装置140通过控制载置面侧圆顶照明142的各点光源146以及背面侧圆顶照明148的各点光源152各自的点亮以及熄灭，能对光源保持部144内的药片T从任意的照射方向照射照明光。
〔图像处理方法〕
对第2实施方式所涉及的图像处理方法进行说明。与第1实施方式同样，在载台102的载置面102A，将识别信息I朝向铅垂方向的上侧来载置药片T。
首先，药剂识别装置140的拍摄控制部128将载置面侧圆顶照明142的多个点光源146以及背面侧圆顶照明148的各点光源152全都点亮。由此，多个点光源146分别从相对于与药片T的表面(上表面)垂直的方向倾斜的多个方向(这里是16个方向)照射光。另外，多个点光源152分别从相对于与药片T的表面(下表面)垂直的方向倾斜的多个方向(这里是16个方向)照射光。
另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的全方向入射图像以及下表面的全方向入射图像。
接下来，拍摄控制部128将载置面侧圆顶照明142的多个点光源146当中的1个点光源146点亮，将剩余的点光源熄灭。同样地，将背面侧圆顶照明148的多个点光源152当中的1个点光源152点亮，将剩余的点光源熄灭。如此地，点光源146以及点光源152从相对于与药片T的表面垂直的方向倾斜的一个方向照射光。
然后，拍摄控制部128通过摄像机120以及摄像机122拍摄药片T，取得药片T的上表面的一方向入射图像以及下表面的一方向入射图像。全方向入射图像以及一方向入射图像被输入到图像比较部130。
图像比较部130的图像处理部132从输入的全方向入射图像以及一方向入射图像提取拍摄到识别信息I的图像、即提取由摄像机120拍摄的全方向入射图像以及一方向入射图像。另外，图像处理部132对提取的全方向入射图像以及一方向入射图像分别实施亮度不均匀补正处理，生成全方向补正图像以及一方向补正图像。
接着，图像比较部130的相关度检测部134对全方向补正图像以及一方向补正图像进行比较，来检测各图像的识别信息I的区域的相关度。
在识别信息I通过刻印而附加的情况下，一方向补正图像(一方向入射图像)的识别信息I的区域的信号难以衰减，但全方向补正图像(全方向入射图像)的识别信息I的区域的信号会因散射而衰减。因此，全方向补正图像(全方向入射图像)的识别信息I的区域与一方向补正图像(一方向入射图像)的识别信息I的区域的相关度相对变低。
另一方面，在识别信息I通过印字而附加的情况下，全方向补正图像(全方向入射图像)的识别信息I的区域以及一方向补正图像(一方向入射图像)的识别信息I的区域的信号都不衰减。因此，全方向补正图像(全方向入射图像)的识别信息I的区域与一方向补正图像(一方向入射图像)的识别信息I的区域的相关度相对变高。
相关度检测部134中检测到的相关度被输入到判定部136。判定部136在输入的相关度高于预先确定的阈值的情况下判定为识别信息是通过印字而附加的，在阈值以下的情况下判定为识别信息是通过刻印而附加的。
如以上那样，能判别识别信息I是通过刻印以及印字的哪一者附加的。由此，能减少药片T的对照过程的候补，能减少运算的负担，谋求对照处理的高速化。
另外，根据药剂识别装置140，还能通过控制载置面侧圆顶照明142的点光源146以及背面侧圆顶照明148各自的点亮以及熄灭来取得第1实施方式的同样的全方向(4个方向)入射图像、左入射图像、右入射图像、上入射图像以及下入射图像。
<第3实施方式>
〔药剂识别装置的结构〕
图9是第3实施方式所涉及的药剂识别装置160的顶视图，图10是药剂识别装置160的侧视图。另外，对与图1以及图2所示的药剂识别装置100共同的部分标注相同的附图标记，省略其详细的说明。
如图9以及图10所示那样，药剂识别装置160具备载台102、第1光源104、第5光源112、摄像机120、摄像机122、第1落射照明162以及第2落射照明168。另外，在图9中省略摄像机120、摄像机122以及第2落射照明168的图示。
第1落射照明162配置在载台102与摄像机120之间且配置在摄像机120的光轴上，被未图示的支承部支承。第1落射照明162具备光源164以及半反射镜166。
光源164使用LED光源。半反射镜166使从光源164射出的照明光向与摄像机120的光轴一致的方向反射。另外，半反射镜166使从载台102返回的反射光透过而入射到摄像机120。如此地，第1落射照明162将与摄像机120的光轴同轴的落射照明光向载台102的载置面102A照射。
另外，第2落射照明168在载台102与摄像机122之间且在摄像机122的光轴上被未图示的支承部支承。第2落射照明168具备光源170以及半反射镜172。
光源170使用LED光源。半反射镜172使从光源170射出的照明光向与摄像机122的光轴一致的方向反射。另外，半反射镜172使从载台102返回的反射光透过而入射到摄像机122。如此地，第2落射照明168将与摄像机122的光轴同轴的落射照明光向载台102的背面102B照射。
另外，表示药剂识别装置160的内部结构的框图与图3所示的药剂识别装置100的框图同样，光源164以及光源170包含在照射部126中。
这样构成的药剂识别装置160能通过第1光源104以及第5光源112分别对药片T的表面从倾斜的一个方向照射照明光。另外，能通过第1落射照明162以及第2落射照明168分别对药片T的表面从落射方向(垂直方向)照射照明光。
〔图像处理方法〕
对第3实施方式所涉及的图像处理方法进行说明。与第1实施方式同样地，在载台102的载置面102A将识别信息I朝向铅垂方向的上侧地载置药片T。
首先，药剂识别装置160的拍摄控制部128将第1光源104以及第5光源112点亮，将第1落射照明162以及第2落射照明168熄灭。另外，拍摄控制部128通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的一方向入射图像以及下表面的一方向入射图像。
接下来，拍摄控制部128将第1落射照明162以及第2落射照明168点亮，将第1光源104以及第5光源112熄灭。然后，通过摄像机120拍摄药片T的上表面，通过摄像机122拍摄药片T的下表面，取得药片T的上表面的落射图像以及下表面的落射图像。一方向入射图像以及落射图像被输入到图像比较部130。
图像比较部130的图像处理部132从输入的一方向入射图像以及落射图像提取拍摄到识别信息I的图像、即提取由摄像机120拍摄的一方向入射图像以及落射图像。另外，图像处理部132对提取的一方向入射图像以及落射图像分别实施亮度不均匀补正处理，生成一方向补正图像以及落射补正图像。
接着，图像比较部130的相关度检测部134对一方向补正图像以及落射补正图像进行比较，检测各图像的识别信息I的区域的相关度。
在识别信息I通过刻印而附加的情况下，一方向补正图像(一方向入射图像)的识别信息I的区域的信号难以衰减，但落射补正图像(落射图像)的识别信息I的区域的信号因散射而衰减。因此，落射补正图像(落射图像)的识别信息I的区域与一方向补正图像(一方向入射图像)的识别信息I的区域的相关度相对变低。
另一方面，在识别信息I通过印字而附加的情况下，落射补正图像(落射图像)的识别信息I的区域以及一方向补正图像(一方向入射图像)的识别信息I的区域的信号都不衰减。因此，落射补正图像(落射图像)的识别信息I的区域与一方向补正图像(一方向入射图像)的识别信息I的区域的相关度相对变高。
相关度检测部134中检测到的相关度被输入到判定部136。判定部136在输入的相关度高于预先确定的阈值的情况下判定为识别信息是通过印字而附加的，在阈值以下的情况下判定为识别信息是通过刻印而附加的。
如以上那样，能判别识别信息I是通过刻印以及印字的哪一者附加的。由此，能减少药片T的对照过程的候补，能减少对照的运算处理的负担。
<第4实施方式>
若提取到药片的刻印以及分割线，药片的对照的健壮性就会提升。在对照中进行局部特征量或模板匹配等图像彼此的比较的情况下以及进行OCR(Optical CharacterRecognition，光学字符识别)等字符辨识的情况下也同样。
健壮性降低的原因是由于不管在哪种情况下，成为比较的对象的图像彼此不同。特别是，在恰好决定了光源与刻印以及分割线的位置关系的情况下，刻印以及分割线的图像间的差会变得显著。这是因为，依赖于光源与刻印以及分割线的位置关系，槽的影子的产生情形不同。
第4～第5实施方式所涉及的药剂识别装置利用光的照射方向与产生刻印的影子的方向之间的关系来进行与光的照射方向相应的边缘提取滤波处理，仅提取药片的槽部分。由此，即使在恰好决定了光源与刻印的位置关系的情况下，也会减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息，精度良好地提取刻印。
〔药剂识别装置的结构〕
图11是第4实施方式所涉及的药剂识别装置180的顶视图，图12是药剂识别装置180的侧视图。药剂识别装置180的外观上的结构与图1以及图2所示的药剂识别装置100的结构是共同的，具备载台102、第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116、第8光源118、摄像机120以及摄像机122。在此，示出在载台102的位置A以及位置B分别载置1个药片T的示例。
药片T各自的直径是D，在表面形成由断面V字状的槽构成的分割线即刻印S。刻印S的槽的宽度是W。另外，所谓刻印S的槽的宽度，是与槽的延伸方向正交的方向上的从槽的一端到另一端的距离，是药片T的表面上的距离。在图11所示的示例中，药片T使刻印S朝向铅垂方向的上侧且使刻印S与y轴方向平行地载置在载台102。
图13是表示药剂识别装置180的内部结构的框图。另外，对与图3所示的框图共同的部分标注相同的附图标记，省略其详细的说明。药剂识别装置180具备取得部124、边缘图像生成部182以及图像合成部184。
取得部124取得向在表面附加有刻印的药剂的表面照射的光的照射方向分别不同的药剂的多个图像。在本实施方式中，由摄像机120以及摄像机122取得360dpi(dot perinch，每英寸点数)的分辨率的图像。
边缘图像生成部182对取得部124中取得的多个图像的各图像分别使用与照明光的照射方向相应的方向的、且与刻印的槽的宽度相应的尺寸的边缘提取滤波器，来生成多个边缘图像。
图像合成部184将边缘图像生成部182中生成的多个边缘图像合成来生成合成图像。
〔光源与刻印的位置关系引起的影子的产生的差异〕
在此，说明光源与刻印(分割线)的位置关系引起的影子的产生的差异。
图14是穿过图11所示的药片T的俯视xy面的情况下的中心的x轴方向的截面结构的示意图，表示1像素的相应量的行的分布。
在此，拍摄控制部128仅将照射部126的光源当中的第1光源104点亮，对载置于载台102的药片T从第1光源104照射图14所示的照明光LL。然后，由摄像机120拍摄药片T的上表面，取得左入射图像。
图15所示的分布PPAL是载置于位置A的药片T的左入射图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。另外，图15所示的分布PPBL是载置于位置B的药片T的左入射图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。在图15中，横轴表示归一化的x轴方向的位置，纵轴表示亮度值Y。如图15所示那样，药片T的表面的部分通过被照射照明光LL而亮度相对变高。另外，由于对刻印S的图14中的右侧的面SR也照射照明光LL，因此面SR的部分的亮度相对变高。另一方面，由于未对刻印S的图14中的左侧的面SL照射照明光LL，因此产生影子，面SL的部分的亮度相对变低。
进而，位置A比位置B距离第1光源104更近。因此，第1光源104的照明光LL是位置B比位置A弱。因此，分布PPBL比图15所示的分布PPAL在整体上亮度低。
接着，拍摄控制部128仅将照射部126的光源当中的第2光源106点亮，对载置于载台102的药片T从第2光源106照射图14所示的照明光LR。然后，由摄像机120拍摄药片T的上表面，取得右入射图像。
图16所示的分布PPAR是载置于位置A的药片T的右入射图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。另外，图16所示的分布PPBR是载置于位置B的药片T的右入射图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。在图16中，横轴表示归一化的x轴方向的位置，纵轴表示亮度值Y。如图16所示那样，药片T的表面的部分通过被照射照明光LR而亮度相对变高。另外，由于对刻印S的图14中的左侧的面SL也照射照明光LR，因此面SL的部分的亮度相对变高。另一方面，由于未对刻印S的图14中的右侧的面SR照射照明光LR，因此产生影子，面SR的部分的亮度相对变低。
进而，位置B比位置A距离第2光源106更近。因此，第2光源106的照明光LR是位置A比位置B弱。因此，分布PPAR比分布PPBR在整体上亮度低。
图17所示的分布PPAW是将位置A的药片T的左入射图像以及右入射图像相加后得到的合成图像的亮度分布，是穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。位置A与第1光源104的距离相对近，与第2光源106的距离相对远。因此，对于分布PPAW来说，在刻印S的面SR的位置和面SL的位置，亮度成为不同的值。
另外，图17所示的分布PPBW是将位置B的药片T的左入射图像以及右入射图像相加后得到的合成图像的亮度分布，是穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布。位置B与第1光源104的距离和与第2光源106的距离相等。因此，对于分布PPBW来说，在面SR的位置和面SL的位置，亮度成为相等的值。
如此可知，药片T的拍摄图像的亮度分布根据光源与刻印的位置关系而不同。作为其结果，能得到不同的影子的图像，因此图像的对照时的健壮性降低。
另外，即使对亮度分布彼此进行比较，也是相关降低。因此，即使进行2值化处理、噪声降低处理以及边缘提取处理等，在应用到左入射图像以及右入射图像的合成图像的情况下，由位置决定的阈值也分别不同，难以用较少的参数仅提取刻印部分。
在此，说明从拍摄图像提取亮度分布的示例，但不仅在亮度分布中，在RGB(RedGreen Blue)的图像以及RGB单色的图像中也会发生同样的问题。另外，在变换成CIE(Commission Internationale de l’Eclairage：国际照明委员会)XYZ表色系、CIELuv(L*u*v*)表色系、HSV(Hue，Saturation，Value)色空间、LCH(Light，Color，Hue)色空间的图像中也同样。
〔图像处理方法〕
对提取附加于药片T的表面的刻印S的第4实施方式所涉及的图像处理方法进行说明。
如前述那样，拍摄控制部128仅将照射部126的光源当中的第1光源104点亮，并由摄像机120拍摄药片T的上表面，取得左入射图像。另外，仅将照射部126的光源当中的第2光源106点亮，并由摄像机120拍摄药片T的上表面，取得右入射图像。
如此地取得的位置A的药片T以及位置B的药片T的左入射图像以及右入射图像被输入到边缘图像生成部182。
边缘图像生成部182对输入的左入射图像以及右入射图像分别使用与照射方向相应的方向的边缘提取滤波器来生成左边缘图像以及右边缘图像。在此，作为边缘提取滤波器，使用比刻印S的槽的宽度(的像素数)的一半大的尺寸的索贝尔滤波器。例如若刻印S的槽的宽度的像素数是4像素，就使用比其一半的2像素大的尺寸(x轴方向3像素×y轴方向3像素等)的索贝尔滤波器。本实施方式中，由于通过各照明光而分别在槽的宽度的一半的区域产生影子，因此通过使用考虑到距边缘的像素数的尺寸的边缘提取滤波器，能精度良好地提取槽，并且能减少比槽的宽度小的表面的纹样以及伤痕等刻印以外的信息。
另外，作为边缘提取滤波处理，能包含索贝尔滤波处理、拉普拉斯滤波处理以及坎尼滤波处理当中的至少一者，能对应于与主图像进行对照的对照方法而适当选择。
另外，所谓与照射方向相应的方向，这里是照射方向的俯视xy面的情况下的方向。即，来自第1光源104的照明光的照射方向的俯视xy面的情况下的方向是图11中从左向右的方向(右方向)，来自第2光源106的照明光的照射方向的俯视xy面的情况下的方向是图11中从右向左的方向(左方向)。
图18是表示各方向的索贝尔滤波处理中所用的索贝尔滤波器即左方向的索贝尔滤波器FL以及右方向的索贝尔滤波器FR的图。在本实施方式中，左入射图像以及右入射图像的分辨率为360dpi，x轴方向3像素×y轴方向3像素、x轴方向5像素×y轴方向5像素、或x轴方向7像素×y轴方向7像素等尺寸相当于刻印S的槽的像素数的一半。在分辨率不同的情况下，适当选择比刻印S的槽的宽度的像素数的一半大的尺寸的滤波器即可。这里，使用x轴方向3像素×y轴方向3像素的索贝尔滤波器。
边缘图像生成部182对位置A的药片T的左入射图像进行利用了索贝尔滤波器FL的边缘检测处理，生成左边缘图像。图19所示的分布PEAL是图15所示的分布PPAL的微分分布，与位置A的药片T的左边缘图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
另外，边缘图像生成部182对位置B的药片T的左入射图像进行利用了索贝尔滤波器FL的边缘检测处理，生成左边缘图像。图19所示的分布PEBL是图15所示的分布PPBL的微分分布，与位置B的药片T的左边缘图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
同样地，边缘图像生成部182对位置A的药片T的右入射图像进行利用了索贝尔滤波器FR的边缘检测处理，生成右边缘图像。图20所示的分布PEAR是图16所示的分布PPAR的微分分布，与位置A的药片T的右边缘图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
进而，边缘图像生成部182对位置B的药片T的右入射图像进行利用了索贝尔滤波器FR的边缘检测处理，生成右边缘图像。图20所示的分布PEBR是图16所示的分布PPBR的微分分布，与位置B的药片T的右边缘图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
最后，图像合成部184将左边缘图像以及右边缘图像合成来生成合成图像。
图21所示的分布PCA是分布PEAL以及分布PEAR的合成分布，与位置A的药片T的左边缘图像以及右边缘图像的合成图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
另外，图21所示的分布PCB是分布PEBL以及分布PEBR的合成分布，与位置B的药片T的左边缘图像以及右边缘图像的合成图像的、穿过药片T的俯视xy面的情况下的中心的x轴方向的亮度分布同等。
如图21所示那样，合成图像的亮度分布与图17所示的亮度分布相比较，刻印S的部分的S/N比(signal-to-noise ratio，信噪比)变高。
如此地，通过提取边缘，不依赖于照明的方向(不出现影子)的纹样等的信号相对降低，因此能够减少比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的信息来提取刻印。
<第5实施方式>
在第4实施方式中说明了利用向药片T的表面照射的光的照射方向分别不同的2张图像即左入射图像以及右入射图像的示例，但光的照射方向优选3个方向以上。在本实施方式中说明将光的照射方向设为4个方向来利用4张图像的示例。
〔图像处理方法〕
在此，在药剂识别装置180的载台102的载置面102A将刻印S朝向铅垂方向的上侧来载置药片T。
首先，拍摄控制部128取得药片T的上表面以及下表面的上入射图像、右入射图像、左入射图像以及下入射图像(取得步骤的一例)。
即，拍摄控制部128仅将照射部126的各光源当中的第3光源108以及第7光源116点亮，通过摄像机120以及摄像机122取得药片T的上表面以及下表面的上入射图像。同样地，拍摄控制部128仅将照射部126的各光源当中的第2光源106以及第6光源114点亮，通过摄像机120以及摄像机122取得药片T的上表面以及下表面的右入射图像，仅将照射部126的各光源当中的第1光源104以及第5光源112点亮，通过摄像机120以及摄像机122取得药片T的上表面以及下表面的左入射图像，仅将照射部126的各光源当中的第4光源110以及第8光源118点亮，通过摄像机120以及摄像机122取得药片T的上表面以及下表面的下入射图像。
如此取得的上入射图像、右入射图像、左入射图像以及下入射图像被输入到边缘图像生成部182。
边缘图像生成部182从输入的上入射图像、右入射图像、左入射图像以及下入射图像提取拍摄到刻印S的图像。在此，刻印S被摄像机120拍摄到。图22是表示在取得部124中取得的上入射图像、右入射图像、左入射图像以及下入射图像当中由摄像机120拍摄的上表面的上入射图像GU11、右入射图像GR11、左入射图像GL11以及下入射图像GD11的一例和各图像的亮度值的范围的图。
接着，边缘图像生成部182将上入射图像GU11、右入射图像GR11、左入射图像GL11以及下入射图像GD11的亮度值的范围调整成能视觉辨识刻印S的范围。图23是表示调整亮度值的范围后的上入射图像GU12、右入射图像GR12、左入射图像GL12以及下入射图像GD12的一例和调整后的亮度值的范围的图。
在此，边缘图像生成部182可以对上入射图像GU12、右入射图像GR12、左入射图像GL12以及下入射图像GD12分别实施亮度不均匀补正处理。在该亮度不均匀补正处理中，例如将上入射图像GU12、右入射图像GR12、左入射图像GL12以及下入射图像GD12分别除以对上入射图像GU12、右入射图像GR12、左入射图像GL12以及下入射图像GD12分别实施高斯滤波处理后得到的图像。
接下来，边缘图像生成部182对上入射图像GU12、右入射图像GR12、左入射图像GL12以及下入射图像GD12分别使用与照明光的照射方向相应的方向的、且与刻印S的槽的宽度的像素数相应的尺寸的边缘提取滤波器，来生成边缘图像。在此，与第4实施方式同样，作为边缘提取滤波器，使用比刻印S的槽的宽度的像素数的一半大的尺寸的索贝尔滤波器。
在本实施方式中，所谓与照射方向相应的方向，包含照明光的照射方向的俯视xy面的情况下的方向、与照射方向的俯视xy面的情况下的方向相比在俯视xy面的情况下倾斜45度的方向、和与照射方向的俯视xy面的情况下的方向相比在俯视xy面的情况下倾斜-45度的方向。这是由于照射部126的各光源的照明光并非完全的平行光，并且为了检测相对于各照射方向倾斜的方向的刻印。
另外，与第4实施方式同样，还能将与照射方向相应的方向仅设为照射方向的俯视xy面的情况下的方向。
图24是表示各方向的索贝尔滤波处理中所用的索贝尔滤波器即上方向的索贝尔滤波器FU、右上方向的索贝尔滤波器FUR、左上方向的索贝尔滤波器FUL、下方向的索贝尔滤波器FD、右下方向的索贝尔滤波器FDR以及左下方向的索贝尔滤波器FDL的图。另外，还使用图18所示的左方向的索贝尔滤波器FL以及右方向的索贝尔滤波器FR。
边缘图像生成部182对上入射图像GU12使用上方向的索贝尔滤波器FU来生成边缘图像，使用右上方向的索贝尔滤波器FUR来生成边缘图像，并使用左上方向的索贝尔滤波器FUL来生成边缘图像，将这3个边缘图像相加来生成上方向边缘图像GU13。
同样地，边缘图像生成部182对右入射图像GR12使用右方向的索贝尔滤波器FR、右上方向的索贝尔滤波器FUR以及右下方向的索贝尔滤波器FDR来生成右方向边缘图像GR13。
另外，边缘图像生成部182对左入射图像GL12使用左方向的索贝尔滤波器FL、左上方向的索贝尔滤波器FUL以及左下方向的索贝尔滤波器FDL来生成左方向边缘图像GL13。
进而，边缘图像生成部182对下入射图像GD12使用下方向的索贝尔滤波器FD、右下方向的索贝尔滤波器FDR以及左下方向的索贝尔滤波器FDL来生成下方向边缘图像GD13(边缘图像生成步骤的一例、边缘图像生成功能的一例)。
图25是表示上方向边缘图像GU13、右方向边缘图像GR13、左方向边缘图像GL13以及下方向边缘图像GD13的一例的图。如图25所示那样，各边缘图像的被提取出的边缘部分的亮度表现得高(表现成白色)。
边缘图像生成部182也可以对上方向边缘图像GU13、右方向边缘图像GR13、左方向边缘图像GL13以及下方向边缘图像GD13分别实施噪声降低处理(平滑化处理)。作为噪声降低处理，能包含中值滤波处理、高斯滤波处理、非局部平均滤波处理以及维纳滤波处理当中的至少一者，能对应于与主图像进行对照的对照方法而适当选择。
如此生成的上方向边缘图像GU13、右方向边缘图像GR13、左方向边缘图像GL13以及下方向边缘图像GD13被输入到图像合成部184。
图像合成部184将上方向边缘图像GU13、右方向边缘图像GR13、左方向边缘图像GL13以及下方向边缘图像GD13相加来生成合成图像GC(图像合成步骤的一例、图像合成功能的一例)。图26是表示合成图像GC的一例和亮度值的范围的图。如图26所示那样，合成图像GC将亮度值的范围扩大，刻印S的部分的亮度相对变高。因此，不依赖于照明的方向(不出现影子)的纹样以及伤痕等刻印S的部分以外的亮度相对变低，不会留下比刻印的槽的宽度小的药剂的表面的纹样以及伤痕等刻印以外的灰度信息。
如此地，由于能减少纹样等刻印S以外的信息，因此刻印S以外的信息不会作为药片T的信息被得到。因此，能精度良好地提取刻印S，能适当地进行与主图像的对照。
另外，图像合成部184也可以将上方向边缘图像GU13、右方向边缘图像GR13、左方向边缘图像GL13以及下方向边缘图像GD13相乘来生成合成图像GC。合成方法能对应于与主图像进行对照的对照方法而适当选择。
如以上那样，在恰好决定了光源以及刻印的位置关系的情况下，也能适当地提取附加于药片T的表面的刻印S。由此，能使药片的对照的健壮性提升。
这里说明了将照明光的照射方向设为4个方向的示例，但也可以是5个方向以上。照明光的照射方向越多则检测精度越高。照射方向的数量根据需要的检测精度和运算处理时间等适当决定即可。
精度良好地提取刻印的第4～第5实施方式适于在第1～第3实施方式中判别为识别信息是通过刻印而附加的情况下实施。在第1～第3实施方式中判别为识别信息是通过印字而附加的情况下，考虑进行用于从拍摄图像精度良好地提取印字的噪声降低处理以及锐化处理。
<第6实施方式>
还能将第1～第3实施方式的判别识别信息是通过刻印以及印字的哪一者来附加的结构以及第4～第5实施方式的提取刻印的结构应用于以下说明的药剂识别装置以及药剂检查辅助装置。
〔药剂识别装置的结构〕
图27是表示第6实施方式所涉及的药剂识别装置10的内部结构的框图。药剂识别装置10包括如下要素而构成：将包装的药剂照亮的照明部12；拍摄被照明部12照亮的药剂的拍摄部14；取得表示针对用户的药剂的处方的处方信息的处方信息取得部16；存储程序以及程序的执行所需的信息的存储部18；遵循存储于存储部18的程序进行各种处理的处理部20；能进行图像显示的显示部22；和从用户接受操作的操作部24。
在药剂的“包装”中包括一包化。所谓“一包化”，是指将处方开出(配药)的药剂按每一次服用进行分包(封装)。依照处方内容，有如下情况：在一个包装材料中封装种类不同的多个药剂的情况；在一个包装材料中封装同一种类的多个药剂的情况；以及在一个包装材料中仅封装一个药剂的情况。一包化的药剂的形态例如能举出药片、胶囊剂，但并没有特别限定。另外，包装材料例如能举出纸、塑料，但并没有特别限定。另外，“分包”(或“包装”)并不限定于按每一次服用进行分包的情况，只要是药剂被包装材料包装的情况即可。
照明部12包含光源而构成。作为照明部12的光源，能应用到此为止说明的第1光源104、第2光源106、第3光源108、第4光源110、第5光源112、第6光源114、第7光源116以及第8光源118当中的至少一者。也可以使用载置面侧圆顶照明142、背面侧圆顶照明148、第1落射照明162以及第2落射照明168。
拍摄部14包含摄像机而构成。作为拍摄部14的摄像机，能应用到此为止说明的摄像机120以及摄像机122的至少一者。
处方信息取得部16例如通过以光学方式读取处方笺中记载的字符来取得处方信息。也可以通过读取赋予给处方笺的条形码(或二维码)来取得处方信息。另外，也可以通过通信取得医师用计算机装置输入的处方信息。
存储部18是由暂时性存储器件和非暂时性存储器件构成的药剂数据库。存储部18按每个药剂的种类存储表示药剂的主图像。
处理部20例如由CPU(Central Processing Unit，中央处理器)构成。处理部20具有更新存储于存储部18的主图像的功能。处理部20在后述的特定的条件得以满足的情况下，使用由拍摄部14得到的拍摄图像来进行更新存储于存储部18的主图像的主更新处理。
处理部20包含如下要素而构成：控制照明部12的照明的照明控制部32；控制拍摄部14的拍摄的拍摄控制部34；基于由拍摄部14得到的拍摄图像来取得药剂的位置的药剂位置取得部35；从由拍摄部14得到的拍摄图像当中的药剂区域生成主图像的主图像生成部36；对由拍摄部14拍摄药剂而得到的拍摄图像的药剂区域和存储于存储部18的主图像进行对照的对照部42；基于由药剂位置取得部35取得的药剂的位置来判定是否更新主图像的更新判定部44；在由更新判定部44判定为更新主图像的情况下将由主图像生成部36生成的主图像登记到存储部18的登记部46；和控制显示部22的显示的显示控制部48。
也可以设置：算出表示主图像与拍摄图像当中的药剂区域的相关度的相关值、或药剂区域间的相关值的相关值算出部49；和设定基准位置的基准位置设定部50。
作为处理部20的照明控制部32以及拍摄控制部34，能应用到此为止说明的拍摄控制部128。另外，作为药剂位置取得部35，能应用到此为止说明的图像比较部130以及边缘图像生成部182。
〔药包〕
图28是表示包装有作为药剂的药片T的多个药包TP连续的药包带PB的图。能将药包带PB沿着x轴方向运送。在药片T上通过刻印或印字附加了表示药片T的种类的识别信息。在此，示出在各药片T上刻印有“L”、“M”或“N”的示例。
药包TP的包装材料优选两面都透明(包括半透明，以下相同)。也可以在药包TP的包装材料的单面实施印字或哑光加工。
连续的药包TP能按一个药包TP的x轴方向上的每个尺寸运送。也可以是，能对每一个药包TP检测药包TP的位置。
另外，本实施方式并不限定于运送药包TP的情况。也可以是药包TP仅载置于载置台等上的情况。
图29是表示第6实施方式所涉及的药剂识别方法的处理的一例的流程图。该处理由构成药剂识别装置10的处理部20的CPU遵循程序来执行。
首先，由处方信息取得部16取得处方信息(步骤S2)。
接着，由照明部12将被分包的药剂照亮(步骤S4)。另外，由拍摄部14拍摄被照明部12照亮的药剂(步骤S6)。由药剂位置取得部35取得药剂位置，并且由主图像生成部36从拍摄图像提取药剂区域(步骤S8)。
接着，由对照部42对存储于存储部18的主图像和拍摄图像的药剂区域进行对照(步骤S10)。
为了从提取的药剂区域判别识别信息是通过刻印以及印字的哪一者附加的，来减少对照过程的候补，能应用第1～第3实施方式的方法。
另外，为了精度良好地提取所提取的药剂区域的刻印，能使用第4～第5实施方式中说明的方法。
接着，判定存储部18中是否有主图像为非登记的药剂(步骤S12)，在主图像是非登记的药剂的情况下(步骤S12中“是”的情况下)，进一步判定是否是第一包(步骤S14)。在主图像是非登记且是第一包的情况下(步骤S14中“是”的情况下)，由登记部46将从拍摄图像提取的药剂区域的图像作为主图像进行登记(步骤S16)。
在是被登记有主图像的药剂的情况下(步骤S12中“否”的情况下)，由更新判定部44基于拍摄范围的基准位置(例如中心位置)与药剂的位置之间的距离来判定是否更新主图像(步骤S18)。
在判定为更新主图像的情况下(步骤S18中“是”的情况下)，由登记部46将从拍摄图像提取的药剂区域的图像作为主图像进行登记(步骤S20)。
判定药包内是否有其他药剂(步骤S22)，在有药包内的其他药剂的情况下(步骤S22中“是”的情况下)，回到步骤S10，对药包内的其他药剂进行对照处理。
在对药包的全部药剂进行药剂辨识处理从而在药包内没有其他药剂的情况下(步骤S22中“否”的情况下)，判定是否还有其他药包(步骤S24)，在有其他药包的情况下回到步骤S4。
另外，更新判定部44也可以在一个药包中包含多个药剂的情况下，基于药剂间的间隔来判定是否更新主图像。即，在刻印的情况下，若在相邻的位置存在大的药剂，则有时就难以出现影子，因此优选在周围没有其他药剂的情况下，判定为更新主图像。例如在药剂间的距离不足阈值(或阈值为以下)的情况下，由于在拍摄图像中难以出现刻印的影子，因此判定为不更新主图像。
在前述的说明中，主要以辨识药剂的刻印的情况为例进行了说明，但也可以辨识印在药剂上的字符或记号。
<第7实施方式>
第7实施方式所涉及的药剂检查辅助装置基于处方数据进行配药，检查分包到分包袋(药包)的药剂，显示药剂的一览表。
〔药剂检查辅助装置的结构〕
图30是表示第7实施方式所涉及的药剂检查辅助装置11的内部结构的框图。另外，对与图27所示的药剂识别装置10共同的部分标注相同的附图标记，省略其详细的说明。
对照部42相当于药剂判别部。对照部42对存储于存储部18的主图像(药剂主图像的一例)和拍摄部14中拍摄的拍摄图像进行对照，来判别存在于拍摄图像的药剂与哪一个药剂相符。
药剂检查辅助装置11具备一览作成部52。一览作成部52作成分包到分包袋的药剂(要进行检查的药剂的一例)的一览表。一览作成部52从拍摄部14取得分包到分包袋的药剂的图像。在此，取得由主图像生成部36从拍摄图像提取的药剂区域即药剂区域图像。另外，一览作成部52从应用于对照部42的图像合成部184取得分包到分包袋的药剂的合成图像。进而，一览作成部52从存储部18取得基于处方数据进行配药而得到的药剂的主图像。
一览作成部52具备显示图像生成部54以及旋转部56。
显示图像生成部54针对附加有刻印的药剂生成从合成图像中减去与该合成图像对应的药剂区域图像后得到的差分图像。该差分图像成为强调了药剂的刻印部分的显示图像。另外，显示图像生成部54针对附加有印字的药剂生成对药剂区域图像进行了噪声降低处理以及锐化处理的图像，来作为显示图像。
旋转部56使显示图像旋转，使显示图像和与该显示图像对应的主图像的刻印部分或印字部分在相同朝向上对齐。
〔药剂检查辅助方法的处理〕
对药剂检查辅助装置11的药剂检查辅助方法进行说明。图31是表示药剂检查辅助方法的处理的流程图。步骤S2～S24的处理与图29所示的流程图相同。
若在步骤S24中判定为针对全部药包进行了处理，就移转到步骤S26。在步骤S26中，在一览作成部52中作成一览表，将作成的一览表显示在显示部22。
图32是表示显示于显示部22的一览表L1的图。在此示出将药剂A、药剂B以及药剂C分别1个1个地分包到13袋分包袋中的示例。一览表L1具有显示应配药的药剂的主图像的显示图像的列E0以及显示分包到各分包袋中的药剂的显示图像的列E1～E13。
各列E0～E13被分割成显示药剂A的表侧的显示图像的行F1、显示药剂A的背侧的显示图像的行F2、显示药剂B的表侧的显示图像的行F3、显示药剂B的背侧的显示图像的行F4、显示药剂C的表侧的显示图像的行F5以及显示药剂C的背侧的显示图像的行F6。
在各列E0～E13的各行F1～F6显示与各个位置对应的显示图像。这里显示的药剂的显示图像和主图像的显示图像通过旋转部56使刻印部分或印字部分在相同朝向上对齐。
如图32所示那样，由于显示将应配药的药剂的主图像和各药剂的药剂区域图像对齐位置且强调了刻印部分以及印字部分的一览表，因此能进行用户的辨识容易的显示。另外，这里强调了刻印部分以及印字部分，但也可以显示强调了刻印部分以及印字部分中的一者的一览表。不管哪种情况都包含在对刻印部分或印字部分进行强调的一览表的概念中。
图33是表示比较例的一览表L2的图。图33所示的一览表L2在未进行刻印部分以及印字部分的强调的情况下显示主图像和药剂区域图像。对于药剂区域图像来说，看到的样子依赖于光源与刻印部分的位置关系而不同。因此，一览表L2的视觉辨识性差。
在本实施方式中，作为强调了药剂的刻印部分的显示图像，使用从合成图像中减去药剂区域图像后得到的差分图像，但只要是能提高药剂的刻印部分的用户的视觉辨识性的方法，显示于一览表的显示图像就并不限定于差分图像。
在本实施方式中，说明了检查分包到分包袋中的药剂的示例，药剂检查辅助装置11还能检查载置于器皿的药剂、或直接载置于载台的药剂。但是，分包到分包袋中的药剂的检查在操作性这一点上方便，因而优选。
另外，在药剂的检查中有监查和鉴别。在本实施方式中说明了对基于处方数据配药的药剂的监查进行辅助的示例，但药剂检查辅助装置11还能应用于药剂的鉴别的辅助。所谓药剂的鉴别，是指从药剂的外观确定该药剂。通过药剂的鉴别，例如能判别入院患者的自带药。
<其他>
上述的图像处理方法还能构成为用于使计算机实现取得功能、边缘图像生成功能、图像合成功能、图像比较功能以及判定功能的程序，并构成存储该程序的CD-ROM(Compact Disk-Read Only Memory，光盘只读存储器)等非暂时性的记录介质。
在到此为止说明的实施方式中，执行例如拍摄控制部128、图像比较部130、图像处理部132、相关度检测部134、判定部136、边缘图像生成部182以及图像合成部184等的各种处理的处理部(processing unit，处理单元)的硬件结构是如下所示那样的各种处理器(processor)。在各种处理器中包括：执行软件(程序)来作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit，中央处理器)；FPGA(Field Programmable GateArray，现场可编程门阵列)等能在制造后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)；ASIC(Application Specific Integrated Circuit，特定用途集成电路)等具有为了执行特定的处理而专用设计的电路结构的处理器即专用电气电路等。
1个处理部可以由这些各种处理器当中的1个构成，也可以由同种或异种的2个以上的处理器(例如多个FPGA、或CPU与FPGA的组合)构成。另外，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的示例，第1，如服务器以及客户端等计算机所代表的那样，有如下形态：由1个以上的CPU与软件的组合构成1个处理器，该处理器作为多个处理部发挥功能。第2，如系统级芯片(System On Chip：SoC)等所代表的那样，使用由1个IC(Integrated Circuit，集成电路)芯片实现包含多个处理部的系统整体的功能的处理器。如此地，各种处理部作为硬件结构而使用1个以上的各种处理器来构成。
进而，这些各种处理器的硬件结构更具体是组合了半导体元件等电路元件的电气电路(circuitry)。
本发明的技术范围并不限定于上述的实施方式所记载的范围。各实施方式中的结构等能在不脱离本发明的主旨的范围内在各实施方式间进行适当组合。
附图标记说明
10 药剂识别装置
11 药剂检查辅助装置
12 照明部
14 拍摄部
16 处方信息取得部
18 存储部
20 处理部
22 显示部
24 操作部
32 照明控制部
34 拍摄控制部
35 药剂位置取得部
36 主图像生成部
42 对照部
44 更新判定部
46 登记部
48 显示控制部
49 相关值算出部
50 基准位置设定部
52 一览作成部
54 显示图像生成部
56 旋转部
100 药剂识别装置
102 载台
102A 载置面
102B 背面
104 第1光源
106 第2光源
108 第3光源
110 第4光源
112 第5光源
114 第6光源
116 第7光源
118 第8光源
120 摄像机
122 摄像机
124 取得部
126 照射部
128 拍摄控制部
130 图像比较部
132 图像处理部
134 相关度检测部
136 判定部
140 药剂识别装置
142 载置面侧圆顶照明
144 光源保持部
144A 开口窗
146 点光源
148 背面侧圆顶照明
150 光源保持部
150A 开口窗
152 点光源
160 药剂识别装置
162 第1落射照明
164 光源
166 半反射镜
168 第2落射照明
170 光源
172 半反射镜
180 药剂识别装置
182 边缘图像生成部
184 图像合成部
E0～E13 列
F1～F6 行
FD 索贝尔滤波器
FDL 索贝尔滤波器
FDR 索贝尔滤波器
FL 索贝尔滤波器
FR 索贝尔滤波器
FU 索贝尔滤波器
FUL 索贝尔滤波器
FUR 索贝尔滤波器
GA1 全方向入射图像
GA2 全方向补正图像
GA3 全方向补正图像
GC 合成图像
GD1 下入射图像
GD11 下入射图像
GD12 下入射图像
GD13 下方向边缘图像
GD2 下补正图像
GD3 下补正图像
GL1 左入射图像
GL11 左入射图像
GL12 左入射图像
GL13 左方向边缘图像
GL2 左补正图像
GL3 左补正图像
GR1 右入射图像
GR11 右入射图像
GR12 右入射图像
GR13 右方向边缘图像
GR2 右补正图像
GR3 右补正图像
GU1 上入射图像
GU11 上入射图像
GU12 上入射图像
GU13 上方向边缘图像
GU2 上补正图像
GU3 上补正图像
I 识别信息
L1 一览表
L2 一览表
LL 照明光
LR 照明光
P 印字
PB 药包带
PCA 分布
PEAL 分布
PEAR 分布
PEBL 分布
PEBR 分布
PPAL 分布
PPAR 分布
PPAW 分布
PPBL 分布
PPBR 分布
PPBW 分布
S 刻印
SL 面
SR 面
T 药片
TP 药包
S2～S26 药剂识别方法的处理的步骤

Claims (12)

1.一种图像处理装置，其特征在于，具备：
取得部，取得向在表面附加有刻印的药剂的所述表面照射的光的照射方向分别不同的所述药剂的多个图像；
边缘图像生成部，对所述多个图像的各图像分别使用与所述照射方向相应的方向的、且与所述刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和
图像合成部，将所述多个边缘图像合成来生成合成图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述边缘图像生成部使用比所述刻印的槽的宽度的一半大的尺寸的所述边缘提取滤波器来生成多个边缘图像。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所谓与所述照射方向相应的方向，包含所述照射方向的俯视所述表面的情况下的方向。
4.根据权利要求3所述的图像处理装置，其特征在于，
所谓与所述照射方向相应的方向，包含与所述照射方向的俯视所述表面的情况下的方向相比倾斜45度的方向和与所述照射方向的俯视所述表面的情况下的方向相比倾斜-45度的方向。
5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述取得部取得向所述表面照射的光的照射方向为第1方向、第2方向、第3方向以及第4方向的所述药剂的4张图像，
所谓所述第2方向，是在俯视所述表面的情况下与所述第1方向对置的方向，所谓所述第3方向，是在俯视所述表面的情况下与所述第1方向正交的方向，所谓所述第4方向，是在俯视所述表面的情况下与所述第3方向对置的方向。
6.一种药剂识别装置，其特征在于，具备：
载台，载置在表面附加有刻印的药剂；
照射部，具有向所述表面照射的光的照射方向分别不同的多个光源；
拍摄部，取得分别拍摄到通过所述多个光源对所述药剂的所述表面分别照射光的所述药剂的多个图像；
边缘图像生成部，对所述多个图像的各图像分别使用与所述照射方向相应的方向的、且与所述刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和
图像合成部，将所述多个边缘图像合成来生成合成图像。
7.根据权利要求6所述的药剂识别装置，其特征在于，
所述照射部具备：
在第1方向上照射光的第1光源；
在第2方向上照射光的第2光源；
在第3方向上照射光的第3光源；和
在第4方向上照射光的第4光源，
所谓所述第2方向，是在俯视所述表面的情况下与所述第1方向对置的方向，所谓所述第3方向，是在俯视所述表面的情况下与所述第1方向正交的方向，所谓所述第4方向，是在俯视所述表面的情况下与所述第3方向对置的方向。
8.根据权利要求7所述的药剂识别装置，其特征在于，
所述照射部具备：
在第5方向上照射光的第5光源；
在第6方向上照射光的第6光源；
在第7方向上照射光的第7光源；和
在第8方向上照射光的第8光源，
所谓所述第6方向，是在俯视所述表面的情况下与所述第5方向对置的方向，所谓所述第7方向，是在俯视所述表面的情况下与所述第5方向正交的方向，所谓所述第8方向，是在俯视所述表面的情况下与所述第7方向对置的方向，
所述载台由具有光透过性的材料构成，
所述第1光源、第2光源、第3光源以及第4光源配置在所述载台的一个面侧，
所述第5光源、第6光源、第7光源以及第8光源配置在所述载台的与一个面侧不同的另一个面侧。
9.一种图像处理方法，其特征在于，具备：
取得步骤，取得向在表面附加有刻印的药剂的所述表面照射的光的照射方向分别不同的所述药剂的多个图像；
边缘图像生成步骤，对所述多个图像的各图像分别使用与所述照射方向相应的方向的、且与所述刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和
图像合成步骤，将所述多个边缘图像合成来生成合成图像。
10.一种程序，用于使计算机执行如下功能：
取得功能，取得向在表面附加有刻印的药剂的所述表面照射的光的照射方向分别不同的所述药剂的多个图像；
边缘图像生成功能，对所述多个图像的各图像分别使用与所述照射方向相应的方向的、且与所述刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和
图像合成功能，将所述多个边缘图像合成来生成合成图像。
11.一种记录介质，是非暂时性且计算机能读取的记录介质，在存放于所述记录介质的指令由计算机读取的情况下，使计算机执行如下功能：
取得功能，取得向在表面附加有刻印的药剂的所述表面照射的光的照射方向分别不同的所述药剂的多个图像；
边缘图像生成功能，对所述多个图像的各图像分别使用与所述照射方向相应的方向的、且与所述刻印的槽的宽度相应的尺寸的边缘提取滤波器来生成多个边缘图像；和
图像合成功能，将所述多个边缘图像合成来生成合成图像。
12.一种药剂检查辅助装置，对药剂进行检查，所述药剂检查辅助装置的特征在于，具备：
药剂判别部，对来自包含药剂的药剂主图像的药剂数据库的药剂主图像和拍摄到要进行检查的药剂的拍摄图像进行对照，来判别存在于所述拍摄图像的药剂与哪一个药剂相符；和
一览作成部，作成要进行所述检查的药剂的一览表，该一览表将所述药剂的药剂主图像和所述拍摄图像中的判别为各药剂的药剂区域图像对齐位置且强调刻印部分或印字部分地进行显示。
CN201880047269.1A 2017-08-22 2018-08-09 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序 Active CN110892445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017159559 2017-08-22
JP2017-159559 2017-08-22
PCT/JP2018/029925 WO2019039300A1 (ja) 2017-08-22 2018-08-09 薬剤検査支援装置、薬剤識別装置、画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110892445A true CN110892445A (zh) 2020-03-17
CN110892445B CN110892445B (zh) 2023-10-10

Family

ID=65439062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880047269.1A Active CN110892445B (zh) 2017-08-22 2018-08-09 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序

Country Status (5)

Country Link
US (1) US11195042B2 (zh)
EP (1) EP3675030B1 (zh)
JP (2) JP6894977B2 (zh)
CN (1) CN110892445B (zh)
WO (1) WO2019039300A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298069A (zh) * 2021-05-28 2021-08-24 深圳市瑞意博科技股份有限公司 一种钢印字符识别方法、装置、计算机设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3603604A4 (en) 2017-03-23 2020-04-01 FUJIFILM Toyama Chemical Co., Ltd. MEDICINE RECOGNITION DEVICE, MEDICINAL RECOGNITION METHOD, AND MEDICINAL RECOGNITION PROGRAM
KR101921021B1 (ko) * 2018-04-06 2018-11-21 (주)이즈미디어 회전식 카메라모듈 검사장치
EP3998473A4 (en) 2019-07-09 2022-08-31 FUJIFILM Toyama Chemical Co., Ltd. IMAGING DEVICE, DRUG IDENTIFICATION DEVICE, DRUG DISPLAY METHOD, IMAGING METHOD AND PROGRAM
EP4039242A4 (en) * 2019-10-01 2022-11-09 FUJIFILM Toyama Chemical Co., Ltd. DRUG COLLECTION DEVICE, DRUG COLLECTION SYSTEM, DRUG MANAGEMENT METHOD, AND PROGRAM
JP7451364B2 (ja) * 2020-09-17 2024-03-18 株式会社Ｓｃｒｅｅｎホールディングス 錠剤印刷装置および錠剤印刷方法
CN114550599B (zh) * 2022-03-30 2023-08-01 苏州华星光电技术有限公司 一种显示面板的贴合装置及其应用方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004141A (ja) * 2008-06-18 2010-01-07 Konica Minolta Business Technologies Inc 画像処理装置
CN101865667A (zh) * 2009-04-17 2010-10-20 住友电装株式会社 线束外观检查用图像的生成装置及生成方法
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム
CN103443617A (zh) * 2011-03-24 2013-12-11 松下电器产业株式会社 药片检查装置以及采用了该装置的药片检查方法
CN103492862A (zh) * 2011-07-13 2014-01-01 松下电器产业株式会社 药片检查装置以及药片检查方法
US20140355849A1 (en) * 2013-06-04 2014-12-04 Medsnap, Llc System and method of using imprint analysis in pill identification
CN104582670A (zh) * 2012-09-27 2015-04-29 富士胶片株式会社 药剂检查支援装置及方法
US20160210524A1 (en) * 2013-09-30 2016-07-21 Fujifilm Corporation Drug recognition device and method
CN105991880A (zh) * 2015-03-19 2016-10-05 株式会社Pfu 图像读取装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3720839B2 (ja) 1994-05-27 2005-11-30 フクダ電子株式会社 超音波診断装置
JP2002334323A (ja) 2001-05-09 2002-11-22 Mitsubishi Nuclear Fuel Co Ltd 刻印表示読み取り装置
US6798422B2 (en) * 2002-11-08 2004-09-28 Samsung Electronics Co., Ltd. Method and filtering system for filtering edge directions
JP5703707B2 (ja) 2010-11-18 2015-04-22 富士ゼロックス株式会社 画像処理システム、画像処理装置及び画像処理プログラム
US9008411B2 (en) * 2011-05-09 2015-04-14 Minigraphics, Inc. Method, system, and apparatus for identifying pharmaceutical products
US9111357B2 (en) * 2012-06-07 2015-08-18 Medsnap, Llc System and method of pill identification
JP5919212B2 (ja) * 2013-03-26 2016-05-18 富士フイルム株式会社 目視照合支援装置およびその制御方法
US20190251349A1 (en) * 2014-03-12 2019-08-15 Gary L. Duerksen System and method for object classification and sorting
WO2015138820A1 (en) * 2014-03-12 2015-09-17 ClearMark Systems, LLC System and method for authentication
JP6497856B2 (ja) 2014-07-03 2019-04-10 アレイ株式会社 錠剤識別装置およびその方法、並びに、分包錠剤監査装置
EP3603604A4 (en) * 2017-03-23 2020-04-01 FUJIFILM Toyama Chemical Co., Ltd. MEDICINE RECOGNITION DEVICE, MEDICINAL RECOGNITION METHOD, AND MEDICINAL RECOGNITION PROGRAM

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004141A (ja) * 2008-06-18 2010-01-07 Konica Minolta Business Technologies Inc 画像処理装置
CN101865667A (zh) * 2009-04-17 2010-10-20 住友电装株式会社 线束外观检查用图像的生成装置及生成方法
CN103443617A (zh) * 2011-03-24 2013-12-11 松下电器产业株式会社 药片检查装置以及采用了该装置的药片检查方法
CN103492862A (zh) * 2011-07-13 2014-01-01 松下电器产业株式会社 药片检查装置以及药片检查方法
JP2013088680A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡システム
CN104582670A (zh) * 2012-09-27 2015-04-29 富士胶片株式会社 药剂检查支援装置及方法
US20140355849A1 (en) * 2013-06-04 2014-12-04 Medsnap, Llc System and method of using imprint analysis in pill identification
US20160210524A1 (en) * 2013-09-30 2016-07-21 Fujifilm Corporation Drug recognition device and method
CN105991880A (zh) * 2015-03-19 2016-10-05 株式会社Pfu 图像读取装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEHAI SHEN ET AL.: "Application of improved sobel algorithm in medical image edge detection", 《APPLIED MECHANICS AND MATERIALS》, pages 151 - 154 *
石兵华: "基于投影栅线法的柱状药表面粘接剂厚度检测方法研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 60 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298069A (zh) * 2021-05-28 2021-08-24 深圳市瑞意博科技股份有限公司 一种钢印字符识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2019039300A1 (ja) 2019-02-28
JP2021119480A (ja) 2021-08-12
JP7146012B2 (ja) 2022-10-03
EP3675030B1 (en) 2023-12-06
US11195042B2 (en) 2021-12-07
JP6894977B2 (ja) 2021-06-30
EP3675030A4 (en) 2020-12-09
CN110892445B (zh) 2023-10-10
EP3675030A1 (en) 2020-07-01
JPWO2019039300A1 (ja) 2020-07-16
US20200151490A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN110892445B (zh) 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
JP6100136B2 (ja) 薬剤認識装置及び方法
ES2519117T3 (es) Método y sistema para la identificación de artículos
CN111052145B (zh) 药剂检查辅助装置、图像处理装置、图像处理方法
JP6424624B2 (ja) 薬剤鑑査装置
CN111031995A (zh) 药剂检查辅助装置、图像处理装置、图像处理方法以及程序
US8331678B2 (en) Systems and methods for identifying a discontinuity in the boundary of an object in an image
US11341357B2 (en) Medicine inspection device, image processing device, image processing method, and program
JPWO2019187601A1 (ja) 薬剤判定装置、及び境界凹部の検出方法
JP2006194801A (ja) 外観検査装置及びｐｔｐ包装機
CN110892413A (zh) 药剂识别装置、图像处理装置、图像处理方法以及程序
JP7338030B2 (ja) 物体認識装置、方法及びプログラム
JP7155430B2 (ja) 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
JP2024110202A (ja) 一包化鑑査支援装置、一包化鑑査支援方法、一包化鑑査支援プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
JP2006084289A (ja) 外観検査装置及びｐｔｐ包装機
KR20210148782A (ko) 검사 대상물 표면의 결함을 검출하는 결함 검출 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240913

Address after: Tokyo Capital of Japan

Patentee after: Fujifilm Medical Co.,Ltd.

Country or region after: Japan

Address before: Tokyo Capital of Japan

Patentee before: TOYAMA CHEMICAL Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right