CN111902843A - 药剂判定装置以及边界凹部的检测方法 - Google Patents

药剂判定装置以及边界凹部的检测方法 Download PDF

Info

Publication number
CN111902843A
CN111902843A CN201980021887.3A CN201980021887A CN111902843A CN 111902843 A CN111902843 A CN 111902843A CN 201980021887 A CN201980021887 A CN 201980021887A CN 111902843 A CN111902843 A CN 111902843A
Authority
CN
China
Prior art keywords
image
light
unit
medicine
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980021887.3A
Other languages
English (en)
Inventor
横内康治
岩见一央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyama Chemical Co Ltd
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyama Chemical Co Ltd filed Critical Toyama Chemical Co Ltd
Publication of CN111902843A publication Critical patent/CN111902843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0076Medicament distribution means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B57/00Automatic control, checking, warning, or safety devices
    • B65B57/10Automatic control, checking, warning, or safety devices responsive to absence, presence, abnormal feed, or misplacement of articles or materials to be packaged
    • B65B57/14Automatic control, checking, warning, or safety devices responsive to absence, presence, abnormal feed, or misplacement of articles or materials to be packaged and operating to control, or stop, the feed of articles or material to be packaged
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9508Capsules; Tablets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B9/00Enclosing successive articles, or quantities of material, e.g. liquids or semiliquids, in flat, folded, or tubular webs of flexible sheet material; Subdividing filled flexible tubes to form packages
    • B65B9/06Enclosing successive articles, or quantities of material, in a longitudinally-folded web, or in a web folded into a tube about the articles or quantities of material placed upon it
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65BMACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B9/00Enclosing successive articles, or quantities of material, e.g. liquids or semiliquids, in flat, folded, or tubular webs of flexible sheet material; Subdividing filled flexible tubes to form packages
    • B65B9/06Enclosing successive articles, or quantities of material, in a longitudinally-folded web, or in a web folded into a tube about the articles or quantities of material placed upon it
    • B65B9/08Enclosing successive articles, or quantities of material, in a longitudinally-folded web, or in a web folded into a tube about the articles or quantities of material placed upon it in a web folded and sealed transversely to form pockets which are subsequently filled and then closed by sealing
    • B65B9/087Enclosing successive articles, or quantities of material, in a longitudinally-folded web, or in a web folded into a tube about the articles or quantities of material placed upon it in a web folded and sealed transversely to form pockets which are subsequently filled and then closed by sealing the web advancing continuously
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Medicinal Chemistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mechanical Engineering (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

提供药剂判定装置以及边界凹部的检测方法,能在包装袋连续体合适地检测设于包装袋间的边界的边界凹部的位置。在包着药剂的包装袋并排多个的带状的包装袋连续体检测形成于包装袋间的边界位置的边界凹部时,在向包装袋连续体中至少边界凹部所位于的拍摄对象部分的表面照射光的状态下,改变拍摄条件来多次拍摄拍摄对象部分的表面的图像,基于按拍摄条件区别地拍摄的图像来检测拍摄对象部分中的所述边界凹部。

Description

药剂判定装置以及边界凹部的检测方法
技术领域
本发明涉及药剂判定装置以及边界凹部的检测方法,特别涉及在包着药剂的包装袋并排多个的带状的包装袋连续体中检测形成于包装袋间的边界位置的边界凹部的药剂判定装置以及边界凹部的检测方法。
背景技术
已知通过机械等自动的判定(审核)药剂是否如处方笺的指示那样正确地分包到分包纸等包装袋中。在这样的自动审核装置(以下称作药剂判定装置)中,在装置内中拍摄包在包装袋中的药剂的图像。然后,判定拍摄图像中拍到的药剂的种类以及个数是否与处方笺中指示的药剂的种类以及个数一致。
然而,有将药剂分包的包装袋带状多个相连而构成连续体(以下、包装袋连续体)的情况。在上述的药剂判定装置中,有将包装袋连续体导入到装置内,将包在包装袋连续体的各包装袋中的药剂作为对象,来对每个包装袋进行关于药剂的适合与否的判定。在对包装袋连续体的各包装袋个别进行判定的情况下,需要从拍摄的图像滑动包装袋一个相应量的区域,为此,检测包装袋的端位置换言之包装袋连续体中的包装袋间的边界位置变得重要。在包装袋间的边界位置通常形成切断线等边界凹部。但边界凹部由于比较小,易于压坏,因此图像中的边界凹部并不清晰,其检测正确度以及精度难以提升。在这样的状况下,近年来开发了不检测边界凹部本身地确定包装袋的端位置的方法(例如参考专利文献1~4)。
专利文献1记载的技术涉及药片计数监查装置(相当于药剂判定装置),使将以热封形成的包裹(相当于包装袋)连成串的分包纸(相当于包装袋连续体)正向进给地进行移送,在其移送路上的拍摄范围的两侧使用分离并对置配置的照明装置以及拍摄装置来拍摄包裹,从其拍摄图像提取药剂像区域,并对其中的药剂像进行计数,由此自动确认包裹内的药剂数。根据专利文献1记载的技术(特别参考专利文献1的权利要求1),照明装置具备散射性的面照明部,设有在拍摄范围什么都不放而拍摄的拍摄数据中产生能从面照明部区别的背景图像的背景像形成单元,基于在包裹的热封部发现的背景像形成单元的透视像来划定药剂像区域。即,通过对光散射性的分包纸的包裹从背侧照明并从表侧拍摄,能得到排除了包裹中的药片的颜色以及刻印等的影响的负片像。在此,分包纸当中热封部以外的部分(非封部)是磨砂玻璃状,与此相对,热封部成为丧失了光散射性的透明玻璃那样。通过基于这样的热封部与非封部的透光时的散射性的相异,使照明侧的背景像仅在包裹端部明确地显露,能检测以及确定包裹端部。
专利文献2记载的技术涉及药剂审核系统(相当于药剂判定装置),对分包袋连续体(相当于包装袋连续体)的各分包袋(相当于包装袋)的每一者进行药剂的审核。根据专利文献2记载的技术(特别参考专利文献2的权利要求7以及段落0043、0044),由于切断线等边界凹部并不在拍摄图像中鲜明呈现,因此从拍摄图像中选择分包袋(相当于包装袋)的边界的候补。具体地,取得审核对象即分包袋的长度的既定值,基于分包袋连续体的拍摄图像,来导出设想为审核对象即分包袋与在其上游侧以及下游侧相邻的分包袋的边界的边界候补,作为上游侧边界候补以及下游侧边界候补,取得与上游侧边界候补以及下游侧边界候补的位置信息。然后,对上游侧边界候补以及下游侧边界候补的组合候补分别实施基于取得的位置信息的运算,将审核对象即分包袋的长度的候补值导出,选定导出的候补值当中与审核对象即分包袋的长度的既定值近似的值,将构成选定的候补值的上游侧边界候补以及下游侧边界候补的组合确定为位于审核对象即分包袋的上游侧以及下游侧的边界位置。
专利文献3以及专利文献4记载的技术涉及药剂监查装置(相当于药剂判定装置),分包袋连续体(相当于包装袋连续体)中的各分包袋(相当于包装袋)在分包袋连续体的宽度方向上延伸的纵封部和分包袋连续体的长边方向上延伸的横封部被密封,分包袋连续体在相邻的分包袋的纵封部彼此之间形成边界,对每个分包袋进行药剂的审核。根据专利文献3以及专利文献4记载的技术(特别参考专利文献3的权利要求32以及专利文献4的权利要求31),具备能将分包袋连续体中的边界的位置导出的边界位置导出单元,边界位置导出单元检测在分包袋的拍摄图像区域内纵向上延伸的轮廓线(纵边缘),选定比给定的长度长的纵边缘,将选定的多个纵边缘当中纵边缘彼此的间隔收在以纵封的宽度为基准设定的给定的间隔以内的区域认识为边缘区域,将认识的边缘区域的中央部认识为纵封部彼此的边界位置。
在先技术文献
专利文献
专利文献1:JP特开2006-334062号公报
专利文献2:JP特开2017-47975号公报
专利文献3:JP特开2013-144101号公报
专利文献4:JP专利第5196285号公报
发明内容
发明要解决的课题
但专利文献1~4记载的技术均不是检测切断线等边界凹部自身检测的技术。特别专利文献1记载的技术利用在分包纸中透光时的散射性在热封部与非封部之间不同的性质,通过使照明侧的背景像仅在包裹端部显露,来检测以及确定包裹端部。因此,专利文献1记载的技术能限于在热封部与非封部之间光的散射性不同的分包纸而运用,难以适用于没有这样的性质的分包纸(包装袋连续体)中。
另外,专利文献2记载的技术对上游侧边界候补以及下游侧边界候补的组合候补分别导出审核对象即分包袋的长度的候补值,选定导出的候补值当中与审核对象即分包袋的长度的既定值近似的值,将构成选定的候补值的上游侧边界候补以及下游侧边界候补的组合设为位于审核对象即分包袋的上游侧以及下游侧的边界位置。即,为了利用专利文献2记载的技术,需要审核对象即分包袋的长度的既定值,在该既定值是未知的情况下不能利用。另外,在存在多个上游侧边界候补,或存在多个下游侧边界候补的情况下,上游侧边界候补以及下游侧边界候补的组合候补当中审核对象即分包袋的长度的导出值近似于既定值的值有存在多个的情况。在相关的情况下,变得难以从边界候补中决定边界位置。
另外,专利文献3以及4记载的技术从比给定的长度长的纵边缘彼此的间隔认识边缘区域,将该边缘区域的中央部作为纵封部彼此的边界位置。因此,专利文献3以及4记载的技术是在边缘区域的中央位置存在包裹的边界位置这样的前提下利用的,例如在从边缘区域的中央部偏离的位置设置边界凹部的情况下,难以正确地确定边界凹部的位置。
本发明鉴于上述的事情而提出,目的在于,提供能在包装袋连续体合适地检测设于包装袋间的边界的边界凹部的位置的药剂判定装置以及边界凹部的检测方法。
用于解决课题的手段
为了达成上述的目的,本发明的药剂判定装置具有:检测部,其在包着药剂的包装袋并排多个的带状的包装袋连续体检测形成于包装袋间的边界位置的边界凹部;和图像拍摄部,其在向包装袋连续体中至少边界凹部所位于的拍摄对象部分的表面照射光的状态下,改变拍摄条件来多次拍摄拍摄对象部分的表面的图像,检测部基于图像拍摄部改变拍摄条件而拍摄的多个图像来检测拍摄对象部分中的边界凹部。
另外,优选地,具有:光照射部,其在图像拍摄部拍摄图像时,向拍摄对象部分的表面照射光,光照射部具有在包装袋连续体的长边方向上向相互相反朝向发出光的第一发光部以及第二发光部,向拍摄对象部分的表面从斜向照射光,图像拍摄部在拍摄对象部分在长边方向上位于第一发光部与第二发光部之间的状态下拍摄图像,每当改变拍摄条件时,光照射部就改变第一发光部以及第二发光部当中照射光时所用的发光部。另外,这里所说的「向拍摄对象部分的表面从斜向照射光」,在将拍摄对象部分的拍摄方向设为正面方向的情况下,是指在相对于正面方向倾斜的方向即斜向上向拍摄对象部分的表面进行照射。
另外,优选地,图像拍摄部在光照射部使用第一发光部向拍摄对象部分的表面照射光的期间拍摄拍摄对象部分的表面的第一图像,且在光照射部使用第二发光部向拍摄对象部分的表面照射光的期间拍摄拍摄对象部分的表面的第二图像,检测部使用第一图像以及第二图像来检测拍摄对象部分中的边界凹部。
另外,优选地,在光照射部使用第一发光部向拍摄对象部分的表面照射光的期间,第二发光部的发光停止,在光照射部使用第二发光部向拍摄对象部分的表面照射光的期间,第一发光部的发光停止。
另外,优选地,检测部将第一图像中在拍摄对象部分拍到更远离第一发光部一侧的区域的部分、和第二图像中在拍摄对象部分拍到更远离第二发光部一侧的区域的部分合成来作成合成图像,基于合成图像来检测拍摄对象部分中的边界凹部。
另外,优选地,图像拍摄部具有:在包装袋连续体的厚度方向上从相互相反朝向拍摄拍摄对象部分的第一摄像机以及第二摄像机,第一摄像机拍摄厚度方向上的拍摄对象部分的一个表面的图像,第二摄像机拍摄厚度方向上位于与一个表面相反侧的拍摄对象部分的其他表面的图像,检测部基于第一摄像机拍摄的图像和第二摄像机拍摄的图像来检测拍摄对象部分中的边界凹部。
另外,优选地,检测部在确定第一摄像机拍摄的图像中拍到的边界凹部的候补且确定第二摄像机拍摄的图像中拍到的边界凹部的候补后,将在第一摄像机拍摄的图像以及第二摄像机拍摄的图像双方中公共地拍到的边界凹部的候补检测为拍摄对象部分中的边界凹部。
另外,优选地,在包装袋连续体中的包装袋中包装药剂,图像拍摄部改变拍摄条件来多次拍摄至少包装药剂的包装袋的端部以及与端部相邻的边界凹部所位于的拍摄对象部分的表面的图像。
另外,优选地,包装袋具有光透过性,图像拍摄部改变拍摄条件来多次拍摄至少包装药剂的包装袋当中覆盖药剂的部分、端部以及与端部相邻的边界凹部所位于的拍摄对象部分的表面的图像,药剂判定装置具有:除去处理执行部,其对改变拍摄条件拍摄的多个图像的各自执行用于将图像中的药剂的图像除去的除去处理。
另外,优选地,除去处理执行部通过将使构成图像拍摄部拍摄的图像的像素群沿着至少一个方向收缩以及膨胀而得到的收缩膨胀后的图像从收缩膨胀前的图像除去,来执行将图像中的药剂的图像除去的除去处理。
另外,优选地,边界凹部是包含在包装袋连续体的横宽方向从包装袋连续体的一端延续到另一端而形成的虚线状的直线槽的切断线。
另外,为了达成前述的目的,本发明的边界凹部的检测方法在包着药剂的包装袋并排多个的带状的包装袋连续体中检测形成于包装袋间的边界位置的边界凹部,边界凹部的检测方法的特征在于,具有如下工序:在向包装袋连续体中至少边界凹部所位于的拍摄对象部分的表面照射光的状态下,改变拍摄条件来多次拍摄拍摄对象部分的表面的图像;基于改变拍摄条件而拍摄的多个图像来检测拍摄对象部分中的边界凹部。
发明效果
根据本发明的药剂判定装置以及边界凹部的检测方法,能在包装袋连续体中合适地检测设于包装袋间的边界的边界凹部的位置。其结果,在判定包在包装袋中的药剂的适合与否时,能在正确划定包装袋连续体的拍摄范围的基础上准确进行判定。
附图说明
图1是表示药剂处方作业的流程的图。
图2是表示包装袋连续体的图。
图3是表示本发明的一个实施方式所涉及的药剂判定装置所具有的装置主体的内部结构的概略图。
图4是表示图像拍摄部的拍摄范围和进入该范围内的包装袋连续体的一部分的图。
图5是表示从上方来看光照射部所具有的多个发光部时的示意图。
图6是表示对包装袋照射光的样子的示意图。
图7A是由本发明的一个实施方式所涉及的药剂判定装置所具有的图像拍摄部拍摄的图像的一例(其1)。
图7B是由本发明的一个实施方式所涉及的药剂判定装置所具有的图像拍摄部拍摄的图像的一例(其2)。
图8是表示本发明的一个实施方式所涉及的药剂判定装置所具有的处理装置的结构的框图。
图9是表示判定部的判定流程的粗略的流程的图。
图10是药剂提取图像的说明图。
图11是登记了主图像的数据库的说明图。
图12是表示切断线检测工序的流程的图。
图13是合成图像的一例。
图14是关于图像的收缩膨胀处理的流程的说明图(图像)。
图15是实施了除去处理的图像的一例。
图16是表示实施了除去处理的图像中的距图像的端位置的距离与灰度合计值的对应关系的图。
图17是表示关于检测切断线的次序的变更例的图。
图18是表示本发明的一个实施方式所涉及的药剂判定装置的基本动作的流程的图。
具体实施方式
以下详细说明本发明的药剂判定装置以及药剂判定方法。
以下记载的构成要件的说明有时基于本发明的代表性的实施方式而进行,但本发明并不限定于这样的实施方式。即,以下的实施方式是用于易于理解地说明本发明的药剂判定装置以及药剂判定方法的一例,并不将本发明限定。另外,当然,也可以在不脱离本发明的主旨的范围内进行种种改良或变更。
另外,在本说明书中,所谓「药剂」,是指固形物状的药剂,具体相当于药片以及胶囊剂。
<<关于药剂处方作业>>
在对本发明的一个实施方式所涉及的药剂判定装置(以下是药剂判定装置10)说明时,首先概说使用药剂判定装置10进行的药剂处方作业。在药剂处方作业中,如图1所示那样按照处方笺输入作业、拣配作业、自动分包作业、配药审核作业以及处方作业的顺序进行。图1是表示药剂处方作业的流程的图。
在处方笺输入作业中,药剂师将记载于处方笺的处方条件输入计算机(以下称作处方条件输入装置50)。在此,所谓处方条件,是为了对患者将药剂执行处方而设定的条件。输入的处方条件的内容例如是患者的姓名、年龄、被执行处方的药剂的种类、按种类区别的处方数量等。另外,在以下的说明中,以多次的服用为前提,设为一剂用相应量的处方数量是相同量。但处方条件并不限定于此,也可以是仅一剂用相应量的药剂执行开处方。另外,一剂用相应量的药剂的种类以及处方数量也可以在各次中不同。
在拣配作业中,药剂师基于处方条件,将与处方条件相应的种类的药剂分别从药剂棚55拣配与处方条件相应的数量的相应量。另外,关于拣配作业,并不限于药剂师以手工作业进行的情况,公也可以知的自动拣配装置基于输入到处方条件输入装置50的处方条件自动进行。
另外,本实施方式中拣配的药剂均在其表面形成有识别信息。所谓「识别信息」,是用于识别药剂的种类(药种)的字符、数字以及记号等,通过刻印或印字形成。另外,在本实施方式中,设为在药剂的表面通过刻印(凹部加工)形成识别信息。其中,所拣配的药剂并不限定于上述的实施方式,在拣配的药剂中也可以包含未形成识别信息的药剂,另外,也可以包含通过印字形成识别信息的药剂。
在自动分包作业中,药剂师将拣配作业中拣配的药剂放置在图1图示的分包机60的托盘,分包机60将托盘内的药剂自动进行分包。这时,拣配的药剂按每一剂用相应量放置在托盘,在多个包装袋1的各自中分包一剂用相应量的药剂。包装袋1是公知的分包袋,具有光透过性。作为包装袋1的材料,例如能举出赛璐玢与聚乙烯的层压薄膜以及聚乙烯薄膜等。
将药剂分包的多个包装袋1在自动分包作业的结束时间点如图2所示那样连续并排而构成带状的包装袋连续体3。在药剂服用时,患者从包装袋连续体3将一袋相应量的包装袋1分开,将包在分开的包装袋1中的药剂服用。图2是表示包装袋连续体3的图。
对包装袋连续体3进行说明,在包装袋连续体3中的包装袋1(除了后述的空袋1A以外)中包装拣配的药剂。另外,如从图2所知的那样,在包装袋连续体3,在包装袋3间的边界位置形成作为边界凹部的切断线3y。在此,切断线3y用虚线状的直线槽构成,在包装袋连续体3的横宽方向上从包装袋连续体3的一端延续到另一端而形成。另外,作为边界凹部,除了切断线3y以外,还可以形成形成于包装袋连续体3的横宽方向端部的三角形、长方形或半椭圆状等的切口。
另外,在自动分包作业的结束时间点,位于包装袋连续体3的一端的包装袋1如图2所示那样成为空袋1A。空袋1A除了在内部未放入药剂这点以外,与包着药剂的状态的包装袋1公共地。另外,关于空袋1A,可以设于包装袋连续体3的端以外的场所,另外,也可以在包装袋连续体3中不含空袋1A。
在配药审核作业中,使用图1图示的药剂判定装置10来审核被执行处方的药剂是否正确。具体地,药剂判定装置10判定包在包装袋连续体3中的各包装袋1中的药剂的种类以及个数(严密将是每个种类的个数)是否如处方笺所指示的内容那样。
处方作业对患者(开处方对象)进行配药审核作业中判断为正确(遵循处方笺的内容的)的分包完毕的药剂的处方执行。这时,药剂师将位于包装袋连续体3的一端的空袋1A取下,将剩下的包装袋连续体3交给患者。
<<药剂判定装置的结构>>
接下来说明药剂判定装置10的结构。
药剂判定装置10用在配药审核用中,判定自动分包作业中包在包装袋1中的药剂的种类以及个数(严密将是每个种类的个数)是否是正规的种类以及个数。在此,所谓正规的种类以及个数,是指处方笺中指示的(换言之,作为处方条件而输入的)药剂的种类以及按种类区别的个数,严密来说,是一剂用相应量的药剂的种类以及按种类区别的个数。
另外,包在包装袋连续体3中除了空袋1A以外的各包装袋1中的(被分包的)药剂相当于判定对象的药剂。
药剂判定装置10如图1所示那样包含:具有拍摄成为判定对象的药剂(详细是包在各包装袋1中的药剂)的图像的功能的装置主体11;和具有基于装置主体11中拍摄的图像进行配药审核的功能的处理装置12。
装置主体11具有图1图示的外壳13,在外壳13内具有图3图示的运送部14、配置部15、图像拍摄部16和光照射部17。图3是表示装置主体11的内部结构的概略图。另外,在装置主体11的外壳13中设有:用于将包装袋连续体3导入装置主体11的内部的导入部13a;和用于将被导入装置主体11的内部的包装袋连续体3排出到装置主体11的外的不图示的排出部。
运送部14具备形成于装置主体11的内部的运送路18,将包装袋连续体3沿着运送路18进行运送。从导入部13a导入装置主体11的内部的包装袋连续体3通过运送部14的运送动作而向运送路18的下游侧移动,不久经过排出部而被排出到装置主体11的外。在此,所谓「下游侧」,是指运送方向上更靠近排出部一侧,所谓上游侧,是指与下游侧相反侧、即运送方向上更靠近导入部13a一侧。
另外,在本实施方式中,运送路18成为水平的路径,运送部14在包装袋连续体3的长边方向沿着运送路18(即运送方向)且包装袋连续体3的厚度方向沿着上下方向(铅直方向)的状态下进行运送。
运送部14如图3所示那样具有上游侧驱动部14U和下游侧驱动部14D。上游侧驱动部14U配置于配置部15的上游侧,下游侧驱动部14D配置于配置部15的下游侧。上游侧驱动部14U以及下游侧驱动部14D各自具有上下一对展平辊14a以及14b和将上下一对展平辊14a以及14b当中一方旋转驱动的不图示的电动机。上下一对展平辊14a以及14b空出包装袋连续体3穿过程度的间隙而并排,以在辊间夹持包装袋连续体3的状态旋转。由此,包装袋连续体3在施加若干的拉紧(张力)的状态下被运送。
另外,在本实施方式中,构成为上述的电动机断续地旋转。为此,运送部14间歇地进行运送动作。在一次运送动作中,包装袋连续体3沿着运送方向移动给定量。关于一次运送动作中的包装袋连续体3的移动量(运送量),由后述的处理装置12的控制部21设定。
另外,本实施方式的运送部14通过切换上述的电动机的旋转方向,能向运送方向的上游侧以及下游侧双方进行运送。关于运送的朝向,由处理装置12的控制部21设定。
另外,在本实施方式中,设为使用利用辊的旋转驱动的运送机构(即辊式输送机),但只要能适合地运送包装袋连续体3,则也可以利用其他运送机构,例如可以使用在将包装袋连续体3载于无端状的皮带的上表面的状态下使皮带旋转驱动来运送包装袋连续体3的皮带输送机。
配置部15是以包在包装袋1中的状态来配置判定对象的药剂的部分,如图3所示那样,设于运送路18的中途位置。配置部15是矩形框体状的台,具有装载1个包装袋1程度的尺寸。另外,通过运送部14的包装袋连续体3的运送而在包装袋连续体3中依次切换配置于配置部15的包装袋1。
另外,关于处于配置于配置部15的状态的包装袋1的上表面(朝向装置主体11的上侧的表面、以下同样),其全区域露出,另外,关于包装袋1的下表面(朝向装置主体11的下侧的表面、以下同样),缘部以外的区域露出。所谓包装袋1的缘部,是通过将构成包装袋1的膜片进行两片重叠压接而形成的封口部分。
图像拍摄部16拍摄配置于配置部15的包装袋1以及包在包装袋1中的药剂(即判定对象的药剂)的图像。图像拍摄部16如图3所示那样,作为多个摄像机而具有上下2个摄像机。这2个摄像机在包装袋连续体3的厚度方向(即上下方向)上从相互相反朝向拍摄配置于包装袋连续体3中的配置部15的部分(即拍摄对象部分3x)。
具体说明,上下2个摄像机当中位于上侧的摄像机(以下称作第一摄像机16a)配置于配置部15的正上方位置,从上方拍摄包装袋连续体3的厚度方向上的拍摄对象部分3x的一个表面、更详细是配置于配置部15的包装袋1的上表面的图像。下侧的摄像机(以下称作第二摄像机16b)配置于配置部15的正下方位置,在包装袋连续体3的厚度方向上从下方拍摄位于与一个表面(即第一摄像机16a拍摄的表面)相反侧的拍摄对象部分3x的其他表面、更详细是配置于配置部15的包装袋1的下表面的图像。
另外,在由第一摄像机16a以及第二摄像机16b拍摄的包装袋1(除了空袋1A以外)的图像中包含药剂的图像。在此,所谓「药剂的图像」,是指越过包装袋1而拍摄的药剂的图像。
在本实施方式中,装置主体11构成为运送部14间歇进行运送动作,图像拍摄部16在运送动作的期间拍摄配置于配置部15的包装袋1以及包在包装袋1中的药剂的图像。然后,图像拍摄部16每当通过运送动作切换配置于配置部15的包装袋1,就拍摄配置于配置部15的包装袋1以及包在包装袋1中的药剂的图像。
在本实施方式中,第一摄像机16a的拍摄范围(视角)如图4所示那样是矩形区域(图4中虚线所示的矩形区域),将配置于配置部15的包装袋1的上表面的正面和位于其两侧的包装袋1的上表面的一部分(严密说是端部分)设定为能拍摄的范围。换言之,包装袋连续体3中位于第一摄像机16a的拍摄范围内的部分相当于拍摄对象部分3x,如图4所示那样,至少包装袋3间的切断线3y位于该部分。
另外,图4是表示图像拍摄部16的拍摄范围和进入该范围内的包装袋连续体3的一部分的图。
同样地,下侧的摄像机16b的拍摄范围(视角)是矩形区域,将配置于配置部15的包装袋1的下表面当中位于配置部15的内侧而露出的区域、和位于其两侧的包装袋1的下表面的一部分(严密说,是端部分)设定为能拍摄的范围。换言之,包装袋连续体3中位于第二摄像机16b的拍摄范围内的部分相当于拍摄对象部分3x,至少包装袋1间的切断线3y位于该部分。
另外,图像拍摄部16具有取得被摄体的图像数据的功能即可,例如能举出CCD(Charge-Coupled Device,电荷耦合器件)图像传感器或CMOS(Complementary MetalOxide Semiconductor,互补金属氧化物半导体)图像传感器等,但并不限定于此。
另外,在本实施方式中,图像拍摄部16用2台摄像机构成,但关于摄像机的台数,并没有特别限定,也可以仅是1台,或者也可以是3台以上。
另外,在本实施方式中,在上下夹着配置部15的位置设置摄像机,但关于摄像机的设置位置,只要是能良好地拍摄配置于配置部15的包装袋1、以及包在包装袋1中的药剂的图像的位置,就能设定在任意的位置。
光照射部17在图像拍摄部16拍摄图像时对配置于配置部15的包装袋1以及包在包装袋1中的药剂(即判定对象的药剂)照射光。更详细地,光照射部17向包装袋连续体3中位于图像拍摄部16的拍摄范围内的部分(即拍摄对象部分3x的表面)照射光。
光照射部17如图5所示那样具有多个发光部,本实施方式中具有4个发光部17a、17b、17c以及17d。图5是从上方来看光照射部17所具有的多个发光部时的示意图。4个发光部17a、17b、17c以及17d是光照射部17照射光时所用的光源,如图5所示那样分别配置于配置部15的四方。并且,光照射部17使用4个发光部17a、17b、17c以及17d(多个发光部)向相互不同的方向照射光。
具体说明,2个发光部17a以及17b在运送方向(即包装袋连续体3的长边方向)上配置于从配置部15来看相互相反侧的位置,向相互相反朝向发出光。即,一方的发光部17a(以下称作第一发光部17a)从运送方向上游侧向位于运送方向下游侧的配置部15发出光。另一方的发光部17b(以下称作第二发光部17b)从运送方向下游侧向位于运送方向上游侧的配置部15发出光。
4个发光部17a、17b、17c以及17d当中剩下的2个发光部17c以及17d在横穿运送方向的方向(以下称作交叉方向)上配置于从配置部15来看相互相反侧的位置,向相互相反朝向发出光。即,一方的发光部17c(以下称作第三发光部17c)在交叉方向上从一侧向位于另一侧的配置部15发出光。另一方的发光部17d(以下称作第四发光部17d)在交叉方向上从另一侧向位于一侧的配置部15发出光。在此,所谓「交叉方向的一侧」,例如是指靠近配置部15的交叉方向一端一侧,所谓「交叉方向的另一侧」,是指靠近配置部15的交叉方向另一端侧一侧。
光照射部17使用上述4个发光部17a、17b、17c以及17d的一部分或全部来对配置于配置部15的包装袋1以及包在包装袋1中的药剂照射光。这时,如从图6获知的那样,光照射部17向拍摄对象部分3x的表面从斜向照射光。这是因为,在光从斜向命中药剂的表面的情况下,能使形成于药剂的表面的识别信息的轮廓(特别是轮廓当中位于光的照射目标的边缘部分)显眼。
图6是表示对包装袋1照射光的样子的图,是从侧方示出包装袋1、图像拍摄部16以及光照射部17的示意图。
另外,在本实施方式中,能切换在图像拍摄部16拍摄图像时光照射部17所用的发光部17a、17b、17c以及17d。具体说明,光照射部17使用4个发光部17a、17b、17c以及17d当中一个来照射光。这时,其他发光部停止,不发出光。例如在光照射部17使用第一发光部17a来向拍摄对象部分3x的表面照射光的期间,第二发光部17b、第三发光部17c以及第四发光部17d各自的发光停止。同样地,在光照射部17使用第二发光部17b来向拍摄对象部分3x的表面照射光的期间,第一发光部17a、第三发光部17c以及第四发光部17d各自的发光停止。
在光照射部17正从一个发光部照射光的期间,图像拍摄部16拍摄一次包在配置于配置部15的包装袋1中的药剂的图像。之后,光照射部17将发光部17a、17b、17c以及17d当中刚才在使用的发光部切换成其他发光部,使用切换后的发光部17a、17b、17c或17d来照射光。在这期间,图像拍摄部16再度拍摄包在配置于配置部15的包装袋1中的药剂的图像。
以后以同样的次序,光照射部17切换发光部17a、17b、17c以及17d,每当光照射部17切换发光部17a、17b、17c以及17d,图像拍摄部16就拍摄包在配置于配置部15的包装袋1中的药剂的图像。其结果,对包在配置于配置部15的一个包装袋1中的药剂拍摄按光的照射方向区别的图像(即,药剂表面各部中的光的反射状况不同的4个图像)。
如以上那样,在本实施方式中,图像拍摄部16在向包装袋连续体3中的拍摄对象部分3x的表面照射光的状态下改变拍摄条件来多次拍摄拍摄对象部分3x的表面的图像。在此,所谓拍摄条件,相当于图像拍摄部16在图像拍摄时所用的摄像机以及光照射部17在光照射时所用的发光部等。
更具体说明,光照射部17每当改变拍摄条件时,改变第一发光部17a、第二发光部17b、第三发光部17c以及第四发光部17d当中照射光时所用的发光部。另外,图像拍摄部16每当改变拍摄条件,就改变第一摄像机16a以及第二摄像机16b当中拍摄图像时所用的摄像机。然后,图像拍摄部16改变拍摄条件(按拍摄条件区别地)而拍摄拍摄对象部分3x的图像的结果,对包装袋连续体3中的各包装袋1拍摄计8张(摄像机的台数×发光部的个数)图像。
另外,在本实施方式中,如图5所示那样,在运送方向(换言之,包装袋连续体3的长边方向)上,第一发光部17a位于比配置部15更上游侧,且第二发光部17b位于比配置部15更下游侧。另外,在配置部15的正上方位置配置第一摄像机16a,且在配置部15的正下方位置配置第二摄像机16b。通过这样的位置关系,图像拍摄部16在运送方向上拍摄对象部分3x位于第一发光部17a与第二发光部17b之间的状态下拍摄拍摄对象部分3x的表面的图像。
在此,如前述那样,配置于配置部15的包装袋1(严密说,空袋1A以外的包装药剂的包装袋1)的端部、以及与该端部相邻的切断线3y位于拍摄对象部分3x。更详细说明,拍摄对象部分3x是至少配置于配置部15的包装袋1当中覆盖药剂的部分、运送方向上的两端部和与各个端部相邻的切断线3y所位于的部分。并且,图像拍摄部16改变拍摄条件多次拍摄拍摄对象部分3x的表面的图像。
在此,对图像拍摄部16拍摄的拍摄对象部分3x的表面的图像进行说明,如图7A以及图7B所示那样,在图像拍到配置于配置部15的包装袋1、位于该包装袋1的两旁的切断线3y以及包在包装袋1中的状态的各个药剂f。图7A以及图7B是由图像拍摄部16拍摄的图像的一例。
另外,图7A所示的图像和图7B所示的图像是在相互不同的拍摄条件下拍摄的图像。图7A所示的图像是在光照射部17使用第一发光部17a向拍摄对象部分3x的表面照射光的期间图像拍摄部16拍摄的拍摄对象部分3x的表面的图像,以下称作「第一图像」。另一方面,图7B所示的图像是在光照射部17使用第二发光部17b向拍摄对象部分3x的表面照射光的期间图像拍摄部16拍摄的拍摄对象部分3x的表面的图像,以下称作「第二图像」。
顺带一提,作为光照射部17在光照射用中所用的发光部17a、17b、17c以及17d,能利用公知的光源,可以使用点光源、线光源以及面光源当中任一者。具体地,例如能利用LED(Light Emitting Diode,发光二极管)、半导体激光器(LD:Laser Diode)、以及有机EL(Electro-luminescence,电致发光)等基于电场发光的光源、卤素灯泡以及白炽灯泡等基于辐射热的光源、水银灯以及荧光灯等基于放电发光的光源、和将这些光源与导光板或光纤等导光构件组合而得的光源。
另外,在本实施方式中,光照射部17具有4个发光部17a、17b、17c以及17d,但发光部的台数并没有特别限定,设置2个以上即可。
处理装置12每当实施配药审核就执行一系列信息处理,在本实施方式中,用在装置主体11外带的个人计算机(PC)构成。但并不限定于此,也可以用内置于装置主体11的计算机来构成处理装置12。
另外,处理装置12与装置主体11、处方条件输入装置50以及后述的数据库服务器70能通信地连接。另外,关于处理装置12与各设备的连接方式,可以是有线连接方式,或者也可以是无线连接方式。
另外,处理装置12如图8所示那样具有控制部21、处方条件信息取得部22、图像取得部23、前处理部24、判定部25、检测部27以及除去处理执行部28。图8是表示处理装置12的结构的框图。这些各部通过处理装置12所具备的不图示的CPU(Central Processing Unit,中央处理器)以及存储器等硬件设备和存放于处理装置12的信息处理程序协作而实现。该信息处理程序可以从存储同程序的CD-ROM(Compact Disc Read Only Memory,光盘只读存储器)等记录介质读出而取得,或者也可以从给定的网站经由网络下载而取得。
另外,在本实施方式中,处理装置12的各功能部(具体是控制部21、处方条件信息取得部22、图像取得部23、前处理部24、判定部25、检测部27以及除去处理执行部28)用一台个人计算机构成,但并不限定于此,也可以上述的功能部当中一部分用一台个人计算机构成,剩下的功能部用其他个人计算机构成。
控制部21经由搭载于装置主体11的驱动控制电路11a而与装置主体11各部(具体是运送部14、图像拍摄部16、以及光照射部17)电连接,控制装置各部。更详细说明,控制部21关于运送部14的运送动作控制一次运送动作中的运送量、运送的朝向以及运送动作的定时等。另外,控制部21关于图像拍摄部16的拍摄动作控制图像拍摄部16所具有的2台摄像机16a以及16b中使用的摄像机以及图像拍摄的定时等。另外,控制部21关于光照射部17的光照射动作控制光照射部17所具有的4个发光部17a、17b、17c以及17d中使用的发光部以及光照射的定时等。
处方条件信息取得部22与处方条件输入装置50能通信地连接,通过与处方条件输入装置50通信来取得处方条件信息。在此,所谓处方条件信息,是指表示处方条件的信息,具体是表示药剂师输入到处方条件输入装置50的处方条件的电子数据。
另外,在本实施方式中,若在处方条件输入装置50完成处方条件的输入,就从处方条件输入装置50向处方条件信息取得部22自动发送处方条件信息,处方条件信息取得部22接收上述的处方条件信息。但并不限定于此,也可以从处方条件信息取得部22发送信息发送请求,在处方条件输入装置50接受到该请求的时间点,处方条件输入装置50发送处方条件信息。更具体说明,将用于确定处方条件的字符串信息、或二维条码信息印刷在包装袋连续体3的前端部(包装袋连续体3中、最初被导入装置主体11内的部分),在包装袋连续体3被导入装置主体11内时,处方条件信息取得部22读取上述的印刷信息。之后,基于处方条件信息取得部22基于读取的印刷信息来对处方条件输入装置50请求表示分包在被导入装置主体11内的包装袋连续体3中的各包装袋1的药剂所涉及的处方条件的处方条件信息。接受到该请求的处方条件输入装置50对请求进行解析,确定请求所涉及的处方条件信息,将确定的处方条件信息向处理装置12发送。
图像取得部23与图像拍摄部16(严密说,是第一摄像机16a以及第二摄像机16b)连接,经由网络取得图像拍摄部16拍摄的图像。在此,所谓图像取得部23所取得的图像,是指图像数据,具体是JPEG(Joint Pthotographic Experts Group,联合图像专家组)格式、GIF(Graphics Interchange Format,图形交换格式)格式、PNG(Portable Network Graphics,便携网络图形)格式、TIFF(Tagged Image File Format,标签图像文件格式)格式以及BMP(Bitmap Image,位图)格式等的图像数据。
另外,每当图像拍摄部16拍摄图像,图像取得部23就从图像拍摄部16取得图像。更详细说明,在本实施方式中,如前述那样,对将药剂分包的一个包装袋1改变拍摄条件(按拍摄条件区别)多次(具体8次)拍摄图像。因此,图像取得部23对各包装袋1以及包在包装袋1中的药剂改变拍摄条件来取得多个图像(即按拍摄条件区别的8张图像)。
另外,由于若配置于配置部15的包装袋1被切换,则图像拍摄部16改变拍摄条件来新拍摄图像,因此,与此相伴,图像取得部23取得新拍摄的拍摄条件不同的多个图像。
前处理部24对图像取得部23从图像拍摄部16取得的图像(即,判定对象的药剂的图像数据)执行前处理。所谓前处理,是用于强调形成于图像取得部23取得的图像中拍到的药剂的表面的识别信息的处理。
具体说明,在本实施方式中,如前述那样,对包在一个包装袋1中的药剂改变光的照射方向来多次(具体4次)拍摄图像。在此,在各个按光的照射方向区别的图像这样,在图像中拍到的药剂的表面产生光的照度不均匀。这样的光的照度不均匀会在检测以及确定形成于药剂的表面的识别信息时带来影响。另外,光的照度不均匀对应于光的照射方向而不同。为此,前处理部24执行前处理,为了使用按光的照射方向区别拍摄的图像来强调位于药剂的表面的识别信息,而将各图像中拍到的识别信息的轮廓(边缘)中在与光的照射方向的关系下显眼的部分合成。或者,前处理部24对按光的照射方向区别拍摄的图像运用照度差立体法,考虑各图像中的光的照射方向并进行用于使在各图像中公共地拍到的识别信息显眼的图像合成。
实施了以上的前处理的图像成为对应于光的照射方而变化的光的照度不均匀被极力排除、形成于图像中拍到的药剂的表面的识别信息被强调的图像。
判定部25判定包在配置于配置部15的包装袋1中的药剂(即判定对象的药剂)的个数以及种类是否与根据处方条件信息取得部22取得的处方条件信息而确定的药剂的数量以及种类一致。
参考图9来说明由判定部25进行的判定的具体的次序。图9是表示判定部25的判定流程的粗略的流程的图。在判定部25的判定流程中,如图9所示那样,首先进行从实施过前处理的图像中确定拍到判定对象的药剂的区域的工序(S001)。以下,将实施过前处理的图像称作「前处理后图像」,将前处理后图像中拍到药剂的区域称作「药剂存在区域」。
在药剂存在区域确定工序S001在,对前处理后图像进行公知的边缘提取处理以及分割处理,来确定图像内的药剂的轮廓。然后,将被所确定的轮廓包围的区域确定为药剂存在区域。在前处理后图像中拍到多个药剂的情况下,确定药剂的个数的药剂存在区域。
在药剂存在区域确定工序S001的实施后,判定部25从构成前处理后图像的像素群中提取相当于药剂存在区域的像素群(S002)。提取的像素群如图10所示那样形成包围药剂存在区域的矩形(图10中附有附图标记X的矩形区域)。以下将提取的像素群称作「药剂提取图像X」。另外,在药剂存在区域确定工序S001中确定了多个药剂存在区域的情况下,按药剂存在区域区别地确定药剂提取图像X。
顺带一提,图10是药剂提取图像X的说明图。另外,图10图示的像素尺寸(相对于图像的每1个像素1的大小)为了图示的方便而描绘得比实际的像素尺寸大。
另外,在像素群提取工序S002中,确定药剂提取图像X的尺寸以及位置。在此,药剂提取图像X的尺寸是形成药剂提取图像X的矩形的像素群的面积,相当于图10图示的二边的长度d1、d2的积。
另外,药剂提取图像X的位置是以基准位置为原点、以运送方向以及交叉方向为坐标轴方向时的坐标位置,具体地,是形成药剂提取图像X的矩形的像素群的对角线的交点位置,相当于图10图示的点P的坐标。通过如此地确定药剂提取图像X的位置,能确定相对于图像拍摄部16的拍摄范围(严密说,第一摄像机16a以及第二摄像机16b各自的视角)的判定对象的药剂的拍摄位置(配置位置)。另外,在本实施方式中,设为原点的基准位置设定在图像拍摄部16(严密说,第一摄像机16a以及第二摄像机16b)的拍摄范围的中央位置,但并不限定于此,可以设定在任意的位置。
在像素群提取工序S002的实施后,判定部25从使用处方条件信息取得部22取得的处方条件信息中确定应执行处方的种类,进行数据库DB读出从所确定的种类的药剂的主图像的工序(S003)。在本工序S003中,在应执行处方的种类有多个的情况下,即,在将多种类的药剂分包在包装袋1的情况下,按按种类区别地读出主图像。
在此,对主图像进行说明,主图像是与药剂的种类对应而登记的药剂的图像,是对从处方条件信息确定的种类的药剂预先登记的图像。另外,在本实施方式中,主图像成为在包在包装袋1中的状态下拍摄的药剂的图像。另外,对于过去进行过判定部25的判定的药剂的种类,将图像拍摄部16过去拍摄该种类的药剂的拍摄图像(严密说是药剂提取图像X)当中得到与处方条件一致这样的判定结果时的拍摄图像登记为主图像。
对数据库DB进行说明,如图11所示那样,数据库DB将各药剂的主图像和药剂的种类相互建立对应而登记。图11是登记了主图像的数据库DB的说明图。
另外,在数据库DB中,除了主图像以外,还与药剂的种类建立对应地登记药剂名称、形成于药剂的表面的识别信息、作为药剂的尺寸的俯视观察尺寸以及厚度。另外,关于登记于数据库DB的信息,并不限定于上述的信息,也可以登记上述的信息以外的信息。
另外,在本实施方式中,数据库DB设于外部的数据库服务器70,判定部25与数据库服务器70通信来访问数据库DB。其中本发明并不限定于,数据库DB也可以设于处理装置12,即,也可以存储于处理装置12内的存储介质。
在将主图像从数据库DB读出后,判定部25使用读出的主图像和图像拍摄部16拍摄的判定对象的药剂的图像(严密说,药剂提取图像X)来判定判定对象的药剂的种类是否与主图像中拍到的药剂的种类(即,根据取得的处方条件信息确定的药剂的种类)一致(S004)。具体说明,在判定工序S004中,进行主图像与药剂提取图像X的模板匹配,来评价主图像中拍到的药剂与药剂提取图像X中拍到的药剂(即判定对象的药剂)之间的相似度。关于相似度的评价方法,能利用公知的几何哈希法或LLHA(Locally Likely ArrangementHashing,局部可能布置哈希)法。并且,在相似度为基准值以上的情况下,判定部25判定为药剂提取图像X中拍到的药剂的种类与主图像中拍到的药剂的种类一致。
另外,在药剂提取图像X有多个的情况下,对每个药剂提取图像X进行相似度的评价。另外,判定部25药剂的按种类区别地对药剂提取图像X中拍到的图像当中判定为与主图像中拍到的药剂的种类一致的图像的个数(以下称作药种一致数)进行计数。,然后,判定部25判定按种类区别计数的药种一致数是否与根据处方条件信息确定的按种类区别的处方数量同数。
通过以上为止说明的次序来进行判定部25的判定。然后,若配置于配置部15的包装袋1被切换(即判定对象的药剂改变),就重复进行判定。即,若配置于配置部15的包装袋1被切换,取得包在包装袋1中的药剂的图像,就使用新取得的图像来进行判定。另外,在对包装袋连续体3中的各包装袋1以同一处方条件分包药剂的情况下,在第2次以后的判定中,由于能直接沿用第1次的判定中所用的主图像,因此能省去将主图像从数据库DB读出的工序S003。
根据以上为止说明的次序,通过对包在包装袋连续体3中的各包装袋1(严密说是空袋1A以外的包装袋1)中的药剂进行判定,能确认(审核)在各个包装袋1中药剂是否如处方笺的指示那样被正确分包。
检测部27在被导入外壳13内的包装袋连续体3检测形成于包装袋1间的边界位置的切断线3y(边界凹部)。每当判定部25判定包在包装袋1中的药剂的适合与否,为了划定包装袋连续体3中的拍摄范围而进行检测部27所进行的切断线3y的检测。
更易于理解地说明,例如若不检测切断线3y而图像拍摄部16直接拍摄拍摄对象部分3x的图像,就会有在包装袋连续体3中的各包装袋1从正规的位置偏离的状态下拍摄图像的情况。在相关的情况下,拍摄图像成为跨过切断线3y的图像,有可能使得分别分包到相邻的2个包装袋1的药剂在一个图像中一起拍到。为此,在本实施方式中,在进行判定部25的判定前,检测部27检测包装袋连续体3中的切断线3y。
另外,在本实施方式中,检测部27基于图像取得部23取得的拍摄条件不同的图像(换言之,图像拍摄部16拍摄的拍摄条件不同的图像)来检测包装袋连续体3中的拍摄对象部分3x中的切断线3y。另外,关于切断线3y的具体的检测次序,之后详细进行说明。
除去处理执行部28对检测部27检测切断线3y时所用的图像执行将该图像中的药剂的图像除去的除去处理。检测部27基于由除去处理执行部28执行了除去处理的图像(即药剂的图像被除去的图像)来检测拍摄对象部分3x中的切断线3y。另外,关于除去处理的详细,和切断线3y的检测次序一起后述。
<<切断线的检测方法>>
接下来说明本实施方式中的切断线3y的检测方法。另外,切断线3y的检测方法相当于本发明的边界凹部的检测方法。并且,在包含后述的切断线3y的检测工序的药剂判定装置10的基本动作中利用本发明的边界凹部的检测方法。
在对本实施方式中的切断线3y的检测方法进行说明时,首先说明过去的与切断线3y的检测相关的问题。在检测切断线3y的一般的方法中,由图像拍摄部16拍摄拍摄对象部分3x的图像,对该拍摄图像中拍到的切断线3y进行检测。另外,在图像拍摄时,光照射部17向拍摄对象部分3x照射光。若光照射部17照射的光到达拍摄对象部分3x中的切断线3y,就会在切断线3y发生光的漫反射。因此,在拍摄图像中,如图7A以及图7B所示那样,形成切断线3y的部位的亮度(明亮度)变高。
另一方面,由于在包装袋1中包装药剂,因此包装袋1的表面当中位于切断线3y的近旁的部分比包装袋连续体3中形成切断线3y的部分更加隆起。为此,光照射部17向拍摄对象部分3x照射的光的一部分如图6所示那样,在包装袋1的表面的在切断线3y近旁隆起的部位(图6中附有记号Rf1的部位)进行反射。其反射光被图像拍摄部16拍摄。其结果,在拍摄图像中,如图7A以及图7B所示那样,在切断线3y近旁发现亮度比周围高的线。然后有将该线(以下称作伪切断线3r)误检测为切断线3y的可能性。
如以上那样,在从由图像拍摄部16拍摄的拍摄对象部分3x的图像检测到切断线3y的情况下,需要避免错误地检测伪切断线3r。为此,在本实施方式中,使用图像拍摄部16拍摄的拍摄条件不同的图像来检测包装袋连续体3中的拍摄对象部分3x中的切断线3y。然后,根据本实施方式的检测方法,能避免伪切断线3r的误检测,从而能正确地检测切断线3y。以下参考已经出现的图6、和图12~图16来说明切断线3y的检测次序。
图12是表示检测部27检测切断线3y的工序(以下、切断线检测工序)的流程的图。图13是后述的合成图像的一例。图14是关于图像的收缩膨胀处理的流程的说明图(图像)。图15是通过除去处理执行部28实施了除去处理的图像的一例。图16是表示实施过除去处理的图像中的距图像的端位置的距离与灰度合计值的对应关系的图。图16的横轴以像素(pixel)为单位来表征运送方向上的距图像的端位置(具体是更靠近运送方向上游侧一方的端位置)的距离,纵轴表征将位于同距离的像素的灰度值(深浅)合计的值。
在切断线检测工序中,检测部27使用图像拍摄部16拍摄的拍摄条件不同的图像当中前述的第一图像以及第二图像来检测拍摄对象部分3x中的切断线3y。更详细说明,检测部27作为第一图像而使用在光照射部17使用第一发光部17a向拍摄对象部分3x的表面照射光的期间图像拍摄部16使用第一摄像机16a拍摄的拍摄对象部分3x的表面的图像。另外,检测部27作为第二图像而使用在光照射部17使用第二发光部17b向拍摄对象部分3x的表面照射光的期间图像拍摄部16使用第一摄像机16a拍摄的拍摄对象部分3x的表面的图像。
在切断线检测工序中,如图12所示那样,首先检测部27从第一图像以及第二图像的各自中选择一定的区域(S051)。具体说明,检测部27在相当于运送方向的方向(即图像的横向)上将第一图像分成两部分,选择第一图像中靠近运送方向下游侧的部分。另外,第一图像中靠近运送方向下游侧的部分相当于拍摄对象部分3x中拍到更远离第一发光部17a一侧的区域的部分。
同样地,检测部27将第二图像在图像的横向上分成两部分,选择第二图像中靠近运送方向上游侧的部分。另外,所谓第二图像中靠近运送方向上游侧的部分,是在拍摄对象部分3x中拍到更远离第二发光部17b一侧的区域的部分。
若检测部27选择第一图像以及第二图像各自的更远离图像拍摄时光照射部17所用的发光部17a或17b的部分的理由,是因为,在选择的部分中更难发现上述的伪切断线3r。更详细说明,在配置于配置部15的一个包装袋1和设于其包装袋1的两侧的切断线3y进入拍摄对象部分3x的状态下,光照射部17向拍摄对象部分3x照射光。在该情况下,如图6所示那样,在更靠近这时发出光的发光部17a或17b的切断线3y以及位于其近旁的部位(图6中附有记号Rf1的部位),光反射,图像拍摄部16拍摄到该反射光。其结果,在拍摄图像中,在更靠近发出光的发光部17a或17b的部分,易于发现伪切断线3r。
与此相对,在上述的包装袋1中,即使在更远离光照射部17所用的发光部17a或17b一侧在隆起的部位(图6中附有记号Rf2的部位)光进行反射,也如图6所示那样,其反射光不会到达图像拍摄部16。因而,在在拍摄图像当中更远离发出光的发光部17a或17b的部分难以发现伪切断线3r。鉴于这样的性质,检测部27使用第一图像以及第二图像各自当中在图像拍摄时更远离光照射部17所用的发光部17a或17b的部分来检测拍摄对象部分3x中的切断线3y。
回到关于切断线检测工序的说明,检测部27将第一图像以及第二图像各自的在前步骤S051选择的部分彼此合成,来作成合成图像(S052)。该合成图像包含第一图像中的运送方向下游侧一半和第二图像中的运送方向上游侧一半。因此,在合成图像中,出于前述的理由而不会发现伪切断线3r,如图13所示那样,主要拍到包在包装袋1内中的药剂以及切断线3y。并且,检测部27基于合成图像来检测拍摄对象部分3x中的切断线3y。
对合成图像作成后的流程具体说明,除去处理执行部28对合成图像实施除去处理(S053)。在本实施方式中,除去处理运用作为图像处理技术的收缩膨胀技术。即,除去处理执行部28执行除去处理,通过将使构成合成图像的像素群沿着至少一个方向收缩以及膨胀而得到的收缩膨胀后的图像从收缩膨胀前的图像除去,来将合成图像中的药剂的图像除去。
参考图14来说明除去处理的流程。另外,在图14中,出于易于理解地说明收缩膨胀的次序的理由,记载的不是合成图像,而是图像拍摄部16拍摄的图像(严密说,将拍摄图像从RGB(Red Green Blue,红绿蓝)图像变换成灰阶图像的图像)。
位于图14的上段的图像表示收缩膨胀前的图像。若使构成该图像的像素群沿着相当于运送方向的方向(即图像的横向)收缩,就如位于图14的中段的图像那样,得到收缩膨胀前的图像中在相当于交叉方向的方向(即图像的纵向)上延伸的线等消失的图像(收缩后图像)。在此,所谓使收缩,在将图像中的各像素黑白二值化时,是指在位于对象像素的周边的像素的任一者为黑的情况下,使对象像素为黑,来使得收缩1像素相应量。
之后,若使构成收缩后图像的像素群沿着图像的横向膨胀,就如位于图14的下段的图像那样,收缩后图像中拍到的药剂以及切断线3y等纵线在横向上成为收缩前的尺寸的图像(收缩膨胀后图像)。在此,所谓使膨胀,在将图像中的各像素黑白二值化时,是指在位于对象像素的周边的像素的任一者为白的情况下,使对象像素为白来使得膨胀1像素相应量。
另外,在本实施方式中,沿着相当于运送方向的方向(即图像的横向)进行收缩以及膨胀,但并不限于此,也可以沿着相当于交叉方向的方向(即图像的纵向)收缩以及膨胀,另外,也可以不仅沿着一个方向,而是沿着多个方向收缩以及膨胀。
然后,若从收缩膨胀前图像将收缩膨胀后图像除去(换言之,取得两图像的差分图像),收缩膨胀前图像中的药剂的图像就被除去。若通过以上那样的次序对合成图像进行除去处理,就如图15所示那样,得到仅拍到切断线3y的合成图像。另外,图15所示的合成图像成为使构成除去处理后的合成图像的像素群沿着图像的横向膨胀的图像。
若除去处理结束,检测部27就基于除去处理后的合成图像(即除去了药剂的图像的合成图像)来检测拍摄对象部分3x中的切断线3y(S054)。作为从除去处理后的合成图像检测切断线3y的方法,例如能举出确定构成除去处理后的合成图像的各像素的位置与灰度值(深浅)的关系来检测切断线3y的方法。
具体说明,检测部27将构成除去处理后的合成图像的像素当中位于距合成图像的端位置的距离相等的位置的多个像素作为一个像素列(沿着图像的纵向的列)。然后,检测部27将像素列中的各像素的灰度值合计像素列中的像素的个数相应量。若求取存在于除去处理后的合成图像的像素列的个数相应量的该合计值(以下是合计灰度值),就确定了图16图示那样的像素列的位置与合计灰度值的对应关系。
检测部27基于所确定的对应关系,来确定与周围的像素列相比合计灰度值更高且该合计灰度值超过阈值的像素列。例如若是图16图示的情形,确定距合成图像的端位置的距离成为同图的箭头所指的距离的像素列。然后,检测部27将拍摄对象部分3x当中相当于所确定的像素列的部分检测为切断线3y。另外,检测部27从一个拍摄对象部分3x的图像(严密说是合成图像)检测位于拍摄对象部分3x中的2根切断线3y。
另外,检测部27算出检测到的2根切断线3y的间隔(图16中记号w表示的距离),将其算出结果发送到控制部21。控制部21基于从检测部27送来的切断线3y的间隔的算出结果来控制运送部14。更具体说明,控制部21将一次运送动作中的运送量设定成与切断线3y的间隔的算出结果相应的量。
以上为止说明了检测切断线3y的次序的一例,但也可以通过上述的次序以外的次序来检测切断线3y。以下参考图17来说明检测切断线3y的次序的变更例。图17是表示关于检测切断线3y的次序的变更例的图。
在变更例所涉及的切断线检测工序中,检测部27使用图像拍摄部16拍摄的拍摄条件不同的图像当中图像拍摄部16用第一摄像机16a拍摄的图像(以下称作上表面图像Js)和图像拍摄部16用第二摄像机16b拍摄的图像(以下称作下表面图像Jb)来检测拍摄对象部分3x中的切断线3y。在此,检测部27所用的上表面图像Js以及下表面图像Jb均是在光照射部17从相同的发光部17a、17b、17c或17d照射光的期间所拍摄的图像。
另外,如图17所示那样,在上表面图像Js以及下表面图像Jb,除了拍到药剂f以及切断线3y以外,还在靠近图像拍摄时发出光的发光部的端部发现伪切断线3r。若将上表面图像Js和下表面图像Jb进行比较,则如图17所示那样,切断线3y在上表面图像Js与下表面图像Jb之间在相同位置拍到,伪切断线3r则在相互不同的位置拍到。这是因为,在包装袋1的上表面和下表面,来自光照射部17的照射光进行反射的部位不同。
在变更例所涉及的切断线检测工序中,如图17所示那样,首先除去处理执行部28对上表面图像Js以及下表面图像Jb通过与前述同样的次序实施除去处理。即,除去处理执行部28在除去处理中,使构成图像拍摄部16拍摄的上表面图像Js以及下表面图像Jb的各自的像素群沿着相当于运送方向的方向(即图像的横向)收缩以及膨胀。之后除去处理执行部28将通过对各图像进行收缩以及膨胀而得到的收缩膨胀后的图像从收缩膨胀前的图像除去。由此,取得从上表面图像Js以及下表面图像Jb的各自除去药剂f的图像的图像、即除去处理后上表面图像NJs以及除去处理后下表面图像NJb。
在除去处理后上表面图像NJs以及除去处理后下表面图像NJb,如图17所示那样,拍到沿着相当于交叉方向的方向(即图像的纵向)的纵线、具体是切断线3y以及伪切断线3r。
在除去处理的实施后,检测部27确定第一摄像机16a拍摄的图像(严密说是除去处理后上表面图像NJs)中拍到的切断线3y的候补,且确定第二摄像机16b拍摄的图像(严密说是除去处理后下表面图像NJb)中拍到的切断线3y的候补。在此,所谓切断线3y的候补,是在除去处理后上表面图像NJs以及除去处理后下表面图像NJb的各自中拍到的纵线,具体是切断线3y本身以及伪切断线3r。
之后,检测部27确定在第一摄像机16a拍摄的图像(严密说是除去处理后上表面图像NJs)以及第二摄像机16b拍摄的图像(严密说是除去处理后下表面图像NJb)双方中公共地拍到的切断线3y的候补。然后,检测部27将所确定的切断线3y的候补检测为拍摄对象部分3x中的切断线3y。
更详细说明,检测部27确定除去处理后上表面图像NJs与除去处理后下表面图像NJb之间公共地拍到的纵线,生成反映了该确定结果的综合图像Ji。综合图像Ji是仅拍到在除去处理后上表面图像NJs与除去处理后下表面图像NJb之间公共地拍到的纵线的图像。在此,在综合图像Ji中拍到的纵线如图17所示那样是切断线3y。因此,检测部27将在综合图像Ji中拍到的纵线检测为拍摄对象部分3x中的切断线3y。另外,作为检测综合图像Ji中的纵线(即切断线3y)的方法,还能利用采用了前述的图像中的各像素列的位置与各像素列中的合计灰度值的对应关系(参考图16)的方法。
<<药剂判定装置的基本动作>>
接下来参考图18来说明药剂判定装置10的基本动作。图18是表示药剂判定装置10的基本动作的流程的图。
首先,若在处方笺输入作业中完成处方条件信息的输入,处理装置12的处方条件信息取得部22就与处方条件输入装置50进行通信,取得表示输入的处方条件的处方条件信息(S011)。
另一方面,若遵循输入的处方条件(换言之,处方条件信息取得部22取得的处方条件信息所表示的处方条件),通过分包机60进行了自动分包作业,就作成包着药剂的包装袋1相连的带状的包装袋连续体3。该包装袋连续体3通过形成于装置主体11的外壳13的导入部13a而被导入装置主体11内部(S012)。
若包装袋连续体3被导入装置主体11内,就间歇地重复进行运送部14的运送动作(S013)。在各运送动作中,将包装袋连续体3向运送方向下游侧运送给定量。若包装袋连续体3向运送方向下游侧运送,则不久包装袋连续体3中的一个包装袋1就配置于配置部15。然后,每当进行运送动作,就切换包装袋连续体3中的配置于配置部15的包装袋1。
在运送动作间的期间(即包装袋连续体3的运送停止的期间),光照射部17对包在配置于配置部15的包装袋1中的药剂照射光(S014)。在该状态下,图像拍摄部16使用第一摄像机16a以及第二摄像机16b的各自来拍摄包在配置于配置部15的包装袋1或者的图像(即判定对象的药剂)(S015)。
详细说明光照射部17的光照射工序S014,光照射部17在从配置于配置部15的周围的4个发光部17a、17b、17c或17d的一者照射光后,依次切换发光部(S016以及S017),从切换后的发光部17a、17b、17c或17d再度照射光。即,光照射部17依次切换光的照射方向,从各个方向照射光。然后,图像拍摄部16按光的照射方向区别地拍摄判定对象的药剂的图像。由此,对包在配置于配置部15的包装袋1中的药剂拍摄计8个(摄像机的台数×光的照射方向的数量)图像。
另外,每当配置于配置部15的包装袋1伴随运送动作而切换,就重复进行上述的光照射工序S014、图像拍摄工序S015以及发光部切换工序S017。
拍摄的图像随时被传输到处理装置12的图像取得部23(S018)。之后,对图像取得部23取得的图像通过处理装置12的前处理部24实施前处理(S019)。由此,生成在药剂的表面强调了用刻印形成的识别信息的边缘的前处理后图像。
另一方面,处理装置12的判定部25确定前处理后图像中拍到的药剂(即判定对象的药剂)所涉及的处方条件(S020)。具体地,从S011中取得的处方条件信息确定对分包在包装袋连续体3中的各包装袋1的药剂设定的处方条件(详细是药剂的种类以及按种类区别的个数)。
另外,处理装置12的检测部27使用图像取得部23取得的拍摄条件不同的图像(换言之,图像拍摄部16改变拍摄条件而拍摄的拍摄对象部分3x的图像)来实施切断线检测工序(S021)。具体说明,检测部27通过前述的次序来检测位于拍摄对象部分3x中的2根切断线3y。在此,在检测到2根切断线3y的情况下,在配置部15正确地配置了包装袋连续体3中的一个包装袋1。反之,在未检测到2根切断线3y的情况下,例如由于2个包装袋1跨配置部15配置而仅检测到1根切断线3y的情况下,在运送部14将包装袋连续体3若干运送而调整了包装袋连续体3的位置后,检测部27再度实施切断线检测工序。然后,直到检测部27检测到拍摄对象部分3x中的2根切断线3y位置,都重复运送部14的位置调整用的运送动作和切断线检测工序。
检测部27若检测到拍摄对象部分3x中的2根切断线3y,就算出切断线3y间的间隔,将该算出结果发送到控制部21。控制部21在这以后进行的运送部14的运送动作中控制运送部14,来将包装袋连续体3运送与切断线3y间的间隔的算出值相应的运送量。由此,在各运送动作的实施后,将包装袋连续体3中的包装袋1一个一个地正确配置于配置部15。
另外,在运送部14停止的期间,判定部25通过上述的判定流程的次序来判定分包到包装袋连续体3中的各包装袋1的药剂是否如处方条件那样被正确分包(S022)。在判定流程中,判定部25访问数据库服务器70的数据库DB,读出与前工序S020中确定的处方条件(具体是药剂的种类)对应的主图像。然后,判定部25使用前处理后图像和主图像来判定包在配置于配置部15的包装袋1中的药剂的种类以及个数是否如处方条件那样。
直到对包装袋连续体3中的各包装袋1内的药剂结束判定为止,每当配置于配置部15的包装袋1切换,都重复实施以上为止说明的运送动作到判定流程的一系列工序S013~S022(S023)。
另外,在图18图示的流程中,每当配置于配置部15的包装袋1切换都重复实施切断线检测工序S021,但也可以切断线检测工序S021仅在初次实施,这以后省略实施。
判定部25将分包到包装袋连续体3中的各包装袋1的药剂作为判定对象来进行上述的判定,若所有判定结束,就将表示其结果(判定结果)的字符信息显示于显示器(S024)。
另外,关于显示于显示器的判定结果,只要能清晰掌握是对包在包装袋连续体3中的哪个包装袋1中的药剂的判定结果即可,可以按包装袋1区别切换显示判定结果,或者也可以将包装袋连续体3中的各包装袋1各自的判定结果与包装袋1的位置或顺序建立对应地汇总显示。
然后,通过运送部14的运送动作而包装袋连续体3到达装置主体11的外壳13的排出部,在位于包装袋连续体3的末端侧的包装袋1(运送方向上位于最上游侧的包装袋1)被排出到外壳13外的时间点,结束药剂判定装置10的基本动作。
<<关于本实施方式所涉及的药剂判定装置的有效性>>
如以上为止说明的那样,本实施方式所涉及的药剂判定装置10以及边界凹部的检测方法(具体是切断线3y的检测方法)使用图像拍摄部16改变拍摄条件而拍摄的拍摄对象部分3x的图像来检测拍摄对象部分3x中的切断线3y。由此,能合适地检测包装袋连续体3中的切断线3y的形成位置。其结果,在对包装袋连续体3的各包装袋1个别进行药剂适合与否的判定(审核)的情形中,能准确地划定包装袋连续体3中的拍摄区域。在相关的点中,本发明的药剂判定装置以及边界凹部的检测方法起到比专利文献1~4记载的技术更有利的效果。
更详细说明,如背景技术的项中说明的那样,切断线3y由于比较的小,易于压坏,因此图像中的切断线3y并不清晰,难以检测。另外,在向包装袋连续体3中的切断线3y的形成位置照射光的同时拍摄切断线3y附近的图像来检测切断线3y的情况下,如前述那样,在切断线3y近旁发现伪切断线3r,存在将该伪切断线3r误认为切断线3y的可能性。为此,在专利文献1~4记载的技术中,不是检测切断线3y自身,而是检测位于切断线3y附近的部分或切断线3y的候补等,从而间接检测切断线3y。
具体说明,在专利文献1记载的技术中,利用分包纸中透光时的散射性在热封部与非封部之间不同的性质,通过使照明侧的背景像仅在包裹端部显露,来检测包裹端部。
在专利文献2记载的技术中,将上游侧边界候补以及下游侧边界候补的组合候补当中审核对象即分包袋的长度的导出值与既定值近似的组合视作审核对象即位于分包袋的上游侧以及下游侧的边界位置。
在专利文献3以及4记载的技术中,根据比给定的长度长的纵边缘彼此的间隔来认识边缘区域,将该边缘区域的中央部作为纵封部彼此的边界位置。
与此相对,在本实施方式所涉及的药剂判定装置10中,改变拍摄条件来多次拍摄包装袋连续体3中切断线3y所位于的拍摄对象部分3x的图像,能通过使用改变拍摄条件而拍摄的多个拍摄图像来将伪切断线3r从图像中除去。为此,能从拍摄图像直接检测切断线3y。另外,在利用专利文献1记载的技术的情况下,由于需要在热封部与非封部之间使光的散射性不同,因此若是本实施方式所涉及的药剂判定装置10,对没有这样的性质的包装袋连续体3也能利用。
另外,为了利用专利文献2记载的技术,需要审核对象即分包袋的长度的既定值,在该既定值未知的情况下不能利用。另外,在专利文献2记载的技术中,有上游侧边界候补以及下游侧边界候补的组合候补当中审核对象即分包袋的长度的导出值与既定值近似的候补存在多个的情况。在相关的情况下,难以从边界候补中决定边界位置。与此相对,若是本实施方式所涉及的药剂判定装置10,不需要上述的既定值,另外,能边界候补受限(少)、更简便且精度良好地检测切断线3y。
另外,在专利文献3以及4记载的技术中,在包裹的边界位置存在于边缘区域的中央位置这样的前提下确定边界位置,但例如在切断线等设于从边缘区域的中央部偏离的位置的情况下,难以正确地检测切断线等的位置。与此相对,若是本实施方式所涉及的药剂判定装置10,则如前述那样,由于检测切断线3y本身,因此能更正确地检测切断线3y。
<<其他实施方式>>
以上为止对本发明的药剂判定装置以及边界凹部的检测方法举出具体的一例进行了说明,但上述的实施方式只是一例,还考虑其他实施方式。例如在上述的实施方式中,举出在包装袋连续体3中的各包装袋1(除了空袋1A以外)内分包多个药剂的情形为例进行了说明,但并不限定于此。分包到各包装袋1内的药剂的个数能任意设定,可以仅1个,或者也可以2个以上。
另外,在上述的实施方式中,举出在药剂师对患者将药剂执行处方时为了判定分包到包装袋1的药剂的适合与否而用的药剂判定装置10w为例进行了说明。但药剂判定装置10的用途并不限定于上述的用途,在患者在医院等设施入院时将药剂以包在包装袋1中的状态下自备时,能以设施的员工掌握该自备药剂的种类以及数量(严密说是按种类区别的数量)为目的来利用药剂判定装置10。
符号说明
1 包装袋
1A 空袋
3 包装袋连续体
3r 伪切断线
3x 拍摄对象部分
3y 切断线
10 药剂判定装置
11 装置主体
11a 驱动控制电路
12 处理装置
13 外壳
13a 导入部
14 运送部
14a、14b 展平辊
15 配置部
16 图像拍摄部
16a 第一摄像机
16b 第二摄像机
17 光照射部
17a 第一发光部
17b 第二发光部
17c 第三发光部
17d 第四发光部
18 运送路
21 控制部
22 处方条件信息取得部
23 图像取得部
24 前处理部
25 判定部
27 检测部
28 除去处理执行部
50 处方条件输入装置
55 药剂棚
60 分包机
70 数据库服务器
DB 数据库
f 药剂
Jb 下表面图像
Ji 综合图像
Js 上表面图像
NJb 除去处理后下表面图像
NJs 除去处理后上表面图像
X 药剂提取图像

Claims (12)

1.一种药剂判定装置,其特征在于,具有:
检测部,其在包着药剂的包装袋并排多个的带状的包装袋连续体检测形成于所述包装袋间的边界位置的边界凹部;和
图像拍摄部,其在向所述包装袋连续体中至少所述边界凹部所位于的拍摄对象部分的表面照射光的状态下,改变拍摄条件来多次拍摄所述拍摄对象部分的表面的图像,
所述检测部基于所述图像拍摄部改变所述拍摄条件而拍摄的多个图像来检测所述拍摄对象部分中的所述边界凹部。
2.根据权利要求1所述的药剂判定装置,其特征在于,
所述药剂判定装置具有:
光照射部,其在所述图像拍摄部拍摄图像时向所述拍摄对象部分的表面照射光,
所述光照射部具有在所述包装袋连续体的长边方向向相互相反朝向发出光的第一发光部以及第二发光部,向所述拍摄对象部分的表面从斜向照射光,
所述图像拍摄部在所述拍摄对象部分在所述长边方向上位于所述第一发光部与所述第二发光部之间的状态下拍摄图像,
每当改变所述拍摄条件时,所述光照射部改变所述第一发光部以及所述第二发光部当中照射光时所用的发光部。
3.根据权利要求2所述的药剂判定装置,其特征在于,
所述图像拍摄部在所述光照射部使用所述第一发光部向所述拍摄对象部分的表面照射光的期间拍摄所述拍摄对象部分的表面的第一图像,且在所述光照射部使用所述第二发光部向所述拍摄对象部分的表面照射光的期间拍摄所述拍摄对象部分的表面的第二图像,
所述检测部使用所述第一图像以及所述第二图像来检测所述拍摄对象部分中的所述边界凹部。
4.根据权利要求3所述的药剂判定装置,其特征在于,
在所述光照射部使用所述第一发光部向所述拍摄对象部分的表面照射光的期间,所述第二发光部的发光停止,
在所述光照射部使用所述第二发光部向所述拍摄对象部分的表面照射光的期间,所述第一发光部的发光停止。
5.根据权利要求4所述的药剂判定装置,其特征在于,
所述检测部将所述第一图像中在所述拍摄对象部分拍到更远离所述第一发光部一侧的区域的部分、和所述第二图像中在所述拍摄对象部分拍到更远离所述第二发光部一侧的区域的部分合成来作成合成图像,基于所述合成图像来检测所述拍摄对象部分中的所述边界凹部。
6.根据权利要求1所述的药剂判定装置,其特征在于,
所述图像拍摄部具有:在所述包装袋连续体的厚度方向上从相互相反朝向拍摄所述拍摄对象部分的第一摄像机以及第二摄像机,
所述第一摄像机拍摄所述厚度方向上的所述拍摄对象部分的一个表面的图像,
所述第二摄像机拍摄所述厚度方向上位于与所述一个表面相反侧的所述拍摄对象部分的其他表面的图像,
所述检测部基于所述第一摄像机拍摄的图像和所述第二摄像机拍摄的图像来检测所述拍摄对象部分中的所述边界凹部。
7.根据权利要求6所述的药剂判定装置,其特征在于,
所述检测部在确定所述第一摄像机拍摄的图像中拍到的所述边界凹部的候补且确定所述第二摄像机拍摄的图像中拍到的所述边界凹部的候补后,将在所述第一摄像机拍摄的图像以及所述第二摄像机拍摄的图像双方中公共地拍到的所述边界凹部的候补检测为所述拍摄对象部分中的所述边界凹部。
8.根据权利要求1~7中任一项所述的药剂判定装置,其特征在于,
在所述包装袋连续体中的所述包装袋中包装药剂,
所述图像拍摄部改变所述拍摄条件来多次拍摄至少包装所述药剂的所述包装袋的端部以及与所述端部相邻的所述边界凹部所位于的所述拍摄对象部分的表面的图像。
9.根据权利要求8所述的药剂判定装置,其特征在于,
所述包装袋具有光透过性,
所述图像拍摄部改变所述拍摄条件来多次拍摄至少包装所述药剂的所述包装袋当中覆盖所述药剂的部分、所述端部以及与所述端部相邻的所述边界凹部所位于的所述拍摄对象部分的表面的图像,
所述药剂判定装置具有:
除去处理执行部,其对改变所述拍摄条件拍摄的多个图像的各自执行用于将图像中的药剂的图像除去的除去处理。
10.根据权利要求9所述的药剂判定装置,其特征在于,
所述除去处理执行部通过将使构成所述图像拍摄部拍摄的图像的像素群沿着至少一个方向收缩以及膨胀而得到的收缩膨胀后的图像从收缩膨胀前的图像除去,来执行将图像中的所述药剂的图像除去的所述除去处理。
11.根据权利要求1~10中任一项所述的药剂判定装置,其特征在于,
所述边界凹部是包含在所述包装袋连续体的横宽方向从所述包装袋连续体的一端延续到另一端而形成的虚线状的直线槽的切断线。
12.一种边界凹部的检测方法,在包着药剂的包装袋并排多个的带状的包装袋连续体中检测形成于所述包装袋间的边界位置的边界凹部,
所述边界凹部的检测方法的特征在于,具有如下工序:
在向所述包装袋连续体中至少所述边界凹部所位于的拍摄对象部分的表面照射光的状态下,改变拍摄条件来多次拍摄所述拍摄对象部分的表面的图像;
基于改变拍摄条件而拍摄的多个图像来检测所述拍摄对象部分中的所述边界凹部。
CN201980021887.3A 2018-03-26 2019-01-29 药剂判定装置以及边界凹部的检测方法 Pending CN111902843A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-058105 2018-03-26
JP2018058105 2018-03-26
PCT/JP2019/002942 WO2019187601A1 (ja) 2018-03-26 2019-01-29 薬剤判定装置、及び境界凹部の検出方法

Publications (1)

Publication Number Publication Date
CN111902843A true CN111902843A (zh) 2020-11-06

Family

ID=68061134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021887.3A Pending CN111902843A (zh) 2018-03-26 2019-01-29 药剂判定装置以及边界凹部的检测方法

Country Status (5)

Country Link
US (1) US11887293B2 (zh)
EP (1) EP3777813B1 (zh)
JP (1) JP7141445B2 (zh)
CN (1) CN111902843A (zh)
WO (1) WO2019187601A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804696A (zh) * 2023-12-28 2024-04-02 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193924A1 (ja) * 2018-04-03 2019-10-10 富士フイルム富山化学株式会社 薬剤判定装置及び薬剤判定方法
JP7282978B2 (ja) * 2020-02-26 2023-05-29 富士フイルム富山化学株式会社 薬剤識別装置
EP3939899A1 (en) * 2020-07-16 2022-01-19 TriVision A/S A system and a method for packaging product into separate bags

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188637A (zh) * 2012-10-03 2015-12-23 株式会社汤山制作所 药剂检查系统、卷绕装置、送料装置、及保持器
JP2015232486A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置
JP2017090360A (ja) * 2015-11-16 2017-05-25 日産自動車株式会社 表面検査装置および表面検査方法
JP2017127407A (ja) * 2016-01-19 2017-07-27 富士フイルム株式会社 調剤監査装置及び方法、並びにプログラム
JP2018045368A (ja) * 2016-09-13 2018-03-22 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3477009B2 (ja) * 1996-09-26 2003-12-10 株式会社湯山製作所 薬包帯巻取装置を備えた結束機
US6330351B1 (en) * 1996-11-29 2001-12-11 Kabushiki Kaisha Yuyama Seisakusho Drug inspection device and drug packaging device
NL1022679C1 (nl) * 2003-02-14 2004-08-17 Dijkstra Vereenigde Bedrijven Inspectie inrichting voor losse objecten, zoals tabletten.
DK1704844T3 (da) * 2004-01-05 2017-11-13 Tosho Inc Automatisk administrationsapparat og lægemiddeltilførselsapparat
JP4446842B2 (ja) * 2004-09-02 2010-04-07 株式会社トーショー 錠剤計数監査装置
KR100650285B1 (ko) * 2005-05-25 2006-11-27 (주)제이브이엠 약포 검사시스템
JP4439433B2 (ja) 2005-06-01 2010-03-24 株式会社トーショー 錠剤計数監査装置
JP4652935B2 (ja) * 2005-09-08 2011-03-16 アロカ株式会社 X線ct装置及び画像処理方法
KR101123656B1 (ko) * 2008-10-08 2012-03-21 (주)제이브이엠 약포 검사장치
US20100170206A1 (en) * 2009-01-06 2010-07-08 Jvm Co., Ltd. Medicine pouch arranging device
JP4755714B2 (ja) * 2009-11-17 2011-08-24 株式会社湯山製作所 薬剤払出装置
KR101791460B1 (ko) * 2010-12-21 2017-10-30 (주)제이브이엠 포장약품 와인딩장치
US9272796B1 (en) * 2011-01-11 2016-03-01 Chudy Group, LLC Automatic drug packaging machine and package-less verification system
US8943779B2 (en) 2011-04-28 2015-02-03 Yuyama Mfg. Co., Ltd. Medicine inspection device, and medicine packaging device
US10435192B2 (en) * 2011-05-16 2019-10-08 Edge Medical Properties, Llc Multiple inspection system and method that inspects different medications
WO2013021543A1 (ja) * 2011-08-08 2013-02-14 パナソニック株式会社 薬包体監査システム
WO2014129526A1 (ja) * 2013-02-20 2014-08-28 株式会社湯山製作所 薬剤鑑査装置、及び薬剤分包システム
JP6403445B2 (ja) * 2014-06-09 2018-10-10 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6682809B2 (ja) * 2015-11-09 2020-04-15 大日本印刷株式会社 検査システムおよび検査方法
JP2017207356A (ja) * 2016-05-18 2017-11-24 アズビル株式会社 画像検査装置及び画像検査方法
US10187593B2 (en) * 2016-09-27 2019-01-22 Rxsafe Llc Verification system for a pharmacy packaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188637A (zh) * 2012-10-03 2015-12-23 株式会社汤山制作所 药剂检查系统、卷绕装置、送料装置、及保持器
JP2015232486A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置
JP2017090360A (ja) * 2015-11-16 2017-05-25 日産自動車株式会社 表面検査装置および表面検査方法
JP2017127407A (ja) * 2016-01-19 2017-07-27 富士フイルム株式会社 調剤監査装置及び方法、並びにプログラム
JP2018045368A (ja) * 2016-09-13 2018-03-22 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804696A (zh) * 2023-12-28 2024-04-02 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及系统
CN117804696B (zh) * 2023-12-28 2024-05-31 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及系统

Also Published As

Publication number Publication date
US11887293B2 (en) 2024-01-30
JPWO2019187601A1 (ja) 2021-03-11
JP7141445B2 (ja) 2022-09-22
EP3777813B1 (en) 2023-11-15
EP3777813A4 (en) 2021-06-09
WO2019187601A1 (ja) 2019-10-03
EP3777813A1 (en) 2021-02-17
US20200394786A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
CN111902843A (zh) 药剂判定装置以及边界凹部的检测方法
US11651864B2 (en) Drug inspection apparatus and method
JP6974594B2 (ja) 薬剤判定装置及び薬剤判定方法
KR101899269B1 (ko) 약제 감사 장치 및 약제 분포 장치
JP4256434B2 (ja) 分包薬剤の検薬方法と検薬装置
NL2012203C2 (en) Method and apparatus for inspecting packages containing medication.
CN109073564B (zh) 药剂监查装置及方法以及记录介质
US9218459B2 (en) Integrated drug management system and method of providing prescription drugs by using the same
CN112105330B (zh) 药剂判定装置以及药剂判定方法
US20210019886A1 (en) Medicine verification device and medicine verification method
JP2014221134A (ja) 一包化薬剤鑑査装置
KR101985545B1 (ko) 약포형 약제 불출 박스
JP5749978B2 (ja) 薬剤監査支援装置
KR101985546B1 (ko) 약포 패키지 절취선 감지 방법
JP7200710B2 (ja) 薬剤鑑査装置
JP7375049B2 (ja) 画像処理装置及び方法
CN110892413A (zh) 药剂识别装置、图像处理装置、图像处理方法以及程序
CN116367805A (zh) 种类判别装置、种类判别方法、种类判别程序及药剂分类装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination