CN110678902A - 手术器具检测系统及计算机程序 - Google Patents
手术器具检测系统及计算机程序 Download PDFInfo
- Publication number
- CN110678902A CN110678902A CN201880034927.3A CN201880034927A CN110678902A CN 110678902 A CN110678902 A CN 110678902A CN 201880034927 A CN201880034927 A CN 201880034927A CN 110678902 A CN110678902 A CN 110678902A
- Authority
- CN
- China
- Prior art keywords
- image
- surgical instrument
- unit
- detection system
- instrument detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 2
- 229910000831 Steel Inorganic materials 0.000 abstract description 47
- 239000010959 steel Substances 0.000 abstract description 47
- 230000003287 optical effect Effects 0.000 abstract description 7
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000007812 deficiency Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/28—Surgical forceps
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0804—Counting number of instruments used; Instrument detectors
- A61B2090/0805—Counting number of instruments used; Instrument detectors automatically, e.g. by means of magnetic, optical or photoelectric detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
提供一种无需对手术器具进行光学读取用标记等特殊处理,即可判断手术器具的种类的手术器具检测系统。手术器具检测系统(100)具备图像输入部(31)、对象提取部(32)、判断处理部(33)以及输出图像生成部(34)。其中,所述图像输入部(31)输入由摄像头(1)拍摄的图像；所述对象提取部(32)从输入图像切取钢配件的对象图像；将所述对象图像输入到分类用学习完毕模型(331),所述判断处理部(33)基于包括在所述对象图像的特征,判断所述对象图像所对应的钢配件的种类；所述输出图像生成部(34)生成表示由所述判断处理部的判断结果的图像，并输出至监视器(2)输出。
Description
技术领域
本发明涉及一种检测用于外科手术等手术器具的系统。
背景技术
在外科手术时,使用许多手术器具,例如钳子和镊子(pincet)。因为在手术期间遗漏手术器具于患者体内是医学上不可容忍的失误,所以要在手术开始前计数手术器具的种类和数量,手术结束后确认手术器具是否齐全。
然而,手术器具的种类非常多,并且有许多非常相似仅在形状和大小上略有不同。因此,即使是经验丰富的护士也难以通过肉眼准确地识别手术器具的种类。
以往,提出了一种手术器械准备系统,其将条形码等光学读取用标记附加到钢配件等手术器械,并利用此来识别手术器械的种类(专利文献1)。应予说明,专利文献1中公开的手术器械准备系统使用于手术前准备用于手术的手术器械,并非使用于手术后确认手术器械是否齐全。
现有技术文献
专利文献
专利文献1：日本专利公开平6-142105号公报
发明内容
【发明要解决的问题】
然而,向每个手术器具添加光学读取用标记需要特殊处理过程,这增加了手术器具的制造成本。另外,使用读取装置从每个手术器具读取标记需要花费时间和精力。
在此,本发明的目的在于提供一种无需对手术器具进行光学读取用标记等特殊处理,即可容易识别多种多样的手术器具的种类和数量的手术器具检测系统。
【解决课题的手段】
为解决上述课题,本发明所涉及的手术器具检测系统具备图像输入部、对象提取部、判断处理部以及输出图像生成部,其中,所述图像输入部输入由摄像头拍摄的图像,所述对象提取部从输入图像切取手术器具的对象图像,所述判断处理部将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征，判断所述对象图像所对应的手术器具的种类,所述输出图像生成部生成表示由所述判断处理部判断的结果的图像，并输出至监视器。
【发明的效果】
根据上述构成,可提供一种无需对手术器具进行光学读取用标记等特殊处理,即可容易识别多种多样的手术器具的种类和数量的手术器具检测系统。
附图说明
图1是表示第1实施方式所涉及的手术器具检测系统的硬件构成概要图。
图2是表示第1实施方式所涉及的手术器具检测系统的功能概要构成的方框图。
图3是表示第1实施方式所涉及的手术器具检测系统的处理流程的流程图。
图4是表示向监视器输出的例子的示意图。
图5是表示向监视器输出的例子的示意图。
图6是表示向监视器输出的例子的示意图。
图7是表示第2实施方式所涉及的手术器具检测系统的功能概要构成的方框图。
图8是表示向监视器输出的例子的示意图。
图9是表示向监视器输出的例子的示意图。
图10是表示第3实施方式所涉及的手术器具检测系统的功能概要构成的方框图。
图11是表示第4实施方式所涉及的手术器具检测系统的功能概要构成的方框图。
具体实施方式
本发明的手术器具检测系统的第1构成具备图像输入部、对象提取部、判断处理部以及输出图像生成部,其中,
所述图像输入部输入由摄像头拍摄的图像,
所述对象提取部从输入图像切取手术器具的对象图像,
所述判断处理部将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征，判断所述对象图像所对应的手术器具的种类,
所述输出图像生成部生成表示由所述判断处理部判断的结果的图像，并输出至监视器。
根据上述第1构成,可从摄像头拍摄的图像切取手术器具的对象图像,利用学习完毕模型判断手术器具的种类。由此,无需对手术器具实施特殊处理,即可自动确定手术器具的种类。
第2构成为,于所述第1构成,
所述输出图像生成部以与拍摄图像的对象图像重叠的方式输出表示手术器具的种类的图像。
根据第2构成,可在监视器上容易识别各个对象图像为何种手术器具。
第3构成为,于所述第1或第2构成,
所述对象提取部基于背景图像和拍摄图像中每个像素的颜色空间矢量的比较,进行所述对象图像的切取。
根据第3构成,虽然需要预先获取背景图像,但可不依赖于背景而进行对象图像的切取。
第4构成为,于所述第1或第2中任一构成,
所述对象提取部将拍摄图像输入至对象提取用学习完毕模型,基于包含在拍摄图像的特征进行所述对象图像的切取。
根据第4构成,通过预先在多个光照条件下学习对象抽出,可不受阴影和色温等光照条件的影响,自动进行对象图像的切取。
第5构成为,于所述第1或第2中任一构成,
所述对象提取部将拍摄图像的像素数据转换为HSV颜色空间的数据,基于色相及彩度的边缘信息进行所述对象图像的切取。
根据第5构成,色相或彩度相比于亮度不易受阴影的影响,并且像色温变化这样对整体产生影响的环境变化对边缘不产生影响,因而可不受光照条件的影响进行对象图像的切取。
第6构成为,于所述第1～第5中任一构成,
还具备核对处理部,所述核对处理部核对手术开始前手术器具的种类及数量与手术结束后手术器具的种类及数量,
所述输出图像生成部生成表示由所述核对处理部核对的结果的图像,并输出至所述监视器。
根据第6构成,可核对手术开始前和结束后的手术器具的种类和数量,可以有效地防止手术期间手术器械遗留在患者体内的医疗事故。
本发明一方式的计算机程序是在计算机的处理器执行手术器具检测处理的计算机可读取的程序,其中,所述手术器具检测处理包括图像输入处理、对象提取处理、判断处理、输出图像生成处理,其中,
所述图像输入处理输入由摄像头拍摄的图像,
所述对象提取处理从输入图像切取手术器具的对象图像,
所述判断处理将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征,判断所述对象图像所对应的手术器具的种类,
所述输出图像生成处理生成表示由所述判断处理判断的结果的图像,并输出至监视器。
本发明一方式的手术器具检测方法是由计算机的处理器执行的手术器具检测方法,其包括以下步骤:
输入由摄像头拍摄的图像的步骤、
从输入图像切取手术器具的对象图像的步骤、
将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征判断所述对象图像所对应的手术器具的种类的步骤、
生成表示所述判断结果的图像,并输出至监视器的步骤。
[实施方式]
以下将参考附图详细说明本发明的实施方式。在附图中,相同或相应的部分由相同的附图标记表示,并且将不重复说明。应予说明,为了使说明易于理解,以下在参考附图中,简要化或示意化了构成,或省略了一些构件。此外,各图中所示的构件之间的尺寸比不一定表示实际的尺寸比。
[第1实施方式]
以下说明第1实施方式。
图1表示第1实施方式所涉及的手术器具检测系统的硬件构成的概要。本实施方式所涉及的手术器具检测系统100是检测手术器具的,尤其是检测钢配件的钢配件检测系统,如图1所示具备摄像头1、监视器2、计算机3、键盘4、及鼠标5。
摄像头1、监视器2、键盘4、及鼠标5连接于计算机3。应予说明,图1中例示了具备键盘4和鼠标5的构成,但作为监视器2使用可用触摸屏输入的监视器,则可以省略键盘及鼠标。并且,可具备话筒来代替键盘及鼠标,并使用计算机以语音输入接受来自用户的指示。
摄像头1、监视器2、及计算机3安装于推车6。推车6具备带有脚轮的脚部61。推车6的支柱62的先端安装有臂63,臂63持有摄像头1。臂63可自由调节摄像头1的视野,优选具有2轴以上的旋转轴。推车6更具备桌64,此桌64上可放置键盘4和鼠标5。推车6更具备计算机支撑台65,可在此设置计算机3。
具有以上构成的手术器具检测系统100,可推动推车6搬入手术室等,如图1所示用摄像头1拍摄已放置手术器具的器具放置台7。摄像头1拍摄的图像发送至计算机3,根据图像处理进行钢配件的检测处理。
图2是表示手术器具检测系统100的功能概要构成的方框图。应予说明,图2所示的方框图是将手术器具检测系统的功能分类为方框概念性地显示的,并不意味着每个方框是作为单独的硬件实现的。每个方框可通过计算机3的CPU执行预定程序来实现。
如图2所示,手术器具检测系统100具备图像输入部31、对象提取部32、判断处理部33、输出图像生成部34以及储存部36。其中,所述图像输入部31输入由摄像头1拍摄的图像,所述对象提取部32从输入图像切取为钢配件的可能性高的对象的图像,所述判断处理部33从对象提取部32切取的对象图像判断钢配件的种类,所述输出图像生成部34生成表示由判断处理部33处理的结果的显示图像,所述储存部36储存上述各部处理所需的数据。
在此参照图3的流程图说明上述各部所进行的处理顺序。
本实施方式中,对象提取部32为了切取为钢配件的盖然性较高的对象的图像,实施像素值比较处理。因此,本实施方式中,放置手术器具前,用摄像头1拍摄器具放置台7的图像作为用于参照的背景图像。通常,在器具放置台7平铺无菌纸,此上方排列手术器具。因此,在排列手术器具之前拍摄的背景图像中包含仅有此无菌纸的图像。摄像头1拍摄的背景图像通过图像输入部31储存于储存部36内的背景图像储存部361(S1)。
此后,将用于手术的器具放置在器具放置台7再次用摄像头1拍摄器具放置台7的图像。拍摄的图像通过图像输入部31暂时储存在储存部36的拍摄图像储存部362(S2)。而且,拍摄的图像如图4所示通过输出图像生成部34显示在监视器2。图4的例子是拍摄了8个钳子91排列在器具放置台7的状态。
对象提取部32具备像素值比较部321。像素值比较部321从储存部36读取如上所述的背景图像和拍摄的图像,比较各个图像所包含的像素的RGB矢量(S3)。对象提取部32还具备对象检测部322。对象检测部322将由背景图像和拍摄图像中两者的RGB矢量形成的角度或矢量大小的差大于特定临界值的像素构成的区域判断为钢配件的对象(S4)。包含在拍摄图像的像素中构成对象的像素,在拍摄图像储存部362中赋予表示为对象的标示。
应予说明,如图5所示,也可在监视器2显示对象的抽出结果。图5所示的例子中,从拍摄图像作为对象被检测出的8个钳子91的各个周围,被表示为对象的边界线92。
对象提取部32的处理结束后,判断处理部33利用适用了深度学习的分类用学习完毕模型331,判断提取的对象属于哪个钢配件(S5)。
分类用学习完毕模型是通过大量学习所拍摄的各种钢配件的图像而生成的。钢配件可基于整体或部分的形状或颜色等特征分类。应予说明,若光的入射方向变化，则由于钢配件的阴影或镜面反射导致亮度变化大,而影响识别准确性的情况较多。因此,拍摄学习的图像时,优选各种改变对于钢配件的光入射条件。
判断处理部33将对象提取部32切取的各个对象图像输入至分类用学习完毕模型。分类用学习完毕模型基于输入的对象图像包含的特征,判断对象图像属于哪个钢配件,将判断结果与判断精度同时输出。判断精度是指,对象图像为钢配件的概率值。
各对象图像的判断精度大于指定值(例如,90％)时,判断处理部33向输出图像生成部34输出此对象图像的判断结果,即,表示自分类用学习完毕模型输出的钢配件的种类的数据。另一方面,判断精度为指定值或指定值以下时,作为所述对象图像的判断结果向输出图像生成部34输出“不详”。
基于从判断处理部33获取的判断结果,输出图像生成部34生成向监视器2输出的图像(S6)。输出图像生成部34生成例如图6所示的包括围绕各个对象的线和表示判断结果的文本(字符串)的图像,使其与拍摄图像重叠而显示于监视器2。存在输出不详的对象或识别有误的对象时,可通过用户手动修改判断结果而进行确定。可将其结果反馈给分类用学习完毕模型,实施模型的更新,提高识别准确性。
例如,皮氏钳可根据先端部的形状(直·弯曲)进行分类,用“皮氏钳直”或“皮氏钳弯曲”等文本显示这些。图6的例子中表示对象图像的全部判断为“皮氏钳直”的状态。
如上所述,根据本实施方式的手术器具检测系统100,可从摄像头1拍摄的图像切取钢配件的对象图像,通过将分类用学习完毕模型使用于各个对象图像,自动确定钢配件的种类。因此,无需对钢配件实施光学读取用标记等的特殊处理,即可正确辨别钢配件的种类。
[第2实施方式]
第2实施方式所涉及的手术器具检测系统200相比于第1实施方式所涉及的手术器具检测系统,增加了判断手术后钢配件是否齐全的功能。
因此,手术器具检测系统200如图7所示更具备核对处理部35。本实施方式中,手术结束后将回收的钢配件放置于器具放置台7用摄像头1拍摄,和第1实施方式同样地检测包括在拍摄图像中的钢配件的种类和数量。核对处理部35核对手术前后钢配件的种类及数量,检测过剩或不足。
手术器具检测系统200在储存部36还具备储存手术开始前钢配件的种类和数量的所需数量储存部363。也就是说,所需数量储存部363储存有为手术而准备的钢配件的种类和各种类的数量。此钢配件的种类和数量是指,在手术开始前用摄像头1拍摄排列在器具放置台7的即将使用的钢配件,由判断处理部33检测出的种类和数量,优选预先储存于所需数量储存部363。或者,也可以不通过系统自动检测,而使用键盘4及鼠标5输入要使用的钢配件的种类和数量。
图8及图9说明在手术器具检测系统200中由监视器2所显示的画面的一个例子。图8是在手术结束后摄像头1拍摄排列在器具放置台7的钢配件,由监视器2所显示的画面的一个例子。图8所例示的画面中显示了拍摄图像显示区域81、器具类型显示栏82、所需数量显示栏83、已识别数量显示栏84、识别中数量显示栏85、过剩或不足数量显示栏86、滚动条87及操作按钮88。
器具类型显示栏82中显示钢配件的种类。基于储存于所需数量储存部363的数据,在所需数量显示栏83显示手术开始前钢配件各种类的数量。在此阶段中已识别数量显示栏84、识别中数量显示栏85、及过剩或不足数量显示栏86不显示任何内容。操作按钮88中显示“识别”命令。摄像头1拍摄的图像被放入拍摄图像显示区域81后,用户单击操作按钮88时,将开始对象提取部32及判断处理部33的处理。
如图9所示,拍摄图像显示区域81文本显示钢配件的种类,该文本重叠于从拍摄图像检测到的各个钢配件的对象。此时,操作按钮88显示“登录”的命令。识别中数量显示栏85中计数由判断处理部33判断为该种类可能性高的对象的数量。这里，存在识别有误或判断为不详的对象的情况下,用户可修改判断结果。然后,单击操作按钮88则确定识别中对象的判断结果,计数到已识别数量显示栏84。过剩或不足数量显示栏86显示从所需数量显示栏83显示的数量减去已识别数量显示栏84显示的数量。图9的例子中,对赋予“皮氏钳短直”、“皮氏钳长直”、“皮氏钳长弯曲”、“镊子无鈎中”等名称的手术器具,显示判断处理部33的判断结果。应予说明,应计数的所有钢配件的识别及登录操作全部结束时,过剩或不足数量显示栏86将显示“0”。
如上所述,根据本实施方式可通过图像识别自动核对手术前后钢配件的种类和数量是否一致。由此可提供一种系统,无需对钢配件实施特殊处理,即可自动检查是否在患者体内遗漏钢配件。
[第3实施方式]
第3实施方式所涉及的手术器具检测系统300如图10所示,取代第1实施方式的对象提取部32,更具备对象提取部32A。对象提取部32A利用适用了深度学习的对象提取用学习完毕模型32A1,提取为钢配件可能性高的对象图像。这种对象提取用学习完毕模型通过大量学习拍摄放置于器具放置台7的无菌纸上的钢配件的图像而获得。
也就是说,对象提取用学习完毕模型与用于判断钢配件种类的分类用学习完毕模型不同,是判断特定像素(或像素区域)是钢配件图像的部分还是背景(无菌纸)的学习模型。
由此,本实施方式中切取对象图像时也使用学习完毕模型之处与第1实施方式不同。
然而,不同于第1实施方式,根据本实施方式则无需只拍摄背景图像的工序。并且,作为对象提取用学习完毕模型,使用充分学习的学习完毕模型可准确地切取对象图像。
应予说明,也可以是取代第2实施方式的对象提取部32,而具备上述对象提取部32A的构成。
[第4实施方式]
如图11所示,本实施方式所涉及的手术器具检测系统400具备对象提取部32B取代第1实施方式的对象提取部32。对象提取部32B具备转换部321B和边缘检测部322B。
相比于成为背景的无菌纸通常使用蓝色系,钢配件使用银色、黑色等HSV颜色空间的彩度低,对象提取部32B利用此特征检测对象。转换部321B将已输入的拍摄图像的RGB数据转换为HSV颜色空间的数据。边缘检测部322B基于色相及彩度数据检测对象的边缘(边界线)。边缘的检测方法虽然以往有各种方法而没有特别限制,例如可使用Canny法等。应予说明,RGB数据转换成HSV颜色空间的数据之后,基于色相及彩度数据实施边缘提取,通过周围光的情况发生改变从而抑制阴影的影响。这是因为相比于RGB的亮度数据或HSV的明度数据受阴影的影响,色相或彩度不易受到阴影的影响。
应予说明,也可以是取代第2实施方式的对象提取部32而具备上述对象提取部32B的构成。
以上说明了本发明的多个实施方式,但本发明的实施方式并不限于上述具体例,也可以进行各种改变。另外,也可以适宜组合各实施方式说明的功能从而实施本发明。
例如,上述实施方式的手术器具中特别说明了检测钢配件的手术器具检测系统,除钢配件之外,也可适用本发明检测由其他材料形成的手术器具,例如,由实施了与钢配件同等的表面处理的轻金属构成的手术器具、或者、例如,由碳或树脂构成的手术器具。
另外,在上述说明中将手术器具检测系统的实施方式描述为安装于服务器或计算机上的系统。但是,在本发明的一个实施方式中还包括用于使通用服务器或计算机实现上述各方框的功能的计算机程序及记录该程序的记录媒体。
也就是说,上述实施方式的各功能方框的处理的一部分或全部可以通过程序来实现。那么,上述实施方式中的每个功能方框的部分或全部处理就可由计算机的中央处理器(CPU)执行。或者,也可利用GPU(Graphics Processing Unit)、TPU(Tensor ProcessingUnit)或FPGA(Field Programmable Gate Array)等协同处理器。另外,用于执行每个处理的程序存储在诸如硬盘或ROM等存储装置中,并且在ROM或RAM中读取并执行。
上述实施方式的每个处理可以通过硬件实现,或者可以通过软件(OS(操作系统),包括中间件或特定的数据库共同实现处理的情况)实现。此外,也可通过软件及硬件的混合处理来实现。
此外,上述实施方式中的处理方法的执行顺序不一定限于上述实施方式的说明,可以在不脱离发明内容的范围内变更执行顺序。
使计算机执行上述方法的计算机程序及记录该程序的计算机可读取的记录媒体包括在本发明的范围内。这里,作为计算机可读取的记录媒体可列举软盘,硬盘,CD-ROM,MO,DVD,DVD-ROM,DVD-RAM,BD(Blu-ray Disc)和半导体存储器。
上述计算机程序不限于记录在上述记录媒体上的计算机程序,也可以是经由电信线路,无线或有线通信线路,以因特网为代表的网络等来传送。
【符号说明】
1:摄像头；2:监视器；3:计算机；4:键盘；5:鼠标；6:推车；7:器具放置台；31:图像输入部；32:对象提取部；33:判断处理部；34:输出图像生成部；35:核对处理部；36:储存部；100、200、300、400:手术器具检测系统。
Claims (8)
1.一种手术器具检测系统,具备图像输入部、对象提取部、判断处理部以及输出图像生成部,其中,
所述图像输入部输入由摄像头拍摄的图像,
所述对象提取部从输入图像切取手术器具的对象图像,
所述判断处理部将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征，判断所述对象图像所对应的手术器具的种类,
所述输出图像生成部生成表示由所述判断处理部判断的结果的图像，并输出至监视器。
2.根据权利要求1所述的手术器具检测系统,其特征在于,
所述输出图像生成部以与拍摄图像的对象图像重叠的方式输出表示手术器具的种类的图像。
3.根据权利要求1或2所述的手术器具检测系统,其特征在于,
所述对象提取部基于背景图像与拍摄图像中每个像素的颜色空间矢量的比较,进行所述对象图像的切取。
4.根据权利要求1或2所述的手术器具检测系统,其特征在于,
所述对象提取部将拍摄图像输入至对象提取用学习完毕模型,基于包含在拍摄图像的特征，进行所述对象图像的切取。
5.根据权利要求1或2所述的手术器具检测系统,其特征在于,
所述对象提取部将拍摄图像的像素数据转换为HSV颜色空间的数据,基于色相及彩度的边缘信息，进行所述对象图像的切取。
6.根据权利要求1～5中任一项所述的手术器具检测系统,其特征在于,
还具备核对处理部,所述核对处理部核对手术开始前手术器具的种类及数量与手术结束后手术器具的种类及数量,
所述输出图像生成部生成表示由所述核对处理部核对的结果的图像,并输出至所述监视器。
7.一种利用计算机的处理器执行手术器具检测处理的计算机可读取的程序,其特征在于,
所述手术器具检测处理包括图像输入处理、对象提取处理、判断处理、输出图像生成处理,其中,
所述图像输入处理输入由摄像头拍摄的图像,
所述对象提取处理从输入图像切取手术器具的对象图像,
所述判断处理将所述对象图像输入于分类用学习完毕模型,基于包括在所述对象图像的特征,判断所述对象图像所对应的手术器具的种类,
所述输出图像生成处理生成表示由所述判断处理判断的结果的图像,并输出至监视器。
8.一种由计算机的处理器执行的手术器具检测方法,包括以下步骤:
输入由摄像头拍摄的图像的步骤、
从输入图像切取手术器具的对象图像的步骤、
将所述对象图像输入到分类用学习完毕模型,基于包括在所述对象图像的特征，判断所述对象图像所对应的手术器具的种类的步骤、
生成表示所述判断结果的图像,并输出至监视器的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017107892 | 2017-05-31 | ||
| JP2017-107892 | 2017-05-31 | ||
| PCT/JP2018/020782 WO2018221599A1 (ja) | 2017-05-31 | 2018-05-30 | 手術器具検出システムおよびコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110678902A true CN110678902A (zh) | 2020-01-10 |
Family
ID=64455477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880034927.3A Pending CN110678902A (zh) | 2017-05-31 | 2018-05-30 | 手术器具检测系统及计算机程序 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11256963B2 (zh) |
| EP (1) | EP3633607A4 (zh) |
| JP (1) | JP6695502B2 (zh) |
| KR (1) | KR102344832B1 (zh) |
| CN (1) | CN110678902A (zh) |
| WO (1) | WO2018221599A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712016A (zh) * | 2020-12-29 | 2021-04-27 | 上海微创医疗机器人（集团）股份有限公司 | 手术器械识别方法、识别平台及医疗机器人系统 |
| CN113212889A (zh) * | 2021-02-26 | 2021-08-06 | 深圳市云鼠科技开发有限公司 | 包装视觉捡漏装置、方法、计算机设备及存储介质 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110446473A (zh) * | 2017-03-29 | 2019-11-12 | 索尼奥林巴斯医疗解决方案公司 | 医疗观察设备和控制方法 |
| US10223611B1 (en) * | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
| JP7269013B2 (ja) * | 2019-01-09 | 2023-05-08 | 川崎重工業株式会社 | 誤認識を抑制可能な画像認識システムおよび画像認識方法 |
| JP7236276B2 (ja) * | 2019-01-16 | 2023-03-09 | キヤノンメドテックサプライ株式会社 | 情報処理システム、及びその制御方法、プログラム |
| EP3699925A1 (en) | 2019-02-25 | 2020-08-26 | Koninklijke Philips N.V. | Camera assisted subject support configuration |
| US11593931B2 (en) | 2020-06-09 | 2023-02-28 | Howmedica Osteonics Corp. | Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types |
| GB2606520A (en) * | 2021-05-07 | 2022-11-16 | Scalpel Ltd | Computer-implemented method and system for identifying objects in an environment |
| CN114494406B (zh) * | 2022-04-13 | 2022-07-19 | 武汉楚精灵医疗科技有限公司 | 医学图像处理方法、装置、终端及计算机可读存储介质 |
| JP7440164B1 (ja) | 2024-01-16 | 2024-02-28 | 丸木医科器械株式会社 | 個体物品管理システム、個体物品管理方法、及び、個体物品管理プログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105307591A (zh) * | 2013-04-10 | 2016-02-03 | 解析-可追踪性医院 | 在医疗环境中的手术器具的可追踪性 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5610811A (en) | 1992-11-09 | 1997-03-11 | Niti-On Medical Supply Co., Ltd. | Surgical instrument file system |
| JPH06142105A (ja) | 1992-11-09 | 1994-05-24 | Nichion Irika Kikai Seisakusho:Kk | 手術器械準備システム |
| JP2002032751A (ja) * | 2000-07-18 | 2002-01-31 | Olympus Optical Co Ltd | 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体 |
| US7050613B2 (en) * | 2002-11-07 | 2006-05-23 | Fujitsu Limited | Method for supporting cell image analysis |
| US9636188B2 (en) * | 2006-03-24 | 2017-05-02 | Stryker Corporation | System and method for 3-D tracking of surgical instrument in relation to patient body |
| US8631489B2 (en) * | 2011-02-01 | 2014-01-14 | Damballa, Inc. | Method and system for detecting malicious domain names at an upper DNS hierarchy |
| US20140198234A1 (en) * | 2011-09-21 | 2014-07-17 | Nikon Corporation | Image processing apparatus, program, image processing method, and imaging apparatus |
| JP6226187B2 (ja) * | 2012-01-30 | 2017-11-08 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム |
| US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
| US20140108086A1 (en) * | 2012-10-15 | 2014-04-17 | Fluor Technologies Corporation | Project categorization and assessment through multivariate analysis |
| US20140160264A1 (en) * | 2012-12-10 | 2014-06-12 | The Johns Hopkins University | Augmented field of view imaging system |
| JP5958875B2 (ja) | 2013-07-05 | 2016-08-02 | パナソニックＩｐマネジメント株式会社 | 投影システム |
| JP6291844B2 (ja) * | 2014-01-06 | 2018-03-14 | 日本電気株式会社 | データ処理装置 |
| US20160287337A1 (en) * | 2015-03-31 | 2016-10-06 | Luke J. Aram | Orthopaedic surgical system and method for patient-specific surgical procedure |
| GB201517462D0 (en) * | 2015-10-02 | 2015-11-18 | Tractable Ltd | Semi-automatic labelling of datasets |
| US20170132785A1 (en) * | 2015-11-09 | 2017-05-11 | Xerox Corporation | Method and system for evaluating the quality of a surgical procedure from in-vivo video |
| US9760700B2 (en) * | 2015-12-03 | 2017-09-12 | Google Inc. | Image based CAPTCHA challenges |
| CN114019990A (zh) * | 2016-02-24 | 2022-02-08 | 深圳市大疆创新科技有限公司 | 用于控制可移动物体的系统和方法 |
| WO2017149370A1 (en) * | 2016-03-01 | 2017-09-08 | Brightway Vision Ltd. | Gated imaging apparatus, system and method |
| JP6656987B2 (ja) * | 2016-03-30 | 2020-03-04 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
| US10973585B2 (en) * | 2016-09-21 | 2021-04-13 | Alcon Inc. | Systems and methods for tracking the orientation of surgical tools |
| US10127659B2 (en) * | 2016-11-23 | 2018-11-13 | General Electric Company | Deep learning medical systems and methods for image acquisition |
| US10918445B2 (en) * | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
| US10586079B2 (en) * | 2016-12-23 | 2020-03-10 | Soundhound, Inc. | Parametric adaptation of voice synthesis |
| US11829848B2 (en) * | 2017-05-09 | 2023-11-28 | Microsoft Technology Licensing, Llc | Adding negative classes for training classifier |
| US10019654B1 (en) * | 2017-06-28 | 2018-07-10 | Accenture Global Solutions Limited | Image object recognition |
| US10930395B2 (en) * | 2018-11-23 | 2021-02-23 | Asheleigh Adeline Mowery | System for surgical decisions using deep learning |
-
2018
- 2018-05-30 CN CN201880034927.3A patent/CN110678902A/zh active Pending
- 2018-05-30 JP JP2019521274A patent/JP6695502B2/ja active Active
- 2018-05-30 US US16/617,742 patent/US11256963B2/en active Active
- 2018-05-30 KR KR1020197034612A patent/KR102344832B1/ko active IP Right Grant
- 2018-05-30 EP EP18808728.2A patent/EP3633607A4/en not_active Ceased
- 2018-05-30 WO PCT/JP2018/020782 patent/WO2018221599A1/ja active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105307591A (zh) * | 2013-04-10 | 2016-02-03 | 解析-可追踪性医院 | 在医疗环境中的手术器具的可追踪性 |
Non-Patent Citations (2)
| Title |
|---|
| JIE TAN 等: "A New Method of Surgical Instruments Automatic Identification and Counting", 《2011 4TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
| XIAN-HENG LIU 等: "A Vision-based Surgical Instruments Classification System", 《ARIS 2014》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712016A (zh) * | 2020-12-29 | 2021-04-27 | 上海微创医疗机器人（集团）股份有限公司 | 手术器械识别方法、识别平台及医疗机器人系统 |
| CN112712016B (zh) * | 2020-12-29 | 2024-01-26 | 上海微创医疗机器人（集团）股份有限公司 | 手术器械识别方法、识别平台及医疗机器人系统 |
| CN113212889A (zh) * | 2021-02-26 | 2021-08-06 | 深圳市云鼠科技开发有限公司 | 包装视觉捡漏装置、方法、计算机设备及存储介质 |
| CN113212889B (zh) * | 2021-02-26 | 2023-11-03 | 深圳市云鼠科技开发有限公司 | 包装视觉检漏装置、方法、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11256963B2 (en) | 2022-02-22 |
| EP3633607A1 (en) | 2020-04-08 |
| WO2018221599A1 (ja) | 2018-12-06 |
| KR102344832B1 (ko) | 2021-12-28 |
| KR20190141228A (ko) | 2019-12-23 |
| JP6695502B2 (ja) | 2020-05-20 |
| EP3633607A4 (en) | 2020-05-20 |
| JPWO2018221599A1 (ja) | 2020-03-26 |
| US20200193241A1 (en) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110678902A (zh) | 手术器具检测系统及计算机程序 | |
| JP4537104B2 (ja) | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 | |
| JP2020507836A (ja) | 重複撮像を予測した手術アイテムの追跡 | |
| US20210133473A1 (en) | Learning apparatus and learning method | |
| KR20190106601A (ko) | 영상 처리를 이용한 발 사이즈 및 모양 측정 방법 | |
| JP6532642B2 (ja) | 生体情報認証装置および生体情報処理方法 | |
| JP4158343B2 (ja) | 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体 | |
| JP6985856B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN105009170A (zh) | 物体识别设备、方法和存储介质 | |
| JP4817184B2 (ja) | 画像撮影装置及び画像解析プログラム | |
| KR20040089122A (ko) | 사용자 상호작용없이 적목현상 부분들을 제거하기 위한이미지 처리 | |
| CN110868909B (zh) | 医疗图像处理装置、内窥镜装置、诊断支持装置、医疗业务支持装置及报告书制作支持装置 | |
| JP6160148B2 (ja) | 生体情報入力装置、生体情報入力プログラム、生体情報入力方法 | |
| US20210093227A1 (en) | Image processing system and control method thereof | |
| CN113808125A (zh) | 医学影像处理方法、病灶类型识别方法以及相关产品 | |
| US9864898B2 (en) | Feature point input assisting device, feature point input assisting method, and storage medium stored with program | |
| CN110942447A (zh) | Oct图像分割方法、装置、设备及存储介质 | |
| JP5014593B2 (ja) | 眼科測定装置 | |
| EP4075391A1 (en) | Apparatus and method for generating virtual model | |
| CN110799084B (zh) | 图像处理装置、图像处理程序和图像处理方法 | |
| JP6694907B2 (ja) | 判定装置、判定方法及び判定プログラム | |
| JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
| JP4796165B2 (ja) | 画像処理装置 | |
| JPWO2013118436A1 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム | |
| JP6390458B2 (ja) | 情報処理装置、情報処理システム及び情報処理方法並びに情報処理用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |
|
| RJ01 | Rejection of invention patent application after publication |