CN105848552B - 基于内窥镜的距离测定方法和内窥镜系统 - Google Patents

基于内窥镜的距离测定方法和内窥镜系统 Download PDF

Info

Publication number
CN105848552B
CN105848552B CN201480070843.7A CN201480070843A CN105848552B CN 105848552 B CN105848552 B CN 105848552B CN 201480070843 A CN201480070843 A CN 201480070843A CN 105848552 B CN105848552 B CN 105848552B
Authority
CN
China
Prior art keywords
ranging
processing
photographed images
diarthrosis
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480070843.7A
Other languages
English (en)
Other versions
CN105848552A (zh
Inventor
井上慎太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105848552A publication Critical patent/CN105848552A/zh
Application granted granted Critical
Publication of CN105848552B publication Critical patent/CN105848552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B2017/347Locking means, e.g. for locking instrument in cannula
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/062Measuring instruments not otherwise provided for penetration depth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • A61B2090/0811Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明的基于内窥镜的距离测定方法能够切换执行摄像处理和测距处理,在摄像处理中,根据来自输入部的方向指示对可动关节进行控制,使摄像部的视轴移动,并且输出摄像部取得的摄像图像,在测距处理中,根据测距控制量对可动关节进行控制,执行使摄像部的视轴移动的移动处理,并且取得移动处理执行前拍摄到的第1摄像图像和移动处理执行中拍摄到的第2摄像图像,根据第1摄像图像、第2摄像图像、测距控制量计算与测距对象之间的距离。

Description

基于内窥镜的距离测定方法和内窥镜系统
技术领域
本发明涉及在外科手术中插入到患者的体内并对患者体内进行观察的内窥镜的距离测定方法和内窥镜系统。
背景技术
当前,进行如下的腹腔镜手术:将贯穿插入体表和体内的套针插入到患者的体表,从套针插入各种医疗器具,在患者的体内进行各种手术、检查诊断。关于该腹腔镜手术,由于患者体表的切开部较小即可,所以,针对患者的负担很小,另一方面,由于需要利用内窥镜观察患者的体内并进行手术,所以,必须提高内窥镜的视觉辨认性和医疗用器具的操作性。在腹腔镜手术中,必须利用内窥镜的影像掌握患者体内的状况,作为根据影像得到详细信息的方法之一,进行基于内窥镜的距离计测。
在专利文献1中公开了如下的测定内窥镜装置:利用编码器计测内窥镜的插入量,根据插入前后的图像上的对象物的特征点位置计测内窥镜与对象物的距离。
在专利文献2中公开了如下的内窥镜系统:计测内窥镜的移动量,通过对移动前的图像和移动后的图像进行比较来计测距离。
现有技术文献
专利文献
专利文献1:日本特开平3-80824号公报
专利文献2:日本特许第3041420号公报
发明内容
发明要解决的课题
在专利文献1所公开的测定内窥镜装置中,由于只是进退量的校正,所以,在光轴旋转时,无法进行准确的距离计测。在专利文献2所公开的内窥镜系统中,由于根据人手动操作的移动量进行运算,所以,不具有移动量、方向的再现性,很难进行稳定精度的距离计测。本发明的内窥镜的距离测定方法和内窥镜系统的目的在于,以稳定的精度进行距离计测。
用于解决课题的手段
因此,本发明的内窥镜的距离测定方法中,内窥镜能够通过可动关节使摄像部的视轴移动,其中,在距离测定方法中能够切换执行摄像处理和测距处理,在所述摄像处理中,根据来自输入部的方向指示对所述可动关节进行控制,使所述摄像部的视轴移动,并且输出所述摄像部取得的摄像图像,在所述测距处理中,根据测距控制量对所述可动关节进行控制,执行使所述摄像部的视轴移动的移动处理,并且取得所述移动处理执行前拍摄到的第1摄像图像和所述移动处理执行中拍摄到的第2摄像图像,根据所述第1摄像图像、所述第2摄像图像、所述测距控制量计算与测距对象之间的距离。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,在所述移动处理执行后,执行使所述可动关节复原成所述移动前的状态的复原处理。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,根据所述测距控制量对所述摄像部的视轴角度进行变更。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,根据所述测距控制量使所述摄像部的视轴平行移动。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,从所述移动处理执行中拍摄到的多个摄像图像中决定所述第2摄像图像。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,使用与测距试行处理中计算出的距离对应的测距控制量。
进而,在本发明的内窥镜的距离测定方法中,在所述测距处理中,除了所述第1摄像图像、所述第2摄像图像、所述测距控制量以外,还使用由检测部检测到的所述内窥镜的移动量计算与测距对象之间的距离。
并且,本发明的内窥镜的距离测定方法中,内窥镜能够通过可动关节使摄像部的视轴移动,其中,距离测定方法能够执行追踪摄像处理和测距处理,在所述追踪摄像处理中,对所述可动关节进行控制以使得所述摄像部的视轴相对于所设定的追踪基准面具有规定角度,并且输出所述摄像部取得的摄像图像,在所述测距处理中,使用在所述追踪摄像处理中拍摄到的第1摄像图像和第2摄像图像以及取得所述第1摄像图像的时刻与取得所述第2摄像图像的时刻之间的所述内窥镜的移动量,计算与测距对象之间的距离。
进而,在本发明的内窥镜的距离测定方法中,所述可动关节能够在多个位置处可动。
并且,本发明的内窥镜系统具有摄像部、可动关节、输入部、控制部,所述摄像部能够通过拍摄而取得摄像图像,所述可动关节能够根据控制部的指示使所述摄像部的视轴移动,所述输入部能够输入所述可动关节的方向指示,控制部能够切换执行摄像处理和测距处理,在所述摄像处理中,根据所述输入部的方向指示对所述可动关节进行控制,使所述摄像部的视轴移动,并且输出所述摄像部取得的摄像图像,在所述测距处理中,根据测距控制量对所述可动关节进行控制,执行使所述摄像部的视轴移动的移动处理,并且取得所述移动处理执行前拍摄到的第1摄像图像和所述移动处理执行中拍摄到的第2摄像图像,根据所述第1摄像图像、所述第2摄像图像、所述测距控制量计算与测距对象之间的距离。
发明效果
根据本发明的内窥镜的距离测定方法和内窥镜系统,利用使摄像部的视轴方向移动的可动关节的运动,取得第1、第2摄像图像,使用所取得的第1、第2摄像图像和与可动关节的动作量相当的测距控制量,计算与测距对象之间的距离,由此,能够在患者体内以稳定的精度计测距离。
附图说明
图1是示出使用医疗用器具(内窥镜、钳子)的腹腔镜手术的状况的图。
图2是示出复眼内窥镜的前端的状况的图。
图3是说明基于复眼内窥镜的立体计测原理的图。
图4是示出本发明的实施方式的内窥镜的结构、控制方式的图。
图5是示出本发明的实施方式的套针的外观的图。
图6是示出本发明的实施方式的套针的内部结构的图。
图7是示出本发明的实施方式的套针传感器的结构的示意图。
图8是示出基于本发明的实施方式的医疗系统的体内观察时的状况的图。
图9是示出本发明的实施方式的医疗系统的控制结构的框图。
图10是本发明的实施方式的医疗系统的控制流程图。
图11是用于说明本发明的实施方式的内窥镜的测距时的动作的图。
图12是说明本发明的实施方式的内窥镜的伪立体计测原理的图。
图13是示出本发明的其他实施方式的内窥镜的结构、控制方式的图。
图14是用于说明本发明的其他实施方式的内窥镜的测距时的动作的图。
图15是示出本发明的其他实施方式的内窥镜的结构、控制方式的图。
图16是用于说明本发明的实施方式的测距用图像的决定方法的图。
图17是本发明的其他实施方式的医疗系统的控制流程图。
图18是示出本发明的实施方式的测距试行处理的流程图。
图19是示出本发明的实施方式的测距处理的流程图。
图20是用于说明本发明的实施方式的追踪摄像处理时进行的测距处理的图。
图21是示出基于本发明的其他实施方式的医疗系统的体内观察时的状况的图。
具体实施方式
图1示出使用各种医疗用器具的腹腔镜手术的状况。在腹腔镜手术中,在患者的腹部等开设多个孔,插入内窥镜2、钳子2’、(电)刀等各种医疗用器具,确认由内窥镜2拍摄到的影像,由此进行患部A的观察、手术。关于该腹腔镜手术,由于切开区域较少即可,所以,能够减轻对患者的负担。
在腹腔镜手术中,在患者的体壁上开设的孔中插入被称为套针(通道)1a~1d的管,经由该套针1a~1d将各种医疗用器具插入到患者的体内。示出内窥镜2插入到套针1a中、钳子2’插入到套针1d中的状态。在内窥镜2的前端部分设置有摄像部28,由摄像部28拍摄到的图像显示在监视器等显示部中。通常,内窥镜2由被称为拍摄者的辅助者进行操作,根据手术者B的指示对观察对象进行摄像。在钳子2’的前端部分设置有作为末端执行器的前端把持部26,手术者B(使用者)通过对钳子2’进行操作,对该前端把持部26进行开闭,对患部A进行手术。这样,在腹腔镜手术中,手术者B能够观察基于内窥镜2的图像并进行基于钳子2’等的手术。
在这种腹腔镜手术中,为了更加准确地掌握患者体内的状况,有时在患者体内进行距离计测。距离计测存在各种方法,但是,作为其中之一,能够使用复眼内窥镜、即具有2个摄像部的内窥镜,通过立体计测原理来计测从内窥镜的前端到观察对象的距离。图2示出这种复眼内窥镜2的前端的状况。复眼内窥镜2在前端部分具有2个摄像部OL、OR,各摄像部OL与OR之间设置有距离d(视差)。在复眼内窥镜2中,除了计测与观察对象之间的距离以外,还能够对观察对象进行三维观察。
图3是说明使用复眼内窥镜2的立体计测原理的图。复眼内窥镜2的视轴为z轴,与其正交的轴为xy平面(y轴省略)。由各摄像部OL、OR(焦距f)进行摄像的测距对象位于摄像图像PL、PR上的位置XL、XR。在设2个摄像部OL、OR之间的距离(视差)为d的情况下,能够通过三角测量的原理,利用(1)式计算从复眼内窥镜2到测距对象的距离Z。
Z=d·f/(XL-XR)…(1)
这样,通过使用由在前端具有2个摄像部OL、OR的复眼内窥镜2拍摄到的摄像图像PL、PR,能够计算摄像图像中的适当部位处的与测距对象之间的距离。但是,复眼内窥镜2需要在前端部设置2个摄像部OL、OR,并且直径较大。鉴于这种现有的距离测定方法,本发明涉及在单眼(摄像部为一个)内窥镜中进行距离测定。
图4是示出本发明的实施方式的内窥镜的结构、控制方式的图。图4(A)中示出与控制器3之间的连接关系,但是,图4(B)也同样(未图示)。作为医疗用器具的内窥镜2具有与把持部件27连结的第1轴24a、以及经由可动关节25以能够转动的方式与第1轴24a连结的第2轴24b。在第2轴24b的前端配设有作为末端执行器的摄像部28。在本实施方式中,是使用一个摄像部28的方式(单眼)。由摄像部28拍摄到的摄像图像输出到控制器3,手术者通过使监视器4等显示部显示摄像图像,能够观察患者体内的状况。
在把持部件27上设置有方向输入部21a和测距指示部21b,手术者能够进行摄像部28的方向(视轴方向)的调整操作以及测距指示操作。如图4(B)所示,根据方向输入部21a的操作,驱动部22被驱动。驱动部22的驱动量通过线等单元传递到可动关节25,使可动关节25转动。根据可动关节25的转动,对设置在第2轴24b的前端的摄像部28的摄像方向(视轴方向)进行调整。可动关节25示出纸面上的二维动作,但是,也可以进行包含与纸面正交的方向的三维动作。
通过将以上说明的内窥镜2插入到使患者的体表和体内连通的套针1中,能够进行腹腔镜手术中的体内观察。在本实施方式的某个方式中,使用由设置在套针1上的各种传感器检测到的内窥镜2等医疗用器具的状态。因此,图5~图7示出具有各种传感器的套针1的结构。
图5示出本发明的实施方式的医疗系统中能够使用的套针1的外观。本实施方式的套针1构成为具有上部壳体111、下部壳体112、筒部113。在上部壳体111上设置有用于插入各种医疗用器具的贯穿插入孔115。筒部113是插入到患者体内的部分。从贯穿插入孔115插入的医疗用器具穿过下部壳体112、筒部113的内部,从筒部113的下端插入到患者体内,进行患者体内的观察或患者体内的处置。
在上部壳体111内部配置有用于检测套针1的状态、以及从贯穿插入孔115插入的医疗用器具的状态的各种传感器。来自各种传感器的输出信号经由缆线114发送到控制器3。另外,缆线114还具有针对各种传感器的电源供给功能。各种传感器与控制器3的通信可以是这种有线通信,但是,通过采用无线通信和电池驱动,还能够从套针1中去除缆线114。
图6是示出本发明的实施方式的套针1的内部结构的剖视图。在图5中说明了在上部壳体111上设置有贯穿插入孔115的情况,但是,在该剖视图中,从贯穿插入孔115到筒部113的下端所示的褐色部分是连通的部分,是供各种医疗用器具插入的部分。上部壳体111和下部壳体112能够利用夹钳状的结合部件116R、116L进行连结和拆卸。在套针1的使用时,如图6(A)所示,在连结上部壳体111和下部壳体112的状态下进行使用,在进行清扫等时,如图6(B)所示,能够成为从下部壳体112上取下上部壳体111的状态。根据这种结构,能够容易地进行筒部113的清扫、消毒或更换,并且,能够容易地进行具有各种传感器的上部壳体111部分的维护。另外,套针1也可以是使上部壳体111和下部壳体112一体化而得到的一个壳体。
本实施方式的套针1在上部壳体111内具有各种传感器(套针传感器12)。在本实施方式中,作为套针传感器12,构成为具有倾斜角检测传感器121、进退量检测传感器122、旋转量检测传感器123。倾斜角检测传感器121是用于检测套针1相对于基准坐标系朝向哪个方向即倾斜角的传感器。这里,基准坐标系是相对于患者或地面这样的固定物定义的坐标系,作为倾斜角检测传感器121,可以使用加速度传感器等各种传感器。加速度传感器通过检测施加给自身的加速度,能够检测套针1朝向哪个方向、即相对于基准坐标系的倾斜角。
进退量检测传感器122是检测插入到套针1中的医疗用器具相对于套针1的贯穿插入方向(图6中为上下方向)的进退量的传感器。如图1中说明的那样,医生等手术者通过相对于套针1插拔医疗用器具,在患者体内操作医疗用器具并使其移动到适当位置。进退量检测传感器122能够检测医疗用器具相对于套针1的插入位置作为进退量。在图6(A)中,利用单点划线示出套针1的贯穿插入方向的中心轴C。进退量检测传感器122检测与该中心轴C平行的移动量作为进退量。本实施方式中的进退量检测传感器122由进退量检测辊122a和光传感器122b的组合构成。
旋转量检测传感器123是检测根据手术者等的操作进行旋转的医疗用器具的旋转量的传感器。通过对插入到贯穿插入孔115中的医疗用器具进行以中心轴C为轴的旋转操作,能够在患者体内对设置在医疗用器具的前端的末端执行器的朝向进行变更。旋转量检测传感器123通过检测该旋转量,能够检测医疗用器具的末端执行器朝向哪个朝向。本实施方式中的旋转量检测传感器123由旋转量检测辊123a和光传感器123b的组合构成。
以上说明了套针1的内部结构,但是,配设在套针1内的套针传感器12经由图6中未示出的通信部13将检测信号输出到控制器3。使用图7所示的示出套针传感器12的结构的示意图对本实施方式的套针传感器12的动作进行说明。图7是示意地示出配设在图6的套针1内部的套针传感器12的结构的附图,示出医疗用器具的第1轴24插入到套针1中的状态。另外,在图7中省略记载设置在医疗用器具的前端的末端执行器等。
套针1的贯穿插入孔115的直径设定为,与第1轴24等医疗用器具的插入部分相比具有些许富余,以使得能够插入医疗用器具。套针1固定在患者的体表附近,但是,与医疗用器具的操作联动,进行以某个点为基准转动的支点转动。固定在套针1的壳体上的倾斜角检测传感器121通过检测套针1的支点转动,能够检测基准坐标系中的套针1的方向、即医疗用器具的方向。
如图6中说明的那样,本实施方式的进退量检测传感器122由进退量检测辊122a和光传感器122b的组合构成。进退量检测辊122a是将与图7的面内垂直的方向作为旋转轴的辊。通过弹簧等弹性部件向贯穿插入孔115侧对该进退量检测辊122a进行施力,该进退量检测辊122a与插入到贯穿插入孔115中的医疗用器具(第1轴24)的表面接触,将医疗用器具的进退量转换为其旋转量。在进退量检测辊122a的旋转轴上设置有编码器,输出进退量检测辊122a的旋转量作为进退量。在本实施方式中,为了对进退量进行校准(设定为初始值),设置有面向贯穿插入孔115内的光传感器122b。该光传感器122b通过检测设置在医疗用器具(第1轴24等)侧的进退位置检测标记241,对由进退量检测辊122a检测到的进退量进行校准。因此,在医疗用器具在贯穿插入孔115内进行进退时,每当该进退位置检测标记241穿过光传感器122b部分时,进退量被校准(设定为初始值),能够检测医疗用器具相对于套针1的准确的进退量。
如图6中说明的那样,本实施方式的旋转量检测传感器123由旋转量检测辊123a和光传感器123b的组合构成。旋转量检测辊123a是具有朝向图7的上下方向的旋转轴的辊。通过弹簧等弹性部件向贯穿插入孔115侧对该旋转量检测辊123a进行施力,该旋转量检测辊123a与插入到贯穿插入孔115中的医疗用器具(第1轴24)的表面接触,将医疗用器具的旋转量转换为旋转检测辊123a的旋转量。另外,优选在旋转量检测辊123a的接触面上设置有不会阻碍医疗用器具相对于插入方向的移动的部件(轴承等)。在旋转量检测辊123a的旋转轴上设置有编码器,输出旋转量检测辊123a的旋转量作为医疗用器具的旋转量。在本实施方式中,为了对旋转量进行校准(设定为初始值),设置有面向贯穿插入孔115内的光传感器123b。该光传感器123b通过检测设置在医疗用器具(第1轴24等)侧的旋转位置检测标记242,与进退量检测传感器122的情况同样,对由旋转量检测辊123a检测到的旋转量进行校准。
以上说明了配设在套针1上的套针传感器,但是,传感器的结构可以采用各种方式。例如,在本实施方式中,为了检测进退量、旋转量,采用使用辊的机械传感器的结构,但是,关于进退量、旋转量,也可以采用激光鼠标所使用的能够检测表面的移动量、移动方向的光学传感器。该情况下,能够利用一个光学传感器检测进退量和旋转量。本实施方式的医疗系统需要插入到患者体内的医疗用器具的方向、或方向和位置。在本实施方式中,为了对该医疗用器具的方向、或方向和位置进行检测,通过将各种传感器配设在套针1内而容易进行处理,但是,医疗用器具的方向、或方向和位置的检测也可以使用配设在套针1外部的传感器。例如,配设在套针1上的倾斜角检测传感器121也可以直接配设在医疗用器具侧。
图8是示出基于本发明的实施方式的医疗系统的体内观察时的状况的图。这里说明的医疗系统(内窥镜系统)成为利用所述内窥镜2、套针1、控制器3作为主要结构的方式。在本实施方式中,能够利用套针传感器12来检测内窥镜2的位置、移动量这样的各种状态,但是,作为本发明的结构,该套针传感器12不是必须需要的,根据利用方式而适当设置。
套针1处于插入到患者的体表B的状态,利用贯穿插入孔115使患者的体表B和体内连通。内窥镜2插入到套针1的贯穿插入孔115中,能够利用设置在前端的摄像部28对患者体内的状况进行观察。从摄像部28输出的摄像图像输出到控制器3,显示在作为显示部的监视器4中。拍摄者等内窥镜2的操作者对方向输入部21a进行操作,由此,可动关节25转动,摄像部28的视轴(进行摄像的方向)可变。操作者对把持部件27的位置进行调整,并且,通过基于方向输入部21a的摄像部28的视轴变更,能够使观察方向朝向观察对象Pt。
在本实施方式中,能够利用作为检测部的套针传感器12检测基于操作者的把持部件27的调整位置。表示由套针传感器12检测到的内窥镜2的状态的信息输出到控制器3。在套针传感器12中,能够检测内窥镜2的插入量Lb、第1轴24a相对于水平面等基准坐标系而形成的倾斜角度θb、基于旋转检测辊123a的内窥镜2的旋转角度等。并且,控制器3还能够检测基于方向输入部21a的操作的可动关节25的控制角度θj。根据这种结构,控制器3能够掌握内窥镜2的状态。进而,在把持部件27上设置有测距指示部21b,能够进行基于操作者的操作的针对观察对象的距离测定。
图9是示出本发明的实施方式的医疗系统的控制结构的框图。医疗系统具有内窥镜2和控制器3作为主要结构。并且,作为外部结构,具有设置在套针1上的各种传感器类、显示来自摄像部28的摄像图像等的监视器4。
套针1构成为具有作为套针传感器12的倾斜角检测传感器121、进退量检测传感器122、旋转量检测传感器123以及通信部13。内窥镜2构成为具有作为操作输入部21的图4中说明的方向输入部21a、以及测距指示部21b和驱动部22。驱动部22是使内窥镜2的可动关节25转动的马达等部件。驱动部22存在使可动关节25直接转动的方式、或经由线或丝等使其间接转动的方式。
套针1、内窥镜2与控制器3连接。控制器3构成为具有由CPU等构成的控制部31、作为存储部的存储器32。在存储器32中存储由医疗系统执行的各种程序,并且能够存储执行程序所需要的各种信号、数据。
那么,对使用这种医疗系统(内窥镜系统)的距离测定进行说明。图10是本发明的实施方式的医疗系统的控制流程图。该控制流程图所示的处理是在腹腔镜手术中由控制器3进行的处理。当处理开始后,控制器3判定是否输入了基于测距指示部21b的测距指示(S101)。在不是测距指示的情况下(S101:否)、即内窥镜2的通常处理时,控制器3将摄像部28取得的摄像图像输出到监视器4并进行显示(S108)。此时,在进行了针对方向输入部21a的操作(方向指示)的情况下(S109:是),根据操作,利用驱动部22使可动关节25转动(S110)。这样,在S108~S110的处理中,与现有的内窥镜2同样,能够进行患者体内的观察。
另一方面,在从测距指示部21b输入了测距指示的情况下(S101:是),开始进行S102~S107的测距处理。图11示出内窥镜2的测距时的动作。在测距处理中,首先,从摄像部28取得第1摄像图像(S102)。图11(A)示出第1摄像图像取得时的内窥镜2前端的状况。摄像部28的视轴E1成为相对于第1轴24a的中心轴倾斜关节角度θ1的状态。接着,控制器3根据预先设定的测距控制量对驱动部22进行驱动,使可动关节25开始转动(S103)。
图11(B)示出此时的内窥镜2的测距时的动作。在该例子中,相对于关节角度的测距控制量设定为θ3,控制器3使可动关节25从关节角度θ1转动到关节角度θ2(θ2=θ1+θ3)。在判定为根据驱动部22的控制而使可动关节25成为关节角度θ2(S104:是)、即成为图11(B)的状态的情况下,控制器3从摄像部28取得第2摄像图像(S105)。然后,执行使可动关节25复原成测距处理开始前的状态、即图11(A)的状态的复原处理(S106)。在测距处理中的可动关节25的转动中,优选由摄像部28拍摄到的摄像图像不输出到监视器4并进行显示。由于测距处理中的可动关节25的转动不会得到操作者意图的摄像图像,所以,在该期间中,代替由摄像部28拍摄到的摄像图像,使用测距处理刚刚开始之前的摄像图像,由此,能够抑制对监视器4进行观察的观察者的不舒适感。并且,通过执行使摄像部28复原成原来状态的复原处理,能够对测距处理前后连续的摄像图像进行观察。
在S107中,根据S102、S105中取得的第1摄像图像和第2摄像图像,计算与测距对象之间的距离。第1摄像图像和第2摄像图像是通过使可动关节25转动而取得的,所以成为具有视差的摄像图像。因此,使用第1摄像图像和第2摄像图像,利用与图3中说明的立体计测原理相同的原理,能够计算与第1摄像图像和第2摄像图像所包含的测距对象之间的距离。但是,通过可动关节25的转动,摄像部28的视轴旋转,所以,优选进行基于旋转的校正(坐标系转换)。
图12中图示出基于本发明的实施方式的内窥镜的伪立体计测原理。当设取得第1摄像图像P1时的坐标系为xz、取得第2摄像图像P2时的坐标系为x’z’时,x’z’坐标系和xz坐标系以测距控制量θ3倾斜。并且,转动半径R是作为内窥镜2的结构(可动关节25与摄像部28的位置关系等)而已知的值。因此,通过使用测距控制量θ3、转动半径R进行使x’z’坐标系和xz坐标系整合的坐标系转换,利用与图3中说明的立体计测原理相同的原理,能够计算从摄像部28到测距对象的距离。
能够针对第1摄像图像和第2摄像图像双方所包含的适当部位计算测定对象。例如,在选择第1摄像图像的中心位置作为测距对象的情况下,控制器3考虑在监视器4中显示的摄像图像中利用数值显示计算出的距离。并且,测距对象也可以由操作者进行选择。或者,可以针对多个测距对象计算距离。该情况下,能够在摄像图像上利用等高线等显示距离。或者,也可以代替显示计算出的距离而利用于接近警告。在计算出的距离小于规定的情况下,也可以通过使用监视器4或扬声器等,警告过于接近体内的内壁等。并且,为了根据距离对可动关节的控制参数进行变更,也可以使用计测出的距离信息。例如,在距离较近时,减小对来自方向输入部的指示量赋予的系数,在距离较远时,增大系数,由此,即使与对象物之间的距离变化,视野相对于输入的变化率也恒定,预想到操作性提高。
本实施方式的测距处理(S102~S107)是根据基于操作者的测距指示(S101)而开始的处理,但是,也可以在内窥镜2的使用中,定期地或以规定操作等为契机自动进行,即,不仅是基于操作者的操作的输入,也可以从控制器3输入测距指示。
图13是示出本发明的其他实施方式的内窥镜的结构、控制方式的图。如图4中说明的那样,所述实施方式中的内窥镜2使用一个可动关节25对摄像部28的摄像方向(视轴)进行变更,但是,图13所示的内窥镜2的方式成为使用能够在多个位置处可动的可动关节25a、25b的方式。如图13(A)所示,第1轴24a和第2轴24b利用第1可动关节25a以能够转动的方式连接,第2轴24b和第3轴24c利用第2可动关节25b以能够转动的方式连接。摄像部设置在第3轴24c的前端。通过对方向输入部21a进行操作,第1可动关节25a、第2可动关节25b转动,能够对摄像部28的视轴方向进行变更。也可以利用不同的方向输入部单独进行第1可动关节25a和第2可动关节25b的转动控制。
在使用这种具有能够在多个位置处可动的可动关节25a、25b的内窥镜2的情况下,在测距处理中,能够进行如下的摄像部28的视轴变更。在图14中,针对图13中说明的内窥镜2的前端部分示出测距处理时的控制动作。图14(A)是测距处理刚刚开始之前的状态,是第2轴24b相对于第1轴24a倾斜第1可动关节25a的关节角度θ1的状态。并且,是第3轴24c相对于第2轴24b倾斜第2可动关节25b的关节角度θ2的状态。
在图14(A)的状态下,当输入测距指示后,控制器3根据测距控制量,使第1可动关节25a和第2可动关节25b如图14(B)那样转动。在该例子中,测距控制量设定为θ3,针对第1可动关节25a位置调整成减去θ3的状态,针对第2可动关节25b位置调整成加上θ3的状态。因此,如视轴E1、视轴E2所示,摄像部28的视轴平行移动距离d(相当于视差)。通过在视轴E1的状态下取得第1摄像图像,在视轴E2的状态下取得第2摄像图像,使两个摄像图像取得时的坐标系大致一致或相互平行,不需要图12中说明的具有旋转系统的伪立体计测原理,减轻了位置计算处理的处理负担,并且,不会产生由于旋转校正处理而产生的误差。另外,不仅是使用多个可动关节的方式,能够以各种方式进行这种视轴的平行移动。
在图14中,说明了能够以中心轴为中心转动的2个可动关节25a、25b,但是,可动关节25可以采用各种方式。图15中示出本发明的其他实施方式的内窥镜的结构、控制方式。在本实施方式中,与图14同样,使用2个可动关节25a、25b,但是,各可动关节25a、25b的结构不同。这里,以第1可动关节25a为例进行说明。在第1可动关节25a的内部构成为具有多个块部251a~251d。各块部251a~251d成为在中心附近具有较大厚度、在周围具有较小厚度的形状。通过连接该块部251a~251d,如图15(B)所示,能够使第1可动关节25a屈曲。在第1可动关节25a、第2可动关节25b中设置有基于橡胶膜等的保护部252a、252b。保护部252a、252b根据各可动关节25a、25b的可动状态来追踪形状,由此,能够防止内部的浸水和污物的附着。
通过利用驱动部22牵引固定在第2轴24b侧的控制线29b,能够进行第1可动关节25a的转动(屈曲)控制。通过牵引图示的控制线29b中的任意一方,第2轴24b向被牵引的一侧的控制线29b的方向屈曲。附图是平面内的例子,利用2根控制线29b进行说明,但是,为了实现三维的屈曲,需要更多根数的控制线29b。第2可动关节25b也是同样的结构,通过牵引控制线29c,能够对第3轴24c进行转动控制。
在这种方式中,与图14的情况同样,能够使视轴平行移动。从图15(A)的状态起使第1可动关节25a、第2可动关节25b转动,通过成为图15(B)的状态,能够使两者的视轴E1和E2平行移动。通过这种平行移动,能够在视轴E1与视轴2之间形成视差d。在图例中,为了说明各可动关节25a、25b的动作,增大视差d进行观察,但是,在测距处理中,通过减小各可动关节25a、25b的转动量,也可以减小视差d。
在图10中说明的控制流程图中,在测距处理中,作为第2摄像图像的取得定时,成为将可动关节25转动测距控制量作为条件的方式,但是,例如,在图15中说明的使用控制线29的控制中,认为在驱动部22的驱动动作(牵引控制线29的动作)与可动关节25的动作之间产生延迟。图16中示出本发明的实施方式的测距用图像(第2摄像图像)的决定方法。
图16(A)示出测距处理时的内窥镜2的前端部附近的摄像的状况,在图16(A)所示的4种的各状态下,图16(B)示出测距处理时取得的摄像图像P1~P4。另外,不需要使监视器4显示图16(B)所示的摄像图像。为了易于理解说明,使用对摄像物O1、O2进行摄像的状况进行说明。伴随基于测距处理的可动关节25的转动,摄像物O1、O2相对于上次摄像而得到的摄像图像移动,在摄像图像之间产生光流。在可动关节25达到测距控制量的状态下,可动关节25的转动量减小,所以,光流也减小,或者成为0(平衡状态)。
在本实施方式中,利用这种摄像图像之间的特性,对测距处理时的可动关节25转动中取得的多个摄像图像进行图像处理,能够在距离测定中决定适当的第2摄像图像、即转动了测距控制量时的摄像图像。在图16的例子中,在根据测距控制量使可动关节25转动后,进行使其复原成原来状态的复原处理。因此,决定光流成为0的平衡状态的摄像图像P3作为第2摄像图像。这样,通过从测距处理时取得的多个摄像图像中决定距离测定所使用的第2摄像图像,能够抑制由于可动关节25的驱动系统等而产生的延迟,能够更加准确地取得转动了测距控制量的状态下的第2摄像图像,能够实现距离计算的精度提高。
在图10中说明的控制流程图中,测距处理所使用的测距控制量使用预定值、即控制器3的存储器32中存储的数据。在基于内窥镜2的测距处理中,认为与测距对象之间的距离变化。在本实施方式中,根据预先得知的与测距对象之间的大致距离对测距控制量进行调整,由此,实现实际的距离测定的精度提高。
使用图3的示意图对与测距对象之间的距离Z和视差d的关系进行说明。与测距对象之间的距离Z可以由使用图3说明的(1)式表示。当设为XL-XR=Xm时,(1)成为
Z=d·f/Xm…(1)’
通过转换为Xm的式子,得到(2)式。
Xm=d·f/Z…(2)
根据(2)式,在固定了d(视差)的情况下,距离Z越大,则Xm越小。即,由于XL-XR减小,所以,认为通过对摄像图像实施图像处理而进行的距离计算的精度降低。因此,在距离Z较大的情况下,通过较大地设定d(视差),能够实现距离计算的精度的提高。另一方面,在距离Z较小的情况下,即使d(视差)较小,距离计算的精度的损失也较小,并且,通过减小d(视差),能够减少测距处理时的可动关节25的转动量,并且能够缩短测距处理时所花费的时间。
图17~图19中示出使测距控制量可变的情况下的内窥镜系统的控制流程图。图17所示的测距指示(S101)、内窥镜2的通常处理(S107~S109)与图10中说明的控制流程图相同,所以这里省略说明。在本实施方式中,当输入测距指示(S101:是)后,在用于计算实际距离的测距处理(S300)之前,执行测距试行处理(S200)。在本实施方式中,利用该测距试行处理(S200)计算与测距对象之间的大致距离,由此决定测距处理(S300)所使用的测距控制量。关于测距控制量的决定,不仅可以在这种测距试行处理(S200)中决定,还可以根据上次进行的测距处理的测定距离来决定。或者,可以通过使用设置在内窥镜2的前端的红外线或超声波等其他传感器的测距试行处理来决定测距控制量。
图18是示出本发明的实施方式的测距试行处理(S200)的流程图。根据测距指示的输入(S101:是),当测距试行处理(S200)开始后,利用摄像部28取得第1摄像图像(S201)。在S202中,控制器3以预定的规定控制量使可动关节25开始转动(S202)。在判定为可动关节25转动了规定控制量的情况下(S203:是),取得第2摄像图像(S204)。然后,执行使可动关节25复原的复原处理(S205)。然后,根据S201中取得的第1摄像图像和S204中取得的第2摄像图像,计算两个摄像图像中共通的位置(代表位置)的距离(S206)。然后,根据计算出的距离来设定测距控制量β(S207)。
图19示出使用该测距试行处理(S200)中设定的测距控制量β的测距处理(S300)。当测距处理(S300)开始后,利用摄像部28取得第1摄像图像(S301)。在S302中,控制器3根据测距试行处理(S200)中设定的测距控制量β使可动关节25开始转动(S302)。在判定为可动关节25转动了测距控制量β的情况下(S303:是),取得第2摄像图像(S304)。然后,使可动关节25复原(S305)。然后,根据S301中取得的第1摄像图像和S304中取得的第2摄像图像,计算与测距对象之间的距离(S306)。这样,在本实施方式中,通过进行测距试行处理,能够实现测距处理中的与测距对象之间的距离计算精度的提高。
以上说明了具有内窥镜2和控制器3的内窥镜系统,但是,如图8等中说明的那样,本实施方式的内窥镜系统在套针1中设置有检测内窥镜2的各种状态的套针传感器12。以下说明的实施方式成为使用套针传感器12等能够检测内窥镜2的各种状态的检测部的方式。另外,检测部不限于套针传感器12,可以采用在内窥镜2侧设置加速度传感器等能够检测内窥镜2的各种状态的各种方式。
在使用图10说明的测距处理(S102~S106)中,前提在于除了可动关节25的转动以外,内窥镜2不移动。但是,实际上,由于操作者握持把持部件27进行操作,所以,认为内窥镜2由于手抖等而在测距处理中移动。本实施方式是使用从套针传感器12输出的各种信息、使用摄像部28的测距处理中计测出的移动量的方式。考虑取得第1摄像图像的时刻和取得第2摄像图像的时刻之间的内窥镜2的移动量,进行测距处理中的距离计算,由此,能够实现计算的距离的精度提高。在使用套针传感器12作为检测部的情况下,作为内窥镜2的各种状态,可举出基于倾斜角检测传感器121的倾斜角度、基于进退量检测传感器122的进退量、基于旋转量检测传感器123的旋转量。使用这样的各种状态,取得由于测距处理中的手抖等而产生的内窥镜2的移动量、即摄像部28的移动量,考虑移动量来计算距离,由此,能够实现其精度提高。
通过利用套针传感器12等检测部,在检测内窥镜2的各种状态的方式中,认为还进行以下说明的测距处理。图20示出用于说明使用套针传感器12的追踪摄像处理时进行的测距处理的图。追踪摄像处理是通过由操作者等进行指定而执行的处理,相对于根据方向输入部21a的操作而使可动关节25转动的通常处理,是不对方向输入部21a进行操作而使可动关节25转动的处理。
在本实施方式中,将作为患部表面的基准面St设定为追踪基准面,对可动关节25进行驱动控制,以使得摄像部28的视轴相对于该基准面St形成规定角度(本实施方式中为正交)。根据从套针传感器12输出的传感器信号来判定摄像部28的视轴方向。另外,在图20中,标号θb表示第1轴24a相对于基准坐标系C所成的角度,标号θj表示追踪处理中的可动关节25的控制角度,P1、P2表示摄像部28的视轴朝向的方向与基准面St的交点。
在使内窥镜2从图20(A)向图20(B)的状态移动的情况下,在任意状态下,摄像部28的视轴方向均维持在与基准面St正交的方向。控制器3根据由套针传感器12检测到的传感器信号判定第1轴24a朝向的方向,利用驱动部22使可动关节25转动,调整成摄像部28的视轴方向相对于基准面St成为规定角度(本实施方式中为正交)。另外,在图20中,设可动关节25的动作为纸面上的二维运动进行说明,但是,在追踪摄像处理中,还能够应对包含与纸面正交的方向的三维运动。
当使用图9的控制结构进行说明时,当利用设置在输入部21上的模式输入部(未图示)指定追踪模式后,代替基于来自方向输入部21a的操作信号的驱动部22的控制(可动关节25的角度调整),控制器3根据从套针传感器12输出的传感器信号来执行控制驱动部22的追踪摄像处理。此时,在控制器3的存储器32中存储有基准坐标系上设定的追踪基准面,在追踪摄像处理中,根据传感器信号和追踪基准面对驱动部22进行控制,以使得内窥镜2的摄像部28相对于追踪基准面取规定角度关系。
关于追踪摄像处理所使用的追踪基准面,考虑在输入部21中设置用于设定追踪基准的设定输入部,通过操作者的操作进行设定,或者,根据由内窥镜2取得的摄像图像等、各种传感器的检测结果进行设定等。在该控制方式中,成为将患部表面设定为基准面St的方式,但是,基准面也可以不是患部表面这样的实际面,而是假想面。并且,摄像部28的角度也可以不与基准面St正交,而设定成以规定角度倾斜。并且,基准面St也可以不是平面而是曲面。例如,考虑将由不同于医疗用器具2而插入到患者体内的内窥镜拍摄到的患部的曲表面设定为基准面St。
在这种追踪摄像处理中,例如,通过使用图20(A)的状态下取得的第1摄像图像、图20(B)的状态下取得的第2摄像图像和由套针传感器12取得的图20(A)~图20(B)之间的移动量,能够计算从摄像部28到基准面St的距离。该情况下,考虑如下方式:在测距指示的输入时取得第1摄像图像,以内窥镜2从第1摄像图像起移动了预先设定的移动量为条件取得第2摄像图像,计算距离。或者,考虑如下方式:在测距指示的输入时取得第1摄像图像,在经过规定时间后取得第2摄像图像,检测从取得第1摄像图像时起到取得第2摄像图像的期间内的内窥镜2的移动量,由此计算距离。
在任意方式中,均使用第1摄像图像、第2摄像图像、取得两个摄像图像时的内窥镜2的移动量,计算与测距对象之间的距离。在这种追踪摄像处理时的测距处理中,在内窥镜2的移动前后,摄像部28的视轴保持平行,所以,在测距处理时能够高精度地进行距离测定。并且,与所述测距处理不同,在测距处理时不需要使可动关节25转动,能够利用监视器4连续观察由摄像部28拍摄到的摄像图像。
另外,至此,如图8所示,叙述了可动关节配置在体内的实施方式,但是,可动关节也可以配置在体外。图21示出将可动关节配置在体外的实施方式。在本实施方式的内窥镜系统中,内窥镜2不具有可动关节,具有能够对套针1的位置进行变更的套针位置控制部5。该套针位置控制部5构成为具有设置在体外的地面等上的基台53、多个臂51a~51e、以可动的方式连接臂51a~51e之间的可动关节52a~52d。各可动关节52a~52d能够通过马达等驱动部进行转动。使各可动关节52a~52d转动的驱动部通过控制器3的控制而被驱动。
在图21所示的内窥镜系统中,通过针对套针位置控制部5的控制,使套针1在套针1的刺入点(套针1在体表B上插入的位置)周围转动,能够以不对患者的体表B造成负担的方式进行动作。控制器3对套针位置控制部5进行控制,通过使套针1在刺入点的周围转动,使内窥镜2的插入角度变化,使设置在内窥镜2的前端的摄像部28的视轴方向变化。因此,在本实施方式的内窥镜系统中,与所述实施方式同样,通过使可动关节52a~52d转动,能够使内窥镜2的视轴移动。根据针对该套针位置控制部5中的可动关节52a~52d的控制量,能够取得内窥镜2的倾斜角、进退量、旋转量。根据与所取得的内窥镜2的倾斜角、进退量、旋转量对应的测距控制量、移动处理执行前拍摄到的第1摄像图像、移动处理执行中拍摄到的第2摄像图像,能够计算与测距对象之间的距离。
以上说明了本发明的某个方式的实施方式,但是,本发明不限于这些实施方式,适当组合各个实施方式的结构而构成的实施方式也成为本发明的范畴。
标号说明
1:套针;111:上部壳体;112:下部壳体;113:筒部;114:缆线;115:贯穿插入孔;116:结合部件;12:套针传感器;121:倾斜角检测传感器;122:进退量检测传感器;122a:进退量检测辊;122b:光传感器;123:旋转量检测传感器;123a:旋转量检测辊;123b:光传感器;13:通信部;2:医疗用器具(内窥镜);2’:医疗用器具(钳子);21:输入部;21a:方向输入部;21b:测距指示部;22:驱动部;24a:第1轴;24b:第2轴;24c:第3轴;25:可动关节;25a:第1可动关节;25b:第2可动关节;28:前端把持部(末端执行器);28:摄像部;3:控制器;31:控制部;32:存储器;4:监视器;5:套针位置控制部;51a~51e:臂;52a~52d:可动关节;53:基台。

Claims (9)

1.一种内窥镜系统,其中,
所述内窥镜系统具有摄像部、可动关节、输入部、控制部,
所述摄像部能够通过拍摄而取得摄像图像,
所述可动关节能够根据控制部的指示使所述摄像部的视轴移动,
所述输入部能够输入所述可动关节的方向指示,
所述控制部能够切换执行摄像处理和测距处理,
在所述摄像处理中,根据所述输入部的方向指示对所述可动关节进行控制,使所述摄像部的视轴移动,并且输出所述摄像部取得的摄像图像,
在所述测距处理中,根据测距控制量对所述可动关节进行控制,执行使所述摄像部的视轴移动的移动处理,并且取得所述移动处理执行前拍摄到的第1摄像图像和所述移动处理执行中拍摄到的第2摄像图像,根据所述第1摄像图像、所述第2摄像图像、所述测距控制量计算所述摄像部与测距对象之间的距离。
2.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,在所述移动处理执行后,执行使所述可动关节复原成所述移动前的状态的复原处理。
3.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,根据所述测距控制量对所述摄像部的视轴角度进行变更。
4.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,根据所述测距控制量使所述摄像部的视轴平行移动。
5.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,从所述移动处理执行中拍摄到的多个摄像图像中决定所述第2摄像图像。
6.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,使用与测距试行处理中计算出的距离对应的测距控制量。
7.根据权利要求1所述的内窥镜系统,其中,
在所述测距处理中,除了所述第1摄像图像、所述第2摄像图像、所述测距控制量以外,还使用由检测部检测到的所述内窥镜的移动量计算所述摄像部与测距对象之间的距离。
8.根据权利要求1所述的内窥镜系统,其中,
所述可动关节能够在多个位置处可动。
9.一种内窥镜系统,其中,
所述内窥镜系统具有摄像部、可动关节、输入部、控制部,
所述摄像部能够通过拍摄而取得摄像图像,
所述可动关节能够根据控制部的指示使所述摄像部的视轴移动,
所述输入部能够输入所述可动关节的方向指示,
所述控制部能够执行追踪摄像处理和测距处理,
在所述追踪摄像处理中,对所述可动关节进行控制以使得所述摄像部的视轴相对于所设定的追踪基准面具有规定角度,并且输出所述摄像部取得的摄像图像,
在所述测距处理中,使用在所述追踪摄像处理中拍摄到的第1摄像图像和第2摄像图像以及取得所述第1摄像图像的时刻与取得所述第2摄像图像的时刻之间的所述内窥镜的移动量,计算所述摄像部与测距对象之间的距离。
CN201480070843.7A 2013-12-26 2014-11-17 基于内窥镜的距离测定方法和内窥镜系统 Active CN105848552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013269274A JP6091410B2 (ja) 2013-12-26 2013-12-26 内視鏡装置の作動方法及び内視鏡システム
JP2013-269274 2013-12-26
PCT/JP2014/080347 WO2015098353A1 (ja) 2013-12-26 2014-11-17 内視鏡による距離測定方法及び内視鏡システム

Publications (2)

Publication Number Publication Date
CN105848552A CN105848552A (zh) 2016-08-10
CN105848552B true CN105848552B (zh) 2018-08-07

Family

ID=53478228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070843.7A Active CN105848552B (zh) 2013-12-26 2014-11-17 基于内窥镜的距离测定方法和内窥镜系统

Country Status (5)

Country Link
US (1) US10441146B2 (zh)
EP (1) EP3097838A4 (zh)
JP (1) JP6091410B2 (zh)
CN (1) CN105848552B (zh)
WO (1) WO2015098353A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12089907B2 (en) 2019-03-07 2024-09-17 Procept Biorobotics Corporation Robotic arms and methods for tissue resection and imaging

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259661B2 (ja) * 2011-01-28 2018-01-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光学的追跡システム
EP2738756A1 (en) * 2012-11-30 2014-06-04 Surgical Science Sweden AB User interface device for surgical simulation system
WO2014157479A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 内視鏡下外科手術装置
JP5959723B2 (ja) * 2013-03-29 2016-08-02 富士フイルム株式会社 内視鏡下外科手術装置
CN105188506B (zh) * 2013-03-29 2017-04-12 富士胶片株式会社 内窥镜下外科手术装置
EP2811479B1 (en) * 2013-06-07 2017-08-02 Surgical Science Sweden AB A user interface for a surgical simulation system
JP2015107249A (ja) * 2013-12-05 2015-06-11 オリンパス株式会社 内視鏡の制御方法及び内視鏡システム
WO2017081821A1 (ja) * 2015-11-13 2017-05-18 オリンパス株式会社 内視鏡の状態推定方法
TWI597042B (zh) 2016-06-29 2017-09-01 Endoscopic with distance measuring function and distance measuring method
JP2020510474A (ja) * 2017-03-07 2020-04-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法
US10709311B2 (en) * 2017-05-11 2020-07-14 Montane Medical Corporation Video laryngoscope with monitor stabilization
CN107389026B (zh) * 2017-06-12 2019-10-01 江苏大学 一种基于固定点射影变换的单目视觉测距方法
WO2019087745A1 (ja) * 2017-10-31 2019-05-09 パナソニックIpマネジメント株式会社 浄化装置及び浄化方法
JP7228781B2 (ja) * 2017-10-31 2023-02-27 パナソニックIpマネジメント株式会社 浄化装置及び浄化方法
EP3705018A4 (en) * 2017-11-01 2020-10-14 Sony Corporation SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM
EP3510925A1 (en) * 2018-01-10 2019-07-17 Universite Libre De Bruxelles Endoscopic non-contact measurement device
US11229492B2 (en) 2018-10-04 2022-01-25 Biosense Webster (Israel) Ltd. Automatic probe reinsertion
WO2020070883A1 (ja) 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム
CN109222981B (zh) * 2018-11-21 2024-02-27 北京大学第三医院 用于腹腔镜手术的测量标记器械
CN109602386A (zh) * 2019-02-15 2019-04-12 沈阳智能机器人国家研究院有限公司 一种照明腹腔镜及其控制方法
CN110368077A (zh) * 2019-08-22 2019-10-25 福建骏格科技有限公司 可视化胸腹腔穿刺引流系统
US20210113275A1 (en) * 2019-10-18 2021-04-22 Medtech S.A. Depth control instrument guide for robotic surgery
US20220104695A1 (en) * 2020-10-02 2022-04-07 Verb Surgical Inc. Endoscope for sensing trocars, compatible cannulas, instruments and accessories
US11627243B2 (en) * 2021-07-23 2023-04-11 Phaox LLC Handheld wireless endoscope image streaming apparatus
DE102021119481A1 (de) * 2021-07-27 2023-02-02 Karl Storz Se & Co. Kg Messverfahren und eine Messvorrichtung
CN114767236B (zh) * 2022-06-24 2022-09-02 北京微刀医疗科技有限公司 光输出穿刺针、光感应穿刺针和穿刺距离测量系统
CN116563525B (zh) * 2023-07-10 2023-10-20 浙江华诺康科技有限公司 内窥镜运行轨迹指示方法、装置、设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60108352A (ja) 1983-11-12 1985-06-13 電気化学工業株式会社 超速硬セメント組成物
US4895431A (en) * 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
JP2911894B2 (ja) * 1986-11-13 1999-06-23 オリンパス光学工業株式会社 内視鏡画像取込み方法および内視鏡装置
JPH0380824A (ja) 1989-08-22 1991-04-05 Olympus Optical Co Ltd 測定内視鏡装置
US5253647A (en) * 1990-04-13 1993-10-19 Olympus Optical Co., Ltd. Insertion position and orientation state pickup for endoscope
US5347987A (en) * 1991-04-08 1994-09-20 Feldstein David A Self-centering endoscope system
US5159446A (en) * 1991-06-21 1992-10-27 Olympus Optical Co., Ltd. Electronic endoscope system provided with a separate camera controlling unit and motor controlling unit
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JP3041420B1 (ja) * 1999-01-27 2000-05-15 工業技術院長 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体
US6858005B2 (en) * 2000-04-03 2005-02-22 Neo Guide Systems, Inc. Tendon-driven endoscope and methods of insertion
US6468203B2 (en) * 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2003244500A (ja) * 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
US20040199053A1 (en) * 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Autosteering vision endoscope
EP1607716A3 (en) 2004-06-18 2012-06-20 Topcon Corporation Model forming apparatus and method, and photographing apparatus and method
JP4588369B2 (ja) 2004-06-18 2010-12-01 株式会社トプコン 撮影装置及び撮影方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12089907B2 (en) 2019-03-07 2024-09-17 Procept Biorobotics Corporation Robotic arms and methods for tissue resection and imaging

Also Published As

Publication number Publication date
EP3097838A1 (en) 2016-11-30
US10441146B2 (en) 2019-10-15
CN105848552A (zh) 2016-08-10
WO2015098353A1 (ja) 2015-07-02
US20160302653A1 (en) 2016-10-20
JP6091410B2 (ja) 2017-03-08
JP2015123201A (ja) 2015-07-06
EP3097838A4 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
CN105848552B (zh) 基于内窥镜的距离测定方法和内窥镜系统
CN105407817B (zh) 医疗系统和医疗用器具控制方法
CN105407825B (zh) 医疗系统和医疗处置器械控制方法
WO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
US9460536B2 (en) Endoscope system and method for operating endoscope system that display an organ model image to which an endoscopic image is pasted
CN105792724B (zh) 内窥镜的控制方法及内窥镜系统
WO2018159336A1 (ja) 医療用支持アームシステムおよび制御装置
CN113645919A (zh) 医疗臂系统、控制装置和控制方法
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
WO2017006708A1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
WO2014148184A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
KR20180029069A (ko) 구강 내시경 검사 시스템 및 그 검사 방법
EP1844696B1 (en) Endoscopic imaging with indication of gravity direction
JP2018075218A (ja) 医療用支持アーム及び医療用システム
JP2022020592A (ja) 医療用アーム制御システム、医療用アーム制御方法、及びプログラム
US20220400938A1 (en) Medical observation system, control device, and control method
KR20140009847A (ko) 안과용 장치 및 이의 치료위치 측정방법
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
US20240090759A1 (en) Medical observation device, observation device, observation method, and adapter
JP4418162B2 (ja) 計測内視鏡装置
WO2022201933A1 (ja) 生体内観察システム、観察システム、生体内観察方法及び生体内観察装置
JP2014155592A (ja) 内視鏡システム
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant