CN114206194A - 内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序 - Google Patents

内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序 Download PDF

Info

Publication number
CN114206194A
CN114206194A CN202080053665.2A CN202080053665A CN114206194A CN 114206194 A CN114206194 A CN 114206194A CN 202080053665 A CN202080053665 A CN 202080053665A CN 114206194 A CN114206194 A CN 114206194A
Authority
CN
China
Prior art keywords
shape
shape display
insertion portion
reduction ratio
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080053665.2A
Other languages
English (en)
Inventor
弓部央奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114206194A publication Critical patent/CN114206194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Abstract

本发明的内窥镜形状显示控制装置具备至少1个处理器,处理器获取用于将内窥镜的插入部的形状图像化的信息,根据所获取到的信息生成插入部的形状的形状显示图像,在对形状显示图像整体以第1缩小率进行缩小时,执行针对形状显示图像内的插入部的直径设定成大于第1缩小率的第2缩小率的第1控制。

Description

内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作 方法、及内窥镜形状显示控制装置的执行程序
技术领域
本发明涉及一种内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序。
背景技术
已知一种用于观察大肠等下部消化管的内窥镜。下部消化管与相对直线延伸的食道等的上部消化管不同,复杂的弯曲着。因此,插入作为患者等受检体内的下部消化管内的内窥镜的插入部也复杂的弯曲着。为了掌握这种插入受检体内的内窥镜的插入部的形状,已知有一种检测受检体内的内窥镜的插入部的形状的内窥镜形状检测装置(例如,参考日本特开2004-551号公报)。
关于日本特开2004-551号公报中所记载的内窥镜形状检测装置,其具备:利用磁性来获取用于将受检体内的插入部的形状图像化的信息,并根据所获取到的信息将插入部的形状图像化的功能。例如,在内窥镜的插入部内,多个磁场产生源件隔开间隔而配置。内窥镜形状检测装置用配置于受检体外侧的磁场检测元件来检测由插入部内的各磁场产生源件产生的磁场。所检测到的各磁场产生源件的磁场的强度显示相对于受检体的外侧的磁场检测元件的插入部的各部的位置,因此日本特开2004-551号公报中所记载的内窥镜形状检测装置使用将各磁场产生源件的磁场的强度的信息作为插入部的形状图像化的信息,生成表示插入部的形状的图像。然后,将所生成的图像显示于显示器,提示给执刀医生(例如,医生)等用户。
发明内容
关于日本特开2004-551号公报的内窥镜形状检测装置中的图像化的顺序,例如如下进行。首先,日本特开2004-551号公报的内窥镜形状检测装置根据用于将插入部的形状图像化的信息(例如,上述磁场的强度信息),确定插入部的各部的位置,由此生成插入部的三维模型。接着,对插入部的三维模型进行绘制处理,生成用于显示于显示器的二维图像。该二维图像是从能够任意设定的1个视点观察插入部的三维模型的插入部的形状的图像,以下,称为形状显示图像。
在内窥镜的插入部在受检体内弯曲成环状的情况下,根据所设定的视点,在形状显示图像内,插入部的不同部分彼此交叉。在日本特开2004-551号公报中,记载有为了表现所交叉的部分的彼此的前后,在绘制处理时,实施阴影线处理或者隐藏面处理。
然而,在实施日本特开2004-551号公报中所记载的阴影线处理或隐藏面处理的方法中,有时难以视觉辨认交差部分的前后关系,即,插入部的重叠状况。即,内窥镜的插入部呈细长的管状。若将形状显示图像整体缩小进行显示,则不止插入部的长度变细,插入部的直径也以相同比例变细。
这样一来,存在由于缩小率而插入部变得过细,导致显示成线状的情况。这种情况下,若插入部弯曲成环状,则只能观察到2根线交差。即使对线状的部分实施阴影处理及隐藏面处理,也无法期待提高插入部的重叠状况的视觉辨认性的效果。因此,存在用户难以瞬间判断交差部分的前后(换言之,插入部的重叠状况)等、难以视觉辨认插入部的重叠状况的问题。
本发明的技术的目的在于,提供一种即使在对显示插入受检体内的内窥镜的插入部的形状的形状显示图像进行缩小显示的情况下,也能够显示轻易视觉辨认插入部的重叠状况的形状显示图像的内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的程序。
用于解决技术课题的手段
本发明的一方式所涉及的内窥镜形状显示控制装置,其具备至少1个处理器,所述处理器进行如下处理:获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息,根据所获取到的所述信息生成显示所述插入部的形状的形状显示图像,在对所显示的所述形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对所述形状显示图像整体以第1缩小率进行缩小时,执行针对所述形状显示图像内的插入部的直径设定成大于所述第1缩小率的第2缩小率的第1控制。
在上述方式的内窥镜形状显示控制装置中,处理器可以针对插入部的长度将缩小率设定成第1缩小率,且针对插入部的直径设定成第2缩小率。
并且,在上述方式的内窥镜形状显示控制装置中,处理器在第1缩小率为预先设定的阈值以上的情况下,可以执行将第1缩小率和第2缩小率设定成相同值的第2控制,在第1缩小率为小于阈值的情况下,可以执行第1控制。
本发明的一方式所涉及的内窥镜形状显示控制装置的工作方法,其具备:信息获取步骤,获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息;图像生成步骤,根据所获取到的信息,生成显示插入部的形状的形状显示图像;缩小率控制步骤,在对所显示的形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对形状显示图像整体以第1缩小率进行缩小时,执行针对形状显示图像内的插入部的直径设定成大于第1缩小率的第2缩小率的第1控制。
本发明的一方式所涉及的内窥镜形状显示控制装置的执行程序,其使计算机作为如下三个部分发挥功能:信息获取部,获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息;图像生成部,根据所获取到的信息,生成显示插入部的形状的形状显示图像;及缩小率控制部,在对所显示的形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对形状显示图像整体以第1缩小率进行缩小时,执行针对形状显示图像内的插入部的直径设定成大于第1缩小率的第2缩小率的第1控制。
发明效果
根据本发明的技术,能够提供一种即使对在显示插入受检体内的内窥镜的插入部的形状的形状显示图像进行缩小显示的情况下,也能够显示轻易视觉辨认插入部的重叠状况的形状显示图像的内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的程序。
附图说明
图1是表示使用了内窥镜系统的内窥镜检查的状态的说明图。
图2是表示内窥镜系统的整体结构的示意图。
图3是表示内窥镜系统的电构成的框图。
图4是表示多个检测线圈检测多个产生线圈所产生的磁场的状态的说明图。
图5是表示磁场测定数据的一例的说明图。
图6是用于说明基于判别部的判别处理和基于位置检测部的各检测线圈的位置检测处理的说明图。
图7是表示插入部的形状检测处理的一例的说明图。
图8是图像生成部的功能框图。
图9是对基于图像生成部的等倍显示时的形状显示图像的生成处理的流程进行说明的流程图。
图10是对基于图像生成部的建模处理的流程进行说明的流程图。
图11是表示插入部的3D模型生成处理的一例的说明图。
图12是表示形状显示图像的一例的图。
图13是图像生成部及信息存储部的功能框图。
图14是对第1控制的内容进行说明的图。
图15是表示插入部的3D模型生成处理的一例的说明图。
图16是表示形状显示图像的一例的图。
图17是表示以往的形状显示图像的一例的图。
图18是对基于图像生成部的建模处理的流程进行说明的流程图。
具体实施方式
[内窥镜系统的整体结构]
图1是表示具备本发明的技术所涉及的内窥镜形状显示控制装置的内窥镜系统9的整体结构的示意图。如图1所示,内窥镜系统9具备内窥镜10、光源装置11、导航装置12、磁场产生器13、处理器装置14及显示器15。内窥镜系统9用于患者等受检者H的体内的内窥镜检查。受检者H为受检体的一例。该内窥镜10例如是被插入到大肠等消化道内的内窥镜,并且是具有挠性的软性内窥镜。内窥镜10具有:被插入到消化道内的插入部17、与插入部17的基端侧连接设置且供执刀医生0P把持而进行各种操作的操作部18及与操作部18连接设置的通用塞绳19。
内窥镜检查例如在使受检者H躺在床16的顶面16A上的状态下进行。在大肠检查的情况下,由作为医生的执刀医生OP将内窥镜10的插入部17从肛门插入到下消化道内。光源装置11向内窥镜10提供照亮作为观察部位的大肠内的照明光。处理器装置14通过处理由内窥镜10拍摄到的图像来生成观察图像41。观察图像41显示于监视器15上。执刀医生OP一边确认观察图像41,一边进行内窥镜检查。显示于监视器15的观察图像41基本上是动态图像,但作为观察图像41,根据需要也能够显示静止图像。
并且,内窥镜系统9具备对由执刀医生OP进行的内窥镜10的插入操作等手指的操作进行导航的导航功能。在此,导航是指通过向执刀医生0P提示包含受检者H的体内的内窥镜10的插入部17的位置及形状的插入状态,从而辅助执刀医生OP的内窥镜10的手指的操作。导航功能利用磁场MF来检测插入部17的插入状态,从而提示所检测到的插入状态。
导航功能通过导航装置12、磁场产生器13及后述的内窥镜10内的磁场测定装置来实现。磁场产生器13产生磁场MF。磁场产生器13配置于所产生的磁场MF到达受检者H的体内的范围内的预先设定的位置。磁场产生器13为本发明的技术所涉及的磁场装置的一例。
内窥镜10内的磁场测定装置检测由磁场产生器13产生的磁场MF,并测定所检测到的磁场MF的强度。导航装置12通过根据基于磁场测定装置的磁场测定结果导出磁场产生器13与插入部17的相对位置来检测插入部17的插入状态。处理器装置14生成显示导航装置12所检测到的插入状态的形状显示图像42。
显示器15显示观察图像41和形状显示图像42。另外,显示观察图像41和形状显示图像42的显示器15可以分别单独设置。
如图2所示,插入部17为细径且长条的管状部分,由软性部21、弯曲部22及前端部23从基端侧朝向前端侧依次连接而构成。软性部21具有挠性。弯曲部22为能够通过操作部18的操作而弯曲的部位。前端部23配置有撮像装置48(参考图3)等。并且,在图2中虽未图示,但在前端部23的前端面上设置有:照明窗46,向观察部位照亮照明光(参考图3);观察窗47,入射照明光被被摄体反射的被摄体光(参考图3);处置器具出口,用于使处置器具突出(未图示);及清洗喷嘴,用于通过对观察窗47喷射气体及水来清洗观察窗47(未图示)。
在插入部17内设置有光导件33、信号电缆32、操作线(未图示)、处置器具插入贯穿用的管路(未图示)。导光件33从通用塞绳19延伸设置,将从光源装置11供给的照明光引导到前端部23的照明窗46。信号电缆32除了用于来自摄像装置48的图像信号及控制摄像装置48的控制信号的通信以外,还用于对摄像装置48的电力供给。信号电缆32与导光件33同样地,也从通用塞绳19延伸设置,并配设至前端部23。
操作线是用于操作弯曲部22的线,配设于从操作部18至弯曲部22之间。处置器具插入贯穿用的管路为用于插入贯穿钳子等处置器具(未图示)的管路,从操作部18配设至前端部23。除此以外,在插入部17内设置有送气送水用流体软管。流体软管向前端部23供给观察窗47的清洗用气体及水。
并且,在插入部17内,从软性部21到前端部23为止以预先设定的间隔设置有多个检测线圈25。各检测线圈25相当于检测磁场MF的磁场检测元件。各检测线圈25分别通过受到从磁场产生器13产生的磁场MF的影响而在电磁感应的作用下产生感应电动势,并通过感应电动势产生感应电流。从各检测线圈25产生的感应电流的值显示由各检测线圈25分别检测到的磁场MF的强度,这成为磁场测定结果。即,磁场测定结果是指与显示磁场MF的强度的感应电流的大小相对应的值。
在操作部18上设置有由执刀医生OP操作的各种操作部件。具体而言,在操作部18上设置有两种弯曲操作旋钮27、送气送水按钮28及抽吸按钮29。两种弯曲操作旋钮27分别连结于操作线,用于弯曲部22的左右弯曲操作及上下弯曲操作。并且,在操作部18上设置有作为处置器具插入贯穿用管路的入口的处置器具导入口31。
通用塞绳19是用于将内窥镜10连接于光源装置11的连接塞绳。通用塞绳19内包括信号电缆32、导光件33及流体软管(未图示)。并且,在通用塞绳19的端部设置有连接于光源装置11的连接器34。
通过将连接器34连接于光源装置11,从光源装置11向内窥镜10供给内窥镜10的运用中所需要的电力、控制信号、照明光、气体及水。并且,通过前端部23的摄像装置48(参考图2)获取到的观察部位的图像信号和基于各检测线圈25的检测信号的磁场测定结果从内窥镜10发送到光源装置11。
在连接器34与光源装置11之间未进行使用了金属制信号线等的有线电连接,取而代之,连接器34与光源装置11通过光通信(例如,非接触式通信)可通信地连接。连接器34通过光通信来进行在内窥镜10与光源装置11之间交换的控制信号的收发和从内窥镜10向光源装置11的图像信号及磁场测定结果的发送。在连接器34上设置有连接于信号电缆32的激光二极管(Laser Diode:以下称为LD)36。
LD36用于从内窥镜10向光源装置11发送大容量数据,具体而言,用于发送图像信号及磁场测定结果。LD36将原本为电信号形式的图像信号及磁场测定结果以光信号的形式发送到设置于光源装置11的光电二极管(Photodiode:以下称为PD)37。
另外,虽然省略图示,但与LD36及PD37单独地,在连接器34及光源装置11这两者中均设置有光收发部,其将在内窥镜10与光源装置11之间交换的小容量的控制信号进行光信号化而进行收发。另外,在连接器34上设置有从光源装置11的供电部(未图示)通过无线供电接受供电的受电部(未图示)。
连接器34内的导光件33被插入到光源装置11内。并且,连接器34内的流体软管(未图示)经由光源装置11连接于送气送水装置(未图示)。由此,从光源装置11及送气送水装置向内窥镜10分别供给照明光和气体及水。
光源装置11经由连接器34向内窥镜10的导光件33供给照明光,并且向内窥镜10的流体软管(未图示)供给从送气送水装置(未图示)供给的气体及水。并且,光源装置11用PD37接收从LD36发送的光信号,将所接收到的光信号转换为作为电信号的原来的图像信号及磁场测定结果之后,输出到导航装置12。
导航装置12将从光源装置11输入的用于生成观察图像41的图像信号输出到处理器装置14。并且,导航装置12控制后述的磁场产生器13的驱动,并且检测受检者H的体内的插入部17的形状等,并将该检测结果作为用于生成形状显示图像42的信息输出到处理器装置14。
如此,本例中的内窥镜10为具有与光源装置11连接的一个连接器34的单连接器类型。内窥镜10经由连接有连接器34的光源装置11分别与处理器装置14及导航装置12可通信地连接。
磁场产生器13具有相当于多个磁场产生源件的多个产生线圈39。各产生线圈39例如包括通过施加驱动电流,从而在与直交坐标系XYZ的XYZ坐标轴分别对应的方向产生交流磁场(换言之,交流磁场)的X轴线圈、Y轴线圈及Z轴线圈。各产生线圈39产生相同频率的磁场MF。各产生线圈39在导航装置12的控制下,以彼此不同的时刻产生磁场MF,详细内容将后述。
<内窥镜>
图3是表示内窥镜系统9的电构成的框图。如图3所示,内窥镜10具有光导件33、照射透镜45、照明窗46、观察窗47、撮像装置48、磁场检测电路49、总括控制电路50、信号电缆32、LD36、未图示的流体软管及清洗喷嘴。
光导件33为大口径光纤或束状光纤等。光导件33的入射端经由连接器34而嵌入在光源装置11内。光导件33插入贯穿于连接器34内、通用塞绳19内和操作部18内,且出射端向设置于插入部17的前端部23内的照射透镜45凸出。由此,从光源装置11向光导件33的入射端供给的照明光从照射透镜45通过前端部23的前端面的照明窗46照摄于观察部位。然后,在观察部位所反射的照明光作为观察部位的像光,通过设置于前端部23的前端面的观察窗47而入射于撮像装置48的撮像面。
另外,前述的流体软管(未图示)的一端侧通过连接器34及光源装置11与送气送水装置(未图示)连接,并且流体软管(未图示)的另一端侧通过插入部17内等而与设置于前端部23的前端面的送气送水喷嘴(未图示)连接。由此,从送气送水装置(未图示)供给气体或水从送气送水喷嘴(未图示)向观察窗47喷射,从而清洗观察窗47。
撮像装置48具有聚光透镜52和成像元件53。聚光透镜52将从观察窗47入射的观察部位的像光进行聚光,且将所聚光的观察部位的像光成像于成像元件53的撮像面。成像元件53为CMOS(complementary metal oxide semiconductor:互补金属氧化物半导体)型或CCD(Charge Coupled Device:电荷耦合器件)型的成像元件。成像元件53例如为向各像素分配了R(Red)、G(Green)、B(Blue)中任一种微型滤波器的彩色成像元件。成像元件53拍摄作为观察对象的观察部位。更具体而言,成像元件53拍摄成像于撮像面的观察部位的像光(即,转换为电信号),并将观察部位的图像信号输出到总括控制电路50。
并且,在成像元件53中例如设置有输出水晶振子等基准信号(例如,时钟信号)的振荡部53a,以从该振荡部53a振荡的基准信号为基准,输出成像元件53构成动态图像的图像信号。基准信号的间隔规定帧速率。帧速率例如为30fps(frames per second:每秒帧数)。
磁场检测电路49与插入部17内的各检测线圈25电连接。磁场检测电路49将磁场测定数据55输出到总括控制电路50,所述磁场测定数据55包括与由磁场产生器13的产生线圈39产生的磁场MF对应的各检测线圈25的各个磁场测定结果。
总括控制电路50包含包括CPU(Central Processing Unit:中央处单元)的各种运算电路和各种存储器而构成,总括控制内窥镜10的各部的动作。该总括控制电路50通过执行存储于未图示的存储器的控制用的程序而发挥信号处理部57、磁场测定控制部58、图像信号输出部59的功能。组合磁场检测电路49额磁场测定控制部58来构成磁场测定部。磁场测定部根据检测线圈25输出的检测信号,测定以相当于多个磁场产生源件的产生线圈39的每一个作为产生源的多个磁场MF,由此输出每个磁场MF的磁场测定结果。组合磁场测定部和检测线圈25来构成磁场测定装置。
信号处理部57对依次从成像元件53输出的图像信号实施各种信号处理。作为信号处理,例如,包含相关双采样处理及信号扩增处理等模拟信号处理、在模拟信号处理后将模拟信号转换为数字信号的A/D(Analog/Digital)转换处理等。将实施了信号处理之后的图像信号称为帧图像信号61。信号处理部57按照帧速率将帧图像信号61输出到图像信号输出部59。帧图像信号61用作观察部位的动态图像数据。如此,多个帧图像信号61为通过成像元件53执行动态图像撮影来获取且以预先设定的时间间隔输出的图像信号。
磁场测定控制部58经由磁场检测电路49获取包含各检测线圈25的多个磁场测定结果的磁场测定数据55,并将所获取到的磁场测定数据55输出到图像信号输出部59。
如图4所示,关于各检测线圈25的磁场测定结果,即使各产生线圈39所产生的磁场的强度相同,例如,也根据产生磁场MF的各产生线圈39与各检测线圈25的每一个之间的距离及朝向而变化。例如,图4所示的第1产生线圈39中,如以实线表示那样,与第1~第3的各检测线圈25的距离及朝向不同。因此,关于1个第1产生线圈39所产生的磁场MF,第1~第3的各检测线圈25的每一个磁场测定结果不同。第2产生线圈39及第3产生线圈39的每一个与第1~第3的各检测线圈25的关系也是一样的。
并且,相反地,即使第1~第3的各产生线圈39所产生的磁场MF的强度相同,关于各产生线圈39的每一个磁场MF的1个第1检测线圈25的磁场测定结果不同。在此,例如,考虑第1~第3的各产生线圈39分别为X轴线圈、Y轴线圈及Z轴线圈的情况。在这种情况下,根据关于X轴、Y轴及Z轴的各线圈的每一个磁场MF的1个第1检测线圈25的磁场测定结果,能够检测与XYZ坐标轴对应的第1检测线圈25的三维坐标位置。关于第2检测线圈25及第3检测线圈25也是同样的。只要能够检测以预先设定于插入部17的间隔设置的各检测线圈25的三维坐标位置,则能够检测插入部17的形状。
另外,实际上,根据磁场测定结果,除了各检测线圈25的三维坐标位置之外,还可以检测各检测线圈25的角度。根据三维坐标位置与角度的信息检测插入部17的形状。以下,为了避免复杂化,省略角度,并仅对三维坐标位置进行说明。
图5是用于说明磁场测定控制部58所获取到的磁场测定数据55的一例的说明图。磁场测定控制部58获取磁场测定数据55,其包含由多个各检测线圈25分别检测多个产生线圈39所产生的多个磁场MF的每一个,并从各检测线圈25分别输出的多个磁场测定结果。
在图5中,(1)~(4)为关于每1个产生线圈39所产生的磁场MF的多个检测线圈25的每一个磁场测定结果的数据列。例如,“D11”为通过第1检测线圈25检测第一个产生线圈39中所产生的磁场MF而得到的磁场测定结果。“D12”为通过“第2检测线圈”检测第一个产生线圈39中所产生的磁场MF而得到之磁场测定结果。同样地,“D42”为通过第2检测线圈25检测第4个产生线圈39中所产生的磁场MF而得到的磁场测定结果。“D43”为通过第3检测线圈25检测第4个产生线圈39中所产生的磁场MF而得到的磁场测定结果。
磁场测定控制部58一边与磁场产生器13中的各产生线圈39的各自的磁场产生时刻同步,一边依次获取各检测线圈25的磁场测定结果。磁场测定控制部58例如在以后述同步信号规定的1次磁场测定期间中,对所有的产生线圈39的各自的磁场MF获取所有的检测线圈25的各自的磁场测定结果。由此,磁场测定控制部58在1次磁场测定期间中,获取包含各产生线圈39与各检测线圈25的所有组合所涉及的多个磁场测定结果的磁场测定数据55。
例如,在在磁场产生器13内设置有9个产生线圈39,且在插入部17内设置有17个检测线圈25的情况下,关于各产生线圈39,获取17个磁场测定结果。因此,磁场测定控制部58在1次磁场测定期间内,合计获得9x17=153个包含磁场测定结果的磁场测定数据55。将包含所有这些的组合所涉及的多个磁场测定结果的磁场测定数据55称为全磁场测定数据。在本例中,只要没有特别限制,在磁场测定数据55中包含全磁场测定数据。
如图6所示,图像信号输出部59对从信号处理部57依次输入的多个帧图像信号61的每一个附加帧开始信号VD,从而输出到帧图像信号61。在图6中,为了便于理解,“帧1”、“帧2”、“帧3”...,为表示多个帧图像信号61的输出顺序的帧编号。帧开始信号VD例如为垂直同步信号。
此外,图像信号输出部59对帧图像信号61附加磁场测定数据55,从而输出帧图像信号61。即,图像信号输出部59输出的所有的帧图像信号61中包含帧开始信号VD及磁场测定数据55。如图6所示,磁场测定数据55附加于与成像元件53的消隐时段对应的各帧图像信号61之间的信号无效区域ND。消隐时段例如为垂直消隐期间。如上所述,帧开始信号VD也为多个帧图像信号61的垂直消隐期间中所包含的信号。
在图3中,图像信号输出部59经由信号电缆32将帧图像信号61输出到已叙述的LD36。LD36将对帧图像信号61进行光信号化的光信号发送到光源装置11的PD37。
如此,图像信号输出部59从成像元件53经由信号处理部57,将所获取到的帧图像信号61输出到内窥镜10的外部。并且,通过将帧图像信号61中所包含的帧开始信号VD作为同步信号进行利用,图像信号输出部59发挥同步信号生成部的功能。
<光源装置>
光源装置11具有照明光源63、PD37、光源控制部64、信号中继部62、通信接口65。照明光源63例如包含LD(Laser Diode:激光二极管)或发光二极管(Light Emitting Diode:LED)等半导体光源而构成,波长为将从红色区域至青色区域的白色光作为照明光射出的白色光源。另外,作为照明光源63,除了白色光源之外,还可以使用射出紫色光及红外光等特殊光的特殊光光源。从照明光源63射出的照明光入射于前述的光导件33的入射端。
光源控制部64包含包括CPU的各种运算电路和各种存储器而构成,且控制照明光源63等光源装置11的各部的动作。
PD37接收从LD36发送的光信号。PD37将以光信号的形式接收到的帧图像信号61转换为原来的电信号的形式,并将转换后的帧图像信号61输入到信号中继部62。信号中继部62例如由FPGA(Field Programmable Gate Array:现场可编程门阵列)构成。FPGA为在制造后能够改变电路结构的处理器,电路结构中包含各种运算电路及各种存储器电路等。
<导航装置>
导航装置12具有图像信号获取部68、插入状态检测部70、磁场产生控制部71、显示输出部74、图像生成部77、命令输入部80、信息存储部81。导航装置12的各部由包含1个或多个CPU的各种运算电路(未图示)构成,并通过执行存储于未图示的存储器的控制用的程序进行动作。
图像信号获取部68经由通信接口65从信号中继部62获取帧图像信号61。然后,图像信号获取部68将所获取到的帧图像信号61输出到显示输出部74。
并且,图像信号获取部68提取帧图像信号61中所包含的帧开始信号VD及磁场测定数据55,并将所提取到的帧开始信号VD及磁场测定数据55输出到插入状态检测部70。并且,图像信号获取部68从帧图像信号61提取帧开始信号VD,并将所提取到的帧开始信号VD输出到磁场产生控制部71。
插入状态检测部70根据从图像信号获取部68获取到的帧开始信号VD及磁场测定数据55,检测嵌入于受检者H的体内的内窥镜10的插入部17的插入状态。插入状态检测部70具有位置检测部72、插入部形状检测部73。
位置检测部72根据帧开始信号VD及磁场测定数据55,检测各检测线圈25的位置。在位置检测部72中设置有判别部72A。
如图6所示,判别部72A参考对应关系75来判别磁场测定数据55中所包含的多个磁场测定结果。对应关系75是显示磁场测定数据55中所包含的与各产生线圈39和各检测线圈25的多个组合对应的多个磁场测定结果的存储顺序的信息。判别部72A根据对应关系75,判别磁场测定数据55中所包含的各磁场测定结果是与各产生线圈39和各检测线圈25的哪个组合对应的数据。
具体而言,在磁场测定中,以帧开始信号VD为基准,确定有各产生线圈39产生磁场MF的产生顺序以及针对1个产生线圈39的磁场MF,确定有各检测线圈25的磁场测定结果的获取顺序。与各产生线圈39和各检测线圈25的组合相应的多个磁场测定结果根据产生顺序和获取顺序存储于磁场测定数据55内。因此,判别部72A通过以帧开始信号VD为基准,并参考规定存储顺序对应关系75能够判别磁场测定数据55中所包含的多个磁场测定结果与哪个组合(例如,“D11”、“D12”、“D13”...)对应。
位置检测部72根据判别部72A判别出的多个磁场测定结果,将各检测线圈25的位置、具体而言将三维坐标位置检测为线圈位置数据76。线圈位置数据未以磁场产生器13为基准的相对位置。在图6中,例如,P1表示第1检测线圈25的三维坐标位置(这里为x1,y1,z1)。P2、P3、P4等也是同样的。
在图3中,位置检测部72将线圈位置数据76输出到插入部形状检测部73。插入部形状检测部73根据从位置检测部72输入的线圈位置数据76,检测受检者H的体内的插入部17的形状。
图7是用于说明基于插入部形状检测部73的插入部17的形状检测处理的一例的说明图。如图7所示,插入部形状检测部73根据线圈位置数据76所表示的各检测线圈25的位置(这里为P1、P2、...),进行将各位置以曲线进行内插的内插处理,导出插入部17的中心轴C,生成表示插入部17的形状的插入部形状数据78。以曲线进行内插的内插处理例如为贝兹曲线内插。插入部形状数据78中包含插入部17的前端部23的前端位置PT。
在图3中,插入部形状检测部73将插入部形状数据78输出到图像生成部77。每当图像信号获取部68获取新的帧图像信号61时,插入状态检测部70反复进行基于判别部72A的判别处理、检测各检测线圈25的线圈位置数据76的位置检测处理、插入部17的形状检测处理及插入部形状数据78的输出。
图像生成部77根据插入部形状数据78生成形状显示图像42。如图8所示,在图像生成部77中设置有建模部77A及绘制部77B。详细内容将后述,在图像生成部77中,建模部77A根据插入部形状数据78生成插入部17的3D(Dimension:维)模型,绘制部77B对插入部17的3D模型进行绘制处理,由此生成表示插入部17的形状的2D(Dimension:维)的形状显示图像42。图像生成部77将所生成的形状显示图像42的数据输出到处理器装置14。
每输入新的插入部形状数据78时,图像生成部77更新形状显示图像42。然后,每更新形状显示图像42,图像生成部77将所更新的形状显示图像42的数据输出到处理器装置14。
命令输入部80为用户使用导航装置12时的接口。命令输入部80例如由具备能够由用户进行触摸操作的触摸面板的显示器、及操作按钮等构成。命令输入部80设置成能够输入显示倍率变更命令等、对导航装置12的各部的命令。
信息存储部81例如由闪存等不挥发性存储器构成。不挥发性存储器即使切断导航装置12的电源,也能保持存储在存储器的数据。
导航装置12是本发明的技术所涉及的进行与形状显示图像42相关的显示控制的内窥镜形状显示控制装置的一例。如上所述,磁场测定数据55是本发明的技术所涉及的、利用作为设置于内窥镜10的插入部17内的多个磁场检测元件的一例的多个检测线圈25而得到的数据。插入部形状数据78是基于磁场测定数据55的信息,且是本发明的技术所涉及的将嵌入于作为受检体的一例的受检者H内的内窥镜10的插入部17的形状图像化的信息的一例。图像生成部77根据插入部形状数据78生成将插入部17的形状图像化的形状显示图像42。并且,图像生成部77控制形状显示图像42的显示倍率变更时的尺寸的缩小率。即,图像生成部77为本发明的技术所涉及的信息获取部、图像生成部、及缩小率控制部的一例。
显示输出部74将从前述的图像信号获取部68先输入的帧图像信号61和从图像生成部77输入的形状显示图像42的数据,经由通信接口90A、90B输出到处理器装置14。此时,显示输出部74将帧图像信号61和与该帧图像信号61时间上对应的形状显示图像42的数据建立对应关系,输出到处理器装置14。
<处理器装置>
处理器装置14具有显示输入部92和显示控制部93。显示输入部92将从显示输出部74经由通信接口90A、90B依次输入的帧图像信号61及形状显示图像42的数据依次输出到显示控制部93。
显示控制部93从显示输入部92接收帧图像信号61的输入,并将基于帧图像信号61的观察图像41(例如,动态图像)显示于显示器15(参考图1及图2)。并且,显示控制部93从显示输入部92接收形状显示图像42的数据的输入,并将形状显示图像42(例如,动态图像)显示于显示器15(参考图1及图2)。
[形状显示图像生成处理的流程]
图9是用于说明基于图像生成部77的形状显示图像42的生成处理的流程的流程图。图10是对基于图像生成部77的建模处理的流程进行说明的流程图。首先,对将形状显示图像42进行等倍显示的情况进行说明。
如图9的流程图所示,图像生成部77执行从插入状态检测部70获取插入部形状数据78的插入部形状数据获取处理(步骤S1)。接着,在图像生成部77中,建模部77A执行根据插入部形状数据78生成插入部17的3D模型的建模处理(步骤S2)。
图10的流程图所示,在建模处理中,首先,建模部77A进行是否接收了显示倍率变更命令的判定(步骤S11)。
在步骤S11中,在判断为没有接收到显示倍率变更命令的情况下(判定结果为否),如图11所示,建模部77A执行将形状显示图像42整体的显示倍率和插入部17的直径的显示倍率设定成相同值的一般控制(步骤S15)。等倍显示的情况下,形状显示图像42整体的显示倍率和插入部17的直径的显示倍率均为100%(基准尺寸的一例)。
接着,建模部77A执行建模正式处理,以插入部形状数据78中的插入部17的中心轴C为中心轴,生成预先设定的基准直径D0的圆筒形状的3D模型M(步骤S16)。在此,将插入部17的3D模型M的预先设定的部分的长度设为基准长度L0。基准长度L0严格来说为插入部17的中心轴C的预先设定的部分的长度,插入部17弯曲的情况下为曲线的长度,但在图11等中,方便起见以直线表示。
返回到图9的流程图,接着,绘制部77B执行光源位置设定处理,该处理设定对插入部17的3D模型M进行绘制时的光源位置(步骤S3)。光源位置设定于在生成3D模型M的虚拟空间内从上方对床16的顶面16A照射光的位置。具体而言,在现实空间中,在将磁场产生器13和床16设置在同一地板面的情况下,磁场产生器13的水平方向与床16的顶面16A成为平行关系。因此,在虚拟空间内,将与床16的顶面16A平行的面设为X-Y平面,设定相对于X-Y平面正交的Z轴。然后,在虚拟空间内,以从所设定的Z轴的上方朝向下方照射光的方式,设定光源位置。
接着,绘制部77B执行相机位置设定处理,该处理设定对插入部17的3D模型M进行绘制时的相机位置(也称为视点位置)(步骤S4)。相机位置与光源位置同样地,在虚拟空间内,设定于相对于床16的顶面16A从Z轴的上方观察插入部17的3D模型M的位置。
接着,绘制部77B执行纹理设定处理,该处理进行对插入部17的3D模型M进行绘制时的3D模型M的表面的精加工(步骤S5)。在纹理设定处理中,对插入部17的表面例如进行单色纯色的图案的纹理的处理。
最后,绘制部77B根据所设定的光源位置、相机及纹理,对3D模型M的表面赋予图案。此外,实施阴影处理,该处理在附加了图案的3D模型M的表面附加与光源对应的阴影。绘制部77B如此执行生成表示插入部17的形状的2D的形状显示图像42的绘制处理(步骤S6)。
由此,如图12所示,生成等倍显示的形状显示图像42。形状显示图像42包含表示插入部17的图像和成为其背景的图像而构成。以下,为了简化而将形状显示图像42内的插入部17,更准确地将形状显示图像42中的插入部17的图像简称为插入部,为了与实际的插入部17进行区分,标注符号17G并称为插入部17G。
在每更新插入部形状数据78时重复形状显示图像42的生成处理。
接着,对出现形状显示图像42的显示倍率变更命令的情况进行说明。图13为图像生成部77及信息存储部81的功能框图。
显示倍率变更命令由用户通过命令输入部80输入。在显示倍率变更命令中包括形状显示图像42整体的显示倍率。显示倍率的信息作为显示倍率信息82存储于信息存储部81。每出现新的显示倍率变更命令时,显示倍率信息82更新为新的显示倍率变更命令中所包含的内容。
在显示倍率为100%的情况下,将形状显示图像42整体进行等倍显示(在此,为基准尺寸的显示)。在显示倍率超过100%的情况下,将形状显示图像42整体进行放大显示(在此,为相对于基准尺寸的放大显示)。这种情况下的显示倍率与放大率为相同含义。在显示倍率小于100%的情况下,将形状显示图像42整体进行缩小显示(在此,为相对于基准尺寸的缩小显示)。这种情况下的显示倍率与缩小率为相同含义。缩小率对应于本发明的技术所涉及的第1缩小率R1。以后,将显示倍率信息82所表示的显示倍率小于100%时的显示倍率(在此,为缩小率)作为第1缩小率R1进行说明。第1缩小率R1例如为50%。
关于出现显示倍率变更命令时的处理,仅图9的流程图中的建模处理S2的处理内容不同。首先,依次执行图9的流程图的插入部形状数据获取处理(步骤S1)及建模设定处理(步骤S2)。
图10的流程图所示,在建模处理中,首先,建模部77A进行是否接收了显示倍率变更命令的判定(步骤S11)。在步骤S11中,在判断为接收到显示倍率变更命令的情况下(判定结果为是)、建模部77A执行从信息存储部81获取显示倍率信息82的显示倍率信息获取处理(步骤S12)。
接着,建模部77A进行如下判断:显示倍率信息82所表示的显示倍率是否小于100%,即是否为相对于等倍显示时的形状显示图像42的缩小显示(步骤S13)。在步骤S13中,在判断为显示倍率小于100%(即,形状显示图像42的缩小显示)的情况下(判定结果为是)、建模部77A执行将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定成大于第1缩小率R1的值的第1控制(步骤S14)。
图14为对通过建模部77A执行的第1控制的内容进行说明的图。另外,在图14中,为了便于说明,以直线显示插入部17。第1缩小率R1为形状显示图像42整体的缩小率,且为与缩小后的形状显示图像42的插入部17的预先设定的部分的缩小后长度L1相对于等倍显示时的插入部17的预先设定的部分的基准长度L0的比例(即,L1/L0)相同的值。第2缩小率R2为缩小后的形状显示图像42的插入部17的缩小后直径D1相对于等倍显示时的插入部17的基准直径D0的比例(即,D1/D0)。第1控制是将第2缩小率R2设定成大于第1缩小率R1的值的控制。第1控制的结果,缩小后直径D1相对于缩小后长度L1的比大于基准直径D0相对于基准长度L0的比,因此插入部17显示成比与第1缩小率R1对应的粗细度更粗。
具体而言,建模部77A例如通过下述式计算第2缩小率R2。在此,第1缩小率R1及第2缩小率R2的单位为%。在第1缩小率R1为例如50%的情况下,通过下述式计算的结果,将第2缩小率R2设定成大于第1缩小率R1(在此,为50%)的值的75%。
R2={(100-R1)/2}+R1
图15是缩小显示时中的、插入部的3D模型生成处理的一例的说明图。另外,图15及后述的图16及图17为说明图,并没有示出准确的尺寸。如图15所示,建模部77A执行建模正式处理,生成以插入部形状数据78中的插入部17的中心轴C为中心轴的圆筒形状的3D模型M(步骤S16)。在步骤S14为止的处理中,将作为形状显示图像42整体的缩小率的第1缩小率R1设定为50%,将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定为75%。另外,在图15中以虚线表示的区域E表示等倍显示时的显示范围。
因此,如图15所示,建模部77A缩小插入部17整体的长度,以使缩小后的形状显示图像42的插入部17的预先设定的部分的缩小后长度L1成为等倍显示时的插入部17的预先设定的部分的基准长度L0的50%的长度。并且,建模部77A缩小插入部17的直径,以使插入部17的缩小后直径D1成为基准直径D0的75%的长度。
返回到图9的流程图,绘制部77B依次执行光源位置设定处理(步骤S3)、相机位置设定处理(步骤S4)、及纹理设定处理(步骤S5)。绘制部77B在各设定处理中执行与等倍显示时相同内容的设定处理。最后,绘制部77B执行绘制处理(步骤S6)。
由此,如图16所示,生成将形状显示图像42整体缩小到50%的形状显示图像42A。形状显示图像42A包含插入部17的图像和成为其背景的图像而构成。以下,方便起见,将形状显示图像42A内的插入部17、更准确地说将形状显示图像42A中的插入部17的图像简称为插入部,为了与实际的插入部17进行区分,标注符号17G并称为插入部17G。
形状显示图像42A的生成处理在每次更新插入部形状数据78重复进行。
另外,在显示倍率为100%以上的情况下,在图10的流程图的步骤S13中,判定为显示倍率不是小于100%(即,形状显示图像42整体的等倍显示或放大显示)(判定结果为否)。这种情况下,建模部77A执行将形状显示图像42整体的显示倍率和插入部17的直径的显示倍率设定成相同值的一般控制(步骤S15),转移到步骤S16。由此,获取将形状显示图像42整体进行等倍显示或放大显示的图像。
[作用效果]
在本发明的内窥镜系统9中,如以上所说明那样,在将形状显示图像42进行缩小显示的情况下,在建模部77A中,执行将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定成大于作为形状显示图像42整体的缩小率的第1缩小率R1的值的第1控制。
其结果,在缩小到50%的形状显示图像42A中,与等倍显示的形状显示图像42相比,缩小后长度GL1为基准长度GL0的50%的长度,相对于此,缩小后直径GD1为基准直径GD0的75%的长度。
作为比较例,在图17中示出通过将形状显示图像42整体均匀缩小的以往技术生成的形状显示图像42B。形状显示图像42B为将显示区域整体以50%均匀缩小的图像。在缩小到50%后的形状显示图像42B中,与等倍显示的形状显示图像42相比,缩小后长度GLn为基准长度GL0的50%的长度,缩小后直径GDn也为基准直径GDO的50%的长度。
在以相同的缩小率对形状显示图像42进行缩小的情况下,根据本发明的技术生成的形状显示图像42A的缩小后直径GD1大于根据以往技术生成的形状显示图像42B的缩小后直径GDn。因此,能够容易判断插入部17G的交差部分17GX的前后。如此,根据本发明的技术,即使在将形状显示图像42进行缩小显示的情况下,也能够显示轻易视觉辨认插入部17G的重叠状况的形状显示图像42A。
[变形例]
上述实施方式仅为一例,如以下所示,能够进行各种变形。
例如,在上述实施方式中,在将形状显示图像42进行缩小显示的情况下,一定在建模部77A中,执行将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定成大于作为形状显示图像42整体的缩小率的第1缩小率R1的值的第1控制。相对于此,在将形状显示图像42进行缩小显示的情况下,仅在第1缩小率小于预先设定的阈值的情况下,可以在建模部77A中,执行第1控制。
对这种情况下的处理的流程进行说明。关于形状显示图像42的生成处理整体的流程,如上述的图9的流程图所示。在本方式中,仅图9的流程图中的建模处理S2的处理内容不同。图18是对本方式的建模处理的流程进行说明的流程图。阈值能够设定任意的缩小率。
如图18的流程图所示,建模处理中,首先,建模部77A进行是否接到了显示倍率变更命令的判定(步骤S21)。在步骤S21中,在判断为接收到显示倍率变更命令的情况下(判定结果为是)、建模部77A执行从信息存储部81获取显示倍率信息82的显示倍率信息获取处理(步骤S22)。
接着,建模部77A进行如下判断:显示倍率信息82所表示的显示倍率是否小于100%,即是否为相对于等倍显示时的形状显示图像42的缩小显示(步骤S23)。在步骤S23中,在判定为显示倍率小于100%(即,形状显示图像42的缩小显示)的情况下(判定结果为是),建模部77A进行第1缩小率R1是否小于阈值的判定(步骤S24)。
在步骤S24中,在判定第1缩小率R1小于阈值的情况下(判定结果为是),建模部77A执行将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定成大于第1缩小率R1的值的第1控制(步骤S26)。
例如,在第1缩小率R1为50%、阈值Wie80%的情况下,建模部77A通过下述式计算第2缩小率R2。在此,第1缩小率R1及第2缩小率R2的单位为%。通过下述式计算的结果,第2缩小率R2设定成大于第1缩小率R1(在此,50%)的值即65%。
R2={(80-R1)/2}+R1
在步骤S24中,在判定第1缩小率R1不小于阈值的情况下(判定结果为否),建模部77A执行将作为形状显示图像42内的插入部17的直径的缩小率的第2缩小率R2设定成与第1缩小率R1相同的值的第2控制(步骤S27)。
接着,建模部77A根据第1缩小率R1及第2缩小率R2,进行生成以插入部形状数据78中的插入部17的中心轴C为中心轴的圆筒形状的3D模型M的建模正式处理(步骤S28),转移到图9的流程图的步骤S3。
另外,在图18的流程图的步骤S21中,判定没有接收到显示倍率变更命令的情况下(判定结果为否)、及在步骤S23中,判定为显示倍率不小于100%(即,形状显示图像42的等倍显示或放大显示)的情况下(判定结果为否),转移到步骤S25。建模部77A执行将形状显示图像42整体的显示倍率和插入部17的直径的显示倍率设定成相同值的一般控制(步骤S25),转移到步骤S28。由此,获取将形状显示图像42整体进行等倍显示或放大显示的图像。
若在对形状显示图像42进行缩小显示时执行第1控制,则在缩小后的形状显示图像42A中,插入部17G的缩小后直径GD1显示得比实际的插入部17还粗。然而,在本方式中,在第1缩小率R1为阈值以上的情况下,执行第2控制,仅在第1缩小率R1小于阈值的情况下,执行第1控制。
其结果,在缩小率大且插入部17能够显示得不太细的情况下,能够将插入部17G的直径以与第1缩小率R1对应的粗度进行显示,仅在缩小率小且插入部17显示的较细的情况下,能够将插入部17G的直径显示得比与第1缩小率R1对应的粗度粗。因此,能够显示违和感少且自然的缩小图像。
并且,在上述实施方式中,关于第1控制中的第2缩小率R2的确定方法,并不限于使用上述式来确定的方式,只要是第2缩小率R2大于第1缩小率R1的确定方法,则可以是任何确定方法。例如,可以使用与上述式不同的式来确定,也可以参考表示第1缩小率R1的值和第2缩小率R2的值的关系的表来确定。
并且,在上述实施方式中,关于生成显示倍率变更后的形状显示图像42的处理,并不限于使上述中所说明的建模时的插入部17的长度和直径对应于显示倍率而变化,从而固定绘制时的相机位置的方法,可以是任何方法。例如,也可以设为如下方法:将建模时的插入部17的长度设为固定,仅使直径对应于显示倍率而变化,使绘制时的相机位置对应于显示倍率而变化。
并且,在上述实施方式中,以各产生线圈39产生相同频率的磁场MF的例子进行了说明,但各产生线圈39所产生的磁场MF的频率也可以不同。
并且,在上述各实施方式中,以在内窥镜10中配置包含磁场测定控制部58的磁场测定部,在导航装置12中配置磁场产生控制部71的例子进行了说明,但相反地,也可以在内窥镜10中配置磁场产生控制部71,而在导航装置12中配置磁场测定部。
并且,在上述实施方式中,例如,作为执行作为信息获取部、图像生成部及缩小率控制部的一例的图像生成部77等各种处理的处理部(Processing Unit)的硬件结构,能够使用以下所示的各种处理器(Processor)。各种处理器中包括执行软件来发挥各种处理部的功能的常用的处理器即CPU(Central Processing Unit:中央处单元,中央处理器),除此以外,还包括FPGA(Field Programmable Gate Array,现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、和/或具有ASIC(Application Specific Integrated Circuit,专用集成电路)等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA的组合和/或CPU与FPGA的组合)构成。如此,各种处理部作为硬件结构使用上述各种处理器中的一个以上而构成。
另外,作为这些各种处理器的硬件结构,更具体而言,能够使用将半导体元件等电路元件组合而成的电路(Circuitry)。
可以通过处理器由CPU构成的计算机来实现具有信息获取部、图像生成部及缩小率控制部的内窥镜显示控制装置。用于使CPU发挥信息获取部及图像生成部的功能的程序为内窥镜显示控制装置的执行程序。本发明的技术除了内窥镜显示控制装置的执行程序之外,还涉及非临时存储该执行程序的计算机能够读取的存储媒体。
根据上述的记载,能够掌握以下的附记项中所记载的发明。
“附记项1”
一种内窥镜形状显示控制装置,其具备:
信息获取处理器,获取用于将插入受检体内的内窥镜的插入部的形状图像化的信息;
图像生成处理器,根据所获取到的信息,生成显示插入部的形状的形状显示图像;及
缩小率控制处理器,在将所显示的形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在将形状显示图像整体以第1缩小率进行缩小时,对形状显示图像内的插入部的直径,执行设定成大于第1缩小率的第2缩小率的第1控制。
在本说明书中,“A和/或B”的含义与“A及B中的至少1个”相同。即,“A和/或B”的含义是可以仅为A,也可以仅为B,也可以为A与B的组合。并且,在本说明书中,将3个以上的情况用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。
以上所示的记载内容及图示内容为关于本发明的技术所涉及的部分的详细说明,只不过是本发明的技术的一例。例如,与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此,在不脱离本发明的技术的宗旨的范围内,当然可以对以上所示的记载内容及图示内容删除不必要的部分,或者追加或替换新的要件。并且,为了避免错综复杂的情况,并且容易理解本发明的技术所涉及的部分,在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不特别需要说明的技术常识等有关的说明。
关于2019年7月31日申请的日本申请专利2019-141387的全部公开内容,其通过参考并入本明细书中。本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地,通过参考被并入本说明书中。

Claims (5)

1.一种内窥镜形状显示控制装置,其具备至少1个处理器,
所述处理器进行如下处理:
获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息,
根据所获取到的所述信息生成显示所述插入部的形状的形状显示图像,
在对所显示的所述形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对所述形状显示图像整体以第1缩小率进行缩小时,执行针对所述形状显示图像内的插入部的直径设定成大于所述第1缩小率的第2缩小率的第1控制。
2.根据权利要求1所述的内窥镜形状显示控制装置,其中,
所述处理器针对所述插入部的长度将所述缩小率设定成所述第1缩小率,且针对所述插入部的直径设定成所述第2缩小率。
3.根据权利要求1或2所述的内窥镜形状显示控制装置,其中,
所述处理器在所述第1缩小率为预先设定的阈值以上的情况下,执行将所述第1缩小率和所述第2缩小率设定成相同值的第2控制,在所述第1缩小率小于所述阈值的情况下,执行所述第1控制。
4.一种内窥镜形状显示控制装置的工作方法,该方法具备:
信息获取步骤,获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息;
图像生成步骤,根据所获取到的所述信息,生成显示所述插入部的形状的形状显示图像;
缩小率控制步骤,在对所显示的所述形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对所述形状显示图像整体以第1缩小率进行缩小时,执行针对所述形状显示图像内的插入部的直径设定成大于所述第1缩小率的第2缩小率的第1控制。
5.一种内窥镜形状显示控制装置的执行程序,其使计算机作为如下三个部分发挥功能:
信息获取部,获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息;
图像生成部,根据所获取到的所述信息,生成显示所述插入部的形状的形状显示图像;及
缩小率控制部,在对所显示的所述形状显示图像进行缩小时,控制缩小后的尺寸相对于预先设定的基准尺寸的缩小率,并且在对所述形状显示图像整体以第1缩小率进行缩小时,执行针对所述形状显示图像内的插入部的直径设定成大于所述第1缩小率的第2缩小率的第1控制。
CN202080053665.2A 2019-07-31 2020-07-09 内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序 Pending CN114206194A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-141387 2019-07-31
JP2019141387 2019-07-31
PCT/JP2020/026920 WO2021020067A1 (ja) 2019-07-31 2020-07-09 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム

Publications (1)

Publication Number Publication Date
CN114206194A true CN114206194A (zh) 2022-03-18

Family

ID=74229823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080053665.2A Pending CN114206194A (zh) 2019-07-31 2020-07-09 内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序

Country Status (4)

Country Link
EP (1) EP4006616B1 (zh)
JP (1) JPWO2021020067A1 (zh)
CN (1) CN114206194A (zh)
WO (1) WO2021020067A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506770B2 (ja) * 1994-04-21 2004-03-15 オリンパス株式会社 内視鏡位置検出装置
JP4159396B2 (ja) 1994-08-18 2008-10-01 オリンパス株式会社 内視鏡形状検出装置
JP3548430B2 (ja) * 1998-09-03 2004-07-28 オリンパス株式会社 内視鏡形状検出装置
US6511417B1 (en) * 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
JP3389535B2 (ja) * 1999-08-06 2003-03-24 オリンパス光学工業株式会社 内視鏡形状検出装置
JP3749196B2 (ja) * 2002-04-04 2006-02-22 オリンパス株式会社 内視鏡形状検出システム
JP2004239998A (ja) * 2003-02-04 2004-08-26 Ricoh Co Ltd ディスプレイ装置
JP2009015165A (ja) * 2007-07-06 2009-01-22 Funai Electric Co Ltd 地点設定装置
JP5858475B2 (ja) * 2012-07-17 2016-02-10 富士通株式会社 表示処理プログラム、表示処理方法及び表示処理装置
WO2018116573A1 (ja) * 2016-12-19 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
JP7241466B2 (ja) 2018-02-22 2023-03-17 スリーエム イノベイティブ プロパティズ カンパニー 物品取付具、及び貼り付け方法

Also Published As

Publication number Publication date
EP4006616A1 (en) 2022-06-01
EP4006616B1 (en) 2023-11-22
JPWO2021020067A1 (zh) 2021-02-04
EP4006616A4 (en) 2022-10-26
WO2021020067A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
CN109195499B (zh) 导航装置以及内窥镜系统
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP5159995B2 (ja) 内視鏡システム
US20170014017A1 (en) Endoscope system
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
WO2019220916A1 (ja) 医療画像処理装置、医療画像処理方法及び内視鏡システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
WO2016063682A1 (ja) 内視鏡挿入形状観測装置
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
EP4006616B1 (en) Endoscope shape display control device, method of operating endoscope shape display control device, and program for operating endoscope shape display control device
CN107438390B (zh) 内窥镜形状把握系统
WO2021014991A1 (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
JP6995793B2 (ja) 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
CN114174889B (zh) 内窥镜系统及其工作方法
JP6429618B2 (ja) 内視鏡挿入形状観測装置
WO2021044661A1 (ja) 内視鏡システム及びその作動方法
JP2021016631A (ja) 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム
CN112438694A (zh) 线圈组件
JP7098583B2 (ja) 内視鏡システム及びその作動方法
CN107427195B (zh) 内窥镜形状掌握系统
US20120100512A1 (en) Inspection apparatus and inspection method
JP7084364B2 (ja) 内視鏡システム及びその作動方法
JP7234461B2 (ja) 内視鏡システム
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
JP2022132940A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination