CN110913748B - 内窥镜形状显示装置及内窥镜系统 - Google Patents

内窥镜形状显示装置及内窥镜系统 Download PDF

Info

Publication number
CN110913748B
CN110913748B CN201880030875.2A CN201880030875A CN110913748B CN 110913748 B CN110913748 B CN 110913748B CN 201880030875 A CN201880030875 A CN 201880030875A CN 110913748 B CN110913748 B CN 110913748B
Authority
CN
China
Prior art keywords
endoscope
reliability
shape
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880030875.2A
Other languages
English (en)
Other versions
CN110913748A (zh
Inventor
榎本贵之
中山亘人
彼得·皮尔逊·南库利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN110913748A publication Critical patent/CN110913748A/zh
Application granted granted Critical
Publication of CN110913748B publication Critical patent/CN110913748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明的目的在于提供一种内窥镜形状显示装置,其能够向操作者提示与所提示的内窥镜形状的可靠程度相关的信息。本发明涉及的内窥镜形状显示装置,计算用来估计内窥镜形状的结果的可靠度,结合所述可靠度,以淡出的方式对内窥镜形状图像中的至少一部分进行显示(参考图3)。

Description

内窥镜形状显示装置及内窥镜系统
技术领域
本发明涉及一种显示内窥镜形状的技术。
背景技术
内窥镜是一种通过将其插入观察对象的内部(例如,人体呼吸器官、消化器官等)来观察其内部的装置。例如,为观察人体大肠内部,可以使用内窥镜。但是,相对于形状复杂的观察对象,为精确地操作内窥镜需要一定程度的熟练水平。因此,为了辅助内窥镜的操作,采用一项用于检测内窥镜的柔性部在观察对象内部的形状并将其显示在屏幕上的技术。
下面的专利文献1记载了用于检测内窥镜的形状的技术。该文献以“提供了一种在既定的精度下操作者可以很容易地确认是否已偏离可检测范围的内窥镜形状检测装置。”为课题,公开了一种“用于检测内窥镜的插入形状的检测装置21中设置有连接器插口21a等,其用于与配置在内窥镜插入部的探针15的连接器16a等可装卸连接,在进行连接检测的同时,根据通过检测发射线圈14i产生的磁场的感应线圈22a,22b等的检测输出,CPU32在不小于规定精度的条件下判断其是否处于能够检测位置的有效检测范围内,根据其判断结果,在监视器25变更显示颜色并显示,以使操作者可以很容易地确认其是否处于有效检测范围内。”的技术(参考摘要)。
现有技术文献
专利文献
专利文献1:日本特开2002-325721号公报
发明概要
发明所要解决的课题
在上述专利文献1所记载的技术中,当整个内窥镜处于有效检测范围内时,通过绿色图像显示其形状;当内窥镜中的一部分处于有效检测范围之外时,此部分用其他颜色(例如,黄色)进行显示(参考同一文献的0045)。操作者可以根据所显示颜色的不同来确认是否处于有效检测范围内。
虽然专利文献1中所记载的技术可以用来在屏幕上掌握内窥镜是否包含在有效检测范围内,但是无法判断在屏幕上所显示的内窥镜形状的可靠程度。
本发明是鉴于上述课题而完成的,提供一种内窥镜形状显示装置,其能够向操作者提示与所提示的内窥镜形状的可靠程度相关的信息。
用于解决课题的方案
本发明涉及的内窥镜形状显示装置,计算用来估计内窥镜形状的结果的可靠度,结合所述可靠度,以淡出的方式对内窥镜形状图像中的至少一部分进行显示。
发明效果
通过本发明所涉及的内窥镜形状显示装置,可以在同一屏幕上向内窥镜操作者呈现与在屏幕上所显示的内窥镜形状的可靠程度相关的信息。
附图说明
图1是实施方式1所涉及的内窥镜系统1000的结构图。
图2是CPU230的内部结构图。
图3是示出监视器300所显示的内窥镜100的形状随时间变化的示意图。
图4是说明处理器200在屏幕上显示内窥镜100形状的操作的流程图。
图5是说明可靠度计算部233计算形状估计结果的可靠度的程序的流程图。
图6是以淡入的方式显示已恢复可靠度的部位的示例。
图7是根据可靠度的增减可逆地重复淡出和淡入的示例。
图8是将作为计算可靠度的依据的参数与内窥镜的100形状一并显示的示例。
图9是将可靠度的时间变化率与内窥镜100的形状一并显示的示例。
图10是示出监视器300所显示的内窥镜100的形状随时间变化的示意图。
图11是说明处理器200在屏幕上显示内窥镜100形状的操作的流程图。
图12是说明可靠度计算部233计算形状估计结果的可靠度的程序的流程图。
图13是实施方式4所涉及的内窥镜系统1000在屏幕上所显示的图像的示例。
图14是实施方式5所涉及的内窥镜系统1000的结构图。
图15是示出历史数据241的结构和数据示例的图。
图16是对表示可靠度已降低的标记进行显示的示例。
图17是使可靠度已降低的部位进行闪烁的示例。
图18是显示可靠度数值的示例。
图19是对表示可靠度的比例尺进行显示的示例。
具体实施方式
<实施方式1>
图1是本发明的实施方式1所涉及的内窥镜系统1000的结构图。内窥镜系统1000具备内窥镜100、处理器200(内窥镜形状显示装置)、监视器300、以及天线400。
内窥镜100是一种通过将其插入观察对象内部来观察其内部的装置。内窥镜100具备柔性管110、摄像装置120、以及传感器130。传感器130还具备多个形状传感器(图1中的形状传感器131~134)。
柔性管110是一种用来插入观察对象的管,并且可以根据观察对象的形状在一定程度上自由变形。摄像装置120设置在柔性管110的前端部,用来拍摄周边图像并输出其图像信号。传感器130是一种用来检测柔性管110的位置和朝向的传感器。
处理器200是一种用来处理从内窥镜100接收的信号的装置。处理器200具备插口210、光源220、以及CPU(Central Processing Unit)230。
插口210是一种用来连接内窥镜100和处理器200的接口。光源220向内窥镜100提供光。摄像装置120可以利用从光源220提供的光照射观察对象,同时可以对其照射区域进行拍摄。CPU230从摄像装置120接收观察对象的图像信号,并将其图像显示在监视器300的屏幕上。
天线400产生磁场,传感器130检测其磁场。传感器130例如可以通过在铁芯周围缠绕线圈来进行配置,根据天线400所产生的磁场来产生电流并输出电流。处理器200可以使用其电流来计算内窥镜100的位置和朝向(具体而言,设置形状传感器131~134的部位的位置和朝向)。
由于用于计算内窥镜100的位置和朝向的方法是已知的,因此在这里省略其详细描述。例如,可以通过求取各形状传感器和天线400之间的距离来确定各形状传感器的位置。例如,可以通过求取连接各个形状传感器131~134的位置的三维曲线来确定内窥镜100的姿态(内窥镜100的各个部位在三维坐标系中的朝向)。因此,传感器130兼具作为内窥镜100的位置传感器的作用和作为内窥镜100的角度传感器(方向传感器)的作用。
图2是CPU230的内部结构图。CPU230具备拍摄图像显示部231、形状估计部232、可靠度计算部233、以及形状显示部234。这些功能部可以通过使用诸如回路装置等硬件来构成,也可以通过CPU230执行所安装的软件来构成这些功能部。在下文中,为了便于记载,将各功能部作为操作主体进行说明,但是当这些功能部作为软件进行安装时,实际的操作主体是CPU230。各软件可以存储在诸如CPU230所具备的存储器等适当的存储设备上。
拍摄图像显示部231通过处理由摄像装置120所输出的图像信号生成观察对象图像,并将其图像显示在监视器300的屏幕上。形状估计部232通过利用由传感器130输出的信号来估计内窥镜100的形状(位置和朝向)。可靠度计算部233利用后述方法来计算由形状估计部232所估计的内窥镜100形状的可靠度。形状显示部234在监视器300的屏幕上显示由形状估计部232所估计的内窥镜100的形状的图像。
可以认为由形状估计部232对内窥镜100形状进行估计的结果的精度是经常变化的。例如,当形状传感器131~134中的任意一个与天线400之间的距离超过可检测范围时,则可视为该形状传感器所输出的信号的精度低。即使当传感器130处于可检测范围内时,例如,当位置或形状急速变化时,由于传感器130本身的检测精度降低,因此认为估计精度也会降低。
针对内窥镜100部位中形状估计精度已降低的部分,在屏幕上显示估计精度已降低的主旨对于内窥镜100的操作者来说是有用的。这是因为存在以下的可能性,即例如通过操作并改变该部分的位置和朝向可以提高估计精度。另一方面,当估计精度已降低时,如在屏幕上急速改变该部分的显示形式,操作者可能会感到困惑。这是因为直到此刻之前内窥镜100的形状都正常显示在屏幕上。
因此,在本发明的实施方式1中,可靠度计算部233计算由形状估计部232所估计的结果的可靠度,并且形状显示部234根据该可靠度的变化,随时间改变内窥镜100的屏幕显示。由此,随着可靠度的时间变化,内窥镜100的屏幕上的形状也将随时间推移而变化,因此可以认为因急速的屏幕变化而引起操作者困惑的情况有所减少。
可靠度计算部233通过使用以下算式1或算式2来计算由形状估计部232所估计的内窥镜100的形状的可靠度。下面将说明各算式的各参数。
可靠度=传感器精度×(1/形状变化程度) (算式1)
可靠度=传感器精度×(1/形状变化程度)×(1/经过时间) (算式2)
传感器精度是表示传感器130的检测精度的值,可以通过例如0.0~1.0之间的数值来表示。例如,由于传感器130输出的电流强度与传感器130和天线400之间的距离相对应,因此可视为电流强度越高,检测精度也越高。作为1例,当传感器130的电流为额定值上限时,传感器精度可以视为1.0;当完全没有获得信号时,传感器精度可以视为0.0。由于传感器130兼具位置传感器和角度传感器的作用,因此传感器精度同时表示位置精度和角度精度。
当形状传感器131~134中的任意一个发生故障时,则认为发生故障的形状传感器的可靠度最低。但是,若可以从其他形状传感器的检测结果来补足发生故障的形状传感器的检测结果,则可以根据补足的可靠程度来向上修正发生故障的形状传感器的可靠度。例如,通过(a)对其他形状传感器的检测值取平均值,(b)将其他形状传感器的可靠度乘以适当的权重(例如,越靠近发生故障的形状传感器,则权重越大)等步骤,认为可以对发生故障的形状传感器的可靠度进行补足。
形状变化程度是表示内窥镜100的位置相对于时间的变化率的值。由于当内窥镜100的位置高速变化时,认为传感器130的检测精度低,因此可视为估计精度低。例如,可以将各形状传感器的移动速度(或者与此相当的数值)作为形状变化程度进行使用。
即使内窥镜100的位置快速发生变化,将内窥镜100的姿态(各形状传感器的朝向)保持一定状态移动的情况与姿态和位置都发生改变的情况相比,认为其估计精度更高。这是因为若内窥镜100的姿态一定,位置则可以通过插值计算等以一定程度的精度进行估计。正是考虑这一点,可靠度计算部233可以组合使用内窥镜100的姿态相对于时间的变化率和位置变化率。例如,可以将姿态变化率作为各形状传感器的朝向的时间变化率进行求取。例如,可以通过将位置变化率和姿态变化率相乘来求取形状变化程度。也可以通过其他适当的算式来组合使用位置变化率和姿态变化率。
经过时间是从可靠度小于规定阈值的时间点起开始计算的经过时间。原则上,可靠度计算部233根据算式1来计算可靠度,但是当该可靠度小于规定阈值时,根据算式2,通过将后续经过时间的倒数与可靠度进一步相乘来确定最终的可靠度。
当可靠度降低到一定程度以下时,可视作从此处开始随着时间的推移可靠度将随之进一步降低。这是因为不希望内窥镜100的形状长期处于不可靠状态。正是考虑到这一点,可靠度计算部233将可靠度与经过时间的倒数相乘。但是,当传感器精度×形状变化程度的数值小于规定阈值后,又恢复到规定阈值以上时,则在重置经过时间的同时,此后使用算式1作为可靠度(不乘以经过时间的倒数)。可靠度计算部233通过重复上述过程来不断地更新可靠度。
图3是示出监视器300所显示的内窥镜100的形状随时间变化的示意图。假设时间t=t1,形状传感器132的检测精度降低,与形状传感器132相对应的部位的估计可靠度小于阈值。可靠度计算部233根据算式2,通过乘以从时间t1开始计算的经过时间的倒数来计算可靠度。由此,与形状传感器132相对应的部位的可靠度随着时间变化t1=>t2=>t3而降低。
形状显示部234根据可靠度值,以淡出的方式显示内窥镜100中可靠度低于阈值的部位。在图3中,随着时间变化t1=>t2=>t3,与形状传感器132相对应的部位随着同一部位的可靠度降低而淡出。这里所说的淡出是指图像逐渐消失。图像并不需要完全消失,在完全消失的过程中显示形态的变化也包含在这里所说的淡出中。
在时间t4中,假设形状传感器132的检测精度已恢复到正常水平。由此,使传感器精度×形状变化程度的数值恢复到阈值以上。可靠度计算部233在时间t4之后根据算式1计算可靠度。由于与形状传感器132相对应的部位的可靠度已恢复到阈值以上,因此形状显示部234将同一部位的显示形态返回到正常形态。
图4是说明处理器200在屏幕上显示内窥镜100形状的操作的流程图。处理器200通过重复执行本流程图,从而在监视器300的屏幕上显示内窥镜100的形状。下面将对图4中的各步骤进行说明。
(图4:步骤S401)
形状估计部232从传感器130获取检测值。此时,同时获取表示传感器130的检测精度的数据。当传感器130自身输出表示检测精度的值时,只需获取其数值即可。或者,例如传感器130输出的电流强度等数值也可以作为检测精度指标进行使用。也可以通过其他适当的方法获取检测精度。
(图4:步骤S402)
形状估计部232判断传感器130的检测精度是否小于检测精度阈值。当小于阈值时,则执行步骤S407;当不小于检测精度阈值时,则执行步骤S403。
(图4:步骤S403~S405)
形状估计部232基于从传感器130获取的检测值来估计内窥镜100的各部位的位置和朝向(S403)。形状估计部232基于步骤S403的估计结果来估计内窥镜100的形状(S404)。可靠度计算部233根据算式1来计算步骤S404中的估计结果的可靠度(S405)。
(图4:步骤S405:补充)
当传感器130的检测精度足够高时,认为内窥镜100的形状估计结果的精度也高。因此,为了简化处理,在本步骤中不使用算式1,而是将足够高的固定值(例如,最大值=1.0)指定为可靠度值。
(图4:步骤S406)
形状显示部234在监视器300的屏幕上显示形状估计部232的估计结果。在本步骤中,认为形状估计部232的估计结果的可靠度足够高,因此不执行如图3所示的淡出。
(图4:步骤S406:补充)
当进行到本步骤时,认为可靠度足够高,因此不需要淡出。但是,假设在本步骤中可靠度可能小于可靠度阈值,则可靠度计算部233和形状显示部234如后述步骤S412,随着时间变化降低可靠度,并且以内窥镜100形状淡出的方式进行显示。
(图4:步骤S407)
形状估计部232判断传感器130是否发生故障。当传感器130自身输出用于表示是否发生故障的信号时,可以根据此信号进行判断。或者可以根据传感器130不输出任何检测值等的状态来判断是否发生故障。可以通过其他适当的方法来判断是否发生故障。当传感器130发生故障时,则执行步骤S413;当没有发生故障(仅是检测精度降低)时,则执行步骤S408。
(图4:步骤S407:补充)
传感器130未发生故障但检测精度降低的状态,可以举例因传感器130和天线400之间的距离增加而导致传感器130输出的信号强度降低的情况等。另外,当天线400和传感器130附近存在金属时,检测精度可能也会降低。
(图4:步骤S408~S410)
形状估计部232和可靠度计算部233执行与步骤S403~S405相同的处理。
(图4:步骤S411)
可靠度计算部233判断在步骤S410中计算的可靠度是否小于可靠度阈值。若小于可靠度阈值,则执行步骤S412;若不小于可靠度阈值,则执行步骤S406。
(图4:步骤S412)
对于传感器130的检测精度小于检测精度阈值的部位,可靠度计算部233随时间变化减少以使得可靠度不变为0。例如,随时间变化降低可靠度,当可靠度降低到一定程度时固定可靠度值。形状显示部234随着该可靠度的时间变化,在屏幕上显示内窥镜100的形状。由此,内窥镜100的形状逐渐淡出但不会完全消失。例如,如图3中t=t2时的显示形态。
(图4:步骤S412:补充)
在本步骤中,如同步骤S417,内窥镜100的形状可以逐渐淡出直到完全消失。在这种情况下,为了从视觉上显示步骤S412和S417之间的差异,如后述实施方式2,需要通过除淡出之外的形态在屏幕上显示可靠度。
(图4:步骤S413~S415)
形状估计部232和可靠度计算部233执行与步骤S403~S405相同的处理。
(图4:步骤S416)
可靠度计算部233判断在步骤S415中计算的可靠度是否小于可靠度阈值。若小于可靠度阈值,则执行步骤S417;若不小于可靠度阈值,则执行步骤S412。
(图4:步骤S417)
对于传感器130的检测精度小于检测精度阈值的部位,可靠度计算部233随时间变化减少以使得可靠度变为0。形状显示部234随着该可靠度的时间变化,在屏幕上显示内窥镜100的形状。由此,内窥镜100的形状逐渐淡出直至完全消失。例如,如图3中t=t3时的显示形态。
(图4:步骤S412、S417的补充之一)
步骤S412和S417之间的差异取决于传感器130是否发生故障。当传感器130发生故障时,则认为该部位的形状估计结果的可靠度低,因此通过在监视器300上使同一部位完全消失,从而从视觉上提示操作者其可靠度低。与此相对应地,在步骤S412中,认为传感器130的检测精度临时性降低,因此通过在监视器300上不使同一部位完全消失,从而从视觉上提示操作者情况与S417不同。由此,可以通过监视器300上的图像从视觉上提示形状估计结果的可靠度,从而可以有效地辅助操作者。
(图4:步骤S412、S417的补充之二)
在本步骤中开始淡出之后,通过再次执行本流程图,有时可以将形状估计结果的可靠度恢复到可靠度阈值以上。在这种情况下,可以停止本步骤中的淡出并返回到正常显示模式。例如,在步骤S406中,只需将显示形式返回到正常显示即可。
(图4:步骤S406、S412的补充)
即使传感器130的检测精度临时性降低,当形状估计结果足够可靠时,也不需要淡出。因此,在步骤S411中当可靠度足够高时,执行与检测精度高时相同的处理(S406)。对此,例如,当内窥镜100的形状变化程度大时,根据算式1计算出的可靠度低,因此执行步骤S412。
图5是说明可靠度计算部233计算形状估计结果的可靠度的程序的流程图。当图4中可靠度计算部233计算可靠度时,执行本流程图。下面将对图5中的各步骤进行说明。
(图5:步骤S501)
可靠度计算部233获取传感器130的检测精度。具体而言,只需从形状估计部232接收在步骤S401中由形状估计部232从传感器130获取的检测精度即可。
(图5:步骤S502)
可靠度计算部233计算内窥镜100的形状变化程度。例如,可以通过使用以下参数中的一个以上来计算形状变化程度。(a)内窥镜100的位置(由传感器130检测到的位置)的时间变化率、(b)内窥镜100的形状的切向量的时间变化率、(c)内窥镜100的姿态(由传感器130检测到的朝向)的时间变化率、(d)内窥镜100的局部形状的曲率半径。可靠度计算部233根据算式1计算可靠度。
(图5:步骤S503)
可靠度计算部233判断是否正在计量自可靠度小于可靠度阈值以来的经过时间。当在步骤S405/S410/S415中执行本流程图时,不计量经过时间,因此结束本流程图。当在步骤S406/S412/S417中执行本流程图时,由于以淡出的方式显示内窥镜100的形状,因此执行步骤S504和后续步骤。
(图5:步骤S504)
可靠度计算部233将在步骤S502中计算出的可靠度与(1/经过时间)相乘。这里所说的经过时间,是在步骤S411或者S416中从判断可靠度小于可靠度阈值的时间点起开始计算的经过时间。
(图5:步骤S505)
可靠度计算部233按照与步骤S407中相同的程序来判断传感器130是否发生故障。发生故障时,跳到步骤S507;没有发生故障时,执行步骤S506。步骤S507与步骤S417相对应,步骤S506与步骤S412相对应。
(图5:步骤S506)
当可靠度小于下限值时,可靠度计算部233进位到下限值。本步骤用于防止淡出直到内窥镜100的形状完全消失。
(图5:步骤S507)
可靠度计算部233更新经过时间。经过时间可以通过使用例如在步骤S411或者S416中开始计量的计时器等来测量。
<实施方式1:总结>
本实施方式1所涉及的内窥镜系统1000结合由形状估计部232所估计的内窥镜100的形状的可靠度,在监视器300上以淡出的方式显示内窥镜100的形状。由此,可以通过向操作者提供关于内窥镜100的形状估计结果的视觉反馈来辅助操作者。特别是,估计内窥镜形状的结果不一定具有100%的精度,并且估计结果的可靠度不断变化,因此,通过本实施方式1所涉及的内窥镜系统1000把握形状非常有用。特别是,其适合于显示内窥镜的插入形状。
如专利文献1所示,当设定一个阈值并且显示红色/黄色等颜色变化时,存在显示突然变化及闪烁等所引起的使用性差的问题。针对此问题,本实施方式1所涉及的内窥镜系统1000并不是二进制显示,而是根据可靠度进行淡出,或者通过相邻传感器确定missingsensor(处理器200无法获得信号的传感器)的可靠度,并确保可靠度的连续性,从而可以解决上述问题。
<实施方式2>
在本发明的实施方式2中,将对当形状显示部234在监视器300的屏幕上显示内窥镜100的形状时的各种显示形态进行说明。内窥镜系统1000的结构与实施方式1相同。
图6是以淡入的方式显示已恢复可靠度的部位的示例。在图3中,当可靠度恢复到规定阈值以上时,形状显示部234立即将对应部位的形状返回到正常形态。代替以上方式,形状显示部234可以以淡入的方式显示可靠度已经恢复到可靠度阈值以上的部位的图像。淡入处理的时间间隔可以是不变的,也可以根据可靠度的恢复速度进行变化。
图7是根据可靠度的增减可逆地重复淡出和淡入的示例。在实施方式1中,当可靠度小于可靠度阈值时,可靠度计算部233通过从算式1切换到算式2来执行淡出。代替以上方式,即便可靠度小于可靠度阈值之后,可靠度计算部233也可以使用算式1继续计算可靠度。在这种情况下,可靠度值并不一定单调减小,有时也存在反复增减的情况。随着可靠度的增减,形状显示部234重复内窥镜100的图像的淡出/淡入。
图8是将作为计算可靠度的依据的参数与内窥镜100形状一并显示的示例。通过淡出可靠度降低的部位,可以向操作者提示此主旨,但除此之外,还可以通过向操作者提示可靠度降低的原因从而使得操作把握此原因。也就是说,可以防止操作者因未知原因的可靠度降低而引发焦虑。作为可靠度降低的原因,至少可以举例算式1中的2个参数。另外,可以单独显示位置精度和角度精度。在图8中,通过字符串显示参数,也可以通过适当的符号和图标图像等来呈现等效信息。
图9是将可靠度的时间变化率与内窥镜100形状一并显示的示例。在图9(a)的示例中,由于可靠度缓慢降低,因此在屏幕上显示短的向下箭头。在图9(b)的示例中,由于可靠度急剧降低,因此在屏幕上显示长箭头。在图9(c)的示例中,由于可靠度缓慢增加,因此在屏幕上显示短的向上箭头。也可以使用箭头以外的适当符号。通过显示可靠度的时间变化率,操作者可以通过屏幕从视觉上把握是否在适当地操作内窥镜100。
可以以任意组合使用图6~图9中说明的显示形态。例如,可以对图7中说明的重复淡入/淡出的显示形态和图9中说明的显示可靠度变化率的图标进行组合使用。
<实施方式3>
在本发明的实施方式3中,将对除淡出/淡入内窥镜100的形状图像之外的显示形态进行说明。内窥镜系统1000的结构与实施方式1~2相同。
图10是用来示出监视器300所显示的内窥镜100的形状随时间变化的示意图。假设时间t=t1,形状传感器132的检测精度降低,与形状传感器132相对应的部位的估计可靠度小于阈值。可靠度计算部233根据算式2,通过乘以从时间t1开始计算的经过时间的倒数来计算可靠度。由此,与形状传感器132相对应的部位的可靠度随着时间变化t1=>t2=>t3而降低。
形状显示部234在可靠度已降低至小于阈值的内窥镜100中的部位附近或与同一部位相对应的位置处,显示用于表示可靠度已降低的主旨的图像。在图10中,随时间变化t1=>t2=>t3,与形状传感器132相对应的部位的可靠度逐渐降低。形状显示部234在指出与形状传感器132相对应的部位的弹出窗口中,在屏幕上显示用于表示可靠度降低的向下箭头。箭头长度表示可靠度的降低程度。在图10中,由于箭头随时间变化而变长,因此可以从视觉上呈现可靠度逐渐降低。
在时间t4中,假设形状传感器132的检测精度已恢复到正常水平。由此,使传感器精度×形状变化程度的数值恢复到阈值以上。可靠度计算部233在时间t4之后根据算式1计算可靠度。由于与形状传感器132相对应的部位的可靠度已恢复到阈值以上,因此形状显示部234将同一部位的显示形态返回到正常形态。
在形状显示部234中,箭头的长度可以用来表示可靠度本身,或者通过箭头的长度和方向来表示可靠度的变化率。例如,当可靠度急剧降低时,可以显示长的向下箭头;当可靠度缓慢增加时,可以显示短的向上箭头。
图11是用来说明处理器200在屏幕上显示内窥镜100形状的操作的流程图。处理器200通过重复执行本流程图,从而在监视器300的屏幕上显示内窥镜100的形状。下面将对图11中的各步骤进行说明。
(图11:步骤S1101)
形状估计部232从传感器130获取检测值。此时,同时获取表示传感器130的检测精度的数据。当传感器130自身输出表示检测精度的值时,只需获取其数值即可。或者,例如传感器130输出的电流强度等数值也可以作为检测精度指标进行使用。也可以通过其他适当的方法获取检测精度。
(图11:步骤S1102~S1104)
形状估计部232基于从传感器130获取的检测值来估计内窥镜100的各部位的位置和朝向(S1102)。形状估计部232基于步骤S1102的估计结果来估计内窥镜100的形状(S1103)。可靠度计算部233根据算式1来计算步骤S1104中的估计结果的可靠度(S1104)。
(图11:步骤S1105)
形状显示部234判断在步骤S1104中由可靠度计算部233计算的可靠度是否小于可靠度阈值。若小于阈值,则执行步骤S1107;若不小于阈值,则执行步骤S1106。
(图11:步骤S1106)
形状显示部234在监视器300的屏幕上显示形状估计部232的估计结果。在本步骤中,由于形状估计部232的估计结果的可靠度足够高,因此不显示如图10所示的可靠度图像。
(图11:步骤S1107)
对于传感器130的检测精度小于检测精度阈值的部位,可靠度计算部233随时间变化降低可靠度。形状显示部234在屏幕上一并显示形状估计部232的估计结果、以及用于表示由可靠度计算部233计算的可靠度的可靠度图像。例如,如图10中t=t2和t=t3时的显示形态。
图12是说明可靠度计算部233计算形状估计结果的可靠度的程序的流程图。当图11中可靠度计算部233计算可靠度时,执行本流程图。下面将对图12中的各步骤进行说明。
(图12:步骤S1201)
可靠度计算部233获取传感器130的检测精度。具体而言,只需从形状估计部232接收在步骤S1101中由形状估计部232从传感器130获取的检测精度即可。
(图12:步骤S1202)
可靠度计算部233计算内窥镜100的形状变化程度。例如,可以通过使用以下参数中的一个以上来计算形状变化程度。(a)内窥镜100的位置(由传感器130检测到的位置)的时间变化率、(b)内窥镜100的形状的切向量的时间变化率、(c)内窥镜100的姿态(由传感器130检测到的朝向)的时间变化率、(d)内窥镜100的局部形状的曲率半径。可靠度计算部233根据算式1计算可靠度。
(图12:步骤S1203)
可靠度计算部233判断是否正在计量自可靠度小于可靠度阈值以来的经过时间。当在步骤S1106中执行本流程图时,不计量经过时间,因此结束本流程图。当在步骤S1107中执行本流程图时,由于根据经过时间降低可靠度,因此执行步骤S1204和后续步骤。
(图12:步骤S1204)
可靠度计算部233将在步骤S1202中计算出的可靠度与(1/经过时间)相乘。这里所说的经过时间,是在步骤S1105中从判断可靠度小于可靠度阈值的时间点起开始计算的经过时间。
(图12:步骤S1205)
可靠度计算部233更新经过时间。经过时间可以通过使用例如在步骤S1107中开始计量的计时器等来测量。
<实施方式3:总结>
本实施方式3所涉及的内窥镜系统1000一并显示由形状估计部232估计的内窥镜100形状、以及用于表示估计结果的可靠度的可靠度图像。由此,可以通过向操作者提供关于内窥镜100的形状估计结果的视觉反馈来辅助操作者。
<实施方式4>
图13是本发明的实施方式4所涉及的内窥镜系统1000在屏幕上所显示的图像的示例。在本实施方式4中,除实施方式3中说明的图像之外,形状显示部234还在监视器300的屏幕上显示图13所示的图像。下面将对图13中的各图像进行说明。
形状显示栏310是用来显示内窥镜100的形状图像和可靠度图像的栏。形状显示部234在形状显示栏310上显示实施方式1中说明的形状图像和可靠度图像。
内部结构栏320是用来显示内部结构图像的栏,该内部结构图像是对插入内窥镜100的对象的内部结构进行图示化。图13是在假设内窥镜100插入人体大肠的前提下,用来显示大肠的示意图像的示例。提前将多个图像(例如大肠、支气管等)存储在处理器200所提供的存储设备上以用作内部结构图像,操作者通过适当的接口指定任意一个内部结构图像。处理器200接收该指定,形状显示部234从存储设备中读取相应的内部结构图像并将其显示在屏幕上。
形状显示部234还在内部结构栏320的屏幕上显示形状图像321。形状图像321是用来表示内窥镜100在内窥镜100所插入的内部结构中的大致位置和形状的图像。由于传感器130检测内窥镜100的位置和朝向,因此形状估计部232可以使用该元件来估计内窥镜100在内部结构上的位置和形状。形状显示部234将由形状估计部232估计的内窥镜100在内部结构上的位置和形状作为形状图像321显示在屏幕上。
作为用于估计内窥镜100在内部结构上的位置和形状的方法,例如,可以考虑以下内容,但是也可以使用其他适当的方法:(a)例如通过拍摄人体来检测人体与天线400的相对位置与相对姿势,并基于该结果估计内部结构的三维坐标。可以通过将内部结构的三维坐标与内窥镜100的三维坐标相关联,来估计内窥镜100在内部结构上的位置和形状。(b)当内窥镜100的前端到达内部结构的入口时,操作者向处理器200发出指示。形状估计部232根据内窥镜100的后续移动来估计内窥镜100在内部结构上的位置和形状。
人体图像显示栏330是用来显示人体图像的栏,该人体图像对插入内窥镜100的人体进行图示化。例如,可以将人体图像提前存储在处理器200所提供的存储设备上。形状估计部232通过上述(a)方法来估计人体位置和姿势,并根据该估计结果改变人体图像(调整位置和朝向)。形状显示部234在屏幕上显示该人体图像。
形状显示部234还在人体图像显示栏330的屏幕上显示形状图像331。形状图像331是具有与形状图像321相同的作用的图像。由于可以提前掌握内部结构图像在人体内部的的位置和朝向,因此当形状估计部232估计内窥镜100在内部结构上的位置和形状时,还可以估计内窥镜100在人体图像上的位置和形状。形状显示部234在屏幕上显示由形状估计部232估计的在人体图像上内窥镜100的位置和形状,以用作形状图像331。
如图13所示,通过将内窥镜100在插入内窥镜100的对象的内部结构上的位置与内窥镜100的形状图像一并显示在屏幕上,使得操作者能够准确地掌握内窥镜100的位置,因此可以向操作者提供更有效的操作辅助信息。
<实施方式5>
图14是本发明的实施方式5所涉及的内窥镜系统1000的结构图。在本实施方式5中,处理器200具备存储设备240。存储设备240是非易失性存储设备,例如硬盘驱动器等。除了在实施方式2中说明的各图像之外,存储设备240还存储有后述的历史数据241。
图15是示出历史数据241的结构和数据示例的图。历史数据241是用来记录形状估计部232估计内窥镜100形状的结果的历史的数据表。历史数据241作为数据字段,具有日期时间2411、传感器编号2412、坐标2413、朝向2414和可靠度2415。
日期时间2411是形状估计部232估计内窥镜100的形状的日期时间。传感器编号2412是表示形状传感器131~134中的任意一个的编号。坐标2413是形状估计部232基于传感器130的检测结果来估计传感器130的坐标的结果。朝向2414是形状估计部232基于传感器130的检测结果来估计传感器130的朝向的结果。可靠度2415是由可靠度计算部233计算的可靠度值。
例如,历史数据241可用于分析可靠度降低的原因。作为可靠度降低的原因,除了传感器130远离天线400的原因之外,还认为是由于患者所躺的病床的金属构件对天线400所发射的磁场造成干扰。在历史数据241中,若与某一特定坐标2413相对应的可靠度2415趋于明显降低,则可以推测在该坐标2413的附近存在导致可靠度降低的因素(例如,金属构件)。
作为历史数据241的另一种用途,例如,可以在屏幕上重现历史数据241中所描述的操作历史。由此可以从视觉上获得诸如如何操作会降低可靠度之类的信息,因此这对于技术水平较低的操作者来说非常有用的。
<实施方式6>
在本发明的实施方式6中,将对形状显示部234在监视器300的屏幕上显示内窥镜100的形状可靠度时的各种显示形态进行说明。内窥镜系统1000的结构与实施方式3~5相同。
图16是对表示可靠度已降低的标记进行显示的示例。当t=t2时,形状显示部234在内窥镜100的形状估计精度已降低的部位(与形状传感器132相对应的部位)显示X标记。标记的尺寸表示可靠度的降低程度。X标记尺寸越大,可靠度越低。当t=t3时可靠度进一步降低,因此X标记的尺寸增大。与标记相结合或代替标记,可靠度已降低的部位的颜色可以变成与其他部位不同的颜色。更进一步地,可以根据可靠度的降低程度改变颜色,并且可以改变颜色深度和亮度。当改变颜色时,颜色可以随时间变化而逐渐改变。
图17是使可靠度已降低的部位进行闪烁的示例。当t=t2时,形状显示部234使与形状传感器132相对应的部位闪烁。可靠度降低的程度也可以通过闪烁的频率来表示。例如,可靠度越低,闪烁频率越快。
图18是显示可靠度数值的示例。形状显示部234在屏幕上显示可靠度小于可靠度阈值的部位的可靠度数值。通过指示该部位并显示可靠度,可以从视觉上掌握可靠度已降低的部位及其程度。
图19是对表示可靠度的比例尺进行显示的示例。当t=t2时,形状显示部234标记与形状传感器132相对应的部位,与此同时,在屏幕右下方显示具有与该标记相同的图案的比例尺。比例尺的长度表示可靠度。当t=t2时,可靠度约为最大值的一半。当t=t3时,可靠度约为最大值的四分之一。
可以任意组合使用实施方式3和实施方式6中说明的显示形态。例如,可以一并使用图10中说明的箭头与图16中说明的标记。也可以使用其他合适的组合。并且,代替内窥镜100的部位的可靠度,或者除此之外,还可以显示整个内窥镜100的形状的可靠度。在这种情况下,可以通过适当的方法,例如取各个部位的可靠度的平均值等计算整体可靠度。
<本发明的变形例>
本发明并不限于上述实施方式,还包括各种变形例。例如,为了易于理解本发明,已经详细描述了上述实施方式,但并不限于具有所描述的所有结构的实施例。另外,某一实施方式的结构的一部分可以替换成另一实施方式的结构,并且某一实施方式的结构也可以叠加另一实施方式的结构。另外,可以将各个实施方式的结构中的一部分添加、删除和替换成其他结构。
在上述实施方式中,说明了传感器130由线圈构成的示例,但也可以通过其他方式检测内窥镜100的位置和朝向。例如,可以使用诸如FBG(Fiber Bragg Grating)传感器等的光学传感器。即使在这种情况下,也可以如上述实施方式那样,通过结合形状估计的可靠度来改变监视器300上的屏幕显示。
在上述实施方式中,传感器130可以同时用作内窥镜100的位置传感器和角度传感器,但是这些传感器也可以单独配置。例如,可以使用加速度传感器来构成角度传感器。另外,在上述实施方式中,已经说明了具备4个形状传感器131~134的示例,然而,传感器的数量并不限于此。
在上述实施方式中,已经对使用算式1和算式2计算可靠度的示例进行了说明,但是也可以使用其他算式。即,只要反映(a)传感器130的检测精度、(b)形状变化程度、和(c)经过时间中的至少一个的可靠度,就可以使用其他适当的数学算式。例如,可以只反映上述(a)的可靠度。另外,通过反映(b)和(c)的可靠度,就可以更准确地获得可靠度。
在上述实施方式中,当可靠度计算部233随着经过时间降低可靠度时,例如,可以根据以下函数降低可靠度,而并非乘以经过时间的倒数:(a)随着经过时间单调降低可靠度;(b)随着经过时间逐步降低可靠度。
作为本发明中的观察对象部位,可以例举呼吸器官等、消化器官等。呼吸器官等可以例举肺、支气管和耳鼻喉。消化器官等可以例举大肠、小肠、胃、食道、十二指肠、子宫和膀胱等。当观察对象具有复杂形状时,通过内窥镜插入部的3D图像显示来使用操作支持系统会更有效。特别地,大肠具有4个急峻的弯曲部,与胃等相比非常长,因此从业人员操作时需要高水平的技能。另外,当观察小肠时也会出现同样的问题,即不通过大肠就无法观察。更进一步地,支气管还具有许多分支结构,因此从业人员操作时需要高水平的技能。因此,当内窥镜用于大肠、小肠、支气管或膀胱时,本发明的效果,即能够准确地向从业人员提供操作支持,会更加明显。
在上述实施方式中,光源220可以设置在内窥镜100的前端。例如,LED等发光元件可以安装在内窥镜100的前端上。由此,不需要使用将光从处理器200引导到内窥镜100的前端的配置,从而减小了设备的尺寸。另外,可以降低内窥镜系统1000的耗电量。
在上述实施方式中,例如,CCD、CMOS等可以用作摄像装置120。优选地,使用可以获得高清晰度图像的摄像装置120。所谓高清晰度,例如为100万像素以上,更优选为200万像素,最好是800万像素以上。由此,可以通过高清晰度图像准确地执行诊断。另外,由于从业人员在监视器300上观看内窥镜图像的同时操作内窥镜100,因此通过观看高清晰度图像更容易操作内窥镜100的前端。
在上述实施方式中,将内窥镜100前端中插入观察对象的部位(插入部)可以具备被动弯曲部。被动弯曲部是被动弯曲的部位,而并非通过操作内窥镜100而主动弯曲。当内窥镜100的前端撞击肠壁并施加力时,此被动弯曲部变为自动。由此可知,例如,推动肠壁的力被转换为推动内窥镜100的前端向前的力。因此,当内窥镜100的前端与肠壁接触时,可以减少患者的疼痛。但是,当内窥镜具备被动弯曲部时,从业人员的操作不一定能够如实反映内窥镜100的前端部形状,并且操作复杂,所需的技能水平更高。因此,当内窥镜100具备被动弯曲部时,本发明的效果,即能够适当地检测插入部位的形状,会更加明显。
在上述实施方式中,可以采用硬度可变式的插入部作为内窥镜100的插入部。插入部由于硬度可变,因此可以具有硬度转换线圈、硬度转换线、设置在线的根端的牵引构件、以及用于变更牵引构件的长度方向位置的硬度变更操作部(例如,环)。当硬度转换线未被牵引构件牵引时,由于没有外力施加到硬度转换线圈,因此硬度转换线圈处于柔软状态。另一方面,当通过旋转硬度转换环来移动牵引构件时,压力逐渐施加到硬度转换线圈。由此,其逐渐变化以使得硬度相对于插入部的弯曲方向变高。当内窥镜采用硬度可变式时,在硬度变软时掌握插入部分的形状就显得非常重要。因此,用于能够正确地检测内窥镜插入部的形状的本发明的效果更加明显。
在上述实施方式中,已经将电子内窥镜作为示例进行说明,但是本发明也可以应用于使用图像引导纤维等的内窥镜。另外,在上述实施方式中,沿着内窥镜100的插入部设有多个线圈,例如,可以在探针状的器械中设有多个线圈,并且可以从钳子开口安装该器械。在这种情况下,设置在插入部的线圈可以直接连接到与处理器200不同的信号处理装置,而并不通过连接器部。由此,可以使估计内窥镜100形状的功能独立于处理器200之外。也就是说,可以分开配置用于处理由内窥镜100拍摄的图像的处理器200、与用于估计内窥镜100的形状的另一处理器。与此相同,对于监视器300来说,可以分别配置用于显示由内窥镜100拍摄的图像的监视器、与用于显示内窥镜100的形状的监视器。
在上述实施方式中,通过配置在患者体外的天线400产生磁场,通过配置在患者体内的线圈检测该磁场,但也可以通过线圈产生磁场,通过天线400检测磁场。
<本发明的总结>
本发明具有以下配置。
<配置1>
一种内窥镜形状显示装置,
是一种用于显示内窥镜形状的内窥镜形状显示装置,
其具备:
估计所述内窥镜形状的估计部;
计算由所述估计部估计的所述内窥镜形状的可靠度的可靠度计算部;以及
对表示由所述估计部估计的所述内窥镜形状的图像进行显示的显示部,
所述显示部结合由所述可靠度计算部计算的所述可靠度,以淡出的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
<配置2>
根据配置1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部基于所述传感器的检测精度来计算所述可靠度。
<配置3>
根据配置2所述的内窥镜形状显示装置,
所述可靠度计算部从所述传感器获取用于表示所述内窥镜位置的检测精度的位置精度信息,同时从所述传感器获取用于表示所述内窥镜朝向的检测精度的角度精度信息,
所述可靠度计算部使用所述位置精度信息和所述角度精度信息来计算所述可靠度。
<配置4>
根据配置3所述的内窥镜形状显示装置,
所述可靠度计算部计算所述内窥镜中的各部位的所述可靠度,
所述显示部在所述内窥镜图像中以淡出的方式对所述可靠度小于规定阈值的部位进行显示。
<配置5>
根据配置3所述的内窥镜形状显示装置,
所述显示部一并显示用于表示所述内窥镜位置的检测精度的位置精度图像、用于表示所述内窥镜朝向的检测精度的角度精度图像、以及所述内窥镜的形状。
<配置6>
根据配置3所述的内窥镜形状显示装置,
所述估计部使用由所述传感器检测的所述内窥镜位置和由所述传感器检测的所述内窥镜朝向来估计所述内窥镜的形状,
所述可靠度计算部使用由所述估计部计算的所述内窥镜形状来计算所述可靠度,
由所述估计部计算的所述内窥镜形状的变化率越快,所述可靠度计算部计算的可靠度越低。
<配置7>
根据配置1所述的内窥镜形状显示装置,
当所述可靠度计算部计算的所述可靠度小于规定阈值时,所述显示部开始所述淡出,
自所述显示部开始所述淡出起经过时间越长,所述可靠度计算部计算的所述可靠度越低,
随着所述可靠度降低,所述显示部以淡出的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
<配置8>
根据配置1所述的内窥镜形状显示装置,
所述可靠度计算部计算所述可靠度相对于时间的变化率,当所述变化率不小于规定阈值时,所述显示部对表示该主旨的图像进行显示。
<配置9>
根据配置1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部获取用于表示所述传感器是否发生故障的信息,
当所述传感器未发生故障且所述可靠度不小于规定阈值时,所述显示部不执行淡出;当所述传感器未发生故障且所述可靠度小于所述规定阈值时,淡出所述图像直到所述内窥镜形状部分保留。
<配置10>
根据配置1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部获取用于表示所述传感器是否发生故障的信息,
当所述传感器发生故障且所述可靠度不小于规定阈值时,所述显示部淡出所述图像直到所述内窥镜形状部分保留;当所述传感器发生故障且所述可靠度小于规定阈值时,淡出所述图像直到所述内窥镜形状中的至少一部分完全消失。
<配置11>
根据配置1所述的内窥镜形状显示装置,
所述显示部结合由所述可靠度计算部计算的所述可靠度,以淡入的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
<配置12>
一种内窥镜系统,
其具有:
根据配置1至11中任意一项所述的内窥镜形状显示装置、以及所述内窥镜。
<配置13>
根据配置12所述的内窥镜系统,
所述估计部,
具有:
设置在所述内窥镜内部或所述内窥镜外部中任意一侧的多个磁场产生元件;
在所述内窥镜内部或所述内窥镜外部中,设置在未设有所述多个磁场产生元件的另一侧、且用于检测由所述多个磁场产生元件产生的磁场的多个磁场检测元件;以及
基于由所述磁场检测元件检测的磁场,估计设置在所述内窥镜中的多个磁场产生元件或所述多个磁场检测元件的位置的位置估计部,
所述估计部基于由所述位置估计部估计的所述多个磁场产生元件或所述多个磁场检测元件的位置,来估计所述内窥镜的形状。
<配置14>
根据配置1所述的内窥镜形状显示装置,
所述可靠度计算部根据所述显示部开始所述淡出之后的经过时间单调减小的函数来计算所述可靠度。
<配置15>
根据配置1所述的内窥镜形状显示装置,所述可靠度计算部根据所述显示部开始所述淡出之后的经过时间至少部分性地阶梯状地减小的函数来计算所述可靠度。
<配置16>
根据配置1所述的内窥镜形状显示装置,
所述可靠度计算部根据第1算式计算所述可靠度,
当根据所述第1算式计算的所述可靠度小于规定阈值时,所述可靠度计算部根据不同于所述第1算式的第2算式来计算所述可靠度。
<配置17>
根据配置16所述的内窥镜形状显示装置,
当根据所述第2算式计算的所述可靠度不小于所述规定阈值时,所述可靠度计算部用于将计算所述可靠度的算式从所述第2算式返回到所述第1算式。
符号说明
100 内窥镜
200 处理器
210 插口
220 光源
230 CPU
231 拍摄图像显示部
232 形状估计部
233 可靠度计算部
234 形状显示部
300 监视器
400 天线
1000 内窥镜系统。

Claims (13)

1.一种内窥镜形状显示装置,
是一种用于显示内窥镜形状的内窥镜形状显示装置,
其具备:
估计所述内窥镜形状的估计部;
计算由所述估计部估计的所述内窥镜形状的可靠度的可靠度计算部;以及
对表示由所述估计部估计的所述内窥镜形状的图像进行显示的显示部,
所述显示部根据由所述可靠度计算部计算的所述可靠度,以淡出的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
2.根据权利要求1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部基于所述传感器的检测精度来计算所述可靠度。
3.根据权利要求2所述的内窥镜形状显示装置,
所述可靠度计算部从所述传感器获取用于表示所述内窥镜位置的检测精度的位置精度信息,同时从所述传感器获取用于表示所述内窥镜朝向的检测精度的角度精度信息,
所述可靠度计算部使用所述位置精度信息和所述角度精度信息来计算所述可靠度。
4.根据权利要求3所述的内窥镜形状显示装置,
所述可靠度计算部计算所述内窥镜中的各部位的所述可靠度,
所述显示部在所述内窥镜的图像中以淡出的方式对所述可靠度小于规定阈值的部位进行显示。
5.根据权利要求3所述的内窥镜形状显示装置,
所述显示部一并显示用于表示所述内窥镜位置的检测精度的位置精度图像、用于表示所述内窥镜朝向的检测精度的角度精度图像、以及所述内窥镜的形状。
6.根据权利要求3所述的内窥镜形状显示装置,
所述估计部使用由所述传感器检测的所述内窥镜位置和由所述传感器检测的所述内窥镜朝向来估计所述内窥镜的形状,
所述可靠度计算部使用由所述估计部计算的所述内窥镜形状来计算所述可靠度,
由所述估计部计算的所述内窥镜形状的变化率越快,所述可靠度计算部计算的所述可靠度越低。
7.根据权利要求1所述的内窥镜形状显示装置,
当所述可靠度计算部计算的所述可靠度小于规定阈值时,所述显示部开始淡出,
自所述显示部开始淡出起经过时间越长,所述可靠度计算部计算的所述可靠度越低,
随着所述可靠度降低,所述显示部以淡出的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
8.根据权利要求1所述的内窥镜形状显示装置,
所述可靠度计算部计算所述可靠度相对于时间的变化率,当所述变化率不小于规定阈值时,所述显示部对表示所述变化率不小于规定阈值的图像进行显示。
9.根据权利要求1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部获取用于表示所述传感器是否发生故障的信息,
当所述传感器未发生故障且所述可靠度不小于规定阈值时,所述显示部不执行所述淡出;当所述传感器未发生故障且所述可靠度小于所述规定阈值时,淡出所述图像直到所述内窥镜形状部分保留。
10.根据权利要求1所述的内窥镜形状显示装置,
所述内窥镜具备检测所述内窥镜位置和所述内窥镜朝向的传感器,
所述可靠度计算部获取用于表示所述传感器是否发生故障的信息,
当所述传感器发生故障且所述可靠度不小于规定阈值时,所述显示部淡出所述图像直到所述内窥镜形状部分保留;当所述传感器发生故障且所述可靠度小于规定阈值时,淡出所述图像直到所述内窥镜形状中的至少一部分完全消失。
11.根据权利要求1所述的内窥镜形状显示装置,
所述显示部结合由所述可靠度计算部计算的所述可靠度,以淡入的方式对表示所述内窥镜形状的图像中的至少一部分进行显示。
12.一种内窥镜系统,
其具有:
根据权利要求1至11中任意一项所述的内窥镜形状显示装置、以及所述内窥镜。
13.根据权利要求12所述的内窥镜系统,
所述估计部具有:
设置在所述内窥镜内部或所述内窥镜外部中任意一侧的多个磁场产生元件;
在所述内窥镜内部或所述内窥镜外部中,设置在未设有所述多个磁场产生元件的另一侧、且用于检测由所述多个磁场产生元件产生的磁场的多个磁场检测元件;以及
基于由所述磁场检测元件检测的磁场,估计设置在所述内窥镜中的多个磁场产生元件或所述多个磁场检测元件的位置的位置估计部,
所述估计部基于由所述位置估计部估计的所述多个磁场产生元件或所述多个磁场检测元件的位置,来估计所述内窥镜的形状。
CN201880030875.2A 2017-08-04 2018-08-03 内窥镜形状显示装置及内窥镜系统 Active CN110913748B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017151729A JP6967906B2 (ja) 2017-08-04 2017-08-04 内視鏡形状表示装置、及び内視鏡システム
JP2017-151729 2017-08-04
PCT/JP2018/029160 WO2019027031A1 (ja) 2017-08-04 2018-08-03 内視鏡形状表示装置、及び内視鏡システム

Publications (2)

Publication Number Publication Date
CN110913748A CN110913748A (zh) 2020-03-24
CN110913748B true CN110913748B (zh) 2022-03-18

Family

ID=65233324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880030875.2A Active CN110913748B (zh) 2017-08-04 2018-08-03 内窥镜形状显示装置及内窥镜系统

Country Status (4)

Country Link
EP (1) EP3607870B1 (zh)
JP (1) JP6967906B2 (zh)
CN (1) CN110913748B (zh)
WO (1) WO2019027031A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169361A1 (en) * 2001-05-07 2002-11-14 Olympus Optical Co., Ltd. Endoscope shape detector
CN1802119A (zh) * 2003-08-22 2006-07-12 奥林巴斯株式会社 内窥镜形状检测装置
CN101795615A (zh) * 2007-09-07 2010-08-04 奥林巴斯医疗株式会社 位置检测装置、医疗装置引导系统、位置检测方法以及医疗装置引导方法
CN106028899A (zh) * 2014-01-21 2016-10-12 奥林巴斯株式会社 内窥镜装置
WO2017081821A1 (ja) * 2015-11-13 2017-05-18 オリンパス株式会社 内視鏡の状態推定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506770B2 (ja) * 1994-04-21 2004-03-15 オリンパス株式会社 内視鏡位置検出装置
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
JP3365981B2 (ja) * 1999-08-05 2003-01-14 オリンパス光学工業株式会社 内視鏡形状検出装置
JP3722762B2 (ja) * 2002-02-22 2005-11-30 オリンパス株式会社 内視鏡形状検出装置
JP5208495B2 (ja) * 2007-12-27 2013-06-12 オリンパスメディカルシステムズ株式会社 医療用システム
JP5993237B2 (ja) * 2012-07-25 2016-09-14 オリンパス株式会社 蛍光観察装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169361A1 (en) * 2001-05-07 2002-11-14 Olympus Optical Co., Ltd. Endoscope shape detector
CN1802119A (zh) * 2003-08-22 2006-07-12 奥林巴斯株式会社 内窥镜形状检测装置
CN101795615A (zh) * 2007-09-07 2010-08-04 奥林巴斯医疗株式会社 位置检测装置、医疗装置引导系统、位置检测方法以及医疗装置引导方法
CN106028899A (zh) * 2014-01-21 2016-10-12 奥林巴斯株式会社 内窥镜装置
WO2017081821A1 (ja) * 2015-11-13 2017-05-18 オリンパス株式会社 内視鏡の状態推定方法

Also Published As

Publication number Publication date
EP3607870B1 (en) 2021-02-24
EP3607870A4 (en) 2020-04-15
CN110913748A (zh) 2020-03-24
JP6967906B2 (ja) 2021-11-17
JP2019030385A (ja) 2019-02-28
WO2019027031A1 (ja) 2019-02-07
EP3607870A1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
EP1726250B1 (en) Double-balloon endoscope system
JP6465452B2 (ja) 内視鏡挿入形状観測装置
JP4153963B2 (ja) 内視鏡挿入形状検出装置
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
CN110769737B (zh) 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
JP6957645B2 (ja) 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法
WO2020194472A1 (ja) 移動支援システム、移動支援方法、および移動支援プログラム
JP7007478B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
CN110913748B (zh) 内窥镜形状显示装置及内窥镜系统
US11812925B2 (en) Movement assistance system and movement assistance method for controlling output of position estimation result
JP6476293B2 (ja) 可撓管挿入装置
CN110913747B (zh) 内窥镜形状显示装置、内窥镜系统
CN110769731A (zh) 内窥镜系统、内窥镜系统的工作方法
JP6616838B2 (ja) 内視鏡形状把握システム
US12042126B2 (en) Monitoring system and evaluation method for insertion operation of endoscope
JP6400221B2 (ja) 内視鏡形状把握システム
JP6464110B2 (ja) 内視鏡形状把握システム
WO2016139752A1 (ja) 可撓管挿入装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant