CN107249421B - 预先形状推测装置、插拔作业系统、插拔作业辅助系统 - Google Patents

预先形状推测装置、插拔作业系统、插拔作业辅助系统 Download PDF

Info

Publication number
CN107249421B
CN107249421B CN201580072569.1A CN201580072569A CN107249421B CN 107249421 B CN107249421 B CN 107249421B CN 201580072569 A CN201580072569 A CN 201580072569A CN 107249421 B CN107249421 B CN 107249421B
Authority
CN
China
Prior art keywords
shape
insertion section
mentioned
information
estimating unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580072569.1A
Other languages
English (en)
Other versions
CN107249421A (zh
Inventor
伊藤毅
羽根润
藤田浩正
东条良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107249421A publication Critical patent/CN107249421A/zh
Application granted granted Critical
Publication of CN107249421B publication Critical patent/CN107249421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00013Operational features of endoscopes characterised by signal transmission using optical means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • A61B1/00022Operational features of endoscopes provided with data storages removable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes

Abstract

预先形状推测装置包括插入部(7)、形状传感器(8)和预先插入部形状推测部(33)。上述插入部(7)具有挠性,被向观察对象物的内部插入。上述形状传感器(8)检测上述插入部的弯曲状态,输出检测信号。上述预先插入部形状推测部(33)基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出。

Description

预先形状推测装置、插拔作业系统、插拔作业辅助系统
技术领域
本发明涉及预先推测在观察对象物的内部插入的插入部的形状的预先形状推测装置、插入/拔除作业系统、插入/拔除作业辅助系统、预先形状推测方法及预先形状推测程序。
背景技术
有将插入部向较细的管孔内插入而向观察对象物的内部插入、用来在该观察对象物内部进行作业的装置。例如,在内窥镜中,通过将插入部向观察对象物的内部插入而进行该观察对象物的内表面的观察作业。在这样的内窥镜等装置中,无法从外部直接观看管孔内的插入部的形状等。
即,在内窥镜中,从观察对象物的外部不知道观察对象物的内部的插入部的位置及形状等状态。因此,对于插入在管孔内部的插入部的状态,作业者需要一边想象在当前时间点插入部处于管孔内部中的何处、正在对何处进行观察等,一边进行观察作业。由此,作业者需要一边想象观察对象物内部的插入部的状态一边凭感觉进行对插入部的操作。
因为这样的情况,在管孔的形状复杂的情况下,或者在观察对象物如生物体那样柔软地变形的情况下,向观察对象物内部的插入本身是困难的。在管孔的形状与想象不同的位置或状态的情况下,作为最差的情形,有可能给观察对象物带来影响。因此,作业者需要用来进行作业的长时间的训练、或一边进行实际作业一边掌握感觉及经验等,使作业的技能提高。换言之,如果不是高度训练过的技能者或专家,则有不能进行插入部向观察对象物内部的插入、观察对象物内部的作业的情况。
因为这样的实际情况,研究了用来将管孔内的插入部的状态向作业者通知的技术。例如,专利文献1公开了用来检测并显示内窥镜的插入部的形状的内窥镜插入形状探头。该内窥镜插入形状检测探头插入到内窥镜装置所设置的钳子通道中而进行内窥镜插入部的形状检测。根据该内窥镜插入形状检测探头,将由光供给用纤维供给的光向反射镜照射,将由该反射镜反射了的光用多个曲率检测用光纤传送。在这些曲率检测用光纤,分别各设有一个对应于曲率而光损失变化的光损失部。由此,由各曲率检测用光纤导光的光经由光损失部到达模组,所以通过检测被导光到模组的光的光量变化,能够检测设有光损失部的位置处的曲率检测用光纤的曲率。
此外,专利文献1公开了利用使设置光损失部的位置不同的多个曲率检测用纤维、检测按每个曲率检测用纤维而分别不同的光损失部的各位置处的各曲率。由此,能够根据设置各光损失部的点处的弯曲角度和相邻的点的距离来检测内窥镜插入部的形状。
现有技术文献
专利文献
专利文献1:日本特开2007-044412号公报
发明内容
发明要解决的课题
根据专利文献1,在插入形状检测探头检测到形状的时间点,即能够检测过去的内窥镜插入部的形状,但无法推测之后内窥镜插入部成为怎样的形状。即,在向具有复杂的形状的观察对象物的内部插入内窥镜插入部的过程中,虽然能够检测“过去的内窥镜插入部的形状”,但无法获得之后内窥镜插入部的形状成为怎样、以及当原样继续插入部的操作时“内窥镜插入部的形状成为怎样的形状”的信息。
此外,在观察对象物是生物体的情况下,虽然能够检测“过去内窥镜插入部的形状在生物体内为怎样的形状”,但无法获得之后内窥镜插入部的形状成为怎样、以及当原样继续插入部的操作时“内窥镜插入部的形状成为怎样的形状”的信息。
本发明的目的在于,提供预先推测比由形状传感器检测出的定时靠后的定时的插入部的形状、并作为预先推测形状信息而输出的预先形状推测装置、插入/拔除作业系统、插入/拔除作业辅助系统、预先形状推测方法及预先形状推测程序。
用来解决课题的手段
本发明的预先形状推测装置,具备:具有挠性的插入部,被向观察对象物的内部插入;形状传感器,检测上述插入部的弯曲状态,输出检测信号;预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出。
本发明的插入拔除作业系统,具备:具有挠性的插入部,被向观察对象物的内部插入;形状传感器,检测上述插入部的弯曲状态,输出检测信号;操作部,用来使上述插入部弯曲;预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出。
本发明的插入拔除作业辅助系统,具备:具有挠性的插入部,被向观察对象物的内部插入;形状传感器,检测上述插入部的弯曲状态,输出检测信号;操作部,用来使上述插入部弯曲;预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出;作业辅助部,报告从上述预先插入部形状推测部输出的上述预先推测形状信息,辅助上述插入部向上述观察对象物的内部的插入拔除。
本发明的预先形状推测方法,由形状传感器检测向观察对象物的内部插入的具有挠性的插入部的弯曲状态并输出检测信号;基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出。
本发明的预先形状推测程序,在计算机中实现以下功能:输入功能,输入从检测向观察对象物的内部插入的具有挠性的插入部的弯曲状态的形状传感器输出的检测信号;预先插入部形状推测功能,基于根据由上述输入功能输入的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出。
发明效果
本发明能够提供预先推测比由形状传感器检测出的定时靠后的定时的插入部的形状、并作为预先推测形状信息而输出的事前形状推测装置、插入/拔除作业系统、插入/拔除作业辅助系统、预先形状推测方法及预先形状推测程序。
附图说明
图1是表示作为本发明的插入/拔除作业系统的内窥镜系统的第1实施方式的结构图。
图2是表示插入部的前端部的结构图。
图3A是表示将光纤传感器向设有弯曲形状检测部的一侧进行了弯曲时的光传递量的图。
图3B是表示不将光纤传感器弯曲时的光传递量的图。
图3C是表示将光纤传感器向设有弯曲形状检测部的一侧的相反侧进行了弯曲时的光传递量的图。
图4是表示辅助信息单元的结构图。
图5是表示由检测时插入部形状计算部计算出的与第j和第k的各定时信号对应的第j和第k的各检测时插入部形状的图。
图6是表示对形状变化区域的解析的例子的图。
图7是表示将图6所示的形状变化区域中的第j操作部侧中心轴Zja与第k操作部侧中心轴Zka重叠时的形状变化区域KE1的图。
图8是表示第j和第k的各定时信号时的内窥镜插入部的形状变化的图。
图9是表示随着时间经过的定时信号T的输出示意的图。
图10是表示对第j~h的定时信号T的发生时的形状变化区域KE1的预先推测形状信息KE1h进行推测的过程的图。
图11是表示使用插入部形状时间变化信息KA推测的第h定时信号的发生时间点的插入部7的整体的预先插入部形状信息(时间变化)Jh的图。
图12是表示第j、第k和第h的各定时信号的发生时间点的施加了作业者的操作时的内窥镜插入部的各形状的图。
图13是表示本发明的第1实施方式的第1变形例的由插入部形状时间变化导出部所取得的第j和第k的各定时信号的发生时间点的内窥镜插入部的各形状变化区域的形状的图。
图14是表示第j和第k的定时信号的各发生时间点的内窥镜插入部的形状变化区域的连接方向的变化的图。
图15是表示与第j和第k的各定时信号对应的第j和第k的各检测时插入部形状信息的图。
图16是用来说明插入部的插入部形状非类似区域NLR、插入部行进区域7sr、和插入部后退区域这3个区域的图。
图17A是表示第j检测时插入部形状Fj的图。
图17B是表示第k检测时插入部形状Fk的图。
图17C是表示得到观察对象物的内部空间的形状等的大体信息的情况下的第h检测时插入部形状Fh1的图。
图17D是表示没有观察对象物的内部空间的形状等的大体信息的情况下的第h检测时插入部形状Fh2的图。
图18是表示本发明的第2实施方式的第1变形例的第j和第k检测时插入部形状Fj、Fk的第1至第3特征部的例子的图。
图19是表示本发明的第3实施方式的辅助信息单元的结构图。
图20是表示与第j、k形状信息Fj、Fk对应的观察对象物的内部空间的内表面轮廓的图。
图21是用来说明对象物内表面轮廓信息推测部的动作的图。
图22是用来说明对象物内表面轮廓信息推测部的动作的图。
图23是表示本发明的第3实施方式的第1变形例的辅助信息单元的结构图。
图24是用来说明观察对象物负荷推测部的动作的图。
图25是表示本发明的变形例的一例的图。
具体实施方式
[第1实施方式]
以下,参照附图对本发明的第1实施方式进行说明。
图1表示作为插入/拔除作业系统的内窥镜系统1的结构图。本系统1通过作业者的作业,主要向观察对象物2的内部空间(空洞)3的内部插入内窥镜插入部(以下称作插入部)7,为了对观察对象物2的内部空间3的内表面进行观察而使用。
本系统1中,作为各构成要素,包括内窥镜主体部4、内窥镜观测器部5和显示部6。内窥镜观测器部5包括插入部7。插入部7搭载有形状传感器8。
对本系统1的各构成要素进行说明。
[内窥镜观测器部]
内窥镜观测器部5包括插入部7、操作部9和主体侧线缆10。内窥镜观测器部5由作业者把持而被操作。通过该操作,内窥镜观测器部5的插入部7被移动到能够从观察对象物2的入口部即插入开口2a插入的位置,进而被插入观察对象物2的内部空间3。
主体侧线缆10用于将内窥镜观测器部5与内窥镜主体部4之间连接,能够相对于内窥镜主体部4拆装。在内窥镜观测器部5与内窥镜主体部4之间连接有1条或多条主体侧线缆10。
对插入部7具体地说明。插入部7由前端部7a和该前端部7a以外的部分形成。前端部7a包括形成为硬质的区域(硬质部)。前端部7a以外的区域形成为具有挠性。前端部7a的硬质部形成在预先设定的区域(小区域)。插入部7的具有挠性的区域中的前端部7a侧的一部分区域形成在可主动地弯曲的主动弯曲部7b。该主动弯曲部7b能够通过由作业者操作设于操作部9的操作手柄11而在上下方向及左右方向上主动地弯曲。在其他的插入部7的区域,形成有能够被动地弯曲的被动弯曲部7c。被动弯曲部7c仿照于观察对象物2的形状而被动地弯曲。该被动弯曲部7c根据作业者的把持方式、或观察对象物2的插入开口2a与操作部9的位置关系等而被动地弯曲。
操作部9包括操作手柄11。操作手柄11被作业者操作,使插入部7的主动弯曲部7b在上下方向或左右方向上弯曲。操作部9例如通过被作业者的一只手把持、并在该状态下将操作手柄11操作,从而能够使插入部7的主动弯曲部7b在上下方向或左右方向上弯曲。操作部9受到作业者对操作手柄11的操作而能够改变插入部7的主动弯曲部7b的弯曲量。
在插入部7与操作手柄11之间,设有多对操作线。这些操作线用于向上下方向的弯曲和向左右方向的弯曲。这些操作线例如形成为环状。当操作手柄11旋转,则操作线在插入部7与操作手柄11之间移动,操作手柄11的旋转被向插入部7传递。由此,插入部7的主动弯曲部7b对应于操作手柄11的操作量而在上下方向或左右方向上弯曲。
图2表示本系统1的插入部7的前端部7a的结构图。在插入部7的前端部7a,设有包括摄像元件7d、物镜10、钳子通道12和照明部13的与该内窥镜的用途对应的各种各样的部件。物镜10与摄像元件7d光学连接。钳子通道12是用来在观察对象物2的内部空间3内插入用来进行各种各样的作业及处理的钳子等的开口。照明部13将从内窥镜主体部4的光源部20射出的光朝向例如观察对象物2的内部空间3射出。
在本系统1中,如果从插入部7的照明部13射出的光被照射到观察对象物2的内部空间3,则从该观察对象物2的内部空间3进行了反射等的光向物镜10入射。在插入部7的前端部7a设有摄像元件7d,该摄像元件7d将入射到物镜10中的光摄像而输出摄像信号。该摄像信号经过主体侧线缆10被向视频处理器21发送。该视频处理器21将从摄像元件7d输出的摄像信号进行图像处理,取得观察对象物2的内表面的观察图像。该观察图像被显示部6显示。
插入部7包括通过操作手柄11的操作而弯曲的主动弯曲部7b、和被动地弯曲的被动弯曲部7c。被动弯曲部7c通过被推抵在观察对象物2的内部空间3的壁面,而以仿照于该内部空间3的壁面的形状的方式弯曲。由此,插入部7当被插入到观察对象物2的内部空间3,则一边被推抵在该观察对象物2的内部空间3的壁面上一边在该内部空间3中行进。观察对象物2的内部空间3成为根据观察对象物2的种类等而包含各种各样的形状等的导入路径的结构。这样,插入部7具有能够在该观察对象物2的内部空间3的内部行进的构造。
在插入部7的内部,设有检测该插入部7的整体的形状的形状传感器8。形状传感器8例如是光纤传感器(以下,设为光纤传感器8进行说明)。光纤传感器8设有多个检测点,以能够进行插入部7的整体的形状检测。
这些检测点例如如图3A至图3C所示,由设置于形成光纤传感器8的光纤8a的光吸收体(以下,称作弯曲形状检测部)8b构成。这些检测点遍及插入部7的大致全长,在光纤传感器8的较长方向上分散而配置。关于光纤传感器8的结构及原理在后面叙述。
插入部7和操作部9被机械连接。操作部9和主体侧线缆10也被机械连接。
[内窥镜主体部]
内窥镜主体部4如图1所示,包括光源部20、视频处理器21、辅助信息单元22和主体存储器40。光源部20包括氙、卤素等的灯类,或LED、激光器等半导体光源。此外,在主体侧线缆10、操作部9和插入部7的内部,插通设置有光导等能够将光导光的部件。由此,当从光源部20射出光,则该光经由光导等从设在插入部7的前端部7a的照明部13作为照明光射出。该照明光向观察对象物2的内部入射,将该观察对象物2的内部照明。
视频处理器21将从搭载在插入部7的前端部7a上的摄像元件7d输出的摄像信号进行图像处理,取得观察对象物2的内表面的观察图像。从摄像元件7d输出的摄像信号经由设在插入部7、操作部9和主体侧线缆10的内部的信号线,被向视频处理器21传送。视频处理器21将所取得的观察图像变换为能够在显示部6上显示的观察图像信号而向显示部6发送。
在主体存储器40中,预先存储有关于观察对象物2的信息、和将观察对象物2进行观察时的观察作业的信息。此外,在主体存储器40中,存储从辅助信息单元22输出的预先推测形状信息M。
图4表示辅助信息单元22的结构图。辅助信息单元22包括形状传感器单元23的一部分。形状传感器单元23包括光纤传感器8、纤维传感器用光源24和光检测器25。另外,纤维传感器用光源24和光检测器25包含在辅助信息单元22中,光纤传感器8不包含在辅助信息单元22中。形状传感器单元23将表示与插入部7的弯曲形状对应的光信息的检测信号D输出。形状传感器单元23的结构及其动作的详细情况后述。另外,与插入部7的弯曲形状对应的光信息,表示与配设在光纤传感器8内的光纤的弯曲角相应的光量。
辅助信息单元22作为辅助插入部7向观察对象物2的内部的插入/拔除的作业辅助部发挥功能。即,辅助信息单元22接收从形状传感器单元23输出的检测信号D,将该检测信号D进行处理,输出用来辅助作业者的作业及操作的辅助信息、即预先推测了插入部7的形状的预先推测形状信息M。该辅助信息单元22包括检测时插入部形状计算部(以下称作形状计算部)30、形状传感器控制部31、插入部形状时间变化导出部(以下称作变化导出部)32、预先插入部形状推测部(以下称作预先形状推测部)33、作业者操作信息推测部(以下称作操作推测部)34和信息存储部35。
另外,作为形状传感器单元23的一部分的纤维传感器用光源24和光检测器25包含在辅助信息单元22内。该形状传感器单元23包括用来处理光检测器25的输出信号并输出检测信号D的未图示的信号处理电路。
形状计算部30将从形状传感器单元23输出的检测信号D进行运算处理,计算插入部7弯曲时的弯曲的方向和大小,将该计算的结果作为检测时插入部形状信息(以下称作插入部形状信息)F输出。这里,插入部7由于形成为前端部7a以外具有挠性,所以弯曲的状态较多。此外,观察对象物2的内部空间3的形状也大多复杂地弯曲,所以插入部7几乎没有以直线状配置的状态。因而,形状计算部30作为不是单单计算插入部7的形状、而是计算插入部7弯曲时的弯曲的方向和大小的结构加以记载。
形状计算部30包括弯曲信息存储器30a。在该弯曲信息存储器30a中,保存有表示插入部7的弯曲角与从形状传感器单元23输出的检测信号D所表示的光信息的变化之间的关系的信息。此外,在弯曲信息存储器30a中,保存有光纤传感器8的多个检测点的数量、这些检测点的配置位置、和由这些检测点检测的弯曲的方向(X方向、Y方向)的信息。因而,形状计算部30基于从形状传感器单元23输出的检测信号D和保存在弯曲信息存储器30a中的该各信息,计算插入部7弯曲时的弯曲的方向和大小,将该计算的结果作为插入部形状信息F输出。
形状传感器控制部31输出用来获取形状传感器单元23检测插入部7的弯曲形状的定时的定时信号T。该定时信号T例如是按一定周期而成为高电平的矩形波。这里,设n为2以上的自然数,设j、k为分别相互不同的n以下的自然数,设j、k的大小关系为j<k,则形状传感器控制部31输出在第1至第n定时成为高电平的矩形波的定时信号T。在该第1至第n定时信号T中,包含第j定时信号T、第k定时信号T。
变化导出部32接收从形状传感器控制部31输出的定时信号T,在第j定时信号T的发生时接收从形状计算部30输出的插入部形状信息F(以下称作第j插入部形状信息Fj),在第k定时信号T的发生时接收从形状计算部30输出的插入部形状信息F(以下称作第k插入部形状信息Fk)。
变化导出部32将从形状计算部30接收到的第j插入部形状信息Fj与第k插入部形状信息Fk进行比较。另外,假设第j插入部形状信息Fj为了方便也表示第j检测时插入部形状。同样,假设第k插入部形状信息Fk为了方便也表示第k检测时插入部形状。
变化导出部32基于该比较的结果,在从第j定时信号T的发生时到第k定时信号T的发生时的期间中,解析插入部7的形状变化,将该解析的结果作为插入部形状时间变化信息(以下称作形状变化信息)KA输出。关于该形状变化信息KA的详细情况后述。
预先形状推测部33接收从形状计算部30输出的插入部形状信息F、和从变化导出部32输出的形状变化信息KA,基于这些插入部形状信息F和形状变化信息KA,预先推测从当前时间点的定时到下个定时、例如从当前时间点的第j定时到接着的第k定时的插入部7的弯曲形状。预先形状推测部33将预先推测出的插入部7的弯曲形状作为预先推测形状信息M输出。
在想要预先推测插入部7的形状的情况下,有处于想要考虑由作业者进行的插入部7的插入操作的状况下的情况。在这样的状况下,预先形状推测部33将从操作推测部34输出的作业者操作信息L,与上述插入部形状信息F和上述形状变化信息KA一起接收。预先形状推测部33基于这些插入部形状信息F、形状变化信息KA和作业者操作信息L的组合的信息,预先推测插入部7的形状,作为预先推测形状信息M输出。
操作推测部34接收从变化导出部32输出的形状变化信息KA,基于该形状变化信息KA推测作业者在从第j定时信号T的发生时到第k定时信号T的发生时的期间中进行的作业者的操作,将该推测出的作业者的操作作为作业者操作信息L输出。关于该作业者操作信息L在后面叙述。操作推测部34包括存储手柄操作信息的操作信息存储器34a,手柄操作信息表示操作了操作手柄11时的插入部7的形状变化的位置、弯曲形状等。
在信息存储部35中,与定时信号T建立联系而存储有从形状传感器单元23输出的检测信号D、和在辅助信息单元22内被传送的各种信息例如插入部形状信息F、形状变化信息KA、作业者操作信息L和预先推测形状信息M。
在信息存储部35中,存储有设于光纤传感器8的多个检测点即光吸收体8a的各位置信息、和表示与插入部7的弯曲角和光纤传感器8的弯曲角对应的光量的检测信号D的对应信息。
信息存储部35能够在辅助信息单元22内的形状计算部30、形状传感器控制部31、变化导出部32、预先形状推测部33和操作推测部34之间经由未图示的路径进行信息的交换。保存在该信息存储部35中的信息能够由作业者适当地读出。信息存储部35、各主体存储器40、弯曲信息存储器30a和操作信息存储器34a还能够将同一存储器器件的存储区域分别建立对应地使用。此外,关于共通的信息,能够事先存储到主体存储器40、弯曲信息存储器30a、操作信息存储器34a或信息存储部35中的某一处,使得能够经由未图示的路径从主体存储器40、弯曲信息存储器30a、操作信息存储器34a或信息存储部35读出。
本实施方式中,表示了内窥镜主体部4包含光源部20、视频处理器21、辅助信息单元22和主体部存储器40这4个单元的例子,但并不限于此。内窥镜主体部4例如也可以具备打印机。内窥镜主体部4也可以具备在各种各样的处理及治疗中需要的医疗设备,也可以进一步具备能够连接到内窥镜系统1的所有设备。
光源部20、视频处理器21和辅助信息单元22在内窥镜主体部4的内部分别单独地发挥功能,但并不限于此。也可以使光源部20、视频处理器21和辅助信息单元22在内窥镜主体部4的内部作为1个处理单元发挥功能。光源部20和视频处理器21的一部分功能也可以装入到辅助信息单元22内。进而,内窥镜主体部4还能够与光源部20、视频处理器21、辅助信息单元22这3个单元以外的单元一体化。内窥镜主体部4可以与其他的单元组合等,能够考虑用户的方便性及设计的容易度、成本等各种各样的事项而自由地组合。
辅助信息单元22能够将形状计算部30、形状传感器控制部31、变化导出部32、预先形状推测部33和操作推测部34的各功能汇集为1个处理单元而构成。
相对于此,辅助信息单元22还能够将形状计算部30、形状传感器控制部31、变化导出部32、预先形状推测部33和操作推测部34的各功能分别构成为独立的单元。
辅助信息单元22能够与其他的单元组合等,能够考虑用户的方便性及设计的容易度、成本等各种各样的事项而自由地组合。
[显示部]
显示部6能够显示通过本系统1观察的观察对象物2的内部空间3、预先存储在内窥镜主体部4的主体存储器40中的关于观察对象物2的信息、对观察对象物2进行观察时的观察作业的信息、和从辅助信息单元22输出的预先推测形状信息M。显示部6例如包括液晶、阴极射线管、LED或等离子构成的监测器用的显示器。显示部6在图1中为了方便而是1个,但并不限于此,也可以并列配置两个以上,或将多台配置在分别不同的地方。
显示部6并不仅仅限于在监测器用的显示器上显示图像及字符信息的器件。这里的显示部6还包括由声音或警报音等带来的用来以听觉识别的输出、由振动等带来的用来以触觉识别的输出等,将用来对作业者报告信息的由各种各样的信息传递方法实现的输出器件统称为显示部。
[形状传感器8]
在光纤传感器(形状传感器)8,如图3A至图3C所示,在长尺寸的光纤8a的侧面的一部分设有弯曲形状检测部8b。在本实施方式中使用的光纤传感器8利用了被弯曲形状检测部8b吸收的光量对应于光纤8a的弯曲角而增减的现象。由此,光纤传感器8中,例如当随着光纤8a的弯曲角而被弯曲形状检测部8b吸收的光量变大,则透过到光纤8a内的光量减少。因而,光纤传感器8射出与光纤8a的弯曲角对应的光量的光信号。
光纤传感器8如上述那样例如由光纤8a构成,所以当插入部7弯曲,则对应于该弯曲而光纤8a弯曲,随之,在光纤8a内传递的光的一部分穿过弯曲形状检测部8b向外部漏出,或被弯曲形状检测部8b吸收等,所以在光纤传感器8中通过的光量减少。弯曲形状检测部8b的结构为,将光纤8a的包层的一部分去除,在去除了该包层的部分涂敷有光吸收部件或色素等。即,弯曲形状检测部8b设在光纤8a的一侧面,对应于光纤8a的弯曲而使传递的光的一部分减少。即,弯曲形状检测部8b对应于光纤8a的弯曲而使光纤8a的光学特性例如光传递量变化。
图3A表示将光纤8a向设有弯曲形状检测部8b的一侧弯曲时的光传递量,图3B表示不将光纤8a弯曲时的光传递量,图3C是表示将光纤8a向设有弯曲形状检测部8b的一侧的相反侧弯曲时的光传递量的概念图。如这些图所示,将光纤8a向设有弯曲形状检测部8b的一侧弯曲时的光传递量最多,以不将光纤8a弯曲时的光传递量、将光纤8a向设有弯曲形状检测部8b的一侧的相反侧弯曲时的光传递量的顺序而光传递量依次减少。
光纤传感器8通过设置1个弯曲形状检测部8b而成为弯曲传感器。光纤传感器8通过在插入部7的较长方向及周方向上设置多个弯曲形状检测部8b而能够检测插入部7的整体的三维形状。
光纤传感器8也可以具备对弯曲形状检测部8b添加色素而将光按波长进行分离等的光学性机构。由此,光纤传感器8能够对一根光纤设置多个弯曲形状检测部8b。
如果将设有弯曲形状检测部8b的多个光纤集束,则能够实现以多个点检测弯曲角。如果增加对每1根光纤设置的弯曲形状检测部8b的数量,则能够减少光纤8a的根数。
如果将多个光纤8a集束,则能够提高每个光纤8a的弯曲形状检测部8b对于光纤8a的弯曲角的检测的独立性。由此,每个弯曲形状检测部8b的检测精度提高,能够提高抗噪性。
在插入部7,以按规定的间隔、例如每10cm的间隔设置多个弯曲形状检测部8b的方式搭载有光纤传感器8。如果以这样的间隔设置多个弯曲形状检测部8b,则能够高精度地检测插入部7的整体的弯曲形状。当使各弯曲形状检测部8b的间隔例如比10cm长,则能够减少弯曲形状检测部8b的个数而降低成本,并能够简化检测弯曲形状的系统结构。
另外,插入部7例如能够由作业员向任意的方向弯曲。为了三维地检测插入部7的弯曲形状,例如只要在插入部7的大致同一部位的不同周向上设置两个以上的弯曲形状检测部8b就可以。
形状传感器单元23包含检测被光纤传感器8导光的光的光量变化的功能,包括纤维传感器用光源24和光检测器25。光纤传感器8设于插入部7。纤维传感器用光源24和光检测器25设在辅助信息单元22内。
纤维传感器用光源24射出检测光。从纤维传感器用光源24射出的检测光向光纤传感器8入射,被该光纤传感器8导光而向光检测器25入射。此时,检测光经过设于光纤传感器8的弯曲形状检测部8b。光检测器25检测入射的光,将该检测出的光的光量利用未图示的信号处理电路变换为检测信号D并输出。该检测信号D被向形状计算部30传送。另外,有具备对弯曲形状检测部8b添加色素而将光按波长进行分离等的光学性机构的光纤传感器8。在使用该光纤传感器8的情况下,光检测器25将入射的光按波长进行分离并检测,将该检测出的光的分光光量用未图示的信号处理电路变换为检测信号D并输出。
[本系统的动作]
接着,对如上述那样构成的本系统1的动作进行说明。另外,关于现有的内窥镜系统具有的基本动作省略其说明。
通过作业者向本系统1的电源投入,向形状传感器单元23及辅助信息单元22也投入电源。通过电源投入,形状传感器单元23能够进行插入部7的弯曲形状的检测。由此,形状传感器单元23将表示插入部7的形状已能够检测的可检测信号(Ready信号)向形状传感器控制部31发送。
形状传感器控制部31当通过接收可检测信号而识别出形状传感器单元23是能够检测的状态,则将第1至第n定时信号T依次输出。该第1至第n定时信号T,将最初的高电平信号设为第1定时信号,将接着的高电平信号设为第2定时信号,以下同样,设为第j定时信号,第k定时信号,…,第n(=自然数)定时信号。该第1至第n定时信号T的发生间隔可以根据作为目的的辅助信息的内容、来自作业者的要求、辅助信息单元22及形状传感器单元23的动作速度等而适当设定。第1至第n定时信号T也有以一定间隔而周期性的情况、或第1至第n定时信号的间隔根据状况而变更的情况。
形状传感器单元23接收从形状传感器控制部31输出的第1至第n定时信号T。光检测器25对应于该第1至第n定时信号T,检测从光纤传感器8输出、经过了弯曲形状检测部8b的光信号,输出与该光信号对应的检测信号D。关于光纤传感器8本身的动作,可以利用周知的动作,其说明省略。
形状传感器单元23通过电源投入使纤维传感器用光源24点亮。纤维传感器用光源24射出基本上以相同的明亮度、波谱连续发光的检测光。该检测光向光纤传感器8的光纤8a的入射端入射。该光纤传感器8将从光纤8a的入射端入射的检测光进行导光,使该检测光经过设于该光纤传感器8的弯曲形状检测部8b而从光纤8a的射出端射出。从该光纤8a的射出端射出的光向光检测器25入射。
此时,当光纤传感器8与插入部7一起弯曲,则对应于该弯曲角而被弯曲形状检测部8b吸收的光量变化。例如如图3A所示,随着光纤8a的弯曲角向弯曲形状检测部8b侧变大,被弯曲形状检测部8b吸收的光量变小。由此,在光纤8a内透过的光量增加。这样,光纤传感器8输出与插入部7的弯曲角对应的光量的光信号。从该光纤传感器8输出的光信号向光检测器25入射。该光检测器25将入射的光信号接收而变换为电信号,通过信号处理电路使该电信号成为与光信号的光量对应的检测信号D而输出。
形状传感器单元23对检测信号D赋予标志,以使得从设于光纤传感器8的多个弯曲形状检测部8b射出的各光信号与第1至第n定时信号T相对应、并且从多个弯曲形状检测部8b射出的各光信号可识别。该检测信号D被向形状计算部30发送。
形状计算部30接收从形状传感器单元23输出的带有标志的检测信号D,参照存储在信息存储部35中的弯曲形状检测部8b的位置信息、和表示光纤的弯曲角与检测信号D(光量)的关系的弯曲角光量信息,计算第1至第n定时信号T的每个定时信号下的插入部7弯曲时的弯曲的方向和大小,作为插入部形状信息F输出。
即,形状计算部30基于与第1至第n定时信号T1~Tn中的例如第j定时信号Tj建立了联系的检测信号D,计算第j插入部形状信息Fj。以下同样,形状计算部30按从形状传感器控制部31依次输出的第k,第l,···,第n(第k~第n)定时信号Tk,Tl,…,Tn的每个,接收从形状传感器单元23依次输出的检测信号D,按这些第k~第n定时信号T的每个计算第k~第n插入部形状信息Fk~Fn。第k~第n插入部形状信息Fk~Fn被依次保存到辅助信息单元22内的信息存储部35中。
[变化导出部32的动作]
变化导出部32基于第1~第n定时信号T1~Tn,接收从形状计算部30输出的定时不同的至少2个插入部形状信息F,将这些插入部形状信息F进行比较而导出形状变化信息KA。
变化导出部32例如将图5所示那样的由形状计算部30计算出的第j插入部形状信息Fj与第k插入部形状信息Fk进行比较。
比较的结果是,变化导出部32将插入部7的弯曲形状变化的区域作为形状变化区域KE1提取,将插入部7的弯曲形状不变化的区域作为第1和第2形状不变区域KE2a、KE2b提取。
比较图5所示的第j插入部形状信息Fj与第k插入部形状信息Fk,则在插入部7中操作部9侧的第1形状不变区域KE2a的弯曲形状和插入部7的前端部7a侧的第2形状不变区域KE2b的弯曲形状分别不变化。
在这些第1和第2形状不变区域KE2a、KE2b之间的形状变化区域KE1,插入部7的弯曲形状变化。
在第1和第2形状不变区域KE2a、KE2b中,插入部7的弯曲形状分别不变,但这些第1和第2形状不变区域KE2a、KE2b彼此的相对位置关系变化。这是因为,该相对位置关系中,插入部7的形状变化区域KE1的形状发生了变化。
变化导出部32计算提取出的形状变化区域KE1的弯曲形状的变化的种类的分类、和该形状变化区域KE1中的弯曲形状的变化量。插入部7形成为截面大致圆形且具有挠性的细长的棒状。由此,作为插入部7的部分性弯曲形状的变化,可以考虑例如包括弯曲和扭转这2个形状变化的情况。进而,作为插入部7的部分性弯曲形状的变化,可以想到弯曲和扭转复合发生的情况,或弯曲和扭转在接近的各区域分别连续地发生的情况等。
图6是表示对形状变化区域KE1的解析的例子的图,表示第j定时信号Tj的发生时的对形状变化区域KE1的解析的例子、和第k定时信号Tk的发生时的对形状变化区域KE1的解析的例子。
变化导出部32比较在2个定时信号发生时、例如第j定时信号Tj和第k定时信号Tk各自发生时的形状变化区域KE1的各弯曲形状。由于第j和第k插入部形状信息Fj、Fk是三维信息,所以形状变化区域KE1的形状信息也是三维信息。
变化导出部32如图6所示,基于第j和第k插入部形状信息Fj、Fk,设定形状变化区域KE1的两端部的各轴方向、即第j插入部形状Fj的两端部的各轴方向Zja、Zjb和第k插入部形状Fk的两端部的各轴方向Zka、Zkb。另外,Zja是第j操作部侧中心轴,Zjb是第j前端侧中心轴。Zka是第k操作部侧中心轴Zka,Zkb是第k前端侧中心轴。Z是形状变化区域KE1中的插入部7的中心轴。
形状变化区域KE1中的距操作部9最近的部位的操作部9侧与形状不变区域KE2连接、或与操作部9直接连接。在本实施方式中,与第1形状不变区域KE2a连接。所以,如图7所示那样,根据使第j操作部侧中心轴Zja与第k操作部侧中心轴Zka相互重合时的第j前端侧中心轴Zjb与第k前端侧中心轴Zkb的位置关系,来计算形状变化区域KE1中的弯曲形状的变化的种类、该弯曲形状的变化量、弯曲的变化的方向。
当使第j与第k操作部侧中心轴Zja、Zka重合,可知第j和第k前端侧中心轴Zjb、Zkb由于插入部7的弯曲而在相同的平面内移动。此时,形状变化区域KE1以将第j与第k操作部侧中心轴Zja、Zka重叠的部分为中心而弯曲了角度(以下称作弯曲角)θ。该角θ成为在从第j到第k定时信号T的期间中插入部7弯曲时的弯曲的变化量。换言之,由于第j和第k前端侧中心轴Zjb、Zkb仅在相同的平面内进行了变化,所以可知插入部7没有扭转而是单纯地进行了弯曲变化。
形状变化区域KE1的变化量及其方向能够作为弯曲角的变化量及其方向来计算。在插入部7弯曲的情况下,变化的种类是弯曲角的变化。弯曲角的变化量如图7所示,是第j和第k前端侧中心轴Zjb、Zkb所成的角的大小,即角θ。弯曲方向是图中箭头所示的从第j前端侧中心轴Zjb向第k前端侧中心轴Zkb的移动方向(顺时针方向)。
变化导出部32将插入部7的弯曲角的变化量(角θ)及其方向(顺时针方向)的信息作为形状变化信息KA输出。本实施方式的形状变化信息KA其变化的种类是平面内的弯曲,其变化的量是角θ,其变化的方向是顺时针。该形状变化信息KA被分别向预先形状推测部33和操作推测部34发送。
[操作推测部34的动作]
操作推测部34推测作业者进行过的操作,将该推测出的作业者的操作作为作业者操作信息L输出。操作推测部34假定插入部7的弯曲形状的变化是由作业者的操作带来的结果,基于形状变化信息KA推测例如在第j定时信号Tj和第k定时信号Tk的期间中进行过的作业者的操作,将该推测出的作业者的操作作为作业者操作信息L输出。在该推测中,推测作业者的操作的种类、操作的方向和操作量。即,作业者操作信息包括由作业者的操作的种类、操作的方向和操作量。
从大体上划分,作业者的操作有以下两种:对操作手柄11进行操作的操作手柄操作、和将插入部7直接把持而进行操作的直接操作。
操作手柄操作是对操作手柄11进行操作而使插入部7的主动弯曲部7b弯曲的操作。
直接操作是作业者将没有插入到观察对象物2的内部空间3内的插入部7的部分(从观察对象物2的内部空间3露出的部分)直接把持而进行推入、拉拔或扭转等的操作。
与作业员对操作手柄11进行了操作时的操作方向及其操作量相对应的插入部7的弯曲角及其弯曲方向,作为手柄操作信息而按内窥镜观测器部5的每个种类来决定。操作方向例如是上下方向和左右方向。操作量是向上下方向的操作量和向左右方向的操作量。这样的手柄操作信息被存储在例如设在操作推测部34内的操作信息存储器34a中。
在插入部7中,有如下设想的情况,即:弯曲的部分是主动弯曲部7b,并且该主动弯曲部7b的弯曲形状的变化是由操作者对操作手柄11的操作带来。即,有设想的主动弯曲部7b的弯曲形状的变化与实际被操作的主动弯曲部7b的弯曲形状的变化一致的情况。在此情况下,能够判定为:主动弯曲部7b的弯曲变化是由作业者对操作手柄11的操作带来的。
如果形状变化区域KE1是主动弯曲部7b,则通过由作业者对操作手柄11进行操作,该主动弯曲部7b主动地在上下方向或左右方向上弯曲。但是,有形状变化区域KE1的形状变化与由操作手柄11的操作带来的形状变化不一致的情况。在此情况下,操作推测部34推测是由作业者的直接操作带来的、还是作业者的直接操作与对操作手柄11的操作这双方的操作一起带来的复合操作。
在图5所示的插入部7的弯曲形状的变化的例子中,由于插入部7的形状变化区域KE1如上述那样是被动弯曲部7c,所以判定为作业员的操作是直接操作。由于直接操作是将操作部9或从观察对象物2的内部空间3露出的插入部7的部分直接把持来进行的,所以作业者的操作的力从形状变化区域KE1中的操作部9侧的端部施加。
因而,操作推测部34认为从操作部9侧施加了能够引起形状变化区域KE1的弯曲形状的变化的由作业员进行的操作,来推测作业者的操作。
如果在第1和第2形状不变区域KE2a、KE2b的形状中没有变形,则操作推测部34考虑到没有该变形,推测形状变化区域KE1的弯曲形状的变化是由作业者进行的操作。
在图5所示的插入部7的弯曲形状的变化的例子中,第1形状不变区域KE2a的形状在从第j到第k定时信号T的发生时的期间中不变形。可知:由作业者的操作带来的力是不会使第1形状不变区域KE2a的形状变化、而使该操作的力向形状变化区域KE1的操作部9侧的端部传递那样的操作。
因而,操作推测部34能够推测为,如图8所示那样对插入部7施加了从操作部9侧向插入部7的轴向推入那样的操作Q。另外,图8表示第j插入部形状信息Fj和被作业者操作了的第k插入部形状信息Fk。
此外,操作推测部34基于由存储在信息存储部35中的与观察对象物2的硬度有关的信息以及插入部7的构造得到的弯曲所需要的力等,推测作业者进行了的操作的力量的大体的值。与插入部7的构造有关的构造信息例如存储在信息存储部35中。该构造信息包括:基于插入部7的构造的局部弯曲的容易度或每个弯曲方向的弯曲的容易度、插入部7的形状保持的容易度、使插入部7弯曲所需要的力等信息。
接着,关于由作业员对插入部7进行了操作时在形状变化区域KE1是否发生弯曲变形而进行验证。在该验证中,操作推测部34参照存储在信息存储部35中的插入部7的构造信息、以及观察对象物2的物性信息及形状信息等信息。
当验证的结果是验证了通过作业员对插入部7的操作而在形状变化区域KE1中发生弯曲变形,则操作推测部34将推测出的作业者的操作的种类、操作的方向和操作的操作量,作为在第j定时信号Tj和第k定时信号Tk的期间中作业者进行的操作的种类、操作的方向和操作的操作量,作为作业者操作信息L向预先形状推测部33输出。
由作业者进行的操作的种类例如包括插入部7向观察对象物2的内部空间3的推入。操作方向包括如图8所示那样从插入开口2a露出到观察对象物2的内部空间3的外部的插入部7的部分的中心轴方向。
操作量根据第j定时信号Tj和第k定时信号Tk的各发生时的第1和第2形状不变区域KE2a、KE2b的位置关系来推测。该操作量如图8所示,推测为形状变化区域KE1的前端侧KE1s与操作部9侧的端部KE1e之间的插入部7的中心轴方向上的操作变化量ΔP(=ΔPjk)。
具体而言,操作推测部34推测为:如图8所示,第j插入部形状信息Fj中的形状变化区域KE1的操作Q的方向的形状变化量ΔPj、与第k插入部形状信息Fk中的形状变化区域KE1的操作Q的方向的形状变化量ΔPk之差ΔPjk即ΔPjk(=ΔPj―ΔPk),是由操作者带来的操作变化量ΔPjk。另外,本实施方式的第j插入部形状信息Fj中的形状变化量ΔPj,表示从插入开口2a向观察对象物2的外部露出的插入部7的中心轴方向(图面上的纵向)的变化。第k插入部形状信息Fk中的形状变化量ΔPk也同样,表示从插入开口2a向观察对象物2的外部露出的插入部7的中心轴方向(图面上的纵向)的变化。
[预先形状推测部33的动作]
预先形状推测部33接收从形状计算部30输出的插入部形状信息F(包括Fj、Fk),并且接收从变化导出部32输出的形状变化信息KA或从操作推测部34输出的作业者操作信息L中的某一方或双方。
预先形状推测部33基于插入部形状信息F、和形状变化信息KA或作业者操作信息L中的某一方或双方,计算预先推测形状信息M。
这里,对基于插入部形状信息F和形状变化信息KA的预先推测形状信息M的计算进行说明。
在插入部7中,作为弯曲形状变形的部分,例如是如图5所示那样两端被第1形状不变区域KE2a和第2形状不变区域KE2b夹着的形状变化区域KE1。
变化导出部32如图7所示,作为形状变化信息KA而输出插入部7的形状变化区域KE1中的弯曲角的变化量及弯曲方向(顺时针方向)。
预先形状推测部33接收从变化导出部32输出的形状变化信息KA,基于作为该形状变化信息KA的插入部7的形状变化区域的弯曲角的变化量及弯曲方向(顺时针方向),推测预先插入部形状信息M。
图9表示过去、当前、未来的随着时间经过的定时信号T(T1,Tj,Tk,Th,Tn)的示意。另外,设h为比k大的自然数。假设在当前,形状传感器控制部31已经输出了第j和第k定时信号Tj、Tk,在未来要输出第h定时信号Th。这里,假设第j和第k定时信号Tj、Tk的时间间隔Tjk与第k和第h定时信号Tk、Th的时间间隔Tkh相等。
预先形状推测部33设定为:在输出第h定时信号Th之前,在第1和第2形状不变区域KE2a、KE2b中不发生形状变化,并且,在形状变化区域KE1中弯曲变形以相同速度持续进行。按照该设定,预先形状推测部33如图10所示那样,推测未来的第h定时信号Th的发生时的预先插入部形状信息M(=Mh)。
具体而言,在形状变化区域KE1的弯曲的推测中,按照形状变化信息KA,操作的种类是弯曲操作,操作方向是顺时针的方向,操作量是作为第j与第k定时信号Tj、Tk的期间中的弯曲角的角θ。预先形状推测部33基于作为操作的种类的弯曲角、作为操作方向的顺时针方向和作为操作量的角θ,推测第h定时信号Th的发生时的预先插入部形状信息M(=Mh)。
图10表示推测第j~h定时信号Tj~Th的发生时的形状变化区域KE1的预先推测形状信息KE1h的过程。该图表示第j定时信号Tj的发生时的形状变化区域KE1的检测形状KE1j、第k定时信号Tk的发生时的形状变化区域KE1的检测形状KE1k、和第h定时信号Th的发生时间点的形状变化区域KE1的预先推测形状信息KE1h。如该图所示,推测为形状变化区域KE1其弯曲角以固定的变化速度持续变化。
图11表示第h定时信号Th的发生时的插入部7的整体的预先插入部形状信息(时间变化)Mh。预先插入部形状信息Mh包括形状变化区域KE1的预先推测形状信息KE1h、和形状变化区域KE1的两端侧的第1和第2形状不变区域KE2a、KE2b。
接着,对使用作业者操作信息L的情况下的预先推测形状信息M的计算进行说明。
图12表示施加了作业者的操作时的第j、k、h定时信号Tj、Tk、Th的发生时的插入部7的各形状的变化。即,表示第j插入部形状信息Fj、第k插入部形状信息Fk和第h插入部形状信息Fh的变化。
作业者操作信息L如在上述[作业者操作信息推测部的动作]栏中说明的那样,例如设操作的种类为推入,设操作方向为从插入开口2a露出到观察对象物2的外部的插入部7的中心轴方向,设操作量为由操作者的操作带来的操作变化量ΔPjk。
预先形状推测部33基于作业者操作信息L,预先推测未来的第h定时信号Th的发生时的插入部7的形状。推测的方法与上述基于插入部形状信息F和形状变化信息KA进行的预先推测形状信息M的计算大致是同样的。
在预先插入部形状信息M的推测中,预先形状推测部33计算使操作的种类、操作方向和操作量继续而进行了推测时的插入部7的弯曲形状,作为预先插入部形状信息M。
并且,预先形状推测部33假定由于推测出的作业者的操作而形状变化区域KE1弯曲、并且第1和第2形状不变区域KE2a、KE2b的形状不变化,来推测预先插入部形状信息M。
具体而言,预先形状推测部33与上述同样地,设操作的种类为推入,设操作方向为从插入开口2a露出到观察对象物2的外部的插入部7的中心轴方向,设操作量为图8所示的由操作者带来的操作变化量ΔPjk,推测第h定时信号Th的发生时的预先插入部形状信息M(=Mh)。
如图9所示,在本实施方式中,第j和第k定时信号Tj、Tk的时间间隔Tjk与第k和第h定时信号Tk、Th的时间间隔Tkh相等。
因而,预先形状推测部33推测为:若在第k和第h定时信号Tk、Th的时间间隔Tkh内被作业者操作,则所预测的操作变化量ΔPjk如图12所示那样与第j和第k定时信号Tj、Tk的时间间隔Tjk中的作业者的操作变化量ΔPkh相等(ΔPjk=ΔPkh)。
此时,如图12所示,如果设第j定时信号Tj的发生时的操作变化量为ΔPjk,设第k定时信号Tk的发生时的形状变化量为ΔPk,设第h定时信号Th的发生时的形状变化量为ΔPh,则该形状变化量ΔPh通过式(1)求出。
ΔPh=ΔPk-ΔPkh(=ΔPk-ΔPjk)…(1)
此外,预先形状推测部33基于第h定时信号Th的发生时的形状变化量ΔPh,推测第h定时信号Th的发生时的预先插入部形状信息M(=Mh)。
预先形状推测部33使用如图12所示那样由操作推测部34推测的作业者操作信息L,以插入部7的形状变形区域KE1中的形状变形量ΔPh成为上述式(1)所示的形状变化量ΔPh的方式,推测形状变化区域KE1中的变形形状。在本实施方式中,在形状变化区域KE1的变形形状的推测中,考虑内窥镜构造。
并且,预先形状推测部33将预先插入部形状信息(时间变化)M与预先插入部形状信息(作业者操作)M进行比较,推测最终的预先插入部形状信息M。
这样根据预先插入部形状信息(时间变化)M和预先插入部形状信息(作业者操作)M这2个预先插入部形状信息M推测最终的预先插入部形状信息M的方法有一些。例如,优选使用内窥镜构造及观察对象物2的信息、观察作业的种类等不同的信息、选择2个预先插入部形状信息M中的某一个。求出2个预先插入部形状信息M的平均值等的方法也是优选的。在此情况下,既可以单纯地求平均值,也可以与上述不同的信息等对照来取加权平均。还可以将2个预先插入部形状信息M的两者都向作业者提示。
另外,在本实施方式中,如图9所示那样,假定了第j和第k定时信号Tj、Tk的时间间隔Tjk与第k和第h定时信号Tk、Th的时间间隔Tkh相等,但在这些时间间隔Tjk、Tkh不相等的情况下当然也能够预测。
如上述那样,预先形状推测部33假定了第j和第k定时信号Tj、Tk的期间中的插入部7的形状变形区域KE1中的变形以及由作业员进行的操作等速进行,所以例如在时间间隔Tjk、Tkh成为一半的情况下,只要将插入部7的弯曲角的变化量θ设为θ/2、将操作量设为ΔPjk/2来推测预先插入部形状信息M就可以。关于其他的定时,也同样可以通过求出经过时间的比来推测预先插入部形状信息M。
[作用·效果]
这样,根据第1实施方式,由于由形状传感器单元23检测向观察对象物2的内部空间3插入的插入部7的形状,基于该检测出的插入部形状信息F,预先推测例如从第k定时信号Tk到第h定时信号Th的经过时间Tkh后的插入部7的形状,作为预先推测形状信息M输出,所以当作业者将插入部7向观察对象物2的内部空间3插入时,能够预先推测之后可能形成的插入部7的形状。推测出的插入部7的形状对于作业者能够作为插入部7的插入操作时的辅助信息而显示在显示部6等上。结果,与以往的内窥镜系统相比,能够缩短训练及技能提高所需要的时间。即使是经验或技能水平较低的作业者,也能够比较容易地将插入部7相对于观察对象物2的内部空间3插入/拔除。
换言之,在插入部7的推测形状是作业者希望的形状的情况下,作业者能够判断为可以推进插入部7的插入/拔除作业。另一方面,在插入部7的推测形状不是希望的形状的情况下,作业者能够判断为将插入/拔除作业变更较好。由此,根据上述第1实施方式,与现有系统相比,能够缩短训练及技能提高所需要的时间。即使是作业者的经验或技能水平较低的情况,也能够比较容易地进行插入部7的插入/拔除。
另外,在上述第1实施方式中,表示了变化导出部32将2个插入部形状信息F、即第j插入部形状信息Fj与第k插入部形状信息Fk进行比较的例子,但并不限于此。变化导出部32也可以将3个以上的插入部形状信息F进行比较。例如是第j插入部形状信息Fj、第k插入部形状信息Fk和对应于第1定时信号T的第1插入部形状信息Fl。
这样,通过将3个以上的插入部形状信息F(Fj、Fk、F1等)比较,除了在上述第1实施方式中说明的作用、效果以外,还能够得到插入部7的形状的变化的状态、即是以低速稳定地持续变化还是有加速度地变化还是进行了反复的操作等信息。
考虑使用这样的3个以上的插入部形状信息F(Fj、Fk、F1等),操作推测部34能够推测作业者操作信息L。由此,预先形状推测部33能够推测准确度更高的预先插入部形状信息M。
[第1实施方式的第1变形例]
接着,参照附图对本发明的第1实施方式的第1变形例进行说明。另外,在本变形例中,关于与上述第1实施方式相同的部分省略其说明,对与上述第1实施方式不同的部分详细地说明。
[第1变形例的插入部形状时间变化导出部的动作]
本变形例中,使变化导出部32的动作与上述第1实施方式不同。
在上述第1实施方式中,变化导出部32将图5所示那样的由形状计算部30计算出的第j插入部形状信息Fj与第k插入部形状信息Fk进行比较,基于该比较的结果提取插入部7的形状化的区域作为形状变化区域KE1,并提取插入部7的形状不变化的区域作为第1和第2形状不变区域KE2a、KE2b。
相对于此,在本变形例中,变化导出部32着眼于作为插入部7的弯曲形状不变化的区域而提取出的第1和第2形状不变区域KE2a、KE2b,基于这些形状不变区域KE2a、KE2b的相对位置关系,导出形状变化信息KA。
在本变形例中,由形状计算部30计算插入部形状信息F的动作、和由变化导出部32提取形状变化区域KE1及第1和第2形状不变区域KE2a、KE2b的动作与上述第1实施方式相同。
接着,对本变形例的变化导出部32的动作中的与上述第1实施方式不同的部分进行说明。
图13表示用来说明变化导出部32的动作的图。该图表示由变化导出部32取得的第j定时信号Tj的发生时间点的插入部7的形状、和由该变化导出部32取得的第k定时信号Tk的发生时间点的插入部7的形状。
变化导出部32将由检测部插入部形状计算部30计算出的第j插入部形状信息Fj、与第k插入部形状信息Fk进行比较,提取在插入部7中形状变化的形状变化区域KE1、和在插入部7中形状不变化的第1和第2形状不变区域KE2a、KE2b。
插入部7如图13所示,具有将第1形状不变区域KE2a与形状变化区域KE1连接的第1连接部C1、和将形状变化区域KE1与第2形状不变区域KE2b连接的第2连接部C2。
变化导出部32计算第j定时信号Tj的发生时间点和第k定时信号Tk的发生时间点的第1连接部C1的坐标(连接部坐标)、和该第1连接部C1处的插入部7的中心轴的切线方向即连接方向CD1。
并且,变化导出部32计算第j定时信号Tj的发生时间点和第k定时信号Tk的发生时间点的第2连接部C2的坐标(连接部坐标)、和该第2连接部C2处的插入部7的中心轴的切线方向即连接方向CD2。
这里,只要能够比较第j插入部形状信息Fj与第k插入部形状信息Fk,则表示第1和第2连接部C1、C2的各连接部坐标的坐标系是怎样的坐标系都可以。
在本变形例中,辅助信息单元22将第j插入部形状信息Fj和第k插入部形状信息Fk的最靠操作部9侧的位置设为原点坐标(0,0,0)。即,原点坐标(0,0,0)位于第1形状不变区域KE2a的操作部9侧的端部。
此外,在本变形例中,辅助信息单元22基于原点坐标(0,0,0)、第j插入部形状信息Fj和第k插入部形状信息Fk,计算第1连接部C1的连接部坐标和第2连接部C2的连接部坐标的各坐标。
接着,对第j、k的各定时信号Tj、Tk的发生时间点的第1形状不变区域KE2a的各坐标进行说明。
第j定时信号Tj的发生时间点的第1形状不变区域KE2a的前端侧的连接部坐标C1如图13所示那样用(x1j,y1j,z1j)表示。
第k定时信号Tk的发生时间点的第1形状不变区域KE2a的前端侧的连接部坐标C1用(x1k,y1k,z1k)表示。
在本变形例中,由于在原点坐标(0,0,0)的部分与连接部坐标C1的部分之间存在第1形状不变区域KE2a,所以连接部坐标C1(x1j,y1j,z1j)与连接部坐标C1(x1k,y1k,z1k)相等。
连接方向CD1被计算为,表示第1形状不变区域KE2a和形状变化区域KE1的连接方向的向量。
连接方向CD2被计算为,表示形状变化区域KE1和第2形状不变区域KE2b的连接方向的向量。
另外,在本变形例中,仅需要各连接方向CD1、CD2的向量的方向的信息,不使用向量的长度的信息。因此,在本变形例中,各连接方向CD1、CD2的各向量作为长度“1”的单位向量而求出。
第j定时信号Tj的发生时间点的连接方向CD1的向量如图13所示那样用(a1j,b1j,c1j)表示。
第k定时信号Tk的发生时间点的连接方向CD2的向量用(a1k,b1k,c1k)表示。
由于连接于原点坐标(0,0,0)的是第1形状不变区域KE2a,所以在第1变形例中,第j定时信号Tj的发生时间点的连接方向CD1的向量(a1j,b1j,c1j)与第k定时信号Tk的发生时间点的连接方向CD1的向量(a1k,b1k,c1k)相等。
接着,关于第j、k的各定时信号Tj、Tk的发生时间点的第2形状不变区域KE2b的各坐标,也与上述第1形状不变区域KE2a的各坐标同样地求出。
第j定时信号Tj的发生时间点的第2形状不变区域KE2b的基端侧的连接部坐标C2如图13所示那样用(x2j,y2j,z2j)表示。
第k定时信号Tk的发生时间点的第2形状不变区域KE2b的基端侧的连接部坐标C2用(x2k,y2k,z2k)表示。
第j定时信号Tj的发生时间点的连接方向CD1的向量用(a2j,b2j,c2j)表示。
第k定时信号Tk的发生时间点的连接方向CD2的向量用(a2k,b2k,c2k)表示。
这样,变化导出部32能够将插入部7的形状变化的信息用第1和第2形状不变区域KE2a、KE2b的位置和方向表示。即,在第1与第2形状不变区域KE2a、KE2b之间,存在形状变化区域KE1。插入部7的形状变化的信息能够仅用第1形状不变区域KE2a和形状变化区域KE1的第1连接部C1的坐标(x1j,y1j,z1j)、第2形状不变区域KE2b和形状变化区域KE1的第2连接部C2的坐标(x2j,y2j,z2j)、以及这些坐标处的插入部7的切线方向的各向量CD1、CD2的信息来记述。
另外,图13以容易使插入部7的形状变化形象化为目的而进行了记载。在该图中,将第1和第2形状不变区域KE2a、KE2b用虚线的四边形表示,将形状变化区域KE1用与弯曲形状对应的实线表示。根据变化导出部32,不需要生成用来用虚线的四边形及实线进行表示的信息、或不需要使用该信息。
在本变形例中,为了说明的方便,表示了在第1与第2形状不变区域KE2a、KE2b之间存在形状变化区域KE1那样的简单的例子。实际上,有形状变化区域KE1和第1或第2形状不变区域KE2a、KE2b被交替地反复配置的情况。在这样的情况下,第1和第2形状不变区域KE2a、KE2b包含插入部7侧的连接部坐标、和前端部侧的连接部坐标这2个位置坐标。但是,在第1和第2形状不变区域KE2a、KE2b内,插入部7的形状不变化。即使像这样将形状变化区域KE1和第1或第2形状不变区域KE2a、KE2b交替地反复配置的情况下,也只要有以下3个信息就能够以全部的定时求出插入部7的形状整体。即,在某个定时的形状不变区域中,如果知道该区域中的操作部9侧的坐标(第1信息)、该区域中的插入部7的前端侧的坐标(第2信息)、和该前端侧的连接方向的向量(第3信息),则在其他的定时,只要知道上述第1至第3信息的某2个信息,就能够通过计算求出剩下的1个信息。
接着,变化导出部32使用第j和第k定时信号Tj、Tk的各发生时间点的操作部9侧的各连接部坐标C1及各连接方向CD1的信息,计算形状变化区域KE1的形状变化的种类、形状变化的方向和形状变化的变化量。具体而言,变化导出部32根据形状变化区域KE1与第1及第2形状不变区域KE2a、KE2b的相对配置关系,计算形状变化的种类、形状变化的方向和形状变化的变化量。即,在第j定时信号Tj的发生时间点和第k定时信号Tk的发生时间点的第1形状不变区域KE2a的各连接部坐标C1、各连接方向CD1彼此相互相等的情况下,变化导出部32通过求出第2形状不变区域KE2b的各连接部坐标C2、各连接方向CD2的变化,能够求出形状变化区域KE1和第1及第2形状不变区域KE2a、KE2b的相对配置关系。
在本变形例中,由于第1形状不变区域KE2a不移动,所以该第1形状不变区域KE2a的连接部坐标C1及该连接部C1的连接方向CD1也不变化而为相等的值。
即使是在操作部9侧具有形状变化区域KE1的情况下,在本变形例中,也设为夹着该关注的形状变化区域KE1而设置的第1及第2形状不变区域KE2a、KE2b的插入部7侧的连接坐标C2、连接方向CD2是相等的,来计算变化的种类、方向和量。
在本变形例中,第2形状不变区域KE2b的连接方向CD2,在从第j定时信号Tj的发生时间点到第k定时信号Tk的发生时间点的期间中,如图14所示那样在平面内弯曲角旋转了角θ。各连接部坐标C2也在同一平面内弯曲角变化了角θ。此外,可知在插入部7上没有发生扭转等。
这样,关于本变形例的插入部7的形状变化区域KE1中的形状变化,能够计算形状变化的种类、形状变化的方向和形状变化的变化量。即,如图14所示,变化的种类是弯曲变化,变化的量是角θ的变化。形状变化的方向如该图所示那样是顺时针方向。
变化导出部32将插入部7的变化的种类、变化的量、变化的方向设为弯曲、角θ、顺时针方向的信息即形状变化信息KA,向预先形状推测部33和操作推测部34分别输出。
在这以后,内窥镜系统1的动作与上述第1实施方式是同样的。
另外,在形状变化区域KE1和第1及第2形状不变区域KE2a、KE2b的提取中,有根据由形状计算部30计算的插入部形状信息F、提取与插入部7最大的变化、或进行了决定插入部7的形状变化的明确变化的区域相比发生了充分小的形状变化的区域的情况。关于该区域,也可以看作与第1及第2形状不变区域KE2a、KE2b同等的形状不变区域。
通过将这样的微小形状变化的区域看作形状不变区域,能够仅对在插入部7中进行了较大的形状变化的区域,适当地计算作为形状变化的种类、形状变化的方向和形状变化的变化量的变化信息。
变化导出部32并不一定必须遍及插入部7的整体来导出形状变化的信息。根据变化导出部32,也可以仅对在作业者的操作中着眼的部位、或预先登记的部位等导出形状变化信息KA。由此,能够使变化导出部32的动作简化。
[作用·效果]
这样,根据第1变形例,能够由变化导出部32计算第1和第2形状不变区域KE2a、KE2b和形状变化区域KE1,根据这些形状变化区域KE1与第1及第2形状不变区域KE2a、KE2b的相对配置关系来计算插入部7的形状变化的种类、形状变化的方向和形状变化的变化量。具体而言,在第j定时信号Tj的发生时间点和第k定时信号Tk的发生时间点,能够计算存在于第1与第2形状不变区域KE2a、KE2b之间的形状变化区域KE1的第1连接部C1的坐标、第2连接部C2的坐标、以及这些坐标处的插入部7的切线方向的向量CD1、CD2的信息。
由此,与上述第1实施方式同样,能够事前(预先)推测当作业者继续现在的操作时、在下个定时可能产生的插入部7的形状。能够将该插入部7的形状作为插入部7的插入操作时的辅助信息而对作业者显示在显示部6等上。结果,与以往的内窥镜系统相比,能够缩短训练及技能提高所需要的时间。即使是经验或技能水平较低的作业者,也能够比较容易地将插入部7相对于观察对象物2的内部空间3插入、拔除。
根据该第1变形例,与上述第1实施方式相比,能够将形状变化信息KA的计算用第1连接部C1的坐标、第2连接部C2的坐标和向量CD1、CD2这样的在数学上容易处理的参数进行计算,所以能够使实现变化导出部32的程序或用来实现本系统1的整体的程序简单。此外,由于使该程序简单,所以适于处理的高速化。
[第2实施方式]
接着,参照附图对本发明的第2实施方式进行说明。另外,在本实施方式中,关于与上述第1实施方式相同的部分省略其说明,对不同的部分进行说明。
第2实施方式中,使变化导出部32的动作、操作推测部34的动作和预先形状推测部33的动作与上述第1实施方式不同。
[变化导出部32的动作]
在上述第1实施方式中,以如下结构为例进行了说明,该结构是:变化导出部32将图5所示那样的由形状计算部30计算出的第j插入部形状信息Fj与第k插入部形状信息Fk进行比较,提取插入部7的形状进行了变化的形状变化区域KE1和插入部7的形状没有变化的第1及第2形状不变区域KE2a、KE2b,基于这些区域KE1、KE2a、KE2b计算形状变化区域KE1的形状变化的种类、形状变化的方向和形状变化的变化量。
相对于此,第2实施方式中的结构是,由变化导出部32将第j插入部形状信息Fj与第k插入部形状信息Fk进行比较而提取类似形状区域,基于该类似形状区域,计算插入部7的形状变化的种类、形状变化的方向和形状变化的变化量,这一点与第1实施方式不同。
图15表示第j插入部形状信息Fj和第k插入部形状信息Fk。在第j插入部形状信息Fj和第k插入部形状信息Fk中,分别包括形状相互类似的各类似形状区域LR。在基于第k插入部形状信息Fk的包括插入部7的前端部7a的部分,存在插入部行进区域7sr。插入部行进区域7sr是在从第j定时信号Tj的发生时间点到第k定时信号Tk的发生时间点的期间中插入部7行进过的部分。
即,插入部7在从第j定时信号Tj的发生时间点到第k定时信号Tk的发生时间点的期间中,受到作业者的操作而在观察对象物2的内部空间3内行进了插入部行进区域7sr。在该期间中,插入部7的类似形状区域LR的形状如图15所示那样没有变化。
类似形状区域LR的形状没有变化是因为以下的理由。插入部7通过由作业者进行的插入操作,一边形状仿形于观察对象物2的内部空间3的内表面,一边在该观察对象物2的内部空间3内行进。通过插入部7的行进,该插入部7的形状也在从第j定时信号Tj的发生时间点到第k定时信号Tk的发生时间点的期间中在观察对象物2的内部空间3内仿形。因而,插入部7的形状在第j定时信号T的发生时间点的类似形状区域LR和第k定时信号T的发生时间点的类似形状区域LR中不会变化。
作为这里着眼的点,是在第j插入部形状信息Fj和第k插入部形状信息Fk中、与类似形状区域LR的各位置对应的插入部7的位置发生了变化这一点。即,在第j插入部形状信息Fj和第k插入部形状信息Fk中,由于插入部7通过插入而移动,所以从形状传感器8的各检测点的各弯曲形状检测部8b输出的各检测信号分别不同,但在由形状计算部30计算的第j插入部形状信息Fj和第k插入部形状信息Fk中,存在形状相互大致相等的各类似形状区域LR。
变化导出部32将第j插入部形状信息Fj与第k插入部形状信息Fk进行比较。比较的结果是,变化导出部32将形状相互大致相等的各类似形状区域LR、和该各类似形状区域LR以外的区域进行区分,提取其中的各类似形状区域LR。
在该各类似形状区域LR以外的区域,例如存在图16所示那样的插入部形状非类似区域NLR、插入部行进区域7sr和插入部后退区域(未图示)这3个区域。关于插入部后退区域在后面叙述。
插入部形状非类似区域NLR是单纯地形状明显不同的区域。插入部行进区域7sr例如是在第j定时信号Tj的发生时间点不存在的区域中在第k定时信号Tk的发生时间点新出现的区域。
插入部后退区域例如是在第j定时信号Tj的发生时间点存在的区域中在第k定时信号Tk的发生时间点消失的区域。即,与插入部行进区域7sr相反,是通过插入部7的后退而例如插入部形状类似区域LR的一部分缺失了的区域。
在图15所示的例子中,变化导出部32计算形状相互大致相等的各插入部类似形状区域LR、和在第k定时信号Tk的发生时间点出现的插入部行进区域7sr。即,通过作业者的操作,插入部7在观察对象物2的内部空间3内行进了插入部行进区域7sr的量。尽管有该行进,但插入部7的操作部9侧成为大致相同的形状。
能够推测到该理由在于,插入部7仿形于观察对象物2的内部空间3的形状而行进。即,能够推测为:即使插入部7在观察对象物2的内部空间3中行进也维持相同形状的区域成为相对于观察对象物2为相同位置的区域,即插入部类似形状区域LR。
因而,在图15所示的例子的情况下,变化导出部32推测为:插入部7的移动方向是朝向观察对象物2的内部空间3的插入方向,插入部7的移动量是与插入部行进区域7sr的长度大致相等的量。
变化导出部32将插入部7的插入方向和与插入部行进区域7sr的长度大致相等的量作为形状变化信息KA向预先形状推测部33和操作推测部34送出。
另外,在本实施方式中使用的形状传感器单元23构成为,能够检测插入部7的弯曲方向。由此,在第j和第k定时信号Tj、Tk的各发生时间点,能够根据从形状传感器单元23输出的检测信号D,判定X方向、Y方向等的弯曲方向以作为插入部7的操作的状态之一。例如,如果根据从形状传感器单元23输出的检测信号D,相对于X方向和Y方向没有变化,则变化导出部32输出表示在插入部7的形状中没有变化的形状变化信息KA。操作推测部34当接收到表示在插入部7的形状中没有变化的形状变化信息KA,则推测为插入部7仅仅被插入。
如果根据该检测信号D,相对于X方向和Y方向有变化,则变化导出部32输出表示在插入部7的形状中在X方向和Y方向上有变化的形状变化信息KA。操作推测部34当接收到表示在插入部7的形状中有变化的形状变化信息KA,则基于插入部7的X方向和Y方向上的形状的变化,推测例如对插入部7在扭转方向上也进行了操作。
另外,有在插入部7中的插入部类似形状区域RL的前端侧、插入部行进区域7sr、插入部后退区域(未图示)或插入部形状非类似区域NLR都不存在的情况。在此情况下,表示插入部7的前端停止。
在比插入部类似形状区域LR靠操作部9侧,有存在插入部非类似形状区域NLR的情况。插入部非类似形状区域NLR是通过作业者的操作而产生的。
图16表示通过作业者的操作而插入部7的前端部行进了插入部行进区域7sr的量、进而在操作部9侧发生了插入部形状类似区域LR的例子。由此,作业者的操作的方向成为插入部7的插入方向。操作的量为与对插入部行进区域7sr的长度加上为了产生插入部非类似形状区域NLR所需要的插入量而得到的长度大致相等的量。
[操作推测部34的动作]
操作推测部34推测作业者进行了的作业者的操作,作为该作业者操作信息L输出。操作推测部34假定插入部7的形状变化是作业者的操作的结果,基于形状变化信息KA推测在从第j定时信号Tj的发生时间点到第k定时信号Tk的发生时间点的期间中进行了的操作,作为作业者操作信息L输出。
在本实施方式中,关于由作业者进行的操作的推测,仅以作业者的直接操作为对象进行说明,但操作推测部34当然也能够推测对于操作手柄11进行的操作。
第j插入部形状Fj通过与第k插入部形状Fk进行比较,如图15所示,在比插入开口2a靠观察对象物2的内部空间3侧,大致整体成为插入部类似形状区域LR。另外,在第k插入部形状Fk中,通过作业者的操作,向观察对象物2的内部空间3的里侧行进了插入部行进区域7sr的量。
因而,操作推测部34推测为:作业者进行插入方向的推入操作,插入部7向观察对象物2的内部空间3行进了插入部行进区域7sr的量。
操作推测部34推测操作的种类是推入、操作方向是从插入开口2a露出的插入部7的中心轴方向。推测插入部7的插入量是插入部行进区域7sr的长度。
插入部行进区域7sr的长度例如能够如图15及图16所示那样基于插入部7的形状的各特征部Crj、Crk来推测。插入部7的形状的各特征部Crj、Crk能够根据在形状传感器单元23的光纤传感器8上设置的各弯曲形状检测部8b在插入部7上的位置、来自检测时插入部形状计算部30的信息、以及变化导出部32的信息等来推测。
本实施方式的各特征部Crj、Crk分别设定为插入部7弯曲而成为特定的形状的部分,例如凸部比其他区域更为锐角的形状、凸状的形状等不为平滑的形状的形状部分。另外,特征部Crj是在第j定时信号T的发生时间点出现的形状部分,特征部Crk是在第k定时信号T的发生时间点出现的形状部分。
这里,在第j定时信号Tj发生时,当配置在距插入部7的前端部7a例如20cm的位置处的弯曲形状检测部8b正好与特征部Crj的顶点一致,则可知该特征部Crj的位置是距插入部7的前端20cm的位置。
在第k插入部形状Fk发生时,当配置在距插入部7的前端部7a例如30cm的位置处的其他的弯曲形状检测部8b、和配置在距该前端部7a例如40cm的位置处的其他的弯曲形状检测部8b的中间位置正好与特征部Crk的顶点一致,则可知该特征部Crk的位置是距插入部7的前端35cm的位置。
由此,插入部7向观察对象物2的内部空间3的插入量、即插入部行进区域GR的长度,是第k定时信号Tk的发生时的特征部Crk的位置(35cm)与第j定时信号Tj的发生时的特征部Crj的位置(20cm)之差,为35cm-20cm=15cm。
如图16所示,在插入部7存在非类似形状区域NLR的情况下,插入部7的插入量需要进一步考虑插入部7上的非类似形状区域NLR的长度的变化。在此情况下,由于插入部7中的非类似形状区域NLR位于插入部7的操作部9侧,所以无法用特征部Crj、Crk的位置进行插入部行进区域GR的长度的计算。
在这样的情况下,操作推测部34能够根据从形状传感器单元23输出的检测信号D计算插入部7的长度。即,形状传感器单元23由于能够检测插入部7的形状信息作为相对位置信息,所以能够通过各种各样的数学方法求出插入部7的长度。
例如,如图16所示,当第j定时信号Tj的发生时间点的插入部7的非类似形状区域NLR的长度与第k定时信号Tk的发生时间点的插入部7的非类似形状区域NLR的长度之差例如是5cm,则操作推测部34将插入部7的插入量计算为对先行求出的15cm加上5cm的量即20cm。将该插入部7的插入量即20cm作为作业者操作信息L向预先形状推测部33送出。
另外,不言而喻,图15表示使用特征部Crj、Crk求出插入部7的插入量的例子,但对于该例,当然也能够计算基于由形状传感器单元23检测出的信息而计算出的插入部7的长度的差,作为插入部7的插入量。
[预先形状推测部33的动作]
预先形状推测部33接收从变化导出部32输出的形状变化信息KA和从操作推测部34输出的作业者操作信息L的某一方或双方,基于形状变化信息KA或作业者操作信息L的某一方或双方来预先推测插入部7的形状。
在本实施方式中,参照图15对使用了作业者操作信息L的例子进行说明。
如上述那样,操作的种类是推入,操作方向是从插入开口2a露出到外部的插入部7的中心轴的方向,操作量是插入部行进区域7sr的长度,例如是15cm。
预先形状推测部33基于作为操作的种类的推入、作为操作方向的插入部7的中心轴的方向、和作为操作量的插入部行进区域7sr的长度,推测预先插入部形状信息M。
自然数h设为比k大的自然数。
假设形状传感器控制部31处于已经输出了第j和第k定时信号Tj、Tk但第h定时信号Th尚未输出而在未来输出的状态。这里,假设第j和第k定时信号Tj、Tk的时间间隔与第k和第h定时信号Tk、Th的时间间隔相等。定时信号T如符合图9所示的时间经过的输出示意所示那样。
预先形状推测部33,假定朝向从插入开口2a露出的插入部7的中心轴方向的推入操作进行了例如15cm后、进一步向相同方向将相同的操作进行相同的操作量,推测预先插入部形状信息M。
如图15所示,通过从第j定时信号Tj到第k定时信号Tk的发生的期间中的作业员的操作,插入部7被向观察对象物2的内部空间3插入。
因而,预先形状推测部33与上述同样地,假设插入部7被进一步进行了15cm的推入操作,推测插入部7的预先插入部形状信息M。
此时,在本实施方式中,由于预测到插入部7的前端部7a在之后行进到观察对象物2的内部空间3中的该前端部7a还没有到达的区域,所以需要推测该区域、即图16所示那样的插入部行进区域7sr的更前端侧的信息。
图17A表示第j插入部形状Fj,图17B表示第k插入部形状Fk。第k插入部形状Fk包括推测出的插入部行进区域7sr。
图17C表示得到了观察对象物2的内部空间3的例如形状等的大致信息的情况下的、第h定时信号Th的发生时从形状计算部30输出的插入部形状信息Fh1。在插入部形状信息Fh1中包含推测出的插入部行进区域7sr(a)。即,预先形状推测部33基于观察对象物2的内部空间3的大致的形状信息,假设插入部行进区域7sr(a)仿照其而插入部7行进,推测预先形状推测信息M。
另一方面,在没有观察对象物2的内部空间3的大致的形状等的信息的情况下,预先形状推测部33将插入部7的虚拟的形状、例如直线形状等预先设定的形状设定为虚拟的形状,基于该虚拟的形状的信息推测插入部7的预先插入部形状信息M。
图17D表示在没有观察对象物2的内部空间3的例如形状等的大致信息的情况下的、第h定时信号T的发生时从形状计算部30输出的插入部形状信息Fh2。在插入部形状信息Fh2中包含推测出的插入部行进区域7sr(b)。插入部行进区域7sr(b)与上述插入部行进区域7sr(a)相比,为直线形状。
预先形状推测部33设想以插入部7中的类似形状区域LR的形状没有变化的状态、插入部7在作业者的插入操作下进一步行进插入操作量,预先推测插入部7的形状。
这样,根据上述第2实施方式,由变化导出部32将相互不同的定时的插入部7的形状信息进行比较而提取类似形状区域LR,基于该类似形状区域LR,计算插入部7的形状变化的种类、形状变化的方向和形状变化的变化量,由操作推测部34推测为,插入部7向观察对象物2的内部空间3行进了当作业者进行推入操作时的插入部行进区域7sr的量,由预先形状推测部33基于作为操作的种类的推入、作为操作方向的插入部7的中心轴的方向、和作为操作量的插入部行进区域7sr的长度,推测预先插入部形状信息M。
由此,能够预先推测当作业者继续当前的操作时在下个定时可能产生的插入部7的形状,将该推测出的形状作为插入操作辅助信息显示在显示部6等上而向作业者提供。结果,与以往的内窥镜系统相比,能够缩短训练及技能提高所需要的时间。即使是经验或技能水平较低的作业者,也能够比较容易地将插入部7相对于观察对象物2的内部空间3插入、拔除。
特别是,在本实施方式中,即使在插入部7的整体的形状变化了的情况下,也由于检测插入部7的形状类似的类似形状区域LR,所以能够预先推测在下个定时可能产生的插入部7的形状。
[第2实施方式的第1变形例]
接着,参照附图对第2实施方式的第1变形例进行说明。另外,在本变形例中,关于与上述第2实施方式相同的部分省略其说明,对与其不同的部分进行说明。
本变形例中,变化导出部32的动作与上述第2实施方式不同。在上述第2实施方式中,表示了使用插入部类似形状区域LR计算作为形状变化信息KA的插入部7的移动方向和移动的量的例子,而在本变形例中,代替插入部类似形状区域LR而使用插入部7的弯曲部的顶点的间隔即顶点部间距离相同区域。
[变化导出部32的动作]
图18表示第j和第k插入部形状Fj、Fk的例子。本变形例适用于如下情况,即:无法如上述第1实施方式那样将插入部7的形状分类为第1和第2形状不变区域KE2a、KE2b、和形状变化区域KE1,并且无法如上述第2实施方式那样提取插入部类似形状区域LR,另一方面,存在多个弯曲部,这些弯曲部的各顶点间的距离相互相等。
即,例如,在第j和第k插入部形状Fj、Fk中,分别存在3个弯曲部。这些弯曲部在第j插入部形状Fj中称作第1特征部jw1、第2特征部jw2、第3特征部jw3,在第k插入部形状Fk中称作第1特征部kw1、第2特征部kw2、第3特征部kw3。
第1特征部jw1、第2特征部jw2、…、第3特征部kw3分别具有弯曲部的顶点。
第j插入部形状Fj等中的第1至第3特征部jw1~jw3和第1至第3特征部kw1~kw3为各顶点的间隔相互相等、并且弯曲的各方向相等的关系。在第1至第3特征部jw1~jw3和第1至第3特征部kw1~kw3中,通过将第1至第3特征部jw1~jw3和第1至第3特征部kw1~kw3的位置关系进行比较,来识别各顶点的间隔相互相等并且弯曲的各方向相等。图18中的G1表示没有被第1至第3特征部kw1~kw3夹着的区域。另外,该区域G1存在多个,但在图18中由于难以将全部的区域G1图示,所以作为一例而表示1个区域G1。
首先,变化导出部32计算插入部7的弯曲部的各顶点的坐标。弯曲部的各顶点的坐标可以根据第j和第k插入部形状信息Fj、Fk容易地求出。
变化导出部32根据插入部7中的弯曲部的各顶点的坐标,计算该各顶点间的距离、和弯曲的各方向。弯曲的各方向为弯曲部的各顶点的相对方向。
即,在第j插入部形状信息Fj中,求出第1特征部jw1、第2特征部jw2和第3特征部jw3的相对位置关系及间隔。同样,在第k插入部形状信息Fk中,求出第1特征部kw1、第2特征部kw2和第3特征部kw3的相对位置关系及间隔。
关于这些第j插入部形状信息Fj中的第1特征部jw1、第2特征部jw2和第3特征部jw3的相对位置关系及间隔、以及第k插入部形状信息Fk中的第1特征部kw1、第2特征部kw2和第3特征部kw3的相对位置关系及间隔,可以分别在共通的坐标轴上计算各坐标的信息。
关于这些第1特征部jw1、第2特征部jw2和第3特征部jw3的顶点的间隔、以及第1特征部kw1、第2特征部kw2和第3特征部kw3的顶点的间隔,可以分别作为标量的信息求出,也可以将作为向量的方向信息包含在内而求出弯曲的各方向。
在求取这些位置关系及间隔的情况下,将第1至第3特征部jw1~jw3与第1至第3特征部kw1~kw3进行比较是怎样的技术、方法都可以。
变化导出部32将第j插入部形状信息Fj间的第1特征部jw1、第2特征部jw2和第3特征部jw3的相对位置关系及间隔、与第k插入部形状信息Fk中的第1特征部kw1、第2特征部kw2和第3特征部kw3的相对位置关系及间隔进行比较,提取大致相同的位置关系及间隔,作为第j插入部形状信息Fj中的第1特征部jw1、第2特征部jw2和第3特征部jw3、以及第k插入部形状信息Fk中的第1特征部kw1、第2特征部kw2和第3特征部kw3。
第1特征部jw1、第2特征部jw2、第3特征部jw3、第1特征部kw1、第2特征部kw2和第3特征部kw3中的各顶点,如果是在该顶点的周围什么都没有的状态,则应该存在于直线上。但是,通过被插入到观察对象物2的内部空间3,插入部7根据观察对象物2的内部空间3的构造而弯曲的可能性较高。
进而,由于第j、k的插入部形状信息Fj、Fk间的第1特征部jw1、第2特征部jw2、…、第3特征部kw3的各顶点是凸部,所以插入部7的凸侧是与观察对象物2的内部空间3接触的部分的可能性较高。
此外,在观察对象物2的内部空间3中,根据该内部空间3的管孔形状的特征,某种程度决定了弯曲而容易与插入部7接触的地方。由此,在第j、k的插入部形状信息Fj、Fk间的第1特征部jw1、第2特征部jw2、…、第3特征部kw3的各顶点的相对位置关系、间隔大致相等的情况下,插入部7与观察对象物2的内部空间3中的相同的内壁面接触的可能性较高。即,可以推测为插入部7存在于相同的地方。
此外,变化导出部32在第j插入部形状Fj中的第1至第3特征部jw1~jw3的相对位置关系与第k插入部形状Fk中的第1至第3特征部kw1~kw3的相对位置关系大致相等的情况下,判定为第1特征部jw1和第1特征部kw1存在于相同位置、第2特征部jw2和第2特征部kw2存在于相同位置、第3特征部jw3和第3特征部kw3也存在于相同位置。
进而,变化导出部32基于第1至第3特征部jw1~jw3和第1至第3特征部kw1~kw3的各顶点的间隔和弯曲的各方向的信息,求出插入部7的移动方向和移动量。即,关于移动方向,当比较第j插入部形状信息Fj与第k插入部形状信息Fk,则可知插入部7如图18所示那样在观察对象物2的内部空间3伸展了插入部行进区域GR的量。由此,移动方向成为插入部7的插入方向。插入部7的移动的量成为对与插入部行进区域GR的长度大致相等的长度加上到第1至第3特征部kw1~kw3的长度的差而得到的长度。另外,关于插入部7的移动量的求出方法,能够与上述第2实施方式中的插入部7的移动量的求出方法同样地求出。进而,能够使用与上述第2实施方式中的预先推测插入部7的形状的方法相同的方法推测预先形状信息M。
由此,能够预先推测当作业者继续当前的操作时、在下个定时可能产生的插入部7的形状,将该推测出的形状作为插入操作辅助信息显示在显示部6等上而向作业者提供。结果,与以往的内窥镜系统相比,能够缩短训练及技能提高所需要的时间。即使是经验或技能水平较低的作业者,也能够比较容易地将插入部7相对于观察对象物2的内部空间3插入、拔除。
特别是,在本实施方式中,即使在插入部7的整体的形状变化了的情况下,也由于检测插入部7的形状类似的类似形状区域LR,所以能够预先推测在下个定时可能产生的插入部7的形状。
[第3实施方式]
接着,参照附图对本发明的第3实施方式进行说明。另外,对于与第1及第2实施方式相同的部分赋予相同的标号而省略其详细的说明。
本实施方式的与上述第1及第2实施方式不同的点是,包括对观察对象物2的内部空间3中的内表面轮廓的至少一部分进行推测的内表面轮廓信息推测部(以下称作轮廓推测部)50。
内表面轮廓表示观察对象物2的内部空间3的内表面的形状信息。以内窥镜为代表的插入/拔除作业系统中,进行作业的观察对象物2包含较窄的内部空间3的情况较多。插入部7按照该观察对象物2的较窄的内部空间3的形状而朝向观察对象物2的内部空间3的里侧方向行进来进行作业。
因此,插入/拔除作业系统的插入部7,其一部分与观察对象物2的内部空间3的内表面接触而通过作业者的操作向里侧方向行进。因而,如果能够推测插入部7与观察对象物2的内表面接触的地方,则能够大体推测观察对象物2的内表面轮廓。如果能够推测观察对象物2的内表面轮廓,则能够灵活运用于插入部7的形状的预先的推测。由此,能够向作业者提供内表面轮廓信息,能够更容易地实现插入/拔除作业系统。
图19表示辅助信息单元22的结构图。辅助信息单元22的基本结构与上述第1实施方式相同。本实施方式中的辅助信息单元22包括观察对象物2的轮廓推测部50。即,辅助信息单元22除了形状计算部30、形状传感器控制部31、变化导出部32、预先形状推测部33和操作推测部34以外,还包括观察对象物2的轮廓推测部50。
轮廓推测部50接受来自变化导出部32的信息而推测观察对象物2的内表面轮廓信息FD,将该内表面轮廓信息FD向预先形状推测部33发送。内表面轮廓信息FD还能够作为辅助信息而经由显示部6被信息提供给作业者。
接着,对如上述那样构成的辅助信息单元22的动作进行说明。
辅助信息单元22的基本动作与上述第1和第2实施方式相同,对不同的部分进行说明。
轮廓推测部50基于来自变化导出部32的信息推测观察对象物2的内表面轮廓。轮廓推测部50包括预先轮廓信息存储器50a。在预先轮廓信息存储器50a中,预先存储有与观察对象物2的内表面轮廓有关的预先信息。
轮廓推测部50使用预先存储在预先轮廓信息存储器50a中的与观察对象物2的内表面轮廓有关的事前信息,推测观察对象物2的内表面轮廓。
[轮廓推测部50的动作]
轮廓推测部50关于来自变化导出部32的信息,如下述第1~第5功能那样推测观察对象物2的内表面轮廓。
(第1功能)
有插入部7的整体的形状尽管在时间上变化、也局部地存在相同形状的区域的情况。在此情况下,假设插入部7的相同形状的区域是因为成为仿形于观察对象物2的内部空间3的内表面形状的形状,推测为呈现与内表面轮廓大致接近的形状。
(第2功能)
在特征部的位置关系、例如第j插入部形状Fj中的第1至第3特征部jw1~jw3的相对位置关系和第k插入部形状Fk中的第1至第3特征部kw1~kw3的相对位置关系相等的情况下,推测为插入部7处于观察对象物2的内部空间3中的相同位置,例如作为各特征部jw1~jw3的顶点(外侧)接触于观察对象物2的内部空间3的内表面。
(第3功能)
与上述第2功能同样,在各特征部的位置关系相等、并且各特征部jw1~jw3之间的区域为凸状的情况下,推测为该区域也与观察对象物2的内部空间3的内表面接触。
(第4功能)
关于多个不连续的内表面轮廓区域,在能够平滑地连接的情况下以此为依据来推测内表面轮廓。
(第5功能)
在推测出的多个内表面轮廓不平滑地相连的情况下,将优先次序设为第1功能、第2功能、第3功能、第4功能的顺序,关于低次序者设为无法推测内表面轮廓的情况而将由该推测得到的信息删除。
接着,对轮廓推测部50的动作进行说明。在该动作的说明中,关于在上述第1和第2实施方式中说明的例子,对于推测内表面轮廓的一例,使用上述图5所示的第1实施方式的例子进行说明。另外,假设作为事前信息而给出了观察对象物2是生物体的内脏。假设作为观察对象的内脏通过插入部7的推压力能够在观察对象物2内某种程度地移动。假设这些事前信息被存储在轮廓推测部50的预先轮廓信息存储器50a中。进而,假设内脏例如像大肠那样是筒状的内脏这一情况被存储在预先轮廓信息存储器50a中。
对这样的情况下的由轮廓推测部50进行的内表面轮廓推测的过程进行说明。
轮廓推测部50通过第1功能在形状不变区域KE2a、KE2b的周围推测内表面轮廓。
接着,轮廓推测部50通过第3功能推测形状变化区域KE1的弯曲的顶点(外侧)的内表面轮廓。
最后,轮廓推测部50根据观察对象物2是筒状这一信息,推测弯曲的顶点的内侧的轮廓。在该例的情况下,轮廓推测部50能够关于插入部7存在的区域的整体推测内表面轮廓。另外,在插入部7的前端侧的形状不变区域KE2b中,观察对象物2的内壁移动,随之内表面轮廓也变化。
接着,使用上述图15所示的第2实施方式的例子进行说明。在该例中,假定与观察对象物2的内表面轮廓有关的信息没有存储在预先轮廓信息存储器50a中。在此情况下,无法如图21所示那样推测插入部7的整体的内表面轮廓。
轮廓推测部50通过第2功能,对3处的凸部假定与观察对象物2的内表面接触来推测内表面轮廓。
并且,轮廓推测部50通过第3功能,对插入部7的插入部类似形状区域LR的凸方向的侧面,假定插入部7与观察对象物2的内表面接触,推测内表面轮廓。
进而,轮廓推测部50通过第4功能,将通过第1功能的推测和第3功能的推测而不连续的部分平滑地相连那样的区域(例如,在图21上部通过虚线表示的内表面轮廓PN)连接而将内表面轮廓的可推测的区域扩大。另外,在该例中,虽然无法遍及插入部7的整体而推测内表面轮廓,但通过假定筒状,关于无法推测的部分,也能进行信息提供、显示等。推测出的对象物内表面轮廓信息FD被存储到信息存储部35中。此外,对象物内表面轮廓信息FD也可以被向显示部6输出。
进而,使用上述图18所示的第2实施方式的例子进行说明。关于该例,也假定与观察对象物2的内表面轮廓有关的信息没有存储在预先轮廓信息存储器50a中。在此情况下,与图15所示的例子同样地无法推测整体的内表面轮廓,通过第2功能,利用特征部的相对位置关系大致相等的情况,能够推测为相对于观察对象物2存在于相同的区域。此时,第1特征部jw1与第2特征部jw2之间、以及第2特征部jw2与第3特征部jw3之间的区域为向该图右侧稍稍凸的形状。由此,通过第3功能,关于该区域也能够如图22所示那样推测内表面轮廓。
进而,在第j插入部形状Fj中,第2特征部jw1与第3特征部jw3之间的区域向图右下侧凸,而在第k插入部形状Fk中,第2特征部kw1和第3特征部kw3为稍稍向左上侧凸的形状。因而,关于该区域的左上侧的轮廓,虽然无法通过第j检测时插入部形状Fj推测内表面轮廓,但通过使用第k插入部形状Fk,能够用第3功能推测内表面轮廓。
另外,有虽然暂时推测出内表面轮廓、但之后由于插入部7的形状变化而变化为无法推测的区域的情况。在这样的情况下,由于难以认为观察对象物2的内表面或出现或消失,所以设为内表面轮廓存在,轮廓推测部50继续动作。
进而,在本实施方式中,插入/拔除作业系统为内窥镜装置。轮廓推测部50能够通过将从该内窥镜装置中包含的摄像元件7d输出的摄像信号进行图像处理而取得观察图像,使用该观察图像等推测内表面轮廓信息。例如,轮廓推测部50能够根据观察图像得知观察对象物2的内表面是较大的空间还是筒状。轮廓推测部50能够基于这些信息,自动地或通过来自作业者的输入来提高内表面轮廓信息的可靠度。
轮廓推测部50将通过上述过程推测出的内表面轮廓信息FD存储到信息存储部35,并向预先形状推测部33输出。此外,还可以向显示部6输出。
[预先形状推测部33的动作]
关于预先形状推测部33的动作,使用在上述图5、图20所示的第1实施方式中使用的例子进行说明。
图20表示与第j、k插入部形状信息Fj、Fk对应的观察对象物2的内部空间3的内表面轮廓G2j、G2k。
如上述那样,观察对象物2具有例如大肠那样的筒状的内表面轮廓。在预先轮廓信息存储器50a中存储有能够在观察对象物2的内部移动的信息。
如图20所示,在第j插入部形状Fj与第k插入部形状Fk之间,在插入部7的前端侧,观察对象物2的内表面轮廓G2j、G2k较大地变形。该内表面轮廓G2j、G2k的变形是由来自插入部7的推压力引起的。此外,即使内脏在生物体内能够移动,内脏也有移动的极限。由此,预想当对插入部7施加了相同的推压力时、插入部7不会相同地变形而是变形量逐渐变小。另外,GF1表示通过第1功能推测出的内表面轮廓,GF2表示通过第3功能推测出的内表面轮廓。
考虑这些信息,与上述第1实施方式的上述图10、图11及图12中表示的第h定时信号Th的发生时的预先插入部形状信息M相比,预先形状推测部33推测为其变形例较小。
此时,在观察对象物2的内表面能够移动的距离及移动所需要的应力等信息预先存储在预先轮廓信息存储器50a中的情况下,预先形状推测部33使用该信息进行适当的物理运算来推测预先插入部形状信息M。推测出的预先插入部形状信息M被存储到信息存储部35中。
另外,在上述说明中,表示了观察对象物2的内表面轮廓G2j、G2k能够移动的例子,但在预先轮廓信息存储器50a中存储有例如如工业配管等那样不能移动的情况下,预先形状推测部33设为插入部7仅能存在于假设观察对象物2的内表面轮廓G2j、G2k不移动而推测出的内表面轮廓的内部,来推测预先插入部形状信息M。
这样,通过如第3实施方式那样构成,当作业者继续当前的操作时,能够预先预测在下个定时可能产生的插入部7的形状,将其作为插入操作辅助信息向作业者进行显示、提供。结果,本实施方式与以往的内窥镜系统相比,能够期待能够缩短训练或技能提高所需要的时间、即使是经验或技能水平较低的作业者也能够比较容易地将内窥镜插入、拔除等效果。
特别是,通过如本实施方式那样能够推测观察对象物2的内表面轮廓G2j、G2k,能够提供观察对象物2的内部空间3的构造信息、观察对象物2和插入部7的位置关系等信息,所以起到作业者容易直观地掌握时时刻刻的信息等的效果。
[第3实施方式的第1变形例]
接着,对第3实施方式的第1变形例进行说明。
图23表示本变形例的辅助信息单元22的结构图。在上述实施方式中,表示了包含轮廓推测部50的例子,但本变形例的辅助信息单元22如图23所示,包括推测观察对象物2的负荷推测信息的观察对象物负荷推测部(以下称作负荷推测部)60这一点与上述第3实施方式不同。
负荷推测部60将来自轮廓推测部50的内表面轮廓信息FD、来自检测时插入部形状推测部30的插入部形状信息F、来自操作推测部34的作业者操作信息L、及/或来自预先形状推测部33的预先插入部形状信息M组合,推测作用于观察对象物2的负荷,作为观察对象物负荷推测信息KG。
对将内表面轮廓信息FD与插入部形状信息F组合的例子进行说明。在该例中,假设观察对象物2相对于插入部7充分硬,观察对象物2的内表面轮廓不变形。
首先,如图24所示,假设曾经是第j插入部形状Fj但变形为第k插入部形状Fk。插入部7在从外部没有作用负荷的情况下大致维持直线形状。在第j插入部形状Fj的情况下,如图24左图所示,插入部7的前端部7a通过与观察对象物2接触而作用推压力FO,成为弯曲的形状。
接着,作业者进一步对插入部7进行推入方向的操作,结果,插入部7成为第k插入部形状Fk。此时,插入部7通过在至少3处与观察对象物2接触而成为该形状。
负荷推测部60使用在辅助信息单元22内的信息存储部35中存储的插入部7的挠曲容易度及为了成为该形状所需要的推压力等信息进行适当的运算,作为求出的推压力的反作用力,推测插入部7作用于观察对象物2的推压力。负荷推测部60推测出的观察对象物负荷信息KG被存储到信息存储部35中。
进而,即使是观察对象物2如生物体那样内表面轮廓变形或移动的情况,通过使信息存储部35存储观察对象物2的变形容易度及变形所需要的推压力的信息等,负荷推测部60也能够通过同样的方法推测作用于观察对象物2的推压力。
此时,负荷推测部60通过灵活运用来自操作推测部34的作为作业者操作的信息的操作的种类、方向、量的信息,能够推测对推压力FO带来影响的直接性操作。由此,能够进一步提高关于推压力FO的值及其影响等的精度。
此外,负荷推测部60还能够将预先插入部形状信息M组合。在使用预先插入部形状信息M的情况下,虽然轮廓推测部50的基本动作不变,但通过使用该信息,也能够预先知道在未来的定时附加于观察对象物2的推压力。
如本实施方式的第1变形例那样,通过推测作用于观察对象物2的负荷(推压力FO),能够推测作用于观察对象物2的推压力FO等。由此,能够在过去、现在或未来定性或定量地评价观察对象物2的负荷。进而,在观察对象物2是生物体的情况下,能够推测患者受到的疼痛、内脏损伤的可能性等,在医疗用内窥镜等中,能够减轻患者的负荷、内脏破损等的风险。
另外,不言而喻,与上述第1实施方式同样,与以往的内窥镜系统相比,能够期待缩短训练或技能提高所需要的时间、即使是经验或技能水平较低的作业者也能够比较容易地将内窥镜插入、拔除等效果。
[第4实施方式]
接着,参照附图对本发明的第4实施方式进行说明。另外,在本实施方式中,关于与上述第1至第3实施方式共通的部分省略其说明,仅对与其不同的部分详细地说明。
在本实施方式中,操作推测部34作为对预先作业者操作信息进行推测的预先操作推测部34发挥功能这一点与上述第1至第3实施方式不同。以下,将操作推测部34改记作预先操作推测部34而进行说明。
在上述第1及第2实施方式中,操作推测部34基于插入部形状信息F推测过去或到当前为止进行了的作业者的操作。预先形状推测部33仅设想过去或到当前为止进行了的作业者的操作原样继续的情况来推测事前(预先)插入部形状信息M。
相对于此,本实施方式的预先操作推测部34预先推测未来作业者有可能进行的作业者操作,将其向预先形状推测部33输出。另外,预先操作推测部34以外的结构、功能基本上与上述第1至第3实施方式是共通的。
[预先操作推测部34的动作]
作业者操作信息推测部34通过在上述第1实施方式中说明的动作推测作业者操作信息L。该作业者操作信息L是与过去或到当前为止进行了的作业者操作有关的信息。作业者操作信息L包括操作的种类、操作的方向、操作的量的信息。
预先操作推测部34将这些作业者操作信息L输入,推测作为未来的作业者操作的预先作业者操作信息L(=LF)。预先操作推测部34还接收作业者操作信息推测部34包含的形状变化信息KA,使用该信息KA推测预先作业者操作信息LF。
作业者的操作有以下3个基本操作:第1,如插入/拔除那样将插入部7相对于观察对象部3内插入/拔除的操作;第2,如旋转/扭转操作那样使插入部7绕该插入部7的轴旋转的操作;第3,如弯曲操作那样由操作手柄11进行的弯曲部的操作。即,操作的种类存在关于插入/拔除的第1操作、关于旋转/扭转的第2操作、关于弯曲的第3操作这3个。此外,这些操作能够独立或同时进行。
某个定时的作业者的操作与下个定时的作业者的操作的关系,以操作的种类、方向的观点来看,有操作的继续、停止、反转(相同的操作并且操作的方向相反的操作)这3种。
预先操作推测部34关于从操作推测部34输入的作业者操作L的种类、方向,考虑继续、停止、反转这3个的可能性而进行推测。
此外,预先操作推测部34关于操作的量也同样地考虑继续(继续相同的量)、减量、增量这3个的可能性而进行推测。这里,操作的量也有“操作量零=停止”的情况。该操作量零=停止,由于与以操作的种类、方向考虑的停止相同,所以将操作的量作为零来考虑。
预先操作推测部34基于这些,关于操作的种类、方向,设想以下的3个模式来预先推测作业者的操作。另外,可以认为作业者操作是单纯的操作和它们的组合的操作。例如在一边插入一边施加扭转等那样的复合性操作的情况下,按插入和扭转的每个操作,将下述第1至第4预先作业者操作作为候选来推测。
(1)第1预先作业者操作
在该操作中,将过去或到当前为止进行了的操作的种类、方向、量原样继续而进行推测。预先操作推测部34将从操作推测部34接受到的作业者操作信息L原样向预先形状推测部33输出。
(2)第2预先作业者操作
在该操作中,将过去或到当前为止进行了的操作停止而进行推测。
(3)第3预先作业者操作
在该操作中,操作的种类维持不变而进行使方向反转的操作来进行推测。
(4)第4预先作业者操作
在该操作中,将当前没有进行的操作重新开始而进行推测。
关于操作的量,在第2预先作业者操作中为“停止”,所以操作量的信息始终为零。在第4预先作业者操作中始终为增量。进而,在第3预先作业者操作中方向反转是指,暂时减量然后向反转方向即负方向增量,所以始终为减量。
这样,能够对应于第1至第4预先作业者操作而缩减操作量的选择项。
预先操作推测部34对于这些,基于包括过去及到当前为止的最新的作业者操作的1个或多个作业者操作信息,推测预先作业者操作信息L(=LF)。
预先操作推测部34推测进行第1至第4的哪个预先作业者操作。
首先,在作业者连续地进行相同的操作、并且根据形状变化信息KA能够判断为向观察对象物2的插入/拔除的操作顺利地进行的情况下,即在作业者操作的方向和量与插入部7的移动方向、量大致相等那样的情况下,预先操作推测部34判断为同样的作业继续的可能性高。即,预先操作推测部34推测为进行第1预先作业者操作的可能性高。
另一方面,在作业者频繁地将操作变更、并且根据形状变化信息KA能够判断为向观察对象物2的插入/拔除的操作没有顺利地进行的情况下,例如在与作业者操作的方向、量相比插入部7特别是前端部附近的移动方向、量不同或几乎没有移动的情况下,预先操作推测部34推测为同样的作业继续的可能性低、暂时停止而接着进行不同方向的操作的可能性高。即,预先操作推测部34推测为在进行第2预先作业者操作后进行第3、第4预先作业者操作。
进而,可以认为,在相同的作业者操作在一定时间以上长时间连续的情况下、特别是在操作量逐渐减量那样的情况下其操作的目的已达成。由此,预先操作推测部34推测在进行第2预先作业者操作后进行第3、第4预先作业者操作。
关于操作的量,预先操作推测部34在继续相同的操作的情况下,在开始该操作后规定时间以下的情况下推测为增量的可能性高。预先操作推测部34在继续了规定时间以上的情况下,推测为维持或减量的可能性高。此外,同样地,在第3或第4预先作业者操作的情况下,预先操作推测部34推测为必定为增量但该量的大小状况急剧地成为较大值的可能性小。
进而,在作业者的作业时间本身为长时间的情况下(内窥镜系统当然具有时钟,能够管理作业的时间,所以通常能够使用该信息),预先操作推测部34还灵活运用进行拔除方向的操作的可能性高等状况性信息来推测预先作业者操作。
进而,预先操作推测部34根据将同样的观察对象物2进行了观察的情况下的过去的辅助信息日志的分析结果等,对某个操作将接下来进行的可能性高的操作等按每个观察对象物2、作业者、内窥镜装置等进行分析,使用该分析结果推测预先作业者操作信息。这里所述的辅助信息日志,是在使用辅助信息单元22的插入拔除作业系统的作业中、使信息存储部存储各部接收、生成的各种各样的信息并在之后回顾进行了怎样的作业、操作的系统。
辅助信息日志,能够根据目的仅提取需要的日志,能够解析插入操作的次序和插入/拔除的成功与否等。辅助信息日志设在辅助信息单元22内,具有与各部实现了信号连接的存储器和用来将其调用的数据处理程序。此外,辅助信息单元22能够使显示部显示辅助信息日志。
另外,在预先作业者操作的情况下,难以正确地推测操作量。因此,也优选构成为,将该操作中的标准的操作量作为默认值进行保持、并将其输出。关于默认值,可以参照辅助信息日志的值来设定、或根据该值适当修正。
这里,关于上述,表示了将插入/拔除操作、旋转/扭转操作、弯曲操作这3个基本操作分别独立地推测预先作业者操作的例子,但当然也存在将它们复合地进行的组合操作。例如,有一边扭转一边进行插入/拔除的情况。这样的组合在理论上是完全可能的,但在实际的作业中,一边插入一边加以扭转并进一步进行弯曲操作等的操作是极少的。
此外,与组合操作相比,更一般的是单独进行操作。因此,预先操作推测部34在推测为进行来自作业者的辅助信息日志的信息、或特定的医学性手动操作等的情况等判断为进行组合操作的可能性高的情况下,关于组合操作也进行考虑来进行推测。推测出的预先作业者信息被存储到信息存储部中。
此外,预先操作推测部34具有对预先形状推测部33并行输出多个预先作业者操作信息L(=LF)的功能。这由于预先作业者操作信息L(=LF)不是实际的作业者的操作,所以作业者当然有可能进行不同的操作。所以,通过以发生的可能性高的顺序将多个预先作业者操作信息L(=LF)向预先形状推测部33输出,预先形状推测部33能够推测可能产生的多个预先插入部形状。此时,预先操作推测部34考虑上述那样的各种各样的信息、状况,按可能发生的顺序对预先作业者操作信息L(=LF)赋予位次,并按照该顺序向预先形状推测部33输出。在难以赋予位次的情况或信息不足的情况下,从上述第1预先作业者操作信息起,以第2、第3、第4预先作业者操作信息L(=LF)的顺序进行输出。
接受到该信息,预先形状推测部33基于输入的全部的预先作业者操作信息L(=LF)推测预先插入部7的形状。预先作业者操作信息L(=LF)成为与作业者操作信息L相同种类的信息。因此,预先形状推测部33对预先作业者操作信息L(=LF)进行与作业者操作信息L相同的动作。
通过如本实施方式那样构成,能够预先推测在下个定时可能产生的插入部7的形状,将其作为插入操作辅助信息向作业者进行显示、提供。结果,与以往的内窥镜系统相比,能够期待能够缩短训练或技能提高所需要的时间、即使是经验或技能水平较低的作业者也能够比较容易地将内窥镜插入、拔除等的效果。
特别是,如本实施方式那样将作业者之后要进行的操作推测为预先作业者操作信息L(=LF),能够基于该信息L(=LF)推测预先插入部形状,能够导出预先插入部7形状的可能产生的形状变动,并向作业者提供。此外,在当前的操作的继续以外,也能够实施各个预先插入部形状的推测,能够对作业者提供更有效的信息。
另外,本发明并不限定于上述各实施方式。
形状传感器8使用了光纤传感器,但并不限于此。
只要能够检测观察对象物2的内部的插入部7的形状,是怎样的结构都可以。例如也可以是将多个磁线圈配置在插入部7内、并在外部配置了磁天线的结构。在此情况下,由于能够确认与天线的绝对位置,所以不需要如后述那样使用插入量传感器。
也可以使用X射线相机。在医疗用内窥镜的情况下,以往以来已知有用X射线相机确认生物体内部的插入部7的形状、与生物体的相对位置的技术。在此情况下,由于还能够大体确认生物体内的内脏的位置、形状等,所以还能够带来观察对象物2的内表面轮廓的精度及准确度的提高。另外,在X射线相机的情况下,如果仅使用1台则仅能够得到二维数据。在此情况下,能够通过将上述的结构、动作二维地处理而进行应对。与三维信息的情况相比信息量减少,但能够期待起到一定程度的效果。
此外,在上述全部的实施方式中,搭载于内窥镜的传感器仅表示了作为形状传感器的光纤传感器8的例子,但并不限于此。例如,如图25所示,将为了检测内窥镜的主动弯曲部7b的弯曲操作而能够直接检测操作手柄11的操作量的操作量传感器70设置在观察对象物2的插入开口2a,并且设置能够检测插入部7的插入拔除的操作的方向、量的插入量传感器71,能够将这些操作量传感器70和插入量传感器71组合。通过使用来自这些传感器70、71的输出,能够直接检测操作推测部34进行过的推测的一部分。
此外,预先操作推测部34使用来自操作量传感器和插入量传感器的输出结果推测预先作业者操作信息,从而能够提高预先作业者操作信息的准确度、精度。
进而,在上述实施方式中,表示了对不同的部分替换的例子,但并不限于此。例如,也可以将第1实施方式到第2实施方式的变形例中说明的变化导出部32的功能安装到一个插入部时间变化导出部中,使得在使用时能够选择,也可以构成为,根据状况自动地选择适当的方法。同样,也可以将上述全部的实施方式的结构搭载于一个插入/拔除作业系统,使得能够选择各个功能,或能够同时推测、显示。
在上述实施方式及其变形例中,以内窥镜为题材进行了例示,但并不限于此。本发明适合于将具有挠性的插入部7插入到管孔内而进行希望的作业那样的所有的插入/拔除作业系统。例如,特别适合于插入到内窥镜的钳子通道中而进行处置的处置工具或钳子、插入到血管或淋巴管内而进行各种各样的处置的导管、还有进行工业配管的维护的工业用的各种各样的观察/修补设备等。这些插入/拔除作业系统的一部分存在不具有进行主动操作的功能的情况。在此情况下,作业者操作信息L不具有“弯曲操作”,但除此以外可以通过与上述说明大致相同的方法、动作、功能来达到目的。
另外,到此为止叙述的实施方式及其变形例不过是一例,在不脱离其主旨的范围内能够进行各种各样的变形。
标号说明
1内窥镜系统;2观察对象物;2a插入开口;3内部空间(空洞);4内窥镜主体部;5内窥镜观测器部;6显示部;7内窥镜插入部(插入部);7a插入部的前端部;7b主动弯曲部;7c被动弯曲部;7d摄像元件;7e物镜;8形状传感器(光纤传感器);8a光吸收体(弯曲形状检测部);9操作部;10主体侧线缆;11操作手柄;12钳子通道;13照明部;21视频处理器;20光源部;22辅助信息单元;23形状传感器单元;24纤维传感器用光源;25光检测器;30检测时插入部形状计算部(形状计算部);31形状传感器控制部;32插入部形状时间变化导出部(变化导出部);33预先插入部形状推测部(预先形状推测部);34作业者操作信息推测部(操作推测部);34a操作信息存储器;35信息存储部;30a弯曲信息存储器;40主体存储器;50内表面轮廓信息推测部(轮廓推测部);50a预先轮廓信息存储器;60观察对象物负荷推测部;70操作量传感器;71插入量传感器。

Claims (17)

1.一种预先形状推测装置,其特征在于,具备:
具有挠性的插入部,被向观察对象物的内部插入;
形状传感器,检测上述插入部的弯曲状态,输出检测信号;以及
预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出,
包括插入部形状计算部,该插入部形状计算部,基于从上述形状传感器输出的上述检测信号,计算上述插入部的形状信息,将该插入部形状信息作为从上述检测信号取得的上述信息进行输出,
包括形状时间变化导出部,该形状时间变化导出部,将由上述插入部形状计算部在相互不同的各时刻计算出的各个上述插入部形状信息进行比较,基于比较结果导出表示上述插入部的形状变化的形状时间变化信息;
上述预先插入部形状推测部基于由上述形状时间变化导出部导出的上述形状时间变化信息和由上述插入部形状计算部计算出的上述插入部形状信息,输出上述预先推测形状信息。
2.如权利要求1所述的预先形状推测装置,其特征在于,
上述插入部包括用来对上述观察对象物的内部的表面进行观察的内窥镜的插入部。
3.如权利要求1所述的预先形状推测装置,其特征在于,
设n为2以上的自然数,设j、k分别为相互不同的n以下的自然数,并且设该j与k的大小关系为j<k,
包括形状传感器控制部,该形状传感器控制部对上述形状传感器输出表示上述插入部的形状的检测定时的第1至第n定时信号;
上述插入部形状计算部,基于与从上述形状传感器控制部输出的上述第1至第n定时信号中包含的第j和第k的各定时信号相对应地从上述形状传感器输出的上述检测信号,计算第j插入部形状信息和第k插入部形状信息;
上述形状时间变化导出部将由上述插入部形状计算部计算出的上述第j插入部形状信息与上述第k插入部形状信息进行比较,求出从上述第j定时信号的输出时到上述第k定时信号的输出时的上述插入部的形状时间变化信息。
4.如权利要求3所述的预先形状推测装置,其特征在于,
上述形状时间变化导出部将上述第j插入部形状信息与上述第k插入部形状信息进行比较,提取在上述插入部中形状变化的形状变化区域,并且导出该形状变化区域中的上述插入部的形状变化的种类、该形状变化的方向、或该形状变化的量中的至少1个,作为上述插入部的形状时间变化信息来输出。
5.如权利要求3所述的预先形状推测装置,其特征在于,
上述形状时间变化导出部将上述第j插入部形状信息与上述第k插入部形状信息进行比较,提取在上述插入部中形状几乎没有变化的形状不变区域,在该形状不变区域有多个的情况下,基于该各形状不变区域的相对位置关系的变化,导出上述插入部中的形状变化的种类、该形状变化的方向、或该形状变化的量中的至少1个,作为上述插入部的形状时间变化信息来输出。
6.如权利要求1所述的预先形状推测装置,其特征在于,
包括操作信息推测部,该操作信息推测部,基于上述插入部的形状时间变化信息,推测包括向上述观察对象物的内部的上述插入部的插入操作的操作信息;
上述预先插入部形状推测部,基于上述操作信息,推测上述预先推测形状信息。
7.如权利要求6所述的预先形状推测装置,其特征在于,
设n为2以上的自然数,设j、k分别为相互不同的n以下的自然数,并且设该j与k的大小关系为j<k,
包括形状传感器控制部,该形状传感器控制部对上述形状传感器输出表示上述插入部的形状的检测定时的第1至第n定时信号;
上述插入部形状计算部,基于与从上述形状传感器控制部输出的上述第1至第n定时信号中包含的第j和第k的各定时信号相对应地从上述形状传感器输出的上述检测信号,计算第j插入部形状信息和第k插入部形状信息;
上述形状时间变化导出部,将由上述插入部形状计算部计算出的上述第j插入部形状信息与上述第k插入部形状信息进行比较,求出从上述第j定时信号的输出时到上述第k定时信号的输出时的上述插入部的形状时间变化信息;
上述操作信息推测部,假定上述插入部的形状变化是受到上述插入部的插入操作而引起的,来推测从上述第j定时信号的发生时到上述第k定时信号的发生时的期间中的上述插入部的上述形状变化的种类、该形状变化的方向、或该形状变化的量中的至少1个。
8.如权利要求1所述的预先形状推测装置,其特征在于,
包括观察对象物内表面轮廓信息推测部,该观察对象物内表面轮廓信息推测部,基于上述形状时间变化信息,推测表示上述观察对象物的内表面的形状信息的内表面轮廓信息的至少一部分;
上述预先插入部形状推测部,基于上述观察对象物的上述内表面轮廓信息,推测上述预先推测形状信息。
9.如权利要求6所述的预先形状推测装置,其特征在于,
上述操作信息推测部包括预先操作信息推测部,该预先操作信息推测部,基于上述操作信息,预先推测今后进行的向上述插入部的操作信息;
上述预先插入部形状推测部,预先推测进行了由上述预先操作信息推测部推测出的上述操作信息时的上述插入部的形状。
10.如权利要求1所述的预先形状推测装置,其特征在于,
上述形状传感器搭载于上述插入部,包括光纤传感器或磁传感器。
11.如权利要求1所述的预先形状推测装置,其特征在于,
上述形状传感器包括X射线相机。
12.如权利要求1所述的预先形状推测装置,其特征在于,
上述形状传感器包括外部相机。
13.如权利要求6所述的预先形状推测装置,其特征在于,
包括:
操作手柄,能够操作上述插入部的形状;以及
操作量传感器,检测上述操作手柄的操作量;
上述操作信息推测部,基于由上述操作量传感器检测出的上述操作手柄的操作量,推测对于上述插入部的上述操作信息。
14.如权利要求6所述的预先形状推测装置,其特征在于,
包括:
入口部,用来向上述观察对象物的内部插入上述插入部;以及
插入量传感器,设在上述入口部,检测上述插入部向上述观察对象物的内部的插入量;
上述操作信息推测部,基于由上述插入量传感器检测出的上述插入部的插入量,推测对于上述插入部的上述操作信息。
15.如权利要求1所述的预先形状推测装置,其特征在于,
包括信息存储部,该信息存储部存储上述预先推测的上述预先推测形状信息,并且上述预先推测形状信息能够根据需要读出。
16.一种插入拔除作业系统,其特征在于,具备:
具有挠性的插入部,被向观察对象物的内部插入;
形状传感器,检测上述插入部的弯曲状态,输出检测信号;
操作部,用来进行上述插入部的弯曲操作;以及
预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出,
包括插入部形状计算部,该插入部形状计算部,基于从上述形状传感器输出的上述检测信号,计算上述插入部的形状信息,将该插入部形状信息作为从上述检测信号取得的上述信息进行输出,
包括形状时间变化导出部,该形状时间变化导出部,将由上述插入部形状计算部在相互不同的各时刻计算出的各个上述插入部形状信息进行比较,基于比较结果导出表示上述插入部的形状变化的形状时间变化信息;
上述预先插入部形状推测部基于由上述形状时间变化导出部导出的上述形状时间变化信息和由上述插入部形状计算部计算出的上述插入部形状信息,输出上述预先推测形状信息。
17.一种插入拔除作业辅助系统,其特征在于,具备:
具有挠性的插入部,被向观察对象物的内部插入;
形状传感器,检测上述插入部的弯曲状态,输出检测信号;
操作部,用来使上述插入部弯曲;
预先插入部形状推测部,基于根据从上述形状传感器输出的上述检测信号而取得的信息,预先推测在规定的时间经过后的上述插入部的形状,作为预先推测形状信息进行输出;以及
作业辅助部,报告从上述预先插入部形状推测部输出的上述预先推测形状信息,辅助上述插入部向上述观察对象物的内部的插入拔除,
包括插入部形状计算部,该插入部形状计算部,基于从上述形状传感器输出的上述检测信号,计算上述插入部的形状信息,将该插入部形状信息作为从上述检测信号取得的上述信息进行输出,
包括形状时间变化导出部,该形状时间变化导出部,将由上述插入部形状计算部在相互不同的各时刻计算出的各个上述插入部形状信息进行比较,基于比较结果导出表示上述插入部的形状变化的形状时间变化信息;
上述预先插入部形状推测部基于由上述形状时间变化导出部导出的上述形状时间变化信息和由上述插入部形状计算部计算出的上述插入部形状信息,输出上述预先推测形状信息。
CN201580072569.1A 2015-01-30 2015-01-30 预先形状推测装置、插拔作业系统、插拔作业辅助系统 Active CN107249421B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/052696 WO2016121106A1 (ja) 2015-01-30 2015-01-30 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム、未然形状推定方法及び未然形状推定プログラム

Publications (2)

Publication Number Publication Date
CN107249421A CN107249421A (zh) 2017-10-13
CN107249421B true CN107249421B (zh) 2019-06-18

Family

ID=56542756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072569.1A Active CN107249421B (zh) 2015-01-30 2015-01-30 预先形状推测装置、插拔作业系统、插拔作业辅助系统

Country Status (5)

Country Link
US (1) US10765299B2 (zh)
JP (1) JP6535689B2 (zh)
CN (1) CN107249421B (zh)
DE (1) DE112015006093T5 (zh)
WO (1) WO2016121106A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008726A1 (ja) * 2017-07-06 2019-01-10 オリンパス株式会社 管状挿入装置
JP7160659B2 (ja) * 2018-01-11 2022-10-25 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム及び医用情報処理方法
CN111801042B (zh) * 2018-03-30 2023-08-18 奥林巴斯株式会社 应力估算系统、应力估算装置、内窥镜系统和应力估算方法
JP7110351B2 (ja) * 2018-08-01 2022-08-01 オリンパス株式会社 内視鏡システム及び制御装置
WO2021156926A1 (ja) * 2020-02-03 2021-08-12 オリンパス株式会社 内視鏡制御装置、内視鏡制御方法および内視鏡制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421349A (zh) * 2009-03-10 2012-04-18 奥林巴斯医疗株式会社 位置检测系统以及位置检测方法
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3981364B2 (ja) * 2004-03-19 2007-09-26 オリンパス株式会社 ダブルバルーン式内視鏡システム
JP2007044412A (ja) 2005-08-12 2007-02-22 Pentax Corp 内視鏡挿入形状検出プローブ
US8672837B2 (en) * 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
JP5766940B2 (ja) * 2010-12-01 2015-08-19 オリンパス株式会社 管状挿入システム
US9539726B2 (en) * 2012-04-20 2017-01-10 Vanderbilt University Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots
JP6205125B2 (ja) * 2012-12-11 2017-09-27 オリンパス株式会社 内視鏡装置の挿入支援情報検出システム及び内視鏡装置
US20150351608A1 (en) * 2013-01-10 2015-12-10 Ohio University Method and device for evaluating a colonoscopy procedure
JP2015181643A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法
JP6278848B2 (ja) * 2014-06-26 2018-02-14 オリンパス株式会社 形状推定装置、それを備えた内視鏡システム及び形状推定のためのプログラム
JP6322495B2 (ja) * 2014-06-26 2018-05-09 オリンパス株式会社 形状推定装置、形状推定装置を備えた内視鏡システム及び形状推定のためのプログラム
WO2016079789A1 (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 内視鏡装置
JP6442601B2 (ja) * 2015-04-07 2018-12-19 オリンパス株式会社 挿抜装置及び挿入部の直接操作推定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421349A (zh) * 2009-03-10 2012-04-18 奥林巴斯医疗株式会社 位置检测系统以及位置检测方法
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的系统和方法

Also Published As

Publication number Publication date
DE112015006093T5 (de) 2017-10-19
JP6535689B2 (ja) 2019-06-26
JPWO2016121106A1 (ja) 2017-10-12
WO2016121106A1 (ja) 2016-08-04
US10765299B2 (en) 2020-09-08
US20170303769A1 (en) 2017-10-26
CN107249421A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN107249421B (zh) 预先形状推测装置、插拔作业系统、插拔作业辅助系统
CN111164375B (zh) 用于生成锐化阴影的装置
US6937268B2 (en) Endoscope apparatus
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5974188B2 (ja) 内視鏡システム
EP2020897B1 (en) Imaging system for three-dimensional imaging of the interior of an object
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
CN105142494B (zh) 内窥镜系统
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
Noonan et al. A stereoscopic fibroscope for camera motion and 3D depth recovery during minimally invasive surgery
US20130096423A1 (en) Endoscope system
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
KR100426396B1 (ko) 3차원 영상처리방법을 이용한 가상 내시경 방법
US10502693B2 (en) Insertion/removal apparatus, insertion section direct manipulation estimation method and storage medium which non-transitory stores insertion section direct manipulation estimation program
JPWO2015046152A1 (ja) 内視鏡システム
CN103040430A (zh) 一种三维内窥镜装置
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
JP7133828B2 (ja) 内視鏡画像処理プログラム及び内視鏡システム
Abu-Kheil et al. Vision and inertial-based image mapping for capsule endoscopy
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
US20190132579A1 (en) Imaging device, system, method and program for converting a first image into a plurality of second images
US20240057847A1 (en) Endoscope system, lumen structure calculation system, and method for creating lumen structure information
WO2022190366A1 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
CN117255642A (zh) 图像处理装置、内窥镜装置以及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant