CN104736038B - 观察装置、观察支援装置、观察支援方法以及程序 - Google Patents
观察装置、观察支援装置、观察支援方法以及程序 Download PDFInfo
- Publication number
- CN104736038B CN104736038B CN201380054191.3A CN201380054191A CN104736038B CN 104736038 B CN104736038 B CN 104736038B CN 201380054191 A CN201380054191 A CN 201380054191A CN 104736038 B CN104736038 B CN 104736038B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- camera site
- information
- weighted
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00131—Accessories for endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0261—Strain gauges
- A61B2562/0266—Optical strain gauges
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
根据从纤维形状传感器(4)以及插入旋转检测部(5)输入的向被插入体(2)插入的插入部(31)的位移量信息,相对位置信息取得部(61)取得插入部的作为位置检测对象的部分相对于被插入体的相对位置信息。拍摄位置运算部(63)利用该相对位置和被插入体形状取得部(62)取得的被插入体的形状信息,对拍摄位置(P)进行运算,该拍摄位置(P)是拍摄部(34)拍摄的被插入体的区域即拍摄区域(83)、拍摄区域中的一部分的区域(84)、拍摄区域的中的一点这三者中的至少1个。显示运算部(64)基于加权指标参数对该拍摄位置(P)的加权信息进行运算,并基于该加权信息设定显示形式。输出部(65)将该显示形式和拍摄位置(P)作为显示信息而输出。
Description
技术领域
本发明涉及将插入部向被插入体内部插入而进行观察的观察装置、对这样的观察装置使用的观察支援装置、观察支援方法、以及使计算机执行观察支援装置的工序的程序。
背景技术
作为将插入部向被插入体内部插入而进行观察时的支援装置,例如,在专利文献1中,公开了当将内窥镜插入部向人体插入时在显示部上显示该内窥镜插入部的形状的结构。
这是如下这样的技术:在内窥镜装置中,将具有光的传递量对应于弯曲角度的大小而变化的弯曲检测部的、多个柔性的弯曲检测用光纤,对可挠性的带状部件以并列排列的状态安装,将其大致遍及全长地插通配置到内窥镜插入部内,根据各弯曲检测用光纤的光传递量来检测各弯曲检测部所在的部分中的带状部件的弯折状态,将该弯折状态作为内窥镜插入部的弯折状态在监视器画面上显示。
现有技术文献
专利文献
专利文献1:美国专利第6846286号说明书
发明概要
发明要解决的课题
通常,在被插入体内部作为标记的部位较少、仅从拍摄图像难以得知正在对被插入体内部的哪个部位进行观察的情况下,是否已拍摄(观察)了所需要的所有部位也是难以得知的。
在上述专利文献1中,虽然公开了对插入部的形状进行检测并显示,但对于检测正在对被插入体内部的哪个部位进行拍摄(观察)以及其显示方法,没有提出方案。
发明内容
本发明是鉴于上述点而做出的,目的在于提供一种能够将用于判断正在对被插入体内的何处进行拍摄的信息提供给操作者的观察装置、观察支援装置、观察支援方法以及程序。
用于解决课题的手段
根据本发明的第一形态,提供一种观察装置,具有:插入部,被向被插入体插入,具有拍摄开口部;拍摄部,接收向上述拍摄开口部入射的光而进行拍摄;相对位置检测部,检测上述插入部的作为位置检测对象的部分相对于上述被插入体的相对位置;被插入体形状取得部,取得上述被插入体的形状信息;拍摄位置运算部,利用上述相对位置和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述拍摄部拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者之中的至少1个;显示运算部,基于加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述加权信息而设定显示形式;以及输出部,将上述显示形式和上述拍摄位置作为显示信息而输出。
此外,根据本发明的第二形态,提供一种观察支援装置,用于通过将插入部向被插入体插入而拍摄上述被插入体内部的观察装置,具有:相对位置信息取得部,基于上述插入部的位移量信息,取得上述插入部的作为位置检测对象的部分相对于上述被插入体的相对位置信息;被插入体形状取得部,取得上述被插入体的形状信息;拍摄位置运算部,利用上述相对位置信息和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述观察装置拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者中的至少1个;显示运算部,基于加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述加权信息而设定显示形式;以及输出部,将上述显示形式和上述拍摄位置作为显示信息而输出。
此外,根据本发明的第三形态,提供一种观察支援方法,用于通过将插入部向被插入体插入而拍摄上述被插入体内部的观察装置,具有以下步骤:位置信息取得步骤,基于上述插入部的位移量信息,取得上述插入部的作为检测对象的位置相对于上述被插入体的相对位置信息;被插入体形状取得步骤,取得上述被插入体的形状信息;拍摄位置运算步骤,利用上述相对位置信息和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述观察装置拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者中的至少1个;显示运算步骤,基于加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述加权信息而设定显示形式;以及输出步骤,将上述显示形式和上述拍摄位置作为显示信息而输出。
此外,根据本发明的第四形态,提供一种程序,用于使计算机执行以下步骤:位置信息取得顺序,基于通过将插入部向被插入体插入而拍摄上述被插入体内部的观察装置中的上述插入部的位移量信息,取得上述插入部的作为检测对象的位置相对于上述被插入体的相对位置信息;被插入体形状取得步骤,取得上述被插入体的形状信息;拍摄位置运算步骤,利用上述相对位置信息和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述观察装置拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者中的至少1个;显示运算步骤,基于加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述加权信息而设定显示形式;以及输出步骤,将上述显示形式和上述拍摄位置作为显示信息而输出。
发明效果
根据本发明,由于能够提供用于判断正在对被插入体内的何处进行拍摄的信息,所以能够使操作者容易判断正在对被插入体内部的哪个部位进行拍摄、以及是否拍摄了所需要的全部部位,能够提供一种能防止观察部位的漏看的观察装置、观察支援装置、观察支援方法以及程序。
进而,根据本发明,由于能够以基于拍摄位置的加权信息的显示形式来显示拍摄位置,所以能够使操作者容易地判断该拍摄位置的重要度。
附图说明
图1A是表示本发明的第1实施方式的观察支援装置以及适用该观察支援装置的观察装置的概略结构的图。
图1B是用于说明经由第1实施方式的观察装置所连接的显示装置的信息的提供例的图。
图2A是用于说明纤维形状传感器的原理的、弯曲部向纸面上方弯曲的情况的图。
图2B是用于说明纤维形状传感器的原理的、弯曲部没有弯曲的情况的图。
图2C是用于说明纤维形状传感器的原理的、弯曲部向纸面下方弯曲的情况的图。
图3是表示纤维形状传感器向插入部的安装结构的图。
图4A是用于说明插入旋转检测部的结构的图。
图4B是用于说明插入旋转检测部的动作原理的图。
图5A是表示作为加权指标参数而使用拍摄位置的速度的情况下的第1实施方式的观察支援装置的动作流程图的图。
图5B是表示作为加权指标参数的一例而使用拍摄位置的速度的情况下的拍摄位置的速度与加权信息的关系的图。
图6A是用于说明第一位置显示表示被插入体内部的何处的图。
图6B是用于说明第二位置显示表示被插入体内部的何处的图。
图7A是表示加权信息与拍摄位置的显示色之间的关系的图。
图7B是表示基于加权信息改变拍摄位置的显示色的情况下的显示例的图。
图8A是用于说明作为加权指标参数的其他例而使用拍摄开口部与拍摄位置之间的距离的图。
图8B是表示拍摄开口部与拍摄位置之间的距离与加权信息的关系的图。
图9A是用于说明和拍摄开口部与拍摄位置之间的距离有关的其他加权手法的图。
图9B是表示合焦的距离与加权信息的关系的图。
图10A是用于说明作为加权指标参数的其他例而使用从拍摄开口部向拍摄范围中心的方向即拍摄方向与拍摄位置的面所成的拍摄角度的图。
图10B是表示拍摄角度与加权信息的关系的图。
图11是表示作为加权指标参数的其他例而使用拍摄位置的停止时间时、拍摄位置的停止时间与加权信息的关系的图。
图12A是用于说明作为加权指标参数的其他例而使用夹着弯曲部而一方的插入部的长度方向与另一方的插入部的长度方向所成的角度即弯曲量的时间变化的图。
图12B是表示弯曲量与加权信息的关系的图。
图13A是用于说明作为加权指标参数的其他例而使用拍摄部拍摄的图像的明亮度的图。
图13B是表示曝光过度+曝光不足像素数与加权信息的关系的图。
图14是用于说明作为加权指标参数的其他例而使用图像的晃动量的情况下的图像的晃动量的图。
图15是用于说明关于基于拍摄部拍摄的图像而设定的加权指标参数、运算加权信息的规定范围的图。
图16是用于说明作为基于加权信息而设定的显示形式的其他例的、点的密度变化的图。
图17是表示利用多个加权指标参数运算加权信息的情况下的第1实施方式的观察支援装置的动作流程图的图。
图18A是用于说明基于加权信息而设定的显示形式的又一其他例的图。
图18B是用于说明其他显示例的图。
图18C是用于说明又一其他显示例的图。
图19A是用于说明由插入部的旋转带来的拍摄图像的变化的、表示旋转前的图。
图19B是表示旋转后的图。
图20A是表示本发明的第2实施方式的观察支援装置的动作流程图的图。
图20B是用于说明将加权指标参数与阈值进行比较而算出加权信息的手法的拍摄位置的速度与速度的阈值与加权信息的关系的图。
图20C是用于说明不进行权重小的拍摄位置的轨迹显示的显示形式的例子的图。
图21是表示利用多个加权指标参数运算加权信息的情况下的第2实施方式的观察支援装置的动作流程图的图。
具体实施方式
以下,参照附图说明用于实施本发明的方式。
[第1实施方式]
本发明的第1实施方式的观察装置1如图1A所示,具备插入件3,该插入件3具备向被插入体2插入的插入部31。观察装置1还具备用于对插入部31的位移量信息进行检测的作为检测部的纤维形状传感器4以及插入旋转检测部5。观察装置1还具备基于被插入体2的形状信息和插入部31的位移量信息对用于观察支援的显示信息进行运算的本发明的第1实施方式的观察支援装置6。观察装置1还具备对显示信息进行显示的显示装置7。
插入件3是例如内窥镜装置。插入件3具备插入部31和与该插入部31一体构成的操作部32。
插入部31是可挠性的管状部件,能够从被插入体2的插入口21向被插入体2的内部插入。在插入部31的插入方向的端部(以下称作插入部前端),设有拍摄开口部33。此外,在插入部31内部的插入部前端附近,内置有拍摄部34。拍摄部34接收入射到拍摄开口部33中的光而进行拍摄。该拍摄部34拍摄的图像通过观察支援装置6而被输出到显示装置7。
另外,拍摄部34当然可以不配置在插入部31内部的插入部前端附近而是配置在操作部32内。该情况下,拍摄部34与拍摄开口部33之间通过光导等连结,将入射到拍摄开口部33中的光向拍摄部34导光。
此外,插入部31在插入部前端附近具有弯曲部35。虽未特别图示,但该弯曲部35与设于操作部32的操作杆36通过线材相连。由此,通过使操作杆36移动而线材被牵引,能够实现弯曲部35的弯曲操作。
此外,在插入部31内部,设置有纤维形状传感器4。该纤维形状传感器4具备多个光纤。在1条光纤上分别设有1处弯曲检测部41。该弯曲检测部41通过去除光纤的包覆层并露出内芯、并在该处涂敷光吸收部件而构成。这样的弯曲检测部41中,如图2A~图2C所示,对应于弯曲部35的弯曲,该弯曲检测部41所吸收的光的量变化。因此,在光纤42内导光的光的量变化,即光传递量变化。
这样的结构的纤维形状传感器4为了检测图3所示的X轴方向的弯曲和Y轴方向的弯曲,以分别朝向X轴方向、Y轴方向的2个弯曲检测部41成对的方式配置2条光纤42,检测1个部位的弯曲量。并且,以使成对的弯曲检测部41在插入部31的长度方向(插入方向)上排列配置的方式,配置有多个光纤42。并且,将来自未图示的光源的光用各光纤42导光,将根据各光纤42的弯曲量而变化的光传递量用未图示的受光部进行检测。这样检测出的光传递量作为插入部31的位移量信息的一个,被输出到观察支援装置6。
另外,插入部31的弯曲部35以外的部分也由于插入部31的可挠性而根据被插入体2的内部构造自由弯曲。由此,优选的是,弯曲检测部41通过不仅设置在插入部31的弯曲部35而且还设置在与之相比更靠操作部侧,从而还能够检测这样的插入部31的弯曲部35以外的部分的弯曲状态。
另外,如图3所示,在插入部31内部,还设有照明用光纤37和拍摄部用配线38。利用照明用光纤37,将来自配置在操作部32内的未图示的照明用光源的光导光,并从插入部前端作为照明光进行出射。利用该照明光,拍摄部34能够拍摄作为暗部的被插入体2的内部。
此外,如图1A所示,插入旋转检测部5设置在被插入体2的插入口21的附近。插入旋转检测部5对插入部31的插入量和旋转量进行检测,将其作为插入部31的位移量信息的一个,向观察支援装置6输出。具体而言,该插入旋转检测部5如图4A所示,由光源51、投光透镜52、受光透镜53、光学图案检测部54以及位移量算出部55构成。
从光源51出射的光穿过投光透镜52被照射到插入部31。在该插入部31反射后的光穿过受光透镜53被光学图案检测部54接收。光学图案检测部54将作为光学图案的插入部31面的图像与检测时间t0,t1,t2,…,tn,…连续进行检测。
位移量算出部55利用光学图案检测部54在不同时间拍摄的2个图像数据的图像内存在的光学图案来算出位移量。更具体而言,1个光学图案如图4B所示,是在任意的时间tn拍摄的图像数据的图像(光学图案PTn)内存在的被任意地选择的基准图案α。另1个光学图案是在从该时间tn起经过任意时间后的时间tn+1拍摄的图像数据的图像(光学图案PTn+1)内的一部分中存在的与上述基准图案α一致的光学图案α’。位移量算出部55比较这些基准图案α和光学图案α’在图像数据上的位移,算出x轴方向及y轴方向的各个图像上的位移量。这里,如图4B所示,光学图案检测部54被定位为,使得光学图案检测部54的x轴与插入部31的轴向一致。因而,位移量算出部55算出的x轴方向的位移量Δxf与插入部31的插入量成比例,y轴方向的位移量Δyf与插入部31的旋转量成比例。这样由位移量算出部55算出的图像上的插入量和旋转量作为位移量信息被输出到观察支援装置6。另外,各个位移量的增减方向表示插入部31的插入及旋转的方向,因此位移量信息还包含插入方向以及旋转方向的信息。
此外,本实施方式的观察支援装置6如图1A所示,由相对位置信息取得部61、被插入体形状取得部62、拍摄位置运算部63、显示运算部64以及输出部65构成。
相对位置信息取得部61基于从纤维形状传感器4以及插入旋转检测部5输入的插入部31的位移量信息,取得插入部31的成为位置检测对象的部分相对于被插入体2的相对位置信息。即,相对位置信息取得部61与纤维形状传感器4以及插入旋转检测部5协同动作,作为检测插入部31的成为位置检测对象的部分相对于被插入体2的相对位置的相对位置检测部而发挥功能。此外,被插入体形状取得部62取得被插入体2的形状信息。
拍摄位置运算部63利用上述相对位置和上述被插入体2的形状信息,对拍摄位置进行运算,该拍摄位置是拍摄部34拍摄的被插入体2的区域即拍摄区域、拍摄区域的一部分、拍摄区域中的一点中的至少1个。显示运算部64基于加权指标参数,对拍摄位置的加权信息进行运算,基于该加权信息而设定显示形式。并且,输出部65将该显示形式和上述拍摄位置作为显示信息进行输出。从该观察支援装置6输出的显示信息被显示装置7显示。
以下,按照图5A的动作流程图详细说明这样的观察支援装置6的动作。
首先,被插入体形状取得部62取得形状信息(被插入体形状信息)(步骤S11),该形状信息包含被插入体2的成为拍摄对象的范围相对于被插入体2的位置信息。该被插入体形状信息例如在将插入部31向被插入体2插入前,基于来自被插入体2的外侧或内侧的数据而构成。
即,基于来自外部的数据的被插入体形状信息利用例如CT诊断装置或超声波诊断装置、以及X线装置等能够透射过被插入体2内进行检测的装置而构成。
此外,基于来自内部的数据的被插入体形状信息通过利用使插入部31在被插入体2的空间中移动时的轨迹数据、或通过关联当插入部前端与被插入体2进行了接触时的位置信息而构成。若利用插入部前端与被插入体2接触时的位置信息,则还能够检测空间的大小,能够取得更正确的被插入体形状信息。此外,也可以是,被插入体2是人体的脏器的情况下通过从体格来推定而构成,被插入体2是构造物的情况下通过基于附图而输入形状来构成。
另外,被插入体形状取得部62进行的被插入体形状信息的取得可以通过连接例如CT诊断装置等构成被插入体形状信息的装置而从该装置直接取得。或者,也可以将从该装置输出的被插入体形状信息暂时保存在存储介质中,读出该保存的被插入体形状信息或经由网络下载来取得。进而,关于被插入体形状取得部62,不限于这样的接口或数据读取器,其自身也可以是构成被插入体形状信息的设备。
由该被插入体形状取得部62取得的被插入体形状信息被输出到拍摄位置运算部63以及显示运算部64。
此外,相对位置信息取得部61取得插入部31的位移量信息(步骤S12),对插入部31的形状、和插入部前端相对于被插入体2的位置及朝向进行运算(步骤S13)。
具体而言,相对位置信息取得部61具有如下功能:求出插入部31的形状的功能、求出插入部31的插入量和旋转量的功能、求出插入部前端相对于被插入体2的位置及朝向的功能。
即,预先求出以下的(1)式那样的、纤维形状传感器4的光传递量的变化ΔQ与弯曲检测部41的弯曲量φ之间的关系式,存储在相对位置信息取得部61中。
并且,相对位置信息取得部61利用该存储的(1)式,根据作为位移量信息而被从纤维形状传感器4提供的光传递量,算出各弯曲检测部41的弯曲量。并且,根据各弯曲检测部41的弯曲量、和作为预知信息而被提供的各弯曲检测部41的配置间隔,求出插入部31的形状。
此外,预先求出用于将由位移量算出部55算出的图像上的位移量变换为实际的插入部31的插入量及旋转量的系数a及b,存储在相对位置信息取得部61中。并且,相对位置信息取得部61如以下的(2)式那样,将该存储的系数a、b乘以由位移量算出部55算出的图像上的位移量,从而算出插入量m以及旋转量θ。
m=a×Δx
θ=b×Δy (2)
然后,相对位置信息取得部61根据这些算出的插入部31的形状、和插入部31相对于被插入体2的插入量及旋转量,对插入部31相对于被插入体2的形状进行运算。进而,根据该插入部31相对于被插入体2的形状,对插入部31的成为位置检测对象的部分相对于被插入体2的相对位置信息、也就是插入部前端相对于被插入体2的位置和朝向(拍摄开口部33的位置和与光的入射方向相反的朝向)进行运算。这样求出的相对于被插入体2的相对位置信息被输出到拍摄位置运算部63。此外,表示插入部31相对于被插入体2的形状的形状信息和上述相对位置信息之中的插入部前端位置的信息被输出到显示运算部64。
并且,拍摄位置运算部63根据由上述相对位置信息取得部61求出的相对位置信息和由上述被插入体形状取得部62取得的被插入体形状信息,对拍摄位置进行运算(步骤S14)。
具体而言,拍摄位置运算部63例如如图1A所示,将由相对位置信息所表示的插入部前端的位置和朝向(拍摄方向81)形成的直线与被插入体2的形状之间的交点82、即视野(拍摄区域83)中心,作为拍摄位置P求出。
通常,观察对象的关注部位在视野中心中捕捉,所以与视野的周边相比中心较重要的情况较多。另外,这里,例示了作为拍摄位置P而求出交点,但也可以将拍摄部34拍摄的被插入体2的区域即视野(拍摄区域83)作为拍摄位置P来运算。由此,能够把握拍摄部34拍摄的范围。此外,也可以将视野(拍摄区域83)中的一部分的区域84或点作为拍摄位置P来运算。例如,在无法正确地检测拍摄区域83的情况下,通过考虑误差而对小的区域进行运算,能够防止误检测为拍摄了未被拍摄的范围的情况。即,能够防止观察遗漏。
这样求出的表示拍摄位置P的拍摄位置信息被输出到显示运算部64。
然后,显示运算部64基于加权指标参数,对拍摄位置P的加权信息进行运算,实施基于该加权信息来设定显示形式的动作。这里,以使用拍摄位置的速度作为加权指标参数的情况为例进行说明。
显示运算部64首先判断t是否大于0、也就是拍摄位置P的数据是否存在2个以上(步骤S15)。这里,在t不大于0(拍摄位置P的信息只有1个)的情况下,返回上述步骤S12,重复上述的动作。即,该观察装置1的动作刚刚开始后,拍摄位置P的信息仅得到1个,在这样的情况下,由于无法进行速度的运算,所以再一次进行插入部31的形状和拍摄位置P的运算。
如果拍摄位置的信息有2个以上,则显示运算部64进行拍摄位置的速度V的运算(步骤S16)。即,显示运算部64根据当前时间t的拍摄位置P、和在上一次拍摄的时间tn-1求出的拍摄位置Pn-1,根据以下的(3)式,求出作为加权指标参数的拍摄位置P的速度Vn。
Vn=(Pn-Pn-1)/(tn-tn-1) (3)
并且,根据该求出的速度V,显示运算部64对拍摄位置的加权信息w进行运算(步骤S17)。例如,如图5B所示,按照加权信息与拍摄位置的速度V成比例地变小的关系(以下的(4)式)进行加权。
w=f(V) (4)
即,拍摄位置的移动速度快的情况下,操作者判断为不能观察、或不是正在进行观察而仅仅是在使插入部前端移动,使加权信息小。相反,拍摄位置的移动速度慢的情况下,操作者判断为能够观察,使加权信息大。
并且,显示运算部64基于该加权信息而设定显示形式(步骤S18)。即,根据显示运算部64,将当前的拍摄位置P和过去的拍摄位置即拍摄位置的轨迹信息保存在未图示的内部存储器等中。并且,当前的拍摄位置以及拍摄位置的轨迹设定为,使显示形式基于拍摄位置的加权信息而变化。例如,如图6A所示,设定为,与加权信息成比例而使拍摄位置的显示色变浓。
并且,输出部65至少将上述显示形式和上述拍摄位置(当前的拍摄位置和拍摄位置的轨迹)作为显示信息进行输出(步骤S19)。然后,返回上述步骤S12,重复上述的动作。
作为上述显示信息,能够进一步包括表示插入部31相对于被插入体2的形状的形状信息、被插入体形状信息、拍摄部34拍摄的图像等。即,输出部65如图1B所示那样,制作可在显示装置7上显示拍摄部34拍摄的图像(拍摄图像显示71)、和作为被插入体形状信息的将被插入体2在规定部位分开的二维图72、73的显示信息并输出。
这里,第一二维图72如图7A所示,是表示将被插入体2的形状在被插入体2的坐标中用Y-Z平面分开而向左右打开的状态的图。此外,第二二维图73作为与第一二维图72不同的视点的图,如图7B所示,是表示将被插入体2的形状在被插入体2的坐标中用X-Z平面分开而向上下打开的状态的图。
并且,设为在这些二维图72、73上能显示表示当前的拍摄位置的当前位置显示74、表示拍摄位置的轨迹的位置轨迹显示75、以及表示插入部31的形状的插入部形状概略显示76的显示信息。
此外,如图6B所示,优选的是,为了能够区别当前位置显示74和位置轨迹显示75,改变相互的颜色、图样或位置轨迹显示75闪烁显示等,设为进行某种识别显示的显示信息。进而,这些当前位置显示74以及位置轨迹显示75的颜色浓度按照与显示运算部64运算出的结果、即权重成比例的浓度而被显示。另外,可以使操作者能够选择用于对该当前位置显示74和位置轨迹显示75进行区别的识别显示的有无、识别显示的形态。
如以上那样,根据本第1实施方式,观察支援装置6对拍摄位置和拍摄位置的加权信息进行运算,基于拍摄位置的加权信息而设定拍摄位置的显示形式,将该显示形式和拍摄位置作为显示信息进行输出。因而,能够使操作者容易地判断正在对被插入体2内部的哪个部位进行拍摄、以及是否拍摄完所需要的所有部位,能够防止拍摄部位的漏看。进而,能够使操作者容易地判断该拍摄位置的重要度。
此外,观察支援装置6用纤维形状传感器4对插入部31的形状进行检测,用插入旋转检测部5对插入部31的插入量和旋转量进行检测。因而,能够检测插入部31相对于被插入体2的形状、和拍摄开口部33的位置及朝向。
另外,纤维形状传感器4以及插入旋转检测部5如上述那样光学性地检测插入部31相对于被插入体2的形状以及拍摄开口部33的位置和朝向,但也可以用其他方法进行检测。例如,在插入部31内部的至少拍摄开口部33的附近设置线圈,在线圈中流过电流而使磁场产生,将该磁场在外部进行接收,或者,用线圈接收在外部所产生的磁场分布,由此能够检测线圈即拍摄开口部33的位置和朝向。另外,若将线圈在插入部31的长度方向上排列多个,则还能够检测插入部31的形状。
进而,通过与拍摄位置的速度成比例而对加权信息进行运算、在速度快的情况下使加权信息小且在速度慢的情况下使加权信息大,从而能够判断为加权信息小的拍摄位置由于移动快而未能实现观察。
此外,能够基于拍摄位置的加权信息,使表示拍摄位置的当前位置显示74以及表示拍摄位置的轨迹的位置轨迹显示75变化显示。例如,加权信息大即拍摄位置的速度慢的情况下,能够使当前位置显示74以及位置轨迹显示75的显示色以变浓的方式变化。此外,加权信息小即拍摄位置的速度快的情况下,能够使当前位置显示74以及位置轨迹显示75的显示色以变淡的方式变化。通过这样使显示变化,在视觉上容易得知拍摄位置的信息的重要度。
另外,对于加权信息,设为与拍摄位置的速度成比例,但也可以设为指数函数等其他关系式。
此外,对于加权指标参数,设为拍摄位置的速度,但也可以是插入部前端也就是拍摄开口部33的速度。
进而,作为加权指标参数,能够使用如下那样的参数。
(a)即,能够将拍摄位置P与拍摄开口部33的位置之间的距离D即拍摄距离设为加权指标参数。例如,如图8A及图8B所示,在拍摄开口部33与拍摄位置P的距离D较近而位于能够详细观察拍摄位置的表面的距离范围d1的情况下,使加权信息变大。相反,在距离D较远而无法详细观察拍摄位置的表面的距离范围d2,使加权信息与该距离D成比例变小。这样,在将拍摄位置P与拍摄开口部33的位置之间的距离D即拍摄距离作为加权指标参数的情况下,显示运算部64需要具备对拍摄距离进行运算的功能。
进而,关于该拍摄开口部33与拍摄位置P的距离D,作为施加其他加权信息的方法,也可以如图9A及图9B所示那样。即,使得在拍摄部34进行合焦的距离Df加权信息为最大,若距进行合焦的距离Df远或近则加权信息变小。即,由于操作者容易识别在进行合焦的距离Df所拍摄的图像(对焦了的图像),从而使加权信息大。
(b)或者,如图10A所示,也可以将从拍摄开口部33朝向拍摄部34进行拍摄的拍摄区域83的中心的方向即拍摄方向81与拍摄位置P的面所成的拍摄角度85设为加权指标参数。该情况下,如图10B所示,当拍摄角度85接近90°则是易于观察的图像从而使加权信息大,从拍摄角度85接近0°的倾斜度看到的图像由于难以观察从而使加权信息小。这样,在将拍摄角度85设为加权指标参数的情况下,显示运算部64需要具备对拍摄角度进行运算的功能。
(c)此外,也可以将拍摄部34相对于被插入体2的位置或拍摄位置的停止时间设为加权指标参数。该情况下,将停止时间考虑为观察时间,如图11所示,使在观察时间长的部位加权信息大,使在观察时间短的部位加权信息小。这样,在将停止时间设为加权指标参数的情况下,显示运算部64需要具备对停止时间进行运算的功能。
(d)另外,拍摄开口部33相对于拍摄位置或被插入体2的速度也可以设为拍摄部34的曝光时间中的拍摄开口部33相对于拍摄位置或被插入体2的位置的移动量。曝光时间中的移动量大则图像的晃动量大从而使加权信息小,移动量小则晃动量小从而使加权信息大。该情况下,显示运算部64需要具备对曝光时间进行运算的功能。
(e)此外,也可以将弯曲部35的弯曲量的时间变化设为加权指标参数。即,如图12A所示,将夹着弯曲部35而一方的插入部31的长度方向与另一方的插入部31的长度方向所成的角度设为弯曲量86时,该弯曲量86的时间变化意味着其角速度。如图12B所示,角速度快则操作者难以识别图像从而使加权信息小,角速度慢则操作者易于识别图像从而使加权信息大。该情况下,显示运算部64需要具备对角速度进行运算的功能。
进而,加权指标参数也可以基于拍摄部34所拍摄的图像。作为这样的情况下的加权指标参数,能够使用如下那样的参数。
(a)即,如图13A所示,能够将拍摄部34拍摄的图像I的明亮度设为加权指标参数。例如,当在图像之中发生曝光过度或曝光不足的范围多则能够判断为未能实现观察。因此,如图13B所示,使加权信息与曝光过度的像素数和曝光不足的像素数之和成比例地变小。该情况下,显示运算部64需要具备对拍摄部34拍摄的图像的明亮度进行运算的功能。
(b)此外,也可以将图像的晃动量设为加权指标参数。即,显示运算部64如图14所示,作为在时刻tn拍摄时的图像It与在时刻tn+1拍摄时的图像It+1之间的晃动量,通过图案识别而求出关注图案PTr在图像上的移动量M。移动量M大的情况下,晃动量大,难以识别图像,因此使加权信息小。相反,移动量M小的情况下,晃动量小,易于识别图像,因此使加权信息大。该情况下,显示运算部64需要具备通过不同拍摄时刻的多个图像的图案匹配(模式匹配)而对图像的晃动量进行运算的功能。
此外,在将图像用于加权指标参数的情况下,可以不是利用图像整体而是限定在图像中的规定范围作为加权指标参数。例如,通常,由于被插入体2的关注部位在图像的中心捕捉,所以与图像的周边相比中心较重要的情况较多。因此,如图15所示,将距离图像I的中心在纵横方向上为80%的范围,设为成为加权指标参数的对象的范围IA,将该范围IA的明亮度设为加权指标参数。这样,能够将显示运算部64运算加权信息的范围设为拍摄部34拍摄的图像的规定范围、例如包含图像的中央的区域。
另一方面,被插入体2为管状的下情况,图像的中央映出管的深处、无法进行观察的情况较多,因此限定在图像周边。这例如能够通过将上述显示运算部64运算加权信息的图像的规定范围设为拍摄部34拍摄的范围即拍摄范围87(参照图1A)中的被插入体2与拍摄开口部33的距离为规定距离以下的图像的范围来实现。
此外,作为基于加权信息的显示形式,将拍摄位置的显示的变化设为颜色的浓度变化进行了说明,但也可以设为向其他颜色的变化或透明度的变化。或者,也可以使得以点的集中来显示,如图16所示,设为点的密度的变化。
此外,插入部31设为可挠性的管状部件,但也可以是硬性的。这样在插入部31为硬性的情况下,不需要纤维形状传感器4,用插入旋转检测部5对插入部前端相对于被插入体2的位置进行检测。另外,插入部前端的朝向例如能够基于通过图案识别等从拍摄图像中检测到的拍摄区域83的移动履历而求出。
此外,记载了加权指标参数为1个的例子,但也可以设定多个加权指标参数来运算加权指标参数。例如,在将第一加权指标参数设为拍摄位置的速度、将第二加权指标参数设为拍摄开口部33与拍摄位置之间的距离的情况下,观察支援装置6的动作成为如图17所示。
即,在实施参照图5A说明的那样的上述步骤S11~步骤S16的动作并进行了拍摄位置的速度V的运算后,显示运算部64根据该求出的速度V,对第一加权信息w1进行运算(步骤S20)。例如,按照图5B所示那样的、加权信息与拍摄位置的速度V成比例变小的关系(以下的(5)式)进行加权。
w1=f(V) (5)
此外,与之并行地,显示运算部64对拍摄位置P与拍摄开口部33的位置之间的距离D进行运算(步骤S21)。另外,在上述步骤S16中求取拍摄位置的速度V时,使用当前的拍摄图像和前一个拍摄图像,该距离D是在拍摄当前的图像的时间点的距离。并且,显示运算部64根据该求出的距离D,对第二加权信息w2进行运算(步骤S22)。例如,按照图8B所示那样的、距离D处于距离范围d1的情况下加权信息大而距离D处于距离范围d2的情况下加权信息与该距离D成比例变小的关系(以下的(6)式)进行加权。
w2=f(D) (6)
并且,如以下的(7)式那样,对这些第一加权信息w1和第二加权信息w2的和(也可以是积等其他计算方法)进行运算,设为最终加权信息w。
w=w1+w2 (7)
然后,前进到上述那样的步骤S18,显示运算部64基于求出的最终加权信息w,设定显示形式。
通过这样根据多个加权指标参数进行加权,拍摄位置信息的重要度的正确性增加。
记载了将拍摄位置信息的履历作为位置轨迹显示75显示的例子,但可以还显示插入部前端等例如拍摄开口部33的位置的履历。将这参照图18A~图18C和图19A及图19B进行说明。图18A~图18C示出了向作为被插入体2而具有分支的配管中插入了插入部31时的、在显示装置7上进行显示的例子。
图18A中,在表示被插入体的形状的二维图77上,显示出表示插入部31的形状的插入部形状概略显示76、表示拍摄开口部33的当前位置的当前位置显示74A、以及拍摄开口部33的位置轨迹即位置轨迹显示75A。另外,拍摄位置的轨迹即位置轨迹显示75省略。通过前端位置的轨迹显示,能够得知拍摄开口部33通过被插入体2的哪个位置、在当前时间点处于哪个位置。此外,也可以按照基于加权信息而设定的显示形式进行位置轨迹显示75A的显示。作为该情况的显示形式,能够变更例如虚线的颜色、种类、粗细、有无。
通过得知拍摄开口部33的位置,可知到达了拍摄对象的哪个部分。通过正确得知当前位置,从而利用该信息,能够进行对应于当前位置而应该进行的观察及处理、从当前位置向目标位置的路线的研究,而不需要如果是在该场所这样的推定。因此,不再需要为了去目标位置而重复尝试错误、或通过观看观察图像等各种方法来确认是否到达了目标位置。结果,从当前位置到目标位置能够取接近于最短路径的路线并1次到达的可能性提高,能够缩短时间,并且能够实现与位置有关的状况把握,从而实现沉着、自信的操作。
此外,除了拍摄开口部33的位置的履历以外,还可以显示拍摄开口部33所朝向的一维方向的履历。拍摄开口部33所朝向的方向设为例如视野(拍摄区域83)中心。图18B中,将拍摄开口部33所朝向的方向用箭头78表示。不仅是拍摄开口部33的当前的位置和朝向,还在拍摄开口部33的轨迹上的几个位置用箭头78加上方向的信息。通过拍摄开口部33的位置的轨迹和朝向的显示,能够得知插入部前端的拍摄开口部33的位置信息即前端位置的轨迹、以及朝向哪个方向变化了位置。此时,可以基于加权信息,变更例如箭头78的颜色、种类、粗细、有无。进而,也可以将拍摄开口部33的位置和方向的信息与拍摄位置信息相关联。由此,对于拍摄位置信息即过去拍摄的位置,进行了拍摄时的拍摄开口部33的位置和方向能够得知。
另外,虽然还与拍摄用的光学系统有关,但在本例中,位于插入部前端的拍摄开口部33所朝向的方向是视野中心,是拍摄图像的中央。
通过得知插入部前端的位置和朝向,从而在拍摄对象中的到达位置和朝向可知。从当前位置和朝向,可得知观察视野方向、视野中心。通过正确地得知到达位置和朝向、观察视野方向、视野中心,从而利用该信息,能够进行对应于当前位置和朝向而应进行的观察及处理、从当前位置到目标位置的路线、以及移动时的插入部31的形状及操作方法的研究,而不需要如果当前位置和朝向是这样的这种推定。特别是,通过得知插入部前端的朝向,能够研究用于到达目标位置及朝向的插拔、弯曲等操作方法、步骤。
拍摄开口部33所朝向的方向的履历可以设为将插入部前端的姿势、或者旋转包含在内来表示而进行三维显示。如图19A及图19B所示,即使在拍摄开口部33所朝向的方向相同的情况下,若插入部31旋转则拍摄开口部33也相对于拍摄对象91旋转。图19A和图19B中由于旋转了180°,所以上下颠倒,在这样的情况下,拍摄部34拍摄的拍摄图像I也上下颠倒地显示。图18C中,将被固定于插入部前端的坐标系、即插入部前端的位置及姿势不变化的坐标系的旋转定义为插入部前端的“三维的方向”时,为了表示插入部前端的三维的方向(姿势),将拍摄开口部33所朝向的方向用3方向(x方向、y方向、z方向)的箭头78A表示。这时,也可以基于加权信息,变更例如箭头78A的颜色、种类、粗细、有无。这样,通过得知插入部前端的位置和三次元的方向,例如,包括插入部前端在拍摄位置上的旋转的拍摄方向可知。此外,在拍摄以外的治疗等中也能够考虑绕朝前端的旋转的影响。此外,通过显示三维的方向的履历,对于拍摄位置信息即过去拍摄的位置,包含进行了拍摄时的拍摄开口部33的旋转的方向成为可知。
[第2实施方式]
本发明的第2实施方式在如下内容上与上述第1实施方式不同。即,本第2实施方式的观察支援装置6,对加权指标参数设置阈值,通过与阈值进行比较而决定拍摄位置的加权信息。
以下,仅说明与上述第1实施方式的不同之处。
图20A对应于上述第1实施方式中的图5A,与第1实施方式同样地,实施上述步骤S11~步骤S16的动作并进行拍摄位置的速度V的运算。然后,显示运算部64将该拍摄位置的速度V与预先存储在该显示运算部64中的阈值Vt进行比较(步骤S24),根据其比较结果,如图20B所示那样决定加权信息w。即,显示运算部64若拍摄位置的速度V在阈值Vt以下则使加权信息w大(步骤S25),若速度V大于阈值Vt则使加权信息w小(步骤S26)。另外,这里,阈值Vt设为例如人(操作者)能够识别图像的最大的拍摄位置的速度。
然后,与上述第1实施方式同样,前进到上述步骤S18,显示运算部64基于求出的最终加权信息w设定显示形式。
另外,作为显示形式,与上述第1实施方式同样,可以设为颜色的变化、透明度的变化、点的密度的变化,但如本实施方式那样通过与阈值进行比较而将拍摄位置的信息分为2个种类的加权信息的情况下,如图20C所示,可以设为拍摄位置显示的有无。即,关于加权信息w大的拍摄位置,设为位置轨迹显示75进行显示,而加权信息w小的拍摄位置设为不进行位置轨迹显示75(图20C中,为了说明而用虚线表示)那样的显示形式。另外,对于当前位置显示74,与加权信息w的大小无关地显示。
如以上那样,根据本第2实施方式,通过将拍摄位置的速度V等加权指标参数与阈值(例如Vt)进行比较而算出加权信息,从而能够将拍摄位置的信息分为2个种类的加权信息。因此,可知是例如比阈值的速度快时的拍摄位置信息还是比阈值的速度慢时的拍摄位置信息。
此外,通过将拍摄位置的速度的阈值Vt设为人(操作者)能够识别图像的最大的拍摄位置的速度,从而可知是虽然拍摄部34进行了拍摄但人没能识别即没能观察的范围。
进而,将拍摄位置基于拍摄位置的加权信息,使得在加权信息大即拍摄位置的速度V比阈值Vt慢的情况下显示拍摄位置的轨迹,在加权信息小即拍摄位置的速度V比阈值Vt快的情况下不显示拍摄位置的轨迹。通过这样,不再有将拍摄位置的移动过快而操作者没能观察的范围设为已观察而进行轨迹显示的情况。
另外,阈值不限于1个值,可以是多个。
此外,加权指标参数不限于拍摄位置的速度,当然能够适用在上述第1实施方式中说明的那样的各种参数。
例如,加权指标参数设为插入部前端与被插入体2之间的距离的情况下,阈值能够设为景深的范围。加权指标参数设为图像的明亮度的情况下,阈值能够设为曝光过度及曝光不足的有无。进而,可以是,使得阈值能够由操作者输入任意的值。
此外,记载了加权指标参数为1个的例子,但可以设定多个加权指标参数而运算加权指标参数。例如,将第一加权指标参数设为拍摄位置的速度、将第二加权指标参数设为拍摄开口部33与拍摄位置之间的距离的情况下,观察支援装置6的动作如图21所示。
即,在实施参照图5A说明的那样的上述步骤S11~步骤S16的动作并进行了拍摄位置的速度V的运算后,显示运算部64将该拍摄位置的速度V与预先在该显示运算部64中存储的阈值Vt进行比较(步骤S24),根据其比较结果,决定第一加权信息。即,显示运算部64若拍摄位置的速度V在阈值Vt以下则使第一加权信息大(步骤S27),若速度V比阈值Vt大则使第一加权信息小(步骤S28)。
此外,与之并行地,显示运算部64对拍摄位置P与拍摄开口部33的位置之间的距离D进行运算(步骤S21)。并且,显示运算部64将该距离D与预先在该显示运算部64中存储的阈值Dt进行比较(步骤S29),根据其比较结果,决定第二加权信息。即,显示运算部64若拍摄位置P与拍摄开口部33的位置之间的距离D在阈值Dt以下则使第二加权信息大(步骤S30),若距离D比阈值Dt大则使第二加权信息小(步骤S31)。
在这样对第一及第二加权指标参数分别与阈值进行比较而决定了第一及第二加权信息的大/小的情况下,显示运算部64接着判断该第一及第二加权信息是否都大(步骤S32)。若第一及第二加权信息都大,则显示运算部64使最终加权信息大(步骤S33)。
相对于此,若第一及第二加权信息不都大,显示运算部64接着判断第一及第二加权信息是否都小(步骤S34)。若第一及第二加权信息都小,则显示运算部64使最终加权信息小(步骤S35)。
此外,在第一及第二加权信息不都小的情况下,也就是一方大而另一方小的情况下,显示运算部64使最终加权信息为中(步骤S36)。
这样,显示运算部64根据3个等级的加权信息来决定最终加权信息。然后,前进至上述那样的步骤S18,显示运算部64根据求出的最终加权信息w设定显示形式。
通过这样根据多个加权指标参数进行加权,拍摄位置信息的重要度的正确性增加。
以上,基于实施方式说明了本发明,但本发明不限于上述的实施方式,在本发明的主旨的范围内当然能够进行各种变形及应用。
例如,将实现图5A、图17、图20A或图21的流程图中示出的功能的软件的程序提供给计算机,该计算机执行该程序,从而也能够实现上述观察支援装置6的功能。
Claims (23)
1.一种观察装置,其特征在于,具有:
插入部,被向被插入体插入,具有拍摄开口部;
拍摄部,接收向上述拍摄开口部入射的光而进行拍摄;
相对位置检测部,检测上述插入部的作为位置检测对象的部分相对于上述被插入体的相对位置;
被插入体形状取得部,取得上述被插入体的形状信息;
拍摄位置运算部,利用上述相对位置和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述拍摄部拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者之中的至少1个;
显示运算部,基于拍摄位置的加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述拍摄位置的加权信息对上述拍摄位置的显示形式进行设定;以及
输出部,将拍摄位置的轨迹和插入部前端位置的履历中的至少一方、上述显示形式和上述拍摄位置作为显示信息进行输出,
上述拍摄位置的加权指标参数是与能否观察、拍摄位置的重要性、观察容易度中的至少某一个有关的参数,
上述拍摄位置的加权信息是与上述能否观察、上述拍摄位置的重要性、上述观察容易度中的上述至少某一个有关的加权信息,
上述拍摄位置的显示形式使得能够根据上述拍摄位置的加权信息而得知上述能否观察、上述拍摄位置的重要性、上述观察容易度中的上述至少某一个。
2.如权利要求1记载的观察装置,其特征在于,
上述显示运算部基于上述加权信息,将上述显示形式设定为拍摄位置显示的有无、颜色的变化、透明度的变化、点的密度的变化这四者中的至少1个。
3.如权利要求1或2记载的观察装置,其特征在于,
上述显示运算部具有多个上述加权指标参数,利用多个上述加权指标参数对加权信息进行运算。
4.如权利要求1或2记载的观察装置,其特征在于,
上述相对位置检测部具有以下中的至少1个:
纤维形状传感器,至少设置在上述插入部的内部,在光纤中导光的光的光学特性与弯曲相对应而变化,由此检测上述插入部的弯曲量;
插入量检测部,检测上述插入部相对于上述被插入体的在插入方向上的量;以及
旋转量检测部,检测上述插入部相对于上述被插入体的在旋转方向上的量。
5.如权利要求1或2记载的观察装置,其特征在于,
上述加权指标参数基于上述拍摄开口部相对于上述被插入体的位置而被设定。
6.如权利要求5记载的观察装置,其特征在于,
上述显示运算部还具有对上述拍摄位置与上述拍摄开口部的位置之间的距离即拍摄距离进行运算的功能;
上述加权指标参数是上述拍摄距离。
7.如权利要求5记载的观察装置,其特征在于,
上述显示运算部还具有对拍摄角度进行运算的功能,该拍摄角度是从上述拍摄开口部朝向上述拍摄区域的中心的方向即拍摄方向与上述拍摄位置的面所成的角度;
上述加权指标参数是上述拍摄角度。
8.如权利要求1或2记载的观察装置,其特征在于,
上述加权指标参数基于上述拍摄位置或者上述拍摄开口部相对于上述被插入体的位置的时间性变化而被设定。
9.如权利要求8记载的观察装置,其特征在于,
上述显示运算部还具有对停止时间进行运算的功能,该停止时间是上述拍摄位置或上述拍摄开口部相对于上述被插入体的位置所停止的时间;
上述加权指标参数是上述停止时间。
10.如权利要求8记载的观察装置,其特征在于,
上述显示运算部还具有对变化速度进行运算的功能,该变化速度是上述拍摄位置或者上述拍摄开口部相对于上述被插入体的位置进行变化的速度;
上述加权指标参数是上述变化速度。
11.如权利要求10记载的观察装置,其特征在于,
上述显示运算部还具有对上述拍摄部的曝光时间进行运算的功能;
上述变化速度是上述曝光时间中的上述拍摄位置或者上述拍摄开口部相对于上述被插入体的位置的移动量。
12.如权利要求8记载的观察装置,其特征在于,
上述插入部具有弯曲部,
上述显示运算部还具有对夹着上述弯曲部而一方的插入部的长度方向和另一方的插入部的长度方向所成的角度即弯曲量的时间变化进行运算的功能;
上述加权指标参数是上述弯曲量的时间变化。
13.如权利要求1或2记载的观察装置,其特征在于,
上述加权指标参数基于上述拍摄部拍摄的图像而被设定。
14.如权利要求13记载的观察装置,其特征在于,
上述显示运算部还具有对上述拍摄部拍摄的图像的明亮度进行运算的功能;
上述加权指标参数是上述图像的明亮度。
15.如权利要求13记载的观察装置,其特征在于,
上述显示运算部还具有对上述图像的晃动量进行运算的功能;
上述加权指标参数是图像的晃动量。
16.如权利要求15记载的观察装置,其特征在于,
上述显示运算部通过不同的拍摄时刻的多个图像的图案匹配而对上述图像的晃动量进行运算。
17.如权利要求13记载的观察装置,其特征在于,
上述显示运算部在上述拍摄部拍摄的图像的规定范围对上述加权信息进行运算。
18.如权利要求17记载的观察装置,其特征在于,
上述图像的规定范围是,上述拍摄部拍摄的范围即拍摄范围中的上述被插入体与上述拍摄开口部的距离在规定距离以下的图像的范围。
19.如权利要求17记载的观察装置,其特征在于,
上述图像的规定范围是包含图像的中央的区域。
20.如权利要求1或2记载的观察装置,其特征在于,
上述显示运算部还将上述加权指标参数与阈值进行比较而算出上述加权信息。
21.如权利要求20记载的观察装置,其特征在于,
上述阈值基于上述拍摄开口部的景深的范围、人的图像识别速度、操作者输入的值、上述拍摄部拍摄到的图像的曝光过度及曝光不足的有无这四者中的至少1个而被决定。
22.如权利要求1记载的观察装置,其特征在于,
还具有输入来自上述输出部的上述显示信息并进行显示的显示装置。
23.一种观察支援装置,用于通过将插入部向被插入体插入而拍摄上述被插入体内部的观察装置,其特征在于,具有:
相对位置信息取得部,基于上述插入部的位移量信息,取得上述插入部的作为位置检测对象的部分相对于上述被插入体的相对位置信息;
被插入体形状取得部,取得上述被插入体的形状信息;
拍摄位置运算部,利用上述相对位置信息和上述被插入体的形状信息,对拍摄位置进行运算,该拍摄位置是上述观察装置拍摄的上述被插入体的区域即拍摄区域、上述拍摄区域的一部分、上述拍摄区域中的一点这三者中的至少1个;
显示运算部,基于拍摄位置的加权指标参数,对上述拍摄位置的加权信息进行运算,基于上述拍摄位置的加权信息,设定上述拍摄位置的显示形式;以及
输出部,将拍摄位置的轨迹和插入部前端位置的履历中的至少一方、上述显示形式和上述拍摄位置作为显示信息进行输出,
上述拍摄位置的加权指标参数是与能否观察、拍摄位置的重要性、观察容易度中的至少某一个有关的参数,
上述拍摄位置的加权信息是与上述能否观察、上述拍摄位置的重要性、上述观察容易度中的上述至少某一个有关的加权信息,
上述拍摄位置的显示形式使得能够根据上述拍摄位置的加权信息而得知上述能否观察、上述拍摄位置的重要性、上述观察容易度中的上述至少某一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-229255 | 2012-10-16 | ||
JP2012229255A JP6128792B2 (ja) | 2012-10-16 | 2012-10-16 | 観察装置、観察支援装置、観察装置の作動方法及びプログラム |
PCT/JP2013/077680 WO2014061566A1 (ja) | 2012-10-16 | 2013-10-10 | 観察装置、観察支援装置、観察支援方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104736038A CN104736038A (zh) | 2015-06-24 |
CN104736038B true CN104736038B (zh) | 2017-10-13 |
Family
ID=50488133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380054191.3A Active CN104736038B (zh) | 2012-10-16 | 2013-10-10 | 观察装置、观察支援装置、观察支援方法以及程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150216392A1 (zh) |
EP (1) | EP2910171A4 (zh) |
JP (1) | JP6128792B2 (zh) |
CN (1) | CN104736038B (zh) |
WO (1) | WO2014061566A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6128796B2 (ja) * | 2012-10-25 | 2017-05-17 | オリンパス株式会社 | 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム |
JPWO2016076262A1 (ja) * | 2014-11-11 | 2017-04-27 | オリンパス株式会社 | 医療装置 |
CN106998993B (zh) * | 2014-12-19 | 2019-01-08 | 奥林巴斯株式会社 | 插拔辅助装置及插拔辅助方法 |
US10234269B2 (en) * | 2015-06-11 | 2019-03-19 | Ge-Hitachi Nuclear Energy Americas Llc | Fiber optic shape sensing technology for encoding of NDE exams |
JP6141559B1 (ja) * | 2015-07-06 | 2017-06-07 | オリンパス株式会社 | 医療装置、医療画像生成方法及び医療画像生成プログラム |
EP3409204B1 (en) * | 2016-01-29 | 2023-08-30 | Terumo Kabushiki Kaisha | Biological information detection device |
JP6866646B2 (ja) * | 2017-01-16 | 2021-04-28 | オムロン株式会社 | センサ支援システム、端末、センサおよびセンサ支援方法 |
JP6624705B2 (ja) * | 2017-01-17 | 2019-12-25 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
JP6828465B2 (ja) * | 2017-01-30 | 2021-02-10 | セイコーエプソン株式会社 | 内視鏡操作支援システム |
JP7049220B2 (ja) * | 2018-08-30 | 2022-04-06 | オリンパス株式会社 | 画像取得装置および画像取得装置の作動方法 |
JP7116925B2 (ja) | 2019-03-22 | 2022-08-12 | 株式会社エビデント | 観察装置の作動方法、観察装置、およびプログラム |
WO2021171464A1 (ja) * | 2020-02-27 | 2021-09-02 | オリンパス株式会社 | 処理装置、内視鏡システム及び撮像画像の処理方法 |
EP4233677A4 (en) * | 2020-10-21 | 2024-06-26 | NEC Corporation | ENDOSCOPE ASSISTANCE DEVICE, CONTROL METHOD, COMPUTER-READABLE MEDIUM, AND PROGRAM |
CN116471973A (zh) * | 2020-10-21 | 2023-07-21 | 日本电气株式会社 | 内窥镜操作支持装置、控制方法、计算机可读介质和程序 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3012341B2 (ja) * | 1990-12-25 | 2000-02-21 | オリンパス光学工業株式会社 | 内視鏡装置 |
US6902528B1 (en) * | 1999-04-14 | 2005-06-07 | Stereotaxis, Inc. | Method and apparatus for magnetically controlling endoscopes in body lumens and cavities |
JP3850217B2 (ja) * | 2000-12-27 | 2006-11-29 | オリンパス株式会社 | 気管支用内視鏡位置検出装置 |
US6846286B2 (en) | 2001-05-22 | 2005-01-25 | Pentax Corporation | Endoscope system |
DE102004008164B3 (de) * | 2004-02-11 | 2005-10-13 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums |
JP4695420B2 (ja) * | 2004-09-27 | 2011-06-08 | オリンパス株式会社 | 湾曲制御装置 |
US7930065B2 (en) * | 2005-12-30 | 2011-04-19 | Intuitive Surgical Operations, Inc. | Robotic surgery system including position sensors using fiber bragg gratings |
JP2007260144A (ja) * | 2006-03-28 | 2007-10-11 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
US8248414B2 (en) * | 2006-09-18 | 2012-08-21 | Stryker Corporation | Multi-dimensional navigation of endoscopic video |
JP5112021B2 (ja) * | 2007-11-26 | 2013-01-09 | 株式会社東芝 | 血管内画像診断装置及び血管内画像診断システム |
JP5208495B2 (ja) * | 2007-12-27 | 2013-06-12 | オリンパスメディカルシステムズ株式会社 | 医療用システム |
ES2511033T3 (es) * | 2008-02-12 | 2014-10-22 | Covidien Lp | Sistema de orientación de perspectiva controlada |
US8337397B2 (en) * | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
EP3859682A1 (en) * | 2009-03-26 | 2021-08-04 | Intuitive Surgical Operations, Inc. | System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation |
CN102405010B (zh) * | 2009-04-20 | 2014-07-16 | 奥林巴斯医疗株式会社 | 被检体内检查系统 |
JP5346856B2 (ja) * | 2010-03-18 | 2013-11-20 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法及び撮像装置 |
JP2011206425A (ja) * | 2010-03-30 | 2011-10-20 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置 |
CN102573603B (zh) * | 2010-05-31 | 2015-05-13 | 奥林巴斯医疗株式会社 | 内窥镜形状检测装置及内窥镜的插入部的形状检测方法 |
JP2012024518A (ja) * | 2010-07-28 | 2012-02-09 | Fujifilm Corp | 内視鏡観察を支援する装置および方法、並びに、プログラム |
JP2012191978A (ja) * | 2011-03-15 | 2012-10-11 | Fujifilm Corp | 内視鏡検査システム |
CN103068297B (zh) * | 2011-03-30 | 2015-12-02 | 奥林巴斯株式会社 | 内窥镜系统 |
JPWO2013011733A1 (ja) * | 2011-07-15 | 2015-02-23 | 株式会社日立メディコ | 内視鏡誘導システム及び内視鏡誘導方法 |
-
2012
- 2012-10-16 JP JP2012229255A patent/JP6128792B2/ja active Active
-
2013
- 2013-10-10 EP EP13846290.8A patent/EP2910171A4/en not_active Withdrawn
- 2013-10-10 WO PCT/JP2013/077680 patent/WO2014061566A1/ja active Application Filing
- 2013-10-10 CN CN201380054191.3A patent/CN104736038B/zh active Active
-
2015
- 2015-04-16 US US14/688,244 patent/US20150216392A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP2910171A1 (en) | 2015-08-26 |
US20150216392A1 (en) | 2015-08-06 |
CN104736038A (zh) | 2015-06-24 |
JP6128792B2 (ja) | 2017-05-17 |
JP2014079377A (ja) | 2014-05-08 |
WO2014061566A1 (ja) | 2014-04-24 |
EP2910171A4 (en) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104736038B (zh) | 观察装置、观察支援装置、观察支援方法以及程序 | |
CN104797186B (zh) | 内窥镜系统 | |
CN104883946B (zh) | 图像处理装置、电子设备、内窥镜装置和图像处理方法 | |
JP6523925B2 (ja) | 生体情報を用いた認証装置及び認証方法 | |
CN104883950B (zh) | 内窥镜系统 | |
CN102908158B (zh) | 处理医学影像的方法和装置、及影像引导机器人手术系统 | |
JP6242543B2 (ja) | 画像処理装置及び画像処理方法 | |
US20130259315A1 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
JP6389136B2 (ja) | 内視鏡撮影部位特定装置、プログラム | |
EP1870855A2 (en) | A device, method and system for automatic montage of segmented retinal images | |
CN106456267A (zh) | 器械在视野中的定量三维可视化 | |
CN107980148A (zh) | 用于医学流程中的运动补偿的系统和方法 | |
CN111067468B (zh) | 用于控制内窥镜系统的方法、设备及存储介质 | |
CN103561628A (zh) | 内窥镜系统 | |
CN104755005B (zh) | 观察装置以及观察支援装置 | |
CN105283115B (zh) | 校正辅助装置、弯曲系统及校正方法 | |
KR20090010099A (ko) | 유도 장치 및 방법 | |
US20130057652A1 (en) | Handheld Scanning Device | |
JP7189355B2 (ja) | コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 | |
CN108243302A (zh) | 传感器信息取得装置、传感器信息取得方法及记录介质 | |
CN103512492B (zh) | 内窥镜装置以及测量方法 | |
CN110418610A (zh) | 确定引导信号和用于为手持式超声换能器提供引导的系统 | |
KR20210130041A (ko) | 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템 | |
JP2022185838A5 (zh) | ||
WO2022178031A1 (en) | Continuum robot apparatus, method, and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |