CN106659365A - 导航系统、导航系统的工作方法 - Google Patents

导航系统、导航系统的工作方法 Download PDF

Info

Publication number
CN106659365A
CN106659365A CN201580037250.5A CN201580037250A CN106659365A CN 106659365 A CN106659365 A CN 106659365A CN 201580037250 A CN201580037250 A CN 201580037250A CN 106659365 A CN106659365 A CN 106659365A
Authority
CN
China
Prior art keywords
information
branch line
branch
navigation system
regulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580037250.5A
Other languages
English (en)
Other versions
CN106659365B (zh
Inventor
生熊聪
生熊聪一
山本达郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106659365A publication Critical patent/CN106659365A/zh
Application granted granted Critical
Publication of CN106659365B publication Critical patent/CN106659365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

导航系统具有从预先取得的与被检体有关的图像信息中提取管腔脏器的管腔脏器提取部(31)、从管腔脏器中提取分支管路的分支管路提取部(32)、使被检体内取得的视点的位置信息与提取出的管腔脏器位置对齐并生成校正位置信息的位置对齐部(24)和坐标转换部(25)、根据校正位置信息判定有无观察分支管路的判定部(26)、将一个未观察分支管路作设定为目标分支管路的目标设定部(33)、在目标分支管路已观察的情况下更新目标分支管路而生成引导信息的引导信息生成部(34)。

Description

导航系统、导航系统的工作方法
技术领域
本发明涉及根据预先取得的与被检体有关的图像信息构建三维图像信息并提取管腔脏器、生成引导信息的导航系统、导航系统的工作方法。
背景技术
内窥镜装置例如广泛用作进行体腔内脏器的观察或根据需要使用处置器械进行治疗处置的医疗用内窥镜。在利用这种内窥镜装置进行观察或治疗处置的情况下,需要将内窥镜的插入部插入到管腔内,使插入部的前端部尽快且准确地到达病变部等目的地。
因此,为了使内窥镜的插入部到达目的地,以往提出了显示导航图像并进行引导的导航技术。在体腔内脏器中,例如针对支气管、肾脏等具有分支成多个部分的管腔的管腔脏器也使用这种导航技术。
例如,在日本特开2011-189074号公报中记载了如下技术:使用光纤传感器等检测弯曲部的弯曲形状,对检测到的弯曲形状和插入有插入部的分支管路的形状进行相称(fitting)处理,在内窥镜的插入操作时识别插入有插入部的分支管路和未插入有插入部的分支管路,高精度地显示插入部相对于支气管的插入状态。
并且,在日本特开2005-211535号公报中记载了如下技术:在模型图像上指定插入辅助始点和插入辅助终点,在假想内窥镜图像上通过指示器指定插入有插入部的分支管路,由此,从插入辅助始点到插入辅助终点引导插入部前端位置。
但是,有时在上述体腔内脏器内的例如肾脏中产生结石,一边利用内窥镜对肾盂、肾杯内进行观察,一边使用从内窥镜的前端突出的处置器械等进行去除这种结石的处置。
具体而言,首先,使结石破碎并细分化。此时,有时破碎片飞散而进入周边的肾杯,需要包含这种破碎片在内提取结石。因此,期望利用内窥镜对肾盂、肾杯内进行彻底的观察,以确认有无破碎后的残石。
因此,例如在日本特表2008-537730号公报中记载了如下技术:为了能够没有遗漏地确认结石破碎后的肾杯内有无残石,对已观察的肾杯注入标记材料,能够识别未观察的肾杯。
在上述日本特开2011-189074号公报和日本特开2005-211535号公报所记载的技术中,能够显示插入部的插入状态,进行所指定的目标位置之前的引导,但是,针对管腔脏器中的分支成多个部分的管腔,无法没有遗漏地进行引导。
并且,在上述日本特表2008-537730号公报所记载的技术中,如果不进行针对已观察的全部肾杯注入标记材料的操作,则无法判定有无观察,操作需要劳力和时间。进而,在观察了某个肾杯后,当根据手术医生的判断而向其他的未观察的肾杯进行移动时,不一定成为缩短移动路径的最佳顺序。
本发明是鉴于上述情况而完成的,其目的在于,提供能够容易地针对管腔脏器的分支成多个部分的管路进行没有遗漏的检查的导航系统、导航系统的工作方法。
发明内容
用于解决课题的手段
本发明的某个方式的导航系统具有:图像信息存储部,其存储预先取得的与被检体有关的图像信息;管腔脏器提取部,其从所述图像信息中提取规定的管腔脏器;分支管路提取部,其从所述规定的管腔脏器中提取规定的区域内存在的分支管路;位置信息取得部,其取得所述被检体内的视点的位置信息;位置对齐部,其生成校正位置信息,该校正位置信息是使由所述位置信息取得部取得的所述视点的位置信息与所述规定的管腔脏器的三维图像坐标信息位置对齐而得到的;判定部,其根据所述校正位置信息判定有无观察所述分支管路;目标设定部,其将由所述判定部判定为未观察的一个未观察分支管路设定为目标分支管路;以及引导信息生成部,其在由所述判定部判定为所述目标分支管路已观察的情况下,使所述目标设定部将所述目标分支管路更新为另一个所述未观察分支管路,并且生成朝向所述目标分支管路的引导信息。
在本发明的某个方式的导航系统的工作方法中,所述导航系统具有图像信息存储部、管腔脏器提取部、分支管路提取部、位置信息取得部、位置对齐部、判定部、目标设定部、引导信息生成部,其中,所述图像信息存储部存储预先取得的与被检体有关的图像信息,所述管腔脏器提取部从所述图像信息中提取规定的管腔脏器,所述分支管路提取部从所述规定的管腔脏器中提取规定的区域内存在的分支管路,所述位置信息取得部取得所述被检体内的视点的位置信息,所述位置对齐部生成校正位置信息,该校正位置信息是使由所述位置信息取得部取得的所述视点的位置信息与所述规定的管腔脏器的三维图像坐标信息位置对齐而得到的,所述判定部根据所述校正位置信息判定有无观察所述分支管路,所述目标设定部将由所述判定部判定为未观察的一个未观察分支管路设定为目标分支管路,在由所述判定部判定为所述目标分支管路已观察的情况下,所述引导信息生成部使所述目标设定部将所述目标分支管路更新为另一个所述未观察分支管路,并且生成朝向所述目标分支管路的引导信息。
附图说明
图1是示出本发明的实施方式1中的内窥镜系统的结构的图。
图2是示出上述实施方式1的图像处理装置的结构的框图。
图3是示出上述实施方式1中的内窥镜系统的作用的流程图。
图4是示出上述实施方式1的内窥镜系统中的自动已观察判定过程的流程图。
图5是示出上述实施方式1的内窥镜系统中的目标分支管路设定的处理的流程图。
图6是示出上述实施方式1中的显示装置的显示画面的显示例的图。
图7是示出上述实施方式1中、显示朝向位于假想内窥镜图像内的第1小肾杯的引导箭头的状态的图。
图8是示出上述实施方式1中、在第1小肾杯的观察结束后显示朝向位于假想内窥镜图像内的第2小肾杯的引导箭头的状态的图。
图9是示出上述实施方式1中、导航的引导从位于假想内窥镜图像内的第1小肾杯经由第2小肾杯向第3小肾杯移动的状况的图。
图10是示出上述实施方式1中、在内窥镜图像内显示引导箭头的例子的图。
图11是示出上述实施方式1中、显示目标位置标记和不可插入标记的插入辅助图像的例子的图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图11示出本发明的实施方式1,是示出内窥镜系统1的结构的图。本实施方式将导航系统应用于内窥镜系统1,构成为进行通过内窥镜系统1观察被检体时的导航。
如图1所示,应用了导航系统的内窥镜系统1具备具有内窥镜2和照相机控制单元(CCU)3的内窥镜装置4、位置检测装置5、服务器6、图像处理装置7、显示装置8。
内窥镜2具有插入到被检体内的具有挠性的细长的插入部11、与该插入部11的基端部连续设置的操作部12、从该操作部12的侧面延伸设置的缆线13。
在操作部12中设置有导航按钮12a,该导航按钮12a产生用于开始导航显示的导航显示开始指示数据。该导航按钮12a也作为引导开始指示部,该引导开始指示部被输入使后述引导信息生成部34开始生成引导信息的命令。另外,导航按钮12a不限于设置在内窥镜2的操作部12中,例如也可以设置成脚踏开关,还可以设置成其他结构的开关等。
在插入部11的前端部设置有用于对被检体内进行摄像的摄像系统10。具体而言,该摄像系统10具有形成被检体内的光学像的物镜光学系统、对由该物镜光学系统形成的光学像进行光电转换并生成摄像信号的CCD等摄像元件。内窥镜2经由缆线13而与CCU3连接,向CCU3发送由摄像系统10进行摄像的摄像信号和从导航按钮12a输入的导航显示开始指示数据。
CCU3对从内窥镜2发送的摄像信号实施规定图像处理,生成内窥镜图像数据。并且,CCU3接收从导航按钮12a输入的导航显示开始指示数据。
从上述插入部11的前端部到基端部,以规定间隔设置有未图示的多个接收线圈。这些多个接收线圈根据位置检测装置5产生的磁场,分别输出电信号。内窥镜2经由缆线14而与位置检测装置5连接,向位置检测装置5发送从接收线圈输出的各电信号。
作为位置信息取得部的位置检测装置5根据来自多个接收线圈中的设置在插入部11的前端部的接收线圈的电信号,运算并取得位于被检体内的插入部11的前端的摄像系统10的视点的位置信息(该位置信息包含视点的三维位置和视点的视线方向的各信息)。例如每隔一定的时间间隔反复进行基于该位置检测装置5的位置信息的取得。
然后,位置检测装置5根据来自上述多个接收线圈的电信号,运算并取得表示插入部11的插入形状的插入形状数据。另外,这里,利用接收线圈取得弯曲形状数据,但是不限于此,例如也可以使用FBG(光纤布拉格光栅:Fiber Bragg Grating)传感器等取得弯曲形状数据。
上述CCU3、位置检测装置5和服务器6与图像处理装置7连接。其中的服务器6例如经由医院内的LAN等通信线路而与图像处理装置7连接。
CCU3向图像处理装置7发送如上所述生成的内窥镜图像数据和从内窥镜2接收到的导航显示开始指示数据。
位置检测装置5向图像处理装置7发送视点的位置信息(位置和方向数据)和插入部11的插入形状数据。
另一方面,服务器6例如存储在进行该内窥镜系统1的检查之前由CT、MRI或PET等预先取得的术前多层图像数据16a~16n。然后,服务器6向图像处理装置7发送这些术前多层图像数据16a~16n。另外,这里,图像处理装置7从服务器6读入术前多层图像数据16a~16n,但是,取而代之,当然也可以从存储了术前多层图像数据16a~16n的CD-ROM等移动记录介质读入。
图像处理装置7根据从CCU3、位置检测装置5和服务器6取入的各数据进行后述处理,生成图像数据。
图像处理装置7与显示装置8连接,显示装置8接收并显示由图像处理装置7生成的图像数据。该显示装置8成为如后所述显示由图像处理装置7生成的导航图像的显示部。
接着,图2是示出图像处理装置7的结构的框图。
图像处理装置7具有图像信息存储部21、图像处理部22、视点位置存储部23、位置对齐部24、坐标转换部25、判定部26、输入部27。
图像信息存储部21从服务器6读入并存储用于构建三维图像信息的预先取得的与被检体有关的图像信息即术前多层图像数据16a~16n。
视点位置存储部23存储由位置检测装置5取得的视点的位置信息,如上所述,例如能够蓄积每隔一定的时间间隔反复由位置检测装置5取得的多个时点的位置信息。
位置对齐部24进行实际空间坐标和三维图像坐标的位置对齐,该实际空间坐标记述由位置检测装置5取得并存储在视点位置存储部23中的视点的位置信息,该三维图像坐标记述如后所述由管腔脏器提取部31提取出的规定管腔脏器。例如作为从实际空间坐标朝向三维图像坐标的转换式的计算,来进行基于该位置对齐部24的位置对齐。
另外,位置对齐的方法不限于上述使用转换式的方法,例如也可以采用日本特开2005-312770号公报所公开的、基于患者体表的特征点的位置检测和三维图像数据上的特征点指定的位置对齐方法,或日本特开2009-279251号公报所公开的基于内窥镜图像和假想内窥镜图像的匹配的位置对齐方法等。
坐标转换部25根据由位置对齐部24计算出的转换式,将视点位置存储部23中存储的位置和方向数据转换为三维数据坐标上的值。然后,坐标转换部25将转换后的视点的位置和方向数据与转换前的位置和方向数据、时间戳关联起来存储在视点位置存储部23中。
这样,通过位置对齐部24和坐标转换部25构成位置对齐部,该位置对齐部生成使由作为位置信息取得部的位置检测装置5取得的视点的位置信息与规定管腔脏器的三维图像坐标信息位置对齐的校正位置信息。
判定部26根据如后所述由分支管路提取部32在规定区域内提取出的分支管路的位置信息和位置对齐后的校正位置信息,判定有无观察分支管路。该判定部26具有判定结果存储部36,该判定结果存储部36累积地存储由经由视点位置存储部23接收到的校正位置信息示出的位置位于上述规定区域内时的判定部26的判定结果。然后,每当以一定的时间间隔取得位置信息时,判定部26判定有无观察分支管路,在判定结果存储部36中累积地存储最新的判定结果。由此,判定结果存储部36的存储内容例如如“分支管路1:未观察、分支管路2:未观察、…、分支管路n:未观察”→“分支管路1:未观察、分支管路2:已观察、…、分支管路n:未观察”等那样,随着观察的进行,各分支管路的观察状态依次从“未观察”变化为“已观察”。
输入部27用于进行针对图像处理装置7的操作输入,包括区域指定部,该区域指定部能够指定作为由分支管路提取部32提取分支管路的对象的规定区域。由该区域指定部指定的区域成为作为观察对象的规定区域。这里,能够针对由管腔脏器提取部31提取的规定管腔脏器任意指定规定区域,可以是规定管腔脏器的一部分,也可以是全部。
图像处理部22具有管腔脏器提取部31、分支管路提取部32、目标设定部33、引导信息生成部34。
管腔脏器提取部31读出图像信息存储部21中存储的图像信息(术前多层图像数据16a~16n)并构建三维图像信息,进而,从三维图像信息中提取规定管腔脏器。这里,作为一例,设要提取的管腔脏器是肾脏的管腔构造。此时,管腔脏器提取部31例如提取包含尿管52、肾盂53、大肾杯54、小肾杯55、肾乳头56(或者,进一步根据需要包含膀胱和尿道)在内的规定管腔脏器,作为管腔脏器51(参照图6)。
分支管路提取部32从规定管腔脏器中提取作为由输入部27设定的观察对象的规定区域内存在的分支管路。另外,为了进行没有遗漏的检查,优选分支管路提取部32提取规定区域内存在的全部分支管路。
目标设定部33设定由判定部26判定为未观察的一个未观察分支管路作为目标分支管路。根据上述判定结果存储部36的最新的存储内容进行基于该目标设定部33的目标分支管路的设定。
具体而言,目标设定部33设定(优选在插入部11的插入方向的前端侧)与由校正位置信息示出的当前的视点位置最接近的未观察分支管路作为目标分支管路。
并且,目标设定部33在由判定部26判定为目标分支管路未观察时,判定目标分支管路是否比由校正位置信息示出的当前的视点位置更靠前端侧,在不比当前的视点位置更靠前端侧的情况下,根据校正位置信息对目标分支管路进行更新。如后所述,这是为了在手术医生进行了偏离导航路径的操作的情况下,根据当前的视点位置设定新的目标分支管路,始终能够进行适当的导航。
引导信息生成部34在由判定部26判定为目标分支管路已观察的情况下,使目标设定部33将目标分支管路更新为另一个未观察分支管路,并且生成朝向目标分支管路的引导信息。由此,依次进行朝向未观察分支管路的导航。
在上述分支管路提取部32提取规定区域内存在的全部分支管路的情况下,引导信息生成部34判定插入部11是否能够插入到提取出的全部分支管路中,依次生成朝向判定为能够插入的全部分支管路的引导信息。
此时,引导信息生成部34也可以根据如上所述每隔一定的时间间隔反复进行的基于位置检测装置5的位置信息的取得,每隔一定的时间间隔生成引导信息。由此,能够实时显示引导信息。
如上所述,导航按钮12a是引导开始指示部,该引导开始指示部被输入使引导信息生成部34开始生成引导信息的命令,引导信息生成部34从对导航按钮12a输入了命令的时点起生成引导信息。因此,在手术医生认为不需要导航而不对导航按钮12a进行操作时,不生成引导信息,即不在显示装置8中显示引导信息。
图像处理部22将由引导信息生成部34生成的引导信息重叠在假想内窥镜图像42或内窥镜图像43等上作为导航图像,与其他显示信息一起生成显示用的图像数据并输出到显示装置8。由此,在显示装置8中显示导航图像。
这里,图6是示出显示装置8的显示画面8a的显示例的图。另外,在实施方式的说明中,适当使用图6的显示画面8a中显示的图像中的标号。
如图6所示,在显示装置8的显示画面8a中例如显示俯瞰图像41、假想内窥镜图像42、内窥镜图像43。这里,俯瞰图像41是俯瞰作为三维图像数据构建的管腔脏器时的立体观察的管腔脏器的二维图像。并且,假想内窥镜图像42是从摄像系统10的视点位置观察作为三维图像数据构建的管腔脏器时的二维图像。而且,内窥镜图像43是由摄像系统10进行摄像而得到的摄像图像。另外,图6所示的显示例只不过是一例,也可以显示其他信息或省略几个信息的显示等。
在图6所示的俯瞰图像41中显示管腔脏器51中的尿管52、肾盂53、大肾杯54、小肾杯55、肾乳头56,进而,显示作为导航的表示当前的插入部11的插入形状的插入部图像61。该插入部图像61的前端是当前的视点位置60。在图6的俯瞰图像41所示的例子中,当前的视点位置60在大肾杯54内。
图6所示的内窥镜图像43对应于当前的摄像系统10的视点位置60位于大肾杯54内的情况,显示从大肾杯54观察的多个小肾杯55的开口。
并且,假想内窥镜图像42显示应该从当前的摄像系统10的视点位置60观察的多个小肾杯55的开口。
接着,图3是示出内窥镜系统1的作用的流程图。
开始进行图3所示的处理后,图像处理装置7访问服务器6,读出术前多层图像数据16a~16n,将其存储在图像信息存储部21中。然后,管腔脏器提取部31根据图像信息存储部21中存储的术前多层图像数据16a~16n构建三维图像信息,进而,从所构建的三维图像信息中提取规定管腔脏器(步骤S1)。
接着,分支管路提取部32进一步从由管腔脏器提取部31提取出的规定管腔脏器中提取作为由输入部27设定的观察对象的规定区域内存在的分支管路(步骤S2)。
然后,起动图4所示的自动已观察判定过程(步骤S3)。
这里,图4是示出内窥镜系统中的自动已观察判定过程的流程图。
当该过程起动时,从位置检测装置5取得最新的视点位置信息并将其存储在视点位置存储部23中(步骤S21)。
接着,通过位置对齐部24和坐标转换部25使所取得的最新的视点位置信息与三维图像坐标信息位置对齐,生成校正位置信息(步骤S22)。
接着,判定部26根据校正位置信息进行作为观察对象的规定区域的分支管路的已观察判定(步骤S23)。
然后,如上所述在判定结果存储部36中累积地存储判定结果(步骤S24),根据是否接收到过程结束信号等,判定是否结束该过程(步骤S25)。
这里,在判定为还未结束的情况下,返回步骤S21,取得下一个最新的视点位置信息,进行上述处理,另一方面,在判定为结束的情况下结束该过程。
通过进行这种处理,在判定结果存储部36中存储规定区域内的各分支管路是已观察还是未观察的最新的信息。
返回图3的说明,在步骤S3中起动自动已观察判定过程后,等待导航按钮12a被操作为导航显示接通(步骤S4)。这里,在等待导航显示接通的操作的期间内,如上所述,并列地持续执行步骤S3中起动的自动已观察判定过程。
这样,在步骤S4中判定为操作为导航显示接通(ON)的情况下,根据判定结果存储部36中存储的自动已观察判定过程的最新的判定结果,判定作为观察对象的规定区域内是否存在未观察的分支管路(步骤S5)。
这里,在判定为存在未观察的分支管路的情况下,进行目标分支管路设定的处理(步骤S6)。
这里,图5是示出内窥镜系统1中的目标分支管路设定的处理的流程图。
开始进行该处理后,根据判定结果存储部36中存储的自动已观察判定过程的最新的判定结果,判定在比当前的视点位置更靠前端侧是否存在未观察分支管路(步骤S31)。关于这里的前端侧,在沿着管腔的分支管路追寻到未观察分支管路的路径时,不是表示向内窥镜2的基端部侧拉回内窥镜2的路径的方向,而是表示使内窥镜2向当前的内窥镜2的前端部侧前进的路径的方向。
这里,在判定为在比当前的视点位置更靠前端侧存在未观察分支管路的情况下,在比当前的视点位置更靠前端侧选择最近的未观察分支管路作为选择分支管路(步骤S32)。
并且,在步骤S31中判定为在比当前的视点位置更靠前端侧不存在未观察分支管路的情况下,选择除了前端侧以外的最接近当前的视点位置的位置的未观察分支管路作为选择分支管路(步骤S33)。根据沿着分支管路的路径的距离来判定此时的远近。
然后,判定步骤S32或步骤S33中选择出的选择分支管路的内径是否为插入部11的外径以上、即插入部11是否能够插入(步骤S34)。
这里,在判定为能够插入的情况下,将选择分支管路设定为导航的目标分支管路(步骤S35)。
并且,在步骤S34中判定为不能插入的情况下,将选择分支管路从目标分支管路的选择对象中排除(步骤S36)。
这样,在进行步骤S35或步骤S36后,从该处理返回图3所示的处理。
在从步骤S6的目标分支管路设定的处理返回图3所示的处理后,判定步骤S6中是否进行了目标分支管路的设定(步骤S7)。即,如上所述,如果进行了步骤S35的处理,则设定了目标分支管路,如果进行了步骤S36的处理,则还未设定目标分支管路,因此,这里进行该判定。
这里,在判定为还未设定目标分支管路的情况下,返回上述步骤S5的处理,判定是否存在未观察的分支管路,在存在的情况下,再次进行步骤S6的处理,重新设定目标分支管路。
并且,在步骤S7中判定为设定了目标分支管路的情况下,生成用于从当前的视点位置向目标分支管路进行引导的导航信息(步骤S8)。
然后,根据判定结果存储部36中存储的最新的判定结果,判定目标分支管路是否已观察(步骤S9)。
这里,在判定为目标分支管路已观察的情况下,返回步骤S5的处理,反复进行上述处理。
并且,在判定为目标分支管路未观察的情况下,判定目标分支管路的位置是否比当前的视点位置更靠前端侧(步骤S10)。在手术医生按照导航进行插入部11的插入时,目标分支管路的位置应该比当前的视点位置更靠前端侧,但是,在手术医生进行了偏离导航路径的操作的情况下、例如将插入部11插入到与导航所示的目标分支管路不同的分支管路的情况下等,有时目标分支管路的位置不比当前的视点位置更靠前端侧。该步骤S10是用于识别这种情况的判定。
这里,在判定为比当前的视点位置更靠前端侧的情况下,返回步骤S9,等待目标分支管路成为已观察。
另一方面,在步骤S10中判定为不比当前的视点位置更靠前端侧的情况下,根据当前的视点位置再次设定更加适当的目标分支管路,因此,返回上述步骤S5的处理。
这样,在步骤S5中判定为规定区域内不存在未观察的分支管路的情况下、即观察了规定区域内的全部分支管路,因此,通过向步骤S3中起动的自动已观察判定过程发送过程结束信号等,在结束过程后(步骤S11),结束该处理。
接着,图7是示出显示朝向位于假想内窥镜图像42内的第1小肾杯55a的引导箭头62的状态的图,图8是示出在第1小肾杯55a的观察结束后显示朝向位于假想内窥镜图像42内的第2小肾杯55b的引导箭头62的状态的图,图9是示出导航的引导从位于假想内窥镜图像42内的第1小肾杯55a经由第2小肾杯55b向第3小肾杯55c移动的状况的图。
例如,如图6的俯瞰图像41所示,当前的摄像系统10的视点位置60位于大肾杯54内,如假想内窥镜图像42或内窥镜图像43所示,从该视点位置60观察3个小肾杯55。
此时,如图7所示,将比当前的视点位置60更靠前端侧的作为最近的未观察分支管路的例如第1小肾杯55a设定为目标分支管路,作为朝向成为目标分支管路的第1小肾杯55a的导航的一例,例如在假想内窥镜图像42内显示引导箭头62。在图7所示的例子中,该引导箭头62成为将与当前的视点位置60对应的假想内窥镜图像42的中央位置作为起点、目标分支管路即第1小肾杯55a作为终点的方向的箭头。但是。该图7(和图8)所示的引导箭头62是导航显示的一例,不限于该显示方式,也可以使用其他方式的导航显示。
这样,当第1小肾杯55a的观察结束后,第1小肾杯55a已观察,因此,将比当前的视点位置60更靠前端侧的作为最近的未观察分支管路的例如第2小肾杯55b设定为下一个目标分支管路,作为朝向成为目标分支管路的第2小肾杯55b的导航,显示图8所示的引导箭头62。
这样,基于导航显示的引导按照比当前的视点位置60更靠前端侧的未观察分支管路中从近到远的顺序,例如,如图9所示,从第1小肾杯55a经由第2小肾杯55b朝向第3小肾杯55c依次移动。
另外,图7~图9示出在假想内窥镜图像42中进行导航显示的例子,但是,如图10所示,也可以在内窥镜图像43中显示作为导航显示的一例的引导箭头62。这里,图10是示出在内窥镜图像43内显示引导箭头62的例子的图。并且,不限于此,也可以在俯瞰图像41中进行导航显示。
进而,图11是示出显示目标位置标记63和不可插入标记64的插入辅助图像的例子的图。
在该图11所示的例子中,通过在俯瞰图像41中显示目标位置标记63和不可插入标记64,成为插入辅助图像。这里,目标位置标记63是表示通过上述步骤S35的处理而设定的当前的目标分支管路的位置的标记。并且,不可插入标记64是表示通过上述步骤S36的处理而从目标分支管路的选择对象中排除的分支管路的位置的标记。另外,目标位置标记63和不可插入标记64等插入辅助信息也可以显示在假想内窥镜图像42或内窥镜图像43中。
根据这种实施方式1,设定判定为未观察的一个未观察分支管路作为目标分支管路,在判定为目标分支管路已观察的情况下,将目标分支管路更新为另一个未观察分支管路,并且生成朝向目标分支管路的引导信息,因此,对依次插入到管腔脏器的分支成多个部分的管路中的操作进行辅助,能够容易地进行没有遗漏的检查。
此时,提取规定区域内存在的全部分支管路,针对提取出的全部分支管路判定插入部是否能够插入,依次生成朝向判定为能够插入的全部分支管路的引导信息,由此,能够网罗规定区域内存在的能够检查的分支管路进行检查。
并且,还具有能够指定作为提取分支管路的对象的规定区域的区域指定部即输入部27,因此,能够将期望区域设定为检查对象。
而且,能够设定与由校正位置信息示出的当前的视点位置最接近的未观察分支管路作为目标分支管路,因此,能够使观察顺序适当化,减小插入部11的移动量,缩短检查时间并实现检查的高效化。
此时,通过在当前的视点位置的前端侧设定最近的未观察分支管路作为目标分支管路,能够使观察顺序最佳化。
并且,判定未观察的目标分支管路是否比当前的视点位置更靠前端侧,在不比当前的视点位置更靠前端侧的情况下,根据校正位置信息对目标分支管路进行更新,因此,在由于手术医生的操作而使当前的视点位置偏离导航路径的情况下,也能够随时设定该时点的最佳的目标分支管路,能够始终进行适当的导航。
而且,累积地存储由校正位置信息示出的位置位于区域内时是否已观察的判定结果,根据最新的存储内容设定目标分支管路,因此,不需要在每当要设定目标分支管路时判定分支管路是否已观察,节省无用功并减轻处理负荷,还能够实现处理时间的缩短。
而且,引导信息生成部34从对引导开始指示部即导航按钮12a输入了命令的时点起生成引导信息,因此,手术医生能够在期望的定时切换导航显示的接通/断开。
另外,上述主要说明了导航系统,但是,也可以是使导航系统如上所述进行工作的工作方法,还可以是用于使计算机实现导航系统的工作方法的程序、记录该程序的计算机可读取的非暂时记录介质等。
并且,本发明不限于上述实施方式,能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明的方式。例如,可以从实施方式所示的全部结构要素中删除若干个结构要素。进而,可以适当组合不同实施方式的结构要素。这样,当然能够在不脱离发明主旨的范围内进行各种变形和应用。
本申请以2014年7月15日在日本申请的日本特愿2014-145312号为优先权主张的基础进行申请,上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (8)

1.一种导航系统,其特征在于,所述导航系统具有:
图像信息存储部,其存储预先取得的与被检体有关的图像信息;
管腔脏器提取部,其从所述图像信息中提取规定的管腔脏器;
分支管路提取部,其从所述规定的管腔脏器中提取规定的区域内存在的分支管路;
位置信息取得部,其取得所述被检体内的视点的位置信息;
位置对齐部,其生成校正位置信息,该校正位置信息是使由所述位置信息取得部取得的所述视点的位置信息与所述规定的管腔脏器的三维图像坐标信息位置对齐而得到的;
判定部,其根据所述校正位置信息判定有无观察所述分支管路;
目标设定部,其将由所述判定部判定为未观察的一个未观察分支管路设定为目标分支管路;以及
引导信息生成部,其在由所述判定部判定为所述目标分支管路已观察的情况下,使所述目标设定部将所述目标分支管路更新为另一个所述未观察分支管路,并且生成朝向所述目标分支管路的引导信息。
2.根据权利要求1所述的导航系统,其特征在于,
所述分支管路提取部提取所述规定的区域内存在的全部分支管路,
所述引导信息生成部针对由所述分支管路提取部提取出的全部分支管路判定插入部是否能够插入所述分支管路,依次生成朝向判定为能够插入的全部分支管路的引导信息。
3.根据权利要求1所述的导航系统,其特征在于,
所述导航系统还具有区域指定部,该区域指定部能够指定作为由所述分支管路提取部提取所述分支管路的对象的所述规定的区域。
4.根据权利要求1所述的导航系统,其特征在于,
所述目标设定部设定与由所述校正位置信息示出的当前的视点位置最接近的所述未观察分支管路作为所述目标分支管路。
5.根据权利要求4所述的导航系统,其特征在于,
所述目标设定部将在插入部的插入方向的前端侧与由所述校正位置信息示出的当前的视点位置最接近的所述未观察分支管路设定为所述目标分支管路,
该目标设定部在由所述判定部判定为所述目标分支管路未观察时,判定该目标分支管路是否比由所述校正位置信息示出的当前的视点位置更靠前端侧,在不比当前的视点位置更靠前端侧的情况下,根据所述校正位置信息对所述目标分支管路进行更新。
6.根据权利要求1所述的导航系统,其特征在于,
所述导航系统还具有判定结果存储部,该判定结果存储部累积地存储由所述校正位置信息示出的位置位于所述规定的区域内时的所述判定部的判定结果,
所述目标设定部根据所述判定结果存储部的最新的存储内容设定所述目标分支管路。
7.根据权利要求1所述的导航系统,其特征在于,
所述导航系统还具有引导开始指示部,该引导开始指示部被输入使所述引导信息生成部开始生成所述引导信息的命令,
从所述引导开始指示部被输入了所述命令的时刻起,所述引导信息生成部生成所述引导信息。
8.一种导航系统的工作方法,所述导航系统具有图像信息存储部、管腔脏器提取部、分支管路提取部、位置信息取得部、位置对齐部、判定部、目标设定部、引导信息生成部,其特征在于,
所述图像信息存储部存储预先取得的与被检体有关的图像信息,
所述管腔脏器提取部从所述图像信息中提取规定的管腔脏器,
所述分支管路提取部从所述规定的管腔脏器中提取规定的区域内存在的分支管路,
所述位置信息取得部取得所述被检体内的视点的位置信息,
所述位置对齐部生成校正位置信息,该校正位置信息是使由所述位置信息取得部取得的所述视点的位置信息与所述规定的管腔脏器的三维图像坐标信息位置对齐而得到的,
所述判定部根据所述校正位置信息判定有无观察所述分支管路,
所述目标设定部将由所述判定部判定为未观察的一个未观察分支管路设定为目标分支管路,
在由所述判定部判定为所述目标分支管路已观察的情况下,所述引导信息生成部使所述目标设定部将所述目标分支管路更新为另一个所述未观察分支管路,并且生成朝向所述目标分支管路的引导信息。
CN201580037250.5A 2014-07-15 2015-04-28 导航系统、导航系统的工作方法 Active CN106659365B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014145312 2014-07-15
JP2014-145312 2014-07-15
PCT/JP2015/062831 WO2016009701A1 (ja) 2014-07-15 2015-04-28 ナビゲーションシステム、ナビゲーションシステムの作動方法

Publications (2)

Publication Number Publication Date
CN106659365A true CN106659365A (zh) 2017-05-10
CN106659365B CN106659365B (zh) 2019-09-06

Family

ID=55078205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580037250.5A Active CN106659365B (zh) 2014-07-15 2015-04-28 导航系统、导航系统的工作方法

Country Status (5)

Country Link
US (1) US10918443B2 (zh)
EP (1) EP3153090A1 (zh)
JP (1) JP6038405B2 (zh)
CN (1) CN106659365B (zh)
WO (1) WO2016009701A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019097665A (ja) * 2017-11-29 2019-06-24 水野 裕子 内視鏡装置
JP6749020B2 (ja) * 2017-11-29 2020-09-02 水野 裕子 内視鏡ナビゲーション装置
WO2021145265A1 (ja) * 2020-01-17 2021-07-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN115624308B (zh) * 2022-12-21 2023-07-07 深圳市资福医疗技术有限公司 胶囊内窥镜巡航控制方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004089483A (ja) * 2002-08-30 2004-03-25 Olympus Corp 内視鏡装置
US20090292166A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
CN103298407A (zh) * 2011-06-23 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像诊断装置
CN103561628A (zh) * 2012-03-06 2014-02-05 奥林巴斯医疗株式会社 内窥镜系统
WO2014103238A1 (ja) * 2012-12-27 2014-07-03 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343723B2 (ja) 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
JP4537756B2 (ja) 2004-04-30 2010-09-08 オリンパス株式会社 超音波診断装置
US7907991B2 (en) 2005-03-02 2011-03-15 C. R. Bard, Inc. System and method for marking body cavities
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
JP5188879B2 (ja) 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
JP2011189074A (ja) 2010-03-16 2011-09-29 Olympus Medical Systems Corp 医療機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004089483A (ja) * 2002-08-30 2004-03-25 Olympus Corp 内視鏡装置
US20090292166A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
CN103298407A (zh) * 2011-06-23 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像诊断装置
CN103561628A (zh) * 2012-03-06 2014-02-05 奥林巴斯医疗株式会社 内窥镜系统
WO2014103238A1 (ja) * 2012-12-27 2014-07-03 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
US20170112578A1 (en) 2017-04-27
WO2016009701A1 (ja) 2016-01-21
CN106659365B (zh) 2019-09-06
JPWO2016009701A1 (ja) 2017-04-27
EP3153090A1 (en) 2017-04-12
US10918443B2 (en) 2021-02-16
JP6038405B2 (ja) 2016-12-07

Similar Documents

Publication Publication Date Title
EP2904958A1 (en) Endoscopic system
US9516993B2 (en) Endoscope system
EP1681011B1 (en) Insertion support system
CN103561628B (zh) 内窥镜系统
US9918614B2 (en) Endoscope system with angle-of-view display information overlapped on three-dimensional image information
EP2430979A1 (en) Biopsy support system
JPWO2014156378A1 (ja) 内視鏡システム
WO2017068650A1 (ja) 挿入体支援システム
CN106659365B (zh) 导航系统、导航系统的工作方法
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JPWO2017212725A1 (ja) 医療用観察システム
US10085705B2 (en) Medical observation system
US9345394B2 (en) Medical apparatus
JP4445792B2 (ja) 挿入支援システム
US10694929B2 (en) Medical equipment system and operation method of medical equipment system
JP4624575B2 (ja) 内視鏡システム
JP4575143B2 (ja) 挿入支援システム
WO2019027031A1 (ja) 内視鏡形状表示装置、及び内視鏡システム
JP4190454B2 (ja) 挿入支援装置
WO2019027032A1 (ja) 内視鏡形状表示装置、内視鏡システム
WO2016039292A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant