CN110381807A - 内窥镜系统、处理器装置及内窥镜系统的工作方法 - Google Patents
内窥镜系统、处理器装置及内窥镜系统的工作方法 Download PDFInfo
- Publication number
- CN110381807A CN110381807A CN201880015393.XA CN201880015393A CN110381807A CN 110381807 A CN110381807 A CN 110381807A CN 201880015393 A CN201880015393 A CN 201880015393A CN 110381807 A CN110381807 A CN 110381807A
- Authority
- CN
- China
- Prior art keywords
- processing
- control unit
- differentiation
- endoscope
- notice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种内窥镜系统、处理器装置及内窥镜系统的工作方法,所述内窥镜系统在医生等用户不希望的时刻抑制处理负荷,且在医生等用户希望的适当的时刻自动执行判别等处理,从而可获取有助于诊断的信息。内窥镜系统(10)具备图像获取部(54)、判别处理部(82)及判别处理控制部(83)。图像获取部(54)获取利用内窥镜(12)拍摄观察对象而得的内窥镜图像。判别处理部(82)通过利用内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分。判别处理控制部(83)根据内窥镜(12)的动作的变化或内窥镜图像控制判别处理的开始或结束。
Description
技术领域
本发明涉及一种利用使用内窥镜图像拍摄观察对象而得的内窥镜图像判别具有特定特征的部分的内窥镜系统、处理器装置及内窥镜系统的工作方法。
背景技术
在医疗领域中,通常利用具备光源装置、内窥镜及处理器装置的内窥镜系统进行诊断。近年来,已知有不仅将内窥镜图像显示于显示器等显示部,还欲利用内窥镜图像判别病变等具有特定特征的部分的内窥镜系统。例如,专利文献1中,记载有利用内窥镜图像计算特征量,之后,利用计算出的特征量判别病变的内窥镜系统。
并且,已知有利用内窥镜图像将对诊断而言重要的血管等进行提取等的内窥镜系统。例如,专利文献2中记载有根据移动量变更执行频度且进行血管提取处理的内窥镜系统。
以往技术文献
专利文献
专利文献1:日本特开2012-040075号公报
专利文献2:日本特开2016-144507号公报
发明内容
发明要解决的技术课题
如上所述,一直以来已知有通过利用内窥镜图像对病变等具有特定特征的部分进行判别或识别等,除了提供内窥镜图像以外,还欲提供有助于诊断的信息的内窥镜系统。
但是,对病变等具有特定特征的部分进行判别等的处理通常是需要非常高的处理能力的繁重处理。因此,实际上很难在观察中实时地持续进行一边持续大量消耗处理器装置的资源一边对病变等具有特定特征的部分进行判别等的处理。
因此,根据基于按钮操作等的用户的请求,在必要的情况下适当地执行对病变等具有特定特征的部分进行判别等的处理是现实的。另一方面,内窥镜系统的操作本来就繁杂,因此对医生等用户进一步施加操作上的负荷是不优选的。
因此,本发明的目的在于提供一种内窥镜系统、处理器装置及内窥镜系统的工作方法,所述内窥镜系统在医生等用户不希望的时刻抑制处理负荷,且在医生等用户希望的适当的时刻自动执行判别等处理,从而可获取有助于诊断的信息。
用于解决技术课题的手段
本发明的内窥镜系统具备图像获取部、判别处理部及判别处理控制部。图像获取部获取利用内窥镜拍摄观察对象而得的内窥镜图像。判别处理部通过利用内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分。判别处理控制部根据内窥镜的动作的变化或内窥镜图像控制判别处理的开始或结束。
判别处理控制部具备特征量计算部及比较部。特征量计算部利用内窥镜图像计算特征量。比较部对特征量与阈值进行比较。此时,优选判别处理控制部根据比较部中的比较结果开始或结束判别处理。
优选判别处理控制部在内窥镜放大或缩小观察对象的情况下开始或结束判别处理。
优选判别处理控制部在内窥镜拍摄观察对象时使用的照明光切换为特定照明光的情况下开始判别处理,且在内窥镜拍摄观察对象时使用的照明光切换为特定照明光以外的照明光的情况下结束判别处理。
优选判别处理控制部在照明光切换为波长450nm以下的照明光的情况下开始判别处理。
优选判别处理控制部在物体通过插通到内窥镜的通道的情况下开始或结束判别处理。
优选判别处理控制部在水通过通道的情况下开始判别处理。
优选判别处理控制部在色素剂通过通道的情况下开始判别处理。
优选判别处理控制部在内窥镜拍摄观察对象的位置发生变化的情况下或内窥镜拍摄观察对象的位置不发生变化的情况下开始或结束判别处理。
优选判别处理控制部根据被摄于内窥镜图像的观察对象的变化检测内窥镜拍摄观察对象的位置。
优选判别处理控制部利用位置传感器检测内窥镜拍摄观察对象的位置。
优选判别处理控制部在内窥镜拍摄观察对象的位置发生变化的情况下结束判别处理。
优选判别处理控制部根据内窥镜的动作的变化或内窥镜图像开始判别处理,且在开始判别处理之后,在经过预先设定的一定时间之后结束判别处理。
优选判别处理控制部在内窥镜拍摄到静态图像的情况下开始或结束判别处理。
优选具备通知控制部,根据内窥镜的动作的变化或内窥镜图像控制所述判别处理的结果即判别结果的通知的开始或结束。
优选通知控制部具备:特征量计算部,利用内窥镜图像计算特征量;及比较部,对特征量与阈值进行比较,通知控制部根据比较部中的比较结果开始或结束判别结果的通知。
优选通知控制部在内窥镜放大或缩小观察对象的情况下开始或结束判别结果的通知。
优选通知控制部在内窥镜拍摄观察对象时使用的照明光切换为特定照明光的情况下开始判别结果的通知,且在内窥镜拍摄观察对象时使用的照明光切换为特定照明光以外的照明光的情况下结束判别结果的通知。
优选通知控制部在照明光切换为波长450nm以下的照明光的情况下开始判别结果的通知。
优选通知控制部在物体通过插通到内窥镜的通道的情况下开始或结束判别结果的通知。
优选通知控制部在水通过通道的情况下开始判别结果的通知。
优选通知控制部在色素剂通过通道的情况下开始判别结果的通知。
优选通知控制部在内窥镜拍摄观察对象的位置发生变化的情况下或内窥镜拍摄观察对象的位置不发生变化的情况下开始或结束判别结果的通知。
优选通知控制部根据被摄于内窥镜图像的观察对象的变化检测内窥镜拍摄观察对象的位置。
优选通知控制部利用位置传感器检测内窥镜拍摄观察对象的位置。
优选通知控制部在内窥镜拍摄观察对象的位置发生变化的情况下结束判别结果的通知。
优选通知控制部根据内窥镜的动作的变化或内窥镜图像开始判别结果的通知,且在开始判别结果的通知之后,在经过预先设定的一定时间之后结束判别结果的通知。
优选通知控制部在内窥镜拍摄到静态图像的情况下开始或结束判别结果的通知。
优选通知控制部利用语音、图像或者消息中的任一个或这些的组合通知判别结果。
本发明的处理器装置具备图像获取部、判别处理部及判别处理控制部。图像获取部获取利用内窥镜拍摄观察对象而得的内窥镜图像。判别处理部通过利用内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分。判别处理控制部根据内窥镜的动作的变化或内窥镜图像控制判别处理的开始或结束。
本发明的内窥镜系统的工作方法具备:图像获取部获取利用内窥镜拍摄观察对象而得的内窥镜图像的步骤;及判别处理部通过利用内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分的步骤。本发明的内窥镜系统的工作方法具备判别处理控制部根据内窥镜的动作的变化或内窥镜图像控制判别处理的开始或结束的步骤。
发明效果
根据本发明的内窥镜系统、处理器装置及内窥镜系统的工作方法,在医生等用户不希望的时刻抑制处理负荷,且在医生等用户希望的适当的时刻自动执行判别等处理,从而可获取有助于诊断的信息。
附图说明
图1是内窥镜系统的外观图。
图2是内窥镜系统的框图。
图3是图像处理部的框图。
图4是表示判别处理的开始及结束的流程的流程图。
图5是进行了判别处理时的显示例。
图6是未进行判别处理时的显示例。
图7是第2实施方式中的图像处理部的框图。
图8是表示第2实施方式中的判别处理的开始及结束的流程的流程图。
图9是第3实施方式中的图像处理部的框图。
图10是第3实施方式中的图像处理部的框图。
图11是第4实施方式中的图像处理部等的框图。
图12是表示第4实施方式中的判别处理的开始及结束的流程的流程图。
图13是变形例的说明图。
图14是第5实施方式中的图像处理部的框图。
图15是表示第5实施方式中的判别处理的开始及结束的流程的流程图。
图16是变形例的说明图。
图17是第6实施方式中的图像处理部的框图。
图18是表示第6实施方式中的判别处理的开始及结束的流程的流程图。
图19是第7实施方式中的图像处理部的框图。
图20是第7实施方式中的显示器的显示例。
图21是胶囊型内窥镜的示意图。
具体实施方式
[第1实施方式]
如图1所示,内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示器18及控制台19。内窥镜12拍摄观察对象。光源装置14产生照明光。处理器装置16进行内窥镜系统10的系统控制及图像处理等。显示器18为显示通过处理器装置16生成的显示用图像(以下,称为内窥镜图像。例如参考图5的内窥镜图像101或图6的内窥镜图像102。)的显示部。控制台19为进行向处理器装置16等的设定输入等的输入器件。
内窥镜12具有插入到受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过对操作部12b的弯角钮12e进行操作,弯曲部12c弯曲。通过弯曲部12c弯曲,前端部12d朝向所希望的方向。另外,在前端部12d设置有朝向观察对象突出钳子等处置器具的钳子口(未图示)或朝向观察对象喷射空气或水等的喷射口(未图示)等。
并且,在操作部12b,除了弯角钮12e以外,还设置有变焦操作部13a及模式切换开关13b等。通过对变焦操作部13a进行操作,能够放大或缩小观察对象来进行摄像。通过模式切换开关13b的操作,能够切换观察模式。内窥镜系统10例如具有通常观察模式及特殊观察模式等多个观察模式,所述通常观察模式中,作为照明光利用白色光,以自然的色彩对观察对象进行观察,所述特殊观察模式中,强调位于粘膜表层的血管等。通过对模式切换开关13b进行操作,能够在任意时刻适当变更这些多个观察模式。
如图2所示,光源装置14具备发出照明光的光源部20及控制光源部20的驱动的光源控制部22。
光源部20具备例如发出中心波长或波长范围不同(以下,简称为“波长不同”)的光的多个LED(发光二极管,Light Emitting Diode)作为光源,通过各LED的发光或点亮及光量的调节等,能够发出不同波长的多种照明光。例如,光源部20能够分别发出波长范围比较宽的宽频带的紫色光、蓝色光、绿色光及红色光作为照明光。而且,光源部20除了宽频带的紫色光、蓝色光、绿色光及红色光以外,还能够发出窄频带(指波长范围为10nm至20nm左右的范围)的紫色光、蓝色光、绿色光及红色光作为照明光。
另外,作为光源部20,能够利用LD(激光器二极,Laser Diode)和荧光体和频带限制滤波器的组合或氙气灯等灯与频带限制滤波器的组合等来代替LED。当然,由LED构成光源部20时,也能够组合荧光体或频带限制滤波器来使用。
光源控制部22分别独立地控制构成光源部20的各光源的点亮或熄灭的定时及点亮时的发光量等。其结果,光源部20能够发出不同波长的多种照明光。并且,光源控制部22根据图像传感器48的摄像定时(所谓的帧)控制光源部20。
由光源部20发出的照明光入射于光导件41。光导件41内置于内窥镜12及通用塞绳内,将照明光传播至内窥镜12的前端部12d。通用塞绳为连接内窥镜12和光源装置14及处理器装置16的塞绳。另外,作为光导件41,能够使用多模光纤。作为一例,能够使用芯部直径105μm、包覆直径125μm、包括成为外皮的保护层在内的直径为φ0.3~0.5mm的细径的光纤电缆。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜45,经由该照明透镜45朝向观察对象出射照明光。摄像光学系统30b具有物镜46、变焦透镜47及图像传感器48。图像传感器48经由物镜46及变焦透镜47,利用从观察对象返回的照明光的反射光等(除了反射光以外,还包含闪射光、观察对象所发出的荧光或因对观察对象进行给药等的药物引起的荧光等),对观察对象进行摄影。变焦透镜47通过进行变焦操作部13a的操作而移动,放大或缩小利用图像传感器48摄影的观察对象。
图像传感器48例如为具有原色系的滤色器的颜色传感器,具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)及具有红色滤色器的R像素(红色像素)这3种像素。蓝色滤色器主要透射紫色至蓝色的光。绿色滤色器主要透射绿色的光。红色滤色器主要透射红色的光。若如上述那样利用原色系的图像传感器48对观察对象进行摄影,则最大能够同时获得从B像素获得的B图像(蓝色图像)、从G像素获得的G图像(绿色图像)及从R像素获得的R图像(红色图像)这3种图像。
另外,作为图像传感器48,能够利用CCD(电荷耦合元件,Charge Coupled Device)传感器或CMOS(互补型金属氧化膜半导体,Complementary Metal Oxide Semiconductor)传感器。并且,本实施方式的图像传感器48为原色系的颜色传感器,但还能够使用互补色系的颜色传感器。互补色系的颜色传感器例如具有设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色(green)滤色器的绿色像素。若对使用互补色系颜色传感器时从上述各颜色的像素获得图像进行互补色-原色色彩转换,则能够转换为B图像、G图像及R图像。并且,能够代替颜色传感器使用未设置滤色器的单色传感器作为图像传感器48。此时,通过利用BGR等各颜色的照明光依次拍摄观察对象,能够获得上述各颜色的图像。
处理器装置16具有控制部52、图像获取部54、图像处理部61及显示控制部66。
控制部52进行照明光的照射定时和摄影定时的同步控制等内窥镜系统10的总括控制。例如,控制部52进行照明光的照射定时和摄像定时的同步控制等。并且,对变焦操作部13a进行了操作时,控制部52从变焦操作部13a接收操作信号,有时将表示观察对象的摄像尺寸(即,观察对象的放大或缩小及其程度)的控制信号(以下,称为摄像尺寸信号)输入至图像处理部61。图像处理部61中,根据摄像尺寸信号,根据观察对象的摄像尺寸,有时进行或不进行规定处理或调节规定处理的强度等。
并且,对模式切换开关13b进行了操作时,控制部52从模式切换开关13b接收操作信号,将指定观察模式的控制信号(以下,称为观察模式指定信号)输入至光源控制部22和图像处理部61。由控制部52输入至光源控制部22及图像处理部61的观察模式指定信号指定所使用的照明光的种类及发光顺序等。光源控制部22根据观察模式指定信号,利用光源部20根据观察模式指定信号发出照明光。图像处理部61中,根据观察模式指定信号,根据观察模式,有时进行或不进行规定处理或调节规定处理的强度等。
图像获取部54从图像传感器48获取观察对象的图像。图像获取部54从图像传感器48获取的观察对象的图像为内窥镜图像。另外,利用从图像传感器48获取的观察对象的图像来生成为显示用的图像也是内窥镜图像。以下,需要区别时,将从图像传感器48获取的观察对象的图像称为“所拍摄的内窥镜图像”或简称为“图像”,生成为显示用的图像称为“显示用的内窥镜图像”或简称为“内窥镜图像”。本实施方式中,图像传感器48具有滤色器,因此图像获取部54按每个照明光且按每个滤色器获取图像(所拍摄的内窥镜图像)。
图像获取部54具有DSP(数字信号处理器,Digital Signal Processor)56、降噪部58及转换部59,利用这些,根据需要对所获取的图像实施各种处理。
DSP56根据需要对所获取的图像实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种处理。
缺陷校正处理为对与图像传感器48的缺陷像素对应的像素的像素值进行校正的处理。偏移处理为从已实施缺陷校正处理的图像减少暗电流成分并设定准确的零电平的处理。增益校正处理为对已进行偏移处理的图像乘以增益来调整各图像的信号电平的处理。线性矩阵处理为用于提高已进行偏移处理的图像的颜色再现性的处理,伽马转换处理为调整线性矩阵处理之后的图像的明度和彩度的处理。去马赛克处理(还称为各向同性化处理或同步化处理)为对欠缺的像素的像素值进行插值的处理,对伽马转换处理之后的图像实施。欠缺的像素是指因滤色器的排列(由于图像传感器48中配置有其他颜色的像素)而没有像素值的像素。例如,B图像为在B像素中对观察对象进行摄影而获得的图像,因此在与G像素和R像素对应的位置的像素中没有像素值。去马赛克处理对B图像进行插值来生成位于图像传感器48的G像素及R像素的位置的像素的像素值。YC转换处理为将去马赛克处理之后的图像转换为亮度通道Y和色差通道Cb及色差通道Cr的处理。
降噪部58对亮度通道Y、色差通道Cb及色差通道Cr,例如利用移动平均法或中值滤波法等实施降噪处理。转换部59将降噪处理之后的亮度通道Y、色差通道Cb及色差通道Cr再次重新转换为BGR的各颜色的图像。
图像处理部61利用由图像获取部54获取的图像,生成显示于显示器18的内窥镜图像。并且,图像处理部61根据需要,实施利用内窥镜图像判别观察对象的具有特定特征的部分的判别处理。为此,如图3所示,图像处理部61具备图像生成部81、判别处理部82及判别处理控制部83。
图像生成部81利用由图像获取部54获取的图像生成与观察模式相应的内窥镜图像。观察模式为通常观察模式时,图像生成部81生成能够以自然的色彩对观察对象进行观察的内窥镜图像。并且,观察模式为特殊观察模式时,使用与通常观察模式不同的图像的组合,或将所使用的图像进行与通常观察模式不同的向颜色通道的分配方法等,生成与特殊观察模式的目的相应的内窥镜图像。例如,生成强调位于粘膜表层的血管等的内窥镜图像。
另外,图像处理部61生成与观察模式相应的内窥镜图像时,根据需要,对由图像获取部54获取的图像实施颜色转换处理、色彩强调处理及结构强调处理。颜色转换处理对BGR各颜色的图像进行3×3的矩阵处理、灰度变换处理、三维LUT(查找(look-up)表)处理等。色彩强调处理为强调图像的色彩的处理,结构强调处理例如为强调血管或凹坑图案等观察对象的组织或结构的处理。
判别处理部82通过利用由图像生成部81生成的内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分(以下,称为特定部分)。“特定部分”是可根据组织或者结构的有无、形状(粗细、长度、与其他组织等之间的边界即边缘的状态、组织等的紊乱或线状组织等的蛇行度等)、量(面积或密度等)、分布、或者颜色、或组织或者结构的状态(例如,粘膜下的深度或血管中包含的血红蛋白的氧饱和度等内部参数的情况),与其他部分(例如,正常的粘膜)予以区别的部分。如上所述,确定特定部分的“特定特征”是指观察内窥镜图像可知的特征或通过利用内窥镜图像或者为了生成内窥镜图像而使用的图像的运算而获得的信息。以下,将与确定特定部分的特定特征相关的数量等信息称为“特征量”。
“判别”是指根据特定部分等的特征进一步获得有助于诊断的信息,“判别处理”是指判别处理部82为了判别而进行的处理。例如,根据表示特定部分的特征的特征量识别特定部分是否为病变的识别处理是判别处理。并且,根据表示特定部分的特征的特征量,计算表示特定部分为病变的可能性的指标等提示病变可能性的信息的处理也包含在判别处理中。而且,特定部分为病变时,进行病变的类别或者分类、良性或者恶性的识别或病变的进行程度或者侵入程度的识别等的处理也是判别处理。
判别处理部82例如利用预先通过特定的任务(更具体而言,特定分类(classification))学习的CNN(卷积神经网络,Convolution Neural Network)71(参考图2)、神经网络(Neural Network)、SVM(支持向量机,Support Vector Macine)或分类器(Adaboost(Adaptive Boosting))等进行上述判别处理。判别处理的结果(以下,称为判别结果)例如为“特定部分是否为病变”(包括可判别特定部分是否为病变的信息的情况)。因此,特定部分为病变时,病变的类别或者分类、良性或者恶性的识别、病变的进行程度或者侵入程度等为判别结果。并且,能够将表示特定部分是否为病变的判别的准确性或上述病变的分类等的确定性的分数作为判别结果。本实施方式中,判别处理部82判别特定部分是否为病变,将表示该判别的确定性的分数作为判别结果。分数例如为0.0至1.0的数值。并且,判别处理部82在进行了判别处理时,将在判别处理中使用的内窥镜图像的信息保存于保存部72(参考图2)。在判别处理中使用的内窥镜图像的信息是指,除了内窥镜图像其本身以外,还指帧编号或作为判别结果的分数等。判别处理部82将内窥镜图像、帧编号及作为判别结果的分数等相互建立关联来保存于保存部72。保存部72例如为存储器或硬盘等存储器。
另外,判别处理部82在判别处理中使用由图像生成部81生成的内窥镜图像(显示用内窥镜图像),但该显示用内窥镜图像使用所拍摄的内窥镜图像来生成。因此,其结果,判别处理部82使用利用内窥镜拍摄观察对象而得的内窥镜图像来进行判别处理。并且,判别处理部82能够代替显示用内窥镜图像直接使用所拍摄的内窥镜图像进行判别处理。
判别处理控制部83根据内窥镜12的动作的变化或内窥镜图像控制判别处理部82中的判别处理的开始或结束。“内窥镜12的动作的变化”是内窥镜12的动作方式的转变或切换,通常,判别处理是指没有直接关系的动作方式的转变或切换。例如,观察对象的放大或缩小或观察模式的切换所引起的照明光的切换等是内窥镜12的动作的变化。“根据内窥镜图像”是指根据被摄于内窥镜图像的观察对象的特征的变化,例如,根据特征量的变化。
另外,“判别处理的开始”是指,对某一任意帧的内窥镜图像未进行判别处理时,对与其连续的至少1个以上的帧的内窥镜图像进行判别处理。即,“判别处理的开始”中,还包括在不进行判别处理的帧连续的情况下,仅对1帧量的内窥镜图像进行判别处理的情况。并且,“判别处理的结束”是指,对某一任意帧的内窥镜图像进行了判别处理时,对与其连续的1个以上的帧的内窥镜图像不进行判别处理。即,“判别处理的结束”中,包括在进行判别处理的帧连续的情况下,仅对1帧量的内窥镜图像不进行判别处理的情况。
本实施方式中,判别处理控制部83根据内窥镜图像,控制判别处理部82中的判别处理的开始及结束。为此,判别处理控制部83具备特征量计算部86及比较部87。
特征量计算部86从图像生成部81获取内窥镜图像。并且,特征量计算部86利用所获取的内窥镜图像计算被摄于内窥镜图像的观察对象的特征量。特征量的计算针对由图像生成部81生成的一部分(例如,每隔几帧等)或全部内窥镜图像进行。并且,特征量计算部86针对内窥镜图像的全部或一部分计算特征量。
比较部87对由特征量计算部86计算出的特征量与预先设定的拍摄了正常的观察对象的内窥镜图像的特征量进行比较。比较部87进行的比较的结果(以下,称为比较结果)表示由特征量计算部86计算出的特征量的值或值的分布是否在正常的范围内,且表示被摄于依次获取的内窥镜图像的观察对象的特征的变化。本实施方式中,比较部87将预先设定的拍摄了正常的观察对象的内窥镜图像的特征量作为阈值,对由特征量计算部86计算出的特征量与阈值进行比较。特征量计算部86每计算特征量,依次进行特征量与阈值的比较。特征量成为阈值以上的情况例如为发红等被摄于内窥镜图像的情况等,基本上为希望进行判别处理的情况。相反地,特征量变得小于阈值的情况例如为没有发红等而观察对象正常,基本上无需进行判别处理的情况。
判别处理控制部83根据比较部87的比较结果开始或结束判别处理。由此,其结果,判别处理控制部83根据内窥镜图像控制判别处理部82中的判别处理的开始或结束。更具体而言,本实施方式中,在特征量成为阈值以上时开始判别处理,且在特征量变得小于阈值时结束判别处理。其结果,判别处理部82在特征量为阈值以上时自动执行判别处理,且若特征量变得小于阈值则自动结束判别处理。
显示控制部66从图像处理部61获取内窥镜图像,将所获取的内窥镜图像转换为适于显示的形式并依次输出显示于显示器18。由此,医生等能够利用内窥镜图像对观察对象进行观察。并且,判别处理部82进行了判别处理时,显示控制部66除了获取内窥镜图像以外,还从判别处理部82获取作为判别结果的分数。并且,与内窥镜图像一同将作为判别结果的分数显示于显示器18。
接着,沿着图4所示的流程图对内窥镜系统10中的判别处理的开始及结束进行说明。首先,选择观察模式并拍摄观察对象(S11)。由此,图像获取部从图像传感器48获取所拍摄的内窥镜图像,图像生成部81利用所拍摄的内窥镜图像生成显示用内窥镜图像。
若获取内窥镜图像,则判别处理控制部83在特征量计算部86中计算特征量(S12),之后,在比较部87中对特征量与阈值进行比较(S13)。比较部87中的比较的结果,特征量为阈值以上时(S13:是),判别处理控制部83执行判别处理部82中的判别处理(S14)。通常,拍摄速率与内窥镜图像的变化相比,充分快,因此若特征量一旦成为阈值以上,则在之后的一段时间内特征量成为阈值以上。因此,实际上,通过特征量成为阈值以上,判别处理开始。若判别处理开始,则如图5所示,显示控制部66将在判别处理中使用的内窥镜图像101和作为判别结果的分数99依次显示于显示器18。
另一方面,比较部87中的比较的结果,特征量小于阈值时(S13:否),判别处理控制部83跳过判别处理部82中的判别处理。通常,拍摄速率与内窥镜图像的变化相比,充分快,因此特征量一旦变得小于阈值,则在之后的一段时间内特征量小于阈值。因此,实际上,通过特征量变得小于阈值,判别处理结束。若判别处理结束,则如图6所示,显示控制部66将未进行判别处理的内窥镜图像102依次显示于显示器18。
并且,反复进行上述判别处理的开始及结束,直至观察结束(S15)。因此,在依次计算依次生成的内窥镜图像的特征量并依次比较计算出的特征量与阈值的情况下,若从特征量小于阈值的状态变成特征量为阈值以上,则即使不进行按钮操作等,也能够自动开始判别处理,向医生等提供作为判别结果的分数来支援诊断。并且,若一旦从已开始判别处理的状态变成特征量小于阈值而判别处理的必要性变小,则即使不进行按钮操作等,也能够自动结束判别处理来抑制处理器装置16的处理负荷(存储器等资源的消耗)。
[第2实施方式]
上述第1实施方式中,判别处理控制部83根据特征量的变化(内窥镜图像的变化)开始及结束判别处理,但能够代替此,在内窥镜12放大或缩小观察对象时开始或结束判别处理。
此时,如图7所示,在图像处理部61,代替第1实施方式的判别处理控制部83设置判别处理控制部283。判别处理控制部283经由控制部52获取与变焦操作部13a的操作情况相关的信息。具体而言,判别处理控制部283获取表示观察对象的摄像尺寸的摄像尺寸信号。并且,根据从摄像尺寸信号得知的观察对象的放大或者缩小的有无或其程度,开始或结束判别处理。
例如,如图8所示,拍摄观察对象(S211),获取内窥镜图像时,判别处理控制部283根据摄像尺寸信号检测是否在对观察对象进行放大观察(S212)。并且,在进行放大观察时(S212:是),判别处理控制部83执行判别处理部82中的判别处理(S213)。在前一帧中未执行判别处理时,这实际上成为判别处理的开始。另一方面,未进行放大观察时(S212:否),判别处理控制部283跳过判别处理部82中的判别处理。在前一帧中执行了判别处理时,这实际上成为判别处理的结束。
通过反复进行上述动作直至观察结束(S214),在进行放大观察的期间自动进行判别处理,且若结束放大观察,则联动地判别处理也自动结束。这是因为,医生等对观察对象进行放大观察的情况是所放大的部分为病变或存在病变的可能性的情况。因此,若如上述那样根据放大的有无开始及结束判别处理,则能够在医生等希望判别处理的适当的时刻进行判别处理,提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
上述第2实施方式中,判别处理控制部283在放大观察对象时开始判别处理,但也能够与此相反地,在缩小观察对象时开始判别处理。缩小观察对象,以所谓的“拉”拍摄观察对象的情况例如为确认病变或存在病变可能性的部分的有无的情况。此时,若进行判别处理来显示作为判别结果的分数,则能够轻松地确认在观察范围内是否存在病变或存在病变可能性的部分等。
上述第2实施方式及上述变形例中,在放大或缩小观察对象时开始判别处理,但能够根据放大到特定放大率以上时、或缩小到特定缩小率以下时、或放大率(缩小率)在特定范围内时等观察对象的放大或缩小的程度开始或结束判别处理。
上述第2实施方式及上述变形例中,判别处理控制部283根据表示变焦操作部13a的操作情况的摄像尺寸信号开始或结束判别处理,但判别处理控制部283能够代替摄像尺寸信号,利用内窥镜图像检测观察对象的放大或者缩小、或其程度,并根据其检测结果开始或结束判别处理。此时,判别处理控制部283从图像获取部54或图像生成部81获取内窥镜图像,且保持至少以往的1帧量以上的内窥镜图像。并且,新获取到内窥镜图像时,对新获取的内窥镜图像与所保持的以往的内窥镜图像进行比较,检测观察对象的放大或者缩小、或其程度。此时,判别处理控制部283还作为检测观察对象的放大或者缩小、或其程度的放大缩小检测部发挥作用。
[第3实施方式]
内窥镜系统10能够根据与上述第1实施方式及第2实施方式不同的“内窥镜12的动作的变化或内窥镜图像”,开始或结束判别处理。例如,能够在观察模式的切换即内窥镜12拍摄观察对象时使用的照明光切换时开始或结束判别处理。
此时,如图9所示,在图像处理部61,代替第1实施方式的判别处理控制部83或第2实施方式的判别处理控制部283,设置判别处理控制部383。判别处理控制部383经由控制部52获取与模式切换开关13b的操作情况相关的信息。具体而言,判别处理控制部383获取指定观察模式的观察模式指定信号。并且,从观察模式指定信号所指定的观察模式的种类检测照明光的切换来开始或结束判别处理。
例如,如图10所示,拍摄观察对象(S311),获取内窥镜图像时,判别处理控制部383根据观察模式指定信号的输入的有无及观察模式指定信号所指定的观察模式的种类,检测作为照明光是否在使用特定照明光(S312)。特定照明光是医生等希望执行判别处理的情况较多的观察模式的照明光。照明光切换为特定照明光时(S312:是),判别处理控制部383执行判别处理部82中的判别处理(S313)。在前一帧中未执行判别处理时,这实际上成为判别处理的开始。另一方面,照明光切换为特定照明光以外的照明光时(S312:否),判别处理控制部383跳过判别处理部82中的判别。在前一帧中执行了判别处理时,这实际上成为判别处理的结束。
通过反复进行上述动作直至观察结束(S314),在观察模式为使用特定照明光的观察模式的期间自动进行判别处理,且若将观察模式变更为不使用特定照明光的其他观察模式,则联动而判别处理也自动结束。如此,若在向医生等希望同时使用判别处理的情况较多的“使用特定照明光的观察模式”切换时开始判别处理,且在向使用其他照明光的观察模式切换时结束判别处理,则能够在医生等希望判别处理的适当的时刻进行判别处理,提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
上述第3实施方式中,判别处理控制部383根据观察模式指定信号开始或结束判别处理,但判别处理控制部383能够代替观察模式指定信号,利用内窥镜图像检测照明光及观察模式的切换。此时,判别处理控制部383从图像获取部54或图像生成部81获取内窥镜图像。并且,根据所获取的内窥镜图像的特征(配色等)检测照明光及观察模式的切换。
另外,特定照明光例如为波长450nm以下的照明光。即,优选在照明光切换为波长450nm以下的照明光时开始判别处理。若使用波长450nm以下的照明光,则变得容易观察粘膜表层的血管或凹坑图案等微细结构,因此使用波长450nm以下的照明光的情况为医生等为了诊断等而希望详细的观察及判别结果的情况较多。“使用波长450nm以下的照明光”是指,实际上单独使用波长450nm以下的照明光,仅通过波长450nm以下的照明光的反射光等拍摄观察对象。
[第4实施方式]
内窥镜系统10能够根据与上述第1实施方式、第2实施方式及第3实施方式不同的“内窥镜12的动作的变化或内窥镜图像”开始或结束判别处理。例如,能够在物体通过插通到内窥镜12内的通道时开始判别处理。插通到内窥镜12内的通道例如为钳子通道401及供气供水通道402,所述钳子通道用于插通钳子等处置器具,从前端部12d朝向观察对象突出,所述供气供水通道用于插通水或空气等,从前端部12d朝向观察对象喷出水或空气等(参考图11)。
在物体通过插通到内窥镜12内的通道时开始或结束判别处理时,如图11所示,例如,在钳子通道401的中途(例如,前端部12d附近)设置检测钳子等处置器具的通过的通过传感器403。并且,在图像处理部61,代替第1实施方式的判别处理控制部83等,设置判别处理控制部483。判别处理控制部483经由控制部52从通过传感器403获取处置器具的检测信号。并且,在检测到处置器具的前端等通过钳子通道401的情况时开始或结束判别处理。
具体而言,如图12所示,拍摄观察对象(S411),获取内窥镜图像时,判别处理控制部483从通过传感器403获取检测信号,根据所获取的检测信号,检测处置器具是否通过钳子通道401(S412)。并且,处置器具未通过钳子通道401时(S412:否),跳过判别处理。并且,从处置器具未插通到钳子通道401的状态,检测到处置器具通过钳子通道401(S412:是),且处置器具从前端部12d朝向观察对象突出时(S413:是),判别处理控制部483执行判别处理部82中的判别处理(S414)。在前一帧中未执行判别处理时,这实际上成为判别处理的开始。另一方面,处置器具通过钳子通道401的情况中(S412:是),一旦检测到处置器具的通过之后,再次检测处置器具的通过的情况为使处置器具退避的情况(S413:否),因此判别处理控制部483跳过判别处理部82中的判别处理。在前一帧中执行了判别处理时,这实际上成为判别处理的结束。
通过反复进行上述动作直至观察结束(S415),仅在处置器具从前端部12d突出时自动进行判别处理,且退避处置器具时,自动结束判别处理。并且,从一开始未使用处置器具时,不进行判别处理。使用处置器具的情况是存在病变等,需要其处置的情况,因此希望进行判别处理的情况较多。因此,若如上述那样设为在使用处置器具时进行判别处理,能够在医生等希望判别处理的适当的时刻进行判别处理,自动提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
上述第3实施方式中,在钳子通道401设置通过传感器403,检测处置器具的通过,但也可以代替此,检测供气供水通道402中的水等的通过。此时,如图13所示,在供气供水通道402的中途(例如,前端部12d附近)设置检测水等的通过的通过传感器404。并且,判别处理控制部483在水等通过供气供水通道402时开始判别处理。喷出水等的情况例如为更详细地观察接触水等的部分或者其周边部分的情况,因此存在希望同时进行判别处理的情况。因此,若如上所述设为检测水等的喷出,在检测到水等的喷出时进行判别处理,则能够在医生等希望判别处理的适当的时刻进行判别处理,自动提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
另外,在供气供水通道402中由通过传感器404检测的物体优选为水或对观察对象的结构等进行着色的色素剂。这是因为,为了容易观察观察对象的结构等而使用色素剂,因此散布色素剂时也是医生等希望判别处理的时刻。
并且,如上所述,在水或色素剂等通过供气供水通道402时开始判别处理时,优选开始判别处理之后,在经过预先确定的一定时间之后结束判别处理。这是因为,水或色素剂通过供气供水通道402的时间极短,且从前端部12d喷出水或色素剂等之后的一定时间为用于获得喷出水或色素剂等的效果来对观察对象进行观察的时间。
上述第4实施方式及变形例中,使用通过传感器403或通过传感器404,但判别处理控制部483能够代替使用通过传感器403或通过传感器404,利用内窥镜图像检测水或色素剂等。此时,判别处理控制部483从图像获取部54或图像生成部81获取内窥镜图像。并且,根据所获取的内窥镜图像的特征的变化(残渣等的消失、色素剂引起的观察对象的颜色的变化等),检测水或色素剂等的喷出。
[第5实施方式]
内窥镜系统10能够根据与上述第1实施方式、第2实施方式、第3实施方式及第4实施方式不同的“内窥镜12的动作的变化或内窥镜图像”,开始或结束判别处理。例如,能够在内窥镜12拍摄观察对象的位置发生变化时或内窥镜12拍摄观察对象的位置不发生变化时开始或结束判别处理。在此所说的拍摄位置的变化中,除了插入部12a的插拔引起的拍摄位置的变化以外,还包括前端部12d相对于观察对象的方向的变化引起的拍摄位置的变化。
如上所述,在内窥镜12拍摄观察对象的位置发生变化时或内窥镜12拍摄观察对象的位置不发生变化时开始或结束判别处理时,如图14所示,在图像处理部61,代替第1实施方式的判别处理控制部83等,设置判别处理控制部583。判别处理控制部583具备位置检测部586。位置检测部586利用内窥镜图像检测内窥镜12拍摄观察对象的位置(以下,称为拍摄位置)的变化或不变化。例如,位置检测部586从图像获取部54或图像生成部81获取内窥镜图像,且保持至少以往的1帧量以上的内窥镜图像。并且,新获取到内窥镜图像时,通过对新获取的内窥镜图像与所保持的以往的内窥镜图像进行比较,根据被摄于内窥镜图像的观察对象的变化检测拍摄位置的变化。
判别处理控制部583利用位置检测部586的检测结果,其结果,根据被摄于内窥镜图像的观察对象的变化检测拍摄位置的变化。并且,判别处理控制部583根据检测出的拍摄位置的变化或不变化,控制判别处理部82中的判别处理的开始及结束。本实施方式中,判别处理控制部583在拍摄位置发生变化时开始判别处理,且在拍摄位置不发生变化时结束判别处理。
具体而言,如图15所示,若拍摄观察对象(S511),判别处理控制部583及位置检测部586获取内窥镜图像,则位置检测部586对所保持的以往的内窥镜图像与新获取的内窥镜图像进行比较,检测拍摄位置的变化。拍摄位置未发生变化时或者拍摄位置的变化停止时(S512:否),判别处理控制部583执行判别处理部82中的判别处理(S513)。在前一帧中未执行判别处理时,这实际上成为判别处理的开始。另一方面,有拍摄位置的变化时(S512:是),判别处理控制部583跳过判别处理部82中的判别处理。在前一帧中执行了判别处理时,这实际上成为判别处理的结束。
通过反复进行上述动作直至观察结束(S514),在没有拍摄位置的变化时自动进行判别处理,且拍摄位置发生变化时,联动而判别处理也自动结束。如此,在没有拍摄位置的变化时进行判别处理是因为,没有拍摄位置的变化的情况为需要详细地观察位于该拍摄位置的观察对象是否为病变等的情况,希望同时进行判别处理。因此,若如上述那样根据拍摄位置的变化开始及结束判别处理,则能够在医生等希望判别处理的适当的时刻进行判别处理,提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
上述第5实施方式中,在没有拍摄位置的变化时进行判别处理,但也可以相反地在有拍摄位置的变化时开始判别处理,且在拍摄位置的变化消失时结束判别处理。若如此,判别处理的具体的内容主要有助于病变等的有无的探索(所谓的筛选)时,通过在拍摄位置的变化较大的筛选时进行判别处理,能够支援筛选。当然,进行适于详细观察的判别处理和适于筛选时的判别处理双方时,能够在没有拍摄位置的变化时进行适于详细观察的判别处理,且在有拍摄位置的变化时进行适于筛选时的判别处理。
另外,“没有拍摄位置的变化(拍摄位置的不变化)”是指,与筛选时等相比,拍摄位置的变化小,大致上没有拍摄位置的变化。“有拍摄位置的变化”是指,与详细观察时相比,拍摄位置的变化大,大致上拍摄位置不静止。
上述第5实施方式及变形例中,判别处理控制部583利用内窥镜图像检测拍摄位置,但如图16所示,能够代替使用内窥镜图像,使用位置传感器591(参考图16)检测拍摄位置。位置传感器591例如设置于内窥镜12的前端部12d,检测前端部12d的与诊疗台(未图示)等的相对位置。并且,判别处理控制部583根据位置传感器591所检测的前端部12d的位置的变化(或不变化),检测拍摄位置的变化(或不变化)。位置传感器591可以是检测插入部12a向受检体内的插入长度的传感器。
[第6实施方式]
内窥镜系统10能够根据与上述第1实施方式、第2实施方式、第3实施方式、第4实施方式及第5实施方式不同的“内窥镜12的动作的变化或内窥镜图像”,开始或结束判别处理。例如,能够在内窥镜12拍摄到观察对象的静态图像时(即,存在内窥镜12的动作的变化时)开始或结束判别处理。
如图17所示,内窥镜12拍摄观察对象的静态图像时,在内窥镜12设置输入静态图像的摄像指示的静态图像摄像指示部601。静态图像摄像指示部601例如为设置于操作部12a的所谓的冻结按钮或释放按钮等。此外,能够将光学开关(未图示)等设为静态图像摄像指示部601。静态图像摄像指示部601向控制部52输入静态图像的摄像指示。其结果,控制部52利用内窥镜12以静态图像撮像用的条件拍摄观察对象,利用图像处理部61生成至少1张观察对象的静态图像。
并且,在图像处理部61,代替上述各实施方式中的判别处理控制部83等,设置判别处理控制部683。判别处理控制部683经由控制部52从静态图像摄像指示部601获取静态图像的摄像指示。其结果,判别处理控制部683检测内窥镜12拍摄到静态图像的情况。判别处理控制部683在内窥镜12拍摄到静态图像时开始判别处理。
具体而言,如图18所示,在为了动态图像用而拍摄观察对象的期间(S611),在内窥镜12拍摄到观察对象的静态图像时(S612:是),判别处理控制部683执行判别处理(S613)。在前一帧中未执行判别处理时,这实际上成为判别处理的开始。另一方面,内窥镜12不拍摄静态图像时(S612:否),判别处理控制部683跳过判别处理(S613)。因此,在前一帧中拍摄静态图像,并执行了判别处理时,这实际上成为判别处理的结束。
通过反复进行上述动作直至观察结束(S614),变成在内窥镜12拍摄到观察对象的静态图像时自动进行判别处理,且在内窥镜12不拍摄观察对象的静态图像时不进行判别处理。内窥镜12拍摄观察对象的静态图像的情况是在观察对象存在病变等需要详细观察的情况。因此,若如上所述那样在内窥镜12拍摄到静态图像时开始及结束判别处理,则能够在医生等希望判别处理的适当的时刻进行判别处理,提供作为判别结果的分数99。并且,在不必要的时刻,不进行无谓的判别处理,由此能够抑制处理器装置16的处理负荷。
另外,上述第1实施方式、第2实施方式、第3实施方式、第4实施方式及第5实施方式中的判别处理控制部83等各判别处理控制部根据内窥镜12的动作的变化或内窥镜图像,控制判别处理部82中的判别处理的开始及结束,但上述各实施方式的各判别处理控制部能够根据内窥镜12的动作的变化或内窥镜图像,仅控制判别处理部82中的判别处理的开始或结束中的任一个。
并且,上述第1实施方式、第2实施方式、第3实施方式、第4实施方式及第5实施方式中的各判别处理控制部根据内窥镜12的动作的变化或内窥镜图像开始判别处理时,能够在开始判别处理之后,在经过预先设定的一定时间时结束判别处理。如此,若在开始判别处理之后,在经过预先设定的一定时间时结束判别处理,则可以不为了判别处理的结束而检测内窥镜12的动作的变化或内窥镜图像的变化,因此能够轻量化各判别处理控制部的处理。
[第7实施方式]
上述第1实施方式、第2实施方式、第3实施方式、第4实施方式、第5实施方式及第6实施方式中,根据内窥镜12的动作的变化或内窥镜图像控制判别处理的开始或结束,但能够进一步根据内窥镜12的动作的变化或内窥镜图像开始或结束判别结果的通知。此时,如图19所示,在图像处理部61,除了设置第1实施方式中的判别处理控制部83等以外,还设置通知控制部690。
通知控制部690从判别处理部82获取判别结果。并且,通知控制部690将所获取的判别结果输入至显示控制部66或输入至其他输出设备(例如,输出声音或者语音的扬声器或发出光的指示器等)。其结果,通知控制部690例如利用语音、图像或者消息中的任一个或这些的组合向用户通知判别结果。
并且,通知控制部690并不将所获取的判别结果始终输出至显示控制部66等,而是与上述各实施方式中的各判别处理控制部的任一个相同地,根据内窥镜12的动作的变化或内窥镜图像,确定是否将所获取的判别结果输出至显示控制部66等。其结果,通知控制部690根据内窥镜12的动作的变化或内窥镜图像开始或结束判别结果的通知。例如,作为判定结果获取分数99,且根据内窥镜12的动作的变化或内窥镜图像判断为适合通知判别结果时,通知控制部690向显示控制部66输入所获取的分数99,其结果,通过在显示器18显示分数99来通知判别结果(参考图5)。
另外,获取多个判别结果时,通知控制部690能够按每个判别结果,根据内窥镜12的动作的变化或内窥镜图像控制通知的开始或结束。此外,通知控制部690能够以与判别处理的开始或结束的基准相同的基准开始或结束判别结果的通知。并且,通知控制部690还能够将开始或结束判别结果的通知的基准设为与判别处理的开始或结束不同的基准。例如,判别处理控制部83通过第1实施方式的方法控制判别处理的开始或结束时,通知控制部690能够以与第2实施方式的判别处理控制部283相同的基准开始或结束判别结果的通知。
通知控制部690能够一并通知判定结果和与判定结果相关的信息。例如,如图20所示,通知控制部690除了通知作为判定结果的一例的分数692及病变的侵入程度695以外,作为与判定结果相关的信息,还能够通知特定部分(病变)的轮廓691、类似病例的图像694或“该区域存在癌症可能性”等消息693。
关于特定部分(病变)的轮廓691,例如能够从判别处理部82得知已进行判别处理的特定部分在内窥镜图像内的位置信息。消息693能够通过将判定结果和预先准备的消息数据库(未图示)进行对照来获得。图20中,将消息693显示于显示器18来进行通知,但也可以通过语音通知消息693。类似病例的图像694能够结合判别结果,例如从病例数据库(未图示)获取。图20中,显示了1个类似病例的图像694,但存在多个类似病例的图像694时,能够将多个类似病例的图像显示于显示器18。
另外,图20中,以曲线图形式显示了多种分数692,但在第1实施方式等上述各实施方式中也能够进行相同的显示。并且,图20中,在显示器18中图示了作为判定结果的一例的病变的侵入程度695,但以图、表或其他形式表示判定结果时,在第1实施方式等上述各实施方式中,也可以以图、表或其他形式显示判定结果。对于分数692及病变的侵入程度695以外的判定结果也相同。病变的轮廓691、消息693及类似病例的图像694为与判定结果相关的信息的一例,通知控制部690能够通知其他与判定结果相关的信息。例如,除了上述以外,通知控制部690能够通知受检体内的特定部分的位置或在以往的诊断中拍摄到的内窥镜图像(以往图像)等作为与判定结果相关的信息。
另外,第7实施方式中,图像处理部61具备第1实施方式中的判别处理控制部83等各实施方式的各判别处理控制部及通知控制部690,图像处理部61能够代替判别处理控制部83等而仅具备通知控制部690。此时,内窥镜系统10具备:图像获取部54,获取利用内窥镜拍摄观察对象而得的内窥镜图像;判别处理部82,通过利用内窥镜图像进行判别处理,判别观察对象中具有特定特征的部分;及通知控制部690,根据内窥镜12的动作的变化或内窥镜图像,控制判别处理的结果即判别结果的通知的开始或结束。
另外,图像处理部61与判别处理控制部83等一同具备通知控制部690的情况或图像处理部61代替判别处理控制部83等而仅具备通知控制部690的情况的任一情况下,通知控制部690均能够与第1实施方式的判别处理控制部83等同样地构成。
例如,优选通知控制部690具备:特征量计算部86,利用内窥镜图像计算特征量;及比较部87,对特征量与阈值进行比较,通知控制部690根据比较部87中的比较结果开始或结束判别结果的通知。
并且,通知控制部690能够在内窥镜12放大或缩小观察对象时开始或结束判别结果的通知。
通知控制部690能够在内窥镜12拍摄观察对象时使用的照明光切换为特定照明光时开始判别结果的通知,且在内窥镜拍摄观察对象时使用的照明光切换为特定照明光以外的照明光时结束判别结果的通知。
通知控制部690能够在照明光切换为波长450nm以下的照明光时开始判别结果的通知。
通知控制部690能够在物体通过插通到内窥镜12的通道时开始或结束判别结果的通知。
通知控制部690能够在水通过通道时开始判别结果的通知。
通知控制部690能够在色素剂通过通道时开始判别结果的通知。
通知控制部690能够在内窥镜拍摄观察对象的位置发生变化时或内窥镜拍摄观察对象的位置不发生变化时开始或结束判别结果的通知。
通知控制部690能够根据被摄于内窥镜图像的观察对象的变化检测内窥镜拍摄观察对象的位置。
通知控制部690能够利用位置传感器检测内窥镜拍摄观察对象的位置。
通知控制部690能够在内窥镜12拍摄观察对象的位置发生变化时结束判别结果的通知。
通知控制部690能够根据内窥镜12的动作的变化或内窥镜图像开始判别结果的通知,且在开始判别结果的通知之后,在经过预先设定的一定时间之后结束判别结果的通知。
通知控制部690能够在内窥镜12拍摄到静态图像时开始或结束判别结果的通知。
上述各实施方式中,在将设置有图像传感器48的内窥镜12插入到受检体内来进行观察的内窥镜系统10中实施了本发明,但本发明还适于胶囊型内窥镜系统中。如图17所示,例如,胶囊型内窥镜系统中,至少具有胶囊型内窥镜700及处理器装置(未图示)。
胶囊型内窥镜700具备光源部702和控制部703、图像传感器704、图像处理部706及收发天线708。光源部702与光源部20对应。控制部703与光源控制部22及控制部52同样地发挥作用。并且,控制部703能够利用收发天线708,使用无线与胶囊型内窥镜系统的处理器装置进行通信。胶囊型内窥镜系统的处理器装置与上述实施方式的处理器装置16大致相同,但与图像获取部54及图像处理部61对应的图像处理部706设置于胶囊型内窥镜700,内窥镜图像经由收发天线708发送至处理器装置。图像传感器704与图像传感器48相同地构成。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,13a-变焦操作部,13b-模式切换开关,14-光源装置,16-处理器装置,18-显示器,19-控制台,20-光源部,22-光源控制部,30a-照明光学系统,30b-摄像光学系统,41-光导件,45-照明透镜,46-物镜,47-变焦透镜,48-图像传感器,52-控制部,54-图像获取部,56-DSP(数字信号处理器,Digital-Signal-Processor),58-降噪部,59-转换部,61-图像处理部,66-显示控制部,71-CNN(卷积-神经网络,Convolution-Neural-Network),72-保存部,81-图像生成部,82-判别处理部,83、283、383、483、583、683-判别处理控制部,86-特征量计算部,87-比较部,99、692-分数,101、102-内窥镜图像,401-钳子通道,402-供气供水通道,403、404-通过传感器,586-位置检测部,591-位置传感器,601-静态图像摄像指示部,690-通知控制部,691-轮廓,693-消息,694-类似病例的图像,695-病变的侵入程度,700-胶囊型内窥镜,702-光源部,703-控制部,704-图像传感器,706-图像处理部,708-收发天线。
Claims (31)
1.一种内窥镜系统,其具备:
图像获取部,获取利用内窥镜拍摄观察对象而得的内窥镜图像;
判别处理部,通过利用所述内窥镜图像进行判别处理,判别所述观察对象中具有特定特征的部分;及
判别处理控制部,根据所述内窥镜的动作的变化或所述内窥镜图像控制所述判别处理的开始或结束。
2.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部具备:
特征量计算部,利用所述内窥镜图像计算特征量;及
比较部,对所述特征量与阈值进行比较,
所述判别处理控制部根据所述比较部中的比较结果开始或结束所述判别处理。
3.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部在所述内窥镜放大或缩小所述观察对象的情况下开始或结束所述判别处理。
4.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部在所述内窥镜拍摄所述观察对象时使用的照明光切换为特定照明光的情况下开始所述判别处理,且在所述内窥镜拍摄所述观察对象时使用的照明光切换为所述特定照明光以外的照明光的情况下结束所述判别处理。
5.根据权利要求4所述的内窥镜系统,其中,
所述判别处理控制部在所述照明光切换为波长450nm以下的照明光的情况下开始所述判别处理。
6.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部在物体通过插通到所述内窥镜的通道的情况下开始或结束所述判别处理。
7.根据权利要求6所述的内窥镜系统,其中,
所述判别处理控制部在水通过所述通道的情况下开始所述判别处理。
8.根据权利要求6所述的内窥镜系统,其中,
所述判别处理控制部在色素剂通过所述通道的情况下开始所述判别处理。
9.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部在所述内窥镜拍摄所述观察对象的位置发生变化的情况下或所述内窥镜拍摄所述观察对象的位置不发生变化的情况下开始或结束所述判别处理。
10.根据权利要求9所述的内窥镜系统,其中,
所述判别处理控制部根据被摄于所述内窥镜图像的所述观察对象的变化,检测所述内窥镜拍摄所述观察对象的位置。
11.根据权利要求9所述的内窥镜系统,其中,
所述判别处理控制部利用位置传感器检测所述内窥镜拍摄所述观察对象的位置。
12.根据权利要求9所述的内窥镜系统,其中,
所述判别处理控制部在所述内窥镜拍摄所述观察对象的位置发生变化的情况下结束所述判别处理。
13.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部根据所述内窥镜的动作的变化或所述内窥镜图像开始所述判别处理,且在开始所述判别处理之后,在经过预先设定的一定时间之后结束所述判别处理。
14.根据权利要求1所述的内窥镜系统,其中,
所述判别处理控制部在所述内窥镜拍摄到静态图像的情况下开始或结束所述判别处理。
15.根据权利要求1所述的内窥镜系统,其具备:
通知控制部,根据所述内窥镜的动作的变化或所述内窥镜图像,控制所述判别处理的结果即判别结果的通知的开始或结束。
16.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部具备:
特征量计算部,利用所述内窥镜图像计算特征量;及
比较部,对所述特征量与阈值进行比较,
所述通知控制部根据所述比较部中的比较结果开始或结束所述判别结果的通知。
17.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部在所述内窥镜放大或缩小所述观察对象的情况下开始或结束所述判别结果的通知。
18.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部在所述内窥镜拍摄所述观察对象时使用的照明光切换为特定照明光的情况下开始所述判别结果的通知,且在所述内窥镜拍摄所述观察对象时使用的照明光切换为所述特定照明光以外的照明光的情况下结束所述判别结果的通知。
19.根据权利要求18所述的内窥镜系统,其中,
所述通知控制部在所述照明光切换为波长450nm以下的照明光的情况下开始所述判别结果的通知。
20.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部在物体通过插通到所述内窥镜的通道的情况下开始或结束所述判别结果的通知。
21.根据权利要求20所述的内窥镜系统,其中,
所述通知控制部在水通过所述通道的情况下开始所述判别结果的通知。
22.根据权利要求20所述的内窥镜系统,其中,
所述通知控制部在色素剂通过所述通道的情况下开始所述判别结果的通知。
23.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部在所述内窥镜拍摄所述观察对象的位置发生变化的情况下或所述内窥镜拍摄所述观察对象的位置不发生变化的情况下开始或结束所述判别结果的通知。
24.根据权利要求23所述的内窥镜系统,其中,
所述通知控制部根据被摄于所述内窥镜图像的所述观察对象的变化检测所述内窥镜拍摄所述观察对象的位置。
25.根据权利要求23所述的内窥镜系统,其中,
所述通知控制部利用位置传感器检测所述内窥镜拍摄所述观察对象的位置。
26.根据权利要求23所述的内窥镜系统,其中,
所述通知控制部在所述内窥镜拍摄所述观察对象的位置发生变化的情况下结束所述判别结果的通知。
27.根据权利要求15所述的内窥镜系统,其中,
所述判别处理控制部根据所述内窥镜的动作的变化或所述内窥镜图像开始所述判别结果的通知,且在开始所述判别结果的通知之后,在经过预先设定的一定时间之后结束所述判别结果的通知。
28.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部在所述内窥镜拍摄到静态图像的情况下开始或结束所述判别结果的通知。
29.根据权利要求15所述的内窥镜系统,其中,
所述通知控制部利用语音、图像或者消息中的任一个或这些的组合通知所述判别结果。
30.一种处理器装置,其具备:
图像获取部,获取利用内窥镜拍摄观察对象而得的内窥镜图像;
判别处理部,通过利用所述内窥镜图像进行判别处理,判别所述观察对象中具有特定特征的部分;及
判别处理控制部,根据所述内窥镜的动作的变化或所述内窥镜图像控制所述判别处理的开始或结束。
31.一种内窥镜系统的工作方法,其具备:图像获取部获取利用内窥镜拍摄观察对象而得的内窥镜图像的步骤;及判别处理部通过利用所述内窥镜图像进行判别处理,判别所述观察对象中具有特定特征的部分的步骤,在所述内窥镜系统的工作方法中,
具备判别处理控制部根据所述内窥镜的动作的变化或所述内窥镜图像控制所述判别处理的开始或结束的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040344 | 2017-03-03 | ||
JP2017-040344 | 2017-03-03 | ||
PCT/JP2018/006547 WO2018159461A1 (ja) | 2017-03-03 | 2018-02-22 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110381807A true CN110381807A (zh) | 2019-10-25 |
CN110381807B CN110381807B (zh) | 2022-01-18 |
Family
ID=63370447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880015393.XA Active CN110381807B (zh) | 2017-03-03 | 2018-02-22 | 内窥镜系统、处理器装置及内窥镜系统的工作方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11759092B2 (zh) |
EP (1) | EP3590415A4 (zh) |
JP (1) | JP6785942B2 (zh) |
CN (1) | CN110381807B (zh) |
WO (1) | WO2018159461A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116350154A (zh) * | 2023-03-31 | 2023-06-30 | 广州思舶宇生物科技有限公司 | 一种内窥镜通气控制方法和内窥镜 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7048628B2 (ja) | 2016-11-28 | 2022-04-05 | アダプティブエンドウ エルエルシー | 分離可能使い捨てシャフト付き内視鏡 |
US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
US10810460B2 (en) * | 2018-06-13 | 2020-10-20 | Cosmo Artificial Intelligence—AI Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
CN112584746A (zh) * | 2018-08-23 | 2021-03-30 | 富士胶片株式会社 | 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 |
JP7326308B2 (ja) * | 2018-09-11 | 2023-08-15 | 富士フイルム株式会社 | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
US20210407077A1 (en) * | 2018-12-04 | 2021-12-30 | Hoya Corporation | Information processing device and model generation method |
JP6872581B2 (ja) * | 2018-12-04 | 2021-05-19 | Hoya株式会社 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
US20220148182A1 (en) * | 2019-03-12 | 2022-05-12 | Nec Corporation | Inspection device, inspection method and storage medium |
JP7214886B2 (ja) * | 2019-10-23 | 2023-01-30 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
JP7276513B2 (ja) * | 2020-01-10 | 2023-05-18 | 日本電気株式会社 | 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム |
CN114945315A (zh) * | 2020-01-20 | 2022-08-26 | 富士胶片株式会社 | 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统 |
WO2021181564A1 (ja) * | 2020-03-11 | 2021-09-16 | オリンパス株式会社 | 処理システム、画像処理方法及び学習方法 |
EP4119999A4 (en) | 2020-03-11 | 2023-09-06 | FUJIFILM Corporation | ENDOSCOPE SYSTEM, CONTROL METHOD AND CONTROL PROGRAM |
CN115397303A (zh) * | 2020-04-08 | 2022-11-25 | 富士胶片株式会社 | 处理器装置及其工作方法 |
WO2022097294A1 (ja) * | 2020-11-09 | 2022-05-12 | オリンパス株式会社 | 情報処理システム、内視鏡システム及び情報処理方法 |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
WO2024013848A1 (ja) * | 2022-07-12 | 2024-01-18 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110158914A1 (en) * | 2009-12-25 | 2011-06-30 | Fujifilm Corporation | Fluorescence image capturing method and apparatus |
CN102201109A (zh) * | 2010-03-26 | 2011-09-28 | 株式会社岛津制作所 | 图像处理方法及使用了该方法的放射线拍摄装置 |
CN102753078A (zh) * | 2010-09-24 | 2012-10-24 | 奥林巴斯医疗株式会社 | 图像显示装置以及胶囊型内窥镜系统 |
WO2013065473A1 (ja) * | 2011-10-31 | 2013-05-10 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
CN103356292A (zh) * | 2012-03-05 | 2013-10-23 | 株式会社东芝 | 医用图像处理系统 |
EP2910173A1 (en) * | 2012-10-18 | 2015-08-26 | Olympus Medical Systems Corp. | Image processing device, and image processing method |
JP2016007355A (ja) * | 2014-06-24 | 2016-01-18 | 富士フイルム株式会社 | 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法 |
JP2016067775A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JP2016067706A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム |
JP2016144507A (ja) * | 2015-02-06 | 2016-08-12 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 |
CN105916430A (zh) * | 2014-11-25 | 2016-08-31 | 索尼公司 | 内窥镜系统、内窥镜系统的操作方法及程序 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4622954A (en) * | 1984-05-15 | 1986-11-18 | Fuji Photo Optical Co., Ltd. | Endoscope having a plate-like image sensor for forming images |
JP4063933B2 (ja) * | 1997-12-01 | 2008-03-19 | オリンパス株式会社 | 手術シミュレーション装置 |
JP4936528B2 (ja) * | 2007-03-28 | 2012-05-23 | 富士フイルム株式会社 | カプセル内視鏡システム、およびカプセル内視鏡システムの作動方法 |
RU2009141610A (ru) * | 2007-04-11 | 2011-05-20 | Форт Фотоникс Лимитед (Gb) | Опорная конструкция и рабочая станция, содержащая опорную конструкцию, для улучшения, повышения объективности и документирования обследований матки in vivo |
JP5528255B2 (ja) | 2010-08-16 | 2014-06-25 | Hoya株式会社 | 内視鏡画像処理システム |
JP5562808B2 (ja) * | 2010-11-11 | 2014-07-30 | オリンパス株式会社 | 内視鏡装置及びプログラム |
JP5657375B2 (ja) * | 2010-12-24 | 2015-01-21 | オリンパス株式会社 | 内視鏡装置及びプログラム |
JP5329593B2 (ja) * | 2011-04-01 | 2013-10-30 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
JP5611892B2 (ja) * | 2011-05-24 | 2014-10-22 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
AU2014322687B2 (en) * | 2013-09-18 | 2018-11-15 | Illumigyn Ltd. | Optical speculum |
WO2017027638A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3d reconstruction and registration of endoscopic data |
CN114795472A (zh) * | 2015-10-28 | 2022-07-29 | 安多卓思公司 | 用于在患者体内跟踪内窥镜的位置的装置和方法 |
US20210401527A1 (en) * | 2020-06-30 | 2021-12-30 | Auris Health, Inc. | Robotic medical systems including user interfaces with graphical representations of user input devices |
WO2022003493A1 (en) * | 2020-06-30 | 2022-01-06 | Auris Health, Inc. | Robotic medical system with collision proximity indicators |
US11759270B2 (en) * | 2020-07-23 | 2023-09-19 | Cilag Gmbh International | Robotic surgical tool with replaceable carriage |
US11751954B2 (en) * | 2020-07-23 | 2023-09-12 | Cilag Gmbh International | Robotic surgical tool with translatable drive puck |
US11974823B2 (en) * | 2020-07-23 | 2024-05-07 | Cilag Gmbh International | Robotic surgical tool with drop in instrumentation core |
US11701116B2 (en) * | 2020-09-29 | 2023-07-18 | Cilag Gmbh International | Manual drive functions for surgical tool having carriage architecture |
US11678870B2 (en) * | 2020-09-29 | 2023-06-20 | Cilag Gmbh International | Manual drive function for surgical tools |
US11918195B2 (en) * | 2020-09-29 | 2024-03-05 | Cilag Gmbh International | Decoupling mechanisms for surgical tools |
-
2018
- 2018-02-22 JP JP2019502940A patent/JP6785942B2/ja active Active
- 2018-02-22 EP EP18761773.3A patent/EP3590415A4/en active Pending
- 2018-02-22 WO PCT/JP2018/006547 patent/WO2018159461A1/ja active Application Filing
- 2018-02-22 CN CN201880015393.XA patent/CN110381807B/zh active Active
-
2019
- 2019-08-30 US US16/557,552 patent/US11759092B2/en active Active
-
2023
- 2023-08-02 US US18/364,360 patent/US20230404365A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110158914A1 (en) * | 2009-12-25 | 2011-06-30 | Fujifilm Corporation | Fluorescence image capturing method and apparatus |
CN102201109A (zh) * | 2010-03-26 | 2011-09-28 | 株式会社岛津制作所 | 图像处理方法及使用了该方法的放射线拍摄装置 |
CN102753078A (zh) * | 2010-09-24 | 2012-10-24 | 奥林巴斯医疗株式会社 | 图像显示装置以及胶囊型内窥镜系统 |
WO2013065473A1 (ja) * | 2011-10-31 | 2013-05-10 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
CN103356292A (zh) * | 2012-03-05 | 2013-10-23 | 株式会社东芝 | 医用图像处理系统 |
EP2910173A1 (en) * | 2012-10-18 | 2015-08-26 | Olympus Medical Systems Corp. | Image processing device, and image processing method |
JP2016007355A (ja) * | 2014-06-24 | 2016-01-18 | 富士フイルム株式会社 | 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法 |
JP2016067775A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JP2016067706A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム |
CN105916430A (zh) * | 2014-11-25 | 2016-08-31 | 索尼公司 | 内窥镜系统、内窥镜系统的操作方法及程序 |
JP2016144507A (ja) * | 2015-02-06 | 2016-08-12 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116350154A (zh) * | 2023-03-31 | 2023-06-30 | 广州思舶宇生物科技有限公司 | 一种内窥镜通气控制方法和内窥镜 |
Also Published As
Publication number | Publication date |
---|---|
CN110381807B (zh) | 2022-01-18 |
EP3590415A1 (en) | 2020-01-08 |
JP6785942B2 (ja) | 2020-11-18 |
EP3590415A4 (en) | 2020-03-18 |
US11759092B2 (en) | 2023-09-19 |
US20190380617A1 (en) | 2019-12-19 |
WO2018159461A1 (ja) | 2018-09-07 |
US20230404365A1 (en) | 2023-12-21 |
JPWO2018159461A1 (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110381807A (zh) | 内窥镜系统、处理器装置及内窥镜系统的工作方法 | |
JP6785941B2 (ja) | 内視鏡システム及びその作動方法 | |
KR102028780B1 (ko) | 영상 내시경 시스템 | |
US9392942B2 (en) | Fluoroscopy apparatus and fluoroscopy system | |
JPWO2017057574A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
WO2018159083A1 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
CN110337259A (zh) | 内窥镜系统、处理器装置及内窥镜系统的工作方法 | |
JP2017192565A (ja) | 内視鏡システム、画像処理装置、及び画像処理装置の作動方法 | |
CN105310633B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
CN107847117A (zh) | 图像处理装置、方法及程序 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP6085649B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
CN111107778B (zh) | 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 | |
CN106714651A (zh) | 评价值计算装置以及电子内窥镜系统 | |
JP6978604B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
JP5280026B2 (ja) | 画像処理装置および内視鏡システム | |
JP6218709B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
JP2011522649A (ja) | 内視鏡画像を改善するための方法及び内視鏡 | |
US11363943B2 (en) | Endoscope system and operating method thereof | |
WO2021044910A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム | |
JP6196599B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |