CN110325100B - 内窥镜系统及其操作方法 - Google Patents

内窥镜系统及其操作方法 Download PDF

Info

Publication number
CN110325100B
CN110325100B CN201880012617.1A CN201880012617A CN110325100B CN 110325100 B CN110325100 B CN 110325100B CN 201880012617 A CN201880012617 A CN 201880012617A CN 110325100 B CN110325100 B CN 110325100B
Authority
CN
China
Prior art keywords
diagnosis
time
detection target
identification information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012617.1A
Other languages
English (en)
Other versions
CN110325100A (zh
Inventor
渡边广树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110325100A publication Critical patent/CN110325100A/zh
Application granted granted Critical
Publication of CN110325100B publication Critical patent/CN110325100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00195Optical arrangements with eyepieces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052Constructional details of control elements, e.g. handles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明公开了一种内窥镜系统及其操作方法,在使用检测目标的自动检测功能的情况下,可防止检测目标的漏看。比较处理部(74)进行第一诊断时获取的第一诊断时识别信息和与第一诊断时不同的第二诊断时获取的第二诊断时识别信息的比较处理。在比较处理的结果被判定为在第一诊断时和第二诊断时检测目标存在差异的情况下,通知控制部(76)进行控制,以通知检测目标的漏看。

Description

内窥镜系统及其操作方法
技术领域
本发明涉及一种通过图像处理自动检测以病变部为代表的预定检测目标的内窥镜系统及其操作方法。
背景技术
在医疗领域中,广泛使用具备光源装置、内窥镜及处理器装置的内窥镜系统进行诊断。内窥镜系统通过内窥镜向观察目标照射光源装置发出的照明光,基于拍摄用该照明光照射下的观察目标所获得的图像信号,处理器装置生成观察目标的图像。通过将该图像显示在监视器上,医生能够一边观察监视器上的图像一边进行诊断。
在内窥镜诊断中,虽然医生努力对脏器内的病变或良性肿瘤等所有应该仔细观察的特定检测目标不断地进行检测,但是这些检测目标的检测精度受医生的经验或技能的影响,另外,也受医生的疲劳度的影响。因此,为了抑制这些由医生导致的诊断精度的偏差,正在开发一种技术,该技术通过计算机分析在日常诊疗中获得的大量的内窥镜数据并提取对诊断有用的信息。例如,由于在内窥镜诊断时,计算机代替医生自动检测疾患部位的自动检测功能可防止医生对检测目标的漏看,因此,可期待提高内窥镜诊断的准确性。
具体而言,在专利文献1中,在大肠的放大内窥镜中,将内窥镜上显示的画面分割为多个,通过图案识别来自动检测并诊断所分割的各图像与临床上分类的五个表面构造图案中的哪一个相对应。另外,在专利文献2中,在胶囊型内窥镜中,自动检测存在疑似病变的部位,当检测到疑似病变的部位时,用声音等进行通知。
以往技术文献
专利文献
专利文献1:日本特开2016-87370号公报
专利文献2:日本特开2006-129950号公报
发明内容
发明要解决的技术课题
在使用如上所述的自动检测功能对检测目标进行检测的情况下,其前提是检测目标被摄入图像中。但是,在检测目标隐藏在脏器的褶皱里等难以拍摄的情况下,也被假设为检测目标未被拍摄到,检测目标未被摄入图像中。假设,在检测目标未被摄入图像中的情况下,计算机的自动检测功能无法发挥作用,因此会漏看原本应该检测的检测目标。
本发明的目的在于,提供一种在使用检测目标的自动检测功能的情况下可防止检测目标的漏看的内窥镜系统及其操作方法。
用于解决技术课题的方法
本发明的内窥镜系统具备:识别信息获取部,其在第一诊断时获取第一诊断时识别信息,在与第一诊断时不同的第二诊断时获取第二诊断时识别信息;比较处理部,其进行第一诊断时识别信息和第二诊断时识别信息的比较处理;以及通知部,其在比较处理的结果被判定为在第一诊断时和第二诊断时检测目标存在差异的情况下,通知检测目标的漏看。
优选的是,在第一诊断时识别信息中,包含从第一诊断时获得的图像中检测到的第一诊断时的检测目标的图像特征量,在第二诊断时识别信息中,包含从第二诊断时获得的图像中检测到的第二诊断时的检测目标的图像特征量,识别信息获取部具有图像特征量检测部,其自动进行第一诊断时的检测目标的图像特征量的检测和第二诊断时的检测目标的图像特征量的检测。
优选的是,在第一诊断时识别信息中,包含从第一诊断时获得的图像中检测到的第一诊断时的检测目标的图像特征量,在第二诊断时识别信息中,包含从第二诊断时获得的图像中检测到的第二诊断时的检测目标的图像特征量,在比较处理的结果被判定为第一诊断时的检测目标的图像特征量和第二诊断时的检测目标的图像特征量不匹配的情况下,通知部通知检测目标的漏看。
优选的是,在第一诊断时识别信息中,包含从第一诊断时获得的图像中检测到的第一诊断时的检测目标的图像特征量以及第一诊断时的位置信息,在第二诊断时识别信息中,包含从第二诊断时获得的图像中检测到的第二诊断时的检测目标的图像特征量以及第二诊断时的位置信息,在比较处理的结果被判定为第一诊断时的位置信息和第二诊断时的位置信息匹配、且第一诊断时的检测目标的图像特征量和第二诊断时的检测目标的图像特征量不匹配的情况下,通知部通知检测目标的漏看。
优选的是,在比较处理的结果被判定为第一诊断时的位置信息和第二诊断时的位置信息不匹配、且第一诊断时的检测目标的图像特征量和第二诊断时的检测目标的图像特征量不匹配的情况下,通知部通知检测目标的漏看。
优选的是,将由识别信息获取部进行的识别信息的获取从第一诊断时识别信息的获取切换为第二诊断时识别信息的获取。优选的是,通知部通过警告消息进行通知。优选的是,通知部通过警告声进行通知。
优选的是,具有波长特性不同的多个光源,图像特征量检测部从使用多个光源中的至少一个光源所获得的图像中检测第一诊断时的检测目标的图像特征量或第二诊断时的检测目标的图像特征量。
本发明的内窥镜系统的操作方法具有以下步骤:识别信息获取部在第一诊断时获取第一诊断时识别信息,在与第一诊断时不同的第二诊断时获取第二诊断时识别信息;比较处理部进行第一诊断时识别信息和第二诊断时识别信息的比较处理;以及通知部在比较处理的结果被判定为在第一诊断时和第二诊断时检测目标存在差异的情况下,通知检测目标的漏看。
发明效果
根据本发明,在使用检测目标的自动检测功能的情况下,可防止检测目标的漏看。
附图说明
图1是内窥镜系统的外观图。
图2是表示第一实施方式的内窥镜系统的功能的框图。
图3是表示紫色光V、蓝色光B、蓝色光Bx、绿色光G以及红色光R的分光光谱的座标图。
图4是表示第一实施方式的通常光的分光光谱的座标图。
图5是表示第一实施方式的特殊光的分光光谱的座标图。
图6是表示位置信息的计算方法的说明图。
图7是表示检测目标防漏看模式用处理部的功能的框图。
图8是表示基于比较处理的结果的判定的表。
图9是表示比较处理的具体例的说明图。
图10是显示主显示图像、副显示图像以及检测目标相关信息的一台监视器的图像图。
图11是表示检测目标防漏看模式的一系列流程的流程图。
图12是表示根据比较处理不能认为是检测目标相互匹配的情况的说明图。
图13是显示主显示图像的监视器的图像图、显示副显示图像和检测目标相关信息的监视器的图像图。
图14是根据病变评分分配了颜色之后的检测目标及其周边的图像图。
图15是表示第二实施方式的内窥镜系统的功能的框图。
图16是表示第二实施方式的通常光的分光光谱的座标图。
图17是表示第二实施方式的特殊光的分光光谱的座标图。
图18是表示第三实施方式的内窥镜系统的功能的框图。
图19是旋转滤光片的俯视图。
具体实施方式
[第一实施方式]
如图1所示,内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18(显示部)、以及控制台19。内窥镜12与光源装置14光学连接,并且,与处理器装置16电连接。内窥镜12具有插入受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c以及前端部12d。通过对操作部12b的弯角钮13a进行操作,弯曲部12c做弯曲动作。通过该弯曲动作,前端部12d朝向所希望的方向。
另外,在操作部12b,除了弯角钮13a以外,还设置有静止图像的获取操作用的静止图像获取部13b、观察模式的切换操作用的模式切换部13c、变焦倍率的变更操作用的变焦操作部13d、以及识别信息切换部13e。静止图像获取部13b能够进行冻屏操作和释放操作,该冻屏操作将观察目标的静止图像显示在监视器18上,该释放操作将静止图像保存在存储装置中。
内窥镜系统10作为观察模式具有通常模式、特殊模式以及检测目标防漏看模式。在观察模式为通常模式的情况下,发出以通常模式用的光量比Lc将多种颜色的光进行组合形成的通常光,并且,根据拍摄该通常光照明下的观察目标所获得的图像信号,将通常图像显示在监视器18上。另外,在观察模式为特殊模式的情况下,发出以特殊模式用的光量比Ls对多种颜色的光进行组合形成的特殊光,并且,根据拍摄该特殊光照明下的观察目标而获得的图像信号,将特殊图像显示在监视器18上。
另外,在观察模式为检测目标防漏看模式的情况下,交替发出通常光和特殊光。而且,将拍摄通常光照明下的观察目标而获得的通常图像作为主显示图像显示在监视器18上,并且,将拍摄特殊光照明下的观察目标而获得的特殊图像作为副显示图像显示在监视器18上。另外,在检测目标防漏看模式中,判定是否存在检测目标的漏看,将该判定结果显示在主显示图像或副显示图像中。此外,能够恰当地设定主显示图像的显示或非显示和副显示图像的显示或非显示。
处理器装置16与监视器18以及控制台19电连接。监视器18输出显示观察目标的图像或图像附带的信息等。控制台19作为接收感兴趣区域(ROI:Region Of Interest)的指定等或功能设定等输入操作的用户界面发挥作用。
如图2所示,光源装置14具备发出观察目标照明用的照明光的光源部20和控制光源部20的光源控制部22。光源部20是多色LED(Light Emitting Diode)等半导体光源。光源控制部22通过LED等的开/关或LED等的驱动电流或驱动电压的调整,控制照明光的发光量。另外,光源控制部22通过变更光学滤光片等控制照明光的波长频带。
在第一实施方式中,光源部20具有V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、以及R-LED(Red Light Emitting Diode)20d这四种颜色的LED和波长截止滤光片23。如图3所示,V-LED20a发出波长频带为380nm~420nm的紫色光V。
B-LED20b发出波长频带为420nm~500nm的蓝色光B。从B-LED20b出射的蓝色光B中至少比峰值波长460nm更长的波长侧被波长截止滤光片23截止。由此,透射波长截止滤光片23后的蓝色光Bx的波长范围变为420~460nm。这样,将比460nm更长的波长侧的波长范围的光截止,这主要是因为比该460nm长的波长侧的波长范围的光会使观察目标即血管的血管对比度降低。此外,波长截止滤光片23也可以使比460nm长的波长侧的波长范围的光减少,而代替将比460nm长的波长侧的波长范围的光截止。
G-LED20c发出波长频带达到480nm~600nm的绿色光G。R-LED20d发出波长频带达到600nm~650nm的红色光R。此外,从各LED20a~20d发出的光的各中心波长和峰值波长可以相同,也可以不同。
光源控制部22通过独立控制各LED20a~20d的点亮或熄灭、以及点亮时的发光量等,调节照明光的发光定时、发光期间、光量、以及分光光谱。光源控制部22中的点亮以及熄灭的控制根据各观察模式而不同。此外,标准亮度能够通过光源装置14的亮度设定部或控制台19等进行设定。
在通常模式下,光源控制部22使V-LED20a、B-LED20b、G-LED20c、以及R-LED20d全部点亮。此时,如图4所示,紫色光V、蓝色光Bx、绿色光G、以及红色光R之间的光量比Lc设定为,蓝色光Bx的光强峰值大于紫色光V、绿色光G以及红色光R中的任一种光的光强峰值。由此,在通常模式中,包含紫色光V、蓝色光Bx、绿色光G、以及红色光R的通常模式用的多色光作为通常光从光源装置14发出。由于通常光从蓝色频带到红色频带具有一定的强度,所以变为大致白光。
在特殊模式下,光源控制部22使V-LED20a、B-LED20b、G-LED20c、以及R-LED20d全部点亮。此时,如图5所示,紫色光V、蓝色光Bx、绿色光G、以及红色光R之间的光量比Ls设定为,紫色光V的光强峰值大于蓝色光Bx、绿色光G以及红色光R中的任意一种光的光强峰值。另外,设定为,绿色光G以及红色光R的光强峰值小于紫色光V以及蓝色光Bx的光强峰值。由此,在特殊模式中,包含紫色光V、蓝色光Bx、绿色光G、以及红色光R的特殊模式用的多色光作为特殊光从光源装置14射出。因为紫色光V所占的比例较大,所以特殊光成为泛蓝的光。此外,特殊光也可以不包含所有四种颜色的光,只要包含四种颜色的LED20a~20d中的至少一种颜色的LED发出的光即可。
在检测目标防漏看模式下,光源控制部22控制V-LED20a、B-LED20b、G-LED20c、以及R-LED20d,以使通常光和特殊光以帧为单位交替发光。即,光源控制部22进行控制,将紫色光V、蓝色光Bx、绿色光G、以及红色光R之间的光量比以帧为单位交替切换为光量比Lc和光量比Ls。
如图2所示,光源部20发出的照明光通过由反射镜或透镜等形成的光路耦合部(未图示)入射到插通于插入部12a内的光导24。光导24内置于内窥镜12以及通用塞绳中,将照明光传输至内窥镜12的前端部12d。通用塞绳是连接内窥镜12和光源装置14以及处理器装置16的塞绳。此外,作为光导24,可使用多模光纤。作为一例,光导24可使用芯径为105μm、包层径为125μm、包含成为外皮的保护层在内的直径为φ0.3mm~φ0.5mm的细径光缆。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜32。经由该照明透镜32,通过在光导24中传输的照明光对观察目标进行照明。摄像光学系统30b具有物镜34、放大光学系统36以及摄像传感器38。来自观察目标的反射光、散射光以及荧光等各种光经由这些物镜34以及放大光学系统36入射到摄像传感器38。由此,观察目标的像形成在摄像传感器38上。
放大光学系统36具备对观察目标进行放大的变焦透镜36a和使变焦透镜36a沿光轴方向CL移动的透镜驱动部36b。按照透镜驱动部36b进行的变焦控制,变焦透镜36a在长焦端和广角端之间自由地移动,由此,放大或缩小在摄像传感器38上成像的观察目标。
摄像传感器38是拍摄照明光所照射的观察目标的彩色摄像传感器。在摄像传感器38的各像素中设置有R(红色)彩色滤光片、G(绿色)彩色滤光片、B(蓝色)彩色滤光片中的任一种。摄像传感器38通过设置有B彩色滤光片的B像素从紫色中接收蓝色的光,通过设置有G彩色滤光片的G像素接收绿色的光,通过设置有R彩色滤光片的R像素接收红色的光。而且,摄像传感器38从各颜色的像素中输出RGB各颜色的图像信号。摄像传感器38将输出的图像信号发送给CDS电路40。
在通常模式下,摄像传感器38通过拍摄通常光所照明的观察目标,从R像素中输出Bc图像信号,从G像素中输出Gc图像信号,从R像素中输出Rc图像信号。另外,在特殊模式下,摄像传感器38通过拍摄特殊光所照明的观察目标,从R像素中输出Bs图像信号,从G像素中输出Gs图像信号,从R像素中输出Rs图像信号。另外,在检测目标防漏看模式下,当摄像传感器38拍摄到通常光所照明的观察目标时,从B像素、G像素以及R像素中输出Bc图像信号、Gc图像信号以及Rc图像信号,当拍摄到特殊光所照明的观察目标时,从B像素、G像素以及R像素中输出Bs图像信号、Gs图像信号以及Rs图像信号。
作为摄像传感器38,可利用CCD(Charge Coupled Device)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor)摄像传感器等。另外,也可以使用具备C(青色)、M(洋红色)、Y(黄色)以及G(绿色)补色滤光片的补色摄像传感器,代替设置有RGB原色的彩色滤光片的摄像传感器38。在使用补色摄像传感器的情况下,输出CMYG这四种颜色的图像信号。因此,通过补色-原色转换,将CMYG这四种颜色的图像信号转换为RGB这三种颜色的图像信号,从而能够获得与摄像传感器38同样的RGB各颜色的图像信号。另外,也可以使用未设置彩色滤光片的单色传感器,代替摄像传感器38。
CDS电路40对从摄像传感器38接收的模拟图像信号进行相关双采样(CDS:Correlated Double Sampling)。经过了CDS电路40的图像信号被输入AGC电路42。AGC电路42对所输入的图像信号进行自动增益控制(AGC:Automatic Gain Control)。A/D(Analogto Digital)转换电路44将经过了AGC电路42的模拟图像信号转换为数字图像信号。A/D转换电路44将A/D转换后的数字图像信号输入处理器装置16。
另外,如图6所示,在内窥镜12的插入部12a的外周面,设置有用于测量插入部12a向体内的插入长度的测量用刻度46。该测量用刻度46由沿着插入部12a的长度方向以规定节距(例如每1cm)设置的点构成。该测量用刻度46由设置于患者的嘴(在使用上部内窥镜的情况下)或肛门(在使用下部内窥镜的情况下)中的刻度检测传感器48检测,刻度检测传感器48与处理器装置16通过有线或无线连接,刻度检测传感器48中的检测信息被发送给处理器装置16。在处理器装置16的位置信息计算部70a中,基于刻度检测传感器48的检测结果,计算体腔内的插入部12a的位置信息。
此外,在图6中示出了刻度检测传感器48设置于患者含在嘴里的吹嘴MP上的情况。另外,使用测量用刻度46和刻度检测传感器48计算位置信息,但也可以是,在插入部12a的前端部12d设置磁传感器(未图示),基于由该磁传感器获得的信息,由位置信息计算部70a计算位置信息。
如图2所示,处理器装置16具备图像信号获取部50、DSP(Digital SignalProcessor)52、降噪部54、图像处理部56、以及显示控制部58。
图像信号获取部50从内窥镜12获取对应于观察模式的数字图像信号。在通常模式下,图像信号获取部50获取Bc图像信号、Gc图像信号以及Rc图像信号。在特殊模式下,图像信号获取部50获取Bs图像信号、Gs图像信号以及Rs图像信号。在检测目标防漏看模式下,图像信号获取部50当通常光照明时,获取一帧Bc图像信号、Gc图像信号以及Rc图像信号,当特殊光照明时,获取一帧Bs图像信号、Gs图像信号以及Rs图像信号。
DSP52对图像信号获取部50所获取的图像信号实施缺陷校正处理、偏移处理、DSP用增益校正处理、线性矩阵处理、伽马变换处理、以及去马赛克处理等各种信号处理。缺陷校正处理对摄像传感器38的缺陷像素的信号进行校正。偏移处理从缺陷校正处理后的图像信号中去除暗电流成分,设定正确的零电平。DSP用增益校正处理通过将偏移处理后的图像信号乘以特定的DSP用增益来调整信号电平。
线性矩阵处理提高进行了DSP用增益校正处理的图像信号的颜色再现性。伽马变换处理调整线性矩阵处理后的图像信号的亮度或彩度。通过对进行了伽马变换处理的图像信号实施去马赛克处理(也称为各向同性处理或同步处理),通过插值生成各像素中缺少的颜色的信号。通过该去马赛克处理,使得所有像素均具有RGB各颜色的信号。降噪部54针对使用DSP52实施了去马赛克处理等的图像信号,例如通过移动平均法或中值滤光片法等实施降噪处理,降低噪声。降噪后的图像信号被输入图像处理部56。
图像处理部56具备通常模式用处理部60、特殊模式用处理部62以及检测目标防漏看模式用处理部64。通常模式用处理部60在设定为通常模式的情况下工作,对所接收的Bc图像信号、Gc图像信号以及Rc图像信号进行颜色变换处理、色彩强调处理以及结构强调处理。在颜色变换处理中,针对RGB图像信号通过3×3的矩阵处理、灰度变换处理以及三维LUT(Look Up Table)处理等进行颜色变换处理。
色彩强调处理以颜色变换处理后的RGB图像信号为处理目标。结构强调处理是对观察目标的结构进行强调的处理,以色彩强调处理后的RGB图像信号为处理目标。通过进行如上所述的各种图像处理等,获得通常图像。通常图像是基于均衡地发出紫色光V、蓝色光Bx、绿色光G、以及红色光R的通常光而获得的图像,所以成为自然色彩的图像。通常图像被输入显示控制部58中。
在设定为特殊模式的情况下,特殊模式用处理部62工作。在特殊模式用处理部62中,对所接收的Bs图像信号、Gs图像信号以及Rs图像信号进行颜色变换处理、色彩强调处理以及结构强调处理。颜色变换处理、色彩强调处理以及结构强调处理的处理内容与通常模式用处理部60是一样的。通过进行如上所述的各种图像处理,获得特殊图像。特殊图像是基于特殊光而获得的图像,该特殊光中,血管的血红蛋白的吸收系数高的紫色光V的发光量大于其他蓝色光Bx、绿色光G以及红色光R的发光量,所以血管结构或腺管结构的分辨率高于其他结构。特殊图像被输入显示控制部58中。
在设定为检测目标防漏看模式的情况下,检测目标防漏看模式用处理部64工作。在检测目标防漏看模式用处理部64中,自动地进行从基于所接收的Bs图像信号、Gs图像信号以及Rs图像信号的图像中检测图像特征量的处理,并且,进行获取管腔内的位置信息的处理。这些图像特征量和位置信息是用于对检测目标进行检测的识别信息,作为识别信息,有第一诊断时获得的第一诊断时识别信息和与第一诊断时不同的第二诊断时获得的第二诊断时识别信息。获取第一诊断时识别信息或第二诊断时识别信息中的哪一个的切换操作由识别信息切换部13e进行。
检测目标防漏看模式用处理部64进行第一诊断时识别信息和上述第二诊断时识别信息的比较处理,在其比较处理的结果被判定为在第一诊断时和第二诊断时存在检测目标的漏看的情况下,通知该旨意。另外,检测目标防漏看模式用处理部64根据Bc图像信号、Gc图像信号以及Rc图像信号生成主显示图像,并且,根据Bs图像信号、Gs图像信号以及Rs图像信号生成副显示图像。此外,稍后将描述检测目标防漏看模式用处理部64的详细情况。
显示控制部58进行显示控制,该显示控制用于将来自图像处理部56的图像或数据显示在监视器18上。在设定为通常模式的情况下,显示控制部58进行控制,将通常图像显示在监视器18上。在设定为特殊模式的情况下,显示控制部58进行控制,将特殊图像显示在监视器18上。在设定为检测目标防漏看模式的情况下,显示控制部58进行控制,将主显示图像或副显示图像显示在监视器18上,并且,将与检测目标的漏看相关的指引即主显示图像或副显示图像显示在监视器18上,或从监视器18中发出声音。
如图7所示,检测目标防漏看模式用处理部64具备识别信息获取部70、识别信息存储部72、比较处理部74、以及通知控制部76。识别信息获取部70具备:基于刻度检测传感器48的检测结果计算位置信息的位置信息计算部70a;从Bs图像信号、Gs图像信号以及Rs图像信号中的至少一个图像信号中自动检测图像特征量的图像特征量检测部70b;以及判定所检测的图像特征量是否符合检测目标特有的图像特征量的病变判定部70c。此外,在病变判定部70c中,例如,作为检测目标特有的图像信息,预先存储了多个检测目标的模板图像特征量,使用人工智能(AI(Artificial Intelligence))等,判定所提取的图像特征量是否与模板图像特征量匹配。在此,“匹配”除了所比较的图像特征量分别一致以外,也包含所比较的图像特征量的差被纳入规定范围内的情况。
在识别信息获取部70被识别信息切换部13e设定为“获取第一诊断时识别信息”,并且,在病变判定部70c判定为所检测的图像特征量符合检测目标特有的图像特征量的情况下,将该图像特征量和该时点的位置信息作为第一诊断时识别信息存储在识别信息存储部72中。
另一方面,即使在识别信息获取部70被识别信息切换部13e设定为“获取第二诊断时识别信息”,并且,在病变判定部70c判定为所检测的图像特征量不符合检测目标特有的图像特征量的情况下,在每次由位置信息计算部70a计算位置信息时,均将其计算的位置信息作为第二诊断时识别信息发送给比较处理部74。另外,在识别信息获取部70被识别信息切换部13e设定为“获取第二诊断时识别信息”,并且,在病变判定部70c判定为所检测的图像特征量符合检测目标特有的图像特征量的情况下,将该图像特征量和该时点的位置信息作为第二诊断时识别信息发送给比较处理部74。
在比较处理部74中,在被识别信息切换部13e设定为“获取第二诊断时识别信息”的情况下,进行存储在识别信息存储部72中的第一诊断时识别信息和第二诊断时识别信息的比较处理。在比较处理中,进行位置信息比较处理和图像特征量比较处理两种处理,其中,位置信息比较处理进行第一诊断时识别信息中包含的第一诊断时的位置信息和第二诊断时识别信息中包含的第二诊断时的位置信息的比较处理,图像特征量比较处理进行第一诊断时识别信息中包含的第一诊断时的图像特征量和第二诊断时识别信息中包含的第二诊断时的图像特征量的比较处理。
如图8所示,在位置信息比较处理中,第一诊断时的位置信息和第二诊断时的位置信息匹配,并且,在图像特征量比较处理中,第一诊断时的图像特征量和第二诊断时的图像特征量匹配的情况下,作出“不存在检测目标的漏看”的判定。另一方面,在虽然在位置信息比较处理中,第一诊断时的位置信息和第二诊断时的位置信息匹配,但是,在图像特征量比较处理中,第一诊断时的图像特征量和第二诊断时的图像特征量不匹配的情况下,作出“在第二诊断时存在检测目标的漏看”的判定。此外,所谓“图像特征量匹配”,除了所比较的图像特征量分别一致以外,也包含所比较的图像特征量的差纳入规定范围内的情况。另外,所谓“位置信息匹配”,除了所比较的位置分别一致以外,也包含所比较的位置的差纳入规定范围内的情况。
另外,在位置信息比较处理中,在第一诊断时的位置信息和第二诊断时的位置信息不匹配,并且,在图像特征量比较处理中,第一诊断时的图像特征量和第二诊断时的图像特征量不匹配的情况下,作出“在第一诊断时存在检测目标的漏看”的判定。
如图9所示,对于内窥镜12的插入部12a在胃、食道以及大肠等管腔内的同一路径中往返的情况下,将去路设为第一诊断时,将回路设为第二诊断时的情况下的比较处理的具体例进行说明。在去路即第一诊断时,由识别信息切换部13e设定为“获取第一诊断时识别信息”。而且,在该去路即第一诊断时,例如,识别信息获取部70获取检测目标K、检测目标L、检测目标M、检测目标N这4个检测目标的识别信息,将各识别信息存储在识别信息存储部72中。在此,检测目标K作为第一诊断时识别信息,具有位置信息XK和图像特征量YK。检测目标L作为第一诊断时识别信息,具有位置信息XL和图像特征量YL。检测目标M作为第一诊断时识别信息,具有位置信息XM和图像特征量YM。检测目标N作为第一诊断时识别信息,具有位置信息XN和图像特征量YN。
当插入部12a的前端部12d到达去路的末端时,操作识别信息切换部13e,通过识别信息切换部13e切换为“获取第二诊断时识别信息”。而且,在回路即第二诊断时,使插入部12a的前端部12d沿着与去路相同的路径返回。在第二诊断时,不只是在识别信息获取部70检测到检测目标的图像特征量时,而且在每次由位置信息计算部70a计算位置信息时,比较处理部74都进行第一诊断时识别信息和第二诊断时识别信息的比较处理。
例如,当在回路即第二诊断时获取位置信息XM,并且,在该位置处检测到检测目标M的图像特征量YM时,在比较处理中,在第一诊断时和第二诊断时获取的位置信息XM和图像特征量YM两者匹配。在这种情况下,作出“不存在检测目标的漏看”的判定。同样地,当在回路即第二诊断时获取位置信息XK,并且,在该位置处检测到检测目标K的图像特征量YK时,也作出“不存在检测目标的漏看”的判定。
与之相对,在回路即第二诊断时获取位置信息XN,在该位置处未检测到检测目标N的图像特征量的情况下,在比较处理中,位置信息匹配,但图像特征量不匹配。在这种情况下,在第一诊断时检测到的检测目标N在第二诊断时被漏看,所以作出“在第二诊断时存在检测目标的漏看”的判定。另外,在回路即第二诊断时获取位置信息XL,在该位置处未检测到检测目标L的图像特征量的情况下,在第一诊断时检测到的检测目标L在第二诊断时被漏看,所以作出“在第二诊断时存在检测目标的漏看”的判定。
另外,在回路即第二诊断时获取位置信息Xp,在陔位置处检测到检测目标P的图像特征量Yp的情况下,在比较处理中,位置信息和图像特征量中的任一项都不匹配。在这种情况下,在第一诊断时漏看了检测目标P,所以作出“在第一诊断时存在检测目标的漏看”的判定。另外,在回路即第二诊断时获取位置信息Xq,在该位置处检测到检测目标Q的图像特征量Yq的情况下,在第一诊断时漏看了检测目标Q,所以作出“在第一诊断时存在检测目标的漏看”的判定。
通知控制部76经由显示控制部58进行以下控制:通知检测目标的检测或检测目标的漏看等与检测目标相关的信息。通知控制部76根据Bc图像信号、Gc图像信号以及Rc图像信号生成主显示图像,并且,根据Bs图像信号、Gs图像信号以及Rs图像信号生成副显示图像。如图10所示,所生成的主显示图像和副显示图像经由显示控制部58显示在监视器18上。此外,在图10中,将主显示图像显示得大于副显示图像,但也可以是相反的,将副显示图像显示得大于主显示图像。另外,也可以是,只显示主显示图像和副显示图像中的任一方的图像。另外,并排显示两个副显示图像,但不限于此,也可以是,显示一个或三个以上的副显示图像。
在病变判定部70c中检测到检测目标的图像特征量的情况下,通知控制部76进行以下控制:在副显示图像中的检测目标的位置,重叠显示□、○、箭头等指示符(在图10中,作为指示符显示□)。由此,用户能够识别检测目标的位置。此外,指示符也可以作为副显示图像的替代或补充,与主显示图像重叠显示。另外,也可以作为指示符的替代或补充,从监视器18的扬声器中发出用于通知检测到检测目标的警告声。
另外,利用指示符的显示不仅在静止画面上,在动态显示时,也可以依据之前检测到的病变的图像特征,自动追踪移动中的病变,相应地显示指示符。而且,优选的是,在为了方便诊断而散布了靛蓝胭脂红或亚甲蓝等各种色素材料时,虽然病变原始颜色信息丢失了,但依据特定检测目标的表面结构或血管结构进行自动检测,并进行利用指示符的显示。另外,也可以是,当检测到病变等检测目标时,每次都自动拍摄检测目标的静止画面,并将其作为日志信息自动保存。
另外,通知控制部76在由比较处理部74判定为“在第一诊断时存在检测目标的漏看”或“在第二诊断时存在检测目标的漏看”的情况下,进行以下控制:将这些判定结果作为警告消息显示在监视器18上。此外,在图10中,作为警告消息,显示“在第一诊断时存在检测目标的漏看”。另外,也可以是,在判定为“不存在检测目标的漏看”的情况下,通知控制部76将该旨意的指引显示在监视器18上。此外,本发明的“通知部”对应于至少包含通知控制部76和监视器18(显示部)的结构。
另外,在病变判定部70c检测到检测目标的图像特征量的情况下,通知控制部76一起显示该检测目标的相关信息。检测目标的相关信息通过该检测目标上附带的指示符和线等关联地显示。优选的是,作为检测目标的相关信息,在检测到检测目标时,通过电子变焦将包含该检测目标和周边区域在内的一带区域自动放大,显示该一带区域的放大图像。另外,优选的是,显示评价病变区域相似度的综合评分或作为用于计算这些综合评分的材料的参数评分等检测目标的鉴别结果。作为综合评分,也可以显示例如癌症的恶性程度或阶段的进展程度。另外,作为参数评分,也可以显示例如癌症表面的血管的走向图案的规则性或表面的凹凸图案的规则性。
优选的是,基于检测目标的图像特征量,使用人工智能(AI(ArtificialIntelligence))等获得这样的检测目标的鉴别结果。此外,也可以是,为了进行鉴别,在医生距病变等检测目标一定距离进行观察或者通过电子变焦以一定的放大率进行观察的情况下,在接近一定距离的时点或者变焦到一定放大率的时点,自动切换为容易鉴别的光源模式,例如特殊模式。
另外,优选的是,作为检测目标的相关信息,对检测目标的范围进行检测,用曲线等轮廓线LA显示该检测到的病变的范围。此外,优选的是,针对鉴别结果被判断为综合评分或者参数评分在预定值以上且需要特别注意观察的检测目标,为了使医生意识到该病变需要格外注意,使用黄色或红色等指示符等将包含该检测目标的特定区域围起来显示。另外,在一个检测目标在每个区域具有不同的性状的情况下,也可以通过将综合评分或者参数评分分配为色图的形式显示每个区域的评分,也可以在每个区域显示综合评分或参数评分。另外,优选的是,作为检测目标的相关信息,对检测目标的深度进行检测,并显示该检测到的检测目标的深度。另外,作为检测目标的相关信息,也可以显示与检测目标相关的主观报告(“该区域由于特定理由相当于癌症”等)。
此外,如上所述的使用人工智能等的鉴别不一定以100%的准确度保证病变鉴别。因此,也可以显示鉴别结果的确信度,也可以采用在监视器18上显示用于确认医生对于鉴别结果是否同意的“同意按钮”,将对鉴别结果的最终批准交给医生决定的形式。在这种情况下,优选的是,通过控制台19进行“同意按钮”的操作。
另外,作为检测目标的相关信息,也可以使用由位置信息计算部70a计算的位置信息,显示管腔内的检测目标的检测位置、或内窥镜12的前端部12d的当前位置。在图10中,显示了整个大肠中的检测目标的检测位置或前端部12d的当前位置。另外,作为检测目标的相关信息,也可以显示去路或在过去诊断时等检测到的检测目标的过去图像,或者显示与检测到的检测目标相似的相似病例的一个或多个图像。
另外,优选的是,如图10中所示的病变等检测目标的图像、综合评分、参数评分、报告、检测位置等各种信息作为日志自动存储。而且,当在检查时调取利用相似病例图像或过去图像等过去作为日志记录的各种信息时,也可以使用机器学习、人工智能等识别方法作为相似病例图像、过去图像的鉴定方法。
接着,顺着图11的流程图,对检测目标防漏看模式的一系列流程进行说明。首先,设定为检测目标防漏看模式,并且,通过识别信息切换部13e切换为“获取第一诊断时识别信息”。然后,开始将内窥镜12的前端部12d插入管腔内,使前端部12d在管腔内沿推入方向逐渐移动。这样,将使前端部12d从管腔内的插入口移动到管腔内的可观察范围的末端对检测目标进行检测的过程作为第一诊断时的检测目标的检测。
在检测目标防漏看模式中,通常光和特殊光交替对观察目标进行照明。根据通常光照明时获得的Bc图像信号、Gc图像信号以及Rc图像信号生成主显示图像,并且,根据特殊光照明时获得的Bs图像信号、Gs图像信号以及Rs图像信号生成副显示图像。这些主显示图像和副显示图像被显示在监视器18上。
在第一诊断时,根据特殊光照明时获得的图像信号检测图像特征量,判定检测到的图像特征量是否符合检测目标的图像特征量。在判定结果是检测到的图像特征量为检测目标的图像特征量的情况(检测目标的检测)下,将检测到的图像特征量和该时点的位置信息作为第一诊断时识别信息存储在识别信息存储部72内。而且,当内窥镜12的前端部12d到达管腔的可观察范围的末端位置时,操作识别信息切换部13e,切换为“获取第二诊断时识别信息”。然后,使前端部12d沿从管腔内抜出的方向逐渐移动,以从与第一诊断时相同的路径返回。这样,将使前端部12d从管腔内的可观察范围的末端移动到管腔内的插入口并对检测目标进行检测的过程作为第二诊断时的检测目标的检测。
在第二诊断时,通过特殊光照明时获得的图像信号检测第二诊断时的图像特征量,并且,获取该时点的位置信息作为第二诊断时识别信息。比较处理部74每获取一个第二诊断时识别信息,就进行一次比较处理,对第一诊断时识别信息和第二诊断时识别信息进行比较。根据比较处理的结果,进行“不存在检测目标的漏看”、“在第一诊断时存在检测目标的漏看”、“在第二诊断时存在检测目标的漏看”的判定。而且,通知控制部76进行对应于判定结果的通知。在通知控制部76中,在判定为“在第一诊断时存在检测目标的漏看”或“在第二诊断时存在检测目标的漏看”的情况下,通过警告消息或警告声对用户进行提醒“检测目标的漏看”的通知。
此外,在上述实施方式中,优选的是,在比较处理部74进行第一诊断时的图像特征量和第二诊断时的图像特征量的图像特征量比较处理时,作为图像特征量,使用图像的平行移动、旋转、缩放比例不变的Gernika moment或Hu moment,或者使用图像的平行移动、旋转、缩放比例、照明变化不变的SHIFT、SURF。
作为一例,在比较处理部74中,基于使用了Hu moments的匹配方法进行相似度判定,基于该相似度判定,作出“检测目标的漏看”的判定。在此,如图12所示,除了在第一诊断时检测到的检测目标A和在第二诊断时检测到的检测目标B的相似度判定以外,还表示在第一诊断时检测到的检测目标A和在第二诊断时检测到的检测目标C的相似度判定。此外,对于检测目标,优选不仅是检测目标本身,而且也将包含检测目标的周围的正常部分的区域作为检测目标。
在判定检测目标A和检测目标B的相似度时,对于这些检测目标A、B,分别通过下面的式(1)计算图像中的中心力矩。
[数学式1]
Figure GDA0002171189390000171
在此,x、y为像素的座标,p、q=0、1、2、3,
[数学式2]
Figure GDA0002171189390000172
Figure GDA0002171189390000173
其中,
[数学式3]
Figure GDA0002171189390000174
接着,通过式(2)计算归一化中心力矩。
[数学式4]
Figure GDA0002171189390000175
在此,
[数学式5]
Figure GDA0002171189390000181
最后,通过式(3)计算七个作为不变量的Hu moments。
[数学式6]
Figure GDA0002171189390000182
将针对检测目标A、检测目标B分别计算的Hu moments设定为hi A、hj B。最后,通过式(4)计算检测目标A和检测目标B的相似度。
[数学式7]
Figure GDA0002171189390000183
在此,
[数学式8]
Figure GDA0002171189390000184
Figure GDA0002171189390000185
在上述的基础上计算检测目标A和检测目标B的相似度I(A,B)的结果是,
[数学式9]
I(A,B)=0.00001
在此,由于相似度I越小,相似度越高,所以比较处理部74在检测目标α和检测目标β的相似度I(α,β)满足下式的情况下,
[数学式10]
I(α,β)≤0.0001
判定为检测目标α和检测目标β是同样的病变(匹配)。
因此,检测目标A和检测目标B的相似度I(A,B)是,
[数学式11]
I(A,B)=0.00001≤0.0001
所以,比较处理部74判定为检测目标A和检测目标B是同样的病变,在第一诊断时不存在检测目标的漏看。在这种情况下,判定为“不存在检测目标的漏看”,在监视器18上显示该旨意。
接着,针对检测目标A和检测目标C的相似度判定,按照与检测目标A、B的相似度判定相同的步骤,计算相似度I(A,C)。该相似度I(A,C)的计算结果是,
[数学式12]
I(A,C)=0.04677>0.0001
所以,检测目标A和检测目标C是彼此不同的病变,判定为在第一诊断时漏看了检测目标C。在这种情况下,在监视器18上显示“在第一诊断时存在检测目标的漏看”。
此外,在上述实施方式中,在一个监视器18上并排显示主显示图像和副显示图像,但也可以是,使用多个监视器18显示主显示图像和副显示图像。具体而言,优选在多个监视器18中的几个监视器上显示主显示图像,在其余的监视器上显示副显示图像。例如,如图13所示,在使用两个监视器18a和监视器18b的情况下,在监视器18a的整个画面上仅显示主显示图像,另一方面,在监视器18b上,只显示副显示图像和检测目标的相关信息。也可以用连结臂等将监视器18a和监视器18b相互连结。
此外,在上述实施方式中,当检测到检测目标时,通过指示符等进行通知,但除此之外,也可以是,针对包含检测目标的整个图像(整个主显示图像、或整个副显示图像),通过病变评分评价病变区域相似度,将该病变评分分配在色图上进行显示。例如,在图14的情况下,检测目标及其周围的颜色C1(例如红色)和远离这些检测目标的区域的颜色C2(例如蓝色)成为相差悬殊的颜色。
此外,在上述实施方式中,也可以是,在病变判定部70c判定结果为检测到的图像特征量是检测目标的图像特征量(以下设定为“当检测到检测目标时”)的情况下,自动通过电子变焦或基于放大光学系统36的光学变焦,将检测目标放大。另外,也可以是,当检测到检测目标时,进行显示,促使用户使用光学变焦放大检测目标。优选在主显示图像或副显示图像上显示放大后的检测目标。
另外,在上述实施方式中,也可以是,当检测到检测目标时,自动保存静止画面。优选像这样在自动保存静止画面的情况下,获取多个帧的图像作为静止画面保存候补图像,从这些多个帧的静止画面保存候补图像中选择最聚焦的图像,并将其作为静止画面进行保存。作为聚焦的图像的选择方法,例如,进行各静止画面保存候补图像的频率分析,选择包含最多高频成分的图像作为静止画面保存图像。
此外,在上述实施方式中,假定在一次病变诊断中,使内窥镜12的前端部12d沿着胃、大肠、食道等管腔内往返的情况,将去路作为第一诊断时,将沿着与去路相同的路径返回去的回路作为第二诊断时。关于第一诊断时和第二诊断时,不限于一次病变诊断的去路和回路,也可应用于其他情况,只要在第二诊断时是在时间上比第一诊断时靠后的定时,且在第一诊断时和第二诊断时,是在同一路径上进行病变检测的情况即可。例如,第一诊断时和第二诊断时也可应用于隔天进行病变诊断的情况。在这种情况下,认为将初始诊断等第一诊断日设为第一诊断时,将经过观察等第一诊断日之后的第二诊断日设为第二诊断时。在这种情况下,优选不操作识别信息切换部13e,而从“获取第一诊断时识别信息”自动切换为“获取第二诊断时识别信息”。
此外,在上述实施方式中,使用位置信息和图像特征量,判定在第一诊断时和第二诊断时是否存在检测目标的漏看,但也可以仅使用图像特征量判定检测目标的漏看。在这种情况下,进行第一诊断时的检测目标的图像特征量和第二诊断时的检测目标的图像特征量的比较处理,按照该比较处理的结果,判定检测目标的漏看。
[第二实施方式]
在第二实施方式中,代替上述第一实施方式中所示的四种颜色的LED20a~20d,使用激光源和荧光体对观察目标进行照明。以下,仅对与第一实施方式不同的部分进行说明,对于与第一实施方式大致相同的部分,省略其说明。
如图15所示,在第二实施方式的内窥镜系统100中,在光源装置14的光源部20中,代替四种颜色的LED20a~20d,设置有发出中心波长为445±10hm的蓝色激光的蓝色激光源(表记为“445LD”。LD表示“Laser Diode”)104和发出中心波长为405±10hm的蓝紫色激光的蓝紫色激光源(表记为“405LD”)106。来自这些各光源104、106的半导体发光元件的发光分别由光源控制部108独立控制,使得蓝色激光源104的出射光和蓝紫色激光源106的出射光的光量比能自由变更。
在通常模式下,光源控制部108使蓝色激光源104点亮。与之相对,在特殊模式下,光源控制部108使蓝色激光源104和蓝紫色激光源106双方点亮,并且,控制蓝色激光的发光比率使其大于蓝紫色激光的发光比率。在检测目标防漏看模式下,光源控制部108交替进行仅使蓝色激光源104点亮的控制和使蓝色激光源104与蓝紫色激光源106双方点亮的控制。
此外,优选蓝色激光或蓝紫色激光的半值宽度为±10hm左右。另外,蓝色激光源104以及蓝紫色激光源106可利用广域型InGaN系激光二极管,另外,也可使用InGaNAs系激光二极管或GaNAs系激光二极管。另外,作为上述光源,也可以设定为使用发光二极管等发光体的结构。
在照明光学系统30a中,除了照明透镜32以外,设置有来自光导24的蓝色激光或蓝紫色激光入射的荧光体110。荧光体110被蓝色激光激发以发出荧光。另外,蓝色激光的一部分透射而不激发荧光体110。蓝紫色激光透射而不激发荧光体110。从荧光体110出射的光经由照明透镜32,对观察目标的体内进行照明。
在此,由于在通常模式下,主要是蓝色激光入射到荧光体110上,所以如图16所示的、将蓝色激光和被蓝色激光激发而从荧光体110发出的荧光组合而形成的通常模式用的宽频带光,作为通常光对观察目标进行照明。通过使用摄像传感器38拍摄该通常光照明下的观察目标,获得由Bc图像信号、Gc图像信号以及Rc图像信号构成的通常图像。
另一方面,如图17所示,在特殊模式下,由于蓝紫色激光和蓝色激光双方入射到荧光体110,因此将蓝紫色激光、蓝色激光以及被蓝色激光激发而从荧光体110发出的荧光组合成的特殊模式用的宽频带光,作为特殊光对观察目标进行照明。通过使用摄像传感器38拍摄该特殊光照明下的观察目标,获得由Bs图像信号、Gs图像信号以及Rs图像信号构成的特殊图像。
另外,在检测目标防漏看模式下,图16所示的通常光和图17所示的特殊光交替地对观察目标进行照明。而且,根据通常光照明时获得的Bc图像信号、Gc图像信号以及Rc图像信号生成主显示图像,根据特殊光照明时获得的Bs图像信号、Gs图像信号以及Rs图像信号生成副显示图像。另外,根据特殊光照明时获得的Bs图像信号、Gs图像信号以及Rs图像信号进行检测目标的识别信息的检测。
此外,优选的是,荧光体110使用包含多种荧光体(例如YAG系荧光体或者BAM(BaMgAl10O17)等荧光体)而构成的荧光体,该多种荧光体吸收一部分蓝色激光,激发并发出从绿色到黄色的光。如果像本结构例这样,使用半导体发光元件作为荧光体110的激发光源,则能够以高的发光效率获得高强度的白光,能够容易地调整白光的强度,还能够将白光的色温度、色度的变化抑制到低水平。
[第三实施方式]
在第三实施方式中,代替四种颜色的LED20a~20d,使用氙气灯等白光光源和旋转滤光片对观察目标进行照明。另外,也可以代替彩色摄像传感器38,使用单色摄像传感器对观察目标进行拍摄。以下,仅对与第一实施方式不同的部分进行说明,对于与第一实施方式大致相同的部分,省略其说明。
在图18所示的内窥镜系统200中,在光源装置14中,代替内窥镜系统10的各LED20a~20d,设置有白光光源部202、旋转滤光片204以及滤光片切换部206。另外,在摄像光学系统30b中,代替彩色的摄像传感器38,设置有未设置彩色滤光片的单色摄像传感器208。另外,在白光光源部202和旋转滤光片204之间设置有光圈203,该光圈203通过光圈控制部205来调整开口部的面积。
白光光源部202为氙气灯或白色LED等,发出波长范围从蓝色到红色的白光。旋转滤光片204具备设置于靠近旋转轴的最靠近内侧的通常模式用滤光片210、设置于该通常模式用滤光片210的外侧的特殊模式用滤光片212、检测目标防漏看模式用滤光片214(参照图19)。
滤光片切换部206使旋转滤光片204沿径向移动。具体而言,滤光片切换部206在通过模式切换部13c设置为通常模式的情况下,将通常模式用滤光片210插入白光的光路中。滤光片切换部206在设置为特殊模式的情况下,将特殊模式用滤光片212插入白光的光路中。滤光片切换部206在设置为检测目标防漏看模式的情况下,将检测目标防漏看模式用滤光片214插入白光的光路中。
如图19所示,在通常模式用滤光片210上,沿着周向设置有Bb滤光片210a、G滤光片210b以及R滤光片210c。Bh滤光片210a透射白光中具有400~500nm的波长范围的宽频带的蓝色光Bb。G滤光片210b透射白光中的绿色光G。R滤光片210c透射白光中的红色光R。因此,在通常模式时,通过旋转滤光片204进行旋转,宽频带的蓝色光Bb、绿色光G、红色光R作为通常光依次照射到观察目标。
在特殊模式用滤光片212上,沿着周向设置有Bn滤光片212a和Gn滤光片212b。Bn滤光片212a透射白光中400~450nm的蓝色窄频带光Bn。Gn滤光片212b透射白光中530~570nm的绿色窄频带光Gn。因此,在特殊模式时,通过旋转滤光片204进行旋转,蓝色窄频带光、绿色窄频带光作为特殊光依次照射到观察目标。
在检测目标防漏看模式用滤光片214上,沿着周向设置有Bb滤光片214a、G滤光片214b、R滤光片214c、Bn滤光片214d、Gn滤光片214e。Bb滤光片214a透射白光中宽频带的蓝色光Bb。G滤光片214b透射白光中的绿色光G。R滤光片214c透射白光中的红色光R。Bn滤光片214d透射白光中的蓝色窄频带光Bn。Gn滤光片214e透射白光中的绿色窄频带光Gn。因此,在检测目标防漏看模式时,通过旋转滤光片204进行旋转,宽频带的蓝色光Bb、绿色光G、红色光R作为通常光依次照射到观察目标,并且,蓝色窄频带光、绿色窄频带光作为特殊光依次照射到观察目标。
在内窥镜系统200中,在通常模式时,每次使用宽频带的蓝色光Bb、绿色光G、红色光R对观察目标进行照明时,都用单色摄像传感器208对观察目标进行拍摄。由此,在宽频带的蓝色光Bb照明时获得Bc图像信号,在绿色光G照明时获得Gc图像信号,在红色光R照明时获得Rc图像信号。通过这些Bc图像信号、Gc图像信号以及Rc图像信号构成通常图像。
在特殊模式时,每次使用蓝色窄频带光Bn、绿色窄频带光Gn对观察目标进行照明时,都使用单色摄像传感器208拍摄观察目标。由此,在蓝色窄频带光Bn照明时获得Bn图像信号,在绿色窄频带光Gn照射时获得Gn图像信号。通过这些Bn图像信号和Gn图像信号,构成特殊图像。
在检测目标防漏看模式下,基于在宽频带的蓝色光Bb照明时获得的Bc图像信号、在绿色光G照明时获得的Gc图像信号、在红色光R照明时获得的Rc图像信号,生成主显示图像。另外,基于在蓝色窄频带光Bn照明时获得的Bn图像信号和绿色窄频带光Gn照射时获得的Gn图像信号,生成副显示图像,并且,根据Bn图像信号以及Gn图像信号对检测目标进行检测。
在上述实施方式中,像图像处理部56这样的执行各种处理的处理部(processingunit)的硬件结构是如下所示的各种处理器(processor)。各种处理器包含可编程逻辑器件(Programmable Logic Device:PLD)、专用电路等,其中,可编程逻辑器件是能够在制造执行软件(程序)并且作为各种处理部发挥作用的通用处理器即CPU(Central ProcessingUnit);FPGA(Field Programmable Gate Array)等之后变更电路结构的处理器,专用电路是为了执行各种处理而具有专门设计的电路结构的处理器。
一个处理部也可以由这些各种处理器中的一个构成,也可以由两个以上同种或异种的处理器的组合(例如,多个FPGA或CPU和FPGA的组合)构成。另外,也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子,第一,如客户端或服务器等计算机所代表的,存在由一个以上的CPU和软件的组合构成一个处理器,并且该处理器作为多个处理部发挥作用的方式。第二,如系统级芯片(System On Chip:SOC)等所代表的,存在使用由一个IC(Integrated Circuit)芯片来实现包含多个处理部在内的整个系统的功能的处理器的方式。这样,使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
另外,更具体而言,这些各种处理器的硬件结构是组合半导体元件等电路元件的形式的电路(circuitry)。
符号说明
10 内窥镜系统
12 内窥镜
12a 插入部
12b 操作部
12c 弯曲部
12d 前端部
13a 弯角钮
13b 静止图像获取部
13c 模式切换部
13d 变焦操作部
13e 识别信息切换部
14 光源装置
16 处理器装置
18、18a、18b 监视器
19 控制台
20 光源部
20a V-LED(光源)
20b B-LED(光源)
20c G-LED(光源)
20d R-LED(光源)
22 光源控制部
23 波长截止滤光片
24 光导
30a照明光学系统
30b 摄像光学系统
32 照明透镜
34 物镜
36 放大光学系统
36a 变焦透镜
36b 透镜驱动部
38 摄像传感器
40 CDS电路
42 AGC电路
44 转换电路
48 刻度检测传感器
50 图像信号获取部
52 DSP
54 降噪部
56 图像处理部
58 显示控制部
60 通常模式用处理部
62 特殊模式用处理部
64 检测目标防漏看模式用处理部
70 识别信息获取部
70a 位置信息计算部
70b 图像特征量检测部
70c 病变判定部
72 识别信息存储部
74 比较处理部
76 通知控制部
100内窥镜系统
104 蓝色激光源
106 蓝紫色激光源
108 光源控制部
110 荧光体
200 内窥镜系统
204 旋转滤光片
205 光圈控制部
206 滤光片切换部
208 摄像传感器
210 通常模式用滤光片
210a Bb滤光片
210b G滤光片
210c R滤光片
212 特殊模式用滤光片
212a Bn滤光片
212b Gn滤光片
214 检测目标防漏看模式用滤光片
214a Bb滤光片
214b G滤光片
214c R滤光片
214d Bn滤光片
214e Gn滤光片

Claims (8)

1.一种内窥镜系统,其特征在于,具备:
识别信息获取部,其在第一诊断时获取第一诊断时识别信息,在与所述第一诊断时不同的第二诊断时获取第二诊断时识别信息;
比较处理部,其进行所述第一诊断时识别信息和所述第二诊断时识别信息的比较处理;以及
通知部,在所述比较处理的结果被判定为在所述第一诊断时和所述第二诊断时检测目标存在差异的情况下,所述通知部通知所述检测目标的漏看,
在所述第一诊断时识别信息中,包含从所述第一诊断时获得的图像中检测到的所述第一诊断时的检测目标的图像特征量以及所述第一诊断时的体腔内的路径上的位置信息,
在所述第二诊断时识别信息中,包含从所述第二诊断时获得的图像中检测到的所述第二诊断时的检测目标的图像特征量以及所述第二诊断时的与所述第一珍断时的体腔内的路径相同的路径上的位置信息,
在所述比较处理的结果被判定为所述第一诊断时的体腔内的路径上的位置信息和所述第二诊断时的与所述第一诊断时的体腔内的路径相同的路径上的位置信息匹配、且所述第一诊断时的检测目标的图像特征量和所述第二诊断时的检测目标的图像特征量不匹配的情况下,所述通知部通知所述检测目标的漏看。
2.根据权利要求1所述的内窥镜系统,其中,
所述识别信息获取部具有图像特征量检测部,其自动进行所述第一诊断时的检测目标的图像特征量的检测和所述第二诊断时的检测目标的图像特征量的检测。
3.根据权利要求1所述的内窥镜系统,其中,
在所述比较处理的结果被判定为所述第一诊断时的体腔内的路径上的位置信息和所述第二诊断时的与所述第一诊断时的体腔内的路径相同的路径上的位置信息不匹配、且所述第一诊断时的检测目标的图像特征量和所述第二诊断时的检测目标的图像特征量不匹配的情况下,所述通知部通知所述检测目标的漏看。
4.根据权利要求1或2所述的内窥镜系统,其中,
所述内窥镜系统具有识别信息切换部,其将由所述识别信息获取部进行的识别信息的获取从所述第一诊断时识别信息的获取切换为所述第二诊断时识别信息的获取。
5.根据权利要求1或2所述的内窥镜系统,其中,
所述通知部通过警告消息进行通知。
6.根据权利要求1或2所述的内窥镜系统,其中,
所述通知部通过警告声进行通知。
7.根据权利要求2所述的内窥镜系统,其中,
具有波长特性不同的多个光源,
所述图像特征量检测部从使用所述多个光源中的至少一个光源所获得的图像中检测所述第一诊断时的检测目标的图像特征量或所述第二诊断时的检测目标的图像特征量。
8.一种内窥镜系统的操作方法,其特征在于,具有以下步骤:
识别信息获取部在第一诊断时获取第一诊断时识别信息,在与所述第一诊断时不同的第二诊断时获取第二诊断时识别信息;
比较处理部进行所述第一珍断时识别信息和所述第二诊断时识别信息的比较处理;以及
在所述比较处理的结果被判定为在所述第一诊断时和所述第二诊断时检测目标存在差异的情况下,通知部通知所述检测目标的漏看,
在所述第一诊断时识别信息中,包含从所述第一诊断时获得的图像中检测到的所述第一诊断时的检测目标的图像特征量以及所述第一诊断时的体腔内的路径上的位置信息,
在所述第二诊断时识别信息中,包含从所述第二诊断时获得的图像中检测到的所述第二诊断时的检测目标的图像特征量以及所述第二诊断时的与所述第一诊断时的体腔内的路径相同的路径上的位置信息,
在所述比较处理的结果被判定为所述第一诊断时的体腔内的路径上的位置信息和所述第二诊断时的与所述第一诊断时的体腔内的路径相同的路径上的位置信息匹配、且所述第一诊断时的检测目标的图像特征量和所述第二诊断时的检测目标的图像特征量不匹配的情况下,所述通知部通知所述检测目标的漏看。
CN201880012617.1A 2017-03-01 2018-02-19 内窥镜系统及其操作方法 Active CN110325100B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017038177 2017-03-01
JP2017-038177 2017-03-01
PCT/JP2018/005789 WO2018159363A1 (ja) 2017-03-01 2018-02-19 内視鏡システム及びその作動方法

Publications (2)

Publication Number Publication Date
CN110325100A CN110325100A (zh) 2019-10-11
CN110325100B true CN110325100B (zh) 2021-09-24

Family

ID=63370145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012617.1A Active CN110325100B (zh) 2017-03-01 2018-02-19 内窥镜系统及其操作方法

Country Status (5)

Country Link
US (1) US11033175B2 (zh)
EP (1) EP3590413A4 (zh)
JP (1) JP6785941B2 (zh)
CN (1) CN110325100B (zh)
WO (1) WO2018159363A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP6799301B2 (ja) * 2017-05-25 2020-12-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
WO2019235195A1 (ja) * 2018-06-04 2019-12-12 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2020012872A1 (ja) 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
EP3841958B1 (en) * 2018-08-20 2023-09-27 FUJIFILM Corporation Endoscopic system
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP6872581B2 (ja) * 2018-12-04 2021-05-19 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
CN109949301B (zh) * 2019-03-26 2021-05-18 合肥工业大学 无线内窥镜摄像照明系统
CN110974142B (zh) * 2019-12-20 2020-08-18 山东大学齐鲁医院 共聚焦激光显微内镜实时同步内镜病变定位系统
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN114945314A (zh) * 2020-01-17 2022-08-26 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
WO2021167018A1 (ja) * 2020-02-18 2021-08-26 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
WO2021176665A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 手術支援システム、手術支援方法、及び、プログラム
WO2021199152A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022014077A1 (ja) 2020-07-15 2022-01-20 富士フイルム株式会社 内視鏡システム及びその作動方法
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2023100310A1 (ja) * 2021-12-02 2023-06-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967930A (zh) * 2011-08-30 2013-03-13 奥林巴斯株式会社 内窥镜装置
CN106153302A (zh) * 2015-03-24 2016-11-23 北京威斯顿亚太光电仪器有限公司 一种用于硬管内窥镜成像畸变的测量方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4751593B2 (ja) 2004-11-02 2011-08-17 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
WO2011142189A1 (ja) 2010-05-10 2011-11-17 オリンパスメディカルシステムズ株式会社 医療装置
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2014002565A1 (ja) * 2012-06-26 2014-01-03 ソニー株式会社 撮像制御装置、記憶システムおよび記憶媒体
JP2016087370A (ja) 2014-11-04 2016-05-23 株式会社スタットラボ 大腸拡大内視鏡画像診断支援装置
DE112015006531T5 (de) * 2015-06-11 2018-02-15 Olympus Corporation Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
US20190290371A1 (en) * 2016-09-29 2019-09-26 Medrobotics Corporation Optical systems for surgical probes, systems and methods incorporating the same, and methods for performing surgical procedures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102967930A (zh) * 2011-08-30 2013-03-13 奥林巴斯株式会社 内窥镜装置
CN106153302A (zh) * 2015-03-24 2016-11-23 北京威斯顿亚太光电仪器有限公司 一种用于硬管内窥镜成像畸变的测量方法

Also Published As

Publication number Publication date
EP3590413A4 (en) 2020-03-25
JP6785941B2 (ja) 2020-11-18
JPWO2018159363A1 (ja) 2019-12-19
US20190374088A1 (en) 2019-12-12
US11033175B2 (en) 2021-06-15
WO2018159363A1 (ja) 2018-09-07
EP3590413A1 (en) 2020-01-08
CN110325100A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2020036121A1 (ja) 内視鏡システム
JP7190597B2 (ja) 内視鏡システム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6924837B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP2004024656A (ja) 蛍光内視鏡装置
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP7389257B2 (ja) 内視鏡システム及びその作動方法
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
JPWO2014132741A1 (ja) 画像処理装置及び内視鏡システムの作動方法
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US12029384B2 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant