CN116322465A - 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序 - Google Patents

图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序 Download PDF

Info

Publication number
CN116322465A
CN116322465A CN202180067690.0A CN202180067690A CN116322465A CN 116322465 A CN116322465 A CN 116322465A CN 202180067690 A CN202180067690 A CN 202180067690A CN 116322465 A CN116322465 A CN 116322465A
Authority
CN
China
Prior art keywords
image
candidate
analysis processing
light
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067690.0A
Other languages
English (en)
Inventor
渡边广树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116322465A publication Critical patent/CN116322465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的在于提供一种能够迅速且高精度地获取诊断辅助信息的图像处理装置(16)、内窥镜系统(10)、图像处理装置的工作方法及图像处理装置用程序。图像处理装置(16)获取基于内窥镜图像的多种候补图像，进行将基于至少一种候补图像的显示图像显示于显示器(18)的控制，对预先设定的一种或多种候补图像进行第1分析处理，根据通过第1分析处理获得的第1分析处理结果，从多种候补图像中选择至少一种候补图像作为最佳图像，通过对最佳图像进行第2分析处理来获得第2分析处理结果。

Description

图像处理装置、内窥镜系统、图像处理装置的工作方法及图像 处理装置用程序
技术领域
本发明涉及一种获得诊断辅助信息的图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序。
背景技术
在医疗领域，使用具备光源装置、内窥镜及处理器装置的内窥镜系统的诊断正在广泛进行。医生除了将使用内窥镜拍摄观察对象来获得的图像(以下，称为内窥镜图像)以自然色显示于显示器等而用于诊断以外，根据情况，会使用通过被称为图像增强内窥镜或图像增强观察(IEE，image enhanced endoscopy)的方法增强显示色彩或血管等的结构等的各种内窥镜图像来诊断观察对象。
并且，开发有一种CAD(Computer-Aided Diagnesis：计算机辅助诊断)技术，其通过分析基于IEE等的各种内窥镜图像，根据观察对象的存在病变可能性的区域的范围和/或炎症度等生成包括疾病的阶段等判定结果等的诊断辅助信息。例如，已知有一种内窥镜系统，其使用基于IEE的各种内窥镜图像来高精度地判定溃疡性结肠炎的阶段等疾病的重症度或进展程度(专利文献1)。并且，已知有一种在选择适于CAD的亮度的图像的基础上获得诊断辅助信息的内窥镜装置(专利文献2)。
以往技术文献
专利文献
专利文献1：日本特开2020-65685号公报
专利文献2：国际公开第2020/012564号
发明内容
发明要解决的技术课题
基于IEE等的各种内窥镜图像被医生等用于诊断，因此多数情况下为进行了人观察时没有违和感的着色的图像。对于人来说视觉辨认度良好的通过IEE获得的内窥镜图像有时未必是可以通过基于CAD等的图像分析来很好地获得诊断辅助信息的内窥镜图像。即，有可能存在对于人来说视觉辨认度差但适合进行基于CAD等的图像分析的内窥镜图像。因此，通过使用适合进行基于CAD等的图像分析的种类的内窥镜图像进行CAD等，有可能获得更高精度的诊断辅助信息。
并且，通过使用CAD等在内窥镜检查中实时获得详细的诊断辅助信息，例如，医生能够发现病变可能性高的区域并在一次内窥镜检查中详细地检查该区域。此时，无需再次进行内窥镜检查而优选，但需要在检查中迅速获得诊断辅助信息。并且，从减轻内窥镜检查的受检者的负担及内窥镜检查的效率化考虑，也优选进行CAD等的同时迅速获得诊断辅助信息。
本发明的目的在于提供一种能够迅速且高精度地获取诊断辅助信息的图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序。
用于解决技术课题的手段
本发明的图像处理装置具备图像用处理器。图像用处理器执行如下处理：获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像，进行将基于多种候补图像中至少一种候补图像的显示图像显示于显示器的控制，对多种候补图像中预先设定的一种或多种候补图像进行第1分析处理，基于通过第1分析处理获得的第1分析处理结果，从多种候补图像中选择至少一种候补图像作为最佳图像，通过对最佳图像进行第2分析处理来获得第2分析处理结果。
优选的是，图像用处理器进行将第2分析处理结果显示于显示器的控制。
优选的是，图像用处理器进行将第2分析处理结果与示图像重叠显示的控制。
优选的是，第1分析处理与第2分析处理是互不相同的内容的分析处理。
优选的是，通过对内窥镜图像进行增强处理来生成候补图像，图像用处理器根据增强处理的有无或种类来区分候补图像的种类，获取多种候补图像。
优选的是，增强处理为色彩增强处理和/或结构增强处理。
并且，本发明的内窥镜系统具备图像处理装置及发射对观察对象照射的照明光的光源部。
优选的是，图像用处理器获取通过拍摄观察对象来获得的内窥镜图像作为种类互不相同的候补图像，该观察对象分别利用由光源部发射的分光光谱互不相同的多种照明光照射。
优选的是，光源部按照由预先设定的顺序构成的发光周期，分别反复发射分光光谱互不相同的多种照明光。
优选的是，图像用处理器从在1次发光周期内获得的多种候补图像中选择至少一个最佳图像。
优选的是，具备：光源用处理器，在第1照明期间，以第1发光图案发射第1照明光，在第2照明期间，以第2发光图案发射第2照明光，且切换第1照明光与第2照明光；摄像传感器，输出第1内窥镜图像和第2内窥镜图像，该第1内窥镜图像通过拍摄利用第1照明光照射的观察对象来获得，该第2内窥镜图像通过拍摄利用第2照明光照射的观察对象来获得，图像用处理器获取第1内窥镜图像和第2内窥镜图像作为候补图像。
优选的是，图像用处理器获取通过拍摄观察对象来获得的内窥镜图像作为候补图像的一种，该观察对象利用由光源部发射的白色照明光照射。
优选的是，图像用处理器获取通过拍摄观察对象来获得的内窥镜图像作为候补图像的一种，该观察对象利用由光源部发射的包括预先设定的波段的窄带光的照明光照射。
并且，本发明的图像处理装置的工作方法包括：候补图像获取步骤，获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像；显示图像控制步骤，进行将基于多种候补图像中至少一种候补图像的显示图像显示于显示器的控制；第1分析处理步骤，对多种候补图像中预先设定的一种或多种候补图像进行第1分析处理；最佳图像选择步骤，基于通过第1分析处理获得的第1分析处理结果，从多种候补图像中选择至少一种候补图像作为最佳图像；及第2分析处理步骤，通过对最佳图像进行第2分析处理来获得第2处理结果。
本发明的图像处理装置用程序用于使计算机实现如下功能：候补图像获取功能，获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像；显示控制功能，进行将基于多种候补图像中至少一种候补图像的显示图像显示于显示器的控制；第1分析处理功能，对多种候补图像中预先设定的一种或多种候补图像进行第1分析处理；最佳图像选择功能，基于通过第1分析处理获得的第1分析处理结果，从多种候补图像中选择至少一种候补图像作为最佳图像；及第2分析处理功能，通过对最佳图像进行第2分析处理来获得诊断辅助信息。
发明效果
根据本发明，能够迅速且高精度地获得诊断辅助信息。
附图说明
图1是说明内窥镜系统的结构的说明图。
图2是表示内窥镜系统的功能的方块图。
图3是表示紫色光V、蓝色光B、绿色光G及红色光R的分光光谱的图表。
图4是说明第1A发光图案及第2A发光图案的说明图。
图5是说明第1B发光图案的说明图。
图6是说明第2B发光图案的说明图。
图7是说明第2C发光图案的说明图。
图8是说明第2D发光图案的说明图。
图9是表示图像处理部的功能的方块图。
图10是表示诊断辅助图像处理部的功能的方块图。
图11是表示候补图像获取部的功能的方块图。
图12是表示第2照明光用分光光谱SP1的图表。
图13是表示第2照明光用分光光谱SP2的图表。
图14是表示第2照明光用分光光谱SP3的图表。
图15是表示第4候补图像生成部的功能的方块图。
图16是表示氧饱和度计算用表的图表。
图17是表示第2照明光用光谱SP4的图表。
图18是表示第5候补图像生成部的功能的方块图。
图19是说明色差扩大处理的说明图。
图20是说明获取候补图像的说明图。
图21是表示图像辨认部的功能的方块图。
图22是表示第1分析处理部的功能的方块图。
图23是说明对应信息获取部的功能的说明图。
图24是对候补图像获取和第1分析处理进行说明的说明图。
图25是表示第2分析处理部的功能的方块图。
图26是对候补图像获取、第1分析处理及最佳图像选择进行说明的说明图。
图27是对候补图像获取、第1分析处理、显示图像生成、最佳图像选择及第2分析处理进行说明的说明图。
图28是表示用文本显示表示第2诊断辅助信息的显示器的图像图。
图29是表示用框显示和文本显示表示第2诊断辅助信息的显示器的图像图。
图30是选择第5候补图像作为最佳图像的说明图。
图31是表示显示出MAY0评分的显示器的图像图。
图32是选择第2候补图像作为最佳图像的说明图。
图33是表示显示出Geboes评分的显示器的图像图。
图34是表示诊断辅助模式的一系列流程的流程图。
图35是表示诊断辅助装置的说明图。
图36是表示医疗辅助装置的说明图。
具体实施方式
如图1所示，内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示器18及键盘19。内窥镜12拍摄观察对象。光源装置14发射对观察对象照射的照明光。处理器装置16进行内窥镜系统10的系统控制。显示器18是显示基于内窥镜图像的显示图像及诊断辅助信息等的显示部。键盘19为向处理器装置16等进行设定输入等的输入器件。
在本实施方式中，内窥镜系统10具备常规观察模式、特殊观察模式及诊断辅助模式这3个模式作为观察模式。在常规观察模式下，通过对观察对象照射白色光等常规光，将自然色调的常规观察图像显示于显示器18作为显示图像。在特殊观察模式下，通过对观察对象照射波段或分光光谱与常规光不同的特殊光来进行拍摄，将增强了特定结构等的特殊图像作为显示图像显示于显示器18。在诊断辅助模式下，除了将显示图像显示于显示器18以外，还获得诊断辅助信息并通知内窥镜系统10的使用者即医生等。诊断辅助信息的通知通过显示于显示器18或其以外的方法进行。显示于显示器18时，例如，可以通过与显示图像重叠显示或与显示图像分开显示于显示器18的方式进行。
内窥镜12具有：插入部12a，插入到具有观察对象的受检体内；操作部12b，设置于插入部12a的基端部分；弯曲部12c，设置于插入部12a的前端侧；及前端部12d。通过对操作部12b的弯角钮12e进行操作，弯曲部12c弯曲。其结果，前端部12d朝向所期望的方向。并且，操作部12b中除了设置有弯角钮12e以外，还设置有处置器具插入口(未图示)、观测器按钮1号12f、观测器按钮2号12g及变焦操作部12h。处置器具插入口是插入活检钳、圈套器或电灼器等处置器具的入口。插入到处置器具插入口的处置器具从前端部12d突出。能够对观测器按钮分配各种操作。例如，观测器按钮1号12f为定格按钮，在获取静止图像的操作中使用。观测器按钮2号12g在切换观察模式的操作中使用。通过操作变焦操作部12h，能够放大拍摄或缩小拍摄观察对象。
如图2所示，光源装置14具备：具备发射照明光的光源的光源部20及控制光源部20的动作的光源用处理器22。光源部20发射对观察对象照射的照明光。照明光包括用于发射照明光的激发光等的发光。光源部20例如包括激光二极管、LED(Light Emitting Diode：发光二极管)、氙气灯或卤素灯的光源，至少发射白色照明光(以下，称为白色光)或用于发射白色光的激发光。白色包括使用内窥镜12拍摄观察对象时实质上与白色等同的所谓的伪白色。
光源部20根据需要包括接受激发光的照射而发光的荧光体、或者调节照明光或激发光的波段、分光光谱或光量等的滤光器等。此外，光源部20能够发射至少由窄带的光(以下，称为窄带光)构成的照明光。“窄带”是指在与观察对象的特性和/或图像传感器(摄像传感器)45所具有的滤色器的分光特性的关系中实质上为几乎单一的波段。例如，波段为约±20nm以下(优选为约±10nm以下)时，该光为窄带。
并且，光源部20能够发射分光光谱互不相同的多种照明光。多种照明光可以包括窄带光。并且，光源部20例如能够发射拍摄图像时所需的具有特定波段或特定分光光谱的光，该图像用于计算观察对象所包含的血红蛋白的氧饱和度等活体信息。
在本实施方式中，光源部20具有V-LED20a、B-LED20b、G—LED20c及R-LED20d这四种颜色的LED。如图3所示，V-LED20a发射中心波长为405nm且波段为380～420nm的紫色光V。B-LED20b发射中心波长为460nm且波段为420～500nm的蓝色光B。G-LED20c发射波段为480～600nm的绿色光G。R-LED20d发射中心波长为620～630nm且波段为600～650nm的红色光R。另外，V-LED20a和B-LED20b的中心波长具有约±20nm的宽度，优选具有约±5nm至约±10nm左右的宽度。另外，紫色光V是用于增强显示在特殊观察模式或诊断辅助模式下使用的表层血管、表层血管的密集部、粘膜内出血及粘膜外出血等的短波长的光，优选中心波长或峰波长包括410nm。并且，紫色光V和/或蓝色光B优选为窄带光。
光源用处理器22对构成光源部20的各光源的点亮或熄灭或遮蔽的时间点及光强度或发光量等进行控制。其结果，光源部20能够以预先设定的期间及发光量发射分光光谱不同的多种照明光。在本实施方式中，光源用处理器22通过分别输入独立的控制信号，对V-LED20a、B-LED20b、G-LED20c及R-LED20d的点亮或熄灭、点亮时的光强度或发光量或滤光器的插拔等进行控制。光源用处理器22通过分别独立地控制各LED20a～20d，能够分别独立地改变光强度或每单位时间的光量来发射紫色光V、蓝色光B、绿色光G或红色光R。因此，光源用处理器22能够发射分光光谱互不相同的多种照明光，例如，发射白色照明光、分光光谱不同的多种照明光或至少由窄带光构成的照明光等。
在常规观察模式下，光源用处理器22以发射紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vc：Bc：Gc：Rc的白色光的方式控制各LED20a～20d。另外，Vc、Bc、Gc或Rc分别大于0(零)，而不是0。
并且，在特殊观察模式下，光源用处理器22以发射作为短波长的窄带光的紫色光V、蓝色光B、绿色光G及红色光R的光强度比成为Vs：Bs：Gs：Rs的特殊光的方式控制各LED20a～20d。光强度比Vs：Bs：Gs：Rs不同于常规观察模式下使用的光强度比Vc：Bc：Gc：Rc，可根据观察目的适当决定。因此，光源部20通过光源用处理器22的控制，能够发射分光光谱互不相同的多种特殊光。例如，增强表层血管时，优选使Vs大于其他Bs、Gs及Rs，增强中深层血管时，优选使Gs大于其他Vs、Gs及Rs。
另外，在本说明书中，除Vc、Bc、Gc或Rc以外的光强度比包括至少一个半导体光源的比率为0(零)的情况。因此，包括各半导体光源中的任一个或两个以上未点亮的情况。例如，仅点亮半导体光源的1个而其他3个未点亮如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比为1∶0∶0∶0的情况也视为具有光强度比。
并且，在本实施方式中，光源用处理器22优选自动切换并发射分光光谱互不相同的多种照明光，以在诊断辅助模式下获取多种候补图像。优选多种照明光分别按照预先设定的顺序反复发射。因此，优选的是，多种照明光分别形成由预先设定的顺序构成的特定图案，照明光反复发射特定图案。
例如，具体而言，在光源用处理器22中，在第1照明期间，以第1发光图案发射第1照明光，在第2照明期间，以第2发光图案发射第2照明光。在第1照明期间发射的照明光为第1照明光，在第2照明期间发射的照明光为第2照明光。为了获得用于显示图像的内窥镜图像，第1照明光优选为白色光。另一方面，为了用于辨认处理，第2照明光优选为通过照射观察对象可获得适合计算机进行特定的分析处理的图像的特殊光。例如，对表层血管进行分析处理时，优选将第2照明光设定为紫色光V。另外，第1照明光和第2照明光可以分别包括分光光谱互不相同的多种照明光。
第1发光图案为第1照明光的发光顺序，第2发光图案为第2照明光的发光顺序，构成各发光图案的元素是作为拍摄单位的帧。帧是指至少包括从图像传感器45中的特定时间点到信号读取结束为止的期间的期间。在1帧内进行1次拍摄及图像的获取。第1照明光和第2照明光会发射其中任一个，不存在同时发射的情况。1个发光周期分别由至少一个第1发光图案和第2发光图案构成，将第1发光图案和第2发光图案组合而构成发光周期。通过反复发光周期来进行照射。因此，光源部20按照由预先设定的顺序构成的发光周期，分别反复发射分光光谱互不相同的多种照明光。预先设定分别构成第1发光图案或第2发光图案的帧数或照明光的种类等细节。
例如，第1发光图案优选为第1A发光图案或第1B发光图案。如图4所示，第1A发光图案中，第1照明期间P1内的第1照明光L1的帧FL数在各个第1照明期间P1内相同。因此，在发光周期Q1中，将第1照明期间P1内的第1照明光L1的帧FL数均设定为2个。如图5所示，第1B发光图案中，第1照明期间P1的帧FL数在各个第1照明期间P1内不同。因此，在发光周期Q2中，第1照明期间P1内的第1照明光L1的帧FL数包括2个的情况和3个的情况。另外，在第1A发光图案及第1B发光图案中，第1照明光L1的分光光谱相同且为白色光。
第2发光图案优选为第2A发光图案、第2B发光图案、第2C发光图案或第2D发光图案。如图4所示，第2A发光图案中，第2照明期间P2内的第2照明光L2a的帧FL数在各个第2照明期间P2内相同。因此，在发光周期Q1中，第2照明期间P2内的第2照明光L2a的帧FL数均设定为1个。另外，第2照明光L2有时包括分光光谱不同的照明光，将这些记载为第2照明光L2a和第2照明光L2b来区分，记载为第2照明光L2时是对这些的统称。因此，第2A发光图案中，在第2照明光L2为第2照明光L2b时，在第2照明期间P2内，将第2照明光L2b以1个帧FL数发射。如图5所示，在发光周期Q2中，也与发光周期Q1相同地，由第2A发光图案发射第2照明光L2。
如图6所示，第2B发光图案在发光周期Q3中，第2照明期间P2的帧FL数在各个第2照明期间P2内相同，且第2照明光L2的分光光谱在各个第2照明期间P2内不同，是第2照明光L2a或第2照明光L2b。如图7所示，第2C发光图案在发光周期Q4中，第2照明期间P2的帧FL数在各个第2照明期间P2内不同，且第2照明光L2的分光光谱在各个第2照明期间P2内相同，是第2照明光L2a。
如图8所示，第2D发光图案在发光周期Q5中，第2照明期间P2的帧FL数在各个第2照明期间P2内不同，且第2照明光P2的分光光谱在各个第2照明期间P2内不同，是第2照明光2La或第2照明光2Lb。
如上所述，在诊断辅助模式下，光源用处理器22反复将第1发光图案和第2发光图案组合构成的发光周期。如图4所示，发光周期Q1由第1A发光图案和第2A发光图案构成。如图5所示，发光周期Q2由第1B发光图案和第2A发光图案构成。如图6所示，发光周期Q3由第1A发光图案和第2B发光图案构成。如图7所示，发光周期Q4由第1A发光图案和第2C发光图案构成。如图8所示，发光周期Q5由第1A发光图案和第2D发光图案构成。另外，在第1发光图案中，第1照明光L1的分光光谱可以在各个第1照明期间P1内不同。
并且，在诊断辅助模式下，光源用处理器22可以根据基于后面说明的各分析处理的分析处理结果，变更第1发光图案或第2发光图案。发光图案的变更包括照明光的种类变更。具体而言，例如，可以根据分析处理结果，进行如下切换：将第2发光图案从第2A图案变更为第2B发光图案或从使用了第2照明光L2a的第2A发光图案变更为使用了第2照明光L2b的第2A发光图案等。
其中，第1照明期间P1优选比第2照明期间P2长，第1照明期间P1优选为2帧以上。例如，在图4中，在将第1发光图案作为第1A图案且将第2发光图案作为第2A发光图案的发光周期Q1中，将第1照明期间P1设定为2帧，将第2照明期间P2设定为1帧。第1照明光P1用于生成显示于显示器18的显示图像，因此优选通过对观察对象照射第1照明光P1来获得鲜明的显示图像。
如图2所示，由各LED20a～20d发射的光经过由反射镜或透镜等构成的光路耦合部(未图示)入射于光导件41。光导件41内置于内窥镜12及通用塞绳(未图示)。通用塞绳是连接内窥镜12与光源装置14及处理器装置16的塞绳。光导件41将来自光路耦合部的光传播至内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学系统30a和摄影光学系统30b。照明光学系统30a具有照明透镜42，通过光导件41传播的照明光经由照明透镜42朝向观察对象射出。
摄影光学系统30b具有物镜43、变焦透镜44及图像传感器45。图像传感器45利用经由物镜43及变焦透镜44从观察对象返回的照明光的反射光等(除反射光以外，还包括散射光、由观察对象发射的荧光或由例如用于观察对象的药剂产生的荧光等)来拍摄观察对象。变焦透镜44通过操作变焦操作部12h来移动，放大或缩小观察对象像。
图像传感器45按像素具有多种颜色的滤色器中的一种颜色的滤色器。在本实施方式中，图像传感器45为具有原色系滤色器的彩色传感器。具体而言，图像传感器45具备具有红色滤色器(R滤波器)的R像素、具有绿色滤色器(G滤波器)的G像素、具有蓝色滤色器(B滤波器)的B像素。
另外，作为图像传感器45，能够利用CCD(Charge Coupled Device：电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补式金属氧化物半导体)传感器。并且，本实施方式的图像传感器45为原色系彩色传感器，但也可以使用补色系彩色传感器。补色系彩色传感器例如具有设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色滤色器的绿色像素。在使用补色系彩色传感器时，由上述各颜色的像素获得的图像只要进行补色-原色这一颜色转换，就能够转换为与通过原色系彩色传感器获得的图像相同的图像。在原色系或补色系传感器中，在具有一种或多种W像素(几乎接收所有波段的光的白色像素)等具有上述以外的特性的像素的情况下也相同。并且，本实施方式的图像传感器45为彩色传感器，但也可以使用不具有滤色器的单色传感器。
内窥镜12具备控制图像传感器45的摄影用处理器46。摄影用处理器46的控制根据观察模式而不同。在常规观察模式下，摄影用处理器46以拍摄被常规光照射的观察对象的方式控制图像传感器45。由此，从图像传感器45的B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。
在特殊观察模式下，摄影用处理器46以控制图像传感器45来拍摄被特殊光照射的观察对象的方式控制图像传感器45。由此，从图像传感器45的B像素输出Bs图像信号，从G像素输出Gs图像信号，从R像素输出Rs图像信号。
在诊断辅助模式下，摄影用处理器46以控制图像传感器45来拍摄用第1照明光L1或第2照明光L2照射的观察对象的方式控制图像传感器45。由此，例如，照射第1照明光L1时，从图像传感器45的B像素输出B1图像信号，从G像素输出G1图像信号，从R像素输出R1图像信号。并且，照射第2照明光L2时，例如，从图像传感器45的B像素输出B2图像信号，从G像素输出G2图像信号，从R像素输出R2图像信号。
在处理器装置16中，将相关于由如后所述的中央控制部51、图像获取部52、图像处理部56及显示控制部57等进行的处理等的程序编入存储器(未图示)。通过由作为图像处理装置发挥功能的处理器装置16所具备的图像用处理器构成的中央控制部51运行该程序，由此实现中央控制部51、图像获取部52、图像处理部56及显示控制部57的功能。
中央控制部51进行照明光的照射时间点与摄影时间点的同步控制等内窥镜系统10的统一控制。使用键盘19等进行各种设定输入等时，中央控制部51将该设定输入至光源用处理器22、摄影用处理器46或图像处理部56等的内窥镜系统10的各部。
图像获取部52从图像传感器45获取使用各颜色的像素拍摄观察对象而得的图像(即，RAW图像)。并且，RAW图像为实施去马赛克处理之前的图像(内窥镜图像)。若为实施去马赛克处理之前的图像，则对从图像传感器45获取的图像实施降噪处理等任意处理之后的图像也包括在RAW图像中。
图像获取部52具备DSP(Digital Signal ProcesSor：数字信号处理器)53、降噪部54及转换部55，以根据需要对所获取的RAW图像实施各种处理。
DSP53例如具备偏移处理部、缺陷校正处理部、去马赛克处理部、线性矩阵处理部及YC转换处理部等(均未图示)。DSP53使用它们对RAW图像或使用RAW图像生成的图像实施各种处理。
偏移处理部对RAW图像实施偏移处理。偏移处理是从RAW图像减少暗电流成分来设定准确的零电平的处理。有时将偏移处理称为钳位处理。缺陷校正处理部对RAW图像实施缺陷校正处理。缺陷校正处理是在图像传感器45包含具有由制造工序或经时变化引起的缺陷的像素(缺陷像素)时校正或生成与图像传感器45的缺陷像素对应的RAW像素的像素值的处理。
去马赛克处理部对与各颜色的滤色器对应的各颜色的RAW图像实施去马赛克处理。去马赛克处理是通过插值生成RAW图像中由滤色器的排列引起缺失的像素值的处理。线性矩阵处理部对通过将一个或多个RAW图像分配给RGB各颜色的通道而生成的内窥镜图像进行线性矩阵处理。线性矩阵处理是提高内窥镜图像的颜色再现性的处理。由YC转换处理部进行的YC转换处理是将通过将一个或多个RAW图像分配给RGB各颜色的通道而生成的内窥镜图像转换为具有亮度通道Y、色差通道Cb及色差通道Cr的内窥镜图像的处理。
降噪部54例如使用移动平均法或中值滤波法等对具有亮度通道Y、色差通道Cb及色差通道Cr的内窥镜图像实施降噪处理。转换部55重新将降噪处理后的亮度通道Y、色差通道Cb及色差通道Cr再转换为具有BGR各颜色的通道的内窥镜图像。
图像处理部56对图像获取部52所输出的内窥镜图像进行必要的图像处理或运算。如图9所示，图像处理部56具备常规观察图像处理部61、特殊观察图像处理部62及诊断辅助图像处理部63。常规观察图像处理部61对所输入的1帧分的Rc图像信号、Gc图像信号及Bc图像信号实施常规观察图像用图像处理。常规观察图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table：查找表)处理等颜色转换处理、色彩增强处理、空间频率增强等结构增强处理。实施了常规观察图像用图像处理的Rc图像信号、Gc图像信号及Bc图像信号为常规观察图像，在常规观察模式下输入至显示控制部57作为显示图像。
特殊观察图像处理部62对所输入的1帧分的Rs图像信号、Gs图像信号及Bs图像信号实施特殊观察图像用图像处理。特殊观察图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT(Look Up Table：查找表)处理等颜色转换处理、色彩增强处理、空间频率增强等结构增强处理。实施了特殊观察图像用图像处理的Rs图像信号、Gs图像信号及Bs图像信号为特殊观察图像，在特殊观察模式下输入至显示控制部57作为显示图像。
诊断辅助图像处理部63进行诊断辅助模式下的图像分析处理等并生成诊断辅助信息。诊断辅助信息呈现给医生等使用者。如图10所示，诊断辅助图像处理部63具备候补图像获取部71、第1分析处理部72、最佳图像选择部73、第2分析处理部74及显示图像生成部75。
候补图像获取部71根据图像获取部52所输出的内窥镜图像，生成并获取多种候补图像。候补图像的种类根据以下2点之一或两者进行区分。第1点是通过拍摄观察对象时的照明光的分光光谱进行区分。因此，候补图像获取部71分别获取通过拍摄观察对象来获得的内窥镜图像作为1种候补图像，该观察对象分别利用由光源部发射的分光光谱互不相同的多种照明光照射。第2点是通过用于对内窥镜图像生成候补图像的图像处理(以下，称为候补图像生成用图像处理)的方法进行区分。
作为候补图像生成用图像处理的方法，例如包括增强处理等图像处理的方法，具体而言，包括色彩扩大处理和/或结构增强处理等。另外，通过候补图像生成用图像处理的方法区分候补图像时，包括不进行候补图像生成用图像处理。因此，图像获取部52所输出的未进行候补图像生成用图像处理的内窥镜图像也是候补图像的一种。因此，将照明光的分光光谱与候补图像生成用图像处理的组合不同的情况也视为候补图像的一种类。照明光的分光光谱或图像处理中的任一个不同的候补图像为不同种类的候补图像。
如图11所示，候补图像获取部71具备分别生成多种候补图像的各候补图像生成部。例如，具备第1候补图像生成部81、第2候补图像生成部82、第3候补图像生成部83、第4候补图像生成部84、第5候补图像生成部85及第n候补图像生成部86。n为6以上的整数。n能够根据多种候补图像的种类数设定。各候补图像获取部分别进行以下照明光和/或候补图像生成用图像处理。
第1候补图像生成部81进行用于生成第1候补图像的第1候补图像用图像处理(以下，称为第1图像处理)。第1图像处理是对以第1照明光用分光光谱发射白色光的第1照明光来获得的B1图像信号、G1图像信号及R1图像信号实施的处理。第1图像处理与常规观察图像处理部61的常规显示图像处理相同，获得与常规显示图像相同的第1候补图像。第1候补图像是候补图像的一种。因此，候补图像获取部71获取通过拍摄观察对象来获得的图像作为候补图像的一种，该观察对象利用白色照明光照射。
第2候补图像生成部82进行用于生成第2候补图像的第2候补图像用图像处理(以下，称为第2图像处理)。第2图像处理是对以第2照明光用分光光谱SP1发射第2照明光L2来获得的B2图像信号、G2图像信号及R2图像信号实施的处理。如图12所示，以第2照明光用分光光谱SP1发射的第2照明光L2优选为紫色光V的峰强度大于其他颜色的蓝色光B、绿色光G及红色光R的光。第2图像处理是将B2图像信号分配给显示用的B通道和G通道且将G2图像信号分配给显示用的R通道的伪彩色(pseudo-color)处理。通过该伪彩色处理，可获得表层血管等特定深度的血管或结构被增强的第2候补图像。第2候补图像是候补图像的一种。
第3候补图像生成部83进行用于生成第3候补图像的第3候补图像用图像处理(以下，称为第3图像处理)。第3图像处理是对以第2照明光用分光光谱SP2发射第2照明光来获得的B2图像信号、G2图像信号及R2图像信号实施的处理。如图13所示，以第2照明光用分光光谱SP2发射的第2照明光优选为仅发射紫色光V(峰波长例如为400～420nm)的光。第3图像处理是将B2图像信号分配给显示用的B通道、G通道及R通道且调整色调及灰度平衡的处理。通过第3图像处理，可获得比表层血管更浅的极表层血管等被增强的第3候补图像。第3候补图像是候补图像的一种。
第4候补图像生成部84进行用于生成第4候补图像的第4候补图像用图像处理(以下，称为第4图像处理)。第4图像处理是除了对发射第1照明光来获得的B1图像信号、G1图像信号及R1图像信号以外，还对以第2照明光用分光光谱SP3发射第2照明光来获得的B2图像信号、G2图像信号及R2图像信号实施的处理。如图14所示，第2照明光用分光光谱SP3优选为氧合血红蛋白与脱氧血红蛋白的吸光系数存在差异的波段的光即蓝紫色光VB(峰波长例如为470～480nm)。
如图15所示，第4候补图像生成部84具备：氧饱和度用信号比计算部84a，其进行计算表示B2图像信号与G1图像信号之比的第1信号比(B2/G1)、及表示R1图像信号与G1图像信号之比的第2信号比(R1/G1)的信号比计算处理；氧饱和度计算部84c，参考氧饱和度计算用表84b，计算与第1信号比及第2信号比对应的氧饱和度；以及氧饱和度图像生成部84d，根据氧饱和度生成氧饱和度图像。氧饱和度图像成为通过第4图像处理获得的第4候补图像。第4候补图像是候补图像的一种。
另外，氧饱和度计算用表84b中存储有氧饱和度与第1信号比及第2信号比的相关关系。具体而言，如图16所示，氧饱和度计算用表84b由二维表构成，该二维表在以第1信号比(B2/G1)和第2信号比(R1/G1)作为轴的二维空间定义氧饱和度的等高线ELx、EL1、EL2、EL3、ELy等。例如，等高线ELx表示氧饱和度为0％，等高线EL1表示氧饱和度为30％，等高线EL2表示氧饱和度为50％，等高线EL3表示氧饱和度为80％。另外，相对于第1信号比(B2/G1)和第2信号比(R1/(G1)的等高线的位置及形状预先通过光散射的物理模拟获得。另外，第1信号比(B2/G1)和第2信号比(R1/G1)优选为log尺度。
第5候补图像生成部85进行用于生成第5候补图像的第5候补图像用图像处理(以下，称为第5图像处理)。第5图像处理为色彩扩大处理，具体而言，是对以第2照明光用分光光谱SP4发射第2照明光来获得的B2图像信号、G2图像信号及R2图像信号实施的处理。如图17所示，第2照明光用光谱SP4优选为紫色光V及蓝色光B的峰强度大于绿色光G及红色光R的峰强度的光。并且，与第2照明光用光谱SP2相比，优选红色光R的强度大。
如图18所示，第5候补图像生成部85设置有：色差扩大用信号比计算部85a，其进行表示B2图像信号与G2图像信号之比的第1信号比(B2/G2)、及表示R2图像信号与G2图像信号之比的第2信号比(G2/R2)的信号比计算处理；色差扩大处理部85b，其根据第1信号比及第2信号比，进行扩大多个观察对象范围之间的色差的色差扩大处理；以及色差扩大图像生成部85c，其根据色差扩大处理后的第1信号比及第2信号比，生成色差扩大图像。色差扩大图像成为通过第5图像处理获得的第5候补图像。第5候补图像是候补图像的一种。
关于色差扩大处理，如图19所示，优选在由第1信号比(B2/G2)及第2信号比(G2/R2)构成的二维空间内，扩大多个观察对象范围之间的距离。具体而言，优选在二维空间内，在将多个观察对象范围中第1范围(由①表示)的位置维持在色差扩大处理前后的状态下，扩大第1范围与第2范围(由②表示)的距离、第1范围与第3范围(由③表示)的距离及第1范围与第4范围(由④表示)的距离。色差扩大处理优选通过在对第1信号比及第2信号比进行极坐标转换的基础上调整径向和角度的方法进行。另外，优选的是，第1范围为不存在病变等的正常部且第2～第4范围为有可能存在病变等的异常部。通过色差扩大处理，从色差扩大处理前的二维空间内的范围A1扩展到色差扩大处理后的范围A2，因此色差被增强，例如，成为异常部与正常部的色差被增强的图像。
如上所述，通过对内窥镜图像进行各种方法的图像处理，生成多种候补图像。第n候补图像生成部86生成第n种候补图像。图像处理的方法或内容并不限于以上。例如，除了色差扩大处理以外，还可以进行结构增强处理等增强处理。根据有无对内窥镜图像的增强处理或增强处理的种类，区分候补图像的种类，并分别获取所区分的候补图像作为1种候补图像。另外，实施增强处理的内窥镜图像可以是进行了第1图像处理～第n图像处理中的任一个图像处理之后的图像，也可以是未进行图像处理的图像。
结构增强处理是以成为观察对象中的血管被增强显示的内窥镜图像的方式对所获取的内窥镜图像进行的处理。具体而言，作为内窥镜图像，使用发射第1照明光获得的B1图像信号、G1图像信号及R1图像信号、或者发射第2照明光获得的B2图像信号、G2图像信号及R2图像信号中的任一种。在结构增强处理中，在所获取的内窥镜图像中求出横轴为像素值(亮度值)、纵轴为频度的图表即浓度直方图，并通过预先存储于图像处理部56的存储器(未图示)等的灰度校正表进行灰度校正。在灰度校正表中，横轴表示输入值，纵轴表示输出值，具有表示输入值与输出值之间的对应关系的灰度校正曲线，例如根据大致S字形状的灰度校正曲线来进行灰度校正，以扩展所获取的内窥镜图像的动态范围。由此，结构增强的增强处理前的原图像中低浓度部分的浓度会变得更低，高浓度部分的浓度会变得更高，因此，例如血管区域与不存在血管的区域的浓度差增加而血管的对比度变高。因此，经过结构增强处理后的内窥镜图像中血管的对比度变高且血管结构的视觉辨认度变高，例如能够更容易且精确地将血管密集度高的区域作为特定区域而优选用于判定等。
优选的是，候补图像获取部71获取通过拍摄观察对象来获得的内窥镜图像作为候补图像的一种，该观察对象利用由光源部20发射的包括预先设定的波段的窄带光的照明光照射。因此，多种候补图像优选包含至少一种基于由窄带光构成的照明光的内窥镜图像。可以生成通过拍摄观察对象来获得的内窥镜图像作为候补图像的一种，该观察对象利用包括优选为窄带光的紫色光V和/或蓝色光B的照明光照射。
并且，作为窄带光的窄带，优选为480nm以下的短波。而且，窄带光的中心波长或峰波长优选包括410nm的波长。而且，窄带光优选为仅具有1个窄带的单色光。而且，优选获取对将窄带光作为主成分的内窥镜图像进行了着色的内窥镜图像作为候补图像的一种。
对将窄带光作为主成分的内窥镜图像进行了着色的内窥镜图像例如可以将以特定单色光拍摄观察对象的特定颜色图像分配给多个颜色通道且调节各个颜色通道的平衡，由此通过从特定颜色图像生成彩色图像的方法来获得。另外，此时，关于着色，优选在L*a*b*颜色空间中，扩大映射观察对象的观察对象像中相对低频率成分的颜色与观察对象像中相对高频率成分的颜色之间的距离。基于此类内窥镜图像的候补图像通过对应于观察对象像来调整着色，例如能够形成在变焦图像等中血管等微细的特定结构更容易掌握的内窥镜图像。并且，除了形成人容易视觉辨认的内窥镜图像以外，通过调整着色还能够形成基于计算机的分析处理中可获得良好的分析结果的内窥镜图像，因此优选。
通过包括特定窄带光的照明光，例如，可获得存在于特定粘膜深度的血管、特定粗度等的血管或腺管等特定结构等被增强的候补图像。另外，候补图像中的增强不仅包括对人的视觉的增强，还包括针对计算机执行CAD等的情况的增强。因此，优选为以使用CAD等时可获得良好的分析处理结果的方式进行增强的候补图像。将所生成的多种候补图像发送至第1分析处理部72。如图20所示，例如，获取第1候补图像、第2候补图像及第5候补图像这3种候补图像。在图20等中，关于右栏中记载的各处理，通过“候补图像获取：”等在左栏中记载说明。
第1分析处理部72对多种候补图像中预先设定的一种或多种候补图像进行第1分析处理。任意设定进行第1分析处理的候补图像的种类数。获取k种候补图像时，进行第1分析处理的候补图像的种类是1～k中的任一个。其中，k为2以上的整数。进行第1分析处理的候补图像的种类也能够预先设定。
通过第1分析处理获得的第1分析处理结果用于从多种候补图像中选择至少一种候补图像。第2分析处理部74对所选择的候补图像进行第2分析处理。将由第2分析处理部74选择作为进行第2分析处理的对象的至少一种候补图像作为最佳图像。通过第2分析处理部74对最佳图像进行第2分析处理来获得第2分析结果。第2分析处理结果作为最终的诊断辅助信息向使用者进行通知等，因此，第1分析处理结果优选为能够选择通过第2分析处理可获得良好的结果的最佳图像的分析处理结果。第1分析处理结果优选为诊断辅助信息。将基于第1分析处理结果的诊断辅助信息作为第1诊断辅助信息。对应于进行了第1分析处理的候补图像数，可获得一个或多个第1诊断辅助信息。
第1分析处理结果是基于候补图像的信息，例如，除了内窥镜前端部12d与观察对象的距离或候补图像整体或特定区域的亮度等从候补图像获得的信息以外，还是观察对象所包括的粘膜等被摄体名、部位名、疾病名、特定结构名、或处置器具等不是来自活体的物体名。并且，关于病变或疾病，能够设定为有无、指标值、位置或区域、与正常区域的边界线、概率、进展程度或重症度。并且，能够设定为映现于候补图像中的观察对象的病理状态等特定状态、出血或治疗痕。作为部位名，优选为映现于候补图像中的特征部位，例如，上消化道的情况下为食管部、贲门部、胃底部、胃体部、幽门部、胃角部或十二指肠球部等，大肠的情况下为盲肠、回盲部、升结肠、横结肠、降结肠、乙状结肠或直肠等。作为特定结构，为血管、腺管、息肉或癌等隆起部或凹陷部等，作为不是来自活体的物体，为内窥镜可附带的活检钳、圈套器或异物摘除器具等处置器具、或用于腹腔镜手术的腹腔用处置器具等。作为病变或疾病名，可举出可见于上消化道或大肠的内窥镜检查中的病变或疾病，例如为炎症、发红、出血、溃疡或息肉、或者胃炎、巴雷特食管(Barrett’s Esophagus)、癌或溃疡性结肠炎等。活体信息的值是指观察对象的活体信息的值，例如为氧饱和度、血管密集度或基于色素的荧光值等。
并且，第1诊断辅助信息可以是判定或鉴别结果。作为判定或鉴别，可以是肿瘤和非肿瘤等的鉴别、各种疾病的阶段或重症度、梅奥评分(MayoScore)或Geboes评分(GeboesScore)等各种评分。
Mayo评分是表示溃疡性结肠炎的内窥镜重症度的评分，通过使用了内窥镜的大肠患部的观察结果，根据疾病特征的有无及程度等判定级别0及1的轻度、级别2的中度或级别3的重度中的任一种。例如，将级别0标记为Mayo0。因此，诊断辅助信息为Mayo0～Mayo3中的任一个。
并且，Geboes评分是表示溃疡性结肠炎的病理学重症度的评分，通过使用了显微镜的活检组织的观察结果，根据疾病特征的有无及程度等，判定为Geboes0的轻症阶段、Geboes0～Geboes2A的病理缓解、Geboes2B～Geboes5的非病理缓解中的任一个。因此，诊断辅助信息为Geboes0～Geboes5、或者Geboes2A或Geboes2B中的任一个。
并且，例如，胃癌的阶段会根据病变的观察及活检等综合判定肿瘤的深度及转移的状态，并且分类为阶段I～IV。因此，诊断辅助信息为阶段I～阶段IV中的任一个。
并且，第1分析处理结果包括从候补图像获得的电子变焦率等摄影条件。并且，根据情况，可以是来自基于通信的HIS(Hospital Information System：医院信息系统)、RIS(Radiology Information System：放射科信息系统)等信息管理服务器、或PACS(PictureArchiving and Communication System for medical application：医疗影像储传系统)等图像服务器的信息。并且，还包括通过图像分析处理获得的第1分析处理结果本身的准确度等。
第1分析处理部72可以通过相同的方法对多种候补图像进行第1分析处理，但也可以按照多种候补图像的种类通过互不相同的方法进行第1分析处理。这是因为，有时根据候补图像的种类，通过图像分析处理能够获得更好的结果的第1分析处理结果的种类不同。通过按照候补图像的种类进行第1分析处理，能够进行适合候补图像的图像分析处理，并且最终能够选择更高精度地获得诊断辅助信息的最佳图像，因此优选。按照候补图像的种类进行的第1分析处理优选分别独立地并行。
此时，如图21所示，第1分析处理部72具备按照候补图像的种类设置的第1图像第1分析处理部91、第2图像第1分析处理部92、第3图像第1分析处理部93、第4图像第1分析处理部94、第5图像第1分析处理部95及第n图像第1分析处理部96的各第1分析处理部。n为6以上的整数，具备与候补图像的种类数相应数量的各图像用第1分析处理部。第1图像第1分析处理部91对第1候补图像进行第1分析处理。同样地，第2图像第1分析处理部92对第2候补图像进行第1分析处理，第3图像第1分析处理部93对第3候补图像进行第1分析处理，第4图像第1分析处理部94对第4候补图像进行第1分析处理，第5图像第1分析处理部95对第5候补图像进行第1分析处理，并且，第n图像第1分析处理部96对第n候补图像进行第1分析处理。例如，将预先进行第1分析处理的对象设定为第1候补图像、第2候补图像及第5候补图像这3种的情况下，在获取到第1候补图像、第2候补图像、第5候补图像这3种候补图像时，分别在第1图像第1分析处理部91、第2图像第1分析处理部92及第5图像第1分析处理部95这3个第1分析处理部进行第1分析处理。
另外，通过相同的方法对多种候补图像进行第1分析处理时，各第1分析处理部可以进行种类互不相同的候补图像的分析处理。即，各第1分析处理部可以共用于种类互不相同的候补图像中。
作为第1分析处理的方法，能够利用可获得第1诊断辅助信息作为第1分析处理结果的方法，例如，可举出使用候补图像的像素值和/或亮度值等基于图像的值的方法、使用根据图像计算的氧饱和度或血管密集度等活体信息的值的方法、使用候补图像所具备的摄影条件等信息的方法、或者使用将观察对象的特定状态与通过拍摄包括特定状态的观察对象来获得的候补图像预先建立对应关联的对应信息的方法等。
另外，观察对象的特定状态能够设定成与第1诊断辅助信息的例子相同。第1分析处理部72优选具备对应信息获取部(未图示)，该对应信息获取部获取将观察对象的特定状态与通过拍摄特定状态下的观察对象来获得的候补图像预先建立对应关联的对应信息。在预先知道观察对象的特定状态时，对应信息是使通过拍摄该观察对象来获得的候补图像与观察对象的特定状态或特定状态的区域等信息等建立对应关联的信息。第1分析处理部72或各第1分析处理部优选根据对应信息，对新获取的候补图像进行第1分析处理。
如图22所示，通过将未知特定状态的新获取的候补图像输入至对应信息获取部，能够使用对应信息获取部所具备的候补图像与观察对象的特定状态建立对应关联的对应信息，推测并输出新获取的候补图像的特定状态作为第1分析处理结果。并且，对应信息获取部可以进行分别将新获取的候补图像和通过推定输出的第1分析处理结果所包含的特定状态作为对应信息而进一步获取的学习。
对应信息优选分别设置于第1图像第1分析处理部91至第n图像第1分析处理部96的各第1分析处理部。通过每种候补图像均具备与特定种类的特定状态建立对应关联的对应信息获取部，各种候补图像能够通过图像辨认处理获得良好的结果。
例如，候补图像的种类为增强血管的候补图像即第2候补图像时，与第2候补图像对应的第1分析处理在第2图像第1分析处理部92实施。第2图像第1分析处理部92具备包含与特定状态相关的对应信息的对应信息获取部，该特定状态与观察对象的血管相关。对应信息获取部根据对应信息进行第2候补图像的第1分析处理，并输出与该第2候补图像所包含的观察对象的特定状态相关的区域等细节。另外，与特定状态相关的细节等的输出还包括“不包含特定状态”这一内容。
各对应信息获取部例如是机器学习中的已学习模型。由于可以更迅速且高精度地获得新获取的候补图像中的观察对象的特定状态作为第1分析处理结果，因此优选进行将基于机器学习的已学习模型用作对应信息获取部的第1分析处理。在本实施方式中，将机器学习中的已学习模型用作各对应信息获取部，进行用于输出观察对象的特定状态的第1分析处理。另外，此时，为了获得良好的分析处理结果，优选已学习模型使用对各种候补图像进行了学习的模型。因此，例如，优选第1图像第1分析处理部91所具备的对应信息与第2图像第1分析处理部92所具备的对应信息为互不相同的已学习模型。
如图23所示，例如，在第1图像第1分析处理部91、第2图像第1分析处理部92及第5图像第1分析处理部95这3个第1分析处理部中，使用已学习模型分别进行第1候补图像、第2候补图像及第5候补图像的第1分析处理，通过各个第1分析处理部获得第1诊断辅助信息，可获得共计3个第1诊断辅助信息。
最佳图像选择部73根据通过第1分析处理获得的第1分析结果，从候补图像获取部71所获取的多种候补图像中选择至少一种候补图像作为最佳图像。由于第1分析处理是对一种或多种候补图像进行的，因此对应于进行了第1分析处理的候补图像数，可获得一个或多个作为第1分析处理结果的第1诊断辅助信息。在获得多个第1诊断辅助信息时，将这些综合而得的信息作为第1诊断辅助信息。
作为最佳图像的选择方法，能够利用各种方法。例如，能够预先准备并使用将第1诊断辅助信息与多种候补图像中最适合第2分析处理的候补图像的种类建立对应关联的对应表。
另外，优选的是，光源部20反复发光周期时，最佳图像选择部73从在1次发光周期内获得的多种候补图像中选择至少一个最佳图像。由此，每次切换发光周期时，始终选择最新的最佳图像而可获得最新的诊断辅助信息，因此优选。
如图24所示，例如，获取3种候补图像，获得3个第1诊断辅助信息时，第1诊断辅助信息为观察对象的被摄体名及内窥镜前端部12d与观察对象的距离，具体而言，将3个第1诊断辅助信息均设定为被摄体名是“粘膜”且内窥镜前端部12d与观察对象的距离是“远景”。最佳图像选择部73综合3个第1诊断辅助信息而设定为被摄体名是“粘膜”且内窥镜前端部12d与观察对象的距离是“远景”，使用最佳图像选择部73所具备的对应表(未图示)，例如选择1种候补图像的第1候补图像作为最佳图像。
第2分析处理部74通过对最佳图像进行第2分析处理来获得第2分析处理结果。第2分析处理结果作为最终的诊断辅助信息而向使用者进行通知等。第2分析处理结果优选为诊断辅助信息。将基于第2分析处理结果的诊断辅助信息作为第2诊断辅助信息。通常，由于第2分析处理是对所选择的1个候补图像即最佳图像进行的，因此可获得1个第2诊断辅助信息。
第2诊断辅助信息的细节能够设定为与第1诊断辅助信息相同。并且，第2分析处理部74可以按照作为最佳图像的候补图像的种类，通过互不相同的方法进行第2分析处理。这是因为，与第1分析处理相同地，有时根据候补图像的种类，通过图像分析处理能够获得更好的结果的第2诊断辅助信息的种类不同。通过按照候补图像的种类进行第2分析处理，可以更高精度地获得第2诊断辅助信息，因此优选。
此时，如图25所示，第2分析处理部74具备按照候补图像的种类设置的第1图像第2分析处理部101、第2图像第2分析处理部102、第3图像第2分析处理部103、第4图像第2分析处理部104、第5图像第2分析处理部105及第n图像第2分析处理部106。n为6以上的整数，具备与候补图像的种类数相应数量的各图像用第2分析处理部。第1图像第2分析处理部101在最佳图像为第1候补图像时进行第2分析处理。第2图像第2分析处理部102之后也相同。
作为第2分析处理的方法，能够利用作为第2分析处理结果可获得第2诊断辅助信息的方法，能够设定为与第1分析处理的方法相同。另外，根据情况，第1分析处理部72可以兼做第2分析处理部74，但为了迅速获得第2诊断辅助信息，优选单独实施第1分析处理和第2分析处理。并且，优选第1分析处理与第2分析处理是互不相同的内容的分析处理。这是因为，通过采用相同内容的分析处理而获得相同内容的诊断辅助信息时，变成进行2次相同的分析处理而有可能浪费时间。
并且，第2诊断辅助结果优选为关于疾病的判定或鉴定结果。这是因为，将第2诊断辅助结果作为最终的诊断辅助结果而向医生等使用者进行通知，医生等参考该第2诊断辅助结果，诊断观察对象的同时进行内窥镜检查。第2诊断辅助结果例如优选为关于疾病的指标值、关于疾病阶段的指标值、疾病的阶段、疾病的重症度、观察对象的病理状态或发病部位。
第2诊断辅助信息例如是溃疡性结肠炎的内窥镜重症度的指标即Mayo评分。此时，第2诊断辅助信息是Mayo评分的0～3中的任一个。并且，例如，第2诊断辅助信息是溃疡性结肠炎的病理阶段的指标即Geboes评分。此时，第2诊断辅助信息为Geboes0～Geboes5、或者Geboes2A或Geboes2B中的任一个。并且，例如，第2诊断辅助信息是胃癌的阶段。因此，此时，第2诊断辅助信息是阶段I～IV中的任一个。
疾病的重症度或进展程度在治疗方针的决定等中成为重要的判断依据。尤其，对于以相应于重症度的内科治疗为主的溃疡性结肠炎等来说发病早期的准确的诊断很重要，因此，通过内窥镜系统10等，利用内窥镜检查高精度地确定重症度是有利的。
并且，第1分析处理和第2分析处理优选根据预先设定的内容组合进行。第1分析处理结果所选择的候补图像优选在第2分析处理中，获得更高精度的第2诊断辅助信息作为第2分析处理结果。因此，有时能够预先设定优选的第1分析处理的内容和第2分析处理的内容。例如，基于第1分析处理的第1分析处理结果为观察对象的被摄体名及内窥镜前端部12d与观察对象的距离时，近距离的情况下有可能在观察关注区域等的细节，并且有可能是映现粘膜表层的微细结构等的内窥镜图像，因此第2分析处理优选采用如下种类的分析处理的方法：获得疾病的活体信息、阶段或重症度的判定、或包含正常部和边界线的病变部的区域作为第2分析处理结果。另一方面，远距离的情况下有可能进行观察整体状况的筛查，并且有可能是映现部位整体状态的内窥镜图像，因此优选采用如下种类的分析处理的方法：获得部位名或病变或疾病的区域等作为第2分析处理结果。
另外，在内窥镜前端部12d与观察对象的距离为近距离的情况下，有时候补图像是通过利用变焦的放大观察来获得的内窥镜图像。如图26所示，例如，选择第1候补图像作为最佳图像时，第1图像第2分析处理部101进行第2分析处理。进行第2分析处理的结果，获得作为第2分析处理结果的第2诊断辅助信息。
显示图像生成部75生成显示于显示器18的显示图像。显示图像是基于多种候补图像中至少一种候补图像的内窥镜图像，显示图像显示于显示器18。能够预先设定显示图像为哪一种候补图像。显示于显示器的显示图像是医生等使用者观察后进行诊断或检查方针确定等的图像，因此，优选为对于人来说视觉辨认度良好的内窥镜图像。例如，如图27所示，将显示图像设定为使用了白色光的常规观察图像和相同种类的第1候补图像时，显示图像生成部75与常规观察图像处理部61相同地，进行必要的图像处理而生成显示图像。将所生成的显示图像发送至显示控制部57。
显示控制部57在常规观察模式的情况下将常规观察图像显示于显示器18，在特殊观察模式的情况下将特殊观察图像显示于显示器18。并且，在诊断辅助模式的情况下，进行将显示图像显示于显示器18的控制。显示图像优选持续显示于显示器18。另外，在诊断辅助模式下，虽不会作为显示图像而显示，但可以将所获取的其他候补图像按照指示切换并作为显示图像显示于显示器18。如图28所示，例如，显示图像111与当前模式名即模式名显示112、或表示成为显示图像原型的候补图像的种类的内窥镜图像种类名显示113一同显示于显示器18。
通过如上构成，作为图像处理装置发挥功能的处理器装置16或具备图像处理装置的内窥镜系统10在根据从多种候补图像中预先设定的种类的候补图像获得第1诊断辅助信息的基础上，使用第1诊断辅助信息来确定进行第2分析处理的最佳图像，因此与不选择通过摄影获得的内窥镜图像而选择根据由此获得的信息进行分析处理的图像的情况相比，能够节省进行分析处理的图像的选择时间。并且，即使在基于第1分析处理的第1诊断辅助信息的个数少的情况下，也能够设定用于在第2分析处理中获得优选的处理结果的第1诊断辅助信息的内容，因此最终获得的诊断辅助信息即第2诊断辅助信息的精度高。因此，作为图像处理装置发挥功能的处理器装置16、或具备图像处理装置的内窥镜系统10能够迅速且高精度地获得基于CAD的诊断辅助信息。尤其，对于以相应于重症度的内科治疗为主的溃疡性结肠等来说发病早期的准确的诊断很重要，因此，高精度地确定重症度是有利的，能够优选利用内窥镜系统10等。
另外，第2分析处理结果只要能够通知到使用者即可，除了显示于显示器18以外，还可以利用语音等进行通知，显示控制部57优选进行将第2分析处理结果显示于显示器18的控制。向显示器18的显示方式优选为不妨碍使用者对显示图像的视觉辨认度且一眼就能够掌握的方式。因此，可以将作为第2分析处理结果的第2诊断辅助信息显示于显示器18的显示图像111以外的区域，也可以通过对显示图像111进行图像处理而将第2诊断辅助信息与显示图像111重叠显示。如图29所示，例如，第2分析处理结果为第2诊断辅助信息且为Mayo评分时，可以将病变的区域和评分的数值重叠于显示图像111，通过着色的框显示114和短文本显示115进行显示。
通过第2分析处理结果显示于显示器18，使用者一眼就能够迅速掌握可靠性高的诊断辅助信息。并且，即使显示图像是无法通过基于常规观察图像的诊断进行判别的病变，由于对适合分析处理的最佳图像进行分析处理，因此也能够防止看漏病变。另外，第2分析处理结果显示于显示图像111之后，使用者能够将显示图像的种类迅速切换为容易观察显示于第2分析处理结果中的病变细节的种类的内窥镜图像，并进行详细观察。
尤其，将显示图像111切换为未设定为显示图像111的种类的候补图像时，虽未显示但该种类的候补图像已获得，因此能够迅速切换而设定为显示图像。
并且，优选的是，候补图像获取部71获取通过拍摄观察对象来获得的内窥镜图像作为候补图像的一种，该观察对象利用由光源部20发射的白色照明光照射。基于白色照明光的内窥镜图像对人来说是能够辨认为自然色的图像，因此通过设定为显示图像，医生等使用者能够顺利进行内窥镜检查。
另外，优选的是，光源部20具备光源用处理器和摄像传感器时，候补图像获取部71获取第1内窥镜图像和第2内窥镜图像作为候补图像，该光源用处理器在第1照明期间，以第1发光图案发射第1照明光，在第2照明期间，以第2发光图案发射第2照明光，且切换第1照明光与第2照明光；该摄像传感器输出第1内窥镜图像和第2内窥镜图像，该第1内窥镜图像通过拍摄利用第1照明光照射的观察对象来获得，该第2内窥镜图像通过拍摄利用第2照明光照射的观察对象来获得。由此，组合第1发光图案与第2发光图案而能够获得基于各种照明光的多种候补图像，因此优选。
另外，第1分析处理部72可以对多种候补图像中预先设定的一种候补图像进行第1分析处理。以下，对这种情况的实施方式进行说明。如图30所示，获取到第1候补图像、第2候补图像及第5候补图像这3种候补图像。第1候补图像是与通过白色光获得的常规显示图像相同的内窥镜图像，第2候补图像是表层血管等特定深度的血管或结构通过伪彩色处理被增强的内窥镜图像，第5候补图像是色差增强图像且是异常部与正常部的色差被增强的内窥镜图像。这些候补图像是根据溃疡性结肠炎患者的大肠内窥镜诊断中拍摄的内窥镜图像获得的图像。
如图31所示，在这些候补图像中，显示图像生成部75根据第1候补图像生成显示图像111。因此，在显示器18中显示基于第1候补图像的显示图像111。并且，第1分析处理部72通过第1图像第1分析处理部72，对预先设定的一种候补图像即第1候补图像进行基于已学习模型的第1分析处理，作为第1诊断辅助信息，获得观察对象的被摄体名及内窥镜前端部12d与观察对象的距离。具体而言，作为第1诊断辅助信息，获得作为观察对象的被摄体名的“粘膜”及作为内窥镜前端部12d与观察对象的距离的“远景”的信息。
将第1诊断辅助信息发送至最佳图像选择部73。最佳图像选择部73根据通过第1分析处理获得的第1分析结果，从候补图像获取部71所获取的第1候补图像、第2候补图像及第5候补图像这3种候补图像中选择第5候补图像作为最佳图像。最佳图像选择部73预先具有如下信息：第5候补图像是进行了色差增强处理的内窥镜图像，对观察条件为远景时的诊断有效。将最佳图像选择部73所选择的第5候补图像发送至第2分析处理部74。第2分析处理部74根据所选择的第5候补图像进行第2分析处理，作为第2分析处理结果，获得了第2诊断辅助信息。具体而言，第2分析处理部74针对第5候补图像，利用基于机器学习的已学习模型，根据粘膜的状态计算溃疡性结肠炎用内窥镜重症度指标即Mayo评分为“3”，并将其作为第2诊断辅助信息。
显示控制部57进行将基于第1候补图像的显示图像111持续显示于显示器18的控制，但通过第2分析处理部74获得第2分析处理结果之后，立即进行显示图像111的图像处理，以使第2分析处理结果即第2诊断辅助信息重叠于显示图像111。具体而言，第2诊断辅助信息为“Mayo评分：3”，因此，通过“Mayo：3”这一诊断辅助信息显示116显示于显示图像111的右下部分。
并且，以下，对其他情况的实施方式进行说明。如图32所示，获取到第1候补图像、第2候补图像及第5候补图像这3种候补图像。第1候补图像、第2候补图像或第5候补图像如同以上说明。这些候补图像是根据溃疡性结肠炎患者的大肠内窥镜诊断中拍摄的内窥镜图像获得的图像。
如图33所示，在这些候补图像中，显示图像生成部75根据第1候补图像生成显示图像111。因此，在显示器18中显示基于第1候补图像的显示图像111。并且，第1分析处理部72通过第1图像第1分析处理部72，对预先设定的一种候补图像即第1候补图像进行基于已学习模型的第1分析处理，作为第1诊断辅助信息，获得了观察对象的被摄体名及内窥镜前端部12d与观察对象的距离。具体而言，作为第1诊断辅助信息，获得作为观察对象的被摄体名的“粘膜”及作为内窥镜前端部12d与观察对象的距离的“近景”的信息。
将第1诊断辅助信息发送至最佳图像选择部73。最佳图像选择部73根据通过第1分析处理获得的第1分析结果，从候补图像获取部71所获取的第1候补图像、第2候补图像及第5候补图像这3种候补图像中选择了第2候补图像作为最佳图像。最佳图像选择部73预先具有如下信息：第2候补图像是进行了伪彩色处理且表层血管的血管或结构被增强的内窥镜图像，对观察条件为近景时的诊断有效。将最佳图像选择部73所选择的第2候补图像发送至第2分析处理部74。第2分析处理部74根据所选择的第2候补图像进行第2分析处理，作为第2分析处理结果，获得第2诊断辅助信息。具体而言，第2分析处理部74针对第2候补图像，利用基于机器学习的已学习模型，根据粘膜的状态计算溃疡性结肠炎用病理阶段的指标即Geboes评分为“3”，并将其作为第2诊断辅助信息。
显示控制部57进行将基于第1候补图像的显示图像111持续显示于显示器18的控制，但通过第2分析处理部74获得第2分析处理结果之后，立即进行显示图像111的图像处理，以使第2分析处理结果即第2诊断辅助信息重叠于显示图像111。具体而言，第2诊断辅助信息为“Geboes评分：3”，因此，通过“Geboes：3”这一诊断辅助信息显示116显示于显示图像111的右下部分。
如上所述，在内窥镜检查中，尤其对于以相应于重症度的内科治疗为主的溃疡性结肠等来说发病早期的准确的诊断很重要，因此，通过内窥镜系统10等，能够自动、迅速且高精度地确定这些重症度。
接着，按照图34所示的流程图，对用于显示图像分析处理装置即处理器装置16或内窥镜系统10所进行的诊断辅助信息的处理的一系列流程进行说明。候补图像获取部71获取多种候补图像(步骤ST110)。显示图像生成部75根据多种候补图像中至少一种候补图像生成显示图像(步骤ST120)。显示控制部57进行将显示图像显示于显示器18的控制(步骤ST130)。
选择预先设定的种类的候补图像，以通过第1分析处理部72进行第1分析处理(步骤ST140)。对所选择的候补图像进行第1分析处理(步骤ST150)。通过第1分析处理获得第1分析处理结果(步骤ST160)。最佳图像选择部73根据第1分析处理结果，从多种候补图像中选择至少一种最佳图像(步骤ST170)。第2分析处理部74对所选择的最佳图像进行第2分析处理(步骤ST180)。通过第2分析处理获得第2分析处理结果(步骤ST190)。显示控制部57进行将第2分析处理结果与显示图像重叠显示于显示器18的控制(步骤ST200)。
另外，显示图像生成部75生成显示图像的步骤ST120和显示控制部57进行将显示图像显示于显示器的控制的步骤ST130可以与选择预先设定的种类的候补图像以进行第1分析处理的步骤ST140并行。
在上述实施方式及变形例等中，处理器装置16作为图像处理装置发挥功能，但也可以与处理器装置16分开设置包含图像处理部56的图像处理装置。另外，如图35所示，图像处理部56例如能够设置于从内窥镜系统10直接获取或从PACS(Picture Archiving andCommunication Systems：影像储传系统)910间接获取由内窥镜12拍摄的RAW图像的诊断辅助装置911。并且，如图36所示，能够在经由网络926与包括内窥镜系统10的第1检查装置921、第2检查装置922、……、第K检查装置923等各种检查装置连接的医疗辅助装置930中设置图像处理部56。
上述各实施方式及变形例可以任意组合其一部分或全部来实施。并且，在上述各实施方式及变形例中，内窥镜12使用了具有挠性插入部12a的所谓的软性内窥镜，但本发明也适合于使用供观察对象吞咽使用的胶囊型内窥镜、用于外科手术等的硬性内窥镜(腹腔镜)的情况。
上述实施方式及变形例等包括图像处理装置用程序，其用于使计算机实现如下功能：候补图像获取功能，获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像；显示控制功能，进行将基于多种候补图像中至少一种候补图像的显示图像显示于显示器的控制；第1分析处理功能，对多种候补图像中预先设定的一种或多种候补图像进行第1分析处理；最佳图像选择功能，根据通过第1分析处理获得的第1分析处理结果，从多种候补图像中选择至少一种候补图像作为最佳图像；及第2分析处理功能，通过对最佳图像进行第2分析处理来获得诊断辅助信息。
在上述实施方式中，图像处理装置即处理器装置16所包含的中央控制部51、图像获取部52、图像处理部56及显示控制部57之类的执行各种处理的图像用处理器或光源用处理器22等处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)而作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit：中央处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA或CPU和FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先有如下方式：如以客户端或服务器等计算机为代表，由一个以上CPU和软件的组合构成一个处理器，由该处理器作为多个处理部发挥功能。其次有如下方式：如以单片系统(System On Chip：SoC)等为代表，使用通过一个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的系统整体功能的处理器。如此，各种处理部使用一个以上的上述各种处理器来构成为硬件结构。
而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的方式的电路(circuitry)。
另外，除获取内窥镜图像等的内窥镜系统、处理器装置、其他相关装置等以外，本发明还可以用于获取内窥镜图像以外的医疗图像(包括动画)的系统或装置等。例如，本发明能够适用于超声波检查装置、X射线图像摄影装置(包括CT(Computed Tomography：计算机断层扫描)检查装置及乳房X射线摄影装置等)、MRI(magnetic resonance imaging：磁共振成像)装置等。
符号说明
10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，12f-观测器按钮1号，12g-观测器按钮2号，12h-变焦操作部，14-光源装置，16-处理器装置，18-显示器，19-键盘，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，22-光源用处理器，30a-照明光学系统，30b-摄影光学系统，41-光导件，42-照明透镜，43-物镜，44-变焦透镜，45-图像传感器，46-摄影用处理器，51-中央控制部，52-图像获取部，53-DSP，54-降噪部，55-转换部，56-图像处理部，57-显示控制部，61-常规观察图像处理部，62-特殊观察图像处理部，63-诊断辅助图像处理部，71-候补图像获取部，72-第1分析处理部，73-最佳图像选择部，74-第2分析处理部，75-显示图像生成部，81-第1候补图像生成部，82-第2候补图像生成部，83-第3候补图像生成部，84-第4候补图像生成部，84a-氧饱和度用信号比计算部，84b-氧饱和度计算用表，84c-氧饱和度计算部，84d-氧饱和度图像生成部，85-第5候补图像生成部，85a-色差扩大用信号比计算部，85b-色差扩大处理部，85c-色差扩大图像生成部，86-第n候补图像生成部，91-第1图像第1分析处理部，92-第2图像第1分析处理部，93-第3图像第1分析处理部，94-第4图像第1分析处理部，95-第5图像第1分析处理部，96-第n图像第1分析处理部，101-第1图像第2分析处理部，102-第2图像第2分析处理部，103-第3图像第2分析处理部，104-第4图像第2分析处理部，105-第5图像第2分析处理部，106-第n图像第2分析处理部，111-显示图像，112-模式名显示，113-内窥镜图像种类名显示，114-框显示，115-文本显示，116-诊断辅助信息显示，910-PACS，911-诊断辅助装置，921-第1检查装置，922-第2检查装置，923-第K检查装置，926-网络，930-医疗辅助装置，P1-第1照明期间，P2-第2照明期间，FL-帧，L1-第1照明光，L2a、L2b-第2照明光，Q1、Q2、Q3、Q4、Q5-发光周期，SP1、SP2、SP3、SP4-第2照明光用分光光谱，A1、A2-范围，ELx、EL1、EL2、EL3、EL4、ELy-氧饱和度的等高线，ST110～ST200-步骤。

Claims (15)

1.一种图像处理装置，其具备图像用处理器，其中，
所述图像用处理器执行如下处理：
获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像，
进行将基于多种所述候补图像中至少一种所述候补图像的显示图像显示于显示器的控制，
对多种所述候补图像中预先设定的一种或多种所述候补图像进行第1分析处理，
基于通过所述第1分析处理获得的第1分析处理结果，从多种所述候补图像中选择至少一种所述候补图像作为最佳图像，
通过对所述最佳图像进行第2分析处理来获得第2分析处理结果。
2.根据权利要求1所述的图像处理装置，其中，
所述图像用处理器进行将所述第2分析处理结果显示于所述显示器的控制。
3.根据权利要求1所述的图像处理装置，其中，
所述图像用处理器进行将所述第2分析处理结果与所述显示图像重叠显示的控制。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述第1分析处理与所述第2分析处理是互不相同的内容的分析处理。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
通过对所述内窥镜图像进行增强处理来生成所述候补图像，
所述图像用处理器根据所述增强处理的有无或种类来区分所述候补图像的种类，获取多种所述候补图像。
6.根据权利要求5所述的图像处理装置，其中，
所述增强处理为色彩增强处理和/或结构增强处理。
7.一种内窥镜系统，其具备：
权利要求1至6中任一项所述的图像处理装置；及
光源部，发射对所述观察对象照射的照明光。
8.根据权利要求7所述的内窥镜系统，其中，
所述图像用处理器获取通过拍摄所述观察对象来获得的所述内窥镜图像作为种类互不相同的所述候补图像，所述观察对象分别利用由所述光源部发射的分光光谱互不相同的多种照明光照射。
9.根据权利要求7或8所述的内窥镜系统，其中，
所述光源部按照由预先设定的顺序构成的发光周期，分别反复发射分光光谱互不相同的多种照明光。
10.根据权利要求9所述的内窥镜系统，其中，
所述图像用处理器从在1次所述发光周期内获得的多种所述候补图像中选择至少一个所述最佳图像。
11.根据权利要求7至10中任一项所述的内窥镜系统，其具备：
光源用处理器，在第1照明期间，以第1发光图案发射所述第1照明光，在第2照明期间，以第2发光图案发射所述第2照明光，且切换所述第1照明光与所述第2照明光；及
摄像传感器，输出第1内窥镜图像和第2内窥镜图像，所述第1内窥镜图像通过拍摄利用所述第1照明光照射的观察对象来获得，所述第2内窥镜图像通过拍摄利用所述第2照明光照射的所述观察对象来获得，
所述图像用处理器获取所述第1内窥镜图像和所述第2内窥镜图像作为所述候补图像。
12.根据权利要求7至11中任一项所述的内窥镜系统，其中，
所述图像用处理器获取通过拍摄所述观察对象来获得的所述内窥镜图像作为所述候补图像的一种，所述观察对象利用由所述光源部发射的白色照明光照射。
13.根据权利要求7至12中任一项所述的内窥镜系统，其中，
所述图像用处理器获取通过拍摄所述观察对象来获得的所述内窥镜图像作为所述候补图像的一种，所述观察对象利用由所述光源部发射的包括预先设定的波段的窄带光的照明光照射。
14.一种图像处理装置的工作方法，其包括：
候补图像获取步骤，获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像；
显示图像控制步骤，进行将基于多种所述候补图像中至少一种所述候补图像的显示图像显示于显示器的控制；
第1分析处理步骤，对多种所述候补图像中预先设定的一种或多种所述候补图像进行第1分析处理；
最佳图像选择步骤，基于通过所述第1分析处理获得的第1分析处理结果，从多种所述候补图像中选择至少一种候补图像作为最佳图像；及
第2分析处理步骤，通过对所述最佳图像进行第2分析处理来获得第2处理结果。
15.一种图像处理装置用程序，其用于使计算机实现如下功能：
候补图像获取功能，获取基于通过使用内窥镜拍摄观察对象来获得的内窥镜图像的多种候补图像；
显示控制功能，进行将基于多种所述候补图像中至少一种所述候补图像的显示图像显示于显示器的控制；
第1分析处理功能，对多种所述候补图像中预先设定的一种或多种所述候补图像进行第1分析处理；
最佳图像选择功能，基于通过所述第1分析处理获得的第1分析处理结果，从多种所述候补图像中选择至少一种候补图像作为最佳图像；及
第2分析处理功能，通过对所述最佳图像进行第2分析处理来获得诊断辅助信息。
CN202180067690.0A 2020-10-02 2021-09-29 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序 Pending CN116322465A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020167816 2020-10-02
JP2020-167816 2020-10-02
PCT/JP2021/035912 WO2022071413A1 (ja) 2020-10-02 2021-09-29 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Publications (1)

Publication Number Publication Date
CN116322465A true CN116322465A (zh) 2023-06-23

Family

ID=80949227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067690.0A Pending CN116322465A (zh) 2020-10-02 2021-09-29 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序

Country Status (5)

Country Link
US (1) US20230237659A1 (zh)
EP (1) EP4223203A4 (zh)
JP (1) JPWO2022071413A1 (zh)
CN (1) CN116322465A (zh)
WO (1) WO2022071413A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091392B (zh) * 2022-08-16 2023-10-20 荣耀终端有限公司 图像处理方法、系统及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP6917183B2 (ja) * 2017-04-21 2021-08-11 池上通信機株式会社 撮像装置
JP6850225B2 (ja) * 2017-09-01 2021-03-31 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
WO2019078204A1 (ja) * 2017-10-17 2019-04-25 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
JP6978604B2 (ja) 2018-07-10 2021-12-08 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2020065685A (ja) 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20230237659A1 (en) 2023-07-27
EP4223203A1 (en) 2023-08-09
JPWO2022071413A1 (zh) 2022-04-07
WO2022071413A1 (ja) 2022-04-07
EP4223203A4 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
US11033175B2 (en) Endoscope system and operation method therefor
US11132795B2 (en) Medical image processing apparatus
JP7531013B2 (ja) 内視鏡システム及び医療画像処理システム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7508559B2 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP2020065685A (ja) 内視鏡システム
CN115607092A (zh) 内窥镜系统、医疗图像处理装置及其工作方法
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
JP7386347B2 (ja) 内視鏡システム及びその作動方法
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US12020350B2 (en) Image processing apparatus
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP7556961B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US11998165B2 (en) Image processing device and method of operating same
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US20240320877A1 (en) Image processing apparatus
WO2022249817A1 (ja) 医療画像処理装置及び内視鏡システム
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
US20220414885A1 (en) Endoscope system, medical image processing device, and operation method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination