CN112105284A - 图像处理装置、内窥镜系统及图像处理方法 - Google Patents

图像处理装置、内窥镜系统及图像处理方法 Download PDF

Info

Publication number
CN112105284A
CN112105284A CN201980030496.8A CN201980030496A CN112105284A CN 112105284 A CN112105284 A CN 112105284A CN 201980030496 A CN201980030496 A CN 201980030496A CN 112105284 A CN112105284 A CN 112105284A
Authority
CN
China
Prior art keywords
image
light
narrow
band
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980030496.8A
Other languages
English (en)
Other versions
CN112105284B (zh
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112105284A publication Critical patent/CN112105284A/zh
Application granted granted Critical
Publication of CN112105284B publication Critical patent/CN112105284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的在于提供一种能够基于特定对象的检测结果通过适当的拍摄模式获取图像的图像处理装置、内窥镜系统及图像处理方法。在本发明的第一方面所涉及的图像处理装置中，基于特定对象的检测结果(是否检测到特定对象，是何种特定对象)，通过第一图像获取模式、或第二图像的获取比率比第一图像获取模式高的第二图像获取模式获取第一图像及第二图像。例如，根据特定对象检测的有无及特定对象的种类，在获取第二图像的必要性较低的情况下，可通过第一图像获取模式获取第一图像及第二图像，相反在获取第二图像的必要性较高的情况下，可通过第二图像的获取比率高的第二图像获取模式获取第一图像及第二图像。

Description

图像处理装置、内窥镜系统及图像处理方法
技术领域
本发明涉及一种图像处理装置、内窥镜系统及图像处理方法，特别是涉及一种通过多个观察光获取图像的图像处理装置、内窥镜系统及图像处理方法。
背景技术
在医疗现场，使用医用器械拍摄的受检体的图像被用于诊断、治疗等，但是“在拍摄的图像中清楚地(或未清楚地)照出被摄体的哪种结构”，取决于拍摄所用的观察光。例如，在短波长成分强的窄波段光等特殊光下拍摄到的图像中，由于对比度会良好地描绘表层的血管，因此适合于病变检测，另一方面，在长波长成分强的特殊光下拍摄到的图像中，对比度会良好地描绘深层的血管。另外，医生进行的观察多是在普通光(白色光)而不是特殊光下进行的。这样，在拍摄中优选照射与图像的使用目的或对象相应的观察光。
作为从使用观察光获取的图像中检测特定的对象的技术，例如已知有专利文献1。在专利文献1中，记载有通过图像识别检测在检查中所使用的药剂和/或器材。另外，作为根据观察对象切换观察光的技术，例如已知有专利文献2。在专利文献2中，记载有根据所观察的层的深度切换窄波段观察光的波长组。在表层观察用的波长组中，观察光的波长较短，在深层观察中，观察光的波长较长。
内窥镜用于观察、处置等各种目的，可从所获取的图像中检测多种对象。例如，有时在观察时检测病变等关注区域，在处置时检测处置器具等器具、器材、或者药剂。在该情况下，哪种观察光是合适的，会因所检测的对象而不同。
作为使用与对象相应的观察光的摄影，有时一边以确定的帧率依次切换多个不同的观察光，一边进行获取与各观察光对应的图像的“多帧拍摄”。例如，可以是在持续观察主要利用普通光获取的图像的同时、以确定的帧率利用特殊光获取图像而高精度地检测关注区域这样的方式。根据这种多帧拍摄，可一边对用户提示常见的普通光图像，一边更高精度地检测关注区域。
以往技术文献
专利文献
专利文献1：日本特开2016-062488号公报
专利文献2：日本特开2012-213550号公报
发明内容
发明要解决的技术课题
本发明的目的在于提供一种能够基于特定对象的检测结果通过适当的拍摄模式获取图像的图像处理装置、内窥镜系统及图像处理方法。
用于解决技术课题的手段
为了达到上述目的，本发明的第一方面所涉及的图像处理装置具备：图像获取部，其获取分别在不同时刻拍摄的第一图像及第二图像，即该图像获取部获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像；模式控制部，其通过第一图像获取模式和第二图像获取模式中的任一模式使图像获取部获取第一图像及第二图像，在第一图像获取模式中，将预定的时间范围内的第二图像的获取帧数与第一图像的获取帧数之比设为第一比而获取第一图像及第二图像，在第二图像获取模式中，将时间范围内的第二图像的获取帧数与第一图像的获取帧数之比设为比第一比高的第二比而获取第一图像及第二图像；特定对象检测部，其从第一图像和/或第二图像中检测特定对象；以及显示控制部，其使第一图像显示于显示装置，模式控制部基于特定对象的检测结果通过第一图像获取模式或第二图像获取模式使图像获取部获取第一图像及第二图像。
在上述的多帧拍摄的情况下，由于观察用图像(例如，普通光图像)的帧率降低了获取关注区域检测用的图像(例如，特殊光图像)的帧量，因此未必优选在所有的检查时间都实施。考虑到这种情况，优选考虑“是否从图像中检测到某些对象，当检测到时是何种对象”来设定拍摄模式(是否进行多帧拍摄、及进行拍摄时的观察光和/或帧率等条件)。但是，在上述专利文献2中虽然根据对象(所观察的层的深度)切换多个观察光来进行拍摄，但是未考虑如何根据从图像中检测到的对象来设定拍摄模式。
针对这样的现有技术，在第一方面中，基于特定对象的检测结果(是否检测到特定对象，是何种特定对象)，通过第一图像获取模式、或第二图像的获取比率比第一图像获取模式高的第二图像获取模式获取第一图像及第二图像。例如，根据特定对象检测的有无及特定对象的种类，在获取第二图像的必要性较低的情况下，可通过第一图像获取模式获取第一图像及第二图像，相反在获取第二图像的必要性较高的情况下，可通过第二图像的获取比率比第一图像获取模式高的第二图像获取模式获取第一图像及第二图像。这样，根据第一方面，可通过基于特定对象的检测结果的适当的拍摄模式获取图像(第一图像、第二图像)。此外，由于在任一图像获取模式中都使第一图像显示于显示装置，因此不管图像获取模式如何，都能够持续通过第一图像进行的观察。
此外，在第一方面及以下各方面中，“特定对象”可以根据对图像的使用目上重要的对象、图像的使用目的而定。例如，作为观察时的特定对象的例子，可列举病变等关注区域(也称为关心区域)，作为处置时的例子，可列举处置器具等器具、器材、或者药剂，但并不限定于这些例子。另外，第一比及第二比的值(与第一、第二图像的获取比率对应)可以根据检查目的或特定对象的种类等进行设定。既可以根据用户的指定进行设定，也可以与用户的指定无关地由图像处理装置进行设定。
在第一方面及以下各方面中，第一观察光及第二观察光可以一者是白色光、另一者是窄波段光，也可以两者是不同的窄波段光。另外，第一观察光及第二观察光可以直接使用从光源出射的光，也可以是对从光源出射的光(例如白色光)应用透射特定波段的滤光片而生成的光。另外，在使用窄波段光作为第一观察光和/或第二观察光的情况下，所使用的窄波段光可以是从窄波段光用光源照射的窄波段光，也可以是对白色光应用透射特定波段的滤光片而生成的窄波段光。在该情况下，可以设为通过依次切换滤光片而在不同的定时照射不同的窄波段光。
此外，在第一方面中，获取利用第一观察光拍摄的第一图像和利用第二观察光拍摄的第二图像。由于在第一图像的拍摄中未使用第二观察光，在第二图像的拍摄中未使用第一观察光，因此不会出现波长未完全分离而导致第一图像、第二图像的画质降低。
此外，在第一方面及以下各方面中，“第一观察光与第二观察光不同”是指，在第一观察光与第二观察光中，波段或分光光谱中的至少一者不相同。另外，可根据需要(例如，根据用户的指示输入，或者根据对第二图像进行处理后的结果)来显示第二图像。另外，第一图像及第二图像可以是拍摄生物体等受检体而得到的医用图像。
在第一方面及以下各方面中，医用图像也称为医疗图像。另外，拍摄医用图像时使用的光源可使用产生白色波段的光、作为白色波段包含多个波长(窄波段光)的光、红外光、激励光的光源。另外，在第一方面中获取的医用图像可以是照射白色波段的光、或作为白色波段的光的多个波段的光而得到的普通光图像，也可以是基于普通光图像获取的、具有特定波段信息的特殊光图像。
作为第二方面所涉及的图像处理装置，在第一方面中，特定对象检测部是检测关注区域的关注区域检测部，当关注区域检测部未检测到关注区域时，模式控制部通过第一图像获取模式使图像获取部获取第一图像及第二图像，当关注区域检测部检测到关注区域时，模式控制部通过第二图像获取模式使图像获取部获取第一图像及第二图像直至满足第一结束条件为止。在第二方面中，未检测到关注区域时，优选尽可能不降低图像显示(第一图像的显示)的帧率，故设为第一图像获取模式，如果检测到关注区域，则设为第二图像的获取比率比第一图像获取模式高的第二图像获取模式。第二图像可用于例如关注区域的测量、分类等。此外，关注区域也称为关心区域。
在第二方面中，关注区域检测部可以对第一图像和/或第二图像进行关注区域的检测处理。检测处理可以对第一图像和/或第二图像的所有帧进行，也可以对一部分帧间歇地进行。此外在第二方面中，作为“第一结束条件”，可使用例如经过设定时间、获取指定张数的静止画面、未检测到关注区域、用户进行的结束指示等，但并不限定于这些例子。
作为第三方面所涉及的图像处理装置，在第二方面中，当满足第一结束条件时，模式控制部通过第一图像获取模式使图像获取部获取第一图像及第二图像。根据第三方面，通过在满足第一结束条件时设为第一图像获取模式，能够防止图像显示(第一图像的显示)的帧率降低。
作为第四方面所涉及的图像处理装置，在第二或第三方面中，还具备分类部，该分类部基于第一图像及第二图像中的至少第二图像对关注区域进行分类。在第四方面中，在拍摄生物体内时，可进行息肉的种类(是肿瘤性还是非肿瘤性)、癌症的阶段诊断、管腔内的位置(拍摄位置)的判断等作为“分类”。
作为第五方面所涉及的图像处理装置，在第四方面中，显示控制部使表示分类的结果的信息显示于显示装置。在第五方面中，信息的显示可通过例如与分类结果相应的文字、数字、图形、记号、色彩等来进行，由此用户能够容易地识别关注区域的信息。此外，信息可以在图像上重叠显示，也可以与图像分开显示。
作为第六方面所涉及的图像处理装置，在第一方面中，特定对象检测部是检测对受检体使用的药剂和/或器材的检测器，当检测器检测到药剂和/或器材时，模式控制部通过第一图像获取模式使图像获取部获取第一图像及第二图像直至满足第二结束条件为止。由于处置时多要求精细的操作，因此并不优选降低图像显示(第一图像的显示)的帧率，另外在进行处置的阶段，可认为确定了病变的鉴别结果，所以可认为也不需要利用第二图像的自动鉴别。因此，在检测到用于处置等的药剂和/或器材时，优选设为第一图像的获取比率比第二图像获取模式变高的第一图像获取模式。
另外，在针对病变散布色素剂或染色剂时，用户会详细检查病变的细微结构，因此并不优选降低图像显示(第一图像的显示)的帧率。因此，在检测到色素剂、染色剂等药剂时，优选设为第一图像的获取比率比第二图像获取模式变高的第一图像获取模式。鉴于这种情况，在第六方面中，当检测器检测到药剂和/或器材时，模式控制部通过第一图像获取模式使图像获取部获取第一图像及第二图像直至满足第二结束条件为止，因此用户能够准确地进行处置、病变的观察。第二结束条件可使用例如经过规定时间、未检测到药剂和/或器材、获取规定张数的静止画面、用户的结束指示等，但并不限定于这些例子。
此外，关于第一方面如上所述，在第二图像获取模式中，第二图像的获取比率比第一图像获取模式高，因此说起第一图像的获取比率，第一图像获取模式比第二图像获取模式变高。
作为第七方面所涉及的图像处理装置，在第一至第六方面的任一项中，模式控制部具有设定第一比和/或第二比的比率设定部。第一比和/或第二比可以根据用户的指定进行设定，也可以与用户的指定无关地由比率设定部进行设定。
作为第八方面所涉及的图像处理装置，在第七方面中，比率设定部将第一比设定为零，将第二比设定为比零高的值。在第八方面中，由于第一比设定为零，因此在第一图像获取模式中多帧拍摄关闭，仅获取第一图像。另一方面，由于第二比设定为比零高的值，因此在第二图像获取模式中通过多帧拍摄获取第一图像及第二图像。
作为第九方面所涉及的图像处理装置，在第一至第八方面的任一项中，还具备：参数计算部，其计算使第一图像与第二图像位置匹配的参数；以及图像生成部，其将参数应用于第一图像并生成位置匹配第一图像，显示控制部在获取到第二图像的定时使位置匹配第一图像显示于显示装置。在第九方面中，由于将进行位置匹配的参数应用于第一图像并生成位置匹配第一图像，因此能够防止第一图像的帧率实质性降低，另外能够在帧间(第一图像的帧与位置匹配第一图像的帧间)减小被摄体的色调及结构的变化。此外，在第九方面及以下各方面中，“位置匹配第一图像”是指“通过对第一图像应用位置匹配的参数而生成的、第二图像拍摄时刻中的第一图像”。
在第九方面中，参数计算部可以计算关于第一图像与第二图像的相对移动、旋转及变形中的至少一者的参数作为参数。“变形”可包括放大、缩小。另外，参数计算部也可以计算进行第一图像与第二图像的投影变换的参数作为参数，图像生成部在第一图像中实施基于计算出的参数的投影变换而生成位置匹配第一图像。
作为第十方面所涉及的图像处理装置，在第九方面中，参数计算部计算使第二图像和在第二图像的拍摄时刻之前且与第二图像的拍摄时刻之间的时间差为阈值以下的拍摄时刻拍摄的第一图像位置匹配的参数。在使用在第二图像的拍摄时刻之后的拍摄时刻拍摄的第一图像的情况下，由于拍摄时刻的时间差而存在位置匹配第一图像的生成及显示发生延迟的可能性。另外，当拍摄时刻的时间差超过阈值时，由于被摄体的移动等而引起拍摄范围、拍摄角度等发生变化，存在位置匹配精度降低的可能性。鉴于这种情况，在第十方面中，获取在第二图像的拍摄时刻之前且与第二图像的拍摄时刻之间的时间差为阈值以下的拍摄时刻拍摄的第一图像，因此能够生成被摄体的结构变化比第一图像少的位置匹配第一图像。
作为第十一方面所涉及的图像处理装置，在第一至第十方面的任一项中，图像获取部获取将中心波长比第一观察光短的光作为第二观察光而拍摄到的图像，来作为第二图像。摄于图像中的被摄体的结构因观察光的波长而不同，因此在对病变等细微结构进行拍摄、检测时，优选使用波长短的观察光。在第十一方面中，能够在通过显示第一图像持续进行观察的同时，使用第二图像高精度地进行细微结构的检测等。
为了达到上述目的，本发明的第十二方面所涉及的内窥镜系统具备：第一至第十一方面中任一项所涉及的图像处理装置；显示装置；内窥镜，其具有插入部和手边操作部，该插入部插入受检体内，且具有前端硬质部、与前端硬质部的基端侧连接的弯曲部以及与弯曲部的基端侧连接的软性部，该手边操作部与插入部的基端侧连接；光源装置，其向受检体照射第一观察光或第二观察光；以及摄像部，其具有使受检体的光学像成像的摄影透镜和通过摄影透镜将光学像成像的摄像元件，摄影透镜设于前端硬质部。第十二方面所涉及的内窥镜系统由于具备第一至第十一方面中任一项所涉及的图像处理装置，因此可通过基于特定对象的检测结果的适当的拍摄模式(第一图像获取模式或第二图像获取模式)获取图像。另外，由于在任一图像获取模式中都使第一图像显示于显示装置，因此不论图像获取模式如何，都能够持续通过第一图像进行的观察。
另外，第十二方面所涉及的内窥镜系统由于具备第一至第十一方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果(能够基于特定对象的检测结果适当地设定第一图像获取模式或第二图像获取模式)。即，能够防止直至第二图像的必要性较低时设定第二图像获取模式而造成第二图像的获取比率升高及由于观察光的照射与非照射的重复增加而导致光源无益地提前劣化。
在第十二方面中，可以直接使用从光源出射的光作为观察光，也可以将对从光源出射的光应用透射特定波段的滤光片而生成的光作为观察光。例如，在使用窄波段光作为第一观察光和/或第二观察光的情况下，可以使用从窄波段光用光源照射的光作为观察光，也可以将对白色光应用透射特定波段的滤光片而生成的光作为观察光。在该情况下，可以通过依次切换应用于白色光的滤光片，在不同的定时照射不同的窄波段光。
作为第十三方面所涉及的内窥镜系统，在第十二方面中，光源装置向受检体照射包含红色、蓝色及绿色的波段的光的白色光作为第一观察光，向受检体照射与红色、蓝色及绿色中的任一种光的波段对应的窄波段光作为第二观察光。根据第十三方面，可在显示利用白色光(第一观察光)拍摄的第一图像进行观察的同时，使用利用窄波段光(第二观察光)拍摄的第二图像进行关注区域的检测、分类等。此外，也可以使用与紫色及红外的波段对应的窄波段光。
作为第十四方面所涉及的内窥镜系统，在第十三方面中，光源装置具备照射作为激励光的白色光用激光的白色光用激光光源、通过照射白色光用激光而发出作为第一观察光的白色光的荧光体、以及照射作为第二观察光的窄波段光的窄波段光用激光光源。当为了获得作为第一观察光的白色光而使用激励光用的激光光源时，若第二图像的获取比率较高，则第一观察光的照射与非照射的重复增多，因此存在白色光用激光光源的激励与非激励的重复增多且光源提前劣化的可能性。但是，第十四方面所涉及的内窥镜系统由于具备第一至第十一方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果(能够基于特定对象的检测结果适当地设定第一图像获取模式或第二图像获取模式)。即，能够防止直至第二图像的必要性较低时(例如，未检测到特定对象时)设定第二图像获取模式而造成第二图像的获取比率升高及由于第一观察光的照射与非照射的重复增加而导致光源无益地提前劣化。
作为第十五方面所涉及的内窥镜系统，在第十三方面中，光源装置具备发出白色光的白色光源、透射白色光的白色光滤光片、透射白色光中窄波段光的成分的窄波段光滤光片、以及在白色光源所发出的白色光的光路上插入白色光滤光片或窄波段光滤光片的第一滤光片切换控制部。在切换滤光片而生成多种观察光(白色光、窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性，但由于第十五方面所涉及的内窥镜系统具备第一至第十一方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果(能够基于特定对象的检测结果适当地设定第一图像获取模式或第二图像获取模式)。即，能够减少直至第二图像的必要性较低时(例如，未检测到特定对象时)设定第二图像获取模式且光源或滤光片的切换次数增加而导致第一图像和/或第二图像失去色彩平衡的程度。
作为第十六方面所涉及的内窥镜系统，在第十二方面中，光源装置向受检体照射与红色、蓝色及绿色中的任一种光的波段对应的第一窄波段光作为第一观察光，向受检体照射与红色、蓝色及绿色中的任一种光的波段对应且波段不同于第一窄波段光的第二窄波段光作为第二观察光。第十六方面规定了使用多个窄波段光的方面，可使用例如波长不同的多个蓝色窄波段光、蓝色窄波段光与绿色窄波段光、波长不同的多个红色窄波段光等的组合，但是观察光并不限定于这些组合。此外，也可以使用与紫色及红外的波段对应的窄波段光。
作为第十七方面所涉及的内窥镜系统，在第十六方面中，光源装置具备：白色光源，其发出包含红色、蓝色及绿色的波段的光的白色光；第一窄波段光滤光片，其透射白色光中第一窄波段光的成分；第二窄波段光滤光片，其透射白色光中第二窄波段光的成分；以及第二滤光片切换控制部，其在白色光源所发出的白色光的光路上插入第一窄波段光滤光片或第二窄波段光滤光片。在利用第二滤光片切换控制部切换滤光片而生成多种观察光(第一窄波段光、第二窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于第十七方面所涉及的内窥镜系统具备第一至第十一方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果(能够基于特定对象的检测结果适当地设定第一图像获取模式或第二图像获取模式)。即，能够减少直至第二图像的必要性较低时(例如，未检测到特定对象时)设定第二图像获取模式且光源或滤光片的切换次数增加而导致第一图像和/或第二图像失去色彩平衡的程度。
为了达到上述目的，本发明的第十八方面所涉及的图像处理方法包括：图像获取工序，获取分别在不同时刻拍摄的第一图像及第二图像，即在该图像获取工序中，获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像；模式控制工序，通过第一图像获取模式和第二图像获取模式中的任一模式在图像获取工序中获取第一图像及第二图像，在第一图像获取模式中，将预定的时间范围内的第二图像的获取帧数与第一图像的获取帧数之比设为第一比而获取第一图像及第二图像，在第二图像获取模式中，将时间范围内的第二图像的获取帧数与第一图像的获取帧数之比设为比第一比高的第二比而获取第一图像及第二图像；以及特定对象检测工序，从第一图像和/或第二图像中检测特定对象，在模式控制工序中，基于特定对象的检测结果通过第一图像获取模式或第二图像获取模式在图像获取工序中获取第一图像及第二图像。根据第十八方面，能够与第一方面同样地基于特定对象的检测结果通过适当的拍摄模式获取图像(第一图像、第二图像)。
此外，对于第十八方面所涉及的图像处理方法，可以进一步包括与第二至第十一方面同样的结构。另外，也可列举使内窥镜系统执行这些方面的图像处理方法的程序、以及记录了该程序的计算机可读取的代码的非暂时性记录介质作为本发明的一方面。
发明效果
如以上所说明，根据本发明的图像处理装置、内窥镜系统及图像处理方法，能够基于特定对象的检测结果通过适当的拍摄模式获取图像。
附图说明
图1是第一实施方式所涉及的内窥镜系统的外观图。
图2是表示内窥镜系统的结构的框图。
图3是表示内窥镜的前端硬质部的结构的图。
图4是表示图像处理部的功能结构的图。
图5是表示检测到关注区域时的处理的流程图。
图6是表示检测到关注区域时的处理的流程图(接图5)。
图7是表示检测到关注区域时的处理的流程图(接图6)。
图8是表示第一图像及第二图像的获取图案的例子的图。
图9是表示第一图像及第二图像的获取图案的例子的图。
图10是表示位置匹配第一图像的处理的图。
图11是表示第一图像及第二图像的例子的图。
图12是表示对共同波长成分进行加权后的第一图像的例子的图。
图13是表示位置匹配第一图像的例子的图。
图14是表示关于关注区域的信息的显示例的图。
图15是表示第一图像及第二图像的显示例的图。
图16是表示检测到药剂和/或器材时的处理的流程图。
图17是表示检测到药剂和/或器材时的处理的流程图(接图16)。
图18是表示检测到药剂和/或器材时的处理的流程图(接图17)。
图19是表示光源的结构例的图。
图20是表示光源的另一结构例的图。
图21是表示旋转滤光片的例子的图。
图22是表示旋转滤光片的另一例的图。
具体实施方式
以下，参照附图，对本发明所涉及的图像处理装置、内窥镜系统及图像处理方法的实施方式进行详细说明。
<第一实施方式>
图1是表示第一实施方式所涉及的内窥镜系统10(图像处理装置、诊断支援装置、内窥镜系统、医疗图像处理装置)的外观图，图2是表示内窥镜系统10的主要结构的框图。如图1、2所示，内窥镜系统10由内窥镜主体100(内窥镜)、处理器200(处理器、图像处理装置、医疗图像处理装置)、光源装置300(光源装置)及监视器400(示装置)构成。
<内窥镜主体的结构>
内窥镜主体100具备手边操作部102(操作部)和与该手边操作部102连接设置的插入部104(插入部)。施术者(用户)把持操作手边操作部102，将插入部104插入受检体(生物体)的体内进行观察。另外，手边操作部102上设有送气送水按钮141、吸引按钮142、被分配有各种功能的功能按钮143以及接受拍摄指示操作的拍摄按钮144。插入部104从手边操作部102侧依次由软性部112(软性部)、弯曲部114(弯曲部)、前端硬质部116(前端硬质部)构成。即，弯曲部114连接于前端硬质部116的基端侧，软性部112连接于弯曲部114的基端侧。手边操作部102连接于插入部104的基端侧。用户可通过操作手边操作部102来使弯曲部114弯曲，从而上下左右改变前端硬质部116的朝向。前端硬质部116中设有摄影光学系统130(摄像部)、照明部123、钳道口126等(参照图1～图3)。
在观察、处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光和/或窄波段光(红色窄波段光、绿色窄波段光及蓝色窄波段光中的一个以上)。另外，可通过送气送水按钮141的操作从未图示的送水喷嘴排出清洗水，对摄影光学系统130的摄影透镜132(摄影透镜)及照明用透镜123A、123B进行清洗。在前端硬质部116开口的钳道126中连通有未图示的管路，在该管路中插通用于摘除肿瘤等的未图示的处置器具，可适当地进行插拔而对受检体实施必要的处置。
如图1～图3所示，在前端硬质部116的前端侧端面116A上配设有摄影透镜132(摄像部)。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型摄像元件134(摄像元件、摄像部)、驱动电路136、AFE138(AFE：Analog Front End)，通过这些构成要素输出图像信号。摄像元件134是彩色摄像元件，具备由通过特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)呈矩阵状配置(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红(R)、绿(G)或蓝(B)的彩色滤光片及光电转换部(光电二极管等)。摄影光学系统130既能够根据红、绿、蓝三种颜色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意一种颜色或两种颜色的像素信号生成图像。此外，在第一实施方式中对摄像元件134是CMOS型的摄像元件的情况进行了说明，但摄像元件134也可以是CCD(Charge Coupled Device)型。此外，摄像元件134的各像素还可以具备与紫色光源对应的紫色彩色滤光片和/或与红外光源对应的红外用滤光片。
受检体(肿瘤部、病变部)的光学像通过摄影透镜132成像于摄像元件134的受光面(摄像面)并转换为电信号，经由未图示的信号电缆输出到处理器200并转换为视频信号。由此，在连接于处理器200的监视器400上显示观察图像。
另外，在前端硬质部116的前端侧端面116A上，与摄影透镜132相邻设有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B的里侧配设有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置在光导连接器108内。
<光源装置的结构>
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光向光导170入射。光源310具备分别照射红色、绿色、蓝色的窄波段光的红色光源310R、绿色光源310G、蓝色光源310B，能够照射红色、绿色及蓝色的窄波段光。光源310照射的观察光的照度由光源控制部350控制，可根据需要降低观察光的照度及停止照明。
光源310可通过任意的组合发出红色、绿色、蓝色的窄波段光。例如，既能够同时发出红色、绿色、蓝色的窄波段光而照射白色光(普通光)作为观察光，也能够通过发出任一种或两种光而照射窄波段光(特殊光)。光源310还可以具备照射紫色光(窄波段光的一例)的紫色光源和/或照射红外光(窄波段光的一例)的红外光源。另外，通过照射白色光的光源、和透射白色光及各窄波段光的滤光片，也可以照射白色光或窄波段光作为观察光(例如，参照图20～22)。
<光源的波段>
光源310可以是产生白色波段的光或作为白色波段的光的多个波段的光的光源，也可以是产生比白色的波段窄的特定波段的光的光源。特定波段可以是可见范围的蓝色波段或绿色波段、或者可见范围的红色波段。当特定波段是可见范围的蓝色波段或绿色波段时，可以包含390nm以上450nm以下或530nm以上550nm以下的波段，而且，在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。另外，当特定波段是可见范围的红色波段时，可以包含585nm以上615nm以下或610nm以上730nm以下的波段，而且，特定波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
上述的特定波段的光也可以包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段，而且，在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段具有峰波长。在该情况下，特定波段可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm的波段，而且，在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。
另外，光源310所产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波段，而且，在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的医用图像(生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、观察目的等来构成，另外在观察时，优选根据被摄体的种类、观察目的等组合和/或切换观察光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆板状的滤光片(旋转彩色滤光片)旋转，切换所照射的光的波长(参照图20～22)。
另外，实施本发明时所使用的摄像元件并不限定于像摄像元件134那样针对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换观察光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在(蓝色、绿色、红色)之间依次切换出射的观察光的波长，也可以照射宽波段光(白色光)并通过旋转彩色滤光片(红色、绿色、蓝色等)切换所出射的观察光的波长。另外，也可以照射一个或多个窄波段光(绿色、蓝色等)并通过旋转彩色滤光片(绿色、蓝色等)切换所出射的观察光的波长。窄波段光可以是波长不同的两种波长以上的红外光(第一窄波段光、第二窄波段光)。
通过将光导连接器108(参照图1)连结于光源装置300，从光源装置300照射的观察光经由光导170传递到照明用透镜123A、123B，并从照明用透镜123A、123B向观察范围照射。
<处理器的结构>
基于图2说明处理器200的结构。处理器200将从内窥镜主体100输出的图像信号经由图像输入控制器202输入，通过图像处理部204进行必要的图像处理并经由视频输出部206输出。由此在监视器400(显示装置)上显示观察图像(生物体内图像)。这些处理在CPU210(CPU：Central Processing Unit)的控制下进行。即，CPU210具有作为图像获取部、模式控制部、特定对象检测部、关注区域检测部、分类部、显示控制部、检测器、比率设定部、参数计算部、图像生成部的功能。通信控制部205进行与未图示的医院内系统(HIS：Hospital Information System)、医院内LAN(Local Area Network)等之间的通信控制。在记录部207中，记录被摄体的图像(医用图像、拍摄图像)、表示关注区域的检测和/或分类结果的信息等。声音处理部209通过CPU210及图像处理部204的控制，从扬声器209A输出与关注区域的检测和/或分类结果相应的消息(声音)等。
另外，ROM211(ROM：Read Only Memory)是非易失性的存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204(图像处理装置、计算机)执行本发明所涉及的图像处理方法的程序的计算机可读取的代码。RAM212(RAM：Random Access Memory)是各种处理时的暂时存储用的存储元件，另外也能够用作获取图像时的缓冲器。
<图像处理部的功能>
图4是表示图像处理部204(医疗图像获取部、医疗图像分析处理部、医疗图像分析结果获取部)的功能结构的图。图像处理部204具有图像获取部204A(图像获取部)、模式控制部204B(模式控制部)、关注区域检测部204C(特定对象检测部、关注区域检测部)、分类部204D(分类部)、显示控制部204E(显示控制部)、检测器204F(特定对象检测部、检测器)、比率设定部204G(比率设定部)、参数计算部204H(参数计算部)及图像生成部204I(图像生成部)。关注区域检测部204C、检测器204F及分类部204D也作为医疗图像分析处理部进行动作。
另外，图像处理部204也可以具备基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像获取具有特定波段的信息的特殊光图像的特殊光图像获取部。在该情况下，特定波段的信号可通过基于普通光图像所包含的RGB(R：红、G：绿、B：蓝)或者CMY(C：蓝绿、M：品红、Y：黄)的颜色信息的运算来获得。
另外，图像处理部204也可以具备通过基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像和照射特定波段的光而得到的特殊光图像中的至少一者的运算来生成特征量图像的特征量图像生成部，获取并显示作为医用图像(医疗图像)的特征量图像。
关于图像处理部204的基于这些功能的处理，后面进行详述。此外，基于这些功能的处理在CPU210的控制下进行。
上述的图像处理部204的功能可使用各种处理器(processor)来实现。各种处理器中包括例如执行软件(程序)来实现各种功能的通用处理器即CPU(Central ProcessingUnit)。另外，在上述的各种处理器中，也包括专门用于图像处理的处理器即GPU(GraphicsProcessing Unit)、在制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编辑逻辑器件(Programmable Logic Device：PLD)。而且，具有为了执行ASIC(Application Specific Integrated Circuit)等的特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。
各部的功能可以由一个处理器来实现，也可以由同种或不同种类的多个处理器(例如，多个FPGA、或者CPU与FPGA的组合、或者CPU与GPU的组合)来实现。另外，也可以由一个处理器来实现多个功能。作为由一个处理器配置多个功能的例子，第一，像图像处理装置主体、服务器等的计算机所代表的那样，有通过一个以上的CPU与软件的组合构成一个处理器、且该处理器作为多个功能来实现的方式。第二，像片上系统(System On Chip：SoC)等所代表的那样，有使用通过一个IC(Integrated Circuit)芯片实现整个系统功能的处理器的方式。这样，各种功能使用一个以上的上述各种处理器作为硬件结构来配置。而且，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。
在上述的处理器或电路执行软件(程序)时，将所执行的软件的处理器(计算机)可读取的代码预先存储在ROM(Read Only Memory)等非暂时性记录介质中，处理器参照该软件。预先存储在非暂时性记录介质中的软件包括用于执行图像的输入及被摄体的测量的程序。也可以将代码不是记录在ROM中，而是记录在各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用软件进行处理时，例如RAM(Random Access Memory)被用作暂时性存储区域，另外也可参照例如存储在未图示的EEPROM(Electronically Erasable andProgrammable Read Only Memory)中的数据。
<操作部的结构>
处理器200具备操作部208。操作部208具备未图示的操作模式设定开关等，能够设定观察光的波长(是白色光还是窄波段光，是窄波段光时使用哪种窄波段光)。另外，操作部208包括未图示的键盘及鼠标，用户能够经由这些器件进行拍摄条件及显示条件的设定操作。这些设定操作可以经由未图示的脚踏开关来进行，也可以通过声音、视线、手势等来进行。此外，操作模式的设定可以如上所述对手边操作部102的功能按钮143(参照图1)分配操作模式设定功能来进行。另外，用户可经由操作部208进行第一图像获取模式中的“第一比”及第二图像获取模式中的“第二比”的设定操作。而且，用户可经由操作部208进行第一图像获取模式、第二图像获取模式的结束条件设定(第一结束条件、第二结束条件：经过时间、静止画面获取张数等的设定)、结束指示。
<记录部的结构>
记录部207(记录装置)包括各种光磁记录介质、半导体存储器等非暂时性记录介质及这些记录介质的控制部而构成，将拍摄图像(第一图像、第二图像)、位置匹配第一图像、表示关注区域的信息、表示关注区域的分类结果、药剂和/或器材的检测结果的信息等相互关联进行记录。这些图像及信息通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示于监视器400。
除上述图像以外，也可以将关于包含在医用图像(医疗图像)中的作为应关注区域的关注区域(关心区域)和有无应关注方面中的任一者或两者的分析结果记录在记录部207(记录装置)中。在该情况下，图像处理部204(医疗图像分析处理部、医疗图像分析结果获取部)能够从记录部207中获取这些分析结果并将其显示于监视器400。
<显示装置的结构>
监视器400(显示装置)通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示第一图像、第二图像、位置匹配第一图像、拍摄条件设定画面、显示条件设定画面、表示关注区域的检测结果的信息、表示关注区域的分类结果的信息、表示药剂和/或器材的检测结果的信息等。另外，监视器400具有用于进行拍摄条件设定操作和/或显示条件设定操作的未图示的触摸屏。
<图像处理方法>
<特定对象为关注区域时的处理>
对使用了上述结构的内窥镜系统10的图像处理方法进行说明。图5～7是表示第一实施方式所涉及的图像处理方法(特定对象为关注区域时)的处理的流程图。
<第一图像及第二图像的观察光>
在第一实施方式中，对获取以白色光为观察光(第一观察光)的白色光图像(普通图像)来作为第一图像、获取以作为窄波段光的蓝色光(中心波长比第一观察光短)为观察光(第二观察光)的蓝色光图像(特殊光图像)来作为第二图像的情况进行了说明。但是，在本发明中，观察光并不限定于这种组合。例如，第二图像也可以是获取了作为窄波段光的绿色光、红色光、红外光、紫色光等来作为观察光的特殊光图像。另外，也可以将第一观察光、第二观察光两者作为窄波段光(例如蓝色光与绿色光、或者波长不同的红色光等的第一窄波段光及第二窄波段光)获取第一图像及第二图像。此外，在第一实施方式中，设为在一帧中仅照射第一观察光或仅照射第二观察光来拍摄第一图像、第二图像。
<第一图像及第二图像的获取图案>
图8、9是表示第一实施方式中的第一图像及第二图像的获取图案的例子的图。这些附图示出了沿着时间轴t从附图的左侧向右侧获取图像的情形。图8的(a)部分示出了以例如每秒30帧、60帧等指定的帧率(帧间隔：Δt)连续5帧照射第一观察光(白色光、普通光)而拍摄5张白色光图像(图像501～505、507～511)、接下来以一帧照射第二观察光(蓝色窄波段光、特殊光)而拍摄一张蓝色光图像(图像506、512)的图案。在该图案中，白色光图像和蓝色光图像是分别在不同时刻拍摄的图像。图8的(b)部分示出了连续两帧照射第一观察光(白色光、普通光)而拍摄两张白色光图像(图像521、522、524、525、527、528、530、531)、接下来以一帧照射第二观察光(蓝色窄波段光、特殊光)而拍摄一张蓝色光图像(图像523、526、529、532)的图案。在该图案中，白色光图像和蓝色光图像也是分别在不同时刻拍摄的图像。图8的(c)部分示出了交替照射第一观察光(白色光、普通光)和第二观察光(蓝色窄波段光、特殊光)的图案，由此可交替得到白色光图像(图像541、543、545、547、549、551)和蓝色光图像(图像542、544、546、548、550、552)。
第一图像获取模式及第二图像获取模式除了图8所示的图案以外，还能够从也包括第二图像的获取比率不同的其他图案的图案中进行选择。其中，使第二图像获取模式中的第二图像的获取比率(第二比：预定的时间范围内的第二图像的获取帧数与第一图像的获取帧数之比)比第一图像获取模式中的第二图像的获取比率(第一比：预定的时间范围内的第二图像的获取帧数与第一图像的获取帧数之比)高。例如，可将图8的(a)部分所示的图案设为第一图像获取模式，将图8的(b)部分所示的图案设为第二图像获取模式。
在该情况下，在图8的(a)部分所示的图案中，时间范围T内的第二图像的获取帧数与第一图像的获取帧数之比(第一比)为五分之一(5∶1)，与此相对，在图8的(b)部分所示的图案中，时间范围T内的第二图像的获取帧数与第一图像的获取帧数之比(第二比)为二分之一(2∶1)。这种第一图像获取模式及第二图像获取模式中的拍摄图案的设定(具体而言，为第一比和/或第二比)可根据例如用户经由操作部208的操作由比率设定部204G来进行。此外，第二图像的获取比率可根据用户的操作等进行设定，但对在所有的帧中都获取第二图像而根本不获取第一图像的图案不进行设定。
此外，关于第一图像获取模式，除了如图8那样照射第一观察光(白色光、普通光)及第二观察光(蓝色窄波段光、特殊光)的图案以外，还可采用如图9那样仅照射第一观察光的图案(由于不获取第二图像，因此无法设为第二图像获取模式)。在图9所示的图案的情况下，时间范围T内的第二图像的获取帧数与第一图像的获取帧数之比(第一比)为零(5∶0)。在第一图像获取模式中使用图9所示的图案时，如果在第二图像获取模式中使用例如图8所示的任一图案，则第二比会高于第一比。
<特定对象为关注区域时的处理>
图5～7示出了特定对象为关注区域时的处理，在该情况下，关注区域检测部204C(特定对象检测部)检测作为特定对象的关注区域。模式控制部204B在初始状态(未检测到关注区域的状态)下将图像获取部204A设定为第一图像获取模式(步骤S100：模式控制工序)，并使第一图像(白色光图像、普通图像)的显示帧率不会降低。
<第一图像获取模式中的图像获取>
<关于第一图像的处理>
图像获取部204A通过第一图像获取模式(设为图8的(a)部分所示的图案)控制光源控制部350使红色光源310R、绿色光源310G及蓝色光源310B发光而对受检体照射白色光(第一观察光)(步骤S102：拍摄工序、图像获取工序)，并通过摄影光学系统130、摄像元件134等拍摄受检体的图像(第一图像、普通光图像)(步骤S104：拍摄工序、图像获取工序)。拍摄到的图像经由图像输入控制器202由图像获取部204A获取(输入)(步骤S104：图像获取工序)。
<关注区域的检测>
关注区域检测部204C(特定对象检测部)从获取到的第一图像中检测关注区域(步骤S106：特定对象检测工序、关注区域检测工序)。关注区域的检测可通过关注区域检测部204C具备例如公知的CAD系统(CAD：Computer Aided Diagnosis)来进行。具体而言，例如可基于医用图像的像素的特征量，提取关注区域(作为应关注区域的关注区域)及关注区域中有无对象(应关注对象)。在该情况下，关注区域检测部204C将检测对象图像分割为例如多个矩形区域，将分割的各矩形区域设定为局部区域。关注区域检测部204C按照检测对象图像的每个局部区域计算局部区域内的像素的特征量(例如色相)，从各局部区域中确定具有特定色相的局部区域作为关注区域。此外，在步骤S106中，“检测关注区域”是指对图像实施检测处理。
<基于深度学习算法的关注区域的检测>
关注区域的检测可以利用深度学习的结果来进行。例如，每次在记录部207中记录新的图像时(或每次拍摄新的图像时)，关注区域检测部204C基于深度学习算法进行采用了深度学习(Deep Learning)的图像分析处理，从而分析图像中是否包含关注区域。深度学习算法是公知的卷积神经网络(Convolutional Neural Network)的方法、即经由卷积层及池化层的重复、全连接层以及输出层识别图像中是否包含关注区域的算法。在采用了深度学习的图像分析处理中，也可以使用给出标注了“是关注区域”或者“不是关注区域”这样的标签的图像作为教师数据而生成的学习器。也可以根据用户经由操作部208及监视器400的操作来设定“是否进行这种机器学习”和/或“是否利用学习结果”。
作为在步骤S106中检测的关注区域(关心区域)的例子，可列举息肉、癌、大肠憩室、炎症、治疗疤痕(EMR瘢痕(EMR：Endoscopic Mucosal Resection)、ESD瘢痕(ESD：Endoscopic Submucosal Dissection)、夹持部位等)、出血点、穿孔、血管异型性等。
<第一图像的显示及记录>
关注区域检测部204C及显示控制部204E进行关于白色光图像(第一图像)的输出(显示、记录)(步骤S108：显示控制工序、记录工序)。除通过显示控制部204E、关注区域检测部204C及分类部204D将白色光图像(第一图像)、表示检测结果的信息、表示分类结果的信息显示于监视器400(显示控制工序)以外，还可通过将这些信息记录于记录部207(记录工序)等来进行输出。关注区域检测部204C及分类部204D也可以通过声音处理部209及扬声器209A利用声音来通知表示关注区域的检测结果的信息。此外，后面说明关于第一图像的显示例。另外，也可以在连续地记录第一图像(及后述的位置匹配第一图像)作为动态图像的同时，记录检测到关注区域的帧作为静止图像。
关注区域检测部204C判断是否检测到关注区域(步骤S110)。检测到关注区域时进入步骤S112，分类部204D对关注区域进行分类，进入步骤S130，模式控制部204B将图像获取部204A设定为第二图像获取模式。未检测到关注区域时(在步骤S110中为“否”)进入步骤S114，图像获取部204A重复M帧(在步骤S114中为“否”的期间)的第一图像获取处理。在第一图像获取模式为图8的(a)部分所示的图案的情况下，M＝5。如果M帧的第一图像获取处理结束，则进入步骤S116。
<关注区域的分类>
检测到关注区域时，分类部204D对检测到的关注区域进行分类(步骤S112：关注区域分类工序)。作为分类的例子，可列举息肉的分类(是肿瘤性还是非肿瘤性)、癌症的阶段诊断、管腔内的当前位置(如果是上部，则为咽喉、食管、胃、十二指肠等，如果是下部，则为盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠等)等。在这些分类中，也可与检测时同样地利用机器学习(深度学习)的结果。此外，关注区域的分类可以与检测一体进行。此外，当第一观察光为白色光、第二观察光为蓝色窄波段光时，分类部204D优选基于第一图像及第二图像中的至少第二图像对关注区域进行分类。这是因为，在上述例子中，第二图像是利用中心波长比第一观察光(白色光)短的蓝色窄波段光拍摄的，适合对病变等细微结构进行分类。此外，基于哪一种图像对关注区域进行分类，可以基于用户经由操作部208的操作进行设定，也可以与用户的操作无关地由分类部204D进行设定。
关于检测到病变等关注区域的图像(以下，称为“病变图像”)，也可以对发现了特定病变(患病率低的病变、检测困难症例等)的检查进行保存(记录)。例如，在病变尺寸较小时，或者在病变的形状平坦几乎没有隆起时，可保存病变图像(静止图像、动态图像)作为“检测困难的病变”。另外，例如进行病理活检时(在该情况下，可认为“难以通过内窥镜检查判断进行活检的病变”)，或者病理活检的结果与内窥镜检查不一致时(例如，在内窥镜检查中为“疑似腺瘤”并进行了活检，但病理结果却为增生性息肉等)，可保存病变图像作为“诊断困难的病变”。进而，在输入病变图像并通过机器学习构建学习器时，可以根据学习器的利用目的来保存病变图像。例如，可考虑在构建以筛选中的病变检测(拾取)为目的的学习器时仅保存筛选目的的检查(ESD(Endoscopic Submucosal Dissection：内窥镜粘膜下层剥离术)等手法视频在机器学习等中的利用价值较低)、在构建以癌症的阶段判别(粘膜内癌、晚期癌等)为目的的学习器时仅保存与ESD、EMR(EMR：Endoscopic Mucosal Resection)等治疗目的的检查相关的病变图像等。
<关于第二图像的处理>
在第一图像获取模式中，第一比不是零时(图像获取图案为例如图8的任一者所示的图案时)，在进行了M帧关于第一图像的处理之后(在步骤S114中为“是”)，进行关于第二图像的处理。步骤S116～步骤S122中的关于第二图像的处理除了观察光的波长不同(在上述例子中，第一观察光为白色光，第二观察光为蓝色窄波段光)以外，其他皆与上述步骤S102～步骤S108中的关于第一图像的处理同样。具体而言，步骤S116～步骤S122的处理(图像获取工序、模式控制工序、特定对象检测工序、关注区域分类工序、输出工序)可通过图像处理部204的各部(图像获取部204A、关注区域检测部204C、分类部204D等)的控制来进行。
第二观察光为蓝色光(中心波长比白色光短)时，由于在第二图像中以高对比度描绘了细微的血管等的结构，因此能够高精度地对关注区域进行检测及分类，可进行输入学习器并分类、或者记录为教师用图像等的利用。因此，分类部204D优选基于第一图像及第二图像中的至少第二图像对关注区域进行分类。此外，在第一实施方式中，由于第一图像(普通图像)持续显示于监视器400，因此第二图像、或者关于第二图像的检测结果及分类结果可以根据需要(例如存在用户经由操作部208的指示输入时、检测到满足指定条件的关注区域(特定对象)时等)进行输出(显示、记录等)(步骤S122；后述的步骤S150、S320、S344也是同样的)。
此外，在图5～7的流程图中，记载了关于在第一图像获取模式中通过图8的(a)部分所示的图案获取第一图像及第二图像时(第一比不是零时)的处理。在第一图像获取模式中第一比是零时(图9所示的图案时)，不进行与第二图像相关的处理(步骤S114～步骤S128)而重复步骤S102至步骤S110的处理，从第一图像中检测到关注区域时(在步骤S110中为“是”)，转入第二图像模式(步骤S130)。
<防止第一图像的帧率降低>
在第一实施方式中，为了防止由波长分离引起的画质降低而仅照射第一观察光或第二观察光作为观察光而不同时照射第一观察光和第二观察光，因此在第二观察光的照射定时无法获得第一图像。例如，在通过图8的(a)部分所示的图案获取第一图像及第二图像时，在图像506、512(第二图像)的获取定时无法获取第一图像。因此，在第一实施方式中，通过像以下这样生成并显示“位置匹配第一图像”(“通过对第一图像应用位置匹配的参数而生成的、第二图像拍摄时刻中的第一图像”)，防止了关于第一图像的实质的帧率降低(步骤S124)。关于位置匹配第一图像的生成处理，后面详述。
在步骤S126中，关注区域检测部204C判断是否从第二图像中检测到关注区域。如果判断是肯定的，则分类部204D对关注区域进行分类(步骤S128)，如果判断是否定的，则返回步骤S102并重复第一图像获取模式中的处理。此外，关于第一图像中的分类(步骤S112)如上所述，在第二图像是利用中心波长比第一观察光(白色光)短的蓝色窄波段光拍摄得到的情况下，适合对病变等细微的结构进行分类，因此优选至少基于第二图像对关注区域进行分类。
<第二图像获取模式中的图像获取>
当关注区域检测部204C(特定对象检测部、关注区域检测部)检测到关注区域时，模式控制部204B通过第二图像获取模式使图像获取部204A获取第一图像及第二图像直至满足第一结束条件(直至步骤S154的判断成为“是”)，重复步骤S132～步骤S154的处理。在第二图像获取模式中，将预定时间范围内的第二图像的获取帧数与第一图像的获取帧数之比设为比第一比高的第二比而获取第一图像及第二图像。在第一图像获取模式为图8的(a)部分所示的拍摄图案(第一比：1/5)的情况下，第二图像获取模式可设为例如图8的(b)部分(第二比：1/2)或(c)部分所示的拍摄图案(第二比：1)，但也可以是满足针对第二图像的获取帧数的比的条件(第二比高于第一比)的其他图案。在第二图像获取模式为图8的(b)部分(第二比：1/2)所示的图案的情况下，进行两帧关于第一图像的处理(步骤S132～步骤S140)(直至在步骤S140中N变为2)，之后，进行一帧关于第二图像的处理(步骤S142～步骤S152)。这样，在检测到作为特定对象的关注区域时转入第二图像的获取比率高的第二图像获取模式，因此能够根据第二图像的必要性设定适当的拍摄模式。
<关于第一图像的处理>
在第二图像获取模式中，第一图像的获取等处理(图6的步骤S132～步骤S138)可与第一图像获取模式中的处理(步骤S102～步骤S108)同样地进行，因此省略详细说明。
<关于第二图像的处理>
在步骤S140中，模式控制部204B判断“是否处理了N帧第一图像”。例如在图8的(b)部分所示的拍摄图案的情况下，N为2。当进行了N帧第一图像的处理(获取、关注区域检测、图像显示等)时，步骤S140的判断结果变为“是”，通过图像获取部204A等的控制照射第二观察光并获取第二图像(步骤S142、S144)。图像获取后的关注区域检测等处理(步骤S146～步骤S152)可与上述步骤S120～步骤S124同样地进行。
<与满足结束条件相应的图像获取模式的设定>
模式控制部204B判断是否满足第一结束条件(步骤S154)。当判断为肯定时，即满足了第一结束条件时返回步骤S100，模式控制部204B通过第一图像获取模式使图像获取部204A获取第一图像及第二图像。由此，能够根据第二图像的必要性设定适当的拍摄模式并获取图像，而且能够防止图像显示(第一图像的显示)的帧率降低。作为“第一结束条件”，可使用例如经过设定时间、获取指定张数的静止画面(摄有关注区域的图像等)、未检测到关注区域、用户进行的结束指示等，但并不限定于这些例子。另一方面，当步骤S154的判断为否定时(未满足第一结束条件时)返回步骤S132，模式控制部204B继续通过第二图像获取模式使图像获取部204A获取第一图像及第二图像。
如以上所说明，未检测到特定对象(关注区域)时设为第一图像获取模式，检测到时设为第二图像获取模式并获取第一图像及第二图像直至满足第一结束条件为止。由此可通过基于检测结果的适当的拍摄模式获取图像(第一图像、第二图像)，在持续进行对第一图像的观察的同时，如果检测到关注区域，则进行适合鉴别、分类等的第二图像的处理。
<关于位置匹配第一图像的处理>
以下，参照图10的流程图，对图6的步骤S124中的关于位置匹配第一图像的处理进行详细说明。图7的步骤S152中的处理也是同样的。
<用于生成位置匹配第一图像的图像>
在位置匹配第一图像的生成中，例如像图8的(b)部分的图像525(第一图像的例子)和图像526(第二图像的例子)那样，可使用在第一图像的缺失定时(作为第二图像的图像526的拍摄定时)之前获取的第一图像(图像525)。另外，除这种图案以外，例如也可以使用拍摄时刻不同的多个第一图像(在图8的(b)部分，例如为图像524、525)，亦可以使用在第一图像的缺失定时之后获取的第一图像(在图8的(b)部分，例如为图像527)。但是，当使用在第二图像的拍摄时刻之后的拍摄时刻拍摄的第一图像时，由于拍摄时刻的时间差而存在位置匹配第一图像的生成及显示发生延迟的可能性。另外，当拍摄时刻的时间差超过阈值时，由于被摄体的移动等而引起拍摄范围、拍摄角度等发生变化，存在位置匹配精度降低的可能性。
由于这种情况，在位置匹配第一图像的生成中，优选使用“在第二图像的拍摄时刻之前且与第二图像的拍摄时刻之间的时间差为阈值以下的拍摄时刻拍摄的第一图像”。由此，能够生成时间延迟少且帧间的被摄体的色调及结构的变化小的位置匹配第一图像。针对拍摄时刻的阈值可根据位置匹配精度、对图像的生成及显示延迟的容许时间等来确定。以下，对使用作为第一图像的图像525及作为第二图像的图像526生成位置匹配第一图像的情况进行说明。
<位置匹配前的校正(预处理)>
在第一图像和第二图像中，除拍摄定时以外，观察光的波长也不同。由此在以白色光为观察光的第一图像(图像525)中，例如如图11的(a)部分所示，清晰地摄有较粗的血管601，但较细的血管602却未清楚地拍摄出来。与此相对，在以蓝色窄波段光为观察光的第二图像(图像526)中，例如如图11的(b)部分所示，与第一图像(图像525)相比，较粗的血管601不太清晰，但较细的血管602却清楚地拍摄出来。因此，在第一实施方式中，图像处理部204(图像生成部204I)进行使由第一观察光与第二观察光的不同引起的第一图像与第二图像的差异减少的校正(预处理)(步骤S200：图像校正工序)。
具体而言，图像生成部204I提取第一图像的图像信号和第二图像的图像信号中的第一观察光与第二观察光中共同的波长的成分，将提取的波长的成分加权到第一图像的图像信号和第二图像的图像信号中的至少一者上，生成使共同的波长的成分的信号强度比除共同的波长的成分以外的成分的信号强度相对强的图像。在第一实施方式中，由于第一观察光为白色光，第二观察光为蓝色光，因此图像生成部204I加强第一图像的图像信号和第二图像的图像信号中的作为共同的波长的蓝色光的成分的权重。图12是表示在图像525(第一图像)中对蓝色光成分进行了加权后的状态的例子，较细的血管602相对被强调。
在第一实施方式中，可获得通过这种校正(预处理)使位置匹配精度提高且帧间的被摄体的色调及结构的变化较小的图像(位置匹配第一图像)。此外，也可以不是如上所述对共同的波长成分(蓝色光成分)进行加权，而是仅使用共同的波长成分来生成位置匹配第一图像。
<参数的计算及位置匹配>
参数计算部204H计算通过位置匹配使实施了校正(预处理)的图像525(第一图像)与图像526(第二图像)一致的参数(步骤S202：参数计算工序)。所计算的参数是关于相对移动、旋转及变形中的至少一者的参数，“变形”可以包括放大或缩小。图像生成部204I将生成的参数应用于校正后的第一图像(图像525)并生成位置匹配第一图像(步骤S204：图像生成工序)。此外，在步骤S202、S204中，参数计算部204H计算进行第一图像与第二图像之间的投影变换的参数，图像生成部204I能够将基于计算出的参数的投影变换施加于第一图像而生成位置匹配第一图像。将位置匹配第一图像的例子(图像580)示于图13。如上所述，计算参数时使用了第二图像，但由于位置匹配第一图像是第一图像移动、变形等而生成的，因此位置匹配第一图像的色调不会受第二图像的像素值的影响发生变化。
<关注区域的检测及分类>
关注区域检测部204C从生成的位置匹配第一图像中检测关注区域(步骤S206：关注区域检测工序)。另外，分类部204D对检测到的关注区域进行分类(步骤S208：关注区域分类工序)。关于位置匹配第一图像的关注区域的检测及分类可与关于步骤S106、S112等的上述记载同样地进行，也可以将检测与分类一体进行。
<关于位置匹配第一图像的输出>
显示控制部204E、关注区域检测部204C及分类部204D进行关于位置匹配第一图像的输出(步骤S210：显示控制工序、输出工序)。关于位置匹配第一图像的输出与关于第一图像的上述记载同样地，除通过显示控制部204E、关注区域检测部204C及分类部204D将位置匹配第一图像、表示关注区域的检测结果的信息、表示关注区域的分类结果的信息显示于监视器400(显示控制工序、输出工序)以外，还可通过将这些信息记录于记录部207(输出工序)等来进行。关于位置匹配第一图像的输出可接着关于第一图像的输出依次进行。例如，显示控制部204E重复M帧(第一图像获取模式时)或N帧(第二图像获取模式时)第一图像的显示和一帧位置匹配第一图像的显示(依次显示)。这种依次显示可以在被摄体的检查中实时进行，也可以在将第一图像及位置匹配第一图像预先记录于记录部207、之后用户回看图像时进行。此外，在关于第一图像进行上述校正(蓝色光成分的加权)生成位置匹配第一图像的情况下，在输出(显示等)位置匹配第一图像时，图像生成部204I可以使波长成分的平衡复原并设为与白色光相同。由此，能够防止波长平衡不同的图像显示于监视器400而使用户感到违和感。
这样，在第一实施方式中，除了普通的第一图像的显示(步骤S108、S138)以外，还可在无法获取第一图像的定时显示位置匹配第一图像(步骤S124、S152)。由此防止第一图像的帧率实质性降低，用户可通过利用普通光(白色光)拍摄到的普通光图像(第一图像)持续进行观察。
<关于关注区域的输出>
在关于第一图像及位置匹配第一图像的输出(显示、记录)中，显示控制部204E、关注区域检测部204C及分类部204D在从第一图像和/或位置匹配第一图像中检测到关注区域的情况下，可输出表示关注区域的检测结果的信息和/或表示关注区域的分类结果的信息。信息的输出可通过显示控制部204E、关注区域检测部204C及分类部204D利用文字、数字、记号、色彩等将表示关注区域的信息(例如关注区域的位置、大小)、和/或表示分类结果的信息(例如关注区域的种类、息肉的分类、癌症的阶段诊断等)显示于监视器400来进行。这些信息可以重叠显示于第一图像和/或位置匹配第一图像。
图14是表示关于关注区域的信息的显示例的图。图14的(a)部分示出了将表示关注区域642的位置的记号(箭头644)重叠显示于图像640的状态。另外，图14的(b)部分示出了将用于测定关注区域642的大小的标记646(例如，相当于直径5mm的圆)重叠显示于图像640的状态。
<关于第一图像及第二图像的输出例>
在第一实施方式中，除了上述关于第一图像和/或位置匹配第一图像的输出(步骤S108、S138、S210)以外，显示控制部204E、关注区域检测部204C及分类部204D还可对第二图像输出(显示、记录)图像、关注区域的检测结果、关注区域的分类结果(步骤S122、S150：显示控制工序、输出工序)。通过关于第二图像的输出，用户能够在连续观察利用普通光(白色光)显示的第一图像的同时，利用第二图像(在上述例子中为蓝色窄波段光)准确地对关注区域等进行检测、分类。图15是表示将作为第一图像(位置匹配第一图像)的图像650及作为第二图像的图像660显示于监视器400的情形的图。图15示出了检测到关注区域652、并显示用于测定其大小的标记654的情形。
除了这种向监视器400显示以外，或者取代显示，关注区域检测部204C及分类部204D也可以通过声音处理部209及扬声器209A将表示检测结果的信息和/或表示分类结果的信息作为声音输出。另外，关注区域检测部204C及分类部204D也可以将表示检测结果的信息和/或表示分类结果的信息记录于记录部207。
如果关于位置匹配第一图像的处理(从步骤S200到步骤S210)结束，则如上所述进入步骤S126判断是否检测到关注区域。在步骤S152中进行了关于位置匹配第一图像的处理时，进入步骤S154判断是否满足第一结束条件。
如以上所说明，在第一实施方式所涉及的内窥镜系统10中，未检测到特定对象(关注区域)时设为第一图像获取模式，检测到时设为第二图像获取模式并获取第一图像及第二图像直至满足第一结束条件为止。由此能够通过基于检测结果的适当的拍摄模式获取图像(第一图像、第二图像)，在持续进行对第一图像的观察的同时，如果检测到关注区域，则进行适合于鉴别、分类等的第二图像的处理。另外，在使用多个观察光(第一图像、第二图像)获取图像时，能够在通过位置匹配第一图像的生成及显示防止图像显示(第一图像)的帧率实质性降低的同时，获取帧间的被摄体的色调及结构的变化较小的图像，由此能够观察被摄体的准确结构。
<特定对象为药剂和/或器材时的处理>
图16～18是表示特定对象为药剂及/器材时的处理的流程图。由于在处置时多要求精细的操作，因此并不优选降低图像显示(第一图像的显示)的帧率，另外可认为在进行处置的阶段确定了病变的鉴别结果，因此可认为利用第二图像的自动鉴别的必要性也较低。因此，在检测到用于处置等的药剂和/或器材时，优选设为第一图像的获取比率比第二图像获取模式高的第一图像获取模式。另外，在对病变散布了色素剂或染色剂时，用户会仔细检查病变的细微结构，因此并不优选降低图像显示(第一图像的显示)的帧率。因此，在检查到色素剂、染色剂等药剂时，优选设为第一图像的获取比率比第二图像获取模式高的第一图像获取模式。
此外，在本方式中，也与上述关于关注区域的处理的情况同样地说明了获取以白色光为观察光(第一观察光)的白色光图像(普通图像)来作为第一图像、获取以作为窄波段光的蓝色光(中心波长比第一观察光短)为观察光(第二观察光)的蓝色光图像(特殊光图像)来作为第二图像的情况。但是，观察光及所获取的图像并不限定于这种组合，与关于关注区域的处理时同样地，第二图像也可以是将作为窄波段光的绿色光、红色光、红外光、紫色光等作为观察光而获取的特殊光图像。另外，也可以将第一观察光、第二观察光两者作为窄波段光(例如蓝色光和绿色光、或者波长不同的红色光等的、第一窄波段光及第二窄波段光)来获取第一图像及第二图像。此外，在本方式中，也可以设为在一帧中仅照射第一观察光或仅照射第二观察光来拍摄第一图像、第二图像。
在图16的流程图中，模式控制部204B在初始状态(未检测到药剂和/或器材的状态)下将图像获取部204A设定为第二图像获取模式(步骤S300：模式控制工序)。此外，说明在初始状态下设定第二图像获取模式的情况是因为，如果在初始状态下设定为第一图像获取模式，则在检测到药剂和/或器材时不用切换模式而直接持续使用第一图像获取模式即可。
检测到药剂和/或器材时，也与以关注区域为特定对象时同样地能够设定第一、第二图像获取模式。在此，将第一图像获取模式中的图像获取图案设为图8的(a)部分所示的图案，将第二图像获取模式中的图像获取图案设为图8的(b)部分所示的图案，但图像获取的图案并不限定于该例。例如，也可以将第一图像获取模式设为图9所示的图案，将第二图像获取模式设为图8的(a)部分所示的图案，亦可以使用第二图像的获取比率不同的其他图案。
图像获取部204A控制光源控制部350使红色光源310R、绿色光源310G及蓝色光源310B发光并向受检体照射白色光(第一观察光)(步骤S302：拍摄工序、图像获取工序)，通过摄影光学系统130、摄像元件134等拍摄受检体的图像(第一图像、普通光图像)(步骤S304：拍摄工序、图像获取工序)。拍摄到的图像经由图像输入控制器202由图像获取部204A获取(输入)(步骤S304：图像获取工序)。
<药剂的检测方法>
检测器204F(特定对象检测部、检测器)从获取的第一图像中检测作为特定对象的药剂和/或器材(步骤S306：特定对象检测工序、检测工序)。步骤S306中的药剂(包括色素剂、染色剂)的检测可使用例如上述专利文献1(日本特开2016-62488号公报)所记载的方法基于色调特征量来进行。具体而言，图像处理部204(检测器204F)基于医用图像的各像素中的R(红色)、G(绿色)、B(蓝色)的像素值排除暗部像素及光晕像素，对于未排除的各像素计算色调特征量(G/R、B/G)，按照分割医用图像得到的每个小块计算色调特征量的平均值。将关于G/R的平均值设为GR，将关于B/G的平均值设为BG，若绘制GR、BG，则绘制结果表示因各个药剂(色素剂、染色剂等)而不同的分布。因此，通过将关于检测对象药剂的绘制结果(特征量空间中的位置)与关于各个药剂的分布进行比较，能够判别在获取的医用图像中使用的药剂。针对检测结果(例如药剂的种类、名称)预先关联使用该种类进行的处置、手法的内容等，也可以包含在赋予图像的检测信息中。
此外，药剂的检测可以与“基于深度学习算法的关注区域的检测”项目中的上述记载同样地通过深度学习算法来进行。
<器材的检测方法>
步骤S306中的器材的检测也可使用上述专利文献1所记载的方法来进行。具体而言，将使各处置器具插通于钳子通道(与钳道口126连通的未图示的管路)时的内窥镜图像设为模板图像，检测器204F将模板图像与检查时的内窥镜图像进行对照，从而检测使用了哪一个处置器具。模板图像按照每个处置器具准备钳子通道方向、突出长度、开闭状态不同的多个图像。另外，关于图像上的形状因旋转而发生变化的非对称形状的处置器具，准备旋转角度不同的多个图像。
为了从内窥镜图像中检测处置器具，检测器204F根据内窥镜图像(在此为第一图像)检测边缘。边缘检测用的图像使用R图像(根据红色像素的像素信号生成的图像)或G图像(根据绿色像素的像素信号生成的图像)。处置器具护套为红色时，使用G图像较好。使用模板匹配、霍夫变换等从边缘图像内检测线段形状，并将检测到的线段形状与模板图像进行对照，计算重合度。将重合度最高的模板图像的处置器具作为检测结果。
此外，针对检测结果(例如器材的种类、名称)预先关联使用该器材进行的处置、手法的内容等，也可以包含在赋予图像的检测信息中。
此外，器材的检测也可以与药剂的检测同样地使用深度学习算法来进行。
<第一图像的显示及记录>
检测器204F及显示控制部204E进行关于白色光图像(第一图像)的输出(显示、记录)(步骤S308：显示控制工序、输出工序)。与关注区域时同样地，除可通过将白色光图像(第一图像)、表示检测结果的信息等显示于监视器400(显示控制工序)以外，还可通过将这些信息记录于记录部207(输出工序)、从扬声器209A输出声音等来进行输出。另外，也可以在将第一图像(及位置匹配第一图像)连续记录为动态图像的同时，将检测到药剂和/或器材的帧记录为静止图像。
检测器204F判断是否从获取的第一图像中检测到药剂和/或器材(步骤S310)，当判断为肯定时进入步骤S326。在该情况下，模式控制部204B通过第一图像获取模式使图像获取部204A获取第一图像及第二图像直至满足第二结束条件(步骤S328～步骤S348)。另一方面，当步骤S310的判断为否定时，对N帧(N为整数；图8的(b)部分的图案时为2)第一图像重复进行处理(在步骤S312中为“否”的期间)，如果该处理结束(在步骤S312中为“是”)，则进入步骤S314。
在步骤S314中，图像获取部204A控制光源控制部350使蓝色光源310B发光并将蓝色窄波段光(特殊光、第二观察光)照射到受检体(拍摄工序、图像获取工序)，通过摄影光学系统130、摄像元件134等拍摄(获取)受检体的图像(第二图像、特殊光图像)(步骤S316：拍摄工序、图像获取工序)。针对获取的第二图像的药剂和/或器材的检测处理(步骤S318)、输出(显示、记录)处理(步骤S320)等可与第一图像同样地进行实施。另外，关于位置匹配第一图像的处理(图17的步骤S322)也可与上述步骤S124同样地进行实施，由此防止第一图像的帧率实质性降低，用户能够通过利用普通光(白色光)拍摄的普通光图像(第一图像)持续进行观察。
检测器204F判断是否从获取的第二图像中检测到药剂和/或器材(步骤S324)，当判断为肯定时进入步骤S326进行基于第一图像获取模式的图像获取。另一方面，当步骤S324的判断为否定时返回步骤S302，持续进行基于第二图像获取模式的图像获取(第一图像、第二图像)。
在步骤S326中，模式控制部204B将图像获取部204A设定为第一图像获取模式，直至满足第二结束条件(在步骤S334或步骤S348中为“是”)，通过第一图像获取模式使图像获取部204A获取第一图像及第二图像，对获取的图像进行药剂和/或器材的检测等处理(步骤S328～步骤S348)。第一图像及第二图像的获取及与这些图像相关的处理(步骤S328～步骤S348)除第二图像的获取比率不同以外，均与关于步骤S302～步骤S324的上述内容同样，因此省略详细说明。此外，在此设为了第一图像获取模式是图8的(a)部分所示的图案、第二图像获取模式是图8的(b)部分所示的图案，此时由于在第一图像获取模式中第二图像的获取比率(第一比)不是零，因此也通过第一图像获取模式获取第二图像。但是，当在第一图像获取模式中第二图像的获取比率为零时(第一图像获取模式为图9所示的图案时)，不进行步骤S336～步骤S346的处理。
作为步骤S334、S348中的“第二结束条件”，可使用例如经过规定时间、未检测到药剂和/或器材、获取规定张数的静止画面、用户的结束指示等，但并不限定于这些例子。在步骤S334或步骤S348(图18)中满足了第二结束条件时返回步骤S300，模式控制部204B通过第二图像获取模式使图像获取部204A获取第一图像及第二图像(步骤S302～步骤S324)。
如以上所说明，在内窥镜系统10中，检测到作为特定对象的药剂和/或器材时，设为第一图像获取模式并获取第一图像及第二图像直至满足第二结束条件为止。由此可通过基于检测结果的适当的拍摄模式获取图像(第一图像、第二图像)，如果检测到关注区域，则通过适合精细操作、细微结构的观察等的第一图像获取模式进行图像的获取、显示。另外，在第一图像获取模式中，由于第一图像的获取比率比第一图像获取模式高，因此能够防止图像显示(第一图像)的帧率降低。另外，在使用多个观察光(第一图像、第二图像)获取图像的情况下，能够在通过位置匹配第一图像的生成及显示防止图像显示(第一图像)的帧率实质性降低的同时，获得帧间的被摄体的色调及结构的变化较小的图像，由此能够观察被摄体的准确结构。
<光源的其他结构及应用本发明的效果>
对本发明的内窥镜系统中的光源的其他结构例及此时应用本发明的效果进行说明。
(例1)
如图19所示，光源装置320(光源装置)具备照射作为激励光的白色光用激光的白色光用激光光源312(白色光用激光光源)、通过照射白色光用激光而发出作为第一观察光的白色光的荧光体314(荧光体)、以及照射作为第二观察光的窄波段光(例如，可设为蓝色窄波段光，但也可以是绿色窄波段光、红色窄波段光)的窄波段光用激光光源316(窄波段光用激光光源)。光源装置320由光源控制部350控制。此外，在图19中，内窥镜系统10的构成要素中除光源装置320及光源控制部350以外省略了图示。为了获得作为第一观察光的白色光而使用白色光用激光光源312时，若第二图像的获取比率高(例如，上述的图8的(c)部分所示的图案时)，则第一观察光的照射与非照射的重复增多，因此存在白色光用激光光源312的激励与非激励的重复增多而使光源提前劣化的可能性。
但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，能够防止直至第二图像的必要性较低时(例如，未检测到作为特定对象的关注区域时，或者检测到作为特定对象的药剂和/或器材时)设定第二图像获取模式而造成第二图像的获取比率升高及由于第一观察光的照射与非照射的重复增加而导致光源无益地提前劣化。
(例2)
如图20所示，光源装置322(光源装置)具备发出白色光的白色光源318(白色光源)、形成有透射白色光的白色光区域和透射窄波段光的窄波段光区域的旋转滤光片360(白色光滤光片、窄波段光滤光片)、以及控制旋转滤光片360的旋转而在白色光的光路上插入白色光区域或窄波段光区域的旋转滤光片控制部363(第一滤光片切换控制部)。白色光源318及旋转滤光片控制部363由光源控制部350控制。此外，在图20中，内窥镜系统10的构成要素中除光源装置322及光源控制部350以外省略了图示。在控制旋转滤光片360的旋转而生成多种观察光(例如作为第一观察光的白色光和作为第二观察光的窄波段光)的情况下，由于旋转滤光片360的旋转与图像传感器(摄像元件134)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，能够减少直至第二图像的必要性较低时(例如，未检测到作为特定对象的关注区域时，或者检测到作为特定对象的药剂和/或器材时)设定第二图像获取模式且光源或滤光片的切换次数增加而导致第一图像和/或第二图像失去色彩平衡的程度。
此外，在例2中，白色光源318可以使用发出宽波段的光的白色光源，也可以通过使发出红色、蓝色、绿色的光的光源同时进行照射而产生白色光。另外，也可以将这种旋转滤光片360及旋转滤光片控制部363设于图2所示的光源310中。
图21是表示旋转滤光片360的例子的图。在图21的(a)部分所示的例子中，在旋转滤光片360上形成有透射白色光的两个圆形的白色光区域362(白色光滤光片)和透射窄波段光的一个圆形的窄波段光区域364(窄波段光滤光片)，通过在旋转滤光片控制部363(第一滤光片切换控制部)的控制下绕旋转轴361旋转，白色光区域362或窄波段光区域364插入到白色光的光路上，由此向被摄体照射白色光或窄波段光。窄波段光区域364可设为透射红色、蓝色、绿色、紫色等任意窄波段光的区域。另外，白色光区域362及窄波段光区域364的数量及配置并不限于图21的(a)部分所示的例子，可以根据白色光及窄波段光的照射比率进行变更。
白色光区域及窄波段光区域的形状并不限于如图21的(a)部分所示为圆形，也可以如图21的(b)部分所示为扇形。图21的(b)部分示出了将旋转滤光片360的四分之三设为白色光区域362、将四分之一设为窄波段光区域364的例子。扇形的面积可根据白色光与窄波段光的照射比率进行变更。此外，在图21的例子中，也可以在旋转滤光片360上设置分别与不同的窄波段光对应的多个窄波段光区域。
图22是表示旋转滤光片的其他例的图。作为相对于图22所示的旋转滤光片的白色光源，可与图20所示的光源装置322同样地使用白色光源318。另外，图22的(a)部分所示的旋转滤光片369不同于图20、21所示的旋转滤光片360，未设置透射白色光的白色光区域，而是设有透射白色光中第一窄波段光的成分的两个圆形的第一窄波段光区域365(第一窄波段光滤光片)和透射第二窄波段光的成分的一个圆形的第二窄波段光区域367(第二窄波段光滤光片)。通过旋转滤光片控制部363(参照图20；第二滤光片切换控制部)使这种旋转滤光片369绕旋转轴361旋转，从而在白色光源318所发出的白色光的光路上插入第一窄波段光区域365(第一窄波段光滤光片)或第二窄波段光区域367(第二窄波段光滤光片)，能够将第一窄波段光或第二窄波段光照射到被摄体。
第一窄波段光区域365及第二窄波段光区域367的形状并不限于如图22的(a)部分所示为圆形，也可以如图22的(b)部分所示为扇形。图22的(b)部分示出了将旋转滤光片369的三分之二设为第一窄波段光区域365、将三分之一设为第二窄波段光区域367的例子。扇形的面积可根据第一窄波段光与第二窄波段光的照射比率进行变更。此外，在图22的例子，也可以在旋转滤光片369上设置分别与不同的窄波段光对应的三种以上的窄波段光区域。
在通过旋转滤光片控制部363切换滤光片而生成多种观察光(第一窄波段光、第二窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件134)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，能够减少直至第二图像的必要性较低时(例如，未检测到作为特定对象的关注区域时，或者检测到作为特定对象的药剂和/或器材时)设定第二图像获取模式且光源或滤光片的切换次数而导致第一图像和/或第二图像失去色彩平衡的程度。
(附记)
除上述实施方式的各方面以外，以下所述的结构也包含在本发明的范围中。
(附记1)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，
医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置中进行获取，
分析结果是包含在医疗图像中的作为应关注区域的关注区域和有无应关注对象中的任一者或两者。
(附记4)
一种医疗图像处理装置，其中，
医疗图像是照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像。
(附记5)
一种医疗图像处理装置，其中，
医疗图像是照射特定波段的光而得到的图像，
特定波段是比白色的波段窄的波段。
(附记6)
一种医疗图像处理装置，其中，
特定波段是可见范围的蓝色或绿色波段。
(附记7)
一种医疗图像处理装置，其中，
特定波段包含390nm以上450nm以下或530nm以上550nm以下的波段，而且，特定波段的光在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。
(附记8)
一种医疗图像处理装置，其中，
特定波段是可见范围的红色波段。
(附记9)
一种医疗图像处理装置，其中，
特定波段包含585nm以上615nm以下或610nm以上730nm以下的波段，而且，特定波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
(附记10)
一种医疗图像处理装置，其中，
特定波段包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段，而且，特定波段的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段具有峰波长。
(附记11)
一种医疗图像处理装置，其中，
特定波段包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段，而且，特定波段的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。
(附记12)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内得到的生物体内图像，
生物体内图像具有生物体内的荧光物质所发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，
荧光是向生物体内照射峰值为390以上470nm以下的激励光而得到的。
(附记14)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内得到的生物体内图像，
特定波段是红外光的波段。
(附记15)
一种医疗图像处理装置，其中，
特定波段包含790nm以上820nm以下或905nm以上970nm以下的波段，而且，特定波段的光在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
(附记16)
一种医疗图像处理装置，其中，
该医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像，获取具有特定波段的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，
特定波段的信号是通过基于普通光图像所含有的RGB或者CMY的颜色信息的运算而得到的。
(附记18)
一种医疗图像处理装置，其中，
具备特征量图像生成部，该特征量图像生成部通过基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像和照射特定波段的光而得到的特殊光图像中的至少一者的运算，生成特征量图像，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，其中，具备：
附记1至18中任一项所述的医疗图像处理装置；以及
内窥镜，其照射白色的波段的光或特定波段的光中的至少任一者而获取图像。
(附记20)
一种诊断支援装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务支援装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
以上对本发明的实施方式及其他方式进行了说明，但本发明并不限定于上述方式，可在不脱离本发明的精神的范围内进行各种变形。
符号说明
10 内窥镜系统
100 内窥镜主体
102 手边操作部
104 插入部
106 通用电缆
108 光导连接器
112 软性部
114 弯曲部
116 前端硬质部
116A 前端侧端面
123 照明部
123A 照明用透镜
123B 照明用透镜
126 钳道口
130 摄影光学系统
132 摄影透镜
134 摄像元件
136 驱动电路
138 AFE
141 送气送水按钮
142 吸引按钮
143 功能按钮
144 拍摄按钮
170 光导
200 处理器
202 图像输入控制器
204 图像处理部
204A 图像获取部
204B 模式控制部
204C 关注区域检测部
204D 分类部
204E 显示控制部
204F 检测器
2046 比率设定部
204H 参数计算部
204I 图像生成部
205 通信控制部
206 视频输出部
207 记录部
208 操作部
209 声音处理部
209A 扬声器
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310B 蓝色光源
310G 绿色光源
310R 红色光源
312 白色光用激光光源
314 荧光体
316 窄波段光用激光光源
318 白色光源
320 光源装置
322 光源装置
330 光圈
340 聚光透镜
350 光源控制部
360 旋转滤光片
361 旋转轴
362 白色光区域
363 旋转滤光片控制部
364 窄波段光区域
365 第一窄波段光区域
367 第二窄波段光区域
369 旋转滤光片
400 监视器
501 图像
502 图像
503 图像
504 图像
505 图像
506 图像
507 图像
508 图像
509 图像
510 图像
511 图像
512 图像
521 图像
522 图像
523 图像
524 图像
525 图像
526 图像
527 图像
532 图像
541 图像
542 图像
543 图像
544 图像
545 图像
546 图像
547 图像
548 图像
549 图像
550 图像
551 图像
552 图像
561 图像
562 图像
563 图像
564 图像
565 图像
566 图像
567 图像
568 图像
569 图像
570 图像
571 图像
572 图像
601 血管
602 血管
640 图像
642 关注区域
644 箭头
646 标记
650 图像
652 关注区域
654 标记
660 图像
S100～S348 图像处理方法的各步骤
t 时间轴
T 时间范围

Claims (18)

1.一种图像处理装置，其中，
具备：
图像获取部，其获取分别在不同时刻拍摄的第一图像及第二图像，即该图像获取部获取利用第一观察光拍摄的第一图像和利用与所述第一观察光不同的第二观察光拍摄的第二图像；
模式控制部，其通过第一图像获取模式和第二图像获取模式中的任一模式使所述图像获取部获取所述第一图像及所述第二图像，在所述第一图像获取模式中，将预定的时间范围内的所述第二图像的获取帧数与所述第一图像的获取帧数之比设为第一比而获取所述第一图像及所述第二图像，在所述第二图像获取模式中，将所述时间范围内的所述第二图像的获取帧数与所述第一图像的获取帧数之比设为比所述第一比高的第二比而获取所述第一图像及所述第二图像；
特定对象检测部，其从所述第一图像和/或所述第二图像中检测特定对象；以及
显示控制部，其使所述第一图像显示于显示装置，
所述模式控制部基于所述特定对象的检测结果通过所述第一图像获取模式或所述第二图像获取模式使所述图像获取部获取所述第一图像及所述第二图像。
2.根据权利要求1所述的图像处理装置，其中，
所述特定对象检测部是检测关注区域的关注区域检测部，
当所述关注区域检测部未检测到所述关注区域时，所述模式控制部通过所述第一图像获取模式使所述图像获取部获取所述第一图像及所述第二图像，
当所述关注区域检测部检测到所述关注区域时，所述模式控制部通过所述第二图像获取模式使所述图像获取部获取所述第一图像及所述第二图像直至满足第一结束条件为止。
3.根据权利要求2所述的图像处理装置，其中，
当满足所述第一结束条件时，所述模式控制部通过所述第一图像获取模式使所述图像获取部获取所述第一图像及所述第二图像。
4.根据权利要求2或3所述的图像处理装置，其中，
所述图像处理装置还具备分类部，该分类部基于所述第一图像及所述第二图像中的至少所述第二图像对所述关注区域进行分类。
5.根据权利要求4所述的图像处理装置，其中，
所述显示控制部使表示所述分类的结果的信息显示于所述显示装置。
6.根据权利要求1所述的图像处理装置，其中，
所述特定对象检测部是检测对受检体使用的药剂和/或器材的检测器，
当所述检测器检测到所述药剂和/或器材时，所述模式控制部通过所述第一图像获取模式使所述图像获取部获取所述第一图像及所述第二图像直至满足第二结束条件为止。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述模式控制部具有设定所述第一比和/或所述第二比的比率设定部。
8.根据权利要求7所述的图像处理装置，其中，
所述比率设定部将所述第一比设定为零，将所述第二比设定为比零高的值。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述图像处理装置还具备：
参数计算部，其计算使所述第一图像与所述第二图像位置匹配的参数；以及
图像生成部，其将所述参数应用于所述第一图像并生成位置匹配第一图像，
所述显示控制部在获取到所述第二图像的定时使所述位置匹配第一图像显示于所述显示装置。
10.根据权利要求9所述的图像处理装置，其中，
所述参数计算部计算使所述第二图像和在所述第二图像的拍摄时刻之前且与所述第二图像的所述拍摄时刻之间的时间差为阈值以下的拍摄时刻拍摄的所述第一图像位置匹配的所述参数。
11.根据权利要求1至10中任一项所述的图像处理装置，其中，
所述图像获取部获取将中心波长比所述第一观察光短的光作为所述第二观察光而拍摄到的图像，来作为所述第二图像。
12.一种内窥镜系统，其中，
所述内窥镜系统具备：
权利要求1至11中任一项所述的图像处理装置；
所述显示装置；
内窥镜，其具有插入部和手边操作部，所述插入部插入受检体内，且具有前端硬质部、与所述前端硬质部的基端侧连接的弯曲部以及与所述弯曲部的基端侧连接的软性部，所述手边操作部与所述插入部的基端侧连接；
光源装置，其向所述受检体照射所述第一观察光或所述第二观察光；以及
摄像部，其具有使所述受检体的光学像成像的摄影透镜和通过所述摄影透镜将所述光学像成像的摄像元件，
所述摄影透镜设于所述前端硬质部。
13.根据权利要求12所述的内窥镜系统，其中，
所述光源装置向所述受检体照射包含红色、蓝色及绿色的波段的光的白色光作为所述第一观察光，向所述受检体照射与红色、蓝色及绿色中的任一种光的波段对应的窄波段光作为所述第二观察光。
14.根据权利要求13所述的内窥镜系统，其中，
所述光源装置具备照射作为激励光的白色光用激光的白色光用激光光源、通过照射所述白色光用激光而发出作为所述第一观察光的所述白色光的荧光体、以及照射作为所述第二观察光的所述窄波段光的窄波段光用激光光源。
15.根据权利要求13所述的内窥镜系统，其中，
所述光源装置具备发出所述白色光的白色光源、透射所述白色光的白色光滤光片、透射所述白色光中所述窄波段光的成分的窄波段光滤光片、以及在所述白色光源所发出的所述白色光的光路上插入所述白色光滤光片或所述窄波段光滤光片的第一滤光片切换控制部。
16.根据权利要求12所述的内窥镜系统，其中，
所述光源装置向所述受检体照射与红色、蓝色及绿色中的任一种光的波段对应的第一窄波段光作为所述第一观察光，向所述受检体照射与红色、蓝色及绿色中的任一种光的波段对应且波段不同于所述第一窄波段光的第二窄波段光作为所述第二观察光。
17.根据权利要求16所述的内窥镜系统，其中，
所述光源装置具备：
白色光源，其发出包含红色、蓝色及绿色的波段的光的白色光；
第一窄波段光滤光片，其透射所述白色光中所述第一窄波段光的成分；
第二窄波段光滤光片，其透射所述白色光中所述第二窄波段光的成分；以及
第二滤光片切换控制部，其在所述白色光源所发出的所述白色光的光路上插入所述第一窄波段光滤光片或所述第二窄波段光滤光片。
18.一种图像处理方法，其中，包括：
图像获取工序，获取分别在不同时刻拍摄的第一图像及第二图像，即在该图像获取工序中，获取利用第一观察光拍摄的第一图像和利用与所述第一观察光不同的第二观察光拍摄的第二图像；
模式控制工序，通过第一图像获取模式和第二图像获取模式中的任一模式在所述图像获取工序中获取所述第一图像及所述第二图像，在所述第一图像获取模式中，将预定的时间范围内的所述第二图像的获取帧数与所述第一图像的获取帧数之比设为第一比而获取所述第一图像及所述第二图像，在所述第二图像获取模式中，将所述时间范围内的所述第二图像的获取帧数与所述第一图像的获取帧数之比设为比所述第一比高的第二比而获取所述第一图像及所述第二图像；以及
特定对象检测工序，从所述第一图像和/或所述第二图像中检测特定对象，
在所述模式控制工序中，基于所述特定对象的检测结果通过所述第一图像获取模式或所述第二图像获取模式在所述图像获取工序中获取所述第一图像及所述第二图像。
CN201980030496.8A 2018-05-14 2019-04-19 图像处理装置、内窥镜系统及图像处理方法 Active CN112105284B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-093212 2018-05-14
JP2018093212 2018-05-14
PCT/JP2019/016744 WO2019220859A1 (ja) 2018-05-14 2019-04-19 画像処理装置、内視鏡システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
CN112105284A true CN112105284A (zh) 2020-12-18
CN112105284B CN112105284B (zh) 2024-02-13

Family

ID=68540203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030496.8A Active CN112105284B (zh) 2018-05-14 2019-04-19 图像处理装置、内窥镜系统及图像处理方法

Country Status (5)

Country Link
US (1) US11563921B2 (zh)
EP (1) EP3795058B1 (zh)
JP (1) JP7048732B2 (zh)
CN (1) CN112105284B (zh)
WO (1) WO2019220859A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861909A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于深度学习的消化道黏膜染色检测系统和方法
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235195A1 (ja) * 2018-06-04 2019-12-12 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
EP4101364A4 (en) * 2020-02-06 2023-08-02 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
JP2022027501A (ja) * 2020-07-30 2022-02-10 オリンパス株式会社 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
US20120157775A1 (en) * 2010-12-20 2012-06-21 Hiroshi Yamaguchi Endoscope apparatus
JP2012157559A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 電子内視鏡システム
CN102727221A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 血液信息测量方法和设备
CN104023618A (zh) * 2012-01-25 2014-09-03 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
JP2017064091A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、手術システム、及び、手術糸
CN106659362A (zh) * 2014-07-11 2017-05-10 奥林巴斯株式会社 图像处理装置、图像处理方法、图像处理程序以及内窥镜系统
CN107708521A (zh) * 2015-06-29 2018-02-16 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP6039639B2 (ja) * 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP2016062488A (ja) 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
DE112014007051T5 (de) * 2014-11-19 2017-06-22 Olympus Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung
DE112015005595T5 (de) * 2015-01-20 2017-09-28 Olympus Corporation Bildverabeitungsvorrichtung, Verfahren zum Bedienen der Bildverarbeitungsvorrichtung, Programm zum Bedienen der Bildverarbeitungsvorrichtung und Endoskopvorrichtung
JP6920931B2 (ja) * 2017-09-01 2021-08-18 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JPWO2020035929A1 (ja) * 2018-08-16 2021-08-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
US20120157775A1 (en) * 2010-12-20 2012-06-21 Hiroshi Yamaguchi Endoscope apparatus
JP2012157559A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 電子内視鏡システム
CN102727221A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 血液信息测量方法和设备
CN104023618A (zh) * 2012-01-25 2014-09-03 富士胶片株式会社 内窥镜系统、内窥镜系统的处理器装置以及图像处理方法
CN106659362A (zh) * 2014-07-11 2017-05-10 奥林巴斯株式会社 图像处理装置、图像处理方法、图像处理程序以及内窥镜系统
CN107708521A (zh) * 2015-06-29 2018-02-16 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
JP2017064091A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、手術システム、及び、手術糸

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861909A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于深度学习的消化道黏膜染色检测系统和方法
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置

Also Published As

Publication number Publication date
EP3795058A4 (en) 2021-07-07
JP7048732B2 (ja) 2022-04-05
US20210044750A1 (en) 2021-02-11
CN112105284B (zh) 2024-02-13
EP3795058B1 (en) 2022-06-15
US11563921B2 (en) 2023-01-24
JPWO2019220859A1 (ja) 2021-05-20
EP3795058A1 (en) 2021-03-24
WO2019220859A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7430287B2 (ja) 医用画像処理装置及び内視鏡システム
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
US20210343011A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2023010809A (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体
JP2020069300A (ja) 医療診断支援装置、内視鏡システム、及び医療診断支援方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US11911007B2 (en) Image processing device, endoscope system, and image processing method
CN116234487A (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant