CN111936032B - 图像处理装置、内窥镜系统及图像处理方法 - Google Patents

图像处理装置、内窥镜系统及图像处理方法 Download PDF

Info

Publication number
CN111936032B
CN111936032B CN201980023991.6A CN201980023991A CN111936032B CN 111936032 B CN111936032 B CN 111936032B CN 201980023991 A CN201980023991 A CN 201980023991A CN 111936032 B CN111936032 B CN 111936032B
Authority
CN
China
Prior art keywords
image
lesion
information
moving image
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980023991.6A
Other languages
English (en)
Other versions
CN111936032A (zh
Inventor
加门骏平
弓部央奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111936032A publication Critical patent/CN111936032A/zh
Application granted granted Critical
Publication of CN111936032B publication Critical patent/CN111936032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的在于提供一种能够高效地保存拍摄到病变的动态图像的图像处理装置、内窥镜系统及图像处理方法。本发明的第1方式所涉及的图像处理装置具备：动态图像获取部，获取基于内窥镜的检查动态图像；报告信息获取部，获取与检查动态图像对应的检查的报告信息，该报告信息包含在检查中获取的静止图像的被摄体信息和静止图像的获取时间信息中的至少一者；报告信息分析部，从报告信息中提取病变图像的被摄体信息和病变图像的获取时间信息中的至少一者；及动态图像保存部，根据提取的结果，保存关于检查动态图像中包含病变图像的时间范围的动态图像即病变动态图像。

Description

图像处理装置、内窥镜系统及图像处理方法
技术领域
本发明涉及一种图像处理装置、内窥镜系统及图像处理方法，尤其涉及一种对在基于内窥镜的检查中获取的动态图像进行处理的图像处理装置、内窥镜系统及图像处理方法。
背景技术
在使用内窥镜进行检查的情况下，拍摄多个动态图像、静止图像。所拍摄的图像利用于诊断辅助、报告制作等各种目的，由于所需的图像根据利用目的而不同，因此在检查的过程中，长时间拍摄各种图像。然而，若将这样的图像按照原样全部保存，则存储容量变得过多，因此提出了减少图像数据的量的技术。
例如在专利文献1中记载了通过以与重要度对应的压缩率来压缩动态图像数据，维持重要的动态图像数据的画质并且削减数据量的技术。并且在专利文献2中记载了在远离病变(关心区域)的部位减少拍摄次数而在关心区域附近增加拍摄次数的胶囊型内窥镜。并且在专利文献3中记载了针对拍摄了静止图像的帧的前后的时间范围保存动态图像的技术。
以往技术文献
专利文献
专利文献1：日本特开2014-042727号公报
专利文献2：日本特开2008-237640号公报
专利文献3：WO2015/029584号公报
发明内容
发明要解决的技术课题
在上述专利文献1中记载了根据检查类别信息设定压缩率的技术，但该“检查类别信息”是事先已知的检查类别(筛选、手指的技术等)的信息。并且，专利文献2中记载的“诊断信息”是在过去的检查中已发现的息肉的位置信息。通过使用这样的过去的检查、诊断等的信息，无法考虑在新进行的检查中发现的病变(关心区域)的信息，有时无法适当地保存关于这样的病变的图像。并且，在专利文献2中，为了保存(记录)拍摄到病变的帧及其前后的帧，需要从检查中获取的图像中检测关心区域，在检测失败的情况下难以保存图像。并且，在使用内窥镜的检查中获取的静止图像中还包含很多未拍摄到病变的图像，因此如专利文献3那样，若保存静止图像获取的前后帧，则可能会大量记录未拍摄到病变的动态图像而增加数据量。
如此，在现有技术中难以高效地保存拍摄到病变的动态图像。
本发明是鉴于这样的情况而完成的，其目的在于提供一种能够高效地保存拍摄到病变的动态图像的图像处理装置、内窥镜系统及图像处理方法。
用于解决技术课题的手段
为了实现上述目的，本发明的第1方式所涉及的图像处理装置具备：动态图像获取部，获取基于内窥镜的检查动态图像；报告信息获取部，获取与检查动态图像对应的检查的报告信息，该报告信息包含在检查中获取的静止图像的被摄体信息和静止图像的获取时间信息中的至少一者；报告信息分析部，从报告信息中提取病变图像的被摄体信息和病变图像的获取时间信息中的至少一者；及动态图像保存部，根据提取的结果，保存关于检查动态图像中包含病变图像的时间范围的动态图像即病变动态图像。
在第1方式中，获取包含在检查中获取的静止图像的图像信息和获取时间信息中的至少一者的报告信息，从报告信息中获取病变图像(拍摄到病变的图像)的图像信息和获取时间信息中的至少一者，因此即使在报告信息中所包含的静止图像中未拍摄到病变的情况下，也能够获取病变图像的信息。并且，在第1方式中，由于保存关于检查动态图像中包含病变图像的时间范围的动态图像即病变动态图像，因此能够防止针对未拍摄到关心区域的时间范围长时间保存动态图像而数据量增加的情况。而且，在第1方式中，由于获取“与检查动态图像对应的检查的”报告信息，因此能够考虑在该检查中发现的新的病变的信息。另外，病变动态图像的保存能够通过暂时保存在暂存区域中而将所需的部分保存在通常的存储区域中，或者保存在存储区域中而删除不需要的部分等手法来进行。
如此，根据第1方式，能够高效地保存拍摄到病变的动态图像(病变动态图像)。另外，在第1方式及以下的各方式中，“被摄体信息”是图像中显示的被摄体(病变图像的情况下为病变)的信息(被摄体的位置、大小、种类等)，“获取时间信息”是图像被拍摄的绝对时刻(日本标准时间等)、从图像被拍摄的帧的动态图像的拍摄开始起的经过时间、示出拍摄时间的计数器的计数数等能够确定在检查中的图像获取的定时的信息。
另外，在要保存的病变动态图像中，病变图像的前后的时间宽度能够考虑动态图像的数据量等来设定。
在第1方式及以下的各方式中，检查动态图像、静止图像、病变图像及病变动态图像是医用图像(也称为医疗图像)的一方式。在拍摄这样的医用图像时，能够使用产生白色频带的光、作为白色频带包含多个波长(窄频带光)的光、红外光、激励光的光源。并且，获取的医用图像可以是照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像，也可以是根据通常光图像获取的、具有特定的波长频带的信息的特殊光图像。
在第2方式所涉及的图像处理装置在第1方式中，报告信息获取部获取包含表示静止图像是否为病变图像的病变信息的报告信息，报告信息分析部根据病变信息提取病变图像的被摄体信息和/或获取时间信息。第2方式规定报告信息的内容及分析手法的具体的方式。
第3方式所涉及的图像处理装置在第1或第2方式中，动态图像保存部根据提取的结果确定是否保存病变动态图像。在第3方式中，动态图像保存部能够根据包含病变图像的时间的长度、检查动态图像整体中的比率等来确定是否保存。例如，能够进行“在检查动态图像中包含病变图像的情况下保存，在完全(或者几乎)不包含的情况下不保存”的处理。
第4方式所涉及的图像处理装置在第1至第3方式中的任一个中，报告信息分析部通过将报告信息中所包含的被摄体信息与检查动态图像进行匹配，来确定检查动态图像中包含病变图像的时间范围，动态图像保存部针对所确定的时间范围保存病变动态图像。如第4方式那样，通过图像的匹配，能够将拍摄到病变的时间范围作为动态图像切出。
第5方式所涉及的图像处理装置在第1至第4方式中的任一个中，报告信息分析部提取病变图像的获取时间信息，动态图像保存部根据提取的获取时间信息保存检查动态图像。第5方式规定根据获取时间信息(与第1方式中的含义相同)切出动态图像的方式。
第6方式所涉及的图像处理装置在第1至第5方式中的任一个中，报告信息获取部获取用户输入的获取时间信息作为静止图像的获取时间信息，报告信息分析部提取报告信息获取部获取的获取时间信息作为病变图像的获取时间信息。在本发明中，也可以如第6方式那样根据用户输入的信息进行动态图像的保存。例如，在无法适当地提取病变图像的信息的情况下，能够进行这样的处理。
第7方式所涉及的图像处理装置在第1至第6方式中的任一个中，动态图像保存部将检查动态图像中拍摄到不同的病变的时间范围作为独立的动态图像进行保存。根据第7方式，能够容易地进行与病变对应的动态图像的管理、包含所期望的病变的动态图像的利用等。
第8方式所涉及的图像处理装置在第1至第7方式中的任一个中，在针对检查动态图像保存病变动态图像的情况下，动态图像保存部通过对检查动态图像实施针对时间范围以外降低帧速率的处理和/或针对时间范围以外降低分辨率的处理，来保存与检查动态图像相比减少数据容量的小容量动态图像。如第8方式那样，通过改变帧速率、分辨率来减少数据容量，能够更有效地保存拍摄到病变的动态图像。
为了实现上述目的，本发明的第9方式所涉及的内窥镜系统具备：第1至第8方式中任一个所涉及的图像处理装置；内窥镜，该内窥镜具有插入部及手持操作部，其中，该插入部插入到受检体且具有前端硬质部、与前端硬质部的基端侧连接的弯曲部、及与弯曲部的基端侧连接的软性部，该手持操作部与插入部的基端侧连接；以及摄像部，该摄像部具有摄影透镜及成像元件，其中，该摄影透镜设置于前端硬质部并使受检体的光学像成像，该成像元件通过摄影透镜使光学像成像，动态图像获取部获取通过摄像部进行拍摄的检查动态图像。在第9方式所涉及的内窥镜系统中，通过具备第1至第8方式中任一个所涉及的图像处理装置，能够高效地保存拍摄到关心区域的动态图像(病变动态图像)。
为了实现上述目的，本发明的第10方式所涉及的图像处理方法包括：动态图像获取工序，获取基于内窥镜的检查动态图像；报告信息获取工序，获取与检查动态图像对应的检查的报告信息，该报告信息包含在检查中获取的静止图像的被摄体信息和静止图像的获取时间信息中的至少一者；报告信息分析工序，从报告信息中提取病变图像的被摄体信息和病变图像的获取时间信息中的至少一者；及动态图像保存工序，根据提取的结果，保存关于检查动态图像中包含病变图像的时间范围的动态图像即病变动态图像。根据第10方式，与第1方式相同，能够高效地保存拍摄到关心区域的动态图像(病变动态图像)。
另外，对于第10方式的结构，还可以包含与第2至第8方式相同的结构。并且，使内窥镜系统执行这些方式的图像处理方法的程序、以及记录了该程序的计算机能够读取的代码的非暂时性记录介质也能够作为本发明的方式举出。
发明效果
如上所说明，根据本发明的图像处理装置、内窥镜系统及图像处理方法，能够高效地保存拍摄到关心区域的动态图像。
附图说明
图1是第1实施方式所涉及的内窥镜系统的外观图。
图2是示出内窥镜系统的结构的框图。
图3是示出内窥镜的前端硬质部的结构的图。
图4是示出图像处理部的功能结构的图。
图5是示出保存在存储部中的信息的图。
图6是示出图像处理方法的处理的流程图。
图7是示出动态图像的保存图案的例子的图。
图8是示出动态图像保存的处理的图。
图9是示出动态图像的保存图案的另一例子的图。
图10是示出动态图像的保存图案的又一例子的图。
图11是示出将病变动态图像保存在与原来的文件相同的文件夹中的情况的图。
图12是示出数据容量削减的情况的图。
图13是示出使用病变动态图像的学习器的生成及使用生成的学习器的病变的检测的情况的图。
图14是示出识别显示病变的例子的图。
图15是示出识别显示病变的例子的另一图。
图16是示出识别显示病变的例子的又一图。
具体实施方式
以下，参考附图，对本发明所涉及的图像处理装置、内窥镜系统及图像处理方法的实施方式进行详细说明。
<第1实施方式>
图1是示出第1实施方式所涉及的内窥镜系统10(图像处理装置、诊断辅助装置、内窥镜系统、医疗图像处理装置)的外观图，图2是示出内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜主体100(内窥镜)、处理器200(处理器、图像处理装置、医疗图像处理装置)、光源装置300(光源装置)及监视器400(显示装置)构成。
<内窥镜主体的结构>
内窥镜主体100具备手持操作部102(手持操作部)和与该手持操作部102连接设置的插入部104(插入部)。施术者(用户)把持手持操作部102进行操作，将插入部104插入受检体(生物体)的体内进行观察。并且，在手持操作部102设置有送气送水按钮141、吸引按钮142、分配各种功能的功能按钮143及接受摄影指示操作的摄影按钮144。插入部104从手持操作部102侧起依次由软性部112(软性部)、弯曲部114(弯曲部)及前端硬质部116(前端硬质部)构成。即，在前端硬质部116的基端侧连接有弯曲部114，在弯曲部114的基端侧连接有软性部112。在插入部104的基端侧连接有手持操作部102。用户能够通过操作手持操作部102使弯曲部114弯曲而向上下左右改变前端硬质部116的朝向。在前端硬质部116设置有摄影光学系统130(摄像部)、照明部123及钳道口126等(参考图1～图3)。
在观察、处置时，通过操作部208(参考图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光和/或窄频带光(红色窄频带光、绿色窄频带光及蓝色窄频带光中的一个以上)。并且，通过送气送水按钮141的操作，从未图示的送水喷嘴放出清洗水，能够清洗摄影光学系统130的摄影透镜132(摄影透镜)及照明用透镜123A、123B。在前端硬质部116开口的钳道口126上连通有未图示的管路，在该管路中插通有用于摘除肿瘤等的未图示的处置器具，适当进退而对受检体实施所需的处置。
如图1～图3所示，在前端硬质部116的前端侧端面116A配设有摄影透镜132(摄像部)。在摄影透镜132的内侧配设有CMOS(Complementary Metal-Oxide Semiconductor，互补型金属氧化物半导体)型的成像元件134(成像元件、摄像部)、驱动电路136、AFE138(AFE：Analog Front End，模拟前端)，通过这些要件输出图像信号。成像元件134是彩色成像元件，具备多个像素，该像素由以特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)配置(2维排列)成矩阵状的多个受光元件构成。成像元件134的各像素包括微透镜、红(R)、绿(G)或蓝(B)的滤色器及光电转换部(光电二极管等)。摄影光学系统130能够根据红、绿、蓝3色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意1色或2色的像素信号生成图像。另外，在第1实施方式中，对成像元件134是CMOS型的成像元件的情况进行了说明，但成像元件134也可以是CCD(Charge Coupled Device，电荷耦合器件)型。另外，成像元件134的各像素还可以具备与紫色光源对应的紫色滤色器和/或与红外光源对应的红外用滤色器。
受检体(肿瘤部、病变部)的光学像通过摄影透镜132成像在成像元件134的受光面(摄像面)上而转换为电信号，经由未图示的信号电缆输出到处理器200而转换为视频信号。由此，在与处理器200连接的监视器400上显示观察图像。
并且，在前端硬质部116的前端侧端面116A，与摄影透镜132相邻地设置有照明部123的照明用透镜123A(可见光用)、123B(红外光用)。在照明用透镜123A、123B的内侧配设有后述的光导件170的射出端，该光导件170插通到插入部104、手持操作部102及通用电缆106，光导件170的入射端配置于光导件连接器108内。
<光源装置的结构>
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光入射到光导件170。光源310分别具备照射红色、绿色、蓝色的窄频带光的红色光源310R、绿色光源310G、蓝色光源310B，能够照射红色、绿色及蓝色的窄频带光。基于光源310的观察光的照度由光源控制部350控制，能够根据需要降低观察光的照度及停止照明。
光源310能够任意组合红色、绿色、蓝色的窄频带光来发光。例如，能够使红色、绿色、蓝色的窄频带光同时发光而将白色光(通常光)作为观察光进行照射，也能够通过使任意一个或者两个发光来照射窄频带光(特殊光)。光源310还可以具备照射紫色光(窄频带光的一例)的紫色光源、照射红外光(窄频带光的一例)的红外光源。并且，也可以通过照射白色光的光源和使白色光及各窄频带光透射的滤色器，将白色光或窄频带光作为观察光进行照射。
<光源的波长频带>
光源310可以是产生白色频带的光或作为白色频带的光产生多个波长频带的光的光源，也可以是产生比白色波长频带更窄的特定的波长频带的光的光源。特定的波长频带也可以是可见区域的蓝色频带或者绿色频带、或者可见区域的红色频带。在特定的波长频带为可见区域的蓝色频带或者绿色频带的情况下，也可以包含390nm以上且450nm以下、或530nm以上且550nm以下的波长频带，并且在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。并且，在特定的波长频带为可见区域的红色频带的情况下，也可以包含585nm以上且615nm以下、或610nm以上且730nm以下的波长频带，并且特定的波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
上述特定的波长频带的光可以在氧合血红蛋白和还原血红蛋白中包含吸光系数不同的波长频带，并且在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带内具有峰值波长。此时，特定的波长频带也可以包含400±10nm、440±10nm、470±10nm、或600nm以上且750nm以下的波长频带，并且在400±10nm、440±10nm、470±10nm、或600nm以上且750nm以下的波长频带内具有峰值波长。
并且，光源310产生的光也可以包含790nm以上且820nm以下、或905nm以上且970nm以下的波长频带，并且在790nm以上且820nm以下或905nm以上且970nm以下的波长频带内具有峰值波长。
并且，光源310也可以具备照射峰值为390nm以上且470nm以下的激励光的光源。此时，能够获取具有受检体(生物体)内的荧光物质发出的荧光的信息的医用图像(生物体内图像)。在获取荧光图像的情况下，也可以使用荧光法用染料(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙光源、LED光源(LED：Light-Emitting Diode，发光二极管)等)、波长、滤色器的有无等优选根据被摄体的种类、观察的目的等构成，并且在观察时优选根据被摄体的种类、观察的目的等组合和/或切换观察光的波长。在切换波长的情况下，例如也可以通过使配置于光源的前方且设置有透射或遮蔽特定波长的光的滤色器的圆板状的滤色器(旋转滤色器)旋转来切换照射的光的波长。
并且，在实施本发明时使用的成像元件并不限定于如成像元件134那样对各像素配设有滤色器的彩色成像元件，也可以是单色成像元件。在使用单色成像元件的情况下，能够依次切换观察光的波长，以面顺序(颜色顺序)进行拍摄。例如，可以在(蓝色、绿色、红色)之间依次切换射出的观察光的波长，也可以照射宽频带光(白色光)，通过旋转滤色器(红色、绿色、蓝色等)切换射出的观察光的波长。并且，也可以照射一个或多个窄频带光(绿色、蓝色等)，通过旋转滤色器(绿色、蓝色等)切换射出的观察光的波长。窄频带光也可以是波长不同的2个波长以上的红外光(第1窄频带光、第2窄频带光)。
通过将光导件连接器108(参考图1)与光源装置300连结，从光源装置300照射的观察光经由光导件170传输到照明用透镜123A、123B，从照明用透镜123A、123B照射到观察范围。
<处理器的结构>
根据图2对处理器200的结构进行说明。处理器200经由图像输入控制器202输入从内窥镜主体100输出的图像信号(动态图像和/或静止图像的图像信号)，在图像处理部204进行所需的图像处理并经由视频输出部206输出。由此，在监视器400(显示装置)上显示观察图像(生物体内图像)。并且，处理器200进行报告信息及分析、病变动态图像的分析等。这些处理在CPU210(CPU：Central Processing Unit，中央处理器)的控制下进行。即，CPU210具有作为动态图像获取部、报告信息获取部、报告信息分析部及动态图像保存部的功能。在存储部207中存储被摄体的图像(动态图像、静止图像)、获取的报告信息及其分析结果等(后述)。语音处理部209通过CPU210及图像处理部204的控制，从扬声器209A输出与关心区域的检测和/或与分类的结果对应的消息(语音)等。
并且，ROM211(ROM：Read Only Memory，只读存储器)是非易失性的存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204(图像处理装置、计算机)执行本发明所涉及的图像处理方法的程序的计算机能够读取的代码。RAM212(RAM：Random AccessMemory，随机存取存储器)是各种处理时的暂存用的存储元件，并且也能够用作图像获取时的缓冲器。
<图像处理部的功能>
图4是示出图像处理部204(医疗图像获取部、医疗图像分析处理部、医疗图像分析结果获取部)的功能结构的图。图像处理部204具有动态图像获取部204A(动态图像获取部)、静止图像获取部204B、报告信息获取部204C(报告信息获取部)、报告信息分析部204D(报告信息分析部)、动态图像保存部204E(动态图像保存部)及显示控制部204F(图像校正部)。报告信息分析部204D也作为医疗图像分析处理部进行动作。
并且，图像处理部204也可以具有特殊光图像获取部，该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像，获取具有特定的波长频带的信息的特殊光图像。此时，特定的波长频带的信号能够通过基于通常光图像中所包含的RGB(R：红、G：绿、B：蓝)或者CMY(C：青、M：品红、Y：黄)的颜色信息的运算来获得。
并且，图像处理部204也可以具备特征量图像生成部，并获取及显示作为医用图像(医疗图像)的特征量图像，该特征量图像生成部通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像和照射特定的波长频带的光而获得的特殊光图像中的至少一者的运算，生成特征量图像。
关于图像处理部204的基于这些功能的处理，将在后面详细叙述。另外，基于这些功能的处理在CPU210的控制下进行。
上述图像处理部204的功能能够使用各种处理器(processor)来实现。各种处理器例如包括作为执行软件(程序)来实现各种功能的通用的处理器的CPU(CentralProcessing Unit，中央处理单元)。并且，上述各种处理器还包括作为对图像处理特化的处理器的GPU(Graphics Processing Unit，图形处理单元)、作为FPGA(Field ProgrammableGate Array，现场可编程门阵列)等在制造后能够变更电路结构的处理器的可编程逻辑器件(Programmable Logic Device：PLD)。而且，作为具有为了执行ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)等特定的处理而专门设计的电路结构的处理器的专用电路等也包括在上述各种处理器中。
各部的功能可以通过一个处理器来实现，也可以通过相同种类或不同种类的多个处理器(例如，多个FPGA、或者CPU和FPGA的组合、或CPU和GPU的组合)来实现。并且，也可以由一个处理器实现多个功能。作为由一个处理器构成多个功能的例子，第1，有如下方式：如以图像处理装置主体、服务器等计算机为代表那样，由一个以上的CPU和软件的组合构成一个处理器，该处理器作为多个功能实现。第2，有如下方式：如以片上系统(System On Chip：SoC)等为代表那样，使用由一个IC(Integrated Circuit，集成电路)芯片来实现系统整体的功能的处理器。如此，各种功能使用一个以上的上述各种处理器来作为硬件结构而构成。而且，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。
在上述处理器或者电路执行软件(程序)时，将执行的软件的处理器(计算机)能够读取的代码存储在ROM(Read Only Memory)等非暂时性记录介质中，处理器参考该软件。存储在非暂时性记录介质中的软件包括用于执行图像的输入及被摄体的测量的程序。代码可以不记录在ROM，而是记录在各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用软件的处理时，例如RAM(Random Access Memory)被用作暂时性存储区域，并且例如也能够参考存储在未图示的EEPROM(Electronically Erasable and Programmable ReadOnly Memory，电可擦可编程只读存储器)中的数据。
<操作部的结构>
处理器200具备操作部208。操作部208具备未图示的操作模式设定开关等，能够设定观察光的波长(白色光或窄频带光，在窄频带光的情况下使用哪个窄频带光)。并且，操作部208包括未图示的键盘及鼠标，用户能够通过这些设备进行摄影条件、显示条件及动态图像的保存条件等的设定操作。这些设定操作可以通过未图示的脚踏开关进行，也可以通过语音、视线、手势等进行。另外，操作模式的设定也可以如上所述那样对手持操作部102的功能按钮143(参考图1)分配操作模式设定功能来进行。
<存储部的结构>
存储部207(记录装置)构成为包含各种光磁记录介质、半导体存储器等非暂时性记录介质，如图5所示，存储(保存)检查动态图像207A、报告信息207B、报告信息分析结果207C及病变动态图像207D。这些图像及信息通过经由操作部208的操作、CPU210和/或图像处理部204的控制而显示在监视器400上。
除了上述图像以外，也可以在存储部207(记录装置)中存储关于医用图像(医疗图像)中所包含的应关注的区域即关注区域(关心区域)和应关注的对象的有无中的任意一个或者两者的分析结果。此时，图像处理部204(医疗图像分析处理部、医疗图像分析结果获取部)能够从存储部207获取这些分析结果并显示在监视器400上。
<显示装置的结构>
监视器400(显示装置)通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示在检查中获取的动态图像和/或静止图像、病变动态图像、摄影条件设定画面、显示条件设定画面、报告信息、示出报告信息的分析结果(提取结果)的信息等。并且，监视器400具有用于进行摄影条件设定操作和/或显示条件设定操作的未图示的触摸面板。
<图像处理方法>
对使用内窥镜系统10的图像处理方法进行说明。图6是示出第1实施方式所涉及的图像处理方法的处理的流程图。
<检查动态图像的获取>
动态图像获取部204A获取(拍摄)基于内窥镜的检查动态图像(步骤S100：动态图像获取工序)。在检查中，将插入部104插入到受检体内，通过手持操作部102的操作(推拉、向上下左右弯曲等)使前端硬质部116位于所期望的部位。动态图像的获取开始及结束可以不根据用户操作而自动地进行，也可以根据用户对摄影按钮144等的操作来进行。检查动态图像的获取可以在插入部104的插入时进行，也可以在拉拔时进行。获取的检查动态图像作为检查动态图像207A保存在存储部207中。并且，静止图像获取部204B自动地或根据用户的操作拍摄静止图像，并保存在存储部207中。
<报告信息的获取>
报告信息获取部204C获取与在步骤S100中获取的检查动态图像对应的检查的报告信息(步骤S110：报告信息获取工序)。在步骤S110中获取的报告信息包含在与检查动态图像对应的检查中获取的静止图像的被摄体信息和静止图像的获取时间信息中的至少一者。在步骤S110中，用户可以根据在步骤S100中获取的检查动态图像、静止图像等获取使用内窥镜系统10制作并存储在存储部207中的报告信息207B(此时，能够在图像处理部204设置报告制作辅助功能)，也可以由通信控制部205及报告信息获取部204C从未图示的外部服务器、数据库等中获取另行制作的报告的信息。并且，报告信息可以包含检查信息。检查信息是指例如患者信息、医师信息、设备信息、病变信息(位置、尺寸、内窥镜观察结果、治疗状况、病理检查结果等)、手指的技术信息(插入时间和/或拔出时间、镇静剂、处置器具、染料、[EE(Image Enhanced Endoscopy：图像增强内窥镜)的使用状况等)等。检查信息电可以是用户输入的信息。
在步骤S110中，能够将图像中显示的被摄体的信息(被摄体的位置、大小、种类等)用作“被摄体信息”。并且，能够将拍摄图像的绝对时刻(日本标准时间等)、从拍摄图像的帧的动态图像的拍摄开始起的经过时间、与拍摄时间对应的计数器的计数数等能够在动态图像中确定病变图像的定时的信息用作“获取时间信息”。
在上述报告信息中所包含的“静止图像”中还包含很多未拍摄到病变(关心区域)的图像。因此，在保存静止图像的获取前后的情况下，有时存在未拍摄到病变的情况。因此在第1实施方式中，如以下说明那样从报告信息中提取病变图像的信息，并根据分析结果(提取结果)保存病变动态图像，该病变动态图像是关于包含病变图像的时间范围的动态图像。
<报告信息的分析>
报告信息分析部204D从在步骤S110中获取的报告信息中提取病变图像的被摄体信息和病变图像的获取时间信息中的至少一者(步骤S120：报告信息分析工序)。信息的提取例如能够通过报告信息获取部204C获取包含表示静止图像是否为病变图像的病变信息的报告信息，报告信息分析部204D根据获取的病变信息提取病变图像的被摄体信息和/或获取时间信息来进行。这些病变信息、病变图像的被摄体信息及获取时间信息可以是用户通过操作部208输入到报告中的信息。报告信息分析部204D也可以从报告信息中所包含的检查信息中提取病变图像的被摄体信息和/或获取时间信息。
<病变动态图像的保存>
动态图像保存部204E根据上述报告信息的分析结果(提取结果)，将“关于检查动态图像中包含病变图像的时间范围的动态图像”即病变动态图像作为病变动态图像207D保存在存储部207中(步骤S130：动态图像保存工序)。动态图像保存部204E能够根据步骤S120中的分析(提取)的结果来确定是否保存病变动态图像。具体而言，也可以在报告信息中包含病变图像和/或病变信息的情况下保存病变动态图像，在不包含的情况下判断为“检查动态图像中不包含病变(关心区域)”并中止病变动态图像的保存处理。例如，如图7的(a)部分所示那样在时刻t1～t6获取的检查动态图像1010的阴影部分(时刻t2～t3及时刻t4～t5)在拍摄到病变的时间范围内的情况下，如图7的(c)部分所示，动态图像保存部204E能够将检查动态图像1010作为病变动态图像(关于包含病变图像的时间范围的动态图像)进行保存。相对于此，如图7的(b)部分所示那样在检查动态图像1020中完全未拍摄到病变的情况下，如图7的(c)部分所示，动态图像保存部204E可以不保存检查动态图像1020(或者，删除暂时保存的图像)。
<与特定的病变的检测、检查内容等对应的病变动态图像的保存>
关于病变动态图像，除了如上所述那样针对发现病变的检查进行保存以外，也可以根据报告信息的获取结果及分析结果，针对发现特定的病变(有病率低的病变、难以检测的病例等)的检查进行保存。例如，在病变的尺寸小的情况下，或者病变的形状平坦且几乎没有隆起的情况下，能够将病变动态图像作为“难以检测的病变”进行保存。并且，例如在进行了病理活检的情况下(此时，认为“采取活检的病变难以通过内窥镜观察结果来判断”)、或者在病理活检的结果和内窥镜观察结果中存在不匹配的情况下(例如，在内窥镜观察结果中成为“疑似腺瘤”而采取了活检，但病理结果为增生息肉等)，能够作为“难以诊断的病变”来保存病变动态图像。而且，如后述那样，在将病变动态图像作为输入通过机械学习来构建学习器的情况下，也可以根据学习器的利用目的保存病变动态图像。例如，可以考虑在构建以筛选中的病变检测(拣出)为目的的学习器的情况下，仅保存筛选目的的检查(ESD(Endoscopic Submucosal Dissection：内窥镜的粘膜底层剥离术)等手指的技术动态图像在机械学习等中的利用价值低)、在构建以癌症的阶段判别(粘膜内癌、进行癌等)为目的的学习器的情况下，仅保存针对ESD、EMR(EMR：Endoscopic Mucosal Resection，内窥镜粘膜切除术)等治疗目的的检查的病变动态图像等。
<保存处理的方式>
步骤S100～S130中的处理例如能够通过以下的方式进行。图8是示出病变动态图像的保存中的、在内窥镜系统10的各部及处理中使用的信息的关系的图。例如，如图8的(a)部分所示，动态图像获取部204A将在步骤S100中获取的检查动态图像暂时性地保存在RAM212中，动态图像保存部204E能够将所需的部分作为病变动态图像207D保存在存储部207中(关于具体的保存图案，参考后述的图9～图12)。并且，如图8的(b)部分所示，动态图像获取部204A(及动态图像保存部204E)也可以将在步骤S100中获取的检查动态图像作为病变动态图像207D保存在存储部207中，动态图像保存部204E删除不需要的部分。这样保存所需的部分(或者删除不需要的部分)的处理例如能够通过如下方法进行：报告信息分析部204D(报告信息分析部)将被摄体信息与检查动态图像进行匹配，确定检查动态图像中包含病变图像的时间范围，动态图像保存部204E保存所确定的时间范围。并且，即使在没有被摄体信息的情况下，只要能够通过报告信息的分析提取病变图像的获取时间信息，则也能够保存病变动态图像。
<病变动态图像的保存图案>
以下对病变动态图像的保存图案(表示最终的保存方式，而不管通过图8中的哪个图案进行处理)进行说明。通过这些图案中的哪一个进行处理可以不根据用户的指示而由图像处理部204确定，也可以根据经由操作部208的用户的指示来确定。
(图案1)
动态图像保存部204E能够将检查动态图像的在时间上分离的部分作为另一动态图像进行保存。例如，如图9的(a)部分所示，能够将原来的检查动态图像1010中拍摄到病变的时刻t2～t3为止作为一个病变动态图像1010A保存在存储部207中，将拍摄到病变的时刻t4～t5为止作为另一病变动态图像1010B进行保存。此时，如图9的(b)部分所示，可以保存(时刻t2-Δt)～(时刻t3+Δt)的病变动态图像1010C和/或(时刻t4-Δt)～(时刻t5+Δt)的病变动态图像1010D(Δt的期间是未拍摄到病变的期间。Δt的长度能够考虑对动态图像的数据量的限制等来设定)。对于Δt的期间，可以使用原来的检查动态图像的一部分，也可以使用通过图像处理制作的图像。
另外，动态图像保存部204E除了将在时间上分离的部分作为另一动态图像进行保存以外，或者取而代之，可以将拍摄到不同的病变的时间范围作为独立的动态图像进行保存。
(图案2)
动态图像保存部204E能够将检查动态图像的在时间上分离的部分作为一个动态图像进行保存。例如，能够将图9的(a)部分所示的病变动态图像1010A、1010B汇总，如图10的(a)部分所示，作为一个病变动态图像1040进行保存。此时，也可以如图10的(b)部分所示的病变动态图像1050那样，在病变动态图像1010A、1010B的部分之间设置长度Δt的期间(未拍摄到病变的期间)。
<检查动态图像与病变动态图像的关联>
如上所述，在保存病变动态图像的情况下，若考虑图像的管理、利用等，则优选将原来的检查动态图像与病变动态图像建立关联。例如，如图9的(a)部分所示那样在将检查动态图像1010的一部分作为独立的病变动态图像1010A、1010B进行保存的情况下，通过如图11所示那样将病变动态图像1010A、1010B保存在病变动态图像207D的保存区域(存储部207)中的相同文件夹1010F(例如在按每次检查或者每个检查动态图像制作的文件夹中，保存了检查动态图像1010的文件夹)中，能够使这些图像建立关联(图11示出伴随病变动态图像1010A、1010B的保存而删除了原来的检查动态图像1010的状态)。即使在保存在不同的文件夹中的情况下，例如通过在最终的病变动态图像的文件的开头部分记录原来的检查动态图像和/或其他病变动态图像的识别信息，也能够建立关联。
<通过改变帧速率等来削减数据容量>
在针对检查动态图像保存病变动态图像的情况下，动态图像保存部204E可以通过对检查动态图像实施针对包含病变图像的时间范围以外降低帧速率的处理和/或针对时间范围以外降低分辨率的处理，保存与检查动态图像相比减少数据容量的小容量动态图像。例如，如图12所示，动态图像保存部204E通过对原来的检查动态图像1010实施将未拍摄到病变的期间(除了包含病变图像的时间范围以外：在图12中为时刻t1～t2、t3～t4、t5～t6)的帧速率(或者分辨率)从High降低至Low的处理，能够将与原来的检查动态图像1010相比减少数据容量的小容量动态图像1011(小容量动态图像)作为病变动态图像进行保存。通过这样的处理，能够有效地保存病变动态图像。另外，不仅是除了包含病变图像的时间范围以外，对于包含病变图像的时间范围，也可以根据图像内容改变帧速率和/或分辨率。例如，在包含有病率低的病变、难以检测的病例等特定的病变的情况下，与其他情况相比，能够相对提高帧速率和/或分辨率。此时，能够将“与特定的病变的检测、检查内容等对应的病变动态图像的保存”项中与上述相同的情况设为“特定的病变”。并且，在同项中，如上所述，在根据机械学习的目的针对特定种类的检查保存病变动态图像的情况下，与针对其他检查保存病变动态图像的情况相比，可以相对提高帧速率和/或分辨率。
如上所说明，在第1实施方式所涉及的内窥镜系统10中，能够有效地保存病变动态图像。
<将病变动态图像作为输入的学习器的构建>
将通过上述处理保存的病变动态图像作为输入，能够生成病变的自动检测用的学习器。例如，如图13的(a)部分所示，将病变动态图像207D作为学习数据输入，学习器构建部204G能够构建学习器204H。在构建学习器204H时，也可以将是病变的内容和/或病变的种类等作为标签附加在图像上作为教师数据。另外，可以将学习器构建部2046、学习器204H作为内窥镜系统10(图像处理部204)的构成要件，也可以使用独立的装置。如上所述，在内窥镜系统10中保存关于检查动态图像中包含病变图像的时间范围的动态图像即病变动态图像，因此能够将该病变动态图像作为输入而高效地进行学习来构建学习器。
<使用深层学习算法的学习器的构建>
学习器构建部204G可以构建使用深层学习的手法的学习器。例如，可以构建如下的学习器：通过基于深层学习算法对病变动态图像进行使用了深层学习(Deep learning)的图像分析处理，分析输入图像中是否包含病变。深层学习算法是卷积神经网络(convolutional neuronetwork)的手法，即经过卷积层及池化层的重复、全结合层、输出层，识别图像中是否包含病变(关心区域)的算法。
<病变的检测>
如上所述，使用构建的学习器204H，能够从检查动态图像中检测病变。图13的(b)部分示出将在检查中获取的检查动态图像207A输入到学习器204H，获得针对病变(关心区域)的检测结果207E的情况。作为通过学习器204H检测的病变的例子，能够举出息肉、癌、结肠憩室、炎症、治疗痕(EMR瘢痕(EMR：Endoscopic Mucosal Resection)、ESD瘢痕(ESD：Endoscopic Submucosal Dissection)、剪切部位等)、出血点、穿孔、血管异型性等。
<病变的分类>
也可以使用学习器204H对从检查动态图像207A检测出的病变进行分类。作为分类的例子，能够举出息肉的分类(肿瘤性或非肿瘤性)、癌症的阶段诊断、管腔内的当前位置(若是上部则为咽喉、食道、胃、十二指肠等，若是下部则为盲肠、上行结肠、横行结肠、下行结肠、S状结肠、直肠等)等。病变的分类也可以与检测一体地进行。
<图像的显示例>
在内窥镜系统10中，显示控制部204F能够使检查动态图像207A、病变动态图像207D、自动地或根据用户的操作进行拍摄的静止图像等图像显示在监视器400(显示装置)上。也可以在显示图像时进行从图像中检测病变的处理，根据检测结果识别显示病变。该检测处理能够通过在图像处理部204设置利用了公知的CAD系统(CAD：Computer AidedDiagnosis，计算机辅助诊断)的检测部、上述学习器等来进行。
如图14的例子所示，显示控制部204F能够使监视器400显示第1图像显示区域500、第2图像显示区域510、患者信息显示区域520。在图14的例子中，在第1图像显示区域500显示图像502，在图像502中检测出息肉504A、504B。在第2图像显示区域510显示在与图像502不同的时刻拍摄的图像512～518。并且，在图14的例子中，针对息肉504A、504B分别显示框506A、506B。如图14所示，显示控制部204F在第1图像显示区域500的第2象限部分的边缘显示框506A，在第4象限部分的边缘显示框506B(第1～第4象限以第1图像显示区域500的中心为基准)。如图14所示，通过显示框506A、506B，用户能够容易地识别息肉504A、504B。并且，由于框506A、506B显示在第1图像显示区域500的边缘，因此框506A、506B不会遮挡图像502，用户能够顺利地进行观察、诊断。
图15、图16是示出图像显示的另一例子的图。如图15所示，通过在图像503中利用框506D包围息肉504C，能够明确地提示息肉504C的位置。此时，在息肉504C的检测时，如图15所示强调(例如利用粗线)显示框506C，若从检测起经过时间(例如几秒左右)，则如图16所示降低强调程度进行显示(例如，如框506D那样利用细线进行显示，或者使显示逐渐变暗，逐渐消失等)，由此能够使框的显示不妨碍观察、诊断。
上述框能够根据检测出的息肉(病变)的数量、位置、大小等进行显示。例如，在图14的方式中，在图像502的第1、第3象限部分检测出息肉(病变)的情况下，能够在第1图像显示区域500的第1、第3象限部分的边缘显示框。并且，在图15、图16的方式中，在检测出多个息肉的情况下，能够针对各息肉显示与图15、图16的例子相同的框。并且，这些框的颜色、亮度、粗细等显示条件可以根据用户的操作来设定，也可以不根据用户的操作而由显示控制部204F设定。另外，在监视器400上显示动态图像的情况下，能够连续地(例如，针对动态图像的各帧)进行病变的检测，根据检测结果改变框的数量、位置及大小等来进行显示。
(附记)
除了上述实施方式的各方式以外，以下记载的结构也包含在本发明的范围内。
(附记1)
一种医疗图像处理装置，其中，医疗图像分析处理部根据医疗图像的像素的特征量，检测应关注的区域即关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，医疗图像分析处理部根据医疗图像的像素的特征量，检测应关注的对象的有无，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置获取该医疗图像的分析结果，
分析结果是医疗图像中所包含的应关注的区域即关注区域和应关注的对象的有无中的任意一个或者两者。
(附记4)
一种医疗图像处理装置，其中，医疗图像是照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像。
(附记5)
一种医疗图像处理装置，其中，医疗图像是照射特定的波长频带的光而获得的图像，
特定的波长频带是比白色波长频带窄的频带。
(附记6)
一种医疗图像处理装置，其中，特定的波长频带是可见区域的蓝色或者绿色频带。
(附记7)
一种医疗图像处理装置，其中，特定的波长频带包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带，并且特定的波长频带的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。
(附记8)
一种医疗图像处理装置，其中，特定的波长频带是可见区域的红色频带。
(附记9)
一种医疗图像处理装置，其中，特定的波长频带包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带，并且特定的波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
(附记10)
一种医疗图像处理装置，其中，特定的波长频带在氧合血红蛋白和还原血红蛋白中包含吸光系数不同的波长频带，并且特定的波长频带的光在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带内具有峰值波长。
(附记11)
一种医疗图像处理装置，其中，特定的波长频带包含400±10nm、440±10nm、470±10nm、或600nm以上且750nm以下的波长频带，并且特定的波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上且750nm以下的波长频带内具有峰值波长。
(附记12)
一种医疗图像处理装置，其中，医疗图像是拍摄生物体内的生物体内图像，
生物体内图像具有生物体内的荧光物质发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，通过将峰值为390以上且470nm以下的激励光照射到生物体内来获得荧光。
(附记14)
一种医疗图像处理装置，其中，医疗图像是拍摄生物体内的生物体内图像，
特定的波长频带是红外光的波长频带。
(附记15)
一种医疗图像处理装置，其中，特定的波长频带包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带，并且特定的波长频带的光在790nm以上且820nm以下或905nm以上且970nm以下的波长频带内具有峰值波长。
(附记16)
一种医疗图像处理装置，其中，医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像，获取具有特定的波长频带的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，特定的波长频带的信号通过基于通常光图像中所包含的RGB或者CMY的颜色信息的运算来获得。
(附记18)
一种医疗图像处理装置，其具备特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的通常光图像和照射特定的波长频带的光而获得的特殊光图像中的至少一者的运算，生成特征量图像，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，其具备：
附记1至18中任一项所述的医疗图像处理装置；及
内窥镜，照射白色波长频带的光或特定的波长频带的光中的至少一者而获取图像。
(附记20)
一种诊断辅助装置，其具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务辅助装置，其具备附记1至18中任一项所述的医疗图像处理装置。
以上对本发明的实施方式及其他方式进行了说明，但本发明并不限定于上述方式，在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
10-内窥镜系统，100-内窥镜主体，102-手持操作部，104-插入部，106-通用电缆，108-光导件连接器，112-软性部，114-弯曲部，116-前端硬质部，116A-前端侧端面，123-照明部，123A-照明用透镜，123B-照明用透镜，126-钳道口，130-摄影光学系统，132-摄影透镜，134-成像元件，136-驱动电路，138-AFE，141-送气送水按钮，142-吸引按钮，143-功能按钮，144-摄影按钮，170-光导件，200-处理器，202-图像输入控制器，204-图像处理部，204A-动态图像获取部，204B-静止图像获取部，204C-报告信息获取部，204D-报告信息分析部，204E-动态图像保存部，204F-显示控制部，204G-学习器构建部，204H-学习器，205-通信控制部，206-视频输出部，207-存储部，207A-检查动态图像，207B-报告信息，207C-报告信息分析结果，207D-病变动态图像，207E-检测结果，208-操作部，209-语音处理部，209A-扬声器，210-CPU，211-ROM，212-RAM，300-光源装置，310-光源，310B-蓝色光源，310G-绿色光源，310R-红色光源，330-光圈，340-聚光透镜，350-光源控制部，400-监视器，500-第1图像显示区域，502-图像，503-图像，504A-息肉，504B-息肉，504C-息肉，506A-框，506B-框，506C-框，506D-框，510-第2图像显示区域，512-图像，514-图像，516-图像，518-图像，520-患者信息显示区域，1010-检查动态图像，1010A-病变动态图像，1010B-病变动态图像，1010C-病变动态图像，1010D-病变动态图像，1010F-文件夹，1011-小容量动态图像，1020-检查动态图像，1040-病变动态图像，1050-病变动态图像，S100～S130-图像处理方法的各步骤。

Claims (6)

1.一种图像处理装置，对基于内窥镜的检查时拍摄到的检查动态图像进行处理，其具备：
动态图像获取部，获取所述检查动态图像；
报告信息获取部，从通过所述检查制作的且至少包含在所述检查中获取的静止图像、表示所述静止图像是否为病变图像的病变信息、拍摄到所述静止图像中的被摄体的被摄体信息及能够确定在所述检查动态图像中获取所述静止图像的定时的获取时间信息在内的报告中至少获取所述病变信息、所述被摄体信息及所述获取时间信息；
报告信息分析部，根据由所述报告信息获取部获取的所述病变信息从由所述报告信息获取部获取的信息中提取所述病变图像的所述被摄体信息和/或所述获取时间信息；及
动态图像保存部，在提取了所述病变图像的所述被摄体信息和/或所述获取时间信息的情况下，根据提取的所述病变图像的所述被摄体信息和/或所述获取时间信息，保存关于所述检查动态图像中包含所述病变图像的时间范围的动态图像即病变动态图像。
2.根据权利要求1所述的图像处理装置，其中，
所述报告信息分析部在提取了所述病变图像的所述被摄体信息的情况下，通过将所述病变图像的所述被摄体信息与所述检查动态图像进行匹配，来确定所述检查动态图像中包含所述病变图像的所述时间范围，
所述动态图像保存部针对确定的所述时间范围保存所述病变动态图像。
3.根据权利要求1或2所述的图像处理装置，其中，
所述动态图像保存部将所述检查动态图像中拍摄到不同的病变的时间范围作为独立的动态图像进行保存。
4.根据权利要求1或2所述的图像处理装置，其中，
在针对所述检查动态图像保存所述病变动态图像的情况下，所述动态图像保存部通过对所述检查动态图像实施针对所述时间范围以外降低帧速率的处理和/或针对所述时间范围以外降低分辨率的处理，来保存与所述检查动态图像相比减少了数据容量的小容量动态图像。
5.一种内窥镜系统，其具备：
权利要求1至4中任一项所述的图像处理装置；
内窥镜，该内窥镜具有插入部及手持操作部，其中，所述插入部插入到受检体且具有前端硬质部、与所述前端硬质部的基端侧连接的弯曲部、及与所述弯曲部的基端侧连接的软性部，所述手持操作部与所述插入部的基端侧连接；以及
摄像部，该摄像部具有摄影透镜及成像元件，其中，所述摄影透镜设置于所述前端硬质部并使所述受检体的光学像成像，所述成像元件通过所述摄影透镜使所述光学像成像，
所述动态图像获取部获取通过所述摄像部进行拍摄的所述检查动态图像。
6.一种图像处理方法，对基于内窥镜的检查时拍摄到的检查动态图像进行处理，其包括：
动态图像获取工序，获取所述检查动态图像；
报告信息获取工序，从通过所述检查制作的且至少包含在所述检查中获取的静止图像、表示所述静止图像是否为病变图像的病变信息、拍摄到所述静止图像中的被摄体的被摄体信息及能够确定在所述检查动态图像中获取所述静止图像的定时的获取时间信息在内的报告中至少获取所述病变信息、所述被摄体信息及所述获取时间信息；
报告信息分析工序，根据在所述报告信息获取工序中获取的所述病变信息从在所述报告信息获取工序中获取的信息中提取所述病变图像的所述被摄体信息和/或所述获取时间信息；及
动态图像保存工序，在提取了所述病变图像的所述被摄体信息和/或所述获取时间信息的情况下，根据提取的所述病变图像的所述被摄体信息和/或所述获取时间信息，保存关于所述检查动态图像中包含所述病变图像的时间范围的动态图像即病变动态图像。
CN201980023991.6A 2018-04-13 2019-04-05 图像处理装置、内窥镜系统及图像处理方法 Active CN111936032B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018077661 2018-04-13
JP2018-077661 2018-04-13
PCT/JP2019/015134 WO2019198637A1 (ja) 2018-04-13 2019-04-05 画像処理装置、内視鏡システム、及び画像処理方法

Publications (2)

Publication Number Publication Date
CN111936032A CN111936032A (zh) 2020-11-13
CN111936032B true CN111936032B (zh) 2024-03-26

Family

ID=68164075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980023991.6A Active CN111936032B (zh) 2018-04-13 2019-04-05 图像处理装置、内窥镜系统及图像处理方法

Country Status (5)

Country Link
US (1) US11992178B2 (zh)
EP (1) EP3777644A4 (zh)
JP (1) JP7170032B2 (zh)
CN (1) CN111936032B (zh)
WO (1) WO2019198637A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210307597A1 (en) * 2018-07-23 2021-10-07 The Regents Of The University Of California Oral and oropharyngeal cancer screening system and methods of use
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US20220198742A1 (en) * 2019-09-20 2022-06-23 Hoya Corporation Processor for endoscope, program, information processing method, and information processing device
JP7441452B2 (ja) * 2019-10-28 2024-03-01 国立大学法人鳥取大学 教師データ生成方法、学習済みモデル生成方法、および発病予測方法
WO2021075418A1 (ja) * 2019-10-18 2021-04-22 国立大学法人鳥取大学 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP2021065293A (ja) * 2019-10-18 2021-04-30 国立大学法人鳥取大学 画像処理方法、画像処理装置、画像処理プログラム、教師データ生成方法、教師データ生成装置、教師データ生成プログラム、学習済みモデル生成方法、学習済みモデル生成装置、診断支援方法、診断支援装置、診断支援プログラム、およびそれらのプログラムを記録した記録媒体
WO2021144951A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
WO2021224981A1 (ja) * 2020-05-08 2021-11-11 オリンパス株式会社 内視鏡システム及び照明制御方法
JP7377769B2 (ja) * 2020-06-08 2023-11-10 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023166647A1 (ja) * 2022-03-03 2023-09-07 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2012014129A (ja) * 2010-07-05 2012-01-19 Olympus Corp 内視鏡装置及び内視鏡装置を用いた検査方法
JP2014147483A (ja) * 2013-01-31 2014-08-21 Olympus Corp 内視鏡装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5019589B2 (ja) 2007-03-28 2012-09-05 富士フイルム株式会社 カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の作動方法
JP5378612B2 (ja) * 2011-05-30 2013-12-25 オリンパスメディカルシステムズ株式会社 医療情報記録装置
JP2014042727A (ja) 2012-08-28 2014-03-13 Fujifilm Corp 医療画像記録装置及びその記録方法並びに医療画像記録プログラム
JP6242072B2 (ja) 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
CN105142493A (zh) 2013-08-30 2015-12-09 奥林巴斯株式会社 图像管理装置
CN111278348A (zh) * 2017-06-09 2020-06-12 株式会社Ai医疗服务 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质
JP7267608B2 (ja) * 2017-12-28 2023-05-02 アイリス株式会社 口内撮影装置、医療装置及びプログラム
CN113015476B (zh) * 2018-10-19 2024-09-24 吉温成象有限公司 用于生成和显示体内图像流的研究的系统和方法
JP7246912B2 (ja) * 2018-12-18 2023-03-28 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
KR102140402B1 (ko) * 2019-09-05 2020-08-03 주식회사 루닛 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
CN101912251A (zh) * 2007-06-06 2010-12-15 奥林巴斯医疗株式会社 内窥镜图像处理装置
JP2012014129A (ja) * 2010-07-05 2012-01-19 Olympus Corp 内視鏡装置及び内視鏡装置を用いた検査方法
JP2014147483A (ja) * 2013-01-31 2014-08-21 Olympus Corp 内視鏡装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Also Published As

Publication number Publication date
CN111936032A (zh) 2020-11-13
WO2019198637A1 (ja) 2019-10-17
EP3777644A1 (en) 2021-02-17
US20210012495A1 (en) 2021-01-14
EP3777644A4 (en) 2021-09-22
JPWO2019198637A1 (ja) 2021-04-15
JP7170032B2 (ja) 2022-11-11
US11992178B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111936032B (zh) 图像处理装置、内窥镜系统及图像处理方法
US20210235980A1 (en) Medical-use image processing device, endoscope system, and medical-use image processing method
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP2020069300A (ja) 医療診断支援装置、内視鏡システム、及び医療診断支援方法
US20200170484A1 (en) Diagnosis support system, endoscope system, processor and diagnosis support method
CN111065314B (zh) 诊断支持系统、内窥镜系统、处理器及诊断支持方法
CN117481579A (zh) 内窥镜系统及其工作方法
US11450079B2 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
CN113453607B (zh) 医用图像处理装置及方法
JP7162670B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
CN114554937A (zh) 内窥镜系统、控制程序及显示方法
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP7470776B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021117330A1 (ja) 内視鏡システム、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant