CN111526773B - 内窥镜图像获取系统及方法 - Google Patents

内窥镜图像获取系统及方法 Download PDF

Info

Publication number
CN111526773B
CN111526773B CN201880083804.9A CN201880083804A CN111526773B CN 111526773 B CN111526773 B CN 111526773B CN 201880083804 A CN201880083804 A CN 201880083804A CN 111526773 B CN111526773 B CN 111526773B
Authority
CN
China
Prior art keywords
image
wavelength
unit
images
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880083804.9A
Other languages
English (en)
Other versions
CN111526773A (zh
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111526773A publication Critical patent/CN111526773A/zh
Application granted granted Critical
Publication of CN111526773B publication Critical patent/CN111526773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供在收集图像时容易地进行图像观察的内窥镜图像获取系统及方法。内窥镜图像获取系统具备波长模式变更部，该波长模式变更部改变向患者体腔内的被观察区域照射的照射光或来自被观察区域的返回光的波长模式。以规定的帧率拍摄观察用的波长模式的图像，当接受到获取指示时，依次拍摄各不相同的多个波长模式的图像。使各不相同的多个波长模式的图像存储于存储部，将观察用的波长模式以外的波长模式的图像设为不显示。

Description

内窥镜图像获取系统及方法
技术领域
本发明涉及一种内窥镜图像获取系统及方法，特别是涉及一种收集用于学习诊断内窥镜图像的学习算法的学习用图像的技术。
背景技术
已知有一种利用计算机自动检测或自动鉴别内窥镜图像上的病变而进行诊断的AI(Artificial Intelligence)技术。特别是通过使用神经网络等学习算法，能够进行高精度的诊断。另一方面，在学习算法的开发中，需要收集学习用图像。
另外，在内窥镜诊断中，除通常进行的白色光观察外，还存在NBI(Narrow BandImaging，注册商标)、BLI(Blue Laser Imaging，注册商标)等特殊光观察。
为了收集这些学习用图像，需要在多个光源模式下对一个病变拍摄图像。因此，医生每次发现病变都要重复光源的切换操作和摄影操作。其结果，存在医生的负担增加、检查时间增加这样的问题。
针对这种问题，专利文献1中公开了一种同时拍摄反射光和荧光的荧光观察装置，其具备：反射光摄像部，其拍摄来自光源部的频带光在被摄体上的反射光；以及荧光摄像部，其拍摄由两种以上的频带光分别产生的不同频带的多个荧光。
现有技术文献
专利文献
专利文献1：日本特开2016－202411号公报
发明内容
发明要解决的技术课题
专利文献1中记载的荧光观察装置使按每一帧不同频带的荧光图像显示于显示部。但是，当显示出的颜色频繁变化时，存在医生难以进行图像观察这样的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种在收集图像时容易地进行图像观察的内窥镜图像获取系统及方法。
用于解决技术课题的手段
为了达到上述目的，内窥镜图像获取系统的一方面是一种内窥镜图像获取系统，具备：照射部，其向患者体腔内的被观察区域照射照射光；摄影部，其接受来自被观察区域的返回光并拍摄被观察区域的图像；显示控制部，其使拍摄的图像依次显示于显示部；波长模式变更部，其改变照射光或返回光的波长模式；接受部，其接受图像的获取指示；摄影控制部，其以规定的帧率拍摄观察用的波长模式的图像，当接受到获取指示时，该摄影控制部依次拍摄各不相同的多个波长模式的图像；以及存储控制部，其使各不相同的多个波长模式的图像存储于存储部，显示控制部将观察用的波长模式以外的波长模式的图像设为不显示。
根据本方面，由于设为了以规定的帧率拍摄观察用的波长模式的图像，当接受到获取指示时，依次拍摄各不相同的多个波长模式的图像，此时，使各不相同的多个波长模式的图像存储于存储部，将观察用的波长模式以外的波长模式的图像设为不显示，因此能够收集各不相同的多个波长模式的图像，而且能够容易地进行图像观察。
优选的是，显示控制部取代显示观察用的波长模式以外的波长模式的图像，而显示已拍摄的观察用的波长模式的图像中的最新图像或比最新图像早规定数拍摄的图像。由此，仅显示观察用的波长模式的图像，因此能够容易地进行图像观察。
优选的是，包括插值图像制作部，其根据包括拍摄的观察用的波长模式的图像中的最新图像或比最新图像早规定数拍摄的图像在内的多个图像制作插值图像，显示控制部取代显示观察用的波长模式以外的波长模式的图像，而显示插值图像。由此，仅显示观察用的波长模式的图像，因此能够容易地进行图像观察。
优选的是，照射部具备多个光源，波长模式变更部选择多个光源中点亮的光源而改变照射光的波长模式。由此，能够适当地改变照射光的波长模式。
优选的是，照射部具备多个光源，波长模式变更部改变多个光源的光量比率而改变照射光的波长模式。由此，能够适当地改变照射光的波长模式。
优选的是，摄影部具备限制透射的光的波长频带的滤波器，波长模式变更部控制滤波器而改变返回光的波长模式。由此，能够适当地改变返回光的波长模式。
优选的是，各不相同的多个波长模式的图像包括观察用的波长模式的图像，存储控制部使观察用的波长模式的图像存储于存储部的第一存储区域，使观察用的波长模式以外的波长模式的图像存储于存储部的与第一存储区域不同的第二存储区域。由此，能够使诊断用图像和学习用图像存储于存储部的各不相同的区域。此外，存储于存储部的各不相同的区域也包括具备多个存储部、并使诊断用图像和学习用图像存储于各不相同的存储部的情况。
优选的是，存储控制部使图像与拍摄图像时的波长模式的信息关联存储于存储部。由此，能够收集与波长模式的信息关联的学习用图像。
优选的是，具备波长模式选择部，其供用户选择观察用的波长模式，摄影控制部在选择的波长模式下以规定的帧率拍摄图像。由此，能够以期望的波长模式进行观察。
优选的是，具备顺序选择部，其供用户选择依次拍摄各不相同的多个波长模式的图像时的多个波长模式的顺序，摄影控制部按照选择的顺序依次拍摄各不相同的多个波长模式的图像。由此，能够从期望的图像开始依次进行拍摄。
优选的是，具备存储图像选择部，其供用户选择各不相同的多个波长模式的图像中的存储于存储部的图像，存储控制部使选择的图像存储于存储部。由此，能够仅使需要的图像存储于存储部。
优选的是，具备自动选择部，其自动选择各不相同的多个波长模式的图像中的存储于存储部的图像，存储控制部使自动选择的图像存储于存储部。由此，能够仅使期望的图像存储于存储部。
优选的是，具备判定部，其在依次拍摄各不相同的多个波长模式的图像时判定在波长模式过渡时拍摄的图像，自动选择部基于判定的结果进行自动选择。由此，能够从学习用图像中排除在波长模式过渡时拍摄的图像。
优选的是，具备获取指示输入部，其供用户输入获取指示，接受部接受来自获取指示输入部的获取指示。由此，能够获取期望的图像。
优选的是，具备：识别部，其从拍摄的图像中识别关注场景；以及获取指示输出部，当识别部识别出关注场景时，该获取指示输出部输出获取指示，接受部接受来自获取指示输出部的获取指示。由此，能够自动获取关注场景的图像。
为了达到上述目的，内窥镜图像获取方法的一方面是一种内窥镜图像获取方法，包括：照射工序，向患者体腔内的被观察区域照射照射光；摄影工序，接受来自被观察区域的返回光并拍摄被观察区域的图像；显示控制工序，使拍摄的图像依次显示于显示部；波长模式变更工序，改变照射光或返回光的波长模式；接受工序，接受图像的获取指示；摄影控制工序，以规定的帧率拍摄观察用的波长模式的图像，当接受到获取指示时，依次拍摄各不相同的多个波长模式的图像；以及存储控制工序，使各不相同的多个波长模式的图像存储于存储部，在显示控制工序中，将观察用的波长模式以外的波长模式的图像设为不显示。
根据本方面，由于设为了以规定的帧率拍摄观察用的波长模式的图像，当接受到获取指示时，依次拍摄各不相同的多个波长模式的图像，此时，使各不相同的多个波长模式的图像存储于存储部，将观察用的波长模式以外的波长模式的图像设为不显示，因此能够收集各不相同的多个波长模式的图像，而且能够容易地进行图像观察。
发明效果
根据本发明，能够在收集图像时容易地进行图像观察。
附图说明
图1是表示内窥镜系统的外观图。
图2是表示内窥镜系统的功能的框图。
图3是表示光的强度分布的曲线图。
图4是表示学习用图像收集方法的处理的流程图。
图5是说明学习用图像收集方法的处理的时序图。
图6是说明学习用图像收集方法的处理的时序图。
图7是说明学习用图像收集方法的处理的时序图。
图8是表示内窥镜系统的功能的框图。
图9是表示学习用图像收集方法的处理的流程图。
图10是说明学习用图像收集方法的处理的时序图。
图11是表示内窥镜系统的功能的框图。
图12是表示内窥镜系统的功能的框图。
图13是表示学习用图像收集方法的处理的流程图。
图14是表示内窥镜系统的功能的框图。
图15是表示内窥镜系统的功能的框图。
具体实施方式
以下，按照附图对本发明的优选实施方式进行详细说明。
＜第一实施方式＞
图1是表示第一实施方式的内窥镜系统10(内窥镜图像获取系统的一例)的外观图。如图1所示，内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示部18及输入部20。
内窥镜12与光源装置14光学连接。另外，内窥镜12与处理器装置16电连接。
内窥镜12具有向患者体腔内插入的插入部12A、设于插入部12A的基端部分的操作部12B、设于插入部12A的前端侧的弯曲部12C及前端部12D。
在操作部12B上，设有弯角钮12E及模式切换开关13A。另外，在操作部12B上，设有获取指示输入部13B(参照图2)。
通过操作弯角钮12E，弯曲部12C进行弯曲动作。通过该弯曲动作，使前端部12D朝向期望的方向。
模式切换开关13A用于观察模式的切换操作。内窥镜系统10具有照射光的波长模式各不相同的多个观察模式。医生通过操作模式切换开关13A，能够设定为期望的观察模式。内窥镜系统10通过波长模式与图像处理的组合，生成与设定的观察模式相应的图像并显示于显示部18。
内窥镜系统10能够获取期望位置的静止画面。在本实施方式中，能够获取用于制作诊断报告的诊断用图像和学习学习算法的学习用图像。获取指示输入部13B(接受部的一例)是供医生输入静止画面的获取指示的界面。获取指示输入部13B接受静止画面的获取指示。在获取指示输入部13B中接受的静止画面的获取指示被输入处理器装置16。
处理器装置16与显示部18及输入部20电连接。显示部18是输出显示观察对象的图像及与观察对象的图像关联的信息等的显示设备。输入部20作为接受内窥镜系统10的功能设定及各种指示等的输入操作的用户界面发挥作用。
图2是表示内窥镜系统10的功能的框图。如图2所示，光源装置14具备第一激光光源22A、第二激光光源22B及光源控制部26。
第一激光光源22A是中心波长445nm的蓝色激光光源。第二激光光源22B是中心波长405nm的紫色激光光源。作为第一激光光源22A及第二激光光源22B，能够使用激光二极管。第一激光光源22A及第二激光光源22B的发光通过光源控制部26而被单独控制。第一激光光源22A与第二激光光源22B的发光强度比可自由变更。
另外，如图2所示，内窥镜12具备光纤28A、光纤28B、荧光体30、扩散部件32、摄像透镜34、摄像元件38及模拟数字转换部40。
由第一激光光源22A、第二激光光源22B、光纤28A、光纤28B、荧光体30及扩散部件32构成照射部。
从第一激光光源22A出射的激光光通过光纤28A照射到配置于内窥镜12的前端部12D的荧光体30。荧光体30包括多种荧光体而构成，该多种荧光体吸收来自第一激光光源22A的蓝色激光光的一部分并激励发出绿色～黄色的光。由此，从荧光体30出射的光是将以来自第一激光光源22A的蓝色激光光为激励光的绿色～黄色的激励光L11与未被荧光体30吸收而透射的蓝色的激光光L12合并，从而成为白色(疑似白色)的光L1。
此外，在此所说的白色光并不严格限于包括可见光的所有波长成分。例如，只要包括R、G、B等特定波长频带的光即可，广义上也包括包含从绿色到红色的波长成分的光或者包含从蓝色到绿色的波长成分的光等。
另一方面，从第二激光光源22B出射的激光光通过光纤28B照射到配置于内窥镜12的前端部12D的扩散部件32。扩散部件32可使用具有透光性的树脂材料等。从扩散部件32出射的光成为在照射区域内对光量进行了均匀化的窄频带波长的光L2。
图3是表示光L1及光L2的强度分布的曲线图。光源控制部26(波长模式变更部的一例)改变第一激光光源22A与第二激光光源22B的光量比。由此，光L1与光L2的光量比发生改变，光L1与光L2的合成光即照射光L0的波长模式发生改变。因此，能够照射特性各不相同的照射光L0。
如上所述，内窥镜系统10具有多个观察模式。在此，设为具有模式MA、模式MB及模式MC三个观察模式。此外，观察模式的数量并不限定于三个。
模式MA中的第一激光光源22A的出射光与第二激光光源22B的出射光的光量比为1:0。将根据该光量比生成的照射光L0的波长模式称作波长模式PA。在模式MA中，能够获取白色照明图像。
模式MB中的第一激光光源22A的出射光与第二激光光源22B的出射光的光量比为1:4。将根据该光量比生成的照射光L0的波长模式称作波长模式PB。在模式MB中，能够获取对生物体组织表层的血管及构造进行了强调的图像。
模式MC中的第一激光光源22A的出射光与第二激光光源22B的出射光的光量比为7:1。将根据该光量比生成的照射光L0的波长模式称作波长模式PC。在模式MC中，能够获取对直至中远景的血管及表面构造进行了强调的图像。
此外，分别适当地调整各波长模式PA、PB、PC中的照射光L0的光量。
返回到图2的说明中，由摄像透镜34、摄像元件38及模拟数字转换部40构成摄影部。摄影部配置于内窥镜12的前端部12D。
在摄像透镜34中，入射包括照射光L0从被观察区域反射的光和/或来自被观察区域的自发荧光的返回光。摄像透镜34使入射的光成像于摄像元件38。摄像元件38生成与接受的光相应的模拟信号。作为摄像元件38，使用CCD(Charge Coupled Device)型图像传感器或CMOS(Complementary Metal Oxide Semiconductor)型图像传感器。从摄像元件38输出的模拟信号被模拟数字转换部40转换为数字信号，并输出到处理器装置16。
另外，如图2所示，处理器装置16具备摄影控制部42、图像处理部44、显示控制部48、存储控制部58及存储部60。
在获取指示输入部13B中接受的静止画面的获取指示被输入摄影控制部42。摄影控制部42控制光源装置14的光源控制部26、内窥镜12的摄像元件38及模拟数字转换部40、处理器装置16的图像处理部44。摄影控制部42统一控制内窥镜系统10对动态画面及静止画面的拍摄。
图像处理部44对从内窥镜12的模拟数字转换部40输入的数字信号实施图像处理，生成表示图像的图像数据(以下，记作图像)。图像处理部44实施与摄影时的照射光L0的波长模式相应的图像处理。
显示控制部48使由图像处理部44生成的图像依次显示于显示部18。
另外，存储控制部58使按照静止画面的获取指示拍摄的图像及与图像关联的信息等存储于存储部60。存储部60是例如硬盘等储存装置。此外，存储部60并不限定于内置于处理器装置16。例如，也可以是连接于处理器装置16的未图示的外部存储装置。外部存储装置可以经由网络进行连接。
如此构成的内窥镜系统10通常以规定的帧率进行动态画面拍摄，并将拍摄的动态画面显示于显示部18。另外，当从获取指示输入部13B输入静止画面的获取指示时，拍摄静止画面，并存储于存储部60。
对内窥镜系统10中的第一实施方式的学习用图像收集方法进行说明。在此，根据静止画面的获取指示，分别照射三个波长模式PA、PB、PC的照射光L0并获取拍摄的静止画面。另外，将与观察模式的照射光L0相同波长模式的图像存储为诊断用图像，将与观察模式的照射光L0不同波长模式的图像存储为学习用图像。
图4是表示观察动态画面时的学习用图像收集方法(内窥镜图像获取方法的一例)的处理的流程图。另外，图5是说明学习用图像收集方法的处理的时序图。在图5中，从时间TN到时间TN+1(N＝0～15)的时间表示图像摄影的帧率，分别为1/30秒。
为了开始观察动态画面，在步骤S1中，医生使用输入部20(波长模式选择部的一例)从模式MA、模式MB及模式MC中选择动态画面拍摄用的观察模式(观察用的波长模式)。在此，作为例子，选择模式MA。此外，动态画面拍摄用的观察模式即使在拍摄动态画面时，也可适当地变更。另外，也可以预先设定动态画面拍摄用的观察模式。
接着，向患者体腔内插入内窥镜12的插入部12A。也可以在插入内窥镜12之后再选择动态画面拍摄用的观察模式。
接下来，在步骤S2中，通过在步骤S1中选择的观察模式进行动态画面的拍摄及显示。即，光源控制部26将第一激光光源22A的出射光与第二激光光源22B的出射光设定为与在步骤S1中选择的观察模式对应的光量比。由此，向患者体腔内的被观察区域照射期望波长模式的照射光L0(照射工序的一例、波长模式变更工序的一例)。
另外，摄影控制部42控制摄像元件38、模拟数字转换部40及图像处理部44，获取接受了来自被观察区域的返回光的被观察区域的图像(摄影工序的一例)。另外，显示控制部48将在图像处理部44中生成的图像显示于显示部18(显示控制工序的一例)。
在图5所示的例子中，在从时间T0到时间T1的期间拍摄图像VA1。另外，在接下来的从时间T1到时间T2的期间显示图像VA1，并且拍摄下一图像VA2。进而，在接下来的从时间T2到时间T3的期间显示图像VA2，并且拍摄下一图像VA3。
这样，以规定的帧率拍摄图像。另外，将拍摄的图像以晚一帧的时刻显示于显示部18。
执行以下步骤S3～S13的处理作为步骤S2中的动态画面拍摄的嵌入处理。
在步骤S3中，判定是否输入了观察动态画面的结束指示。医生可使用输入部20输入观察动态画面的结束指示。当输入了结束指示时，结束本流程图的处理。
在未输入观察动态画面的结束指示时，转入步骤S4。在步骤S4中，摄影控制部42判定是否输入了静止画面获取指示。如上所述，医生可从获取指示输入部13B输入静止画面的获取指示。在没有输入获取指示时，返回步骤S2，重复同样的处理。即，继续拍摄动态画面。另外，在判断为输入了静止画面获取指示时(接受工序的一例)，转入步骤S5。
在步骤S5以后，进行静止画面的获取。在此，对重复三次拍摄一张波长模式PA下的静止画面、拍摄一张波长模式PB下的静止画面、拍摄一张波长模式PC下的静止画面的处理而获得共计九张静止画面的情况进行说明。
在图5所示的例子中，在从时间T2到时间T3的期间，输入静止画面获取指示。在该从时间T2到时间T3的期间，通过摄影控制部42的控制拍摄图像VA3。因此，从下一摄影开始时刻即时间T3开始进行静止画面的获取处理。
首先，在步骤S5中，光源控制部26设定波长模式。在此，第一张静止画面是波长模式PA的静止画面。因此，光源控制部26将第一激光光源22A的出射光与第二激光光源22B的出射光设定为波长模式PA的光量比。由此，照射波长模式PA的照射光L0。
接着，在步骤S6中，进行静止画面的拍摄。即，摄影控制部42控制摄像元件38、模拟数字转换部40及图像处理部44，拍摄被观察区域的图像SA1(摄影控制工序的一例)。另外，显示控制部48将该时刻的最新拍摄图像即图像VA3显示于显示部18。
接下来，在步骤S7中，显示控制部48判定在步骤S6中拍摄的图像SA1是否是与在步骤S1中选择的观察模式相同波长模式的图像，即图像SA1的照射光L0的波长模式与在步骤S1中选择的观察模式的照射光L0的波长模式是否相同。在此，图像SA1是波长模式PA的图像。另外，在步骤S1中选择的观察模式是模式MA，模式MA的波长模式是PA。这样，由于两者的波长模式相同，因此判定为YES，转入步骤S8。
在步骤S8中，显示控制部48将在步骤S6中拍摄的图像SA1设定为显示图像。另外，在接下来的步骤S9中，存储控制部58使图像SA1与拍摄图像SA1时的照射光L0的波长模式PA的信息关联存储于存储部60的用于存储诊断用图像的区域即第一存储区域(存储控制工序的一例)。第一存储区域是指例如存储部60的多个驱动器中的一个驱动器或多个文件夹中的一个文件夹。
接着，在步骤S12中，判定获取静止画面是否已结束。在此，由于还未结束，因此返回步骤S5。
在此，从时间T4开始拍摄第二张静止画面(模式MB下的第一张静止画面)。即，在步骤S5中，将第一激光光源22A的出射光与第二激光光源22B的出射光设定为波长模式PB的光量比。然后，在步骤S6中，拍摄图像SB1。另外，由于在上次的步骤S8中将图像SA1设定为了显示图像，因此显示控制部48从时间T4开始将图像SA1显示于显示部18。
接下来，在步骤S7中，显示控制部48判定在步骤S6中拍摄的图像SB1是否是与在步骤S1中选择的观察模式相同波长模式的图像，即图像SB1的照射光L0的波长模式与在步骤S1中选择的观察模式的照射光L0的波长模式是否相同。在此，图像SB1是波长模式PB的图像。另外，在步骤S1中选择的观察模式是模式MA，模式MA的波长模式是PA。这样，由于两者的波长模式不同，因此判定为NO，转入步骤S10。
在步骤S10中，显示控制部48将在步骤S6中拍摄的图像SB1设定为不显示。另外，在接下来的步骤S11中，存储控制部58使图像SB1与拍摄图像SB1时的照射光L0的波长模式PB的信息关联存储于存储部60的用于存储学习用图像的区域即第二存储区域(存储控制工序的一例)。第二存储区域是指例如存储部60的多个驱动器中的一个驱动器或多个文件夹中的一个文件夹，是与第一存储区域不同的区域。也可以将存储部60设为第一存储区域，将与存储部60不同的储存装置设为第二存储区域。
接着，在步骤S12中，判定获取静止画面是否已结束。在此，由于还未结束，因此返回步骤S5。
在此，从时间T5开始拍摄第三张静止画面(模式MC下的第一张静止画面)。即，在步骤S5中，将第一激光光源22A的出射光与第二激光光源22B的出射光设定为波长模式PC的光量比。然后，在步骤S6中，拍摄图像SC1。
此外，由于在上次的步骤S10中将图像SB1设定为了不显示，因此显示控制部48不将图像SB1显示于显示部18。在此，取代图像SB1，将从时间T4开始显示的图像SA1继续显示于显示部18。
接下来，在步骤S7中，显示控制部48判定在步骤S6中拍摄的图像SC1是否是与在步骤S1中选择的观察模式相同波长模式的图像，即图像SC1的照射光L0的波长模式与在步骤S1中选择的观察模式的照射光L0的波长模式是否相同。在此，图像SC1是波长模式PC的图像。另外，在步骤S1中选择的观察模式是模式MA，模式MA的波长模式是PA。这样，由于两者的波长模式不同，因此判定为NO，转入步骤S10。
在步骤S10中，显示控制部48将图像SC1设定为不显示。另外，在接下来的步骤S11中，存储控制部58使图像SC1与拍摄图像SC1时的照射光L0的波长模式PC的信息关联存储于存储部60的第二存储区域。
接着，在步骤S12中，判定获取静止画面是否已结束。在此，由于还未结束，因此返回步骤S5。
同样地，从时间T6开始利用波长模式PA的照射光L0拍摄第四张静止画面(模式MA下的第二张静止画面)即图像SA2(步骤S5、S6)。另外，由于在上次的步骤S10中将图像SC1设定为了不显示，因此显示控制部48不将图像SC1显示于显示部18。在此，取代图像SC1，将从时间T4开始显示的图像SA1继续显示于显示部18。
在此，图像SA2是与在步骤S1中选择的观察模式相同波长模式的图像。因此，在步骤S7中判定为YES，转入步骤S8。
在步骤S8中，将图像SA2设定为显示图像。另外，在步骤S9中，使图像SA2与拍摄图像SA2时的照射光L0的波长模式PA的信息关联存储于存储部60的第一存储区域。
接着，在步骤S12中，判定获取静止画面是否已结束。在此，由于还未结束，因此返回步骤S5。
同样地，从时间T7开始利用波长模式PB的照射光L0拍摄第五张静止画面(模式MB下的第二张静止画面)即图像SB2(步骤S5、S6)。另外，由于在上次的步骤S8中将图像SA2设定为了显示图像，因此显示控制部48在显示部18中显示图像SA2。
在此，图像SB2不是与在步骤S1中选择的观察模式相同波长模式的图像。因此，在步骤S7中判定为NO，转入步骤S10。
在步骤S10中，显示控制部48将图像SB2设定为不显示。另外，在接下来的步骤S11中，存储控制部58使图像SB2与拍摄图像SB2时的照射光L0的波长模式PB的信息关联存储于存储部60的第二存储区域。
接着，在步骤S12中，判定获取静止画面是否已结束。在此，由于还未结束，因此返回步骤S5。
以下，依次拍摄第六～第九张静止画面，即作为波长模式PC下的第二张静止画面的图像SC2、作为波长模式PA下的第三张静止画面的图像SA3、作为波长模式PB下的第三张静止画面的图像SB3、作为波长模式PC下的第三张静止画面的图像SC3。
当所有静止画面的拍摄结束时，在步骤S12中判断为获取静止画面已结束，转入步骤S13。
在步骤S13中，使照射光L0的波长模式返回在步骤S1中选择的观察模式的波长模式。在此，返回波长模式PA。然后，返回步骤S2，重复同样的处理。
此外，最后拍摄的图像SC3在步骤S10中被设定为不显示。因此，在返回步骤S2再次开始拍摄动态画面时，图像SC3不显示于显示部18。在此，取代图像SC3，使从时间T10开始显示的图像SA3继续显示于显示部18。
此外，在时间T13以后，将前一帧拍摄的图像显示于显示部18。
通过如上所述进行学习用图像收集，能够拍摄并存储学习用的静止画面。另外，在与选择的观察模式的照射光L0的波长模式不同波长模式的静止画面的显示时刻(观察用的波长模式以外的波长模式的图像的显示时刻的一例)，通过显示与选择的观察模式的照射光L0的波长模式相同波长模式的图像中的最新图像(已拍摄的观察用的波长模式的图像中的最新图像的一例)，获取静止画面时的显示颜色规定为与拍摄动态画面时的显示颜色相同的颜色，从而容易通过显示部18进行观察。
＜第二实施方式＞
获取静止画面的获取顺序及获取张数并不限定于第一实施方式中说明的例子。
例如，医生也可以使用输入部20指定获取张数。在第一实施方式中各获取了三张各波长模式下的静止画面，但也可各获取两张或四张以上。这样，只能进行所需张数的拍摄。
另外，医生也可以使用输入部20(顺序选择部的一例)选择获取顺序。在第一实施方式中，按照波长模式PA、波长模式PB、波长模式PC的顺序获取了静止画面，但例如也可像波长模式PB、波长模式PC、波长模式PA的顺序、波长模式PC、波长模式PA、波长模式PB的顺序、波长模式PC、波长模式PB、波长模式PA的顺序等那样按照期望的顺序获取静止画面。
另外，也可以连续获取多张相同波长模式的图像。例如，在图6所示的时序图的例子中，连续拍摄三张波长模式PA下的静止画面，连续拍摄三张波长模式PB下的静止画面，连续拍摄三张波长模式PC下的静止画面，获取共计九张静止画面。此外，在该例子中，在从时间T6到时间T13的期间，显示波长模式PA下的最新图像SA3。
而且，也可以重复多次连续拍摄处理。例如，也可以设为如下顺序：重复两次连续拍摄三张波长模式PA下的静止画面、连续拍摄三张波长模式PB下的静止画面、连续拍摄三张波长模式PC下的静止画面的处理而获取共计十八张静止画面等。
在内窥镜图像的拍摄中，根据污染物向摄像透镜34的附着、维持拍摄角度的困难性等，可预测若输入摄影指示后经过的时间变长，则获取期望图像会变得困难。因此，为了先拍摄认为重要的波长模式的图像，优选指定进行摄影的波长模式的顺序。
另外，医生也可以使用输入部20选择获取静止画面的波长模式。例如，如果不需要波长模式PB下的静止画面，则可仅拍摄波长模式PA下的静止画面及波长模式PC下的静止画面。
＜第三实施方式＞
在与选择的观察模式的照射光L0的波长模式不同波长模式的静止画面的显示时刻，也可以显示比最新图像早规定数拍摄的图像。
图7是说明内窥镜系统10中的第三实施方式的学习用图像收集方法的处理的时序图。
在此，在从时间T4到时间T7的期间，取代通过波长模式PA的照射光L0拍摄的最新图像即图像SA1，显示通过波长模式PA的照射光L0比最新图像SA1早一张拍摄的图像即图像VA3。
另外，在从时间T7到时间T10的期间，取代通过波长模式PA的照射光L0拍摄的最新图像即图像SA2，显示通过波长模式PA的照射光L0比最新图像SA2早一张拍摄的图像即图像SA1。
同样地，在从时间T10到时间T13的期间，显示比最新图像SA3早一张拍摄的图像即图像SA2。
在此，显示了比最新图像早一张拍摄的图像，但也可以显示更早以前拍摄的图像。这样，即使在显示比最新图像早规定数拍摄的图像(已拍摄的观察用的波长模式的图像中的比最新图像早规定数拍摄的图像的一例)的情况下，也仅显示与选择的观察模式的照射光L0的波长模式相同的照射光L0的波长模式的图像，因此容易通过显示部18进行观察。
＜第四实施方式＞
在内窥镜系统10中，在与选择的观察模式的照射光L0的波长模式不同波长模式的静止画面的显示时刻，显示了与选择的观察模式的照射光L0的波长模式相同波长模式的图像中的最新图像、或比最新图像早规定数拍摄的图像，但也可以显示插值图像而不是拍摄图像。
图8是表示内窥镜系统70的功能的框图。此外，对与图2所示的框图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统70在图像处理部44中具备插值图像制作部46。插值图像制作部46具备未图示的存储器，根据存储于存储器的多个图像制作插值图像。
图9是表示内窥镜系统70的学习用图像收集方法的处理的流程图。另外，图10是说明内窥镜系统70的学习用图像收集方法的处理的时序图。此外，对与图4所示的流程图及图5所示的时序图共同的部分标注相同的符号，并省略其详细说明。
与第一实施方式同样地，医生选择模式MA作为观察模式(步骤S1)。内窥镜系统70在模式MA下进行动态画面拍摄(步骤S2)。
此外，在获取静止画面时，以拍摄一张模式MA下的静止画面、拍摄一张模式MB下的静止画面、拍摄一张模式MC下的静止画面为一组，重复进行三组量的处理而获取九张静止画面。
当判定为在从时间T2到时间T3的期间输入了静止画面的获取指示时(步骤S4)，从时间T3开始进行静止画面的获取处理。首先，在从时间T3到时间T4的期间拍摄波长模式PA下的图像SA1。另外，图像VA3显示于显示部18(步骤S5、S6)。
在此拍摄的图像SA1由于是与选择的观察模式即模式MA相同波长模式的图像，因此被设定为显示图像(步骤S8)。
在下一拍摄时刻即从时间T4到时间T5的期间，拍摄波长模式PB下的图像SB1。
由于在此拍摄的图像SB1是与模式MA不同波长模式的图像，因此图像SB1被设定为不显示(步骤S10)。
在接下来的步骤S21中，插值图像制作部46制作对在选择的观察模式的照射光L0的波长模式下拍摄的图像中的最新图像和比最新图像早规定数拍摄的图像进行了插值的插值图像。在此，制作对最新图像即图像SA1和比最新图像SA1早一张拍摄的图像即图像VA3进行了插值的插值图像IA1。此外，图像SA1及图像VA3存储于插值图像制作部46的未图示的存储器中。
插值图像IA1可以通过对图像SA1及图像VA3的各像素进行平均来制作，也可以对各像素进行加权平均。另外，也可以是，越是新的图像，越增大加权。在此，使用了图像SA1及图像VA3两张图像，但也可以使用更早规定数拍摄的图像。
如果制作插值图像IA1，则转入步骤S11。在步骤S11中，存储控制部58使图像SB1与拍摄图像SB1时的照射光L0的波长模式PB的信息关联存储于存储部60的第二存储区域。也可以存储插值图像IA1。
接下来，在从时间T5到时间T6的期间拍摄波长模式PC下的图像SC1。另外，由于在上次的步骤S10中将图像SB1设定为了不显示，因此显示控制部48不将图像SB1显示于显示部18。取而代之，显示控制部48从时间T5开始将在上次的步骤S21中制作的插值图像IA1显示于显示部18(步骤S5、S6)。
接着，显示控制部48将图像SC1设定为不显示(步骤S10)。进而，插值图像制作部46制作对在选择的观察模式的照射光L0的波长模式下拍摄的图像中的最新图像即图像SA1和比最新图像SA1早一张拍摄的图像即图像VA3进行了插值的插值图像IA1(步骤S21)。在此，由于在上次的步骤S21中制作了相同的插值图像IA1，因此能够直接使用存储于插值图像制作部46的未图示的存储器中的插值图像IA1。此外，也可以改变图像SA1及图像VA3的加权平均的加权比例，制作新的插值图像。
在下一拍摄时刻即从时间T6到时间T7的期间拍摄波长模式PA下的图像SA2。另外，将在上次的步骤S21中制作的插值图像IA1显示于显示部18(步骤S5、S6)。该图像SA2被设定为显示图像(步骤S8)。
进而在下一拍摄时刻即从时间T7到时间T8的期间拍摄波长模式PB下的图像SB2。另外，将上次拍摄的图像SA2显示于显示部18(步骤S5、S6)。
以下同样地，在图像SB2及图像SC2的显示时刻(从时间T8到时间T10)，将根据图像SA1及图像SA2制作的插值图像IA2显示于显示部18，在图像SB3及图像SC3的显示时刻(从时间T11到时间T13)，将根据图像SA2及图像SA3制作的插值图像IA3显示于显示部18。
在此，根据最新图像和比最新图像早规定数拍摄的图像制作了插值图像，但只要根据包括选择的观察模式的波长模式的多个图像中的最新图像或比最新图像早规定数拍摄的图像在内的多个图像制作插值图像即可。
在如此显示的情况下，也仅显示与选择的观察模式的照射光L0的波长模式相同的照射光L0的波长模式的图像，因此容易通过显示部18进行观察。
＜第五实施方式＞
也可以不依赖医生通过获取指示输入部13B输入的静止画面的获取指示，而自动获取静止画面。
图11是表示内窥镜系统72的功能的框图。此外，对与图2所示的框图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统72的处理器装置16具备获取指示输出部50。获取指示输出部50自动输出静止画面的获取指示。来自获取指示输出部50的静止画面的获取指示被输入摄影控制部42。
获取指示输出部50具备识别部52。识别部52从输入的图像中进行关注场景的检测。在此，特别进行病变区域的检测。此外，关注场景并不限定于病变区域。
识别部52可使用神经网络等学习算法。当识别部52检测到病变区域时，获取指示输出部50输出静止画面的获取指示。
使用图4所示的流程图对内窥镜系统72的学习用图像收集进行说明。
首先，医生使用输入部20选择动态画面拍摄用的观察模式(步骤S1)。接下来，内窥镜系统72在选择的观察模式下拍摄动态画面(步骤S2)。
拍摄的图像被从图像处理部44输入到获取指示输出部50。获取指示输出部50的识别部52从输入的图像中进行病变区域的识别。当识别部52从图像中检测到病变区域时，获取指示输出部50输出静止画面的获取指示。由此，在步骤S4中判定为YES，转入步骤S5。以下的处理与至此说明的处理相同。
根据内窥镜系统72，能够自动收集学习用图像。另外，由于仅显示与选择的观察模式的照射光L0的波长模式相同的照射光L0的波长模式的图像，因此容易通过显示部18进行观察。
在此，获取指示输出部50利用识别部52检测病变区域，在检测到病变区域的情况下输出了静止画面的获取指示，但也可以触发病变区域等关注场景的检测以外的操作来输出获取指示。例如，可以每隔规定时间输出静止画面的获取指示。
＜第六实施方式＞
在内窥镜系统10中，使拍摄的静止画面全部存储于存储部60，但也可以仅存储适合学习的图像。
图12是表示内窥镜系统74的功能的框图。此外，对与图2所示的框图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统74的处理器装置16具备自动选择部54。自动选择部54自动选择输入的静止画面中的存储于存储部的图像。存储控制部58使通过自动选择部54选择的静止画面存储于存储部60。
自动选择部54具备判定部56。判定部56判定输入的静止画面是否适合作为学习用图像。在此，特别是判定拍摄静止画面时的照射光L0是否具有期望的波长模式。
图13是表示内窥镜系统74的学习用图像收集方法的处理的流程图。此外，对与图4所示的流程图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统74根据静止画面的获取指示(步骤S4)，进行静止画面的拍摄(步骤S6)。接下来，判定在步骤S6中拍摄的图像是否是与选择的观察模式相同波长模式的图像(步骤S7)。
在为相同波长模式的图像的情况下，转入步骤S8。然后，将拍摄的图像设定为显示图像(步骤S8)。
在接下来的步骤S31中，自动选择部54的判定部56判定拍摄的图像是否适合作为学习用图像。在此，特别是判定拍摄静止画面时的照射光L0是否具有期望的波长模式。
判定部56通过对图像的颜色进行分析而推定拍摄该图像时的照射光L0的波长模式，并判定推定的波长模式是否是期望的波长模式。在判定部56判定为推定的波长模式是期望的波长模式时，自动选择部54选择该图像作为学习用图像，转入步骤S9。
在步骤S9中，使该图像与波长模式的信息关联存储于存储部60的第一存储区域。
另外，在判定部56判定为推定的波长模式不是期望的波长模式时，自动选择部54不选择该图像作为学习用图像，也不进行图像的存储，而是转入步骤S12。
另一方面，在步骤S7中，当判定为不是相同波长模式的图像时，转入步骤S10。然后，将拍摄的图像设定为不显示(步骤S10)。
在接下来的步骤S32中，自动选择部54的判定部56判定拍摄的图像是否适合作为学习用图像。与步骤S31同样地，特别是判定拍摄静止画面时的照射光L0是否具有期望的波长模式。
例如，在图6所示的时序图的情况下，在时间T6将照射光L0从波长模式PA变更为波长模式PB，拍摄三张图像SB1～图像SB3。因此，第一张图像SB1是在波长模式的转移状态(波长模式过渡时的一例)下拍摄的，存在照射光L0的波长模式不是期望的波长模式的可能性。
判定部56通过对图像的颜色进行分析而推定拍摄该图像时的照射光L0的波长模式，并判定推定的波长模式是否是期望的波长模式。在判定部56判定为推定的波长模式是期望的波长模式时(判定结果的一例)，自动选择部54选择该图像作为学习用图像，转入步骤S11。
在步骤S11中，使该图像与波长模式的信息关联存储于存储部60的第二存储区域。
另外，在判定部56判定为推定的波长模式不是期望的波长模式时(判定结果的一例)，自动选择部54不选择该图像作为学习用图像，也不进行图像的存储，而是转入步骤S12。
此外，关于显示于显示部18的图像，与至此说明的图像相同。
根据内窥镜系统74，对于拍摄的静止画面，判定是否适合作为学习用图像，通过存储适合的图像，能够收集理想的学习用图像。
另外，与至此进行的说明同样地，由于仅显示与选择的观察模式的照射光L0的波长模式相同的照射光L0的波长模式的图像，因此获取静止画面时的显示颜色规定为与拍摄动态画面时的显示颜色相同的颜色，容易通过显示部18进行观察。
在此，将拍摄静止画面时的照射光L0不具有期望的波长模式的图像判定为了不适合作为学习用图像，但判定基准并不限定于此。例如，也可以将产生了图像抖动的图像、未对焦的图像、透镜上附着有水雾或污物的图像等判定为不适合作为学习用图像。另外，也可以判定适合作为学习用图像的图像中的最适合的图像，仅存储判定的图像。
另外，也可以构成为：将获取的静止画面显示于显示部18，医生使用输入部20(存储图像选择部的一例)从显示的图像中选择作为学习用图像存储于存储部60中的图像。另外，也可以不是将获取的所有静止画面显示于显示部18，而是仅将在判定部56中判定为适合作为学习用图像的静止画面显示于显示部18。
＜第七实施方式＞
在内窥镜系统10中，通过改变多个光源的光量比率而改变了照射光L0的波长模式，但也可以通过选择多个光源中点亮的光源来改变照射光的波长模式。
图14是表示内窥镜系统76的功能的框图。此外，对与图2所示的框图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统76的光源装置14具备第一光源24A、第二光源24B、第三光源24C。
光源控制部26选择第一光源24A、第二光源24B、第三光源24C中的一个光源点亮，并熄灭其他光源。从点亮的光源出射的光通过光纤28B向扩散部件32照射。从扩散部件32出射的光成为内窥镜系统76的照射光L0。
在此，通过将第一光源24A使用具有波长模式PA的波长模式的光源、将第二光源24B使用具有波长模式PB的波长模式的光源、将第三光源24C使用具有波长模式PC用的波长模式的光源，能够获取照射了各波长模式的照射光L0的静止画面。
作为第一光源24A、第二光源24B、第三光源24C，除激光二极管与荧光体的组合以外，还可使用LED(Light Emitting Diode)等半导体光源。
＜第八实施方式＞
至此，对改变照射被观察区域的照射光L0的波长模式的例子进行了说明，但也可以将照射光L0的波长模式设为规定，而改变摄像元件38所接受的返回光的波长模式。
图15是表示内窥镜系统78的功能的框图。此外，对与图2所示的框图共同的部分标注相同的符号，并省略其详细说明。
内窥镜系统78的内窥镜12具备具有多个滤波器的滤波器组36(波长模式变更部的一例)。多个滤波器的各滤波器对透射的光限制各不相同的波长频带。滤波器组36配置在返回光的光路上的摄像透镜34与摄像元件38之间。滤波器组36例如可构成为旋转式滤波器转盘。
光源控制部26将第一激光光源22A的出射光与第二激光光源22B的出射光的光量比设定为规定。另外，摄影控制部42(波长模式变更部的一例)控制滤波器组36，使需要的滤波器向光路插入或从光路退避。由此，改变摄像元件38所接受的返回光的波长模式。
例如，具备将透射光设为波长模式PA的波长模式的滤波器、将透射光设为波长模式PB的波长模式的滤波器、将透射光设为波长模式PC的波长模式的滤波器这三个滤波器，使三个滤波器中的一个滤波器插入光路中。由此，能够拍摄各波长模式下的图像。
此外，关于显示于显示部18的图像，与至此说明的图像相同。
根据内窥镜系统78，通过依次拍摄各不相同的多个波长模式的图像，能够适当地收集学习用图像。
另外，与至此进行的说明同样地，由于仅显示与选择的观察模式的照射光L0的波长模式相同的照射光L0的波长模式的图像，因此获取静止画面时的显示颜色规定为与拍摄动态画面时的显示颜色相同的颜色，容易通过显示部18进行观察。
在内窥镜系统10、70、72、74、76及78中，使在与观察模式相同波长模式下拍摄的静止画面作为诊断用图像存储于第一存储区域，但也可以使诊断用图像存储于第二存储区域。由此，能够收集在与观察模式相同波长模式下拍摄的静止画面作为学习用图像。
＜附记＞
除上述方面及例子外，以下所述的结构也包含于本发明的范围内。
(附记1)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，
医疗图像分析结果获取部从进行记录的记录装置中获取医疗图像的分析结果，
分析结果是包含于医疗图像中的作为应关注区域的关注区域和有无应关注对象中的任一者或两者。
(附记4)
一种医疗图像处理装置，其中，
医疗图像是照射白色频带的光或者照射多个波长频带的光作为白色频带的光而得到的通常光图像。
(附记5)
一种医疗图像处理装置，其中，
医疗图像是照射特定的波长频带的光而得到的图像，
特定的波长频带是比白色的波长频带窄的频带。
(附记6)
一种医疗图像处理装置，其中，
特定的波长频带是可见区域的蓝色或绿色频带。
(附记7)
一种医疗图像处理装置，其中，
特定的波长频带包含390nm以上450nm以下或530nm以上550nm以下的波长频带，而且，特定的波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰值波长。
(附记8)
一种医疗图像处理装置，其中，
特定的波长频带是可见区域的红色频带。
(附记9)
一种医疗图像处理装置，其中，
特定的波长频带包含585nm以上615nm以下或610nm以上730nm以下的波长频带，而且，特定的波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰值波长。
(附记10)
一种医疗图像处理装置，其中，
特定的波长频带包含吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带，而且，特定的波长频带的光在吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带内具有峰值波长。
(附记11)
一种医疗图像处理装置，其中，
特定的波长频带包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，而且，特定的波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带内具有峰值波长。
(附记12)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内得到的生物体内图像，
生物体内图像具有生物体内的荧光物质发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，
荧光是向生物体内照射峰值为390nm以上470nm以下的激励光而得到的。
(附记14)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内得到的生物体内图像，
特定的波长频带是红外光的波长频带。
(附记15)
一种医疗图像处理装置，其中，
特定的波长频带包含790nm以上820nm以下或905nm以上970nm以下的波长频带，而且，特定的波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带内具有峰值波长。
(附记16)
一种医疗图像处理装置，其中，
医疗图像获取部具备特殊光图像获取部，其基于照射白色频带的光或者照射多个波长频带的光作为白色频带的光而得到的通常光图像，获取具有特定的波长频带的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，
特定的波长频带的信号是通过基于通常光图像所含有的RGB(Red Green Blue)或CMY(Cyan、Magenta、Yellow)的颜色信息的计算而得到的。
(附记18)
一种医疗图像处理装置，其中，
具备特征量图像生成部，其通过基于通常光图像和特殊光图像中的至少一者的计算，生成特征量图像，所述通常光图像是照射白色频带的光或照射多个波长频带的光作为白色频带的光而得到的，所述特殊光图像是照射特定的波长频带的光而得到的，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，具备：
附记1至18中任一项所述的医疗图像处理装置；以及
内窥镜，其照射白色的波长频带的光或特定的波长频带的光中的至少任一者而获取图像。
(附记20)
一种诊断支援装置，其具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务支援装置，其具备附记1至18中任一项所述的医疗图像处理装置。
＜其他＞
作为波长模式，可使用白色光、BLI、BLI－bright(注册商标)、特定的单波长、多波长的任意组合等。
在此，对学习用图像的收集进行了说明，但收集的图像并不限定于学习算法的学习用图像。例如，也可以是用于评价内窥镜系统的性能的测试用图像、被观察区域的观察方法因照射光的波长不同而不同的研究用图像等。
上述识别方法构成为用于使计算机实现各工序的程序，也可构成存储该程序的CD－ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。
在至此说明的实施方式中，例如，执行处理器装置16的各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。各种处理器中包括：执行软件(程序)并作为各种处理部发挥作用的通用处理器即CPU(Central ProcessingUnit)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、在制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编辑逻辑器件(Programmable Logic Device：PLD)、具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由该各种处理器中的一个处理器构成，也可以由同种或不同种类的两个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合、或者CPU与GPU的组合)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，像服务器或客户端等的计算机所代表的那样，有通过一个以上的CPU与软件的组合构成一个处理器、且该处理器作为多个处理部发挥作用的方式。第二，像片上系统(System OnChip：SoC)等所代表的那样，有使用通过一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体功能的处理器的方式。这样，各种处理部使用一个以上的各种处理器作为硬件结构而构成。
而且，更具体而言，该各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。
本发明的技术范围并不限定于上述实施方式所述的范围。在不脱离本发明的主旨的范围内，各实施方式中的结构等可在各实施方式之间适当地组合。
符号说明
10 内窥镜系统
12 内窥镜
12A 插入部
12B 操作部
12C 弯曲部
12D 前端部
12E 弯角钮
13A 模式切换开关
13B 获取指示输入部
14 光源装置
16 处理器装置
18 显示部
20 输入部
22A 第一激光光源
22B 第二激光光源
24A 第一光源
24B 第二光源
24C 第三光源
26 光源控制部
28A 光纤
28B 光纤
30 荧光体
32 扩散部件
34 摄像透镜
36 滤波器组
38 摄像元件
40 模拟数字转换部
42 摄影控制部
44 图像处理部
46 插值图像制作部
48 显示控制部
50 获取指示输出部
52 识别部
54 自动选择部
56 判定部
58 存储控制部
60 存储部
70 内窥镜系统
72 内窥镜系统
74 内窥镜系统
76 内窥镜系统
78 内窥镜系统
IA1～IA3 插值图像
SA1～SA3 图像
SB1～SB3 图像
SC1～SC3 图像
L0 照射光
L1 光
L11 激励光
L12 激光
L2 光
S1～S32 学习用图像收集的各处理

Claims (16)

1.一种内窥镜图像获取系统，其具备：
照射部，其向患者的体腔内的被观察区域照射照射光；
摄影部，其接受来自所述被观察区域的返回光而拍摄所述被观察区域的图像；
显示控制部，其将拍摄的所述图像依次显示于显示部；
波长模式变更部，其改变所述照射光或所述返回光的波长模式；
接受部，其接受图像的获取指示；
摄影控制部，其以固定的帧率连续拍摄观察用的波长模式的图像，当接受到所述获取指示时，该摄影控制部依次拍摄包括所述观察用的波长模式及与所述观察用的波长模式不同的波长模式在内的多个波长模式的图像；以及
存储控制部，其使依次拍摄的所述多个波长模式的图像存储于存储部，
所述显示控制部使所述显示部显示以所述固定的帧率连续拍摄的所述观察用的波长模式的图像，当接受到所述获取指示时，使依次拍摄的所述多个波长模式的图像中的所述观察用的波长模式的图像显示于所述显示部，将与所述观察用的波长模式不同的波长模式的图像设为不显示。
2.根据权利要求1所述的内窥镜图像获取系统，其中，
所述显示控制部代替显示与所述观察用的波长模式不同的波长模式的图像而显示已拍摄的所述观察用的波长模式的图像中的最新的图像或比最新的图像早固定数量之前拍摄的图像。
3.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统包括插值图像制作部，该插值图像制作部根据包括拍摄的所述观察用的波长模式的图像中的最新的图像或比最新的图像早固定数量之前拍摄的图像在内的多个图像而制作插值图像，
所述显示控制部代替显示与所述观察用的波长模式不同的波长模式的图像而显示所述插值图像。
4.根据权利要求1或2所述的内窥镜图像获取系统，其中，
所述照射部具备多个光源，
所述波长模式变更部选择所述多个光源中点亮的光源而改变所述照射光的波长模式。
5.根据权利要求1或2所述的内窥镜图像获取系统，其中，
所述照射部具备多个光源，
所述波长模式变更部改变所述多个光源的光量的比率而改变所述照射光的波长模式。
6.根据权利要求1或2所述的内窥镜图像获取系统，其中，
所述摄影部具备限制透射的光的波长频带的滤波器，
所述波长模式变更部控制所述滤波器而改变所述返回光的波长模式。
7.根据权利要求1或2所述的内窥镜图像获取系统，其中，
所述存储控制部使所述观察用的波长模式的图像存储于所述存储部的第一存储区域，使与所述观察用的波长模式不同的波长模式的图像存储于所述存储部的与所述第一存储区域不同的第二存储区域。
8.根据权利要求1或2所述的内窥镜图像获取系统，其中，
所述存储控制部使所述图像与拍摄所述图像时的波长模式的信息关联起来而存储于所述存储部。
9.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备波长模式选择部，该波长模式选择部供用户选择所述观察用的波长模式，
所述摄影控制部在选择的所述波长模式下以固定的帧率连续拍摄图像。
10.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备顺序选择部，该顺序选择部供用户选择依次拍摄所述多个波长模式的图像时的所述多个波长模式的顺序，
所述摄影控制部按照选择的所述顺序而依次拍摄所述多个波长模式的图像。
11.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备存储图像选择部，该存储图像选择部供用户选择所述多个波长模式的图像中的存储于所述存储部的图像，
所述存储控制部使选择的所述图像存储于所述存储部。
12.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备自动选择部，该自动选择部自动选择所述多个波长模式的图像中的存储于所述存储部的图像，
所述存储控制部使自动选择的所述图像存储于所述存储部。
13.根据权利要求12所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备判定部，该判定部在依次拍摄所述多个波长模式的图像时判定在所述波长模式转移时拍摄的图像，
所述自动选择部基于所述判定的结果而进行自动选择。
14.根据权利要求1或2所述的内窥镜图像获取系统，其中，
该内窥镜图像获取系统具备获取指示输入部，该获取指示输入部供用户输入所述获取指示，
所述接受部接受来自所述获取指示输入部的所述获取指示。
15.根据权利要求1或2所述的内窥镜图像获取系统，其中，该内窥镜图像获取系统具备：
识别部，其从拍摄的所述图像中识别关注场景；以及
获取指示输出部，当所述识别部识别出所述关注场景时，该获取指示输出部输出所述获取指示，
所述接受部接受来自所述获取指示输出部的所述获取指示。
16.一种内窥镜图像获取方法，包括：
照射工序，向患者的体腔内的被观察区域照射照射光；
摄影工序，接受来自所述被观察区域的返回光而拍摄所述被观察区域的图像；
显示控制工序，使拍摄的所述图像依次显示于显示部；
波长模式变更工序，改变所述照射光或所述返回光的波长模式；
接受工序，接受图像的获取指示；
摄影控制工序，以固定的帧率连续拍摄观察用的波长模式的图像，当接受到所述获取指示时，依次拍摄包括所述观察用的波长模式及与所述观察用的波长模式不同的波长模式在内的多个波长模式的图像；以及
存储控制工序，使依次拍摄的所述多个波长模式的图像存储于存储部，
在所述显示控制工序中，使所述显示部显示以所述固定的帧率连续拍摄的所述观察用的波长模式的图像，当接受到所述获取指示时，使依次拍摄的所述多个波长模式的图像中的所述观察用的波长模式的图像显示于所述显示部，将与所述观察用的波长模式不同的波长模式的图像设为不显示。
CN201880083804.9A 2017-12-28 2018-11-28 内窥镜图像获取系统及方法 Active CN111526773B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017254275 2017-12-28
JP2017-254275 2017-12-28
PCT/JP2018/043790 WO2019130964A1 (ja) 2017-12-28 2018-11-28 内視鏡画像取得システム及び方法

Publications (2)

Publication Number Publication Date
CN111526773A CN111526773A (zh) 2020-08-11
CN111526773B true CN111526773B (zh) 2023-08-18

Family

ID=67063418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880083804.9A Active CN111526773B (zh) 2017-12-28 2018-11-28 内窥镜图像获取系统及方法

Country Status (5)

Country Link
US (1) US11684237B2 (zh)
EP (1) EP3733046A4 (zh)
JP (1) JP6989619B2 (zh)
CN (1) CN111526773B (zh)
WO (1) WO2019130964A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093459A (zh) * 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN111227768A (zh) * 2020-01-16 2020-06-05 重庆金山医疗技术研究院有限公司 一种内窥镜的导航控制方法及装置
CN115279249A (zh) * 2020-03-03 2022-11-01 富士胶片株式会社 图像选择辅助装置、图像选择辅助方法及图像选择辅助程序
CN115279253A (zh) * 2020-03-13 2022-11-01 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法
JPWO2022210508A1 (zh) * 2021-03-31 2022-10-06
CN115539856A (zh) * 2022-11-24 2022-12-30 之江实验室 一种电子内窥镜光源装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
CN102188219A (zh) * 2010-03-18 2011-09-21 奥林巴斯株式会社 内窥镜系统、摄像装置以及控制方法
CN102197983A (zh) * 2010-03-26 2011-09-28 富士胶片株式会社 电子内窥镜系统
CN102266217A (zh) * 2010-06-01 2011-12-07 富士胶片株式会社 电子内窥镜系统
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5078150A (en) * 1988-05-02 1992-01-07 Olympus Optical Co., Ltd. Spectral diagnosing apparatus with endoscope
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US20080091065A1 (en) * 2006-10-04 2008-04-17 Olympus Medical Systems Corporation Medical image processing apparatus, endoscope system and medical image processing system
US8294733B2 (en) * 2007-06-08 2012-10-23 Olympus Corporation Endoscopic image viewing program and method
US20110178395A1 (en) * 2009-04-08 2011-07-21 Carl Zeiss Surgical Gmbh Imaging method and system
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2016202411A (ja) 2015-04-17 2016-12-08 オリンパス株式会社 蛍光観察装置
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
CN102188219A (zh) * 2010-03-18 2011-09-21 奥林巴斯株式会社 内窥镜系统、摄像装置以及控制方法
CN102197983A (zh) * 2010-03-26 2011-09-28 富士胶片株式会社 电子内窥镜系统
CN102266217A (zh) * 2010-06-01 2011-12-07 富士胶片株式会社 电子内窥镜系统
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
EP3733046A1 (en) 2020-11-04
JPWO2019130964A1 (ja) 2021-01-28
CN111526773A (zh) 2020-08-11
JP6989619B2 (ja) 2022-01-05
US11684237B2 (en) 2023-06-27
US20200305700A1 (en) 2020-10-01
WO2019130964A1 (ja) 2019-07-04
EP3733046A4 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
CN111526773B (zh) 内窥镜图像获取系统及方法
JP6204314B2 (ja) 電子内視鏡システム
WO2017145529A1 (ja) 計算システム
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
KR20040069332A (ko) 내시경 화상 처리 장치
CN112423645A (zh) 内窥镜系统
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
WO2017104232A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2013102899A (ja) 内視鏡診断装置
CN115066196A (zh) 医用图像处理装置、内窥镜系统、医用图像处理方法及程序
JP2016120026A (ja) 内視鏡システム及びその作動方法
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
JP6586206B2 (ja) 内視鏡システム及びその作動方法
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法
JP2021149558A (ja) 医療用画像処理装置、医療用観察システムおよび画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant