CN112218570A - 图像处理装置、内窥镜系统及图像处理方法 - Google Patents

Abstract

本发明的目的在于提供一种能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像的图像处理装置、内窥镜系统及图像处理方法。在本发明的第一方面所涉及的图像处理装置中，依次获取并显示基于第一观察光的第一图像作为动态图像直至接受静止画面获取指示为止，接受到静止图像的获取指示时，获取基于第一、第二观察光的第一、第二图像作为静止图像，静止图像的获取结束后，返回到基于第一观察光的第一图像的动态图像获取及显示。因此，用户能够在持续通过第一图像进行的观察的同时，根据需要(例如，根据用户的指示，或者在检测到关注区域时等需要获取静止图像的定时)利用第一、第二观察光获取静止图像，并在观察的同时进行被摄体的分类。

Description

图像处理装置、内窥镜系统及图像处理方法

技术领域

本发明涉及一种图像处理装置、内窥镜系统及图像处理方法，特别是涉及一种通过多个观察光获取图像的图像处理装置、内窥镜系统及图像处理方法。

背景技术

在医疗现场，使用医用器械拍摄的受检体的图像被用于诊断、治疗等，但是“在拍摄的图像中清楚地(或未清楚地)照出被摄体的哪种结构”，取决于拍摄所用的观察光。例如，在短波长成分强的窄波段光等特殊光下拍摄到的图像中，由于对比度会良好地描绘表层的血管，因此适合于病变检测，另一方面，在长波长成分强的特殊光下拍摄到的图像中，对比度会良好地描绘深层的血管。另外，医生进行的观察多是在普通光(白色光)而不是特殊光下进行的。这样，在拍摄中优选照射与图像的使用目的或对象相应的观察光。

作为如此切换观察光的技术，例如已知有专利文献1。在专利文献1中，记载有一种内窥镜系统，其具备照射第二白色光而显示普通光图像的普通观察模式、和根据交替照射第一白色光与第二白色光而得到的图像生成并显示氧饱和度图像的特殊观察模式。

以往技术文献

专利文献

专利文献1：日本特开2017-153978号公报

发明内容

发明要解决的技术课题

在切换短波长成分强的窄波段光和普通光时，基于特殊光的图像(包括照射多个窄波段光而生成的图像、照射短波长的窄波段光而生成的图像)有时对习惯于通过基于普通光的图像进行观察的用户来说不适于观察，在诊断中总是获取基于特殊光的图像的方法可能会妨碍用户的观察。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像的图像处理装置、内窥镜系统及图像处理方法。

用于解决技术课题的手段

为了达到上述目的，本发明的第一方面所涉及的图像处理装置具备：图像获取部，其获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像；获取指示接受部，其接受静止图像的获取指示；图像获取控制部，其控制由图像获取部进行的第一图像及第二图像的获取；显示控制部，其至少使第一图像显示于显示装置，以及分类部，其至少对摄于第二图像的被摄体进行分类，图像获取控制部使图像获取部进行依次获取第一图像作为动态图像的动态图像获取处理，直至获取指示接受部接受获取指示为止，响应于获取指示的接受，使图像获取部进行获取第一图像及第二图像作为静止图像的静止图像获取处理，静止图像获取处理结束后，使图像获取部进行动态图像获取处理。

在利用多个观察光获取图像的情况下，优选在不妨碍用户进行的观察的同时，根据需要利用多个观察光获取图像。但是在上述专利文献1中，由于在特殊观察模式中交替照射第一、第二白色光，另外显示氧饱和度图像，因此对借助于普通光的观察产生障碍。针对这种现有技术，在第一方面中，依次获取并显示基于第一观察光的第一图像作为动态图像直至接受静止画面获取指示为止，当接受到静止图像的获取指示时，获取基于第一、第二观察光的第一、第二图像作为静止图像，静止图像的获取结束后，返回到基于第一观察光的第一图像的动态图像获取及显示。由此，用户能够在持续通过第一图像进行的观察的同时，根据需要(例如，在有用户指示时或者检测到关注区域时等需要获取静止图像的定时)利用第一、第二观察光获取静止图像，并在观察的同时进行被摄体(关注区域等)的分类。

在第一方面中，可获取动态图像的一帧作为静止图像。另外，在拍摄生物体内时，可进行息肉的种类(是肿瘤性还是非肿瘤性)、癌症的阶段诊断、管腔内的位置(拍摄位置)的判断等作为“分类”。另外在第一方面中，持续显示第一图像。可根据需要(例如，根据用户的指示输入，或者根据对第二图像进行处理后的结果)来显示第二图像。

在第一方面及以下各方面中，第一观察光及第二观察光可以一者是白色光、另一者是窄波段光，也可以两者是不同的窄波段光。另外，第一观察光及第二观察光可以直接使用从光源出射的光，也可以是对从光源出射的光(例如白色光)应用透射特定波段的滤光片而生成的光。另外，在使用窄波段光作为第一观察光和/或第二观察光的情况下，所使用的窄波段光可以是从窄波段光用光源照射的窄波段光，也可以是对白色光应用透射特定波段的滤光片而生成的窄波段光。在该情况下，可以设为通过依次切换滤光片而在不同的定时照射不同的窄波段光。

在第一方面中，获取利用第一观察光拍摄的第一图像和利用第二观察光拍摄的第二图像。由于在第一图像的拍摄中未使用第二观察光，在第二图像的拍摄中未使用第一观察光，因此不会出现波长未完全分离而导致第一图像、第二图像的画质降低。

此外，在第一方面及以下各方面中，“第一观察光与第二观察光不同”是指，在第一观察光与第二观察光中，波段或分光光谱中的至少一者不相同。另外，第一图像及第二图像可以是拍摄生物体等受检体而得到的医用图像。

在第一方面及以下各方面中，医用图像也称为医疗图像。另外，拍摄医用图像时使用的光源可使用产生白色波段的光、作为白色波段包含多个波长(窄波段光)的光、红外光、激励光的光源。另外，在第一方面中获取的医用图像可以是照射白色波段的光、或作为白色波段的光的多个波段的光而得到的普通光图像，也可以是基于普通光图像获取的、具有特定波段信息的特殊光图像。

这样，根据第一方面，能够在抑制对用户的观察的影响的同时，根据目的(观察、被摄体的分类等)获取基于多个观察光的图像。

作为第二方面所涉及的图像处理装置，在第一方面中，还具备关注区域检测部，所述关注区域检测部从作为动态图像获取的第一图像中检测关注区域，当检测到关注区域时，图像获取控制部指示获取指示接受部获取作为静止图像的第一图像及第二图像。在第二方面中，可响应于关注区域的检测自动(无用户指示)获取静止图像。关注区域检测部可对构成动态图像的一帧的第一图像进行关注区域的检测处理。此外，关注区域也称为关心区域。

作为第三方面所涉及的图像处理装置，在第二方面中，关注区域检测部从作为静止图像的第一图像和/或第二图像中检测作为被摄体的关注区域，显示控制部强调检测到的关注区域地使作为静止图像的第一图像和/或第二图像显示于显示装置。根据第三方面，由于强调关注区域地使作为静止图像的第一图像和/或第二图像显示，因此用户能够容易地确认成为获取第一图像和/或第二图像的契机的关注区域的位置、及以哪一区域为对象进行分类，另外假设关注区域的检测是误检测时，由于能够确认成为获取第一图像和/或第二图像的契机的对象，因此能够容易地判断是误检测。此外在第三方面中，关注区域的强调可通过利用矩形、圆形、十字、箭头等特定图形标记的重叠处理、色调或灰度的变更、频率处理等来进行，但并不限定于这种方式。

作为第四方面所涉及的图像处理装置，在第一至第三方面的任一项中，还具备分类结果保存部，所述分类结果保存部将分类的结果与第一图像和/或第二图像关联保存。根据第四方面，分类结果与第一、第二图像的关联变明确。在第四方面中，分类结果可与作为动态图像的第一图像、作为静止图像的第一图像和/或第二图像相关联。

作为第五方面所涉及的图像处理装置，在第一至第四方面的任一项中，显示控制部使表示分类的结果的信息显示于显示装置。在第五方面中，信息的显示可通过例如与分类结果相应的文字、数字、图形、记号、色彩等来进行，由此用户能够容易地识别分类结果。此外，信息可以与图像重叠显示，也可以与图像单独显示。

作为第六方面所涉及的图像处理装置，在第一或第二方面中，显示控制部使作为静止图像的第一图像和/或第二图像显示于显示装置。根据第六方面，用户可在进行通过第一图像(动态图像)进行的观察的同时，确认静止图像(第一图像和/或第二图像)，由此如果拍摄到的静止图像中存在缺陷，则可判断重新进行拍摄等。

作为第七方面所涉及的图像处理装置，在第一至第三方面的任一项中，还具备图像加工部，所述图像加工部对作为静止图像的第一图像和/或第二图像实施图像处理，显示控制部使通过图像处理得到的图像显示于显示装置。在第七方面中，例如可进行色彩平衡调整、血管强调、特征量强调、差分强调、或合成实施了这些处理的图像等的图像处理而生成观察用图像、分类(鉴别)用图像等图像，并显示这些图像。

作为第八方面所涉及的图像处理装置，在第一至第七方面的任一项中，还具备：参数计算部，其计算使第一图像与第二图像位置匹配的参数；以及图像生成部，其将参数应用于第一图像来生成位置匹配第一图像，显示控制部在获取到第二图像的定时使位置匹配第一图像显示于显示装置。在仅照射第一观察光和第二观察光中的一者来获取图像的情况下，在获取第二图像的定时无法获得第一图像。但是在第八方面中，由于将进行位置匹配的参数应用于第一图像来生成位置匹配第一图像，因此能够防止第一图像的帧率实质性降低。另外，能够在帧间(第一图像的帧与位置匹配第一图像的帧间)减小被摄体的色调及结构的变化。此外，在第八方面及以下各方面中，“位置匹配第一图像”是指“通过对第一图像应用位置匹配的参数而生成的、第二图像拍摄时刻中的第一图像”。

在第八方面中，参数计算部可以计算关于第一图像与第二图像的相对移动、旋转及变形中的至少一者的参数作为参数。“变形”可包括放大、缩小。另外，参数计算部也可以计算进行第一图像与第二图像的投影变换的参数作为参数，图像生成部在第一图像中实施基于计算出的参数的投影变换而生成位置匹配第一图像。

作为第九方面所涉及的图像处理装置，在第八方面中，参数计算部计算使第二图像和在与第二图像的拍摄时刻之间的时间差为第一阈值以下的拍摄时刻拍摄的第一图像位置匹配的参数。当拍摄时刻的时间差超过第一阈值时，由于被摄体的移动等而引起拍摄范围、拍摄角度等发生变化，存在位置匹配精度降低的可能性，因此在第九方面中，获取在与第二图像的拍摄时刻之间的时间差为第一阈值以下的拍摄时刻拍摄的第一图像。由此，能够生成被摄体的结构变化比第一图像少的位置匹配第一图像。此外在第九方面中，可考虑位置匹配精度等条件来设定第一阈值。

作为第十方面所涉及的图像处理装置，在第八方面中，参数计算部提取第一图像的图像信号和第二图像的图像信号中的、在第一观察光的波长和第二观察光的波长中共同的波长成分，并进行下述处理中的至少任一处理，计算使第一图像与第二图像位置匹配的参数：所述处理是：对共同的波长成分的第一图像的图像信号成分进行加权，生成使共同的波长成分的第一图像的图像信号成分的强度相对强于除共同的波长成分以外的第一图像的图像信号成分的强度的图像信号；以及对共同的波长成分的第二图像的图像信号成分进行加权，生成使共同的波长成分的第二图像的图像信号成分的强度相对强于除共同的波长成分以外的第二图像的图像信号成分的强度的图像信号。由此，能够提高位置匹配精度并获得帧间的被摄体的色调及结构的变化小的图像(位置匹配第一图像)。

作为第十一方面所涉及的图像处理装置，在第八方面中，参数计算部提取第一图像的图像信号和第二图像的图像信号中的、在第一观察光的波长和第二观察光的波长中共同的波长成分，并进行共同的波长成分的第一图像的图像信号成分的生成、及共同的波长成分的第二图像的图像信号成分的生成，计算使第一图像与第二图像位置匹配的参数。由此，能够提高位置匹配精度并获得帧间的被摄体的色调及结构的变化小的图像(位置匹配第一图像)。

作为第十二方面所涉及的图像处理装置，在第一至第十一方面中，在获取到第二图像的定时，显示控制部使在与第二图像的拍摄时刻之间的时间差为第二阈值以下的拍摄时刻拍摄的第一图像显示于显示装置。根据第十二方面，由于在获取到第二图像的定时持续显示第一图像，因此能够抑制由于第一图像的显示中断或显示色调不同的图像而给观察带来的影响。此外在第十二方面中，第二阈值可考虑拍摄时刻的偏差对图像的影响(被摄体的位置、朝向等)来设定。

作为第十三方面所涉及的图像处理装置，在第一至第十二方面的任一项中，图像获取部获取将中心波长比第一观察光短的光作为第二观察光而拍摄到的图像来作为第二图像。摄于图像中的被摄体的结构因观察光的波长而不同，因此在对病变等细微结构进行拍摄、检测时，优选使用波长短的观察光。在第十三方面中，能够在通过显示第一图像持续进行观察的同时，使用第二图像高精度地进行细微结构的检测、被摄体的分类等。

作为第十四方面所涉及的图像处理装置，在第一至第十三方面的任一项中，获取指示接受部接受由用户进行的静止图像的获取指示作为获取指示。根据第十四方面，用户能够在期望的定时获取图像。

为了达到上述目的，本发明的第十五方面所涉及的内窥镜系统具备：第一至第十四方面中任一项所涉及的图像处理装置；显示装置；内窥镜，其具有插入部和手边操作部，所述插入部插入受检体内，且具有前端硬质部、与前端硬质部的基端侧连接的弯曲部以及与弯曲部的基端侧连接的软性部，所述手边操作部与插入部的基端侧连接；光源装置，其向受检体照射第一观察光或第二观察光；以及摄像部，其具有使受检体的光学像成像的摄影透镜和通过摄影透镜将光学像成像的摄像元件，摄影透镜设于前端硬质部。第十五方面所涉及的内窥镜系统由于具备第一至第十四方面中任一项所涉及的图像处理装置，因此能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像。

另外，第十五方面所涉及的内窥镜系统由于具备第一至第十四方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，由于在第二图像的必要性较低时(例如，未检测到关注区域等而不需要进行被摄体的分类时)以前都不会获取第二图像，因此能够防止由于观察光的照射与非照射的重复增加而导致光源无益地提前劣化。

在第十五方面中，可以直接使用从光源出射的光作为观察光，也可以将对从光源出射的光应用透射特定波段的滤光片而生成的光作为观察光。例如，在使用窄波段光作为第一观察光和/或第二观察光的情况下，可以使用从窄波段光用光源照射的光作为观察光，也可以将对白色光应用透射特定波段的滤光片而生成的光作为观察光。在该情况下，可以通过依次切换应用于白色光的滤光片，在不同的定时照射不同的窄波段光。

作为第十六方面所涉及的内窥镜系统，在第十五方面中，光源装置向受检体照射包含红色、蓝色及绿色的波段的光的白色光作为第一观察光，向受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应的窄波段光作为第二观察光。根据第十六方面，可在显示利用白色光(第一观察光)拍摄的第一图像进行观察的同时，使用利用窄波段光(第二观察光)拍摄的第二图像进行关注区域的检测、分类等。此外，也可以使用与紫色及红外的波段对应的窄波段光。

作为第十七方面所涉及的内窥镜系统，在第十六方面中，光源装置具备照射作为激励光的白色光用激光的白色光用激光光源、通过照射白色光用激光而发出作为第一观察光的白色光的荧光体、以及照射作为第二观察光的窄波段光的窄波段光用激光光源。当为了获得作为第一观察光的白色光而使用激励光用的激光光源时，若第二图像的获取频率较高，则第一观察光的照射与非照射的重复增多，因此存在白色光用激光光源的激励与非激励的重复增多且光源提前劣化的可能性。但是，第十七方面所涉及的内窥镜系统由于具备第一至第十四方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，由于在第二图像的必要性较低时(例如，未检测到关注区域等而不需要进行分类时)以前都不会获取第二图像，因此能够防止由于第一观察光的照射与非照射的重复增加而导致光源无益地提前劣化。

作为第十八方面所涉及的内窥镜系统，在第十六方面中，光源装置具备发出白色光的白色光源、透射白色光的白色光滤光片、透射白色光中窄波段光的成分的窄波段光滤光片、以及在白色光源所发出的白色光的光路上插入白色光滤光片或窄波段光滤光片的第一滤光片切换控制部。在切换滤光片而生成多种观察光(白色光、窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性，但由于第十八方面所涉及的内窥镜系统具备第一至第十四方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，能够减少由于在第二图像的必要性较低时(例如，未检测到关注区域而不需要进行分类时)以前获取第二图像而导致光源或滤光片的切换次数增加及第一图像和/或第二图像失去色彩平衡的程度。

作为第十九方面所涉及的内窥镜系统，在第十五方面中，光源装置向受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应的第一窄波段光作为第一观察光，向受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应且波段不同于第一窄波段光的第二窄波段光作为第二观察光。第十九方面规定了使用多个窄波段光的方面，可使用例如波长不同的多个蓝色窄波段光、蓝色窄波段光与绿色窄波段光、波长不同的多个红色窄波段光等的组合，但是观察光并不限定于这些组合。此外，也可以使用与紫色及红外的波段对应的窄波段光。

作为第二十方面所涉及的内窥镜系统，在第十九方面中，光源装置具备：白色光源，其发出包含红色、蓝色及绿色的波段的光的白色光；第一窄波段光滤光片，其透射白色光中第一窄波段光的成分；第二窄波段光滤光片，其透射白色光中第二窄波段光的成分；以及第二滤光片切换控制部，其在白色光源所发出的白色光的光路上插入第一窄波段光滤光片或第二窄波段光滤光片。在利用第二滤光片切换控制部切换滤光片而生成多种观察光(第一窄波段光、第二窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于第二十方面所涉及的内窥镜系统具备第一至第十四方面中任一项所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，能够减少由于在第二图像的必要性较低时(例如，未检测到关注区域而不需要进行分类时)以前获取第二图像而导致光源或滤光片的切换次数增加及第一图像和/或第二图像失去色彩平衡的程度。

为了达到上述目的，本发明的第二十一方面所涉及的图像处理方法是一种图像处理装置的图像处理方法，所述图像处理装置具备获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像的图像获取部，其中，所述图像处理方法包括：获取指示接受工序，接受静止图像的获取指示；图像获取控制工序，控制由图像获取部进行的第一图像及第二图像的获取；显示控制工序，至少使第一图像显示于显示装置；以及分类工序，至少对摄于第二图像的被摄体进行分类，在图像获取控制工序中，使图像获取部进行依次获取第一图像作为动态图像的动态图像获取处理，直至在获取指示接受工序中接受获取指示为止，响应于获取指示的接受，使图像获取部进行获取第一图像及第二图像作为静止图像的静止图像获取处理，静止图像获取处理结束后，使图像获取部进行动态图像获取处理。根据第二十一方面，与第一方面同样地能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像。

此外，对于第二十一方面所涉及的图像处理方法，可以进一步包括与第二至第十四方面同样的结构。另外，也可列举使图像处理装置或内窥镜系统执行这些方面的图像处理方法的程序、以及记录了该程序的计算机可读取的代码的非暂时性记录介质作为本发明的一方面。

发明效果

如以上所说明，根据本发明的图像处理装置、内窥镜系统及图像处理方法，能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像。

附图说明

图1是第一实施方式所涉及的内窥镜系统的外观图。

图2是表示内窥镜系统的结构的框图。

图3是表示内窥镜的前端硬质部的结构的图。

图4是表示图像处理部的功能结构的图。

图5是表示记录于记录部的信息的图。

图6是表示图像处理的顺序的流程图。

图7是表示图像处理的顺序的流程图(接图6)。

图8是表示动态图像及静止图像的获取情形的图。

图9是表示显示动态图像及静止图像的例子的图。

图10是表示显示静止图像的例子的图。

图11是表示一起显示图像和关注区域的鉴别结果的情形的图。

图12是表示关注区域的强调显示的例子的图。

图13是表示关注区域的强调显示的例子的另一图。

图14是表示将图像与关注区域的分类结果关联保存的情形的图。

图15是表示将图像与关注区域的分类结果关联保存的情形的另一图。

图16是表示关于位置匹配第一图像的处理的流程图。

图17是表示制作位置匹配第一图像的情形的图。

图18是表示在第一静止图像中对蓝色光成分进行加权后的状态的图。

图19是表示位置匹配第一图像的例子的图。

图20是表示光源的结构例的图。

图21是表示光源的另一结构例的图。

图22是表示旋转滤光片的例子的图。

图23是表示旋转滤光片的另一例的图。

具体实施方式

以下，参照附图，对本发明所涉及的图像处理装置、内窥镜系统及图像处理方法的实施方式进行详细说明。此外，在以下说明中，有时将照射第一观察光而获取的动态图像记载为“第一动态图像”，将照射第一、第二观察光而获取的静止图像分别记载为“第一静止图像”、“第二静止图像”。

<第一实施方式>

图1是表示第一实施方式所涉及的内窥镜系统10(图像处理装置、诊断支援装置、内窥镜系统、医疗图像处理装置)的外观图，图2是表示内窥镜系统10的主要结构的框图。如图1、2所示，内窥镜系统10由内窥镜主体100(内窥镜)、处理器200(处理器、图像处理装置、医疗图像处理装置)、光源装置300(光源装置)及监视器400(显示装置)构成。

<内窥镜主体的结构>

内窥镜主体100具备手边操作部102(手边操作部)和与该手边操作部102连接设置的插入部104(插入部)。施术者(用户)把持操作手边操作部102，将插入部104插入受检体(生物体)的体内进行观察。另外，手边操作部102上设有送气送水按钮141、吸引按钮142、被分配有各种功能的功能按钮143以及接受拍摄指示操作(静止图像、动态图像)的拍摄按钮144。插入部104从手边操作部102侧依次由软性部112(软性部)、弯曲部114(弯曲部)、前端硬质部116(前端硬质部)构成。即，弯曲部114连接于前端硬质部116的基端侧，软性部112连接于弯曲部114的基端侧。手边操作部102连接于插入部104的基端侧。用户可通过操作手边操作部102来使弯曲部114弯曲，从而上下左右改变前端硬质部116的朝向。前端硬质部116中设有摄影光学系统130(摄像部)、照明部123、钳道口126等(参照图1～图3)。

在观察、处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光和/或窄波段光(红色窄波段光、绿色窄波段光及蓝色窄波段光中的一个以上)。另外，可通过送气送水按钮141的操作从未图示的送水喷嘴排出清洗水，对摄影光学系统130的摄影透镜132(摄影透镜、摄像部)及照明用透镜123A、123B进行清洗。在前端硬质部116开口的钳道口126中连通有未图示的管路，在该管路中插通用于摘除肿瘤等的未图示的处置器具，可适当地进行插拔而对受检体实施必要的处置。

如图1～图3所示，在前端硬质部116的前端侧端面116A上配置有摄影透镜132(摄像部)。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型摄像元件134(摄像元件、摄像部)、驱动电路136、AFE138(AFE：Analog Front End)，通过这些构成要素输出图像信号。摄像元件134是彩色摄像元件，具备由通过特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)呈矩阵状配置(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红(R)、绿(G)或蓝(B)的彩色滤光片及光电转换部(光电二极管等)。摄影光学系统130既能够根据红、绿、蓝三种颜色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意一种颜色或两种颜色的像素信号生成图像。此外，在第一实施方式中对摄像元件134是CMOS型的摄像元件的情况进行了说明，但摄像元件134也可以是CCD(Charge Coupled Device)型。此外，摄像元件134的各像素还可以具备与紫色光源对应的紫色彩色滤光片和/或与红外光源对应的红外用滤光片。

受检体(肿瘤部、病变部)的光学像通过摄影透镜132成像于摄像元件134的受光面(摄像面)并转换为电信号，经由未图示的信号电缆输出到处理器200并转换为影像信号。由此，在连接于处理器200的监视器400上显示观察图像。

另外，在前端硬质部116的前端侧端面116A上，与摄影透镜132相邻设有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B的里侧配设有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置在光导连接器108内。

<光源装置的结构>

如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光向光导170入射。光源310具备分别照射红色、绿色、蓝色的窄波段光的红色光源310R、绿色光源310G、蓝色光源310B，能够照射红色、绿色及蓝色的窄波段光。光源310照射的观察光的照度由光源控制部350控制，可根据需要降低观察光的照度及停止照明。

光源310可通过任意的组合发出红色、绿色、蓝色的窄波段光。例如，既能够同时发出红色、绿色、蓝色的窄波段光而照射白色光(普通光)作为观察光，也能够通过发出任一种或两种光而照射窄波段光(特殊光)。光源310还可以具备照射紫色光(窄波段光的一例)的紫色光源和/或照射红外光(窄波段光的一例)的红外光源。另外，通过照射白色光的光源、和透射白色光及各窄波段光的滤光片，也可以照射白色光或窄波段光作为观察光(例如，参照图20～23)。

<光源的波段>

光源310可以是产生白色波段的光或作为白色波段的光的多个波段的光的光源，也可以是产生比白色的波段窄的特定波段的光的光源。特定波段可以是可见范围的蓝色波段或绿色波段、或者可见范围的红色波段。当特定波段是可见范围的蓝色波段或绿色波段时，可以包含390nm以上450nm以下或530nm以上550nm以下的波段，而且，在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。另外，当特定波段是可见范围的红色波段时，可以包含585nm以上615nm以下或610nm以上730nm以下的波段，而且，特定波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。

上述的特定波段的光也可以包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段，而且，在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段具有峰波长。在该情况下，特定波段可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm的波段，而且，在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。

另外，光源310所产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波段，而且，在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。

另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的医用图像(生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。

光源310的光源种类(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、观察目的等来构成，另外在观察时，优选根据被摄体的种类、观察目的等组合和/或切换观察光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆板状的滤光片(旋转彩色滤光片)旋转，来切换所照射的光的波长(参照图20～23)。

另外，实施本发明时所使用的摄像元件并不限定于像摄像元件134那样针对各像素配置有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换观察光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在(蓝色、绿色、红色)之间依次切换出射的观察光的波长，也可以照射宽波段光(白色光)并通过旋转彩色滤光片(红色、绿色、蓝色等)切换所出射的观察光的波长。另外，也可以照射一个或多个窄波段光(绿色、蓝色等)并通过旋转彩色滤光片(绿色、蓝色等)切换所出射的观察光的波长。窄波段光可以是波长不同的两种波长以上的红外光(第一窄波段光、第二窄波段光)。

通过将光导连接器108(参照图1)连结于光源装置300，从光源装置300照射的观察光经由光导170传递到照明用透镜123A、123B，并从照明用透镜123A、123B向观察范围照射。

<处理器的结构>

基于图2说明处理器200的结构。处理器200将从内窥镜主体100输出的图像信号经由图像输入控制器202输入，通过图像处理部204进行必要的图像处理并经由视频输出部206输出。由此在监视器400(显示装置)上显示观察图像(生物体内图像)。这些处理在CPU210(CPU：Central Processing Unit)的控制下进行。即，CPU210具有作为图像获取部、获取指示接受部、图像获取控制部、显示控制部、分类部、关注区域检测部、分类结果保存部、图像处理部、参数计算部、图像生成部的功能。通信控制部205进行与未图示的医院内系统(HIS：Hospital Information System)、医院内LAN(Local Area Network)等之间的通信控制。在记录部207中，记录被摄体的图像(医用图像、拍摄图像)、表示关注区域的检测和/或分类结果的信息等。声音处理部209通过CPU210及图像处理部204的控制，从扬声器209A输出与关注区域的检测和/或分类结果相应的消息(声音)等。

另外，ROM211(ROM：Read Only Memory)是非易失性的存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204(图像处理装置、计算机)执行本发明所涉及的图像处理方法的程序的计算机可读取的代码。RAM212(RAM：Random Access Memory)是各种处理时的暂时存储用的存储元件，另外也能够用作获取图像时的缓冲器。

<图像处理部的功能>

图4是表示图像处理部204(医疗图像获取部、医疗图像分析处理部、医疗图像分析结果获取部)的功能结构的图。图像处理部204具有图像获取部204A(图像获取部)、获取指示接受部204B(获取指示接受部)、图像获取控制部204C(图像获取控制部)、显示控制部204D(显示控制部)、分类部204E(分类部)、关注区域检测部204F(关注区域检测部)、分类结果保存部204G(分类结果保存部)、图像加工部204H(图像加工部)、参数计算部204I(参数计算部)及图像生成部204J(图像生成部)。分类部204E及关注区域检测部204F也作为医疗图像分析处理部进行动作。

另外，图像处理部204也可以具备基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像获取具有特定波段的信息的特殊光图像的特殊光图像获取部。在该情况下，特定波段的信号可通过基于普通光图像所包含的RGB(R：红、G：绿、B：蓝)或者CMY(C：蓝绿、M：品红、Y：黄)的颜色信息的运算来获得。

另外，图像处理部204也可以具备通过基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像和照射特定波段的光而得到的特殊光图像中的至少一者的运算来生成特征量图像的特征量图像生成部，获取并显示作为医用图像(医疗图像)的特征量图像。图像加工部204H也可以具有特征量图像生成部的功能。

关于图像处理部204的基于这些功能的处理，后面进行详述。此外，基于这些功能的处理在CPU210的控制下进行。

上述的图像处理部204的功能可使用各种处理器(processor)来实现。各种处理器包括例如执行软件(程序)来实现各种功能的通用处理器即CPU(Central ProcessingUnit)。另外，在上述的各种处理器中，也包括专门用于图像处理的处理器即GPU(GraphicsProcessing Unit)、在制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编辑逻辑器件(Programmable Logic Device：PLD)。而且，具有为了执行ASIC(Application Specific Integrated Circuit)等的特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。

各部的功能可以由一个处理器来实现，也可以由同种或不同种类的多个处理器(例如，多个FPGA、或者CPU与FPGA的组合、或者CPU与GPU的组合)来实现。另外，也可以由一个处理器来实现多个功能。作为由一个处理器配置多个功能的例子，第一，像图像处理装置主体、服务器等的计算机所代表的那样，有通过一个以上的CPU与软件的组合构成一个处理器、且该处理器作为多个功能来实现的方式。第二，像片上系统(System On Chip：SoC)等所代表的那样，有使用通过一个IC(Integrated Circuit)芯片实现整个系统功能的处理器的方式。这样，各种功能使用一个以上的上述各种处理器作为硬件结构来配置。而且，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。

在上述的处理器或电路执行软件(程序)时，将所执行的软件的处理器(计算机)可读取的代码预先存储在ROM(Read Only Memory)等非暂时性记录介质中，处理器参照该软件。预先存储在非暂时性记录介质中的软件包括用于执行图像的输入及被摄体的测量的程序。也可以将代码不是记录在ROM中，而是记录在各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用软件进行处理时，例如RAM(Random Access Memory)被用作暂时性存储区域，另外也可参照例如存储在未图示的EEPROM(Electronically Erasable andProgrammable Read Only Memory)中的数据。

<操作部的结构>

处理器200具备操作部208。操作部208具备未图示的操作模式设定开关等，能够设定观察光的波长(是白色光还是窄波段光，窄波段光时是使用哪种窄波段光)。另外，操作部208包括未图示的键盘及鼠标，用户能够经由这些器件进行拍摄条件及显示条件的设定操作、或者动态图像、静止图像的拍摄指示(获取指示)(动态图像、静止图像的拍摄指示也可以通过拍摄按钮144来进行)。这些设定操作可以经由未图示的脚踏开关来进行，也可以通过声音、视线、手势等来进行。

<记录部的结构>

记录部207(记录装置)包括各种光磁记录介质、半导体存储器等非暂时性记录介质及这些记录介质的控制部而构成，将第一动态图像207A(第一图像)、第一静止图像207B(第一图像)、第二静止图像207C(第一图像)、对位第一图像207D、观察用静止图像207E、关注区域分类结果207F等相互关联进行记录。这些图像及信息通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示于监视器400。

除上述图像以外，也可以将关于包含在医用图像(医疗图像)中的作为应关注区域的关注区域(关心区域)和有无应关注方面中的任一者或两者的分析结果记录在记录部207(记录装置)中。在该情况下，图像处理部204(医疗图像分析处理部、医疗图像分析结果获取部)能够从记录部207中获取这些分析结果并将其显示于监视器400。

<显示装置的结构>

监视器400(显示装置)通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示第一动态图像207A(第一图像)、第一静止图像207B(第一图像)、第二静止图像207C(第一图像)、对位第一图像207D、观察用静止图像207E、关注区域分类结果207F等。另外，监视器400具有用于进行拍摄条件设定操作和/或显示条件设定操作的未图示的触摸屏。

<图像处理方法>

对使用了上述结构的内窥镜系统10的图像处理方法进行说明。图6～7是表示第一实施方式所涉及的图像处理方法的顺序的流程图。

<第一图像及第二图像的观察光>

在第一实施方式中，对获取以白色光为观察光(第一观察光)的白色光图像(普通图像)作为第一图像、获取以作为窄波段光的蓝色光(中心波长比第一观察光短)为观察光(第二观察光)的蓝色光图像(特殊光图像)作为第二图像的情况进行了说明。但是，在本发明中，观察光并不限定于这种组合。例如，第二图像也可以是获取了作为窄波段光的绿色光、红色光、红外光、紫色光等作为观察光的特殊光图像。另外，也可以将第一观察光、第二观察光两者作为窄波段光(例如蓝色光与绿色光、或者波长不同的红色光等的、第一窄波段光及第二窄波段光)获取第一图像及第二图像。此外，在第一实施方式中，设为在一帧中仅照射第一观察光或仅照射第二观察光来拍摄第一图像、第二图像。

<第一动态图像的获取>

图像获取部204A控制光源控制部350使红色光源310R、绿色光源310G及蓝色光源310B发光而对受检体照射白色光(第一观察光)，并通过摄影光学系统130、摄像元件134等拍摄受检体的第一动态图像(第一图像、普通光图像)(步骤S100：图像获取控制工序、动态图像获取处理)。具体而言，以30帧/秒、60帧/秒等的帧率依次获取构成动态图像的帧图像。图像获取部204A经由图像输入控制器202获取(输入)拍摄到的第一动态图像(步骤S100：图像获取工序)。显示控制部204D将获取的第一动态图像显示于监视器400(显示装置)(步骤S102：显示控制工序)。

<关注区域的检测>

关注区域检测部204F(关注区域检测部)从获取到的第一动态图像的各帧中检测关注区域(步骤S103：第一关注区域检测工序)。关注区域的检测可通过关注区域检测部204F具备例如公知的CAD系统(CAD：Computer Aided Diagnosis)来进行。具体而言，例如可基于医用图像的像素的特征量，提取关注区域(作为应关注区域的关注区域)及关注区域中有无对象(应关注对象)。在该情况下，关注区域检测部204F将检测对象图像分割为例如多个矩形区域，将分割的各矩形区域设定为局部区域。关注区域检测部204F按照检测对象图像的每个局部区域计算局部区域内的像素的特征量(例如色相)，从各局部区域中确定具有特定色相的局部区域作为关注区域。此外，在步骤S103中，“检测关注区域”是指对图像实施检测处理。

<基于深度学习算法的关注区域的检测>

关注区域的检测可以利用深度学习的结果来进行。例如，每次在记录部207中记录新的图像时(或每次拍摄新的图像时)，关注区域检测部204F基于深度学习算法进行采用了深度学习(Deep Learning)的图像分析处理，从而分析图像中是否包含关注区域。深度学习算法是公知的卷积神经网络(Convolutional Neural Network)的方法、即经由卷积层及池化层的重复、全连接层以及输出层识别图像中是否包含关注区域的算法。

在采用了深度学习的图像分析处理中，也可以使用给出标注了“是关注区域”或者“不是关注区域”这样的标签的图像作为教师数据而生成的学习器。也可以根据用户经由操作部208及监视器400的操作来设定“是否进行这种机器学习”和/或“是否利用学习结果”。

作为在步骤S103中检测的关注区域(关心区域)的例子，可列举息肉、癌、大肠憩室、炎症、治疗疤痕(EMR瘢痕(EMR：Endoscopic Mucosal Resection)、ESD瘢痕(ESD：Endoscopic Submucosal Dissection)、夹持部位等)、出血点、穿孔、血管异型性等。

关注区域检测部204F判断是否检测到关注区域(步骤S104)。当判断为肯定时(检测到关注区域时)进入步骤S108，进行静止图像的拍摄指示(获取指示)。当判断为否定时(未检测到关注区域时)进入步骤S106，判断是否接受到由用户进行的静止图像的拍摄指示(获取指示接受工序)。由用户进行的拍摄指示可通过操作拍摄按钮144或者操作部208来进行。当步骤S106的判断为否定时，返回步骤S102重复进行第一动态图像的获取及显示(动态图像获取处理)。

<静止图像拍摄指示及获取指示的接受>

当步骤S104的判断为肯定时(检测到关注区域时)，图像获取控制部204C进行静止图像的拍摄指示(获取指示)(步骤S108：静止图像获取指示工序)。在步骤S106中接受到用户指示时，也按照该指示同样地进行静止图像的拍摄指示(获取指示)(步骤S108：静止图像获取指示工序)。获取指示接受部204B接受静止图像的拍摄指示(获取指示)(步骤S110：获取指示接受工序)。

<静止图像的拍摄>

当接受到静止图像的拍摄指示(获取指示)时，图像获取部204A通过图像获取控制部204C的控制获取第一动态图像的一帧作为第一静止图像(步骤S112：静止图像获取工序、静止图像获取处理)。作为第一静止图像获取的帧可设为通过上述处理检测到关注区域的帧，但也可以是其他帧(例如，与检测到关注区域的帧之间的拍摄时间差为阈值以下的其他帧)。另外图像获取部204A通过图像获取控制部204C的控制来控制光源控制部350，取代白色光(第一观察光)而使蓝色光源310B发光并向被摄体照射作为窄波段光的蓝色光(第二观察光)，通过摄影光学系统130、摄像元件134等拍摄(获取)受检体的第二静止图像(步骤S114：静止图像获取工序、静止图像获取处理)。

<第一图像及第二图像的获取图案>

图8是表示第一实施方式中的第一图像(第一动态图像、第一静止图像)及第二图像(第二静止图像)的获取例子的图。这些附图示出了沿着时间轴t从附图的左侧向右侧获取图像的情形。图8的(a)部分示出了以指定的帧率(帧间隔：Δt)连续拍摄基于第一观察光(白色光、普通光)的第一动态图像500(第一图像)的情形。图8的(b)部分示出了在(t＝t1)的定时接受静止图像的获取指示、并与此相应地获取动态图像600中的图像605(第一图像)作为第一静止图像701(步骤S112)、获取图像606(第二图像)作为第二静止图像702(步骤S114)的情形。此外，也可以根据静止图像的获取指示拍摄多个第一、第二静止图像。

<观察用静止图像的生成>

图像加工部204H对第一静止图像701和/或第二静止图像702实施图像处理而生成观察用静止图像(步骤S116：图像处理工序)。图像加工部204H可生成白色光图像、特殊光图像、及由这些的组合形成的图像。另外图像加工部204H可进行色彩平衡调整、血管强调、特征量强调、差分强调、或合成实施了这些处理的图像等图像处理而生成观察用图像、分类(鉴别)用图像等图像。例如，图像加工部204H可根据白色光图像和蓝色窄波段光图像生成蓝色区域强调图像。在蓝色区域强调图像中，可强调显示脏器的粘膜表层的微细血管或粘膜的细微结构等。另外，图像加工部204H可生成红色区域强调图像。

在红色区域强调图像中，可强调显示图像的红色区域的细微的颜色差异。此外，白色光图像是适合普通观察的图像。利用这些观察用图像，用户能够有效地进行观察。对于实施何种图像处理，可以根据用户的指示来确定，也可以与用户的指示无关地由图像加工部204H来确定。此外，图像加工部204H可将生成的观察用静止图像作为观察用静止图像207E记录于记录部207。

<防止第一图像的帧率降低>

在第一实施方式中，为了防止由波长分离引起的画质降低而仅照射第一观察光或第二观察光作为观察光而不同时照射第一观察光和第二观察光，因此在第二观察光的照射定时无法获得第一图像。例如，在通过图8的(b)部分所示的图案获取第一静止图像及第二静止图像时，在图像606(第二静止图像)的获取定时无法获取第一图像。因此，在第一实施方式中，通过像以下这样生成并显示“位置匹配第一图像”(“通过对第一图像应用位置匹配的参数而生成的、第二图像拍摄时刻中的第一图像”)，防止了关于第一图像的实质的帧率降低(步骤S118：位置匹配第一图像生成工序)。关于位置匹配第一图像的生成处理，后面详述。

<从第二静止图像中检测关注区域>

关注区域检测部204F从第一静止图像和/或第二静止图像中检测作为被摄体的关注区域(步骤S119：第二关注区域检测工序)。关注区域的检测可与步骤S103中的第一关注区域检测工序同样地进行。此外，在获取通过步骤S103的处理检测到关注区域的第一动态图像的帧作为第一静止图像的情况下，可省略对该第一静止图像的再次检测处理。

<关注区域的分类>

分类部204E对在步骤S119中从第二静止图像中检测到的关注区域(被摄体的一例)进行分类(鉴别)(步骤S120：分类工序)。作为分类的例子，可列举病变的种类(增生性息肉、腺瘤、粘膜内癌、浸润性癌等)、病变的范围、病变的大小、病变的肉眼形态、癌症的阶段诊断、管腔内的当前位置(如果是上部，则为咽喉、食管、胃、十二指肠等，如果是下部，则为盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠等)等。在这些分类中，也可与检测时同样地利用机器学习(深度学习)的结果。另外，关注区域的分类可以与检测一体进行。此外，当第一观察光为白色光、第二观察光为蓝色窄波段光时，分类部204E优选基于第一静止图像及第二静止图像中的至少第二静止图像对关注区域(被摄体)进行分类。这是因为，在上述例子中，第二静止图像是利用中心波长比第一观察光(白色光)短的蓝色窄波段光拍摄的，适合对病变等细微结构进行分类。此外，基于哪一种图像对关注区域进行分类，可以基于用户经由操作部208的操作进行设定，也可以与用户的操作无关地由分类部204E进行设定。

<静止图像的显示>

显示控制部204D使静止图像(第一静止图像、第二静止图像、观察用静止图像)显示于监视器400(显示装置)(步骤S122：静止图像显示工序)。显示的静止图像除获取的第一静止图像及第二静止图像以外，还可以是步骤S116中生成的观察用静止图像。这些静止图像可通过各种图案显示。例如如图9的(a)部分所示，可以在监视器400上连续显示动态图像800的同时，在另一显示区域显示第一静止图像802。另外，如图9的(b)部分所示，也可以除显示第一静止图像802以外还显示第二静止图像804。此外，显示的静止图像的数量并不限于一个，也可以显示多个。在显示多个静止图像时，每次获取到静止图像时都追加显示，如果显示区域满屏，则可以删除旧的静止图像而显示新获取的静止图像。另外，也可以取代如图9所示并列显示动态图像和静止图像的方式，而如图10所示在一定期间仅冻结显示(持续显示同一静止图像)静止图像806(第一静止图像和/或第二静止图像)。通过图9、10所例示的静止图像的显示，用户能够在诊断(观察)中确认用于分类(鉴别)的图像等静止图像，如果图像中有模糊、光晕、水雾等缺陷，则可采取指示重新拍摄等的对应措施。

<分类结果的显示>

显示控制部204D可以将表示分类的结果的信息与静止图像一并显示于监视器400(显示装置)(步骤S124：分类结果显示工序)。图11是表示分类结果的显示例的图，除动态图像800以外，还示出了静止图像808、810、812及对这些静止图像的分类结果。在图11中，“HP”表示“Helicobacter Pylori(幽门螺旋杆菌)”，“adenoma”表示“腺瘤”。通过这样的分类结果的显示，用户能够同时评价静止图像的质量和分类(鉴别)结果，因此当同一病变的鉴别结果不同时，能够判断应该相信哪一结果。此外，分类部204E及关注区域检测部204F可以通过经由声音处理部209及扬声器209A的声音来报知表示关注区域的检测结果和/或分类结果的信息。

<关注区域的强调显示>

在图像及分类结果的显示中，显示控制部204D、分类部204E及关注区域检测部204F可强调显示关注区域。可通过显示控制部204D、分类部204E及关注区域检测部204F等将例如表示关注区域的位置、大小的文字、数字、记号、色彩等与第一静止图像和/或第二静止图像重叠显示来进行信息的输出。图12是这种强调显示的例子，示出了除显示图11所示的分类结果以外、还显示包围成为分类的对象的关注区域的矩形820的情况。强调显示可以针对图9、10所示的显示方式(不显示分类结果)进行。图13是表示在图9所示的方式中进行强调显示的例子的图。在不强调显示关注区域的状态下显示第一静止图像和/或第二静止图像时，用户需要对图像整体确认关注区域，但通过这种关注区域的强调显示，用户能够容易地确认以哪个区域为对象进行关注区域的检测、分类。另外假设关注区域的检测为误检测时，能够容易地判断是在第一静止图像和/或第二静止图像中没有关注区域的误检测。此外，关注区域的强调除图12、13所示的例子(矩形的显示)以外，还可通过利用圆形、十字、箭头等特定图形标记的重叠处理、色调或灰度的变更、频率处理等来进行，但并不限定于这种方式。

<分类结果及图像的保存>

分类结果保存部204G将分类的结果与第一静止图像和/或第二静止图像相关联并作为关注区域分类结果207F保存于记录部207(步骤S126：分类结果保存工序)。分类的结果也可以与上述观察用静止图像相关联。图14、15是表示将分类结果与图像关联保存的例子的图。图14示出了在记录部207中制作的主文件夹1000中存储有与动态图像关联的子文件夹1010、1020、1030、1040、1050、1060的情形。图15是表示存储于子文件夹1010的图像及信息的图，示出了存储有动态图像1011及与动态图像1011关联的子文件夹1012、1013、由此动态图像1011与子文件夹1012、1013相关联的情形。示出了在子文件夹1012中存储有第一静止图像1012A、第二静止图像1012B、观察用静止图像1012C及分类结果1012D、且这些静止图像与分类结果相关联的情况。同样地示出了在子文件夹1013中存储有第一静止图像1013A、第二静止图像1013B、观察用静止图像1013C及分类结果1013D、且这些静止图像与分类结果相关联的情况。通过这样的划分文件夹式的保存，用户能够容易地掌握图像与分类结果的对应关系。

在如上所述保存图像及分类结果时，关于检测到病变等关注区域的图像(以下，称为“病变图像”)，也可以对发现了特定病变(患病率低的病变、检测困难症例等)的检查进行保存(记录)。例如，在病变尺寸较小时，或者在病变的形状平坦几乎没有隆起时，可保存病变图像(静止图像、动态图像)作为“检测困难的病变”。另外，例如进行病理活检时(在该情况下，可认为“难以通过内窥镜检查判断进行活检的病变”)，或者病理活检的结果与内窥镜检查不一致时(例如，在内窥镜检查中为“疑似腺瘤”并进行了活检，但病理结果却为增生性息肉等)，可保存病变图像作为“诊断困难的病变”。进而，在输入病变图像并通过机器学习构建学习器时，可以根据学习器的利用目的来保存病变图像。例如，可考虑在构建以筛选中的病变检测(拾取)为目的的学习器时仅保存筛选目的的检查(ESD(EndoscopicSubmucosal Dissection：内窥镜粘膜下层剥离术)等手法视频在机器学习等中的利用价值较低)、在构建以癌症的阶段判别(粘膜内癌、晚期癌等)为目的的学习器时仅保存与ESD、EMR(EMR：Endoscopic Mucosal Resection)等治疗目的的检查相关的病变图像等。

如果分类结果及图像的保存结束，则图像处理部204(图像获取控制部204C)判断是否结束图像处理方法的处理(步骤S128：结束判断工序)。在持续进行处理时(在步骤S128中为NO)结束静止图像获取处理(第一、第二静止图像的获取及其显示等)，返回步骤S102并再次进行动态图像获取处理。

<关于位置匹配第一图像的处理>

以下，参照图16的流程图，对图7的步骤S118中的关于位置匹配第一图像的处理进行详细说明。

<用于生成位置匹配第一图像的图像>

在位置匹配第一图像的生成中，例如像图8的(b)部分的图像605(第一静止图像701)和图像606(第二静止图像702)那样，可使用在第一静止图像的缺失定时(作为第二静止图像的图像606的拍摄定时)之前获取的第一静止图像(图像605)。具体而言，可使用“在第二静止图像的拍摄时刻之前且与第二静止图像的拍摄时刻之间的时间差为第一阈值以下的拍摄时刻拍摄的第一静止图像”。由此，能够生成帧间的被摄体的色调及结构的变化小的位置匹配第一图像。相对于拍摄时刻的阈值(第一阈值)可根据位置匹配精度、对图像的生成及显示延迟的容许时间等来确定。以下，对使用作为第一静止图像的图像605(第一静止图像701)及作为第二静止图像的图像606(第二静止图像702)生成位置匹配第一图像的情况进行说明。

此外，在位置匹配第一图像的生成中，除上述图案以外，还可以使用拍摄时刻不同的多个第一静止图像(在图8的(b)部分，例如为图像604、605)，亦可以使用在第一静止图像的缺失定时之后获取的第一静止图像(在图8的(b)部分，例如为图像607、608)。例如在从图像获取到显示存在遅延的系统的情况下，可使用在第二图像的拍摄时刻之后拍摄的第一图像(例如，图像607、608)进行位置匹配，另外通过使用在第二图像的拍摄时刻前后的时刻拍摄的第一图像(例如，图像605、607)进行位置匹配，能够进行高精度的位置匹配。

<位置匹配前的校正(预处理)>

在第一静止图像和第二静止图像中，除拍摄定时以外，观察光的波长也不同。由此在以白色光为观察光的第一静止图像701中，例如如图17的(a)部分所示，清晰地摄有较粗的血管601，但较细的血管602却未清楚地拍摄出来。与此相对，在以蓝色窄波段光为观察光的第二静止图像702中，例如如图17的(b)部分所示，与第一静止图像701相比，较粗的血管601不太清晰，但较细的血管602却清楚地拍摄出来。因此，在第一实施方式中，图像处理部204(参数计算部204I)进行使由第一观察光与第二观察光的不同引起的第一静止图像与第二静止图像的差异减少的校正(预处理)(步骤S200：图像校正工序)。

具体而言，参数计算部204I提取第一静止图像的图像信号和第二静止图像的图像信号中的第一观察光与第二观察光中共同的波长的成分，将提取的波长的成分加权到第一静止图像的图像信号和第二静止图像的图像信号中的至少一者上，生成使共同的波长的成分的信号强度比除共同的波长的成分以外的成分的信号强度相对强的图像。在第一实施方式中，由于第一观察光为白色光，第二观察光为蓝色光，因此参数计算部204I加强第一静止图像的图像信号和第二静止图像的图像信号中的作为共同的波长的蓝色光的成分的权重。图18是表示在第一静止图像701中对蓝色光成分进行了加权后的状态的例子，较细的血管602相对被强调。

在第一实施方式中，可获得通过这种校正(预处理)使位置匹配精度提高且帧间的被摄体的色调及结构的变化较小的图像(位置匹配第一图像)。此外，也可以不是如上所述对共同的波长成分(蓝色光成分)进行加权，而是仅使用共同的波长成分来生成位置匹配第一图像。

<参数的计算及位置匹配>

参数计算部204I计算通过位置匹配使实施了校正(预处理)的第一静止图像701与第二静止图像702一致的参数(步骤S202：参数计算工序)。所计算的参数是关于相对移动、旋转及变形中的至少一者的参数，“变形”可以包括放大或缩小。图像生成部204J将生成的参数应用于校正后的第一静止图像701来生成位置匹配第一图像(步骤S204：图像生成工序)。此外，在步骤S202、S204中，参数计算部204I计算进行第一静止图像与第二静止图像之间的投影变换的参数，图像生成部204J能够将基于计算出的参数的投影变换施加于第一静止图像而生成位置匹配第一图像。将位置匹配第一图像的例子(图像710)示于图19。如上所述，计算参数时使用了第二静止图像，但由于位置匹配第一图像是第一静止图像移动、变形等而生成的，因此位置匹配第一图像的色调不会受第二静止图像的像素值的影响发生变化。

<关于位置匹配第一图像的输出>

显示控制部204D及图像生成部204J使位置匹配第一图像显示于监视器400(显示装置)(步骤S206：显示控制工序)。另外，显示控制部204D及图像生成部204J将生成的位置匹配第一图像作为“位置匹配第一图像207D”记录于记录部207(步骤S208：位置匹配第一图像记录工序)。位置匹配第一图像的显示及记录可接着第一动态图像的各帧的显示及记录依次进行。这种依次显示可以在被摄体的检查中实时进行，也可以在将第一动态图像及位置匹配第一图像预先记录于记录部207、之后(第一动态图像207A、位置匹配第一图像207D)用户回看图像时进行。此外，在关于第一图像进行上述校正(蓝色光成分的加权)生成位置匹配第一图像的情况下，在输出(显示等)位置匹配第一图像时，图像生成部204J可以使波长成分的平衡复原并设为与白色光相同。由此，能够防止波长平衡不同的图像显示于监视器400而使用户感到违和感。

这样，在第一实施方式中，除了普通的第一动态图像的显示(步骤S102)以外，还可在无法获取第一图像的定时显示位置匹配第一图像(步骤S206)。由此防止第一动态图像的帧率实质性降低，用户可通过利用普通光(白色光)拍摄到的普通光图像(第一图像)持续进行观察。

此外，对在图6、7的流程图中在无法获取第一图像的定时显示位置匹配第一图像的方式进行了说明，但显示控制部204D也可以不显示位置匹配第一图像而持续显示第一图像。在该情况下，显示控制部204D优选在获取到第二图像的定时，使在与第二图像的拍摄时刻之间的时间差为第二阈值以下的拍摄时刻拍摄的第一图像显示于监视器400(显示装置)。例如，若将第二阈值设为(2×Δt；Δt为动态图像的帧间隔)，则在图8所示的例子中，在第二图像即图像606的获取定时，能够持续显示图像605、607(时间差为Δt)或者图像607、608(时间差为2×Δt)中的任一者。

如以上所说明，在第一实施方式所涉及的内窥镜系统10中，用户能够在持续通过第一图像进行的观察的同时，根据需要(例如，在有用户指示时或者检测到关注区域时等需要获取静止图像的定时)利用第一、第二观察光获取静止图像，并在观察的同时进行被摄体的分类。另外，能够在通过位置匹配第一图像的生成及显示防止图像显示(第一图像)的帧率实质性降低的同时，获取帧间的被摄体的色调及结构的变化较小的图像，由此能够观察被摄体的准确结构。这样，在内窥镜系统10中，能够在抑制对用户的观察的影响的同时，根据需要获取基于多个观察光的图像。

<光源的其他结构及应用本发明的效果>

对本发明的内窥镜系统中的光源的其他结构例及此时应用本发明的图像处理装置的效果进行说明。

(例1)

如图20所示，光源装置320(光源装置)具备照射作为激励光的白色光用激光的白色光用激光光源312(白色光用激光光源)、通过照射白色光用激光而发出作为第一观察光的白色光的荧光体314(荧光体)、以及照射作为第二观察光的窄波段光(例如，可设为蓝色窄波段光，但也可以是绿色窄波段光、红色窄波段光)的窄波段光用激光光源316(窄波段光用激光光源)。光源装置320由光源控制部350控制。此外，在图20中，内窥镜系统10的构成要素中除光源装置320及光源控制部350以外省略了图示。

为了获得作为第一观察光的白色光而使用白色光用激光光源312时，若第二图像的获取次数多，则第一观察光的照射与非照射的重复增多，因此存在白色光用激光光源312的激励与非激励的重复增多而使光源提前劣化的可能性。但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，由于仅在有静止图像的获取指示时(检测到关注区域时、有用户指示时)获取第二图像，没有获取指示时(例如，未检测到关注区域而不需要进行分类时)不会获取第二图像，因此能够防止由于第一观察光的照射与非照射的重复增加而导致光源无益地提前劣化。

(例2)

如图21所示，光源装置322(光源装置)具备发出白色光的白色光源318(白色光源)、形成有透射白色光的白色光区域和透射窄波段光的窄波段光区域的旋转滤光片360(白色光滤光片、窄波段光滤光片)、以及控制旋转滤光片360的旋转而在白色光的光路上插入白色光区域或窄波段光区域的旋转滤光片控制部363(第一滤光片切换控制部)。白色光源318及旋转滤光片控制部363由光源控制部350控制。此外，在图21中，内窥镜系统10的构成要素中除光源装置322及光源控制部350以外省略了图示。

在控制旋转滤光片360的旋转而生成多种观察光(例如作为第一观察光的白色光和作为第二观察光的窄波段光)的情况下，由于旋转滤光片360的旋转与图像传感器(摄像元件134)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，由于仅在有静止图像的获取指示时(检测到关注区域时、有用户指示时)获取第二图像，没有获取指示时(例如，未检测到关注区域而不需要进行分类时)不会获取第二图像，因此能够减少光源或滤光片的切换次数增加而导致第一图像和/或第二图像失去色彩平衡的程度。

此外，在例2中，白色光源318可以使用发出宽波段的光的白色光源，也可以通过使发出红色、蓝色、绿色的光的光源同时进行照射而产生白色光。另外，也可以将这种旋转滤光片360及旋转滤光片控制部363设于图2所示的光源310中。

图22是表示旋转滤光片360的例子的图。在图22的(a)部分所示的例子中，在旋转滤光片360上形成有透射白色光的两个圆形的白色光区域362(白色光滤光片)和透射窄波段光的一个圆形的窄波段光区域364(窄波段光滤光片)，通过在旋转滤光片控制部363(第一滤光片切换控制部)的控制下绕旋转轴361旋转，白色光区域362或窄波段光区域364插入到白色光的光路上，由此向被摄体照射白色光或窄波段光。窄波段光区域364可设为透射红色、蓝色、绿色、紫色等任意窄波段光的区域。另外，白色光区域362及窄波段光区域364的数量、形状及配置并不限于图22的(a)部分所示的例子，可以根据白色光及窄波段光的照射比率进行变更。

白色光区域及窄波段光区域的形状并不限于如图22的(a)部分所示为圆形，也可以如图22的(b)部分所示为扇形。图22的(b)部分示出了将旋转滤光片360的四分之三设为白色光区域362、将四分之一设为窄波段光区域364的例子。扇形的面积可根据白色光与窄波段光的照射比率进行变更。

此外，在图22的例子中，也可以在旋转滤光片360上设置分别与不同的窄波段光对应的多个窄波段光区域。

图23是表示旋转滤光片的其他例的图。作为相对于图22所示的旋转滤光片的白色光源，可与图23所示的光源装置322同样地使用白色光源318。另外，图23的(a)部分所示的旋转滤光片369不同于图21所示的旋转滤光片360，未设置透射白色光的白色光区域，而是设有透射白色光中第一窄波段光的成分的两个圆形的第一窄波段光区域365(第一窄波段光滤光片)和透射第二窄波段光的成分的一个圆形的第二窄波段光区域367(第二窄波段光滤光片)。通过旋转滤光片控制部363(参照图21；第二滤光片切换控制部)使这种旋转滤光片369绕旋转轴361旋转，从而在白色光源318所发出的白色光的光路上插入第一窄波段光区域365(第一窄波段光滤光片)或第二窄波段光区域367(第二窄波段光滤光片)，能够将第一窄波段光或第二窄波段光照射到被摄体。

第一窄波段光区域365及第二窄波段光区域367的形状并不限于如图23的(a)部分所示为圆形，也可以如图23的(b)部分所示为扇形。图23的(b)部分示出了将旋转滤光片369的三分之二设为第一窄波段光区域365、将三分之一设为第二窄波段光区域367的例子。扇形的面积可根据第一窄波段光与第二窄波段光的照射比率进行变更。此外，在图23的例子，也可以在旋转滤光片369上设置分别与不同的窄波段光对应的三种以上的窄波段光区域。

在通过旋转滤光片控制部363切换滤光片而生成多种观察光(第一窄波段光、第二窄波段光)的情况下，由于滤光片的切换与图像传感器(摄像元件134)的读出定时的同步偏差而存在第一图像和/或第二图像失去色彩平衡的可能性。但是，由于内窥镜系统10具备本发明所涉及的图像处理装置，因此起到具备该图像处理装置的有利效果。即，由于在没有第二图像的获取指示时(例如，未检测到关注区域而不需要进行分类时)不会获取第二图像，因此能够减少光源或滤光片的切换次数增加而导致第一图像和/或第二图像失去色彩平衡的程度。

(附记)

除上述实施方式的各方面以外，以下所述的结构也包含在本发明的范围中。

(附记1)

一种医疗图像处理装置，其中，

医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，

医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。

(附记2)

一种医疗图像处理装置，其中，

医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，

医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。

(附记3)

一种医疗图像处理装置，其中，

医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置中进行获取，

分析结果是包含在医疗图像中的作为应关注区域的关注区域和有无应关注对象中的任一者或两者。

(附记4)

一种医疗图像处理装置，其中，

医疗图像是照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像。

(附记5)

一种医疗图像处理装置，其中，

医疗图像是照射特定波段的光而得到的图像，

特定波段是比白色的波段窄的波段。

(附记6)

一种医疗图像处理装置，其中，

特定波段是可见范围的蓝色或绿色波段。

(附记7)

一种医疗图像处理装置，其中，

特定波段包含390nm以上450nm以下或530nm以上550nm以下的波段，而且，特定波段的光在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。

(附记8)

一种医疗图像处理装置，其中，

特定波段是可见范围的红色波段。

(附记9)

一种医疗图像处理装置，其中，

特定波段包含585nm以上615nm以下或610nm以上730nm以下的波段，而且，特定波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。

(附记10)

一种医疗图像处理装置，其中，

特定波段包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段，而且，特定波段的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波段具有峰波长。

(附记11)

一种医疗图像处理装置，其中，

特定波段包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段，而且，特定波段的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。

(附记12)

一种医疗图像处理装置，其中，

医疗图像是拍摄生物体内得到的生物体内图像，

生物体内图像具有生物体内的荧光物质所发出的荧光的信息。

(附记13)

一种医疗图像处理装置，其中，

荧光是向生物体内照射峰值为390以上470nm以下的激励光而得到的。

(附记14)

一种医疗图像处理装置，其中，

医疗图像是拍摄生物体内得到的生物体内图像，

特定波段是红外光的波段。

(附记15)

一种医疗图像处理装置，其中，

特定波段包含790nm以上820nm以下或905nm以上970nm以下的波段，而且，特定波段的光在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。

(附记16)

一种医疗图像处理装置，其中，

该医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像，获取具有特定波段的信息的特殊光图像，

医疗图像是特殊光图像。

(附记17)

一种医疗图像处理装置，其中，

特定波段的信号是通过基于普通光图像所含有的RGB或者CMY的颜色信息的运算而得到的。

(附记18)

一种医疗图像处理装置，其中，

具备特征量图像生成部，该特征量图像生成部通过基于照射白色波段的光或作为白色波段的光的多个波段的光而得到的普通光图像和照射特定波段的光而得到的特殊光图像中的至少一者的运算，生成特征量图像，

医疗图像是特征量图像。

(附记19)

一种内窥镜装置，其中，具备：

附记1至18中任一项所述的医疗图像处理装置；以及

内窥镜，其照射白色的波段的光或特定波段的光中的至少任一者而获取图像。

(附记20)

一种诊断支援装置，其中，

具备附记1至18中任一项所述的医疗图像处理装置。

(附记21)

一种医疗业务支援装置，其中，

具备附记1至18中任一项所述的医疗图像处理装置。

以上对本发明的实施方式及其他方式进行了说明，但本发明并不限定于上述方式，可在不脱离本发明的精神的范围内进行各种变形。

符号说明

10 内窥镜系统

100 内窥镜主体

102 手边操作部

104 插入部

106 通用电缆

108 光导连接器

112 软性部

114 弯曲部

116 前端硬质部

116A 前端侧端面

123 照明部

123A 煦明用透镜

123B 照明用透镜

126 钳道口

130 摄影光学系统

132 摄影透镜

134 摄像元件

136 驱动电路

138 AFE

141 送气送水按钮

142 吸引按钮

143 功能按钮

144 拍摄按钮

170 光导

200 处理器

202 图像输入控制器

204 图像处理部

204A 图像获取部

204B 获取指示接受部

204C 图像获取控制部

204D 显示控制部

204E 分类部

204F 关注区域检测部

204G 分类结果保存部

204H 图像加工部

204I 参数计算部

204J 图像生成部

205 通信控制部

206 视频输出部

207 记录部

207A 第一动态图像

207B 第一静止图像

207C 第二静止图像

207D 位置匹配第一图像

207E 观察用静止图像

207F 关注区域分类结果

208 操作部

209 声音处理部

209A 扬声器

210 CPU

211 ROM

212 RAM

300 光源装置

310 光源

310B 蓝色光源

310G 绿色光源

310R 红色光源

312 白色光用激光光源

314 荧光体

316 窄波段光用激光光源

318 白色光源

320 光源装置

322 光源装置

330 光圈

340 聚光透镜

350 光源控制部

360 旋转滤光片

361 旋转轴

362 白色光区域

363 旋转滤光片控制部

364 窄波段光区域

365 第一窄波段光区域

367 第二窄波段光区域

369 旋转滤光片

400 监视器

500 第一动态图像

600 动态图像

601 血管

602 血管

604 图像

605 图像

606 图像

607 图像

608 图像

701 第一静止图像

702 第二静止图像

710 图像

800 动态图像

802 第一静止图像

804 第二静止图像

806 静止图像

808 静止图像

810 静止图像

812 静止图像

820 矩形

1000 主文件夹

1010 子文件夹

1011 动态图像

1012 子文件夹

1012A 第一静止图像

1012B 第二静止图像

1012C 观察用静止图像

1012D 分类结果

1013 子文件夹

1013A 第一静止图像

1013B 第二静止图像

1013C 观察用静止图像

1013D 分类结果

1020 子文件夹

1030 子文件夹

1040 子文件夹

1050 子文件夹

1060 子文件夹

S100～S208 图像处理方法的各步骤

t 时间轴

Claims (21)

1.一种图像处理装置，其中，

所述图像处理装置具备：

图像获取部，其获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像；

获取指示接受部，其接受静止图像的获取指示；

图像获取控制部，其控制由所述图像获取部进行的所述第一图像及所述第二图像的获取；

显示控制部，其至少使所述第一图像显示于显示装置，以及

分类部，其至少对摄于所述第二图像的被摄体进行分类，

所述图像获取控制部使所述图像获取部进行依次获取所述第一图像作为动态图像的动态图像获取处理，直至所述获取指示接受部接受所述获取指示为止，

响应于所述获取指示的接受，使所述图像获取部进行获取所述第一图像及所述第二图像作为静止图像的静止图像获取处理，

所述静止图像获取处理结束后，使所述图像获取部进行所述动态图像获取处理。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还具备关注区域检测部，所述关注区域检测部从作为所述动态图像获取的所述第一图像中检测关注区域，

当检测到所述关注区域时，所述图像获取控制部指示所述获取指示接受部获取作为所述静止图像的所述第一图像及所述第二图像。

3.根据权利要求2所述的图像处理装置，其中，

所述关注区域检测部从作为所述静止图像的所述第一图像和/或所述第二图像中检测作为所述被摄体的所述关注区域，

所述显示控制部强调所述检测到的所述关注区域地使作为所述静止图像的所述第一图像和/或所述第二图像显示于所述显示装置。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，

所述图像处理装置还具备分类结果保存部，所述分类结果保存部将所述分类的结果与所述第一图像和/或所述第二图像关联保存。

5.根据权利要求1至4中任一项所述的图像处理装置，其中，

所述显示控制部使表示所述分类的结果的信息显示于所述显示装置。

6.根据权利要求1或2所述的图像处理装置，其中，

所述显示控制部使作为所述静止图像的所述第一图像和/或所述第二图像显示于所述显示装置。

7.根据权利要求1至3中任一项所述的图像处理装置，其中，

所述图像处理装置还具备图像加工部，所述图像加工部对作为所述静止图像的所述第一图像和/或所述第二图像实施图像处理，

所述显示控制部使通过所述图像处理得到的图像显示于所述显示装置。

8.根据权利要求1至7中任一项所述的图像处理装置，其中，

所述图像处理装置还具备：

参数计算部，其计算使所述第一图像与所述第二图像位置匹配的参数；以及

图像生成部，其将所述参数应用于所述第一图像来生成位置匹配第一图像，

所述显示控制部在获取到所述第二图像的定时使所述位置匹配第一图像显示于所述显示装置。

9.根据权利要求8所述的图像处理装置，其中，

所述参数计算部计算使所述第二图像和在与所述第二图像的拍摄时刻之间的时间差为第一阈值以下的拍摄时刻拍摄的所述第一图像位置匹配的所述参数。

10.根据权利要求8所述的图像处理装置，其中，

所述参数计算部提取所述第一图像的图像信号和所述第二图像的图像信号中的、在所述第一观察光的波长和所述第二观察光的波长中共同的波长成分，并进行下述处理中的至少任一处理，计算使所述第一图像与所述第二图像位置匹配的参数，所述处理是：对所述共同的波长成分的所述第一图像的图像信号成分进行加权，生成使所述共同的波长成分的所述第一图像的图像信号成分的强度相对强于除所述共同的波长成分以外的所述第一图像的图像信号成分的强度的图像信号；以及对所述共同的波长成分的所述第二图像的图像信号成分进行加权，生成使所述共同的波长成分的所述第二图像的图像信号成分的强度相对强于除所述共同的波长成分以外的所述第二图像的图像信号成分的强度的图像信号。

11.根据权利要求8所述的图像处理装置，其中，

所述参数计算部提取所述第一图像的图像信号和所述第二图像的图像信号中的、在所述第一观察光的波长和所述第二观察光的波长中共同的波长成分，并进行所述共同的波长成分的所述第一图像的图像信号成分的生成、及所述共同的波长成分的所述第二图像的图像信号成分的生成，计算使所述第一图像与所述第二图像位置匹配的参数。

12.根据权利要求1至11中任一项所述的图像处理装置，其中，

在获取到所述第二图像的定时，所述显示控制部使在与所述第二图像的拍摄时刻之间的时间差为第二阈值以下的拍摄时刻拍摄的所述第一图像显示于所述显示装置。

13.根据权利要求1至12中任一项所述的图像处理装置，其中，

所述图像获取部获取将中心波长比所述第一观察光短的光作为所述第二观察光而拍摄到的图像来作为所述第二图像。

14.根据权利要求1至13中任一项所述的图像处理装置，其中，

所述获取指示接受部接受由用户进行的静止图像的获取指示作为所述获取指示。

15.一种内窥镜系统，其中，

所述内窥镜系统具备：

权利要求1至14中任一项所述的图像处理装置；

所述显示装置；

内窥镜，其具有插入部和手边操作部，所述插入部插入受检体内，且具有前端硬质部、与所述前端硬质部的基端侧连接的弯曲部以及与所述弯曲部的基端侧连接的软性部，所述手边操作部与所述插入部的基端侧连接；

光源装置，其向所述受检体照射所述第一观察光或所述第二观察光；以及

摄像部，其具有使所述受检体的光学像成像的摄影透镜和通过所述摄影透镜将所述光学像成像的摄像元件，

所述摄影透镜设于所述前端硬质部。

16.根据权利要求15所述的内窥镜系统，其中，

所述光源装置向所述受检体照射包含红色、蓝色及绿色的波段的光的白色光作为所述第一观察光，向所述受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应的窄波段光作为所述第二观察光。

17.根据权利要求16所述的内窥镜系统，其中，

所述光源装置具备照射作为激励光的白色光用激光的白色光用激光光源、通过照射所述白色光用激光而发出作为所述第一观察光的所述白色光的荧光体、以及照射作为所述第二观察光的所述窄波段光的窄波段光用激光光源。

18.根据权利要求16所述的内窥镜系统，其中，

所述光源装置具备发出所述白色光的白色光源、透射所述白色光的白色光滤光片、透射所述白色光中所述窄波段光的成分的窄波段光滤光片、以及在所述白色光源所发出的所述白色光的光路上插入所述白色光滤光片或所述窄波段光滤光片的第一滤光片切换控制部。

19.根据权利要求15所述的内窥镜系统，其中，

所述光源装置向所述受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应的第一窄波段光作为所述第一观察光，向所述受检体照射与红色、蓝色及绿色中的任一种颜色的波段对应且波段不同于所述第一窄波段光的第二窄波段光作为所述第二观察光。

20.根据权利要求19所述的内窥镜系统，其中，

所述光源装置具备：

白色光源，其发出包含红色、蓝色及绿色的波段的光的白色光；第一窄波段光滤光片，其透射所述白色光中所述第一窄波段光的成分；第二窄波段光滤光片，其透射所述白色光中所述第二窄波段光的成分；以及第二滤光片切换控制部，其在所述白色光源所发出的所述白色光的光路上插入所述第一窄波段光滤光片或所述第二窄波段光滤光片。

21.一种图像处理装置的图像处理方法，所述图像处理装置具备获取利用第一观察光拍摄的第一图像和利用与第一观察光不同的第二观察光拍摄的第二图像的图像获取部，其中，

所述图像处理方法包括：

获取指示接受工序，接受静止图像的获取指示；

图像获取控制工序，控制由所述图像获取部进行的所述第一图像及所述第二图像的获取；

显示控制工序，至少使所述第一图像显示于显示装置；以及

分类工序，至少对摄于所述第二图像的被摄体进行分类，

在所述图像获取控制工序中，

使所述图像获取部进行依次获取所述第一图像作为动态图像的动态图像获取处理，直至在所述获取指示接受工序中接受所述获取指示为止，

响应于所述获取指示的接受，使所述图像获取部进行获取所述第一图像及所述第二图像作为静止图像的静止图像获取处理，

所述静止图像获取处理结束后，使所述图像获取部进行所述动态图像获取处理。

Images