CN117500427A - 医用图像处理装置、医用图像处理方法及程序 - Google Patents

Abstract

本发明提供一种能够有效地获取期望的医用图像的医用图像处理装置、医用图像处理方法及程序。在具备处理器(41)的医用图像处理装置(14)中，处理器(41)进行：第一判定处理，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在医用图像中；第二判定处理，当在第一判定处理中判定为多个拍摄对象部位中任一部位包含在医用图像中时，判定医用图像是否是满足医用图像中所含的部位的判定基准的图像；以及显示控制处理，当在第二判定处理中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。

Description

医用图像处理装置、医用图像处理方法及程序

技术领域

本发明涉及医用图像处理装置、医用图像处理方法及程序。

背景技术

近年来，通过内窥镜系统拍摄被检查体，基于获取的医用图像进行检查。而且，提出了在通过内窥镜系统进行拍摄时，对用户进行辅助的各种技术。

在专利文献1所记载的技术中，提出了一种根据内窥镜系统的操作者(用户)的动作来进行医用图像的识别结果的通知的技术。

以往技术文献

专利文献

专利文献1：日本特开2020-146202号公报

发明内容

发明要解决的技术课题

在此，内窥镜系统进行的作为被摄体的器官等的拍摄需要按照通过手册等规定的拍摄条件、构图等进行拍摄，因拍摄对象部位不同而存在困难。特别是对于经验不足的用户来说，拍摄期望的医用图像是非常困难的，另外，有时也难以判断是否拍摄到了通过手册等规定的适当的医用图像。

本发明是鉴于这样的情况而完成的，其目的在于提供一种能够有效地获取期望的医用图像的医用图像处理装置、医用图像处理方法及程序。

用于解决技术课题的手段

为了实现上述目的，作为本发明的一方式的医用图像处理装置具备处理器，其中，处理器进行：第一判定处理，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在医用图像中；第二判定处理，当在第一判定处理中判定为多个拍摄对象部位中任一部位包含在医用图像中时，判定医用图像是否是满足医用图像中所含的部位的判定基准的图像；以及显示控制处理，当在第二判定处理中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。

根据本方式，当在第二判定处理中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。由此，本方式能够向用户通知拍摄到了满足针对每个部位所设定的判定基准的医用图像，能够有效地获取期望的医用图像。

优选的是，在显示控制处理中，维持通知显示的显示，直至显示相对于多个拍摄对象部位的所有部位的通知显示为止。

优选的是，在第二判定处理中，根据针对多个拍摄对象部位中的每一个而不同的判定基准进行判定。

优选的是，第二判定处理分别基于多个指标而进行，并基于多个指标中的判定结果而进行。

优选的是，在多个指标中至少包括模糊抖动判定、亮度判定、边界可见判定、贲门可见判定、贲门距离判定、蠕动判定、褶皱判定、处置判定及构图判定中的任一个。

优选的是，在第二判定处理中，通过针对多个拍摄对象部位中的每一个而不同的判定器进行判定。

优选的是，第一判定处理基于由卷积神经网络构成的第一判定器的判定结果而进行，至少一部分第二判定处理通过将在第一判定器中获取的中间特征量输入第二判定器，且第二判定器输出判定结果而进行。

优选的是，医用图像利用第一光源或第二光源进行拍摄，在第一判定处理中，在判定利用第一光源拍摄到的医用图像的情况下，对多个拍摄对象部位进行判定，在利用第二光源拍摄到的医用图像的情况下，对多个拍摄对象部位中被选择的拍摄对象部位进行判定。

优选的是，医用图像是由内窥镜观测器拍摄的内窥镜图像，在显示控制处理中，使显示部显示由内窥镜观测器拍摄的管腔器官的示意图，在示意图上显示通知显示。

优选的是，在显示控制处理中，在示意图上，使多个拍摄对象部位的部位显示显示在对应的位置。

优选的是，在显示控制处理中，当通过第二判定处理判定为医用图像是满足医用图像中所含的部位的判定基准的图像时，通过变更部位的部位显示的显示方式来进行通知显示。

优选的是，在显示控制处理中，使示意图显示引导拍摄医用图像的内窥镜观测器的拍摄的引导显示。

优选的是，引导显示为棒形状，通过棒形状的方向示出内窥镜观测器的拍摄方向，通过棒形状的长度示出内窥镜观测器距被摄体的距离。

优选的是，医用图像利用第一光源或第二光源进行拍摄，在显示控制处理中，当获取到利用第一光源拍摄的医用图像时，以第一显示方式显示示意图，当获取到利用第二光源拍摄的医用图像时，以第二显示方式显示示意图。

优选的是，在显示控制处理中，当通过第二判定处理对多个拍摄对象部位的全部判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄对象部位的所有拍摄完成的信息。

优选的是，当通过第二判定处理判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，处理器进行将医用图像存储于存储器的存储处理。

优选的是，多个拍摄对象部位至少选自食道胃接合部、贲门正下方的小弯J形转弯、贲门正下方的大弯U形转弯、自胃角部或胃体下部的小弯后壁J形转弯、从幽门环前部至幽门环及胃体下部俯视大弯。

优选的是，多个拍摄对象部位至少选自直肠、肛门、脾曲、肝曲、十二指肠入口及回盲。

作为本发明的另一方式的医用图像处理方法是一种具备处理器的所述医用图像处理装置的医用图像处理方法，其中，通过处理器进行：第一判定工序，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在医用图像中；第二判定工序，当在第一判定工序中判定为多个拍摄对象部位中任一部位包含在医用图像中时，判定医用图像是否是满足医用图像中所含的部位的判定基准的图像；以及显示控制工序，当在第二判定工序中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。

作为本发明的另一方式的程序是一种使具备处理器的医用图像处理装置执行医用图像处理方法的程序，其中，使处理器执行：第一判定工序，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在医用图像中；第二判定工序，当在第一判定工序中判定为多个拍摄对象部位中任一部位包含在医用图像中时，判定医用图像是否是满足医用图像中所含的部位的判定基准的图像；以及显示控制工序，当在第二判定工序中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，使显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。

发明效果

根据本发明，当在第二判定处理中判定为医用图像是满足医用图像所包含的部位的判定基准的图像时，在显示部显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示，因此能够向用户通知拍摄到了满足针对每个部位设定的判定基准的医用图像，能够有效地获取期望的医用图像。

附图说明

图1是表示内窥镜系统的整体结构的概略图。

图2是表示光源装置的结构的框图。

图3是表示医用图像处理装置的实施方式的框图。

图4是表示医用图像处理方法的流程图。

图5是表示第一判定器和第二判定器的具体结构例的图。

图6是对输入第一判定器及第二判定器中的数据进行说明的图。

图7是对第二判定器的各个指标的具体例进行说明的图。

图8是表示在显示部显示的示意图的图。

图9是对示意图中的通知显示进行说明的图。

图10是对在显示部显示的完成信息进行说明的图。

图11是对部位显示的突出显示进行说明的图。

图12是对示意图的显示例进行说明的图。

图13是表示在显示部显示的检查画面的图。

图14是对进行大肠的检查时的拍摄对象部位进行说明的图。

图15是表示医用图像处理方法的流程图。

图16是对不同的两个光源的示意图进行说明的图。

图17是对显示变化的第一例进行说明的图。

图18是对显示变化的第二例进行说明的图。

图19是对显示变化的第三例进行说明的图。

图20是对显示变化的第四例进行说明的图。

具体实施方式

下面，根据附图对本发明所涉及的医用图像处理装置、医用图像处理方法及程序的优选实施方式进行说明。

[包括医用图像处理装置的内窥镜系统的整体结构]

图1是表示包括本发明所涉及的医用图像处理装置的内窥镜系统的整体结构的概略图。向医用图像处理装置14输入的医用图像由以下说明的内窥镜系统拍摄。此外，在以下的说明中，对内窥镜系统中所含的医用图像处理装置14进行说明，但本发明的实施方式不限于此。例如，也可以向医用图像处理装置14输入由与医用图像处理装置14分离的内窥镜系统拍摄的医用图像。

如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医用图像处理装置14、操作部15、以及显示部16。

内窥镜观测器10拍摄包括被摄体图像的时间序列的医用图像，例如，是下部或上部消化管用观测器。该内窥镜观测器10具有插入受检体(例如胃或大肠)内且具有前端和基端的插入部20、与插入部20的基端侧连接设置且供施术者即医生握持进行各种操作的手边操作部21、以及与手边操作部21连接设置的通用塞绳22。

插入部20的整体为小径且形成为长条状。插入部20为从其基端侧朝向前端侧依次由具有挠性的软性部25、可通过手边操作部21的操作进行弯曲的弯曲部26、以及内置有未图示的摄像光学系统(物镜)及摄像元件28等的前端部27连接设置而构成。

摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型的摄像元件。被观察部位的图像光经由在前端部27的前端面开口的未图示的观察窗、及配置在该观察窗的后方的未图示的物镜，入射至摄像元件28的摄像面。摄像元件28拍摄入射至该摄像面的被观察部位的图像光(转换成电信号)，输出摄像信号。

在手边操作部21设置有由用户(医生等操作内窥镜系统9的人)操作的各种操作部件。具体而言，在手边操作部21设置有用于弯曲部26的弯曲操作的两种弯曲操作钮29、供气供水操作用的供气供水按钮30、以及吸引操作用的吸引按钮31。另外，在手边操作部21设置有用于进行被观察部位的静止画面39的拍摄指示的静止画面拍摄指示部32和向插通插入部20内的处置器具插通路径(未图示)内插入处置器具(未图示)的处置器具导入口33。

通用塞绳22是用于将内窥镜观测器10与光源装置11连接的连接塞绳。该通用塞绳22内包有插通插入部20内的光导35、信号电缆36、及流体管(未图示)。另外，在通用塞绳22的端部设置有与光源装置11连接的连接器37a和从该连接器37a分支且与内窥镜处理器装置12连接的连接器37b。

通过将连接器37a与光源装置11连接，光导35及流体管(未图示)被插入光源装置11。由此，经由光导35及流体管(未图示)从光源装置11对内窥镜观测器10供给必要的照明光、水以及气体。其结果是，从前端部27的前端面的照明窗(未图示)朝向被观察部位照射照明光。另外，根据所述供气供水按钮30的按下操作，从前端部27的前端面的供气供水喷嘴(未图示)朝向前端面的观察窗(未图示)喷射气体或水。

通过将连接器37b与内窥镜处理器装置12连接，信号电缆36和内窥镜处理器装置12电连接。由此，经由信号电缆36从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且从内窥镜处理器装置12向内窥镜观测器10输出控制信号。

光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等对应于观察目的的各种波长频带的光。后面对光源装置11详细地进行说明。

内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由包含被摄体图像的时间序列的帧图像38a构成的图像(也称为“动态画面38”)。进而，当通过内窥镜观测器10的手边操作部21操作静止画面拍摄指示部32时，内窥镜处理器装置12与动态画面38的生成同时获取使动态画面38中的一张帧图像38a与拍摄指示的时机对应的静止画面39。此外，在本说明中，医用图像由上述的静止画面39及帧图像38a构成。

此外，当动态画面38及静止画面39是通过上述的特定波长频带的光(特殊光)获得的图像时，两者为特殊光图像。而且，内窥镜处理器装置12将生成的动态画面38及静止画面39输出到显示装置13及医用图像处理装置14。

此外，内窥镜处理器装置12也可以基于通过上述的白色光获得的普通光图像，生成(获取)具有上述的特定波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥作用。而且，内窥镜处理器装置12通过进行基于普通光图像中所含的红、绿及蓝[RGB(Red、Green、Blue)]或者青色、品红及黄色[CMY(Cyan、Magenta、Yellow)]的颜色信息的运算，获得特定波长频带的信号。

另外，内窥镜处理器装置12例如也可以基于通过上述的白色光获得的普通光图像和通过上述的特定波长频带的光(特殊光)获得的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥作用。此外，构成包含上述的生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38的帧图像38a或静止画面39均为将以基于图像的检查为目的拍摄或测量人的身体后的结果图像化所得的医用图像。

显示装置13与内窥镜处理器装置12连接，作为显示从该内窥镜处理器装置12输入的动态画面38及静止画面39的显示部16发挥作用。用户一边确认在显示装置13上显示的动态画面38，一边进行插入部20的进退操作等，当在拍摄对象部位或被观察部位发现病变等时，操作静止画面拍摄指示部32，执行被观察部位的静止画面摄像，另外，进行诊断、活检等处置。此外，在与之后说明的医用图像处理装置14连接的显示部16也同样地显示动态画面38及静止画面39。

此外，图1所示的内窥镜系统9为具体例，也可以采用其他方式的内窥镜系统。例如，作为如以下说明的第一判定器42(图3)及第二判定器43(图3)的学习完毕模型中的处理，也可以装设在专用的AI(Artificial Intelligence)盒子上并与内窥镜系统连接。另外，内窥镜系统也可以经由网络与专用的服务器连接，在该专用的服务器中进行医用图像的处理。

＜光源装置的结构＞

图2是表示光源装置11的结构的框图。

如图2所示，光源装置11由照明用的光源310、光圈330、聚光透镜340、及光源控制部350等构成，使观察光入射至光导35。光源310具备分别照射红色、绿色、蓝色、紫色的窄带光的红色光源310R、绿色光源310G、蓝色光源310B及紫色光源310V，能够照射红色、绿色、蓝色及紫色的窄带光。基于光源310的观察光的照度由光源控制部350来控制，能够根据需要变更(提高、或降低)观察光的照度及停止照明。

光源310能够以任意的组合发出红色、绿色、蓝色及紫色的窄带光。例如，能够同时发出红色、绿色、蓝色及紫色的窄带光，照射白色光(普通光)作为观察光，也能够通过发出任一种或者两种光而照射窄带光(特殊光)。光源310还可以具备照射红外光(窄带光的一例)的红外光源。另外，也可以通过照射白色光的光源和使白色光及各窄带光透过的滤光片来照射白色光及窄带光作为观察光。

＜光源的波长频带＞

光源310可以是产生白色频带的光的光源、或产生多个波长频带的光作为白色频带的光的光源，也可以是产生比白色波长频带窄的特定波长频带的光的光源。特定波长频带也可以是可见范围的蓝色频带或者绿色频带、或者可见范围的红色频带。当特定波长频带是可见范围的蓝色频带或者绿色频带时，也可以包含390nm以上450nm以下、或530nm以上550nm以下的波长频带，且在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰值波长。另外，当特定波长频带是可见区域的红色频带时，也可以包含585nm以上615nm以下、或610nm以上730nm以下的波长频带，且特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰值波长。

上述特定波长频带的光也可以包含吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带，且在吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带具有峰值波长。在该情况下，特定波长频带也可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm的波长频带，且在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰值波长。

另外，光源310产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波长频带，且在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰值波长。

另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的内窥镜图像。当获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。

光源310的光源种类(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、部位、观察目的等而构成，另外优选的是，在观察时根据被摄体的种类、部位、观察目的等组合和/或切换观察光的波长。在切换波长时，例如也可以通过使配置于光源的前方且设置有透过或遮住特定波长的光的滤光片的圆盘状的滤光片(旋转彩色滤光片)旋转，切换所照射的光的波长。

另外，在实施本发明时使用的摄像元件28不限于对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。当使用单色摄像元件时，能够依次切换观察光的波长并以面顺序(颜色顺序)进行拍摄。例如可以将射出的观察光的波长在(紫色、蓝色、绿色、红色)之间依次切换，也可以照射宽带光(白色光)，通过旋转彩色滤光片(红色、绿色、蓝色、紫色等)切换所射出的观察光的波长。另外，也可以照射一个或多个窄带光(绿色、蓝色、紫色等)，通过旋转彩色滤光片(绿色、蓝色、紫色等)切换所射出的观察光的波长。窄带光也可以是波长不同的两种波长以上的红外光(第一窄带光、第二窄带光)。

[医用图像处理装置]

图3是表示医用图像处理装置14的实施方式的框图。医用图像处理装置14获取医用图像，并基于获取的医用图像进行第一判定处理及第二判定处理。而且，医用图像处理装置14基于第二判定处理的判定结果进行使显示部16显示通知显示的显示控制处理。

医用图像处理装置14例如由计算机构成。操作部15除了与计算机有线连接或无线连接的键盘及鼠标等之外，还包括设置在内窥镜观测器10的手边操作部21的按钮类，显示部16使用可与计算机连接的液晶监视器等各种监视器。

医用图像处理装置14由医用图像获取部40、CPU(Central Processing Unit)41、第一判定器42、第二判定器43、显示控制部46、语音控制部47及存储器48构成。各部的处理由一个或多个处理器来实现。在此，处理器可以由CPU41构成，也可以由未图示的一个或多个CPU构成。

CPU41基于包括存储在存储器48的操作系统、本发明所涉及的医用图像处理程序的各种程序进行动作，统一控制医用图像获取部40、第一判定器42、第二判定器43、显示控制部46及语音控制部47，另外，作为这些各部的一部分发挥作用。

医用图像获取部40获取医用图像。医用图像获取部40使用与内窥镜处理器装置12(图1)有线连接或无线连接的未图示的图像输入输出接口，从内窥镜处理器装置12获取包括被摄体图像的医用图像。例如当通过内窥镜观测器10在动态画面38的拍摄中途进行已述的静止画面39的摄像时，医用图像获取部40从内窥镜处理器装置12获取静止画面39。另外，医用图像获取部40也可以获取构成动态画面38的帧图像38a作为医用图像。

第一判定器42基于医用图像获取部40获取的医用图像，进行判定预先设定的多个拍摄对象部位中的任一部位是否包含在医用图像中的第一判定处理。在此，拍摄对象部位是指在检查中必须有意地拍摄并记录的部位。另外，拍摄对象部位是需要进行想要的内窥镜观测器10的操作而拍摄的部位。拍摄对象部位是拍摄比较困难的部位，另外，是难以判断用户是否适当地拍摄的部位。

拍摄对象部位根据检查目的等设定有多处。例如，拍摄对象部位设定5份以上15份以下，优选设定5个部位以上10个部位以下。例如，在利用内窥镜系统9检查胃内部的情况下，拍摄对象部位被设定为“食道胃接合部”、“贲门正下方的小弯J形转弯(基于J形转弯操作的拍摄)”、“贲门正下方的大弯U形转弯(基于U形转弯操作的拍摄)”、“自胃角部或胃体下部的小弯后壁J形转弯”、“从幽门环前部至幽门环”、及“胃体下部俯视大弯”。此外，“自胃角部或胃体下部的小弯后壁J形转弯”考虑到无法确保有时未必能够拍摄胃角、及拍摄后壁这一点，也可以设为“胃体下部小弯J形转弯”。另外，“从幽门环前部至幽门环”也可以设为与在目标定点拍摄幽门环相比更重视是否能够俯视拍摄前庭部的“前庭部全景”。另外，“胃体下部俯视大弯”不限于胃体下部，也可以设为重视能够拍摄褶皱打开的大弯的“俯视大弯”。另外，例如，当利用内窥镜系统9检查大肠内部时，拍摄对象部位被设定为“直肠”、“肛门”、“脾曲”、“肝曲”、“十二指肠入口”及“回盲”。

第一判定器42通过各种方法，进行所输入的医用图像中所含的拍摄对象部位的识别。例如，第一判定器42通过由卷积神经网络(Convolutional Neural Network)等构成的学习完毕模型(识别模型)，进行所输入的医用图像中所含的拍摄对象部位的识别。第一判定器42为了识别预先设定的拍摄对象部位而学习图像(医用图像)，生成学习完毕模型，利用该学习完毕模型，判定医用图像中是否包含所设定的拍摄对象部位。

第一判定器42也可以根据分类或相似度判定所输入的医用图像并进行识别。当第一判定器42对医用图像进行分类并进行拍摄对象部位的识别时，可利用文献(B.Zhou,A.Lapedriza,J.Xiao,A.Torralba,and A.Oliva.Learning deep features for scenerecognition using places database.In Neural Information Processing Systems(NIPS),pages487-495,2014.1,4,6,8)所记载的技术。另外，当第一判定器42根据医用图像的特征量的相似度进行拍摄对象部位的识别时，可利用文献(FaceNet:A UnifiedEmbedding for Face Recognition and Clustering https://arxiv.org/abs/1503.03832)所记载的技术。

当在第一判定器42中判定为多个拍摄对象部位中任一部位包含在医用图像中时，第二判定器43判定医用图像是否是满足医用图像中所含的部位的判定基准的图像。即，第二判定器43在医用图像中判定是否适当地拍摄了拍摄对象部位作为期望的医用图像。如所期望的那样拍摄了拍摄对象部位的医用图像为良好图像，是适于诊断的图像。

第二判定器43针对每个拍摄对象部位而设置，各个第二判定器43能够根据不同的判定基准进行判定。另外，第二判定器43根据多个指标来进行，并基于多个指标的判定结果来进行。此外，后述第一判定器42及第二判定器43的详细说明。

在第二判定处理中判定为医用图像是满足医用图像所包含的部位的判定基准的图像的情况下，显示控制部46使显示部16显示表示拍摄到了满足医用图像中所含的部位的判定基准的图像的通知显示。此外，通过显示控制部46由显示部16进行的显示也可以在显示装置13中进行。

语音控制部47从扬声器17播放通知声。例如，按照上述的显示控制部46中的通知显示的显示从扬声器17播放通知声。

存储器48包括闪存、ROM(Read-only Memory)、RAM(Random Access Memory)、硬盘装置等。闪存、ROM及硬盘装置是存储操作系统、本发明所涉及的医用图像处理程序等各种程序、及所拍摄的静止画面39及动态画面38等的非易失性存储器。另外，RAM是作为暂时性地存储在非易失性存储器中存储的各种程序的区域及CPU41的作业区域发挥作用的、可进行数据的快速读写的易失性存储器。

＜医用图像处理方法＞

接下来，对利用医用图像处理装置14的医用图像处理方法进行说明。例如，医用图像处理方法通过医用图像装置的处理器执行程序来进行。

图4是表示使用了医用图像处理装置14的医用图像处理方法的流程图。

首先，医用图像获取部40从内窥镜处理器装置12获取医用图像(例如静止画面39)(步骤S10)。之后，第一判定器42基于所获取的医用图像进行第一判定处理(步骤S11：第一判定工序)。具体而言，第一判定器42判定在医用图像中是否包含多个拍摄对象部位中任一部位。当通过第一判定器42判定为医用图像不包含任何拍摄对象部位时(步骤S11的No时)，不进行后段的第二判定器43中的第二判定处理。

另一方面，当由第一判定器42判定为医用图像包含任一拍摄对象部位时(步骤S11的Yes时)，第二判定器43基于进行了第一判定的医用图像进行第二判定处理(步骤S12：第二判定工序)。具体而言，第二判定器43根据所设定的指标判定是否满足对由第一判定器42判定的部位设定的判定基准。当通过第二判定器43判定为不满足判定基准时(步骤S12的No时)，不在显示部16进行通知显示。

另一方面，当通过第二判定器43判定为医用图像满足判定基准时，通过显示控制部46在显示部16进行通知显示(步骤S13：显示控制工序)。此外，静止画面39基于静止画面拍摄指示部32的指示来获取，并对所获取的静止画面39依次进行上述的处理。

下面，对上述的第一判定处理、第二判定处理及显示控制处理详细地进行说明。

＜第一判定处理及第二判定处理＞

首先，对在第一判定工序中进行的第一判定处理及在第二判定工序中进行的第二判定处理进行说明。

图5是表示进行第一判定处理的第一判定器42和进行第二判定处理的第二判定器43的具体结构例的图。

第一判定器42是由CNN构成的学习完毕模型，预先进行机器学习。作为拍摄对象部位，设定有胃内部的6个部位(参照图7及图8)。第一判定器42判定在医用图像中是否包含胃内部的6个部位。具体而言，第一判定器42判定“食道胃接合部”、“贲门正下方的小弯J形转弯(基于J形转弯操作的拍摄)”、“贲门正下方的大弯U形转弯(基于U形转弯操作的拍摄)”、“自胃角部或胃体下部的小弯后壁J形转弯”、“从幽门环前部至幽门环”、及“胃体下部俯视大弯”的拍摄对象部位是否包含在医用图像中。此外，第一判定器42使用由拍摄了胃内部的6个部位的医用图像构成的学习数据进行学习，以分别识别上述的拍摄对象部位。

例如，第一判定器42针对上述的6个部位的拍摄对象部位中的每一个通过分类分数识别医用图像的拍摄对象部位。第一判定器42识别针对每个拍摄对象部位输出的分类分数中的分类分数最高的拍摄对象部位。此外，在第一判定器42中设定有阈值，当分类分数低于阈值时，判定为在医用图像中不包含任何拍摄对象部位。

当第一判定器42识别为在医用图像中包含拍摄对象部位时，在与所识别的拍摄对象部位对应的第二判定器43a～43g中进行第二判定。例如，当第一判定器42判定为在所输入的医用图像中包含“食道胃接合部”时，通过第二判定器43a进行第二判定处理。同样，当在第一判定器42中判定为在医用图像中包含“贲门正下方的小弯J形转弯(基于J形转弯操作的拍摄)”时，通过第二判定器43b进行第二判定处理，当在第一判定器42中判定为在医用图像中包含“贲门正下方的大弯U形转弯(基于U形转弯操作的拍摄)”时，通过第二判定器43c进行第二判定处理，当在第一判定器42中判定为在医用图像中包含“自胃角部或胃体下部的小弯后壁J形转弯”时，通过第二判定器43d进行第二判定处理，当在第一判定器42中判定为在医用图像中包含“从幽门环前部至幽门环”时，通过第二判定器43e进行第二判定处理，当在第一判定器42中判定为在医用图像中包含“胃体下部俯视大弯”时，通过第二判定器43f进行第二判定处理。这样，第二判定器43a～43f针对由第一判定器42判定的每个拍摄对象部位而设置。而且，第二判定器43a～43f能够分别根据多个指标、根据不同的判定基准进行判定。

图6是对输入第一判定器42及第二判定器43中的数据进行说明的图。

向第一判定器42输入由医用图像获取部40获取的医用图像(静止画面39)。第一判定器42基于所输入的医用图像，在构成CNN的各层中进行运算，生成所输入的医用图像的中间特征量。而且，第一判定器42基于中间特征量输出判定结果。

与第一判定器42同样地向第二判定器43输入由医用图像获取部40获取的医用图像。另外，向第二判定器43输入由第一判定器42生成的中间特征量。第二判定器43基于医用图像及中间特征量输出判定结果。这样，第一判定器42基于医用图像输出判定结果，第二判定器43基于医用图像及中间特征量输出判定结果。

图7是对第二判定器43a～43f的各个指标的具体例进行说明的图。

第二判定器43a～43f分别基于多个指标输出判定结果。第二判定器43a的指标用符号52表示，第二判定器43b的指标用符号53表示，第二判定器43c的指标用符号54表示，第二判定器43d的指标用符号55表示，第二判定器43e的指标用符号56表示，第二判定器43f的指标用符号57表示。此外，用符号51表示不进行关于在第一判定器42中判定为医用图像不包含任何拍摄对象部位时的第二判定处理。

用符号52表示关于在第一判定器42中判定为医用图像包含“食道胃接合部”时的第二判定处理。在该情况下，第二判定器43a根据模糊抖动判定、亮度判定、边界可见判定的指标进行第二判定处理。在此，模糊抖动判定基于所输入的医用图像，判定医用图像是否具有模糊和/或抖动。模糊抖动判定由模糊抖动判定器进行，通过快速傅立叶变换(FFT：FastFourie Transform)等公知的技术，进行医用图像的模糊抖动判定。另外，亮度判定基于所输入的医用图像，例如基于医用图像的辉度来进行亮度判定。另外，边界可见判定利用由CNN构成的学习完毕模型的边界可见判定器进行。边界可见判定器通过所输入的中间特征量，进行在医用图像中是否能够看见胃和食道的接合部的判定。第二判定器43a判定医用图像的模糊抖动判定、亮度判定及边界可见判定的各指标的判定结果是否满足规定的判定基准。在此，作为判定基准，设定将各指标的判定结果相加所得的值、进行了平均的值、或进行了加权平均的值的阈值。

用符号53表示关于在第一判定器42中判定为医用图像包含“贲门正下方的小弯J形转弯(基于J形转弯操作的拍摄)”时的第二判定处理。在该情况下，第二判定器43b根据模糊抖动判定、亮度判定、贲门可见判定及贲门距离判定的指标进行第二判定处理。贲门可见判定及贲门距离判定利用由CNN构成的学习完毕模型的贲门可见判定器及贲门距离判定器进行。贲门可见判定器基于所输入的中间特征量判定在医用图像中能否看见贲门。贲门距离判定基于所输入的中间特征量在医用图像中判定从内窥镜观测器10的前端(摄像元件28的摄像面)至贲门的距离。

用符号54表示关于在第一判定器42中判定为医用图像包含“贲门正下方大弯U形转弯”时的第二判定处理。在该情况下，第二判定器43c根据模糊抖动判定、亮度判定、处置判定及构图判定的指标进行第二判定处理。处置判定及构图判定利用由CNN构成的学习完毕模型的处置判定器及构图判定器进行。处置判定器基于所输入的中间特征量进行在医用图像中所含的部位是否积存有水、残渣、气泡的判定。另外，构图判定器基于所输入的中间特征量进行医用图像中的构图的判定。例如，在构图判定器中，进行在医用图像中，拍摄对象部位是否映在中央等的构图的判定。

用符号55表示关于在第一判定器42中判定为医用图像包含“自胃角部或胃体下部的小弯后壁J形转弯”时的第二判定处理。在该情况下，第二判定器43d根据模糊抖动判定、亮度判定及构图判定的指标进行第二判定处理。

用符号56表示关于在第一判定器42中判定为医用图像包含“从幽门环前部至幽门环”时的第二判定处理。在该情况下，第二判定器43e根据模糊抖动判定、亮度判定、蠕动判定及构图判定的指标进行第二判定。在此，蠕动判定利用由CNN构成的学习完毕模型的蠕动判定器进行。蠕动判定器基于所输入的中间特征量，判定在医用图像中在拍摄对象部位中是否存在蠕动。

用符号57表示关于在第一判定器42中判定为医用图像包含“胃体下部俯视大弯”时的第二判定处理。在该情况下，第二判定器43f基于模糊抖动判定、亮度判定、处置判定、构图判定及褶皱判定的指标进行第二判定处理。在此，褶皱判定利用由CNN构成的学习完毕模型的褶皱判定器进行。褶皱判定器基于所输入的中间特征量，判定在医用图像中拍摄对象部位处的褶皱是否延伸。

此外，模糊抖动判定在第二判定器43a～43f中按共同的基准进行，其他指标的判定在第二判定器43a～43f中分别独立地进行。另外，在上述的说明中，对从第一判定器42获取中间特征量的例子进行了说明，但不限于此。例如，第二判定器43a～43f也可以分别计算特征量进行判定。

如上所述，在第二判定处理中，将使用学习完毕模型的判定(边界可见判定、贲门可见判定、贲门距离判定、处置判定、构图判定、蠕动判定及褶皱判定)和不使用学习完毕模型而使用像素值的判定(模糊抖动判定及亮度判定)组合。通过根据构成第二判定处理的指标，将使用学习完毕模型的判定和不使用学习完毕模型而使用像素值的判定分开使用，能够将判定精度或判定速度最优化。另外，在第二判定处理中，通过利用多个学习完毕模型进行判定，能够提高判定精度。

如上所述，在第一判定处理中，判定在医用图像中是否包含拍摄对象部位中的任一个。另外，在第二判定处理中，基于第一判定处理的结果，基于针对每个拍摄对象部位而不同的指标，根据各个判定基准，进行是否拍摄了期望的医用图像的判定。

此外，上述的第一判定处理及第二判定处理的说明为具体例，不限于此。第一判定处理及第二判定处理也可以采用如下的方式。

在上述的例子中，说明了对在第一判定处理中判定为包含在医用图像中的所有拍摄对象部位进行第二判定处理的例子，但本发明不限于该例。例如，也可以对在第一判定处理中判定为包含在医用图像中的拍摄对象部位的一部分进行第二判定处理。具体而言，在第一判定处理中，判定13个部位的拍摄对象部位中的任一个是否包含在医用图像中，当判定为预定的6个部位的拍摄对象部位包含在医用图像中时进行第二判定处理。这样，例如，通过设定为对需要获取适于诊断用的医用图像的部位进行第二判定处理，能够有效地获取期望的医用图像。

在上述的例子中，对亮度判定的基准在每个拍摄对象部位不同的情况进行了说明。但是，亮度判定的基准也可以在所有拍摄对象部位是共同的。此外，通过针对每个拍摄对象部位设定亮度判定的基准，例如能够判定是否是适于每个拍摄对象部位的诊断的亮度。

＜显示控制处理＞

接下来，对在显示控制工序中进行的显示控制处理进行说明。

图8是表示通过显示控制部46显示于显示部16的示意图的图。

示意图101是由内窥镜观测器10拍摄的管腔器官的模型图像。示意图101由胃部105、食道部103及十二指肠部107构成，食道部103及十二指肠部107分别与胃部105连接。在示意图101中，在对应的位置示出表示被模型化的拍摄对象部位的部位显示109A～109F。在此，部位显示109A示意性地表示“食道胃接合部”，部位显示109B示意性地表示“贲门正下方的小弯J形转弯”，部位显示109C示意性地表示“贲门正下方的大弯U形转弯”，部位显示109D示意性地表示“自胃角部或胃体下部的小弯后壁J形转弯”，部位显示109E示意性地表示“从幽门环前部至幽门环”，部位显示109F示意性地表示“胃体下部俯视大弯”。

另外，在部位显示109A～109F中，示出引导内窥镜观测器10的拍摄的引导显示。具体而言，在部位显示109A上示出引导显示111A，在部位显示109B上示出引导显示111B，在部位显示109C上示出引导显示111C，在部位显示109D上示出引导显示111D，在部位显示109E上示出引导显示111E，在部位显示109F上示出引导显示111F。引导显示111A～111F分别为棒形状，通过棒形状的方向示出内窥镜观测器10的拍摄方向。另外，通过棒形状的长度示出内窥镜观测器10距拍摄对象部位的距离。具体而言，引导显示111A～111F各自的棒形状的部位显示109A～109F的相反侧的前端表示在第二判定处理中容易获得满足判定基准的图像的拍摄位置(内窥镜的前端部27的位置)。在使内窥镜观测器10的前端部27位于棒形状的部位显示109A～109F的相反侧的前端进行拍摄的情况下，能够获取期望的(例如适于诊断的构图的)医用图像。这样，在第二判定处理的构图判定中，通过示出能够拍摄满足判定基准的医用图像的位置，能够辅助适于诊断的医用图像的获取。

在通过内窥镜系统9进行拍摄对象部位的拍摄时，显示控制部46使显示部16显示示意图101。

图9是对示意图中的通知显示进行说明的图。

当在第二判定处理中判定为是满足判定基准的图像时，显示控制部46使显示部16显示表示该情况的通知显示。显示控制部46通过变更示意图101的部位显示109A～109F的显示方式来进行通知显示。通过变更部位显示109A～109F中与在第二判定处理中满足判定基准的部位对应的部位显示的显示方式来进行通知显示。在图示的情况下，通过变更部位显示109A～109F的颜色来进行通知显示。另外，因为期望的医用图像的获取已完成，所以显示控制部46将与进行了通知显示的部位显示109A～109F对应的引导显示设为隐藏。此外，也可以维持与进行了通知显示的部位显示109A～109F对应的引导显示的显示。另外，通知显示可采用各种方式。例如，作为通知显示，也可以使部位显示闪烁或点亮。另外，也可以与通知显示一起由语音控制部47通过扬声器17输出通知声。

如上所述，在本实施方式中，通过第一判定处理，判定多个拍摄对象部位中的任一部位是否包含在医用图像中，通过第二判定，进行医用图像是否满足所包含的部位的判定基准的判定，而且，在医用图像满足判定基准的情况下，在显示部16显示通知显示。由此，用户能够有效地获取在拍摄对象部位中满足判定基准的期望的医用图像。

＜变形例1＞

接下来，对本实施方式的变形例1进行说明。在本例中，在拍摄了所有拍摄对象部位的情况下，在显示部16显示表示所有拍摄对象部位的拍摄完成的信息(完成信息)。通过在显示部16显示完成信息，用户能够容易地识别拍摄对象部位的拍摄完成情况。

图10是对在显示部16显示的完成信息进行说明的图。

用符号60表示胃部105的内窥镜检查的开始阶段的显示部16的显示例。在显示部16示出有示意图101，示意图101具有拍摄对象部位的部位显示109A～109F。在用符号60表示的情况下，由于还不存在拍摄完成的拍摄对象部位，因此部位显示109A～109F全部成为未拍摄的显示。

用符号61表示胃部105的内窥镜检查的中途阶段的“食道胃接合部”、“自胃角部或胃体下部的小弯后壁J形转弯”、“从幽门环前部至幽门环”满足第二判定基准的状态的显示例。在显示部16显示的示意图101中，变更部位显示109A、部位显示109D、部位显示109E及部位显示109F的显示方式，进行通知显示。此外，显示控制部46维持通知显示的显示，直至显示针对多个拍摄对象部位的所有部位的通知显示为止。由此，用户能够可靠地掌握拍摄对象部位的拍摄的进度状况。此外，示意图101也可以根据静止画面获取或病变检测等事件的检测，开启/关闭向显示部16的显示。当在检查中途打开示意图101时，从检查开始至示意图101打开的时刻，以对满足第二判定基准的部位进行通知显示的状态开始示意图101的显示即可。

用符号62表示所有拍摄对象部位的拍摄已完成的阶段的显示部16的显示例。当对所有拍摄对象部位通过第二判定处理判定为医用图像是满足判定基准的图像时，在显示部16显示表示所有拍摄对象部位的拍摄完成的完成信息113。在此，完成信息113可采用各种显示方式。在图示的情况下，通过勾选框表示完成信息113。此外，也可以采用随着完成信息113的点亮，减小部位显示109A～109F的通知显示的亮度的显示方式。另外，在完成信息113的显示后经过一定时间之后，也可以停止部位显示109A～109F而仅进行完成信息113的显示。

如上所述，在本例中，当所有拍摄对象部位的拍摄完成时，在显示部16显示完成信息113。由此，用户能够容易地识别所有拍摄对象部位的拍摄完成情况。

＜变形例2＞

接下来，对本实施方式的变形例2进行说明。在本例中，对新完成拍摄的拍摄对象部位的部位显示进行突出显示。

图11是对部位显示的突出显示进行说明的图。

在示意图101中，部位显示109A、部位显示109E及部位显示109F完成了满足判定基准的医用图像的拍摄，进行通知显示。另外，部位显示109D是新完成满足判定基准的图像的拍摄的部位，与该拍摄对象部位对应的部位显示109D被突出显示。此外，部位显示109A、部位显示109E及部位显示109F的通知显示和部位显示109D的突出显示的显示方式不同。例如，通知显示和突出显示具有颜色及亮度不同的显示方式。

这样，通过对新完成满足判定基准的医用图像的拍摄的部位显示进行突出显示，用户能够容易地识别新完成拍摄的拍摄对象部位。此外，突出显示的持续时间由一定时间、直至下一个医用图像(静止画面39)的拍摄的时间、直至通过第一判定处理判定为下一个拍摄对象部位包含在医用图像中的时间、或直至通过第二判定处理判定为满足下一个判定基准的时间来确定，或由这些时间的组合来确定。

＜变形例3＞

接下来，对本实施方式的变形例3进行说明。在本例中，在第一判定处理中，对于与判定为包含在医用图像中的拍摄对象部位对应的部位显示也进行通知显示。

图12是对示意图101的显示例进行说明的图。

在示意图101的部位显示109D中，显示有第一判定显示115D。第一判定显示115D以围绕部位显示109D的外形的方式显示。当第一判定器42判定为与部位显示109D对应的拍摄对象部位包含在医用图像中时，该第一判定显示115D被显示。此外，在其他部位显示109A～109C、109E及109F中也同样，在判定为拍摄对象部位包含在医用图像中时，进行第一判定显示。这样，通过显示表示在第一判定处理中已检测到的情况的第一判定显示115D，用户能够识别至少对应的拍摄对象部位包含在医用图像中的情况。

＜变形例4＞

接下来，对本实施方式的变形例4进行说明。在本例中，示意图101在检查画面内重叠显示。

图13是表示在显示部16显示的检查画面的图。

检查画面117是在用户通过内窥镜系统9进行检查时，在显示装置13和/或显示部16显示的画面。用户通过确认检查画面117，能够容易地获得需要的信息。检查画面117由实时取景显示119、受试者信息115及记录图像113A～113C构成。实时取景显示119显示由内窥镜观测器10拍摄的实时的动态画面38。用户一边观察实时取景显示119一边进行内窥镜观测器10的操作。受试者信息115表示接受内窥镜检查的受检者的姓名、年龄、出生年月日、性別、身份证号等。记录图像113A～113C显示有在用户拍摄动态画面38时通过静止画面拍摄指示部32指示拍摄而获取的静止画面39。

示意图101重叠显示于检查画面117上。在图示的情况下，示意图101重叠显示于检查画面117的右下方。在示意图101中，部位显示109D在上次完成拍摄并维持通知显示。在实时取景显示119上显示有与部位显示109F对应的拍摄对象部位(胃体下部俯视大弯)。当获取到与部位显示109F对应的拍摄对象部位的适当的医用图像时，在部位显示109F上进行通知显示。这样，通过在检查画面117上重叠显示示意图101，用户能够一边观察实时取景显示119一边有效地推进拍摄对象部位的拍摄。

＜变形例5＞

接下来，对本实施方式的变形例5进行说明。在上述的例子中，对将本发明应用于胃的检查的情况进行了说明，但在本例中，将本发明应用于大肠的检查。

图14是对进行大肠的检查时的拍摄对象部位进行说明的图。

在图14中，在大肠的示意图121中示出表示拍摄对象部位的部位显示123A～123E和引导显示125A～125E。本例中的拍摄对象部位设定“直肠”(由符号125A-1表示)(对应的部位显示123A)、“肛门”(由符号125A-2表示)(对应的部位显示123A)、“脾曲”(对应的部位显示123B)、“肝曲”(对应的部位显示123C)、“十二指肠入口”(对应的部位显示123D)、“回盲”(对应的部位显示123D)。另外，在各拍摄对象部位表示箭头形状的引导显示125A～125E。用户能够通过箭头形状的引导显示125A～125E识别内窥镜观测器10的拍摄方向。引导显示125A-1表示“直肠”的拍摄的拍摄方向。引导显示125A-2表示“肛门”的拍摄的拍摄方向。引导显示125B表示“脾曲”的拍摄的拍摄方向。引导显示125C表示“肝曲”的拍摄的拍摄方向。引导显示125D表示“回盲”的拍摄的拍摄方向。引导显示125E表示“十二指肠入口”的拍摄的拍摄方向。这样，在大肠中也能够设定拍摄对象部位并应用本发明。此外，在本例中，与上述的实施方式同样，当通过第二判定处理判定为满足判定基准时，也在部位显示123A～123E中进行通知显示，维持该通知显示，直至所有拍摄对象部位的拍摄完成为止。

＜变形例6＞

接下来，对变形例6进行说明。在上述的例子中，对输入静止画面39作为医用图像、并基于该静止画面39进行第一判定处理及第二判定处理的例子进行了说明。在本例中，输入构成动态画面38的帧图像38a作为医用图像，并对该帧图像38a进行第一判定处理及第二判定处理。而且，在本例中，满足第二判定处理的判定基准的帧图像38a作为记录图像存储于存储器48。

图15是表示使用了医用图像处理装置14的医用图像处理方法的流程图。

首先，医用图像获取部40获取帧图像38a(步骤S20)。之后，第一判定器42基于所获取的帧图像38a进行第一判定处理(步骤S21：第一判定工序)。具体而言，第一判定器42判定在帧图像38a中是否包含多个拍摄对象部位中的任一部位。当通过第一判定器42判定为帧图像38a不包含任何拍摄对象部位时(步骤S21的No时)，不进行第二判定器43的判定。

另一方面，当通过第一判定器42判定为帧图像38a具有任一拍摄对象部位时(步骤S21的Yes时)，第二判定器43基于进行了第一判定的帧图像38a进行第二判定处理(步骤S22：第二判定工序)。具体而言，第二判定器43判定是否满足对由第一判定器42判定的部位设定的判定基准。当通过第二判定器43判定为不满足判定基准时(步骤S22的No时)，不在显示部16进行通知显示。

另一方面，当通过第二判定器43判定为帧图像38a满足判定基准时，通过显示控制部46对显示部16进行通知显示(步骤S23：显示控制工序)。另外，当通过第二判定处理判定为满足判定基准时，处理器将帧图像38a作为记录图像存储于存储器48(步骤S24：存储处理)。此外，帧图像38a以时间序列连续地获取，对所获取的帧图像38a依次进行上述的处理。

如以上说明的那样，在本例中，输入帧图像38a，基于所输入的帧图像38a，进行第一判定及第二判定。而且，在第二判定中，满足判定基准的帧图像38a作为静止画面存储于存储器48。由此，能够有效地获取满足判定基准的医用图像。

＜变形例7＞

接下来，对本实施方式的变形例7进行说明。在本例中，随着光源变更而变更示意图的显示方式。

图16是对不同的两个光源的示意图进行说明的图。

根据切换光源的情况，切换示意图101和示意图131的显示。另外，也可以根据医用图像的光源(在拍摄医用图像时使用的光源)切换示意图101和示意图131的显示。

当使用第一光源时，示意图101(第一显示方式)显示于显示部16。在此，第一光源为白色光源，是发出宽带光的光源。白色光源是在使用通常的内窥镜系统9的检查中使用的光源。当获取到第二光源的医用图像时，示意图131(第二显示方式)显示于显示部16。在此，第二光源为特殊光源，是发出窄带光的光源。特殊光源是在进行特定部位的观察、或特定病变的观察时使用的光源。

在使用第一光源时显示的示意图101中，与上述的说明(参照图8)同样地进行6个部位的部位显示109A～109F。当使用第一光源时，在与部位显示109A～109F对应的拍摄对象部位进行第一判定处理及第二判定处理。在图示的情况下，在部位显示109A及部位显示109C中进行通知显示。

当使用第二光源时，拍摄对象部位成为“食道胃接合部”这一部位。而且，在使用第二光源时显示的示意图131中，仅显示与“食道胃接合部”对应的部位显示109A。另外，在示意图131中，作为未设定拍摄对象部位的区域的胃部105用与其他区域不同的颜色(例如灰色)来显示。另外，在示意图131中，在第二光源中未成为拍摄对象部位的部位显示109B～109F被隐藏。由此，示意图131能够示出第二光源中的拍摄对象部位的范围(进行第一判定处理及第二判定处理的范围)。

在上述的例子中，对6个拍摄对象部位内的5个拍摄对象部位仅在由第一光源拍摄时成为判定对象、另外1个拍摄对象部位(“食道胃接合部”)在由第一光源或第二光源中的任一个拍摄时成为拍摄对象部位的例子进行了说明。即，在本例中，对在与宽带光源相比用窄带光源拍摄的医用图像的情况下减少拍摄对象部位的例子进行了说明。然而，在拍摄对象部位中确定了适当的光源的情况下，也可以根据光源来设定拍摄对象部位。

接下来，对根据上述的光源的种类显示的示意图101及示意图131的显示变化进行说明。

图17是对显示变化的第一例进行说明的图。

在本例中，在图16所说明的示意图131中，也显示有拍摄对象部位的范围外的部位显示109B～109F。具体而言，在示意图131中，与示意图101同样地显示有部位显示109A～109F。另一方面，示意图131表示如下情况：作为未设定拍摄对象部位的区域的胃部105用与其他区域不同的颜色(例如灰色)来显示，由此，胃部105在拍摄对象部位的范围外。此外，在本例中，通过显示所有部位显示109A～109F，能够维持使用第一光源时的通知显示。例如，在示意图131中的部位显示109C中进行通知显示是为了维持在第一光源中进行拍摄并获取满足判定基准的医用图像时的通知显示。

图18是对显示变化的第二例进行说明的图。

在本例中，通过部位显示109A～109F的显示方式，示出拍摄对象部位的范围。具体而言，在示意图131中，部位显示109A用实线来表示，部位显示109B～109F用虚线来表示。由此，能够表示包含部位显示109A的范围(食道部103)是拍摄对象部位的范围，能够表示包含部位显示109B～109F的范围(胃部105)在拍摄对象部位的范围外。

图19是对显示变化的第三例进行说明的图。

在本例中，通过改变拍摄对象部位的范围的显示，示出根据光源而改变的拍摄对象部位的范围。具体而言，当使用第一光源时，拍摄对象部位成为“食道胃接合部”、“贲门正下方的小弯J形转弯”、及“贲门正下方的大弯U形转弯”。而且，在示意图101中，改变包括与“食道胃接合部”、“贲门正下方的小弯J形转弯”、及“贲门正下方的大弯U形转弯”对应的部位显示109A～109C的范围133(A)和其他范围133(B)的颜色进行显示。另外，当使用第二光源时，拍摄对象部位成为“自胃角部或胃体下部的小弯后壁J形转弯”、“从幽门环前部至幽门环”及“胃体下部俯视大弯”。而且，在示意图131中，改变包括与“自胃角部或胃体下部的小弯后壁J形转弯”、“从幽门环前部至幽门环”、及“胃体下部俯视大弯”对应的部位显示109D～109F的范围133(B)和其他范围133(A)的颜色进行显示。由此，在示意图101及示意图131中，能够示出根据光源而变更的拍摄对象部位的范围。

图20是对显示变化的第四例进行说明的图。

本例是在第一光源及第二光源中分别获取满足判定基准的医用图像的情况。具体而言，在本例中，通过第一光源及第二光源对作为拍摄对象部位的“食道胃接合部”进行在第二判定处理中满足判定基准的图像的拍摄。

在使用第一光源时显示的示意图101中，部位显示109A进行通知显示。即，在第一光源中，满足“食道胃接合部”(与部位显示109A对应的拍摄对象部位)的判定基准的医用图像的获取完成。之后，当从第一光源向第二光源进行光源的切换时，显示示意图131。示意图131如图16所说明的那样进行拍摄对象部位的范围内的部位显示109A。而且，因为使用第二光源的满足“食道胃接合部”的判定基准的医用图像的获取尚未完成，所以在示意图131的部位显示109A中不进行通知显示。之后，当使用第二光源的满足“食道胃接合部”的判定基准的医用图像的拍摄完成时，在部位显示109A中进行通知显示。由此，能够有效地进行利用第一光源及第二光源中的满足“食道胃接合部”的判定基准的医用图像的拍摄。

＜其他＞

在上述实施方式中，执行各种处理的处理部(例如医用图像获取部40、第一判定器42、第二判定器43、显示控制部46、语音控制部47)(processing unit)的硬件结构是如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)且作为各种处理部发挥作用的通用处理器即CPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit，专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥作用的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。

进而，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。

上述各结构及功能可通过任意的硬件、软件、或者两者的组合适当地实现。例如，也可以对使计算机执行上述的处理步骤(处理次序)的程序、记录有这样的程序的计算机可读记录介质(非暂时性记录介质)、或者可安装这样的程序的计算机应用本发明。

以上对本发明的例子进行了说明，但本发明不限于上述的实施方式，当然，在不脱离本发明的主旨的范围内能够进行各种变形。

符号说明

9：内窥镜系统

10：内窥镜观测器

11：光源装置

12：内窥镜处理器装置

13：显示装置

14：医用图像处理装置

15：操作部

16：显示部

17：扬声器

20：插入部

21：手边操作部

22：通用塞绳

25：软性部

26：弯曲部

27：前端部

28：摄像元件

29：弯曲操作钮

30：供气供水按钮

31：吸引按钮

32：静止画面拍摄指示部

33：处置器具导入口

35：光导

36：信号电缆

37a：连接器

37b：连接器

38：动态画面

38a：帧图像

39：静止画面

40：医用图像获取部

41：CPU

42：第一判定器

43：第二判定器

46：显示控制部

47：语音控制部

48：存储器

Claims (21)

1.一种医用图像处理装置，具备处理器，其中，

所述处理器进行：

第一判定处理，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在所述医用图像中；

第二判定处理，当在所述第一判定处理中判定为所述多个拍摄对象部位中任一所述部位包含在所述医用图像中时，判定所述医用图像是否是满足所述医用图像中所含的部位的判定基准的图像；以及

显示控制处理，当在所述第二判定处理中判定为所述医用图像是满足所述医用图像所包含的部位的所述判定基准的图像时，使显示部显示表示拍摄到了满足所述医用图像中所含的部位的所述判定基准的图像的通知显示。

2.根据权利要求1所述的医用图像处理装置，其中，

在所述显示控制处理中，维持所述通知显示的显示，直至显示相对于所述多个拍摄对象部位的所有所述部位的所述通知显示为止。

3.根据权利要求1或2所述的医用图像处理装置，其中，

在所述第二判定处理中，根据针对所述多个拍摄对象部位中的每一个而不同的所述判定基准进行判定。

4.根据权利要求1至3中任一项所述的医用图像处理装置，其中，

所述第二判定处理分别基于多个指标而进行，并基于所述多个指标中的判定结果而进行。

5.根据权利要求4所述的医用图像处理装置，其中，

在所述多个指标中至少包括模糊抖动判定、亮度判定、边界可见判定、贲门可见判定、贲门距离判定、蠕动判定、褶皱判定、处置判定及构图判定中的任一个。

6.根据权利要求1至5中任一项所述的医用图像处理装置，其中，

在所述第二判定处理中，通过针对所述多个拍摄对象部位中的每一个而不同的判定器进行判定。

7.根据权利要求1至6中任一项所述的医用图像处理装置，其中，

所述第一判定处理基于由卷积神经网络构成的第一判定器的判定结果而进行，

至少一部分所述第二判定处理通过将在所述第一判定器中获取的中间特征量输入第二判定器，且所述第二判定器输出判定结果而进行。

8.根据权利要求1至7中任一项所述的医用图像处理装置，其中，

所述医用图像利用第一光源或第二光源进行拍摄，

在所述第一判定处理中，在判定利用所述第一光源拍摄到的所述医用图像的情况下，对所述多个拍摄对象部位进行判定，在利用所述第二光源拍摄到的所述医用图像的情况下，对所述多个拍摄对象部位中被选择的拍摄对象部位进行判定。

9.根据权利要求1至8中任一项所述的医用图像处理装置，其中，

所述医用图像是由内窥镜观测器拍摄的内窥镜图像，

在所述显示控制处理中，使所述显示部显示由所述内窥镜观测器拍摄的管腔器官的示意图，在所述示意图上显示所述通知显示。

10.根据权利要求9所述的医用图像处理装置，其中，

在所述显示控制处理中，在所述示意图上，使所述多个拍摄对象部位的部位显示在对应的位置进行显示。

11.根据权利要求10所述的医用图像处理装置，其中，

在所述显示控制处理中，当通过所述第二判定处理判定为所述医用图像是满足所述医用图像中所含的部位的所述判定基准的图像时，通过变更所述部位的所述部位显示的显示方式来进行所述通知显示。

12.根据权利要求9至11中任一项所述的医用图像处理装置，其中，

在所述显示控制处理中，使所述示意图显示引导拍摄所述医用图像的所述内窥镜观测器的拍摄的引导显示。

13.根据权利要求12所述的医用图像处理装置，其中，

所述引导显示为棒形状，通过所述棒形状的方向示出所述内窥镜观测器的拍摄方向，通过所述棒形状的长度示出所述内窥镜观测器距被摄体的距离。

14.根据权利要求9至13中任一项所述的医用图像处理装置，其中，

所述医用图像利用第一光源或第二光源进行拍摄，

在所述显示控制处理中，当获取到利用所述第一光源拍摄的所述医用图像时，以第一显示方式显示所述示意图，当获取到利用所述第二光源拍摄的所述医用图像时，以第二显示方式显示所述示意图。

15.根据权利要求1至14中任一项所述的医用图像处理装置，其中，

在所述显示控制处理中，当通过所述第二判定处理对所述多个拍摄对象部位全部判定为所述医用图像是满足所述医用图像所包含的部位的所述判定基准的图像时，使所述显示部显示表示拍摄对象部位的所有拍摄完成的信息。

16.根据权利要求1至15中任一项所述的医用图像处理装置，其中，

当通过所述第二判定处理判定为所述医用图像是满足所述医用图像所包含的部位的所述判定基准的图像时，所述处理器进行将所述医用图像存储于存储器的存储处理。

17.根据权利要求1至16中任一项所述的医用图像处理装置，其中，

所述多个拍摄对象部位至少选自食道胃接合部、贲门正下方的小弯J形转弯、贲门正下方的大弯U形转弯、自胃角部或胃体下部的小弯后壁J形转弯、从幽门环前部至幽门环及胃体下部俯视大弯。

18.根据权利要求1至16中任一项所述的医用图像处理装置，其中，

所述多个拍摄对象部位至少选自直肠、肛门、脾曲、肝曲、十二指肠入口及回盲。

19.一种医用图像处理方法，所述医用图像处理装置具备处理器，其中，

通过所述处理器进行：

第一判定工序，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在所述医用图像中；

第二判定工序，当在所述第一判定工序中判定为所述多个拍摄对象部位中任一所述部位包含在所述医用图像中时，判定所述医用图像是否是满足所述医用图像中所含的部位的判定基准的图像；以及

显示控制工序，当在所述第二判定工序中判定为所述医用图像是满足所述医用图像所包含的部位的所述判定基准的图像时，使显示部显示表示拍摄到了满足所述医用图像中所含的部位的所述判定基准的图像的通知显示。

20.一种程序，其使具备处理器的医用图像处理装置执行医用图像处理方法，其中，

使所述处理器执行：

第一判定工序，基于获取的医用图像，判定多个拍摄对象部位中的任一部位是否包含在所述医用图像中；

第二判定工序，当在所述第一判定工序中判定为所述多个拍摄对象部位中任一所述部位包含在所述医用图像中时，判定所述医用图像是否是满足所述医用图像中所含的部位的判定基准的图像；以及

显示控制工序，当在所述第二判定工序中判定为所述医用图像是满足所述医用图像所包含的部位的所述判定基准的图像时，使显示部显示表示拍摄到了满足所述医用图像中所含的部位的所述判定基准的图像的通知显示。

21.一种记录介质，其为非暂时性且计算机可读记录介质，其中，

记录有权利要求20所述的程序。