CN115052510A - 图像处理装置、内窥镜系统及图像处理方法 - Google Patents

Abstract

本发明提供一种使用内窥镜图像稳定地显示与疾病相关的判定结果的图像处理装置、内窥镜系统及图像处理方法。一种图像处理装置(16)，其具备处理器，其中，处理器通过内窥镜(12)获取拍摄观察对象而得的多个内窥镜图像，根据各个内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数，根据原始分数确定最终分数，并进行在显示器(18)上实时地显示最终分数和/或最终分数的经时变化的控制。

Description

图像处理装置、内窥镜系统及图像处理方法

技术领域

本发明涉及一种使用由内窥镜拍摄的内窥镜图像进行诊断支持的图像处理装置、内窥镜系统及图像处理方法。

背景技术

在医疗领域，广泛进行使用具备光源装置、内窥镜及处理器装置的内窥镜系统的诊断。在使用内窥镜系统的诊断中，开发了一种通过对用内窥镜拍摄观察对象而得的图像(以下，称为内窥镜图像)实施适当的图像处理，来判定观察对象的特定疾病的阶段等的、CAD(Computer-Aided Diagnosis，计算机辅助诊断)的技术。通过使用CAD，实时或近实时地计算例如疾病的严重程度或与病理结果相关联的分数等，并显示于显示器等上。

公开了一种用于更简便地使用CAD的技术。例如，为了使用内窥镜图像中的超放大图像的CAD，已知有能够自动判别超放大图像和非放大图像的图像分析装置(专利文献1)。

以往技术文献

专利文献

专利文献1：日本特开2019-111040号公报

发明内容

发明要解决的技术课题

在使用内窥镜图像的实时的CAD中，由于内窥镜图像中的观察对象的位置容易变化，因此有时无法获得稳定的判定结果。例如，在通过内窥镜图像的图像处理进行溃疡性结肠炎的阶段判定的情况下，由于观察位置细微变化时判定结果也细微变化，因此阶段判定的结果有时不稳定。因此，为了使CAD更易于使用，期望获得稳定的判定结果。

本发明鉴于上述实际情况，其目的在于提供一种使用内窥镜图像稳定地显示与疾病相关的判定结果的图像处理装置、内窥镜系统及图像处理方法。

用于解决技术课题的手段

本发明是一种图像处理装置，其具备处理器。处理器获取通过内窥镜在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像，根据各内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数，根据原始分数确定最终分数，进行在显示器上实时地显示最终分数和/或最终分数的经时变化的控制。

优选处理器计算彼此不同的2种以上的原始分数。

优选处理器根据对内窥镜图像进行分析而得的第1特征量来计算原始分数。

优选第1特征量是与内窥镜图像所包含的表层血管密集部、粘膜内出血部或粘膜外出血部相关的量。

优选处理器执行通过将与原始分数建立对应关联的过去的内窥镜图像输入到机器学习模型而生成的学习完毕的第1机器学习模型，并根据内窥镜图像计算原始分数。

优选处理器由根据在最终分数确定的时点之前的规定期间获取的多个内窥镜图像计算出的原始分数来确定最终分数。

优选处理器通过对多个原始分数进行移动平均或FIR滤波器处理或IIR滤波器处理来确定最终分数。

优选处理器根据在刚确定最终分数的时点的之前或之后计算出的原始分数来确定最终分数。

优选处理器对于每个内窥镜图像判别内窥镜图像是否适合于所述原始分数的计算，不计算判定为不适合计算原始分数的针对内窥镜图像的原始分数。

优选处理器根据内窥镜图像所具有的第2特征量来判别内窥镜图像是否适合于原始分数的计算。

优选第2特征量是与选自由内窥镜图像的光晕分布、空间频率分布、亮度值分布、阴影分布、放大率指标及照射到观察对象的照明光的反射光分布组成的组中的至少一个相关的量。

优选处理器执行通过将与是否适合于原始分数的计算建立对应关联的过去的内窥镜图像输入到机器学习模型而生成的学习完毕的第2机器学习模型，并判别内窥镜图像是否适合于原始分数的计算。

优选处理器根据除不计算以外的原始分数来确定最终分数。

优选处理器在基于在规定期间获取的多个内窥镜图像的原始分数，且在除不计算以外的原始分数的个数为规定数以下时、不计算的原始分数的个数为规定数以上时、或不计算的原始分数的个数相对于基于在规定期间获取的多个内窥镜图像的原始分数的个数的比例为规定值以上时，不计算最终分数。

优选最终分数的经时变化通过表示最终分数与最终分数的确定时刻的关系的至少一个图表来显示。

优选处理器通过对内窥镜图像进行图像分析来判定内窥镜图像所包含的观察对象的部位，最终分数的经时变化通过表示最终分数与最终分数的确定时刻及部位的关系的至少一个图表来显示。

优选处理器进行获取静止图像的指示，

当存在指示时，进行显示最终分数和/或最终分数的经时变化的控制。

优选疾病是溃疡性结肠炎。

并且，本发明是一种内窥镜系统，其具备拍摄观察对象的内窥镜和具备处理器的图像处理装置。处理器获取在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像，根据各内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数，根据原始分数确定最终分数，并进行在显示器上实时地显示最终分数和/或最终分数的经时变化的控制。

并且，本发明是一种图像处理方法，其具备：图像获取步骤，获取在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像；原始分数计算步骤，根据各个内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数；最终分数确定步骤，根据原始分数确定最终分数；及显示控制步骤，进行在显示器上实时地显示最终分数和/或最终分数的经时变化的控制。

发明效果

根据本发明，能够使用内窥镜图像稳定地显示与疾病相关的判定结果。

附图说明

图1是内窥镜系统的外观图。

图2是内窥镜的操作部的外观图。

图3是表示内窥镜系统的功能的框图。

图4是说明光源部所包含的4色LED的说明图。

图5是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的图表。

图6是表示特殊光的光谱的图表。

图7是表示仅包括紫色光V的特殊光的光谱的图表。

图8是表示分数处理部的功能的框图。

图9是表示根据溃疡性结肠炎的严重程度而变化的血管结构的图案的说明图。

图10是示意地表示大肠的剖面的示意图。

图11是说明表层血管密集部、粘膜内出血部及粘膜外出血部通过亮度值及空间频率进行分类的说明图。

图12是通过时间序列说明内窥镜图像与原始分数计算的关联性的说明图。

图13是对基于原始分数的移动平均的最终分数的显示控制进行说明的说明图。

图14是对显示部位名称的最终分数的显示控制进行说明的说明图。

图15是对基于之前获得的原始分数的最终分数的显示控制进行说明的说明图。

图16是对基于之后获得的原始分数的最终分数的显示控制进行说明的说明图。

图17是通过时间序列说明内窥镜图像与不计算的原始分数计算的关联性的说明图。

图18是对包括不计算的原始分数时的最终分数的显示控制进行说明的说明图。

图19是对表示判别结果的最终分数的显示控制进行说明的说明图。

图20是表示分数显示模式的一连串的流程的流程图。

图21是表示诊断支持装置的框图。

图22是表示医疗业务支持装置的框图。

具体实施方式

在图1中，内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及控制台19。内窥镜12与光源装置14光学连接，且与处理器装置16电连接。内窥镜12具有插入于观察对象的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b的弯角钮12e(参考图2)来进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。

如图2所示，操作部12b除了弯角钮12e以外还具有用于观察模式的切换操作的模式切换开关12g、用于变更摄像倍率的变焦操作部12h及进行静止图像获取指示的静止图像获取指示部12f。另外，观察模式的切换操作、变焦操作、或静止图像获取指示可以设为除了使用模式切换开关12g、或静止图像获取指示部12f的观测器开关以外，还使用控制台19、或脚踏开关(未图示)等的操作或指示。

内窥镜系统10具有普通观察模式、特殊观察模式及分数显示模式这3个模式。在普通观察模式中，通过对观察对象照明普通光并进行拍摄而在显示器18上显示自然色彩的普通图像。在特殊观察模式中，通过将波长带与普通光不同的特殊光照明到观察对象而进行拍摄，从而在显示器18上显示强调特定结构的特殊图像。在分数显示模式中，根据由普通图像或特殊图像构成的内窥镜图像来确定与观察对象的疾病的严重程度或阶段的判定有关的分数，从而在显示器上显示所确定的分数、分数的经时变化和/或判定结果等。

疾病的严重程度是通过治疗而得的预后的程度，例如，当疾病为溃疡性结肠炎时，分为轻症、中等症及重症这3类。当疾病为溃疡性结肠炎时，疾病的阶段(病情阶段)分为活动期及缓解期这2类。因此，严重程度的判定结果是轻症、中等症或重症中的任一个，阶段的判定结果是活动期或缓解期或缓解或非缓解中的任一个。并且，分数是能够识别观察对象的疾病的严重程度或阶段为哪一程度的显示，是数值或文章等。在本实施方式中，对图像处理装置判定溃疡性结肠炎的缓解或非缓解的情况进行说明。

连接有内窥镜12的处理器装置16是执行分数显示模式的图像处理装置。图像处理装置具备处理器。在图像处理装置中，与图像信号获取部51、DSP52，降噪部53、信号处理部55及视频信号生成部56等相关的程序被编入存储器中。通过由处理器构成的控制部(未图示)使该程序动作，从而实现图像信号获取部51、DSP52，降噪部53、信号处理部55及视频信号生成部56等的功能。可以由其他构成执行分数显示模式，例如，在与内窥镜系统10不同的外部的图像处理系统中设置图像处理装置的功能，将内窥镜图像输入到外部的图像处理装置并执行分数显示模式，在与外部的图像处理系统连接的外部的显示器上显示其执行结果。

处理器装置16与显示器18及控制台19电连接。显示器18输出并显示观察对象的图像、分数、分数的经时变化、判定结果和/或附带在观察对象的图像中的信息等。控制台19作为接受功能设定等的输入操作的用户界面而发挥作用。另外，在处理器装置16中也可以连接记录图像或图像信息等的外置记录部(省略图示)。

在图3中，光源装置14发出照射到观察对象的照明光。具备光源部20和控制光源部20的光源控制部2l。光源部20例如由多色LED(Light Emitting Diode，发光二极管)等半导体光源、激光二极管与荧光体的组合、或氙气灯等卤素光源构成。并且，光源部20包括用于调整由LED等发射的光的波长带的滤光器等。光源控制部21通过各LED等的开/关、各LED等的驱动电流和驱动电压的调整来控制照明光的光量。并且，光源控制部21通过滤光器的变更等来控制照明光的波长带。

如图4所示，在本实施方式中，光源部20具有V-LED(Violet Light EmittingDiode：紫色发光二极管)20a、B-LED(Blue Light Emitting Diode：蓝色发光二极管)20b、G-LED(Green Light Emitting Diode：绿色发光二极管)20c及R-LED(Red Light EmittingDiode：红色发光二极管)20d这4种颜色的LED。

如图5所示，V-LED20a产生中心波长405±10nm、波长范围380～420nm的紫色光V。B-LED20b产生中心波长460±10nm、波长范围420～500nm的蓝色光B。G-LED20c产生波长范围达到480～600nm的绿色光G。R-LED20d产生中心波长620～630nm且波长范围达到600～650nm的红色光R。另外，紫色光V为用于检测分数显示模式中使用的表层血管密集部、粘膜内出血部或粘膜外出血部的短波长的光，优选在中心波长或峰值波长中包括410nm。因此，在分数显示模式中使用的内窥镜图像优选为拍摄由紫色光V照明的观察对象而得的图像。

光源控制部21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。光源控制部21在普通观察模式时，控制各LED20a～20d，以发射紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vc∶Bc∶Gc∶Rc的普通光。

光源控制部21为特殊观察模式或分数显示模式时，以发射作为短波长的光的紫色光V与蓝色光B、绿色光G及红色光R的光强度比成为Vs∶Bs∶Gs∶Rs的特殊光的方式控制各LED20a～20d。特殊光优选强调表层血管等。因此，作为特殊光的光强度比Vs∶Bs∶Gs∶Rs，优选使紫色光V的光强度大于蓝色光B的光强度。例如，如图6所示，将紫色光V的光强度Vs与蓝色光B的光强度Bs的比率设为“4∶1”。并且，如图7所示，关于特殊光，可以将紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比设为1∶0∶0∶0，仅发射作为短波长的光的紫色光V。

另外，在本说明书中，光强度比包括至少1个半导体光源的比率为0(零)的情况。因此，包括各半导体光源中的任一个或2个以上不点亮的情况。例如，如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比为1∶0∶0∶0的情况那样，设为仅点亮半导体光源中的1个，且不点亮其他3个的情况下也具有光强度比。

各LED20a～20e发出的光经由由反射镜、透镜等构成的光路耦合部(未图示)入射到光导件41。光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)。光导件41将来自光路耦合部的光传播到内窥镜12的前端部12d。

在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜42，通过光导件41传播的照明光经由照明透镜42照射到观察对象。摄像光学系统30b具有物镜43、变焦透镜44及摄像传感器45。来自观察对象的反射光、散射光及荧光等各种光经由物镜43及变焦透镜44入射到摄像传感器45。由此，观察对象的图像成像在摄像传感器45中。变焦透镜44通过操作变焦操作部12h而在望远端与广角端之间自由移动，并且放大或缩小在摄像传感器45上成像的观察对象。

摄像传感器45是对每个像素设置有R(红色)、G(绿色)、或B(蓝色)的滤色器中的任一个的彩色摄像传感器，拍摄观察对象并输出RGB各色的图像信号。作为摄像传感器45，能够利用CCD(Charge Coupled Device：电荷耦合元件)摄像传感器或CMOS(ComplementaryMetal-Oxide Semiconductor：互补金属氧化物半导体)摄像传感器。并且，代替设置有原色的滤色器的摄像传感器45，可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的补色摄像传感器。当使用补色摄像传感器时，输出CMYG这4种颜色的图像信号。因此，通过补色-原色颜色转换，将CMYG这4种颜色的图像信号转换为RGB这3种颜色的图像信号，从而能够获得与摄像传感器45相同的RGB图像信号。并且，代替摄像传感器45也可以使用没有设置滤色器的单色传感器。

摄像传感器45由摄像控制部(未图示)驱动控制。通过摄像控制部的控制根据各模式而不同。在普通观察模式或分数显示模式中，摄像控制部控制摄像传感器45以拍摄由普通光照射的观察对象。由此，从摄像传感器45的B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。在特殊观察模式或分数显示模式中，摄像控制部控制摄像传感器45以拍摄被特殊光照射的观察对象。由此，从摄像传感器45的B像素输出Bs图像信号，从G像素输出Gs图像信号，从R像素输出Rs图像信号。

CDS/AGC(Correlated Double Sampling(相关双采样)/Automatic Gain Control(自动增益控制))电路46对由摄像传感器45获得的模拟的图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过了CDS/AGC电路46的图像信号通过A/D(Analog/Digital：模拟/数字)变频器48转换为数字图像信号。A/D转换后的数字图像信号输入于处理器装置16。

处理器装置16具备图像信号获取部51、DSP(Digital Signal Processor：数字信号处理器)52、降噪部53、存储器54、信号处理部55及视频信号生成部56。信号处理部55具备普通图像生成部61、特殊图像生成部62及分数处理部63。

图像信号获取部51获取从内窥镜12输入的内窥镜图像的数字图像信号。获取的图像信号被发送到DSP52。DSP52对接收的图像信号进行缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种信号处理。在缺陷校正处理中，校正摄像传感器45的缺陷像素的信号。在偏移处理中，从实施了缺陷校正处理的图像信号去除暗电流成分，并设定准确的零电平。增益校正处理通过对偏移处理之后的各颜色的图像信号乘以特定的增益而调整各图像信号的信号电平。

对增益校正处理之后的各颜色的图像信号实施提高颜色再现性的线性矩阵处理。然后，通过伽马转换处理调整各图像信号的亮度或彩度。对伽马转换处理之后的图像信号实施去马赛克处理(也称为各向同性化处理或同步化处理)，并通过插值生成各像素的缺失的颜色的信号。通过去马赛克处理，变得所有像素具有RGB各颜色的信号。DSP52对去马赛克处理后的各图像信号实施YC转换处理，并将亮度信号Y和色差信号Cb及色差信号Cr输出到降噪部53。

降噪部53对通过DSP52实施去马赛克处理等的图像信号实施例如基于移动平均法和中值滤波法等的降噪处理。降低噪声的图像信号存储于存储器54。

信号处理部55从存储器54获取降噪后的图像信号。并且，根据需要对所获取的图像信号实施颜色转换处理、色彩强调处理及结构强调处理等信号处理，并生成拍摄有观察对象的彩色的内窥镜图像。颜色转换处理是通过3×3的矩阵处理、灰度转换处理及3维LUT(查找表)处理等对图像信号进行颜色的转换的处理。对颜色转换处理完毕的图像信号进行色彩强调处理。结构强调处理是强调例如血管和凹坑图案等观察对象中所包含的特定的组织和结构的处理，对色彩强调处理后的图像信号进行。

信号处理部55具备普通图像生成部61、特殊图像生成部62及分数处理部63。信号处理部55根据所设定的模式，将来自降噪部53的图像信号的发送目的地设为普通图像生成部61、特殊图像生成部62及分数处理部63中的任一个。具体而言，例如，当设置为普通观察模式时，将图像信号输入到普通图像生成部61。当设置为特殊观察模式时，将图像信号输入到特殊图像生成部62。当设置为分数显示模式时，将图像信号输入到分数处理部63。

普通图像生成部61对输入的1帧的Rc图像信号、Gc图像信号、Bc图像信号实施普通图像用图像处理。普通图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT(LookUp Table：查找表)处理等颜色转换处理、色彩强调处理及空间频率强调等结构强调处理。实施普通图像用图像处理的Rc图像信号、Gc图像信号及Bc图像信号作为普通图像输入到视频信号生成部56。

特殊图像生成部62对输入的1帧的Rs图像信号、Gs图像信号及Bs图像信号实施特殊图像用图像处理。特殊图像用图像处理包括3×3的矩阵处理、灰度转换处理、三维LUT处理等颜色转换处理、色彩强调处理、空间频率强调等结构强调处理。被实施特殊图像用图像处理的Rs图像信号、Gs图像信号及Bs图像信号作为特殊图像输入到视频信号生成部56。

信号处理部55所生成的内窥镜图像在观察模式为普通观察模式时为普通观察图像，当观察模式为特殊观察模式时为特殊观察图像，因此颜色转换处理、色彩强调处理及结构强调处理的内容根据观察模式而不同。在普通观察模式的情况下，信号处理部55实施使观察对象呈自然的色彩的上述各种信号处理而生成普通观察图像。在特殊观察模式的情况下，信号处理部55实施至少强调观察对象的血管的上述各种信号处理而生成特殊观察图像。在由信号处理部55生成的特殊观察图像中，以粘膜的表面为基准，位于观察对象内的较浅的位置的血管(所谓表层血管)或血液成为品红色系颜色(例如褐色)，以粘膜的表面为基准位于观察对象内的较深的位置的血管(所谓中深层血管)成为青色系颜色(例如绿色)。因此，相对于以粉红色系颜色表示的粘膜，观察对象的血管或出血(血液)通过颜色的差异来强调。

视频信号生成部56将从信号处理部55输出的普通图像、特殊图像或由分数处理部63确定的最终分数等转换为能够在显示器18中以全色显示的视频信号。转换完的视频信号输入到显示器18。由此，在显示器18上显示普通图像、特殊图像或最终分数等。并且，当通过静止图像获取指示部12f的操作输入静止图像获取指示(冻结指示或释放指示)时，信号处理部55将生成的内窥镜图像保存到图像保存部75(参考图8)或存储器(未图示)。存储器是与经由LAN(Local Area Network，局域网)等与处理器装置16连接的外部存储装置，例如，是将PACS(Picture Archiving and Communication System，图像存储与通讯系统、参考图21)等内窥镜图像进行归档的系统的文件服务器、NAS(Network Attached Storage，网络附加存储)等。

分数处理部63确定最终分数，并进行在显示器18上实时地显示最终分数和/或最终分数的经时变化的控制。如图8所示，分数处理部63具备图像获取部71、原始分数计算部72、最终分数确定部73及显示控制部76。此外，可以具备不适合图像判别部74、图像保存部75及部位判定部77。

在分数处理模式中，图像获取部71自动获取由内窥镜12在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像。内窥镜图像中有普通观察图像和特殊观察图像，但是在本实施方式中，图像获取部71获取强调血管等的特殊观察图像。图像获取部71可以根据情况从存储器中获取内窥镜图像。由图像获取部71获取的内窥镜图像发送到原始分数计算部72、不适合图像判别部74或图像保存部75。

原始分数计算部72根据由图像获取部71获取的多个内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数。与观察对象的疾病的严重程度或阶段的判定相关的原始分数设为能够识别内窥镜图像所包含的观察对象的疾病的严重程度或阶段是哪种程度的数值。原始分数计算部72能够具备第1计算部81(参考图8)和第2计算部82(参考图8)中的一个或两个。

优选原始分数计算部72在第1计算部81根据分析内窥镜图像而得的特征量(第1特征量)计算原始分数。作为特征量，例如可以举出血管的数量、粗细、长度、分支数、分支角度、分支点间距离、交叉数、倾角、密度、颜色、血液浓度、氧饱和度、有无出血、出血的面积、或流量等与血管相关的特征量、或与粘膜的颜色相关的特征量等。

例如，作为与溃疡性结肠炎的严重程度或阶段相关的原始分数的特征量，可优选举出与内窥镜图像所包含的表层血管密集部、粘膜内出血部及粘膜外出血部相关的量。作为表层血管密集部，通过对内窥镜图像进行图像分析，使用频率滤波器等从内窥镜图像提取观察对象的血管，将对内窥镜图像中的血管密集的部分的像素的个数进行计数而得的值作为原始分数。同样地，作为粘膜内或粘膜外出血部，从内窥镜图像中以相对于与血红蛋白量成比例的R值的G值的值等提取观察对象的粘膜内或粘膜外出血，将对内窥镜图像中的粘膜内或粘膜外出血部分的像素的个数进行计数而得的值作为原始分数。

作为内窥镜图像所包含的表层血管密集部、粘膜内出血部及粘膜外出血部的像素的个数的计数方法，也能够使用如下方法。首先，本发明人发现了，如图9(A)～(E)所示，作为由本实施方式判定的疾病的溃疡性结肠炎每当严重程度恶化时，血管结构的图案发生变化。当溃疡性结肠炎缓解或不会发生溃疡性结肠炎时，表层血管85的图案是规则的(图9(A))或为表层血管85的图案的规则性多少产生紊乱的程度(图9(B))。另一方面，当溃疡性结肠炎未缓解且严重程度为轻症时，表层血管85的密集是疏密的(图9(C))。并且，当溃疡性结肠炎为未缓解且严重程度为中等时，发生粘膜内出血86(图9(D))。并且，当溃疡性结肠炎为未缓解且严重程度为中等症～重症时，发生粘膜外出血87(图9(E))。在原始分数计算部72中，能够利用上述血管结构的图案变化来计算原始分数。

在此，表层血管密集部是指表层血管蜿蜒且聚集的状态，在图像上的观察中，是指许多表层血管围绕肠腺体积(隐窝)(参考图10)的周围的部分。粘膜内出血是指粘膜内(参考图10)的出血需要与内腔中的出血进行鉴别。粘膜内出血是指在图像上的观察中，粘膜中且不是内腔(管腔、褶孔)的出血。粘膜外出血是指进入管腔内的少量的血液、清洗管腔内后也从内窥镜前方的管腔或粘膜渗出而能够视觉辨认的血液、或在出血性粘膜上伴随渗出的管腔内的血液。

原始分数计算部72根据从特殊观察图像获得的频率特性及亮度值对表层血管密集部、粘膜内出血部或粘膜外出血部进行分类。具体而言，对表层血管密集部、粘膜内出血部或粘膜外出血部如图11所示进行分类。表层血管的密集由亮度值为低亮度，且频率特性为高频来表示。粘膜内出血中，以中亮度表示亮度值，并且以中频表示频率特性。粘膜外出血中，以低亮度表示亮度值，并且以低频表示频率特性。另外，当由亮度值及频率特性表示特殊观察图像的各种结构时，除了上述3个表层血管密集部、粘膜内出血部或粘膜外出血部以外，还包括特殊观察图像的模糊暗部或内窥镜阴影(将内窥镜的前端部12d沿管腔移动时形成于内窥镜图像的中心部分的阴影)等。利用上述分类，从表层血管密集部、粘膜内出血部或粘膜外出血部提取溃疡性结肠炎的缓解或未缓解的判定所需的表层血管的密集、粘膜内出血及粘膜外出血。

对于空间频率，通过对特殊观察图像应用拉普拉斯滤波器来计算空间频率成分分布。根据空间频率成分分布，例如，当包括特定像素的附近的9个像素的频率的标准偏差为恒定值以下时，将特定像素设为属于低频区域的像素。高频区域通过对空间频率成分分布的Hessian分析来提取。中频区域中，将在特殊观察图像中去除低频区域和高频区域的部分设为中频区域。这样，根据空间频率和亮度值对特殊观察图像的像素进行分类，从而能够计算表层血管密集部、粘膜内出血部或粘膜外出血部的像素的数。如上所述，由于通过上述结构能够良好地进行疾病的严重程度或阶段的判定，因此优选疾病为溃疡性结肠炎。

根据不同的第1特征量计算的原始分数设为不同种类的原始分数。原始分数计算部72可以计算1种原始分数，也可以计算2种以上。

原始分数计算部72在第2计算部82中根据内窥镜图像计算原始分数。第2计算部82具备学习完毕的第1机器学习模型。学习完毕的第1机器学习模型是通过将与原始分数建立对应关联的过去的内窥镜图像输入到机器学习模型中而生成的。即，是通过将过去的内窥镜图像输入到机器学习模型，使其学习以便正确输出建立对应关联的原始分数而生成的机器学习模型。因此，学习完毕除了包括将与分数建立对应关联的过去的内窥镜图像输入到机器学习模型中以外，还包括进行各种参数的调整。作为过去的内窥镜图像中建立对应关联的原始分数，例如，也可以是特征量，也可以将观察对象的疾病的严重程度或阶段数值化等。例如，第1机器学习模型具备2种以上的与各特征量相对应的机器学习模型，并且可以计算2种以上的原始分数。

最终分数确定部73根据原始分数确定最终分数。由原始分数计算部72计算的原始分数是与疾病的严重程度或阶段的判定相关的量，并且是疾病为何种程度的症状或疾病的病情阶段进展到何种程度的指标。因此，最终分数的确定方法可以根据判定的目的等来进行调整。例如，在判定严重程度的高低或阶段的进展时，在原始分数的值大、严重程度高，并且，病情进展的方向上设定最终分数，针对疾病最恶化的部分判定严重程度或阶段。此时的最终分数的确定方法例如可以举出对于表层血管密集部的像素数、粘膜内出血部的像素数或粘膜外出血部的像素数这3种的各自的原始分数，预先分别设定阈值，将超过阈值的原始分数确定为最终分数的方法、或在3种的各自的原始分数的值中，将从预先设定的阈值向高的方向超出的幅度最大的原始分数确定为最终分数的方法等。另一方面，例如，在筛选的情况下，将阈值设定得较低。

显示控制部76进行在显示器18上实时地显示最终分数和/或最终分数的经时变化的控制。最终分数例如、可以举出如下方法：在显示器18上实时地显示最终分数的值的数值；将最终分数的值的数值以纵轴为最终分数的值且横轴为时间的经过的图表的形式，并以图表形式显示最终分数的经时变化或根据最终分数的值和预先设定的阈值，通过通知疾病的严重程度或阶段的判定结果的消息来显示等。并且，显示控制部76还进行不显示最终分数等的控制。例如，当最终分数小于预先设定的阈值时，不显示最终分数。另外，实时地显示是指立即显示，并不是指严格同时显示。

在摄影对象位置变化且观察对象变化的情况下，所获得的内窥镜图像也发生变化，根据内窥镜图像计算的原始分数也同样变化。然而，由于通过如上所述构成的分数处理部63使用原始分数确定最终分数后在显示器18上显示，因此原始分数的变化不会直接显示在显示器18上，通过将其作为使用原始分数的最终分数，即使是实时也在显示器18上显示更稳的分数。并且，根据最终分数的值，控制成不显示最终分数，因此当显示分数时，显示为更稳定的分数。并且，通过实时地显示最终分数的经时变化，在一次观察中，摄影对象位置改变且观察对象改变时，能够一目了然地掌握由摄影对象位置引起的严重程度或阶段的变化、或严重程度最高或阶段最进展的位置处的最终分数的高低等。因此，用户在集中观察的同时还能够掌握在观察的过程中疾病的严重程度或阶段等最恶化的部位。如上所述，通过图像处理装置，即使观察对象发生细微变化，最终分数也不会波动，可进行更加稳定的耐用性高的分数计算和最终分数等的显示。因此，图像处理装置有助于防止进行观察的用户的病变的遗漏或更简单的观察。

分数处理部63可以具备不适合图像判别部74。不适合图像判别部74判别内窥镜图像对于原始分数的计算适合还是不适合。通过判别，内窥镜图像设为适合或不适合中的哪一个。内窥镜图像有时不适合作为计算原始分数的图像。例如，在内窥镜图像中，由于在移动中拍摄内窥镜前端部12d而产生抖动、由于附着有水滴而没有对焦、由于观察对象为倾斜而模糊的部分较多、或由于只拍摄远景而几乎不包含观察对象等理由，在计算原始分数时有时会计算极端的数值。这种可能计算不适当的分数的内窥镜图像不适合计算原始分数。分数处理部63能够具备第1判别部83(参考图8)和第2判别部84(参考图8)中的一个或两个。

第1判别部83根据分析内窥镜图像而得的特征量(第2特征量)，判别内窥镜图像是否适合于原始分数的计算。作为此时的特征量，优选为与选自内窥镜图像的光晕分布、空间频率分布、亮度值分布、阴影分布、放大率指标及照射到观察对象的照明光的反射光分布中的至少一个相关联的量。

在内窥镜图像中，产生光晕的区域、或由内窥镜的遮光罩等形成的阴影的区域是极亮或极暗的区域，因此这些区域多的内窥镜图像不适合原始分数计算。由于亮度值分布或阴影分布而具有许多极亮或极暗的区域的内窥镜图像也不适合原始分数计算。由于空间频率分布而具有许多图像模糊的区域的内窥镜图像是产生抖动或未对焦的图像，因此不适合原始分数计算。并且，参考放大率指标，在放大率较大的情况下，例如，计算表层血管密集部时，与未放大时相比，血管的成像方式发生变化，每单位面积的血管密度也发生变化。因此，考虑放大率计算原始分数的情况较好，否则不适合原始分数计算。并且，由于观察部位的变化等，当观察对象改变为不同种类时，有时照射到观察对象的照明光的反射光分布会改变。由于反射光分布的变化，极亮或极暗的区域较多的内窥镜图像也不适合原始分数计算。

并且，根据不同的第2特征量计算的值设为不同种类的第2特征量。第1判别部83可以计算1种第2特征量，也可以计算2种以上。第1判别部83使用1种或2种以上的第2特征量，对于内窥镜图像，判别是否适合于原始分数的计算。

不适合图像判别部74在第2判别部84中根据内窥镜图像判别是否适合于原始分数的计算。第2判别部84具备学习完毕的第2机器学习模型。学习完毕的第2机器学习模型是通过将与是否适合于原始分数的计算建立对应关联的过去的内窥镜图像输入到机器学习模型中而生成的。即，是通过将过去的内窥镜图像输入到机器学习模型，使其学习以便正确输出是否适合于原始分数的计算而生成的机器学习模型。因此，学习完毕除了包括将与是否适合于原始分数的计算建立对应关联的过去的内窥镜图像输入到机器学习模型中，还包括进行各种参数的调整。

通过不适合图像判别部74判别为适合原始分数的计算的内窥镜图像被发送到原始分数计算部72以计算原始分数。判别为不适合原始分数的计算的内窥镜图像将原始分数视为“不计算”。即，由于作为原始分数附加了“不计算”的标签，因此与尚未进行原始分数的计算的内窥镜图像进行区分。

另外，优选最终分数确定部73由根据在最终分数确定的时点之前的规定期间获取的多个内窥镜图像计算的原始分数来确定最终分数。利用图12对这种情况下的最终分数的确定进行具体说明。在图12中，在上部示出从用内窥镜观察开始起的流程，在下部示出所获得的内窥镜图像的状态。利用内窥镜开始观察，从观察开始时S开始内窥镜图像获取101。图像信号获取部51以规定的图像获取间隔a自动进行内窥镜图像获取101。一旦进行内窥镜图像获取101，就计算内窥镜图像的原始分数。另外，可以在计算之前进行不适合图像判别。在图12中，内窥镜图像获取101由填满的圆圈表示，但是为了避免图变得复杂，只对一部分附加符号。并且，对于期间a，也为了避免图变得复杂而只对一部分附加符号。根据在作为最终分数的确定时刻的最终分数确定时刻t之前的期间Δt获取的内窥镜图像确定最终分数。期间Δt为规定期间，且预先设定。

在期间Δt获取的最初的内窥镜图像是在时刻t-Δt获取的内窥镜图像121。内窥镜图像121包括粘膜内出血部126及血管密集部127。另外，在图12中，粘膜内出血部126及血管密集部127分别用斜线部及阴影部表示，但是为了避免图变得复杂而只对一部分附加符号。对于在时刻t-Δt通过内窥镜图像获取101而得的内窥镜图像121，利用期间B判别不适合图像判别部74是否适合于原始分数的计算，在不适合图像判别102的时刻获得判别结果。判别结果为“适合”。

在不适合图像判别102后，原始分数计算部72利用期间C计算内窥镜图像121中的原始分数，在原始分数计算103的时刻获得了计算结果。原始分数计算部针对粘膜内及粘膜外出血部像素数(以下，称为出血部像素数)和血管密集部像素数(以下，称为密集部像素数)这2种，通过第1计算部81计算了原始分数。计算结果为“出血部像素数：100”及“密集部像素数：70”。

接着，在期间Δt获取的内窥镜图像中，第2计算原始分数的是在时刻t-Δt+4a获取的内窥镜图像122。内窥镜图像122包括粘膜内出血部126、血管密集部127及粘膜外出血部128。另外，在图12中，粘膜外出血部128由填满的圆圈表示，但是为了避免图变得复杂，只对一部分附加符号。对于在时刻t-Δt+4a通过内窥镜图像获取101而得的内窥镜图像122，利用期间B判别不适合图像判别部74是否适合于原始分数的计算，在不适合图像判别104的时刻获得判别结果。判别结果为“适合”。

在不适合图像判别104后，原始分数计算部72利用期间C计算内窥镜图像122中的原始分数，在原始分数计算105的时刻获得了计算结果。原始分数计算部对于出血部像素数和密集部像素数这2种，通过第1计算部81计算了原始分数。计算结果为“出血部像素数：120”及“密集部像素数：90”。

接着，在期间Δt获取的内窥镜图像中，第3计算原始分数的是在时刻t-Δt+8a获取的内窥镜图像123。由于内窥镜图像123是在内窥镜移动时获取的，因此是观察对象模糊地拍摄到的不清晰图像129，无法判别观察对象。对于在时刻t-Δt+8a通过内窥镜图像获取101而得的内窥镜图像123，利用期间B判别不适合图像判别部74是否适合于原始分数的计算，在不适合图像判别106的时刻获得判别结果。判别结果为“不适合”。

在不适合图像判别106后，原始分数计算部72接受不适合图像判别的结果为“不适合”，不进行原始分数的计算。即，原始分数的计算结果为“不计算”。

接着，在期间Δt获取的内窥镜图像中，第4计算原始分数的是在时刻t-Δt+12a获取的内窥镜图像124。内窥镜图像124包括粘膜内出血部126、血管密集部127及粘膜外出血部128。对于在时刻t-Δt+12a通过内窥镜图像获取101而得的内窥镜图像124，利用期间B判别不适合图像判别部74是否适合于原始分数的计算，在不适合图像判别108的时刻获得判别结果。判别结果为“适合”。

在不适合图像判别108后，原始分数计算部72利用期间C计算内窥镜图像124中的原始分数，在原始分数计算109的时刻获得了计算结果。原始分数计算部对于出血部像素数和密集部像素数这2种，通过第1计算部81计算了原始分数。计算结果为“出血部像素数：140”及“密集部像素数：140”。

这样，根据图像获取间隔a、基于不适合图像判别部74的不适合图像判别的期间及基于原始分数计算部72的原始分数计算的期间的关联，在期间Δt获取的内窥镜图像是内窥镜图像121、122、123及124这4个。最终分数确定部73优选根据这些内窥镜图像中除“不计算”以外的原始分数确定最终分数。因此，最终分数确定部73根据基于内窥镜图像121、122及124这3个计算的各自的原始分数确定最终分数。

最终分数确定部73优选通过对多个原始分数进行移动平均或FIR(finiteimpulse response，有限冲激响应)滤波器处理或IIR(Infinite impulse response，无限脉冲回应)滤波器处理来确定最终分数。移动平均优选为简单移动平均、加权移动平均、指数移动平均或三角移动平均中的任一个。在移动平均中使用加权的情况下，能够根据观察部位或内窥镜图像获取的条件的不同等而预先设定并使用确定为可获得优选结果的值。通过使用移动平均或FIR滤波器处理或IIR滤波器处理，能够在多个原始分数中，例如使极其远的值的原始分数等噪声的影响变得更小，从而确定最终分数。因此，稳定地确定最终分数。

在最终分数确定时刻t，例如，当通过原始分数的简单移动平均求出最终分数时，原始分数为出血部像素数时，将内窥镜图像121、122及124中的出血部像素数进行平均。即，如下述式(1)所示，最终分数的第1种是将内窥镜图像121的出血部像素数100、内窥镜图像122的出血部像素数120、内窥镜图像124的出血部像素数140进行平均而成为120。同样地，如下述式(2)所示，最终分数的第2种是将内窥镜图像121的出血部像素数100、内窥镜图像122的出血部像素数120、内窥镜图像124的出血部像素数140进行平均而成为100。

最终分数(出血部像素数)＝(100+120+140)/3＝120 (1)

最终分数(密集部像素数)＝(70+90+140)/3＝100 (2)

最终分数的确定的间隔可以自动进行，也可以通过指示确定指示的时点的最终分数。指示例如可以将用户通过静止图像获取指示部12f(冻结按钮)获取静止图像的时点设为最终分数确定时刻t。因此，在这种情况下，当通过静止图像获取指示部12f给出静止图像获取指示时，显示控制部76进行显示最终分数和/或最终分数的经时变化的控制。用户保存静止图像的观察对象较多包含应关注的区域。通过在这种区域中确定最终分数，并将其显示于显示器18上，有助于用户的更适当的诊断，因此优选。

接着，显示控制部76进行在显示器18上实时地显示最终分数和/或最终分数的经时变化的控制。作为显示控制的方法，优选为能够稳定地显示最终分数的确定结果的方法。因此，可以举出显示控制部76例如显示从观察开始起的最终分数中数值最大的最终分数，并且在获得大于先前的数值的最终分数时更新最终分数的显示的方法、或显示最终分数的经时变化的方法等。

当显示最终分数的经时变化时，优选图表化来显示。图表优选通过表示最终分数与最终分数确定时刻的关系的至少一个图表来显示。在用图表显示的情况下，优选对最终分数的值预先设置阈值，仅在阈值以上的情况下在图表上显示最终分数。

如图13所示，显示控制部76在上述说明的最终分数确定时刻t中进行是否根据阈值来显示最终分数的控制。当最终分数为2种时，在显示器18上显示2种图表。在最终分数中，将出血部像素数的阈值T1设为800，将密集部像素数的阈值T2设为40。最终分数确定时刻t的出血部像素数的最终分数为120，因此小于阈值T1的800。因此，作为最终分数的出血部像素数的图表131中没有绘制最终分数确定时刻t的出血部像素数。并且，最终分数确定时刻t的密集部像素数的最终分数为100，因此大于阈值T2的40。因此，作为最终分数的密集部像素数的图表132中附加辅助线133绘制了最终分数确定时刻t的密集部像素数，以便能够一眼掌握数值。另外，在图13的图表131和图表132中，用斜线表示阈值T1或阈值T2。

通过由显示控制部76进行在显示器18上实时地显示最终分数和/或最终分数的经时变化的控制，即使用户正在继续观察对象的观察，也能够一目了然地掌握被认为疾病最恶化的项目是什么。并且，通过用图表表示经时变化，还能够掌握被认为最恶化的部位大致在哪个位置。并且，通过用阈值控制最终分数的显示，仅显示认为疾病最恶化的项目，因此能够使最终分数的显示更稳定。

并且，作为通过阈值进行的最终分数的显示的控制，当最终分数为2种以上时，可以将显示在显示器18上的图表限定为1个等。具体而言，例如，2种最终分数中的一种为阈值以上，另一种小于阈值时，仅显示阈值以上的最终分数的图表。通过严格选择并显示如最终分数的参数的种类，所显示的最终分数的可靠性或稳定性提高。并且，用户能够一目了然地掌握用于诊断严重程度或阶段的信息。

另外，具备通过对内窥镜图像进行图像分析来判定内窥镜图像所包含的观察对象的部位的部位判定部77(参考图8)，也可以通过表示最终分数与最终分数确定时刻及部位的关系的图表显示最终分数的经时变化。由此，自动对内窥镜图像进行图像分析，并对应最终分数的经时变化的显示来显示部位名称。如图14所示，例如，在大肠的观察中，从位于大肠深处的盲肠的部分一边拉动内窥镜一边进行筛选时，显示“盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠”的部位名称134。这样，通过显示部位名称134，能够在观察中不遗漏地掌握疾病恶化的部分，因此优选。

另外，最终分数确定部73可以根据紧接在最终分数确定的时点的之前或之后计算的原始分数来确定最终分数。利用图15和图16对这些情况下的最终分数的确定进行具体说明。如图15所示，在根据紧接在最终分数确定的时点之前计算的原始分数确定最终分数的最终分数的确定方法中，并不是使用多个原始分数来确定，而是根据紧接在最终分数确定的时点之前计算的原始分数来确定。即，将紧接在最终分数确定的时点的之前计算的原始分数确定为最终分数。对于内窥镜图像获取及原始分数获取与上述相同。

根据通过时刻t-Δt+12a的内窥镜图像获取而获取的内窥镜图像在原始分数计算109的时刻计算紧接在最终分数确定时刻t之前计算的原始分数为“出血部像素数：140”及“密集部像素数：140”，因此最终分数成为“出血部像素数：140、密集部像素数：140”。对于使用基于显示控制部76的阈值的最终分数的显示与上述相同。因此，如图15所示，在显示器18上显示密集部像素数绘制为140的密集部像素数的图表132作为最终分数。

并且，如图16所示，在根据紧接在最终分数确定的时点之后计算的原始分数确定最终分数的最终分数的确定方法中，并不是使用多个原始分数来确定，而是根据紧接在最终分数确定时刻t之后计算的原始分数来确定。即，将紧接在最终分数确定时刻t的之后计算的原始分数确定为最终分数。这是对在最终分数确定时刻t获取的内窥镜图像计算的原始分数。对于内窥镜图像获取及原始分数获取与上述相同。

根据通过时刻t的内窥镜图像获取而获取的内窥镜图像在原始分数计算111的时刻计算紧接在最终分数确定时刻t之后计算的原始分数为“出血部像素数：160”及“密集部像素数：70”，因此最终分数成为“出血部像素数：160、密集部像素数：70”。对于使用基于显示控制部76的阈值的最终分数的显示与上述相同。因此，如图16所示，在显示器18上显示密集部像素数绘制为70的密集部像素数的图表132作为最终分数。

根据紧接在最终分数确定的时点之前或之后计算的原始分数确定最终分数的方法适用于想要掌握当前观察的观察对象的最终分数的情况。并且，由于能够稳定地显示最新的最终分数，因此优选。

并且，在用户通过静止图像获取指示部12f获取静止图像的时点确定最终分数的情况下，通过与根据紧接在最终分数确定的时点之前或之后计算的原始分数确定最终分数的方法组合，能够迅速且稳定地显示基于进行了作为用户希望关注的区域的静止图像获取指示的观察部位的最终分数。因此，在用户想要获得与诊断相关的信息的时刻显示最终分数，并响应用户的需求，因此优选。

另外，最终分数确定部73也可以根据基于在规定期间获取的多个内窥镜图像的原始分数中，通过不适合图像判别部74视为不计算的原始分数的个数和计算的原始分数的个数来确定是否计算最终分数。具体而言，在基于规定期间获取的多个内窥镜图像的原始分数中，在除不计算以外的原始分数的个数为规定数以下时、不计算的原始分数的个数为规定数以上时、或不计算的原始分数的个数相对于基于在规定期间获取的多个内窥镜图像的原始分数的个数的比例为规定值以上时等，将最终分数设为“不计算”。

利用图17和图18对这些情况下的最终分数的确定进行具体说明。如图17所示，在规定期间的期间Δt，以图像获取间隔a自动进行内窥镜图像获取101，在时刻t-Δt、时刻t-Δt+4a、时刻t-Δt+8a及时刻t-Δt+12a获取内窥镜图像。在获取内窥镜图像之后，不适合图像判别部74在期间B后判别在各时刻获取的内窥镜图像是否适合于原始分数的计算。多个内窥镜图像中，由于在时刻t-Δt+4a和时刻t-Δt+8a获取的内窥镜图像122和123为不清晰图像129，因此原始分数计算部72分别对内窥镜图像122和123，将原始分数设为“不计算”。

在本实施方式中，在基于规定期间获取的多个内窥镜图像的原始分数中，在除不计算以外的原始分数的个数为2个以下时，将最终分数设为“不计算”。因此，在这种情况下，多个内窥镜图像为4个，不计算的原始分数为2个，除不计算以外的原始分数为2个，因此相当于“除不计算以外的原始分数的个数为2个以下的情况”。因此，最终分数确定时刻t的最终分数设为“不计算”。显示控制部76进行在显示器上不显示不计算的最终分数的控制。因此，如图18所示，在显示器18中，并未在图表131及图表132中的任一个中绘制最终分数。

另外，在图17所示的上述情况下，采用不计算的原始分数的个数为规定数以上时将最终分数设为“不计算”的方法时，例如，将规定数设为2时，不计算的原始分数的个数为2，因此最终分数设为“不计算”。并且，同样地，采用不计算的原始分数的个数相对于基于在规定期间获取的多个内窥镜图像的原始分数的个数的比例为规定值以上时将最终分数设为“不计算”的方法时，例如，将规定值设为0.5时，在期间Δt获取的内窥镜图像及原始分数的个数为4，其中原始分数为“不计算”的个数为2，上述比例为2/4(0.5)，因此将最终分数设为“不计算”。

如上所述，通过根据不适合图像判别部74设为不计算的原始分数的个数和计算的原始分数的个数，确定是否计算最终分数，由此抑制不优选的原始分数的个数或比例，适当地确定最终分数，分数的显示稳定，因此优选。

另外，最终分数可以通过通知观察对象的疾病的严重程度或阶段的判定结果的消息来显示。严重程度或阶段的判定由最终分数来进行。例如，显示控制部76使用用于进行是否显示最终分数的控制的阈值。即，在最终分数中，通过出血部像素数的阈值T1和密集部像素数的阈值T2来判定严重程度或阶段。对于严重程度，将出血部像素数为阈值T1以上的情况设为重症，将出血部像素数小于阈值T1且密集部像素数为阈值T2以上的情况设为中等症，或者将出血部像素数小于阈值且密集部像素数小于阈值T2的情况设为轻症。对于阶段，将出血部像素数为阈值T1以上的情况的重症和出血部像素数小于阈值T1且密集部像素数为阈值T2以上的情况的中等症作为病理性非缓解，或者将出血部像素数小于阈值且密集部像素数小于阈值T2的情况的轻症作为病理性缓解。

如图19所示，通知严重程度或阶段的判定结果的消息例如通过在显示器18的一部分显示消息135来进行。消息135在除了“非缓解”以外，在严重程度的情况下设为“重症”、“中等症”或“轻症”中的任一个，在阶段的情况下，设为“缓解”或“非缓解”中的任一个的消息。通过将最终分数作为通知疾病的严重程度或阶段的判定结果的消息来显示，在不妨碍用户观察的情况下，能够一眼获得支持严重程度或阶段的诊断的信息，因此优选。

接着，沿着图20所示的流程图对分数显示模式的一连串的流程进行说明。当切换到分数显示模式时，特殊光照射到观察对象。内窥镜12通过拍摄由特殊光照明的观察对象(步骤ST110)，在某一时点获得作为特殊图像的内窥镜图像。另外，本流程图中，最终分数被设定为以规定的间隔自动获取。图像获取部71获取来自内窥镜12的特殊图像(步骤ST120)。

特殊图像被发送到不适合图像判别部74，并判别是否适合于原始分数的计算。判别为适合的特殊图像的情况下(步骤ST130中为是)，根据特殊图像计算原始分数(步骤ST140)。判别为不适合的特殊图像的情况下(步骤ST130中为否)，原始分数视为“不计算”(步骤ST150)。

根据原始分数的计算结果确定最终分数(步骤ST160)。当确定最终分数时，显示控制部76控制最终分数的显示(步骤ST170)。显示器通过受到控制的显示来显示最终分数(步骤ST180)。在结束观察的情况下(步骤ST190中为是)，结束观察。在未结束观察的情况下(步骤ST190中为否)，返回到内窥镜图像获取。

另外，在上述实施方式中，将本发明适用于进行内窥镜图像的处理的内窥镜系统，但是也可以将本发明适用于对除了内窥镜图像以外的医学图像进行处理的医学图像处理系统。在这种情况下，医学图像处理系统包括本发明的图像处理装置。并且，本发明还能够适用于使用医学图像供用户进行诊断支持的诊断支持装置。并且，使用医学图像，本发明也能够适用于用于支持诊断报告等医疗业务的医疗业务支持装置。

例如，如图21所示，诊断支持装置201将医学图像处理系统202等医学影像设备和PACS(Picture Archiving and Communication Systems：医学影像存档及通信系统)203组合使用。并且，如图22所示，医疗业务支持装置210经由任意网络214与第1医学图像处理系统211、第2医学图像处理系统212、……、第N医学图像处理系统213等各种检查装置连接。医疗业务支持装置210接收来自第1～第N医学图像处理系统211、212……、213的医学图像，并根据接收到的医学图像进行医疗业务的支持。

在上述实施方式中，执行处理器装置16中所包含的图像信号获取部51、DSP52、降噪部53、信号处理部55及视频信号生成部56等各种处理的处理部(processing unit)的硬件结构为以下所示的各种处理器(processor)。各种处理器包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合)构成。并且，也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器构成的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。

本发明还能够通过下述另一方式来实施。

在处理器装置中，

通过内窥镜装置获取在彼此不同时刻拍摄观察对象而得的多个内窥镜图像，

根据各个内窥镜图像计算与观察对象的疾病的严重程度或阶段的判定相关的原始分数，

根据原始分数确定最终分数，

进行在显示器上实时地显示最终分数和/或最终分数的经时变化的控制。

符号说明

10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，12f-静止图像获取指示部，12g-模式切换开关，12h-变焦操作部，14-光源装置，16-处理器装置(图像处理装置)，18-显示器，19-控制台，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，21-光源控制部，30a-照明光学系统，30b-摄像光学系统，41-光导件，42-照明透镜，43-物镜，44-变焦透镜，45-摄像传感器，46-CDS/AGC电路，47-A/D变频器，51-图像信号获取部，52-DSP，53-降噪部，54-存储器，55-信号处理部，56-视频信号生成部，61-普通图像生成部，62-特殊图像生成部，63-分数处理部，71-图像获取部，72-原始分数计算部，73-最终分数确定部，74-不适合图像判别部，75-图像保存部，76-显示控制部，77-部位判定部，81-第1计算部，82-第2计算部，83-第1判别部，84-第2判别部，85-表层血管，86-粘膜内出血，87-粘膜外出血，101-内窥镜图像获取，102、104、106、108、110、111-不适合图像判别，103、105、107、109-原始分数计算，121～125-内窥镜图像，126-粘膜内出血部，127-血管密集部，128-粘膜外出血部，129-不清晰图像，131、132-图表，133-辅助线，134-部位名称，135-消息，201-诊断支持装置，202-医学图像处理系统，203-PACS，210-医疗业务支持装置，211-第1医学图像处理系统，212-第2医学图像处理系统，213-第N医学图像处理系统，214-网络，t-最终分数确定时刻，ST110～ST190-步骤。

Claims (20)

1.一种图像处理装置，其具备处理器，

所述处理器通过内窥镜获取在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像，

根据各个所述内窥镜图像计算与所述观察对象的疾病的严重程度或阶段的判定相关的原始分数，

根据所述原始分数确定最终分数，

进行在显示器上实时地显示所述最终分数和/或所述最终分数的经时变化的控制。

2.根据权利要求1所述的图像处理装置，其中，

所述处理器计算彼此不同的2种以上的所述原始分数。

3.根据权利要求1或2所述的图像处理装置，其中，

所述处理器根据对所述内窥镜图像进行分析而得的第1特征量来计算所述原始分数。

4.根据权利要求3所述的图像处理装置，其中，

所述第1特征量是与所述内窥镜图像所包含的表层血管密集部、粘膜内出血部或粘膜外出血部相关的量。

5.根据权利要求1或2所述的图像处理装置，其中，

所述处理器执行通过将与所述原始分数建立对应关联的过去的所述内窥镜图像输入到机器学习模型而生成的学习完毕的第1机器学习模型，并根据所述内窥镜图像计算所述原始分数。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，

所述处理器由根据在所述最终分数确定的时点之前的规定期间获取的多个所述内窥镜图像计算出的所述原始分数来确定所述最终分数。

7.根据权利要求6所述的图像处置装置，其中，

所述处理器通过对多个所述原始分数进行移动平均或FIR滤波器处理或IIR滤波器处理来确定所述最终分数。

8.根据权利要求1至5中任一项所述的图像处理装置，其中，

所述处理器根据在刚确定所述最终分数的时点之前或之后计算出的所述原始分数来确定所述最终分数。

9.根据权利要求1至8中任一项所述的图像处理装置，其中，

所述处理器对于每个所述内窥镜图像判别所述内窥镜图像是否适合于所述原始分数的计算，

不计算判定为不适合计算所述原始分数的针对所述内窥镜图像的所述原始分数。

10.根据权利要求9所述的图像处理装置，其中，

所述处理器根据所述内窥镜图像所具有的第2特征量来判别所述内窥镜图像是否适合于所述原始分数的计算。

11.根据权利要求10所述的图像处理装置，其中，

所述第2特征量是与选自由所述内窥镜图像的光晕分布、空间频率分布、亮度值分布、阴影分布、放大率指标及照射到所述观察对象的照明光的反射光分布组成的组中的至少一个相关的量。

12.根据权利要求10所述的图像处理装置，其中，

所述处理器执行通过将与是否适合于所述原始分数的计算建立对应关联的过去的所述内窥镜图像输入到机器学习模型而生成的学习完毕的第2机器学习模型，并判别所述内窥镜图像是否适合于所述原始分数的计算。

13.根据权利要求9至12中任一项所述的图像处理装置，其中，

所述处理器根据除不计算以外的所述原始分数来确定所述最终分数。

14.根据权利要求9至13中任一项所述的图像处理装置，其引用权利要求6，其中，

所述处理器在基于在所述规定期间获取的多个所述内窥镜图像的所述原始分数，且在除不计算以外的所述原始分数的个数为规定数以下时、不计算的所述原始分数的个数为规定数以上时、或不计算的所述原始分数的个数相对于基于在所述规定期间获取的多个所述内窥镜图像的所述原始分数的个数的比例为规定值以上时，不计算所述最终分数。

15.根据权利要求1至14中任一项所述的图像处理装置，其中，

所述最终分数的经时变化通过表示所述最终分数与所述最终分数的确定时刻的关系的至少一个图表来显示。

16.根据权利要求1至15中任一项所述的图像处理装置，其中，

所述处理器通过对所述内窥镜图像进行图像分析来判定所述内窥镜图像所包含的所述观察对象的部位，

所述最终分数的经时变化通过表示所述最终分数与所述最终分数的确定时刻及所述部位的关系的至少一个图表来显示。

17.根据权利要求1至16中任一项所述的图像处理装置，其中，

所述处理器进行获取静止图像的指示，

当存在所述指示时，进行显示所述最终分数和/或所述最终分数的经时变化的控制。

18.根据权利要求1至17中任一项所述的图像处理装置，其中，

所述疾病是溃疡性结肠炎。

19.一种内窥镜系统，其具备拍摄观察对象的内窥镜和具备处理器的图像处理装置，

所述处理器获取在彼此不同的时刻拍摄所述观察对象而得的多个内窥镜图像，根据各个所述内窥镜图像计算与所述观察对象的疾病的严重程度或阶段的判定相关的原始分数，根据所述原始分数确定最终分数，并进行在显示器上实时地显示所述最终分数和/或所述最终分数的经时变化的控制。

20.一种图像处理方法，其具备：

图像获取步骤，获取在彼此不同的时刻拍摄观察对象而得的多个内窥镜图像；

原始分数计算步骤，根据各个所述内窥镜图像计算与所述观察对象的疾病的严重程度或阶段的判定相关的原始分数；

最终分数确定步骤，根据所述原始分数确定最终分数；及

显示控制步骤，进行在显示器上实时地显示所述最终分数和/或所述最终分数的经时变化的控制。

Images