CN110799084A - 图像处理装置、图像处理程序和图像处理方法 - Google Patents

Abstract

图像处理装置(31)具有：病变检测部(P1)，其根据对被检体进行摄像而取得的医用图像检测病变候选(L)；特征检测部(P2)，其检测病变候选(L)的特征；标记决定部(P3)，其根据病变候选(L)的特征决定要显示的标记的显示状态，生成包含显示状态的信息的标记显示信息(Y)；以及显示图像生成部(35)，其根据标记显示信息(Y)对医用图像附加标记而生成显示图像(Z)。

Description

图像处理装置、图像处理程序和图像处理方法

技术领域

本发明涉及图像处理装置、图像处理程序和图像处理方法。

背景技术

以往，存在示出医用图像中包含的病变候选的存在部位的图像处理装置。例如，在日本特开2004-180987号公报中公开了如下的医用图像显示装置：以异常阴影或异常候选阴影的存在部位和标记的显示位置在显示画面中大致成为一个部位的方式，使医用图像在显示画面上上下左右移动并依次显示，以使得能够减轻用户的疲劳度。

但是，在现有的医用图像显示装置中，标记的显示位置在显示画面中大致固定在一个部位，例如在病变候选较大的情况下、或包含病变候选的周围在内需要观察的情况下等，有时无法根据病变候选的特征对医用图像附加表示病变候选的标记，以使得容易观察病变候选。

因此，本发明的目的在于，提供如下的图像处理装置、图像处理程序和图像处理方法：能够根据病变候选的特征对医用图像附加表示病变候选的标记，以使得更加容易观察病变候选。

发明内容

用于解决问题的手段

本发明的一个方式的图像处理装置具有：病变检测部，其根据对被检体进行摄像而取得的医用图像来检测病变候选；特征检测部，其检测病变候选的特征；标记决定部，其根据病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息；以及显示图像生成部，其根据标记显示信息对所述医用图像附加所述标记而生成显示图像。

本发明的一个方式的图像处理程序使计算机执行以下代码：根据对被检体进行摄像而取得的医用图像来检测病变候选；检测病变候选的特征；根据病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息；以及根据标记显示信息对所述医用图像附加所述标记而生成显示图像。

在本发明的一个方式的图像处理方法中，根据对被检体进行摄像而取得的医用图像来检测病变候选，检测病变候选的特征，根据病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息，根据标记显示信息对所述医用图像附加所述标记而生成显示图像。

附图说明

图1是示出本发明的实施方式的内窥镜装置的结构的一例的框图。

图2是示出本发明的实施方式的内窥镜装置的图像处理装置的标记控制部的结构的一例的框图。

图3是用于说明本发明的实施方式的内窥镜装置的图像处理装置的二值化运算的说明图。

图4是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图5是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图6是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图7是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图8是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图9是用于说明本发明的实施方式的内窥镜装置的标记的显示例的说明图。

图10是示出本发明的实施方式的内窥镜装置的图像处理装置的标记控制处理的流程的一例的流程图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

(结构)

图1是示出本发明的实施方式的内窥镜装置1的结构的一例的框图。

内窥镜装置1具有光源装置11、内窥镜21、图像处理装置31、显示部41。光源装置11与内窥镜21和图像处理装置31分别连接。内窥镜21与图像处理装置31连接。图像处理装置31与显示部41连接。

光源装置11在图像处理装置31的控制下，向设置于内窥镜21的插入部22的前端部的照明部23输出照明光。

内窥镜21构成为能够对被检体内进行摄像。内窥镜21具有插入部22、照明部23、摄像部24、操作部Op。

插入部22形成为细长状，以使得能够插入到被检体内。插入部22内插有未图示的各种管路和信号线。此外，插入部22具有未图示的弯曲部，能够根据操作部Op的输入指示进行弯曲。

照明部23设置于插入部22的前端部，对被检体照射从光源装置11输入的照明光。

摄像部24具有CCD等摄像元件。摄像部24设置于插入部22的前端部，对被检体的返回光进行摄像，将摄像信号输出到图像处理装置31。

操作部Op例如具有按钮、操纵杆等指示输入装置。操作部Op也可以具有触摸面板、键盘和脚踏开关等指示输入装置。操作部Op设置于内窥镜21和图像处理装置31，能够进行各种指示输入。例如，操作部Op能够进行弯曲部的弯曲指示、光源装置11的驱动指示等指示输入。

图像处理装置31进行内窥镜装置1内的各部的控制。此外，图像处理装置31根据从内窥镜21输入的摄像信号生成医用图像即内窥镜图像X，生成基于内窥镜图像X的标记显示信息Y，生成基于内窥镜图像X和标记显示信息Y的显示图像Z，将显示图像Z输出到显示部41。图像处理装置31除了具有操作部Op以外，还具有内窥镜图像生成部32、存储部33、显示控制部34和显示图像生成部35。

内窥镜图像生成部32是如下的电路：根据从摄像部24输入的摄像信号进行图像处理，生成内窥镜图像X。内窥镜图像生成部32根据摄像信号进行例如增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像处理，生成内窥镜图像X，将内窥镜图像X输出到显示控制部34和显示图像生成部35。

存储部33具有可改写的ROM等存储元件。在存储部33中，除了存储有用于对内窥镜装置1的各部进行控制的程序以外，还存储有数据F和标记控制部P的程序。

显示控制部34是进行内窥镜装置1内的各部的控制的电路。显示控制部34例如具有中央处理装置(CPU)。显示控制部34与存储部33连接，能够从存储部33读取各种程序等信息。通过执行存储部33中存储的程序来实现显示控制部34的功能。显示控制部34与显示部41连接，根据内窥镜图像X生成用于对标记的显示进行控制的标记显示信息Y，将标记显示信息Y输出到显示图像生成部35。内窥镜图像X可以是动态图像或静态图像中的任意一方。

此外，显示控制部34根据从操作部Op输入的指示输入，输出控制信号并对光源装置11进行控制。显示控制部34也可以根据内窥镜图像X的明亮度对照明部23的发光量进行调整。

显示图像生成部35是如下的电路：根据标记显示信息Y对医用图像附加标记，生成显示图像Z。显示图像生成部35根据从内窥镜图像生成部32输入的内窥镜图像X和从显示控制部34输入的标记显示信息Y生成显示图像Z，将其输出到显示部41。

显示部41例如由能够显示彩色图像的监视器构成。显示部41显示从显示图像生成部35输入的显示图像Z。

(数据F的结构)

在数据F中包含后述病变检测阈值、种类阈值、清晰度阈值、尺寸阈值、泡残渣阈值和明度阈值。

在数据F中还包含根据检测对象而预先设定的平均向量μ、方差协方差矩阵Z和规定的阈值。

根据对检测对象的教师数据的特征量进行取样而得到的特征向量Fn＝(fn1、fn2、fnj、…、fnk)^T，通过运算式(1)计算平均向量μ和方差协方差矩阵Z。在运算式(1)中，fnj是第n个教师数据的第j个取样的特征量，k是特征量的个数，ND是取样数据的个数。

[数学式1]

根据判定指标Di预先设定规定的阈值，以使得能够检测内窥镜图像X中是否包含检测对象。

根据检测对象对特征量进行取样，计算特征向量x＝(x1、x2、xj、…、xk)^T，通过运算式(2)计算判定指标Di。在运算式(2)中，xj是第j个取样的特征量，xk是特征量的个数。

[数学式2]

图2是示出本发明的实施方式的内窥镜装置1的图像处理装置31的标记控制部P的结构的一例的框图。图3是用于说明本发明的实施方式的内窥镜装置1的图像处理装置31的二值化运算的说明图。

如图2所示，标记控制部P进行如下处理：根据从内窥镜图像生成部32输入的内窥镜图像X，生成用于对显示图像Z中的标记的显示状态进行控制的标记显示信息Y。标记控制部P具有病变检测部P1、特征检测部P2和标记决定部P3。

特征检测部P2具有种类检测部P2a、轮廓清晰度检测部P2b、尺寸检测部P2c、粘膜颜色检测部P2d、泡残渣检测部P2e、膨出方向检测部P2f和明度检测部P2g。

标记决定部P3具有标记种类决定部P3a、标记间隔决定部P3b、标记粗细决定部P3c、标记颜色决定部P3d、标记位置决定部P3e、标记明度决定部P3f。

(病变检测部P1的结构)

病变检测部P1进行如下处理：根据内窥镜图像X检测例如图4～图9所示的病变候选L，将包含坐标信息的检测结果输出到特征检测部P2。即，病变检测部P1根据对被检体进行摄像而取得的医用图像检测病变候选L。

病变检测部P1计算颜色特征量。例如根据通过绿色像素值/红色像素值计算出的颜色比来计算颜色特征量。另外，可以根据通过蓝色像素值/绿色像素值计算出的颜色比来计算颜色特征量，也可以根据通过YCbCr转换而计算出的色差、色相、通过HSI转换而计算出的彩度来计算颜色特征量，还可以根据红色像素值、绿色像素值或蓝色像素值中的任意一方计算颜色特征量。

病变检测部P1将内窥镜图像X分割成多个小区域，按照每个小区域计算颜色特征量。

此外，病变检测部P1例如还使用LBP(Local Binary Pattern)技术计算纹理特征量。

如图3的例子所示，病变检测部P1对由1个关注像素Pi和以包围关注像素Pi的方式配置的8个周边像素Ps构成的3×3的像素区域进行二值化处理。

在二值化处理中，病变检测部P1朝向顺时针方向一个一个地取得周边像素Ps的像素值，对各个像素值进行二值化，从下位比特朝向上位比特依次设置，由此生成二进制数据。

例如，在周边像素Ps的像素值是关注像素Pi的像素值以上时设置“1”，在周边像素Ps的像素值小于关注像素Pi的像素值时设置“0”。在图3的例子中，通过二值化处理生成“10011100”的二进制数据。

病变检测部P1针对小区域内的像素分别生成二进制数据，按照每个小区域生成由直方图表示的纹理特征量。

病变检测部P1读入为了进行病变检测而设定的平均向量μ、方差协方差矩阵Z和病变检测阈值。

病变检测部P1按照每个小区域计算基于颜色特征量和纹理特征量的特征向量x，进行基于运算式(2)的运算，计算病变检测用的判定指标Di。

病变检测部P1根据病变检测用的判定指标Di和病变检测阈值，将检测结果输出到特征检测部P2。例如，病变检测部P1在病变检测用的判定指标Di是病变检测阈值以上时，将包含病变候选L的坐标信息的、表示检测到病变候选L的检测结果输出到特征检测部P2。可以通过任意的运算来决定病变候选L的坐标信息，但是，例如，也可以根据小区域的位置信息决定病变候选L的坐标信息。

(特征检测部P2的结构)

返回图2，特征检测部P2进行如下处理：根据从病变检测部P1输入的检测结果检测坐标信息所表示的病变候选L的特征，将包含坐标信息的检测结果输出到标记决定部P3。

种类检测部P2a根据从病变检测部P1输入的检测结果，检测病变候选L的种类是隆起病变还是平坦病变。

种类检测部P2a计算纹理特征量。纹理特征量可以使用由病变检测部P1计算出的纹理特征量。

种类检测部P2a还计算形状特征量。根据病变候选L的圆度、费雷特直径和面积计算形状特征量。

种类检测部P2a从存储部33读入为了进行种类检测而设定的平均向量μ、方差协方差矩阵Z和种类阈值。

种类检测部P2a根据由病变检测部P1检测到的病变候选L计算特征向量x，进行基于运算式(2)的运算，计算种类检测用的判定指标Di。

种类检测部P2a根据种类检测用的判定指标Di和种类阈值，将检测结果输出到标记种类决定部P3a。例如，种类检测部P2a在种类检测用的判定指标Di是种类阈值以上时，输出表示病变候选L是隆起病变的检测结果，另一方面，在种类检测用的判定指标Di小于种类阈值时，输出表示病变候选L是平坦病变的检测结果。

另外，也可以设定种类阈值，以使得针对在粘膜表面上大幅扩展等的不能确定形状的病变候选L，输出表示是平坦病变的检测结果。

轮廓清晰度检测部P2b根据从病变检测部P1输入的检测结果，检测病变候选L的轮廓的清晰度是清晰度阈值以上还是小于清晰度阈值。

轮廓清晰度检测部P2b计算病变候选L的轮廓的清晰度。根据病变候选L的轮廓与轮廓外部的明度差计算病变候选L的轮廓的清晰度。例如，进行规定的轮廓提取运算来提取轮廓，从轮廓的像素值中减去轮廓外部的像素值，由此计算明度差。

在规定的轮廓提取运算中，例如通过形态学运算来提取病变候选L的轮廓。规定的轮廓提取运算也可以是提取轮廓的其他运算。

轮廓清晰度检测部P2b从存储部33读入为了进行轮廓检测而设定的清晰度阈值。

轮廓清晰度检测部P2b根据轮廓的清晰度和清晰度阈值，将表示轮廓的清晰度是清晰度阈值以上还是小于清晰度阈值的检测结果输出到标记间隔决定部P3b。

尺寸检测部P2c根据从病变检测部P1输入的检测结果，检测病变候选L是尺寸阈值以上还是小于尺寸阈值。

尺寸检测部P2c进行规定的轮廓提取运算来提取轮廓，通过基于轮廓的规定的面积计算运算来计算病变候选L的面积，用病变候选L的面积除以显示图像Z的面积，计算病变候选L在显示图像Z中占据的区域的比例。

尺寸检测部P2c从存储部33读入为了进行尺寸检测而设定的尺寸阈值。

尺寸检测部P2c向标记间隔决定部P3b、标记粗细决定部P3c和标记颜色决定部P3d输出表示病变候选L的尺寸是尺寸阈值以上还是小于尺寸阈值的检测结果。

粘膜颜色检测部P2d根据从病变检测部P1输入的检测结果，检测病变候选L的规定周围区域的粘膜颜色。

规定周围区域是通过经验或实验而预先决定的病变候选L的周围的区域。

粘膜颜色检测部P2d进行规定的轮廓提取运算来提取轮廓，取得病变候选L的规定周围区域的粘膜颜色，计算粘膜颜色的平均值，将计算结果作为检测结果输出到标记颜色决定部P3d。

泡残渣检测部P2e根据从病变检测部P1输入的检测结果，检测病变候选L的规定周围区域的泡或残渣。

在颜色特征量中，在泡中强烈地表现出白色，在残渣中强烈地表现出黄土色。在纹理特征量中，在泡中强烈地表现出轮廓，并且大多表现出镜面反射，在残渣中未明显地表现出轮廓。

泡残渣检测部P2e计算颜色特征量和纹理特征量。

泡残渣检测部P2e从存储部33读入为了进行泡或残渣检测而设定的平均向量μ、方差协方差矩阵Z和泡残渣阈值。泡残渣检测部P2e计算病变候选L的规定周围区域的基于颜色特征量和纹理特征量的特征向量x，进行基于运算式(2)的运算，计算泡残渣检测用的判定指标Di。

泡残渣检测部P2e根据泡残渣检测用的判定指标Di和泡残渣阈值，将检测结果输出到标记颜色决定部P3d。例如，在泡残渣检测用的判定指标Di是泡残渣阈值以上时，泡残渣检测部P2e输出包含泡或残渣的颜色的检测结果。在泡残渣检测用的判定指标Di小于泡残渣阈值时，泡残渣检测部P2e输出表示不存在泡或残渣的检测结果。

膨出方向检测部P2f根据从病变检测部P1输入的检测结果，检测病变候选L的膨出方向。

当病变候选L从粘膜膨出时，在内窥镜图像X中，在膨出侧表现出弧状线，在基部侧表现出弧状线的两端。

膨出方向检测部P2f进行规定的轮廓提取运算来提取轮廓，计算连结弧状线的两端的假想线上的第1中心点E1，计算弧状线上的第2中心点E2，计算从第1中心点E1朝向第2中心点E2的病变候选L的膨出方向。膨出方向检测部P2f将计算出的病变候选L的朝向作为检测结果输出到标记位置决定部P3e(图9)。

明度检测部P2g根据从病变检测部P1输入的检测结果，检测病变候选L的规定周围区域的明度是明度阈值以上还是小于明度阈值。

明度检测部P2g从存储部33读入为了进行明度检测而设定的明度阈值。

明度检测部P2g进行规定的轮廓提取运算来提取轮廓，计算病变候选L的规定周围区域中的明度的平均值。

明度检测部P2g根据明度和明度阈值，将表示病变候选L的规定周围区域中的明度是明度阈值以上还是小于明度阈值的检测结果输出到标记明度决定部P3f。

(标记决定部P3的结构)

图4～图9是用于说明本发明的实施方式的内窥镜装置1的标记的显示例的说明图。图4～图9是基于对被检体内的管腔进行摄像而得到的内窥镜图像X的显示图像Z的显示例。

标记决定部P3进行如下处理：根据从特征检测部P2输入的检测结果，决定坐标信息所表示的表示病变候选L的标记的显示状态，生成包含坐标信息和显示状态的信息的标记显示信息Y，将标记显示信息Y输出到显示图像生成部35。

即，标记决定部P3根据病变候选L的特征决定要显示的标记的显示状态，生成包含显示状态的信息的标记显示信息Y。

标记种类决定部P3a根据从种类检测部P2a输入的检测结果决定标记的种类。

在图4中，隆起病变用实线表示，平坦病变用虚线表示。

如图4所示，标记种类决定部P3a在病变候选L的种类是隆起病变时，将标记的种类决定为表示病变候选L的位置的位置标记A1，在病变候选L的种类是平坦病变时，将标记的种类决定为表示病变候选L的区域的区域标记A2。

即，标记种类决定部P3a从多个标记的种类中决定与病变候选L的种类对应的标记的种类。

标记间隔决定部P3b根据从轮廓清晰度检测部P2b或尺寸检测部P2c输入的检测结果决定病变候选L与标记的间隔。

如图5所示，在病变候选L的轮廓的清晰度是清晰度阈值以上时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第1规定间隔B1。在病变候选L的轮廓的清晰度小于清晰度阈值时，将病变候选L与标记的间隔决定为比第1规定间隔B1短的第2规定间隔B2。

如图6所示，在病变候选L的尺寸是尺寸阈值以上时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第1规定间隔B1。在病变候选L的尺寸小于尺寸阈值时，标记间隔决定部P3b将病变候选L与标记的间隔决定为比第1规定间隔B1短的第2规定间隔B2。

在通过轮廓清晰度检测部P2b和尺寸检测部P2c的输入而决定了相互不同的多个距离时，标记间隔决定部P3b按照规定的优先顺位决定任意一个距离。

标记粗细决定部P3c根据从尺寸检测部P2c输入的检测结果决定标记的线的粗细。

如图7所示，在病变候选L的尺寸是尺寸阈值以上时，标记粗细决定部P3c将标记的线的粗细决定为第1规定粗细C1。在病变候选L的尺寸小于尺寸阈值时，标记粗细决定部P3c将标记的线的粗细决定为比第1规定粗细粗的第2规定粗细C2。

标记颜色决定部P3d根据从尺寸检测部P2c、粘膜颜色检测部P2d和泡残渣检测部P2e输入的检测结果决定标记的颜色。

在图8中，第1规定颜色D1示意地用虚线表示，第2规定颜色D2示意地用实线表示。

如图8所示，在病变候选L是尺寸阈值以上时，标记颜色决定部P3d将标记的颜色决定为第1规定颜色D1。在病变候选L小于尺寸阈值时，标记颜色决定部P3d将标记的颜色决定为第2规定颜色D2。

第2规定颜色D2通过经验或实验设定为比第1规定颜色D1醒目的颜色。例如，第2规定颜色D2可以是通过主观评价实验而大多评价为比第1规定颜色D1醒目的颜色，也可以是明度或彩度比第1规定颜色D1高的颜色。

标记颜色决定部P3d根据从粘膜颜色检测部P2d输入的检测结果，通过基于粘膜颜色的规定的颜色运算来决定标记的颜色。

标记颜色决定部P3d根据从泡残渣检测部P2e输入的检测结果，通过基于泡或残渣的颜色的规定的颜色运算来决定标记的颜色。

通过经验或实验来设定规定的颜色运算。规定的颜色运算例如可以是在规定的颜色空间上计算距离最远的颜色的运算，也可以是计算补色的运算。此外，规定的颜色运算例如设定为将与血液混淆的红色等不适当的颜色排除。

在通过尺寸检测部P2c、标记颜色决定部P3d和泡残渣检测部P2e的全部或一部分决定了相互不同的多个颜色时，标记颜色决定部P3d按照规定的优先顺位决定1个标记的颜色。

标记位置决定部P3e根据从膨出方向检测部P2f输入的检测结果，根据膨出方向决定病变候选L的规定周围区域中的标记的位置。

如图9所示，当从膨出方向检测部P2f输入膨出方向后，标记位置决定部P3e以使得标记不配置于病变候选L的基部外方的规定区域E3的方式决定标记的显示位置。

标记位置决定部P3e从标记种类决定部P3a取得标记的种类。在标记的种类是位置标记A1时，膨出方向检测部P2f将显示位置决定为从病变候选L的膨出侧的外方指示第2中心点E2的位置。此外，在标记的种类是区域标记A2时，膨出方向检测部P2f将显示位置决定为包围病变候选L和病变候选L的基部侧的外方的规定区域E3的位置。通过经验或实验设定基部外方的规定区域，以使得用户能够观察病变候选L和正常粘膜的边界。

标记明度决定部P3f根据从明度检测部P2g输入的检测结果，根据病变候选L的规定周围区域的明度决定标记的明度。

在病变候选L的规定周围区域的明度高于明度阈值时，标记明度决定部P3f将标记的明度决定为比明度阈值低的第1规定明度。在病变候选L的规定周围区域的明度低于明度阈值时，标记明度决定部P3f将标记的明度决定为比明度阈值高的第2规定明度。

即，作为标记控制部P的图像处理程序使计算机执行以下代码：根据对被检体进行摄像而取得的医用图像检测病变候选L；检测病变候选L的特征；根据病变候选L的特征决定要显示的标记的显示状态，生成包含显示状态的信息的标记显示信息Y；以及根据标记显示信息Y对医用图像附加标记并生成显示图像Z。

即，图像处理方法根据对被检体进行摄像而取得的医用图像检测病变候选L，检测病变候选L的特征，根据病变候选L的特征决定要显示的标记的显示状态，生成包含显示状态的信息的标记显示信息Y，根据标记显示信息Y对医用图像附加标记并生成显示图像Z。

(动作)

接着，对内窥镜装置1的图像处理装置31的动作进行说明。

图10是示出本发明的实施方式的内窥镜装置1的图像处理装置31的标记控制处理的流程的一例的流程图。

当用户对操作部Op进行用于起动内窥镜装置1的指示输入后，显示控制部34从存储部33读入标记控制部P的程序。

当用户将插入部22插入并对被检体内进行摄像后，摄像部24将摄像信号输出到内窥镜图像生成部32。内窥镜图像生成部32进行基于摄像信号的图像处理，生成内窥镜图像X，将内窥镜图像X输出到显示控制部34和显示图像生成部35。

显示控制部34执行标记控制部P的程序，开始进行标记控制处理。

进行异常检测处理(S1)。显示控制部34执行病变检测部P1的程序，进行异常检测处理。病变检测部P1将内窥镜图像X分割成小区域，针对各小区域计算颜色特征量和纹理特征量，检测病变候选L。当检测到病变候选L后，病变检测部P1向特征检测部P2输出包含病变候选L的坐标信息的检测结果。

进行特征检测处理(S2)。显示控制部34执行特征检测部P2的程序，进行坐标信息所表示的病变候选L的特征检测处理。

在特征检测部P2中包含种类检测部P2a、轮廓清晰度检测部P2b、尺寸检测部P2c、粘膜颜色检测部P2d、泡残渣检测部P2e、膨出方向检测部P2f和明度检测部P2g。串行或并行地执行特征检测部P2的各处理部的处理。

种类检测部P2a检测病变候选L是隆起病变还是平坦病变，将检测结果输出到标记种类决定部P3a。

轮廓清晰度检测部P2b检测病变候选L的轮廓清晰还是不清晰，将检测结果输出到标记间隔决定部P3b。

尺寸检测部P2c检测病变候选L的尺寸的大小，将检测结果输出到标记间隔决定部P3b、标记粗细决定部P3c和标记颜色决定部P3d。

粘膜颜色检测部P2d检测病变候选L的规定周围区域的粘膜颜色，并输出到标记颜色决定部P3d。

泡残渣检测部P2e检测病变候选L的规定周围区域的泡残渣的颜色，并输出到标记颜色决定部P3d。

膨出方向检测部P2f检测病变候选L的膨出方向，输出到标记位置决定部P3e。

明度检测部P2g检测病变候选L的明度的高低，输出到标记明度决定部P3f。

进行标记决定处理(S3)。显示控制部34执行标记决定部P3的程序，进行坐标信息所表示的病变候选L的标记决定处理，将标记显示信息Y输出到显示图像生成部35。

在标记决定部P3中包含标记种类决定部P3a、标记间隔决定部P3b、标记粗细决定部P3c、标记颜色决定部P3d、标记位置决定部P3e和标记明度决定部P3f。串行或并行地执行标记决定部P3的各处理部的处理。

如图4所示，在病变候选L是隆起病变时，标记种类决定部P3a将标记的种类决定为位置标记A1，以使得能够指示病变候选L。在图4的例子中，位置标记A1是箭头图像。

在病变候选L是平坦病变时，标记种类决定部P3a将标记的种类决定为区域标记A2，以使得能够通过区域示出病变候选L。在图4的例子中，区域标记A2是矩形框图像。

如图5所示，在病变候选L的轮廓的清晰度是清晰度阈值以上时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第1规定间隔B1，以使得不会与病变候选L太近而对用户造成压力。

在病变候选L的轮廓的清晰度小于清晰度阈值时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第2规定间隔B2，以使得不会离病变候选L太远而难以理解。

如图6所示，在病变候选L的尺寸是尺寸阈值以上时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第1规定间隔B1，以使得不会与病变候选L太近而对用户造成压力。

在病变候选L的尺寸小于尺寸阈值时，标记间隔决定部P3b将病变候选L与标记的间隔决定为第2规定间隔B2，以使得不会离病变候选L太远而难以理解。

如图7所示，在病变候选L的尺寸是尺寸阈值以上时，标记粗细决定部P3c将标记的线决定为第1规定粗细C1，以使得图像整体不会过于复杂而对用户造成压力。

在病变候选L的尺寸小于尺寸阈值时，标记粗细决定部P3c将标记的线决定为第2规定粗细C2，以使得标记醒目。

如图8所示，在病变候选L的尺寸是尺寸阈值以上时，标记颜色决定部P3d将标记的颜色决定为第1规定颜色D1，以使得不会过于醒目而对用户造成压力。在病变候选L的尺寸小于尺寸阈值时，标记颜色决定部P3d将标记的颜色决定为第2规定颜色D2，以使得标记醒目。

标记颜色决定部P3d根据病变候选L的规定周围区域的粘膜颜色，通过规定的运算决定标记的颜色，以使得标记醒目。

标记颜色决定部P3d在检测到泡或残渣的颜色后，根据泡或残渣的颜色，通过规定的运算决定标记的颜色，以使得标记醒目。

如图9所示，在检测到膨出方向的朝向且在标记种类决定部P3a中将标记的种类决定为位置标记A1时，标记位置决定部P3e将显示位置决定为从病变候选L的膨出侧的外方指示第2中心点E2的位置，以使得能够指示病变候选L。

在检测到膨出方向的朝向且在标记种类决定部P3a中将标记的种类决定为区域标记A2时，标记位置决定部P3e将显示位置决定为包围病变候选L和病变候选L的基部侧的外方的规定区域E3的位置，以使得不配置于与正常粘膜的边界。

在病变候选L的规定周围区域的明度是明度阈值以上时，标记明度决定部P3f将标记的明度决定为第1规定明度，以使得降低明度而容易观察标记。在病变候选L的规定周边区域的明度小于明度阈值时，标记明度决定部P3f将标记的明度决定为第2规定明度，以使得提高明度而容易观察标记。

在从内窥镜图像生成部32输入内窥镜图像X、从显示控制部34输入标记显示信息Y后，显示图像生成部35根据内窥镜图像X和标记显示信息Y生成显示图像Z。更具体而言，根据标记显示信息Y中包含的病变候选L的坐标信息、标记的种类、病变候选L与标记的间隔、标记的线的粗细、标记的颜色、标记的位置和标记的明度，在内窥镜图像X上配置标记，生成显示图像Z，输出到显示部41。显示部41对显示图像Z进行显示。

由此，内窥镜装置1能够根据内窥镜图像X内的病变候选L的特征，以不会妨碍观察的方式对内窥镜图像X附加表示病变候选L的标记，将显示图像Z显示在显示部41中。

根据实施方式，图像处理装置31能够根据病变候选L的特征对内窥镜图像X附加表示病变候选L的标记，以使得更加容易观察病变候选L。

另外，在实施方式中，特征检测部P2具有种类检测部P2a、轮廓清晰度检测部P2b、尺寸检测部P2c、粘膜颜色检测部P2d、泡残渣检测部P2e、膨出方向检测部P2f和明度检测部P2g，标记决定部P3具有标记种类决定部P3a、标记间隔决定部P3b、标记粗细决定部P3c、标记颜色决定部P3d、标记位置决定部P3e、标记明度决定部P3f，但是，图像处理装置31也可以由它们的一部分构成。例如，也可以以如下方式构成图像处理装置31：特征检测部P2具有尺寸检测部P2c，标记决定部P3具有决定病变候选L与标记的间隔的标记间隔决定部P3b、决定标记的线的粗细的标记粗细决定部P3c和决定标记的颜色的标记颜色决定部P3d中的至少一方，尺寸检测部P2c检测病变候选L是尺寸阈值以上还是小于尺寸阈值，标记决定部P3根据尺寸检测部P2c的检测结果决定标记的显示状态。

另外，在实施方式中，显示控制部34通过执行病变检测部P1和特征检测部P2的程序，进行病变候选L的检测和病变候选L的特征的检测，但是，也可以通过使用机器学习等人工智能技术的运算来进行病变候选L的检测和病变候选L的特征的检测。进而，病变检测部P1、特征检测部P2、标记决定部P3、显示控制部34、显示图像生成部35可以分割配置于多个壳体，此外，不需要必须与图像处理装置31成为一体。

本说明书中的各“部”是与实施方式的各功能对应的概念，不是必须与特定的硬件、软件、例程一对一对应。因此，在本说明书中，假设具有实施方式的各功能的假想块(部)来说明实施方式。此外，关于本实施方式中的各顺序的各步骤，只要不违反其性质，则可以对执行顺序进行变更，同时执行多个，或者在每次执行时以不同的顺序执行。进而，也可以通过硬件实现本实施方式中的各顺序的各步骤的全部或一部分。

本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。

Claims (19)

1.一种图像处理装置，其具有：

病变检测部，其根据对被检体进行摄像而取得的医用图像来检测病变候选；

特征检测部，其检测所述病变候选的特征；

标记决定部，其根据所述病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息；以及

显示图像生成部，其根据所述标记显示信息，对所述医用图像附加所述标记而生成显示图像。

2.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有种类检测部，

所述标记决定部具有标记种类决定部，

所述种类检测部检测所述病变候选的种类是隆起病变还是平坦病变，

所述标记种类决定部从多个所述标记的种类中决定与所述病变候选的种类对应的所述标记的种类。

3.根据权利要求2所述的图像处理装置，其中，

所述标记种类决定部在所述病变候选的种类是隆起病变时，将所述标记的种类决定为表示所述病变候选的位置的位置标记，在所述病变候选的种类是平坦病变时，将所述标记的种类决定为表示所述病变候选的区域的区域标记。

4.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有轮廓清晰度检测部，

所述轮廓清晰度检测部检测所述病变候选的轮廓的清晰度是清晰度阈值以上还是小于清晰度阈值。

5.根据权利要求4所述的图像处理装置，其中，

所述标记决定部具有标记间隔决定部，

所述标记间隔决定部在所述病变候选的轮廓的清晰度是清晰度阈值以上时，将所述病变候选与标记的间隔决定为第1规定间隔，在所述病变候选的轮廓的清晰度小于清晰度阈值时，将所述病变候选与标记的间隔决定为比所述第1规定间隔短的第2规定间隔。

6.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有尺寸检测部，

所述标记决定部具有标记间隔决定部、标记粗细决定部和标记颜色决定部中的至少一方，其中，该标记间隔决定部决定所述病变候选与标记的间隔，该标记粗细决定部决定所述标记的线的粗细，该标记颜色决定部决定所述标记的颜色，

所述尺寸检测部检测所述病变候选的尺寸是尺寸阈值以上还是小于尺寸阈值，

所述标记决定部根据所述尺寸检测部的检测结果决定所述标记的显示状态。

7.根据权利要求6所述的图像处理装置，其中，

所述标记间隔决定部在所述病变候选的尺寸是尺寸阈值以上时，将所述病变候选与标记的间隔决定为第1规定间隔，在所述病变候选的尺寸小于尺寸阈值时，将所述病变候选与标记的间隔决定为比所述第1规定间隔短的第2规定间隔。

8.根据权利要求6所述的图像处理装置，其中，

标记粗细决定部在所述病变候选的尺寸是尺寸阈值以上时，将所述标记的线的粗细决定为第1规定粗细，在所述病变候选的尺寸小于尺寸阈值时，将所述标记的线的粗细决定为比第1规定粗细粗的第2规定粗细。

9.根据权利要求6所述的图像处理装置，其中，

所述标记颜色决定部在所述病变候选的尺寸是尺寸阈值以上时，将所述标记的颜色决定为第1规定颜色，在所述病变候选的尺寸小于尺寸阈值时，将所述标记的颜色决定为第2规定颜色。

10.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有膨出方向检测部，

所述标记决定部具有标记位置决定部，

所述膨出方向检测部检测所述病变候选的膨出方向，

所述标记位置决定部根据膨出方向决定所述病变候选的规定周围区域中的所述标记的位置。

11.根据权利要求10所述的图像处理装置，其中，

所述标记位置决定部以使得所述标记不配置于所述病变候选的基部外方的规定区域的方式决定所述标记的显示位置。

12.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有明度检测部，

所述标记决定部具有标记明度决定部，

所述明度检测部检测所述病变候选的规定周围区域的明度是明度阈值以上还是小于明度阈值，

所述标记明度决定部根据所述病变候选的规定周围区域的明度决定所述标记的明度。

13.根据权利要求12所述的图像处理装置，其中，

所述标记明度决定部在所述病变候选的规定周围区域的明度高于明度阈值时，将所述标记的明度决定为比明度阈值低的第1规定明度，在所述病变候选的规定周围区域的明度低于明度阈值时，将所述标记的明度决定为比明度阈值高的第2规定明度。

14.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有粘膜颜色检测部，

所述标记决定部具有标记颜色决定部，

所述粘膜颜色检测部检测所述病变候选的规定周围区域的粘膜颜色，

所述标记颜色决定部通过基于粘膜颜色的规定的颜色运算来决定标记的颜色。

15.根据权利要求14所述的图像处理装置，其中，

在规定的颜色运算中，计算在规定的颜色空间上距离最远的颜色。

16.根据权利要求1所述的图像处理装置，其中，

所述特征检测部具有泡残渣检测部，

所述标记决定部具有标记颜色决定部，

所述泡残渣检测部检测所述病变候选的规定周围区域的泡或残渣，

所述标记颜色决定部通过基于泡或残渣的颜色的规定的颜色运算来决定标记的颜色。

17.根据权利要求16所述的图像处理装置，其中，

在规定的颜色运算中，计算在规定的颜色空间上距离最远的颜色。

18.一种图像处理程序，其用于使计算机执行以下代码：

根据对被检体进行摄像而取得的医用图像来检测病变候选；

检测所述病变候选的特征；

根据所述病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息；以及

根据所述标记显示信息，对所述医用图像附加所述标记而生成显示图像。

19.一种图像处理方法，其中，

根据对被检体进行摄像而取得的医用图像来检测病变候选，

检测所述病变候选的特征，

根据所述病变候选的特征决定要显示的标记的显示状态，生成包含所述显示状态的信息的标记显示信息，

根据所述标记显示信息，对所述医用图像附加所述标记而生成显示图像。

Images