CN102596001A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明的图像处理装置具有：区域检测部，其从对活体组织进行摄像而得到的图像中检测估计为存在规定形状的构造的候选区域；边界像素检测部，其检测候选区域的边界；区域设定部，其在边界附近且在两侧至少各设定一个局部区域；特征量计算部，其根据由区域设定部设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；判别值计算部，其根据从边界观察设定在一侧的局部区域组中的规定特征量的计算结果和从边界观察设定在另一侧的局部区域组中的规定特征量的计算结果，计算判别值；以及候选区域校正部，其根据判别值的计算结果，对候选区域的检测结果进行校正。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，特别涉及在活体组织的诊断等中使用的图像处理装置和图像处理方法。

背景技术

以支援通过内窥镜等对体腔内的活体组织进行摄像而得到的图像中的病变部位（异常部位）的确定为目的，近年来，进行了与从该图像中检测活体粘膜下的血管的行走图案、和（或）上皮组织的规定构造等的图像处理有关的研究。

例如，在日本国特开平10-143648号公报中公开了如下的图像处理：使用对数字图像进行平滑化而得到的平滑化图像，形成该数字图像所包含的血管等带状构造物的轮廓。

但是，根据日本国特开平10-143648号公报所公开的图像处理，例如，有时得到存在有活体组织表面的阶梯差的边缘和由于该阶梯差而产生的影子这种与原本的检测对象不同的对象的区域以及存在有血管等带状构造物的区域混合的处理结果，所以，其结果，产生作为原本的检测对象的血管等的检测精度降低这样的课题。

本发明是鉴于上述情况而完成的，其目的在于，提供能够提高对活体组织进行摄像而得到的图像所包含的规定构造的检测精度的图像处理装置和图像处理方法。

发明内容

用于解决课题的手段

本发明的图像处理装置具有：区域检测部，其从对活体组织进行摄像而得到的图像中检测估计为存在规定形状的构造的候选区域；边界像素检测部，其检测与所述候选区域的边界相应的边界像素；区域设定部，其在所述边界像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；特征量计算部，其根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；判别值计算部，其根据从所述边界像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述边界像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及候选区域校正部，其根据所述判别值的计算结果，对所述区域检测部进行的所述候选区域的检测结果进行校正。

本发明的图像处理装置具有：像素选择部，其从对活体组织进行摄像而得到的图像中选择关注像素；区域设定部，其在所述关注像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；特征量计算部，其根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；判别值计算部，其根据从所述关注像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述关注像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及候选区域检测部，其根据所述判别值的计算结果，从所述图像中检测估计为存在规定形状的构造的候选区域。

本发明的图像处理方法具有以下步骤：区域检测步骤，从对活体组织进行摄像而得到的图像中检测估计为存在规定形状的构造的候选区域；边界像素检测步骤，检测与所述候选区域的边界相应的边界像素；区域设定步骤，在所述边界像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；特征量计算步骤，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；判别值计算步骤，根据从所述边界像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述边界像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及候选区域校正步骤，根据所述判别值的计算结果，对所述区域检测步骤进行的所述候选区域的检测结果进行校正。

本发明的图像处理方法具有以下步骤：像素选择步骤，从对活体组织进行摄像而得到的图像中选择关注像素；区域设定步骤，在所述关注像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；特征量计算步骤，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；判别值计算步骤，根据从所述关注像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述关注像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及候选区域检测步骤，根据所述判别值的计算结果，从所述图像中检测估计为存在规定形状的构造的候选区域。

附图说明

图1是示出具有本发明的实施例的图像处理装置的内窥镜装置的主要部分的结构的一例的图。

图2是示出图1的光源装置所具有的旋转滤镜的结构的一例的图。

图3是示出图2的第1滤镜组所具有的各滤镜的透射特性的一例的图。

图4是示出图2的第2滤镜组所具有的各滤镜的透射特性的一例的图。

图5是示出在本发明的第1实施例中进行的处理的一例的流程图。

图6是示出作为处理对象的图像数据的一例的示意图。

图7是示出血管候选区域的检测结果的一例的示意图。

图8是用于说明本发明的第1实施例中的2个边界像素与区域AR1和AR2之间的位置关系的图。

图9是示出估计为在血管候选区域中实际存在血管时的色调的变动的一例的曲线图。

图10是示出估计为在血管候选区域中存在非血管构造时的色调的变动的一例的曲线图。

图11是示出校正后的血管候选区域的检测结果的一例的示意图。

图12是示出在本发明的第1实施例的变形例中进行的处理的一例的流程图。

图13是用于说明本发明的第1实施例的变形例中的关注像素与区域AR1和AR2之间的位置关系的图。

图14是示出在本发明的第2实施例中进行的处理的一例的流程图。

图15是用于说明本发明的第2实施例中的2个边界像素与区域AR3和AR4之间的位置关系的图。

图16是示出估计为在血管候选区域中实际存在血管时的梯度强度的变动的一例的曲线图。

图17是示出估计为在血管候选区域中存在非血管构造时的梯度强度的变动的一例的曲线图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

（第1实施例）

图1～图11涉及本发明的第1实施例。

如图1所示，内窥镜装置1构成为具有：内窥镜2，其插入被检者的体腔内，对通过拍摄该体腔内的活体组织101等被摄体而得到的图像进行信号输出；光源装置3，其发出用于对活体组织101进行照明的照明光；处理器4，其对来自内窥镜2的输出信号实施各种处理；显示装置5，其显示与来自处理器4的影像信号对应的图像；以及外部存储装置6，其存储与处理器4中的处理结果对应的输出信号。

内窥镜2构成为具有：具有能够插入被检者的体腔内的形状和尺寸的插入部21a、在插入部21a的前端侧设置的前端部21b、以及在插入部21a的基端侧设置的操作部21c。并且，在插入部21a的内部贯穿插入有光导7，该光导7用于向前端部21b传送在光源装置3中发出的照明光。

光导7的一个端面（光入射端面）以装卸自如的方式与光源装置3连接。并且，光导7的另一个端面（光出射端面）配置在设于内窥镜2的前端部21b的未图示的照明光学系统的附近。根据这种结构，在光源装置3中发出的照明光经由与光源装置3连接的状态的光导7和设于前端部21b的未图示的照明光学系统后，向活体组织101出射。

在内窥镜2的前端部21b中设有使被摄体的光学像成像的物镜光学系统22、以及对由物镜光学系统22成像的光学像进行摄像并取得图像的CCD 23。并且，在内窥镜2的操作部21c中设有观察模式切换开关24，该观察模式切换开关24能够进行用于将观察模式切换为通常光观察模式或窄带光观察模式中的任意一方的指示。

光源装置3具有：由氙灯等构成的白色光源31、使从白色光源31发出的白色光成为面次序的照明光的旋转滤镜32、使旋转滤镜32旋转驱动的电动机33、使旋转滤镜32和电动机33在与白色光源31的出射光路垂直的方向上移动的电动机34、根据处理器4的控制而驱动电动机33和34的旋转滤镜驱动部35、以及使通过旋转滤镜32后的照明光会聚并供给到光导7的入射端面的会聚光学系统36。

如图2所示，旋转滤镜32构成为以中心为旋转轴的圆板状，具备具有沿着内周侧的周方向设置的多个滤镜的第1滤镜组32A、和具有沿着外周侧的周方向设置的多个滤镜的第2滤镜组32B。而且，通过使电动机33的驱动力传递到所述旋转轴，旋转滤镜32旋转。另外，在旋转滤镜32中，除了配置有第1滤镜组32A和第2滤镜组32B的各滤镜的部分以外的部分由遮光部件构成。

第1滤镜组32A构成为具有分别沿着旋转滤镜32的内周侧的周方向设置的使红色波段的光透射的R滤镜32r、使绿色波段的光透射的G滤镜32g、使蓝色波段的光透射的B滤镜32b。

例如如图3所示，R滤镜32r具有主要使600nm～700nm的光（R光）透射的结构。并且，例如如图3所示，G滤镜32g具有主要使500nm～600nm的光（G光）透射的结构。进而，例如如图3所示，B滤镜32b具有主要使400nm～500nm的光（B光）透射的结构。

即，通过使在白色光源31中发出的白色光经由第1滤镜组32A，生成通常光观察模式用的宽带光。

第2滤镜组32B构成为具有分别沿着旋转滤镜32的外周侧的周方向设置的使蓝色的窄带光透射的Bn滤镜321b和使绿色的窄带光透射的Gn滤镜321g。

例如如图4所示，Bn滤镜321b构成为使中心波长设定在415nm附近、且波段比B光窄的光（Bn光）透射。

并且，例如如图4所示，Gn滤镜321g构成为使中心波长设定在540nm附近、且波段比G光窄的光（Gn光）透射。

即，通过使在白色光源31中发出的白色光经由第2滤镜组32B而离散化，生成窄带光观察模式用的多个波段的窄带光。

处理器4构成为具有作为图像处理装置的功能。具体而言，处理器4构成为具有图像处理部41和控制部42。并且，图像处理部41构成为具有图像数据生成部41a、运算部41b、影像信号生成部41c。

图像处理部41的图像数据生成部41a根据控制部42的控制，通过对来自内窥镜2的输出信号实施噪声去除和A/D转换等处理，生成与在CCD 23中得到的图像对应的图像数据。

图像处理部41的运算部41b通过使用由图像数据生成部41a生成的图像数据进行规定处理，从该图像数据中检测血管等规定构造。另外，所述规定处理的详细情况在后面详细叙述。

图像处理部41的影像信号生成部41c通过对由图像数据生成部41a生成的图像数据实施伽马转换和D/A转换等处理，生成影像信号并输出。

控制部42根据观察模式切换开关24的指示，在检测到进行了切换为通常光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3出射通常光观察模式用的宽带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第1滤镜组32A，并且使第2滤镜组32B从白色光源31的出射光路上退避。

并且，控制部42根据观察模式切换开关24的指示，在检测到进行了切换为窄带光观察模式的指示的情况下，对旋转滤镜驱动部35进行用于从光源装置3出射窄带光观察模式用的多个波段的窄带光的控制。然后，旋转滤镜驱动部35根据控制部42的控制，使电动机34进行动作，以使得在白色光源31的出射光路上插入第2滤镜组32B，并且使第1滤镜组32A从白色光源31的出射光路上退避。

即，根据以上所述的内窥镜装置1的结构，在选择了通常光观察模式的情况下，能够使显示装置5显示具有与利用肉眼观察对象物的情况大致相同色调的图像（通常光图像），进而存储在外部存储装置6中。并且，根据以上所述的内窥镜装置1的结构，在选择了窄带光观察模式的情况下，能够使显示装置5显示强调了活体组织101所包含的血管的图像（窄带光图像），进而存储在外部存储装置6中。

这里，对内窥镜装置1的作用进行说明。

首先，手术医生接通内窥镜装置1的各部的电源后，在观察模式切换开关24中选择通常光观察模式。然后，手术医生一边观察在选择了通常光观察模式时使显示装置5显示的图像、即具有与利用肉眼观察对象物的情况大致相同色调的图像，一边将内窥镜2插入体腔内，由此，使前端部21b接近观察对象的活体组织101所存在的部位。

当在观察模式切换开关24中选择通常光观察模式后，从光源装置3向活体组织101依次出射R光、G光和B光的各种颜色的光，在内窥镜2中分别取得与该各种颜色的光对应的图像。

当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像后，分别生成与各图像对应的颜色成分的图像数据（图5的步骤S1）。另外，在本实施例中，为了简化说明，例如对图6示意性示出的图像数据进行处理来进行说明，该图像数据包含与作为检测对象的规定构造相当的血管、作为活体组织表面的阶梯差的边缘等的非血管构造、背景粘膜。

具有区域检测部的功能的运算部41b通过对由图像数据生成部41a生成的图像数据实施使用了公知的血管检测方法的处理，从该图像数据中检测作为估计为存在血管的候选区域的血管候选区域（图5的步骤S2），然后，临时保持该血管候选区域的检测结果。

具体而言，运算部41b通过对图6示意性示出的图像数据实施使用了公知的血管检测方法的处理，得到例如图7所示的血管候选区域的检测结果。另外，在本实施例中，将图7的斜线图案的部分作为血管候选区域来进行说明。另外，作为用于得到所述检测结果的公知的血管检测方法，例如，能够应用使用了带通滤镜的血管检测方法、或基于矢量集中度的线段检测方法等各种方法。

另一方面，具有边界像素检测部的功能的运算部41b根据通过图5的步骤S2的处理而得到的血管候选区域的检测结果，对该检测结果实施阈值处理等，使用二值化的图像检索与该血管候选区域的缘部的像素相当的边界像素（图5的步骤S3）。

运算部41b对通过图5的步骤S3的处理而得到的边界像素应用索贝尔（Sobel）滤镜等滤镜，从而计算该边界像素的梯度方向（图5的步骤S4）。

运算部41b对通过图5的步骤S4的处理而得到的边界像素进行如下处理：检测彼此的梯度方向所成的角度为180°或大致180°、且彼此存在于最近的位置的2个边界像素，作为1个边界像素对（图5的步骤S5）。

运算部41b根据通过图5的步骤S5的处理而检测到的边界像素对，分别设定区域AR1和区域AR2，所述区域AR1以从一个边界像素朝向梯度方向偏离规定距离的位置的像素为中心，所述区域AR2以从另一个边界像素朝向梯度方向偏离该规定距离的位置的像素为中心（图5的步骤S6）。

具体而言，例如，在设所述规定距离为2个像素的距离、且区域AR1和AR2均为3×3像素的矩形区域的情况下，构成1个边界像素对的2个边界像素与区域AR1和AR2之间的位置关系如图8示意性示出的那样。

另外，区域AR1和AR2只要均设定为1个像素以上的面积的区域即可，可以是任意形状的区域。并且，可以对1个边界像素对分别设定多个区域AR1和AR2。进而，所述规定距离可以是任意距离。

即，具有区域设定部的功能的运算部41b在1个边界像素对的附近、且存在于两侧的2个附近区域中，设定作为具有1个像素以上的面积的局部区域的区域AR1和AR2。

具有特征量计算部的功能的运算部41b根据图5的步骤S6的处理结果，计算区域AR1中的色调特征量Va1，并且计算区域AR2中的色调特征量Va2（图5的步骤S7）。

具体而言，例如，在设绿色的像素值为Ga、且红色的像素值为Ra的情况下，运算部41b计算按照在区域AR1中设定的每个像素单位而得到的Ga/Ra的值的平均值，作为色调特征量Va1。并且，运算部41b计算按照在区域AR2中设定的每个像素单位而得到的Ga/Ra的值的平均值，作为色调特征量Va2。

另外，运算部41b不限于计算各像素的Ga/Ra的值的平均值作为色调特征量Va1和Va2，例如，可以取得各像素的Ga/Ra的值的最大值作为色调特征量Va1和Va2，或者，也可以取得各像素的Ga/Ra的值的最小值作为色调特征量Va1和Va2。

并且，运算部41b只要使用后述图9和图10这样的表示值的变动的值即可，例如，可以单独使用Ga/Ra的值、RGB中的任意一方的色成分的像素值、亮度值（黑白的灰度值）或者组合多个进行使用，从而计算色调特征量Va1和Va2。

另一方面，运算部41b计算存在于构成边界像素对的2个边界像素之间的、血管候选区域的中央部的像素中的Ga/Ra的值，作为色调特征量Vs。然后，运算部41b判定色调特征量Va1或Va2是否为色调特征量Vs以下（图5的步骤S8）。

然后，运算部41b在得到色调特征量Va1或Va2中的至少任意一方为色调特征量Vs以下的判定结果的情况下，设区域AR1侧的边界像素与区域AR2侧的边界像素之间的血管候选区域中的权重系数W1为1（图5的步骤S9），然后，接着进行图5的步骤S11的处理。并且，运算部41b在得到色调特征量Va1和Va2的双方大于色调特征量Vs的判定结果的情况下，使用下述数式（1）进行运算，计算权重系数W1（图5的步骤S10）。另外，在计算出其他值（例如血管候选区域的中央部的像素中的Ra的值）作为色调特征量的情况下，只要使图5的步骤S8的判定处理中的大小关系适当反转来计算权重系数W1即可。并且，根据本实施例，只要使用在色调特征量Va1=Va2的情况下权重系数W1为最大值的数式即可，也可以使用与下述数式（1）不同的数式来计算权重系数W1。

$W1=\left\{\begin{array}{ccc}\frac{\mathrm{Va}2/\mathrm{Va}1-\mathrm{Thre}}{1/\mathrm{Thre}}& \mathrm{if}& \mathrm{Va}1\&GreaterEqual;\mathrm{Va}2\\ \frac{\mathrm{Va}1/\mathrm{Va}2-\mathrm{Thre}}{1/\mathrm{Thre}}& \mathrm{if}& \mathrm{Va}1<\mathrm{Va}2\end{array}\right....\left(1\right)$

设上述数式（1）中的Thre例如是预先设定为Thre=0.4的阈值。

这里，在从区域AR1的中心C1到区域AR2的中心C2依次计算Ga/Ra的值时，在得到图9的曲线图所示的值的变动的情况下，即在区域AR1与区域AR2之间大致没有产生色调差异的情况下，估计为在区域AR1侧的边界像素与区域AR2侧的边界像素之间的血管候选区域中实际存在血管。

另一方面，在从区域AR1的中心C1到区域AR2的中心C2依次计算Ga/Ra的值时，在得到图10的曲线图所示的值的变动的情况下，即在区域AR1与区域AR2之间产生明显的色调差异的情况下，估计为在区域AR1侧的边界像素与区域AR2侧的边界像素之间的血管候选区域中存在非血管构造。

然后，根据使用色调特征量Va1和Va2之比构成的上述数式（1），在不适于图5的步骤S8的判定处理中的判定条件的情况下，能够得到如下的权重系数W1：在估计为在区域AR1侧的边界像素与区域AR2侧的边界像素之间的血管候选区域中实际存在血管的情况下，成为相对较大的值，并且，在估计为在该血管候选区域中存在非血管构造的情况下，成为相对较小的值。

即，具有判别值计算部的功能的运算部41b根据区域AR1中的色调特征量Va1的计算结果和区域AR2中的色调特征量Va2的计算结果，计算作为能够对这2个色调特征量的计算结果的差异进行判别的判别值的权重系数W1。

并且，例如，在区域AR1或AR2中的任意一方包含与血管分支点等相当的像素的情况下，也认为在区域AR1与区域AR2之间产生明显的色调差异。因此，在区域AR1或AR2中的任意一方包含与血管分支点等相当的像素的情况下，无法通过使用了上述数式（1）的运算来计算权重系数W1。因此，在本实施例中，在适于图5的步骤S8的判定条件的情况下，设区域AR1侧的边界像素与区域AR2侧的边界像素之间的血管候选区域中的权重系数W1为1，由此，保持在图5的步骤S2中得到的血管候选区域的检测结果。

另一方面，具有候选区域校正部的功能的运算部41b使用通过图5的步骤S9和S10的处理而得到的权重系数W1，对通过图5的步骤S2的处理而得到的血管候选区域的检测结果进行校正（图5的步骤S11）。

具体而言，例如，在经过图5的步骤S2的处理而得到在血管候选区域的像素组中成为一样高的评价值、且在血管候选区域以外的像素组中成为一样低的评价值的检测结果的情况下，通过对该检测结果重叠（乘以）权重系数W1，能够使属于各血管候选区域的像素组中的、估计为存在非血管构造的像素组的评价值降低到与血管候选区域以外的像素组中的评价值大致相同程度的大小。

然后，运算部41b能够得到例如如图11所示那样校正后的血管候选区域的检测结果，作为图5的步骤S11的处理结果。

因此，根据本实施例，在包含估计为存在非血管构造的像素组作为血管候选区域的检测结果的情况下，通过进行图5所示的一连串的处理，能够对该检测结果进行校正，以便尽量去除该像素组。

另外，本实施例的处理不限于仅应用于血管，也能够大致同样地应用于例如麻点图案这样的血管以外的构造。并且，根据本实施例，通过利用经由上述数式（1）的运算而得到的权重系数W1的倒数进行处理，例如还能够从图像内检测与活体组织表面的阶梯差的边缘和由于该阶梯差而产生的影子相当的部分。因此，根据本实施例，与以往相比，能够提高对活体组织进行摄像而得到的图像所包含的（血管等的）规定构造的检测精度。

并且，根据本实施例，不限于进行对使用公知方法得到的血管候选区域的检测结果应用权重系数W1来校正该检测结果的处理，例如，也可以进行得到按照图像数据的各像素计算权重系数W1后的计算结果作为血管候选区域的检测结果的处理。

这里，主要参照图12和图13对本实施例的变形例的处理进行说明。另外，适当省略能够应用与以上已经叙述的处理大致相同的处理等的部分，进行以后的说明。

当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像后，分别生成与各图像对应的颜色成分的图像数据（图12的步骤S21）。

具有像素选择部的功能的运算部41b从由图像数据生成部41a生成的图像数据的各像素中选择一个关注像素（图12的步骤S22）。

运算部41b通过对在图12的步骤S22的处理中选择出的关注像素应用索贝尔滤镜等滤镜，计算该关注像素的梯度方向（图12的步骤S23）。

运算部41b根据在图12的步骤S23的处理中计算出的梯度方向，分别设定区域AR1和区域AR2，所述区域AR1以从关注像素朝向梯度方向偏离规定距离的位置的像素为中心，所述区域AR2以从关注像素朝向梯度方向的相反方向（相对于梯度方向呈180°或大致180°的角度的方向）偏离该规定距离的位置的像素为中心（图12的步骤S24）。

具体而言，例如，在设区域AR1和AR2均为3×3像素的矩形区域的情况下，关注像素与区域AR1和AR2之间的位置关系如图13示意性示出的那样。

即，具有区域设定部的功能的运算部41b在关注像素的附近、且存在于两侧的2个附近区域中，设定作为具有1个像素以上的面积的局部区域的区域AR1和AR2。

运算部41b根据图12的步骤S24的处理结果，计算区域AR1中的色调特征量Va1，并且计算区域AR2中的色调特征量Va2（图12的步骤S25）。

运算部41b将在图12的步骤S25中计算出的色调特征量Va1和Va2应用于上述数式（1），计算权重系数W1（图12的步骤S26），然后，判定是否在图像数据所包含的全部像素中计算了权重系数W1（图12的步骤S27）。

然后，运算部41b反复进行图12的步骤S22～步骤S26的处理，直到没有未计算权重系数W1的像素为止。然后，具有候选区域检测部的功能的运算部41b在图像数据所包含的全部像素中的权重系数W1的计算完成后，根据权重系数W1的计算结果，检测权重系数W1为规定阈值以上的像素组，作为血管候选区域（图12的步骤S28）。

另外，本变形例的处理不限于仅应用于血管，也能够大致同样地应用于例如麻点图案这样的血管以外的构造。并且，根据本变形例，通过利用经由上述数式（1）的运算而得到的权重系数W1的倒数进行处理，例如还能够从图像内检测与活体组织表面的阶梯差的边缘和由于该阶梯差而产生的影子相当的部分。因此，在代替所述实施例的处理而使用了本变形例的处理的情况下，与以往相比，也能够提高对活体组织进行摄像而得到的图像所包含的（血管等）规定构造的检测精度。

（第2实施例）

图14～图17涉及本发明的第2实施例。

另外，在本实施例中，使用结构与第1实施例相同的内窥镜装置1进行处理。因此，在本实施例中，省略与内窥镜装置的结构有关的详细说明。

这里，对本实施例的作用进行说明。另外，适当省略能够应用与在第1实施例中已经叙述的处理大致相同的处理等的部分，进行以后的说明。

当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像后，分别生成与各图像对应的颜色成分的图像数据（图14的步骤S41）。另外，在本实施例中，为了简化说明，例如对图6示意性示出的图像数据进行处理来进行说明，该图像数据包含与作为检测对象的规定构造相当的血管、作为活体组织表面的阶梯差的边缘等的非血管构造、背景粘膜。

运算部41b通过对由图像数据生成部41a生成的图像数据实施使用了公知的血管检测方法的处理，从该图像数据中检测作为估计为存在血管的候选区域的血管候选区域（图14的步骤S42），然后，临时保持该血管候选区域的检测结果。

具体而言，运算部41b通过对图6示意性示出的图像数据实施使用了公知的血管检测方法的处理，得到例如图7所示的血管候选区域的检测结果。另外，在本实施例中，将图7的斜线图案的部分作为血管候选区域来进行说明。另外，作为用于得到所述检测结果的公知的血管检测方法，例如，能够应用使用了带通滤镜的血管检测方法、或基于矢量集中度的线段检测方法等各种方法。

另一方面，运算部41b根据通过图14的步骤S42的处理而得到的血管候选区域的检测结果，对该检测结果实施阈值处理等，使用二值化的图像检索与该血管候选区域的缘部的像素相当的边界像素（图14的步骤S43）。

运算部41b对通过图14的步骤S43的处理而得到的边界像素应用索贝尔滤镜等滤镜，从而计算该边界像素的梯度方向（图14的步骤S44）。

运算部41b对通过图14的步骤S44的处理而得到的边界像素进行如下处理：检测彼此的梯度方向所成的角度为180°或大致180°且彼此存在于最近的位置的2个边界像素，作为1个边界像素对（图14的步骤S45）。

运算部41b根据通过图14的步骤S45的处理而检测到的边界像素对，分别设定区域AR3和区域AR4，所述区域AR3以从一个边界像素朝向梯度方向偏离规定距离的位置的像素为中心，所述区域AR4以从另一个边界像素朝向梯度方向偏离该规定距离的位置的像素为中心（图14的步骤S46）。

具体而言，例如，在设所述规定距离为1.5个像素的距离、且区域AR3和AR4均为3×3像素的矩形区域的情况下，构成1个边界像素对的2个边界像素与区域AR3和AR4之间的位置关系如图15示意性示出的那样。

另外，区域AR3和AR4只要均设定为包含边界像素的至少一部分在内的1个像素以上的面积的区域即可，可以是任意形状的区域。（举出图15所示的区域AR3和AR4被设定为在3×3像素的矩形区域内包含0.5个像素的边界像素的情况为例。）并且，可以对1个边界像素对分别设定多个区域AR3和AR4。进而，所述规定距离只要设定为在区域AR3的内部包含一个边界像素的至少一部分、且在区域AR4的内部包含另一个边界像素的至少一部分即可，可以是任意距离。

即，具有区域设定部的功能的运算部41b在边界像素对的附近、且存在于两侧的2个附近区域中，设定作为具有1个像素以上的面积的局部区域的区域AR3和AR4。

具有特征量计算部的功能的运算部41b根据图14的步骤S46的处理结果，计算区域AR3中的梯度特征量Vb1，并且计算区域AR4中的梯度特征量Vb2（图14的步骤S47）。

具体而言，例如，运算部41b计算按照在区域AR3中设定的每个像素单位应用索贝尔滤镜而得到的梯度强度的平均值，作为梯度特征量Vb1。并且，例如，运算部41b计算按照在区域AR4中设定的每个像素单位应用索贝尔滤镜而得到的梯度强度的平均值，作为梯度特征量Vb2。

另外，运算部41b不限于按照每个像素单位应用索贝尔滤镜而得到梯度强度，也可以使用其他方法得到每个像素单位的梯度强度。

另一方面，运算部41b将通过图14的步骤S47的处理而得到的梯度特征量Vb1和Vb2应用于下述数式（2），从而计算权重系数W2（图14的步骤S48）。另外，根据本实施例，只要使用在梯度特征量Vb1=Vb2的情况下权重系数W2为最大值的数式即可，也可以使用与下述数式（2）不同的数式来计算权重系数W2。

$W2=\frac{2}{\mathrm{Vb}1/\mathrm{Vb}2+\mathrm{Vb}2/\mathrm{Vb}1}...\left(2\right)$

这里，在从区域AR3的中心C3到区域AR4的中心C4依次计算梯度强度时，在得到图16的曲线图所示的值的变动的情况下，即在区域AR3与区域AR4之间大致没有产生梯度强度差异的情况下，估计为在区域AR3侧的边界像素与区域AR4侧的边界像素之间的血管候选区域中实际存在血管。

另一方面，在从区域AR3的中心C3到区域AR4的中心C4依次计算梯度强度时，在得到图17的曲线图所示的值的变动的情况下，即在区域AR3与区域AR4之间产生明显的梯度强度差异的情况下，估计为在区域AR3侧的边界像素与区域AR4侧的边界像素之间的血管候选区域中存在非血管构造。

然后，根据使用梯度特征量Vb1和Vb2之比构成的上述数式（2），能够得到如下的权重系数W2：在估计为在区域AR3侧的边界像素与区域AR4侧的边界像素之间的血管候选区域中实际存在血管的情况下，成为相对较大的值，并且，在估计为在该血管候选区域中存在非血管构造的情况下，成为相对较小的值。

即，具有判别值计算部的功能的运算部41b根据区域AR3中的梯度特征量Vb1的计算结果和区域AR4中的梯度特征量Vb2的计算结果，计算作为能够对这2个梯度特征量的计算结果的差异进行判别的判别值的权重系数W2。

具有候选区域校正部的功能的运算部41b使用通过图14的步骤S48的处理而得到的权重系数W2，对通过图14的步骤S42的处理而得到的血管候选区域的检测结果进行校正（图14的步骤S49）。

具体而言，例如，在经过图14的步骤S42的处理而得到在血管候选区域的像素组中成为一样高的评价值、且在血管候选区域以外的像素组中成为一样低的评价值的检测结果的情况下，通过对该检测结果重叠（乘以）权重系数W2，能够使属于各血管候选区域的像素组中的、估计为存在非血管构造的像素组的评价值降低到与血管候选区域以外的像素组中的评价值大致相同程度的大小。

然后，运算部41b能够得到例如如图11所示那样校正后的血管候选区域的检测结果，作为图14的步骤S49的处理结果。

因此，根据本实施例，在包含估计为存在非血管构造的像素组作为血管候选区域的检测结果的情况下，通过进行图14所示的一连串的处理，能够对该检测结果进行校正，以便尽量去除该像素组。

另外，本实施例的处理不限于仅应用于血管，也能够大致同样地应用于例如麻点图案这样的血管以外的构造。并且，根据本变形例，通过利用经由上述数式（2）的运算而得到的权重系数W2的倒数进行处理，例如还能够从图像内检测与活体组织表面的阶梯差的边缘和由于该阶梯差而产生的影子相当的部分。因此，根据本实施例，与以往相比，能够提高对活体组织进行摄像而得到的图像所包含的（血管等）规定构造的检测精度。

本发明不限于上述各实施例，当然能够在不脱离发明主旨的范围内进行各种变更和应用。

本申请以2010年7月21日在日本申请的日本特愿2010-164238号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (20)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

区域检测部，其从对活体组织进行摄像而得到的图像中检测估计为存在规定形状的构造的候选区域；

边界像素检测部，其检测与所述候选区域的边界相应的边界像素；

区域设定部，其在所述边界像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；

特征量计算部，其根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；

判别值计算部，其根据从所述边界像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述边界像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及

候选区域校正部，其根据所述判别值的计算结果，对所述区域检测部得到的所述候选区域的检测结果进行校正。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述第1局部区域组和所述第2局部区域组是根据所述边界像素的梯度方向而分别设定的。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述特征量计算部根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的像素值、像素值之比、亮度值以及梯度强度中的至少一方，计算所述规定特征量。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述特征量计算部计算所述规定值的平均值、最大值或最小值中的任意一方作为所述规定特征量。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述规定形状为线状。

6.一种图像处理装置，其特征在于，该图像处理装置具有：

像素选择部，其从对活体组织进行摄像而得到的图像中选择关注像素；

区域设定部，其在所述关注像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；

特征量计算部，其根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；

判别值计算部，其根据从所述关注像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述关注像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及

候选区域检测部，其根据所述判别值的计算结果，从所述图像中检测估计为存在规定形状的构造的候选区域。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述第1局部区域组和所述第2局部区域组是根据所述关注像素的梯度方向而分别设定的。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述特征量计算部根据由所述区域设定部设定的各局部区域的按照每个像素单位而得到的像素值、像素值之比、亮度值以及梯度强度中的至少一方，计算所述规定特征量。

9.根据权利要求6所述的图像处理装置，其特征在于，

所述特征量计算部计算所述规定值的平均值、最大值或最小值中的任意一方作为所述规定特征量。

10.根据权利要求6所述的图像处理装置，其特征在于，

所述规定形状为线状。

11.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：

区域检测步骤，从对活体组织进行摄像而得到的图像中检测估计为存在规定形状的构造的候选区域；

边界像素检测步骤，检测与所述候选区域的边界相应的边界像素；

区域设定步骤，在所述边界像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；

特征量计算步骤，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；

判别值计算步骤，根据从所述边界像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述边界像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及

候选区域校正步骤，根据所述判别值的计算结果，对所述区域检测步骤得到的所述候选区域的检测结果进行校正。

12.根据权利要求11所述的图像处理方法，其特征在于，

所述第1局部区域组和所述第2局部区域组是根据所述边界像素的梯度方向而分别设定的。

13.根据权利要求11所述的图像处理方法，其特征在于，

在所述特征量计算步骤中，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的像素值、像素值之比、亮度值以及梯度强度中的至少一方，计算所述规定特征量。

14.根据权利要求11所述的图像处理方法，其特征在于，

在所述特征量计算步骤中，计算所述规定值的平均值、最大值或最小值中的任意一方作为所述规定特征量。

15.根据权利要求11所述的图像处理方法，其特征在于，

所述规定形状为线状。

16.一种图像处理方法，其特征在于，该图像处理方法具有以下步骤：

像素选择步骤，从对活体组织进行摄像而得到的图像中选择关注像素；

区域设定步骤，在所述关注像素的附近且存在于两侧的2个附近区域中，至少各设定一个具有1个像素以上的面积的局部区域；

特征量计算步骤，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的规定值，计算规定特征量；

判别值计算步骤，根据从所述关注像素观察设定在一侧的附近区域中的第1局部区域组中的所述规定特征量的计算结果和从所述关注像素观察设定在另一侧的附近区域中的第2局部区域组中的所述规定特征量的计算结果，计算能够对这2个所述规定特征量的计算结果的差异进行判别的判别值；以及

候选区域检测步骤，根据所述判别值的计算结果，从所述图像中检测估计为存在规定形状的构造的候选区域。

17.根据权利要求16所述的图像处理方法，其特征在于，

所述第1局部区域组和所述第2局部区域组是根据所述关注像素的梯度方向而分别设定的。

18.根据权利要求16所述的图像处理方法，其特征在于，

在所述特征量计算步骤中，根据由所述区域设定步骤设定的各局部区域的按照每个像素单位而得到的像素值、像素值之比、亮度值以及梯度强度中的至少一方，计算所述规定特征量。

19.根据权利要求16所述的图像处理方法，其特征在于，

在所述特征量计算步骤中，计算所述规定值的平均值、最大值或最小值中的任意一方作为所述规定特征量。

20.根据权利要求16所述的图像处理方法，其特征在于，

所述规定形状为线状。

Images