CN109310306B - 图像处理装置、图像处理方法和医疗成像系统 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和医疗成像系统，因此能以容易看到的方式显示内窥镜图像。在本发明中，通过内窥镜装置捕捉的图像通过LPF平滑，并且从平滑图像计算明度I、色度r、g以及亮度Y。使用亮度Y以块为单位计算直方图，并且高阶方向上的频率被计算为倾斜偏移特征值Bb。还以块为单位计算用于亮度和色度的每一个的亮度和色度特征值Ib、rb和gb。图像中的被检体的区域基于包括Ib、rb、gb和Bb的四维特征值通过分类器分类为手术工具或纱布，未分类为手术工具或纱布的区域被识别为生物组织，并且仅使用被识别为生物组织的区域的信息执行AE、AF和抖动校正。本发明可以应用于内窥镜系统、显微镜系统等。

Description

图像处理装置、图像处理方法和医疗成像系统

技术领域

本公开内容涉及图像处理装置、图像处理方法和医疗成像系统，并且更具体地，涉及图像处理装置、以及能够使内窥镜装置等中的图像易于操作者观看的图像处理方法、以及医疗成像系统。

背景技术

在观察通过内窥镜装置成像的内窥镜图像的同时执行内窥镜手术总体上已经变得很普遍。

由于通过内窥镜装置成像的图像是在特殊环境下成像的图像，因此对于执行手术的操作者来说越来越需要易于观看的图像。

鉴于此，近年来，已经提出了一种技术在于分析内窥镜图像，将难以仅通过二值化或三维显示器提取的部分分类，并且显示在视觉上可容易理解的部分(参见专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请公开第7-284090号

发明内容

本发明待解决的问题

顺便提及，因为与普通成像相比，通过内窥镜装置成像的内窥镜图像是在特殊环境下成像的图像，因此例如，在一些情况下，当通过使用内窥镜图像执行自动曝光(AE)或自动聚焦(AF)时，无法执行适当的处理。

换言之，在内窥镜图像中，金属的手术工具、纱布、包括体内生物组织的壁表面等是光反射对象，并且例如，发生诸如曝光过度的现象，以致担心无法适当地实现AE和AF。

此外，在诸如手术工具、线、针、器官或手指等项包括在图像中的情况下，担心的是通过频繁进入和退出所显示的手术视野的项，无法适当地实现AE和AF。

此外，在一些情况下，接近照明设备的线、反射、手术工具上的刮痕、被检体的不规则性等被检测为高亮度边缘，并且此外，在诸如脂肪的组织、烟、透镜上的灰尘等中易于发生低对比度，因此担心的是在任何一种情况下都不能适当地实现AF。

此外，类似地，内窥镜图像中的手术工具、纱布等导致用于模糊校正的不必要的运动检测结果，因此担心无法适当地实现模糊校正等。

鉴于这种情况制成了本公开内容，并且具体地，本发明的目标是将AE、AF和模糊校正适当地应用于内窥镜图像，因此可以呈现易于操作者观看的内窥镜图像。

问题的解决方案

根据本公开内容的一方面的图像处理装置是一种图像处理装置，包括：平滑单元，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像；以及分类单元，基于由平滑单元平滑生物图像而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体进行分类。

分类单元可基于平滑图像将包括在每个区域中的每个被检体分类为生物组织或者除了生物组织之外的东西。

分类单元可基于平滑图像的明度、色度和亮度将包括在每个区域中的每个被检体分类。

图像处理装置可以进一步包括：转换单元，将平滑图像的每个像素的像素值转换为明度、色度和亮度；以及亮度梯度计算单元，获得平滑图像中的每个像素的亮度的梯度方向和梯度强度。分类单元可基于明度、色度以及梯度方向和梯度强度以生物图像中的预定尺寸的块为单位将生物图像中的被检体分类。

预定尺寸的块可包括多个尺寸小于预定尺寸的小块，并且进一步包括梯度偏差计算单元，其获得以小块为单位的梯度强度的直方图的移动累加(moving addition)，以获得作为移动累加的直方图，作为以小块为单位的梯度偏差特征量。

梯度偏差计算单元可以块为单位获得多个小块的梯度强度的直方图的移动累加，以计算作为移动累加的直方图的高阶的梯度强度，作为预定尺寸的块的梯度偏差特征量，并且分类单元可基于块单元的明度、色度和梯度偏差特征量将生物图像中的被检体分类。

梯度偏差计算单元可计算直到作为移动累加的直方图的的预定高阶的梯度强度的之和，作为预定尺寸的块单元的梯度偏差特征量。

分类单元可将所述生物图像中除了生物组织之外的东西分类为手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个。

分类单元可将包括在生物图像中的每个区域中的每个被检体分类为除了生物组织之外的手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个，并且将未分类为任何类型的区域中的被检体分类为生物组织。

分类单元可包括使用神经网络的分类器。

分类单元可包括使用推进(boosting)算法的机器学习的分类器。

图像处理装置可以进一步包括曝光调整单元，基于有关被分类为生物图像中的生物组织的区域的亮度的信息，调整医疗成像装置中的曝光。

图像处理装置可以进一步包括焦点调整单元，仅基于被分类为生物图像中的生物组织的区域的信息，调整医疗成像装置中的焦点。

图像处理装置可以进一步包括模糊校正单元，基于有关被分类为生物图像中的生物组织的区域的移动的信息，校正生物图像中的模糊。

图像处理装置可以进一步包括：图像处理单元，基于分类单元的分类结果处理图像，以填充与所分类的被检体类型相对应的生物图像上的位置；以及显示控制单元，控制通过图像处理单元处理的生物图像的显示。

图像处理装置可以进一步包括操作单元，在所显示的生物图像上指定需要重新学习的重新学习范围并且指定正确被检体的正确标签，并且分类单元可执行重新学习，以将在重新学习范围中的对应于正确标签的被检体分类。

生物图像可以是通过内窥镜装置成像的内窥镜图像。

根据本公开内容的一方面的图像处理方法，包括以下步骤：使图像平滑，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像，并且基于平滑生物图像而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体分类。

根据本公开内容的一方面的医疗成像系统，包括：图像处理装置，该图像处理装置包括平滑单元，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像，以及分类单元，基于由平滑单元平滑生物图像而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体分类；并且医疗成像装置包括使图像成像的成像单元。

在本公开内容的一方面中，平滑由医疗成像装置成像包括生物组织的生物体的内部而生成的生物图像，并且基于通过使生物图像平滑而获得的平滑图像将包括在生物图像中的每个区域中的每个被检体分类。

本发明的效果

根据本公开内容的一方面，可以呈现易于观看的内窥镜图像。

附图说明

图1是示出了本公开内容的内窥镜系统的配置实例的示图。

图2是示出了通过图1的内窥镜系统的显示处理的流程图。

图3是示出了BOX滤波器的实例的示图。

图4是示出了以小块为单位获得四维特征量的实例的示图。

图5是示出了以块为单位获得四维特征量的实例的示图。

图6是示出了以块为单位获得梯度偏差特征量的实例的示图。

图7是示出了使用神经网络的分类器的配置实例的示图。

图8是示出了Tanh和ReLu的特性的示图。

图9是示出了显示在图像显示单元上的内窥镜图像的显示实例的示图。

图10是示出了显示在图像显示单元上的内窥镜图像的显示实例的示图。

图11是示出了显示在图像显示单元上的内窥镜图像的显示实例的示图。

图12是示出了显示在图像显示单元上的内窥镜图像的显示实例的示图。

图13是示出了通过本公开内容的图像处理装置的图像处理的示图。

图14是示出了重新学习处理的流程图。

图15是示出了重新学习处理的示图。

图16是示出了通用个人计算机的配置实例的示图。

具体实施方式

以下将参考附图详细描述本公开内容的优选实施方式。应注意，在本说明书和附图中，相同的参考标号被给予具有基本上相同的功能配置的构成元件，并且省略多余的说明。

此外，将按以下顺序进行说明。

1.本公开内容的图像处理装置的概述

2.使用本公开内容的图像处理装置的内窥镜系统的配置实例

3.应用例

<<1.本公开内容的图像处理装置的概述>>

为了在通过内窥镜装置成像的内窥镜图像上执行诸如自动曝光(AE)、自动聚焦(AF)和模糊校正等处理，需要适用于内窥镜图像的特征的处理。

换言之，通过内窥镜装置成像的内窥镜图像在非常狭窄的空间中成像，其中，成像表面和被检体之间的距离相对接近并且使用高强度照明。

因此，当手术工具的柄、腔壁表面等接近照明、或者照明的光投射方向是成像方向时，如果满足以下条件：存在腔壁表面从而直接面对正面、白纱布等被强照明照亮等，则出现手术工具、腔壁表面等强烈反射照明光的现象。因此，出现所谓的白色跳跃的现象，这使得不能适当地识别明度，使得不能适合地起到AE的作用。

此外，由于在腔壁表面、缝合线、手术工具等的局部区域中对比度变得极其强烈，因此可能存在在该部分处聚焦的情况，以致AF不能适当地起到作用。此外，当产生在电刀等的使用中涉及的烟雾等时，由于烟雾导致出现被检体的低对比度，并且在一些情况下不能执行聚焦，因此在一些情况下AF也不能适当地起到作用。

此外，因为手术工具和纱布与需要模糊校正的患部不同地移动，因此针对模糊校正检测出不必要的运动，并且结果，在一些用于成像作为操作者的医生期望观看的患部的情况下，不能执行适当的模糊校正。

此外，当观察内窥镜图像时，作为操作者的医生通常希望观察作为观察目标的在内窥镜图像中的患部的生物组织。

鉴于这种需求，通常，可以设想的是内窥镜图像经过增强处理等，执行使得可以检测出患部的高图像质量处理，通过目标检测和目标识别检测出患部，并且执行AE、AF和模糊校正。

同时，为了在其中正在执行内窥镜操作的状态下显示内窥镜图像，必须以低延迟呈现内窥镜图像。然而，在将增强处理应用于内窥镜图像之后执行目标检测和目标识别具有较高的计算处理负荷，并且以低延迟实现内窥镜图像呈现是不切实际的。

当考虑在保持低延迟的同时将AE、AF和模糊校正适当地应用于内窥镜图像的技术时，首先必须选择具有低处理负荷的参数。

更具体地，可以构想可能用于在实现AE、AF和模糊校正中的调整的内窥镜图像的参数，诸如，亮度信息、色度信息、标签(面积/形状)、轮廓模型(蛇形等)、直边(霍夫转换等)、图案(HAA/LBP特征量等)、图像倾斜(梯度)(HOG特征量等)、直方图、纹理等。

在上述参数之中，因为标签(面积/形状)、轮廓模型(蛇形等)、直边(霍夫转换等)和图案(HAA/LBP特征量等)需要按序计算和重复计算，处理负荷高，并且因此，不能说这些是适用于相对于内窥镜图像的处理的参数。此外，当被检体的尺寸急速改变时使用直方图时，处理负荷可能增加。此外，关于纹理，存在许多离焦的图像并且通常难以检测，因此应用适当的处理可能存在延迟。

因此，在本公开内容的图像处理装置中，使用具有AE的高相互关联属性的亮度信息、具有少量计算量且能够通过学习相对提高识别性能的色度信息、以及允许在不受聚焦影响的情况下检测出手术工具的图像倾斜(梯度)，来执行AE、AF和模糊校正。

然而，利用这些参数，难以高精度识别生物组织。因此，本公开内容的图像处理装置，代替直接检测和识别目标生物组织，而是检测和识别除了作为观察目标的生物组织之外的区域，诸如，相对容易检测的手术工具、纱布、遮罩的外部、血池和高亮度区域，并且将其他区域视为观察目标的生物组织的区域。

此时，本公开内容的图像处理装置，通过将低通滤波器(LPF)应用于通过内窥镜装置成像的内窥镜图像来执行平滑，因此即使当内窥镜图像没有被聚焦时，相对于除了生物组织之外的诸如手术工具部分的区域，图像梯度也受到强烈的偏差(bias)。此外，根据本公开内容的图像处理装置提取图像梯度的偏差作为特征量，减少特征量的维度，减少计算量，减少处理负荷，并且增加处理精度，因此可以低延迟呈现作为操作者的观察目标的内窥镜图像中的生物组织。

<<2.使用本公开内容的图像处理装置的内窥镜系统的配置实例>>

将参考图1描述本公开内容的使用图像处理装置的内窥镜系统的配置实例。

在图1中示出的内窥镜系统包括图像处理装置11、内窥镜装置12和图像显示单元13。在内窥镜装置12的远端部处，设置了成像元件62。换言之，在其中内窥镜装置12的远端部插入患者14的身体中的状态下，内窥镜装置12成像获得身体内部的内窥镜图像并且将内窥镜图像提供至图像处理装置11。图像处理装置11处理从内窥镜装置12提供的内窥镜图像并且呈现易于操作者观看的内窥镜图像。

更具体地，内窥镜装置12是棒形装置，并且通过成像元件62来成像通过设置在内窥镜装置12的远端部处的包括多个透镜等的光学块61在成像元件62上形成的图像。

更具体地，例如，内窥镜装置12使身体内部的图像成像为内窥镜图像，并且将该图像作为高分辨率图像输出至图像处理装置11，诸如，2K图像(例如，约1920×1080)、4K图像(例如，约4096×2160或者约3840×2160)、或者8K图像(例如，约7680×4320)。

应注意，尽管未示出，但是成像元件62设置有信号处理单元，该信号处理单元执行预定的信号处理，生成图像，并且输出生成的图像。此外，通过内窥镜装置12成像的图像的分辨率还优选用于其他分辨率的图像。此外，在本实施方式中，除非另有说明，否则将假设通过内窥镜装置12捕捉的内窥镜图像是4K图像进行说明。

图像处理装置11处理从内窥镜装置12提供的患者14的身体内部的内窥镜图像并且呈现易于操作者观看的内窥镜图像。

更具体地，图像处理装置11包括图像缩小单元31、图像平滑单元32、亮度色度转换单元33、亮度梯度计算单元34、梯度偏差计算单元35、特征量生成单元36、标准化调整单元37、图像分类单元38、图像处理单元39、显示控制单元40、操作单元41、自动曝光(AE)控制单元42、自动聚焦(AF)控制单元43、以及模糊校正单元44。

图像缩小单元31将具有高分辨率的输入图像(包括例如通过内窥镜装置12成像的4K图像)缩小为具有例如约1024×540的分辨率的图像，并且将缩小的图像提供至图像平滑单元32。

图像平滑单元32例如通过应用低通滤波器(LPF)使通过图像缩小单元31缩小的图像平滑化，将该图像转换为其中易于获取图像梯度的图像，并且将该转换的图像通过随后描述的处理提供至亮度色度转换单元33。

亮度色度转换单元33基于平滑图像将每个像素的值转换为明度I、亮度Y和色度r、g，并且将转换的值提供至亮度梯度计算单元34和特征量生成单元36。

亮度梯度计算单元34通过应用苏贝尔算子(Sobel operator)计算每个像素的梯度方向(倾斜方向)和梯度强度，在倾斜方向上生成加载有所计算出的梯度强度的直方图Hsb，并且将直方图Hsb提供至梯度偏差计算单元35。

梯度偏差计算单元35在以小块为单位获得的倾斜方向上移动并累加直方图Hsb，以获得在以包括多个小块的块为单位的倾斜方向上加载有梯度强度的直方图Hb。此外，梯度偏差计算单元35使用以块为单位的直方图Hb，累加加载有直到第二阶的梯度强度的梯度强度(倾斜强度)，并且将累加的梯度强度提供至特征量生成单元36作为以块为单位的梯度偏差特征量Bb。

特征量生成单元36计算以上面描述的小块为单位的明度Isb以及色度rsb和gsb。此外，特征量生成单元36根据以小块为单位的明度Isb以及色度rsb和gsb来计算以包括多个小块的块为单位的明度Ib以及色度rb和gb。此外，特征量生成单元36将以块为单位的梯度偏差特征量Bb、亮度Ib以及色度rb和gb一起形成四维特征量，并且将四维特征量提供至标准化调整单元37。

标准化调整单元37标准化并调整四维特征量，并且将标准化的量提供至图像分类单元38。

图像分类单元38包括基于四维特征量将图像中的被检体分类的分类器51，基于四维特征量将图像中的被检体通过分类器51分类，并且将分类结果提供至图像处理单元39。此外，在显示图像中的图像分类中存在误差的情况下，图像分类单元38根据用户的操作接受用于重新学习的标签等的输入，将该输入提供至分类器51，并且使得重新学习。

图像处理单元39根据从图像分类单元38提供的分类结果将图像处理应用于从内窥镜装置12提供的图像，将处理的图像提供至显示控制单元40，并且将处理的图像提供至AE控制单元42、AF控制单元43和模糊校正单元44。显示控制单元40控制包括液晶显示器(LCD)等的图像显示单元13以将所提供的图像显示为内窥镜图像。

例如，换言之，例如，图像分类单元38将图像中的预定块单元中的手术工具、纱布、遮罩的外部、血池、以及图像中的高亮度部分进行分类。因此，基于分类结果通过不同的颜色用于每个对应目标来填充区域，图像处理单元39明确显示从中除去观察目标的对应于每个分类结果的区域。此外，因此，没有被填充的区域被显示为只有生物组织的图像。

AE控制单元42基于内窥镜图像中的只有生物组织的区域的图像控制明度，并且控制例如内窥镜装置12中的包括互补金属氧化物半导体(CMOS)图像传感器等的成像元件62的AE。利用这种控制，合适的AE被实现。应注意，例如，通过类似于用于将内窥镜图像从内窥镜装置12传输至图像处理装置11的传输电缆的布线，实际上实现由从图1的AE控制单元42至成像元件62的虚线表示的处理。

AF控制单元43基于在内窥镜图像中只有生物组织的区域中的图像控制包括多个透镜等的光学块61，以致入射光被适当地聚焦在内窥镜装置12中的成像元件62上，以便控制AF。利用这种控制，合适的AF被实现。应注意，例如，通过类似于将内窥镜图像从内窥镜装置12传输至图像处理装置11的传输电缆的布线，实际上实现由从图1的AF控制单元43至光学块61的虚线表示的处理。

模糊校正单元44基于在内窥镜图像之中只有生物组织的区域中的图像，检测运动并且根据检测出的运动控制模糊校正。利用这种校正，合适的模糊校正被实现。

<显示处理>

接下来，将参考图2的流程图描述通过内窥镜系统的显示处理。

在步骤S11中，例如，内窥镜装置12的成像元件62成像通过光学块61形成的图像作为包括4K图像的内窥镜图像，并且例如，将该内窥镜图像提供至图像处理装置11。

更具体地，实际上，成像元件62将简单的显影处理应用在成像的原始图像上，或者使用已经经过显影处理的RGB图像。此外，在需要显影处理的情况下，在拜耳结构的图像传感器的情况下，成像元件62应用去马赛克处理、增益调整和白平衡处理、缺陷像素校正、通过线性矩阵的颜色校正、用于在有效范围内容纳信号的值的剪辑处理、以及伽马校正。

在步骤S12中，图像缩小单元31缩小通过内窥镜装置12成像的内窥镜图像。更具体地，在后期的平滑处理中，如果将包括具有许多抽头的盒式(BOX)滤波器的LPF直接应用于4K图像，则计算量增加，并且因此，例如，图像缩小单元31将包括4K图像的内窥镜图像缩小为具有1024×540的分辨率的图像，并且将缩小的图像提供至图像平滑单元32。

在步骤S13中，图像平滑单元32将LPF(包括预定尺寸的盒式滤波器)应用于内窥镜图像的每个像素，平滑内窥镜图像，并且将平滑图像提供至亮度色度转换单元33。例如，盒式滤波器是如图3所示的滤波器，并且在图3的情况下，示出了5个像素×5个像素的滤波器的实例。相对于附图中的有色中心中的关注像素，所关注的像素的边缘中的5个像素×5个像素中的每个像素乘以系数1/25并且获得它的乘积总数，因此该图像被平滑。

在步骤S14中，亮度色度转换单元33将平滑的内窥镜图像的每个像素的像素值转换为明度、色度和亮度，并且将该亮度提供至亮度梯度计算单元34，并且将明度和色度提供至特征量生成单元36。

更具体地，亮度色度转换单元33例如通过计算使用像素(x，y)中的像素值RGB的以下表达式(1)至(4)将像素值转换为明度、色度和亮度。

[数学公式1]

I(x,y)＝R+G+B…(1)

[数学公式2]

r(x,y)＝R/(R+G+B)…(2)

[数学公式3]

g(x,y)＝G/(R+G+B)…(3)

[数学公式4]

Y(x,y)＝0.299×R+0.587×G+0.114×B…(4)

在此，RGB是红色、绿色和蓝色的像素值，像素(x，y)的I(x，y)是明度，r(x，y)、g(x，y)是色度，并且Y(x，y)是亮度。

在步骤S15中，亮度梯度计算单元34使用每个像素的亮度Y以像素为单位计算梯度方向和梯度强度，并且将计算出的梯度方向和梯度强度提供至梯度偏差计算单元35。

更具体地，亮度梯度计算单元34应用通过以下表达式(5)和(6)表示的系数的苏贝尔算子。

[数学公式5]

[数学公式6]

在此，Sx和Sy是分别通过将坐标(x，y)中的像素的亮度Y乘以表达式(5)和(6)的苏贝尔算子获得的亮度。

此外，亮度梯度计算单元34通过以下表达式(7)和(8)表示的运算来计算每个像素(x，y)的梯度(倾斜)方向ang(x，y)以及梯度强度g(x，y)。

[数学公式7]

[数学公式8]

在此，fx(x，y)和fy(x，y)分别是通过将坐标(x，y)的像素乘以以上描述的表达式(5)和(6)的苏贝尔算子而获得的Sx(x，y)和Sy(x，y)。此外，d(x，y)是梯度(倾斜)角度(弧度)，ang(x，y)是基于梯度角度d(x，y)分配的梯度(倾斜)方向，并且是四舍五入为整数精度的值。此外，BIN是方向的数量，例如，12个。

在步骤S16中，梯度偏差计算单元35以小块为单位计算加载有上述梯度强度的倾斜方向上的直方图。

更具体地，如图4所示，平滑的内窥镜图像被分成例如M个像素×N个像素的小块，并且针对每个小块计算以下表达式(9)。

[数学公式9]

Hsb(sx,sy)[ang(x,y)]+＝g(x,y)/M/N…(9)

在此，(sx，sy)表示小块的坐标。Hsb(sx，sy)是包括由梯度强度g(x，y)加权的梯度方向ang(x，y)的、以小块为单位的直方图的特征量。换言之，表达式(9)表示通过单独计算由梯度强度g(x，y)加权的梯度方向ang(x，y)的频率而生成的直方图，并且该组直方图本身是特征量。这个特征量通常称为定向梯度直方图(HOG)。

应注意，如上所述，例如，在内窥镜图像具有1024×540的分辨率的情况下，例如，如果满足M＝8并且N＝6，则内窥镜图像被分成128×90个小块。

在步骤S17中，梯度偏差计算单元35通过使用加载有梯度强度的梯度方向的以小块为单位的直方图Hsb(sx，sy)、以包括多个小块的块为单位计算梯度偏差特征量Bb，并且将计算结果提供至特征量生成单元36。

更具体地，如通过图5中的粗线框指出的，平滑的内窥镜图像例如被分成M个小块×N个小块的块，并且针对每块计算以下表达式(10)。

[数学公式10]

在此，(bx，by)表示块的坐标。Hb(bx，by)是包括加载有梯度强度的梯度方向的直方图的特征量，并且是在每个梯度方向上添加梯度强度的结果。

此外，梯度偏差计算单元35基于以块为单位的梯度强度的直方图Hb(bx，by)通过运算以下表达式(11)来计算梯度偏差特征量Bb。

[数学公式11]

Bb(bx,by)＝max1(bx,by)+max2(bx,by)…(11)

在此，Bb是梯度偏差特征量，并且max Q(bx，by)表示块(bx，by)的梯度强度的直方图的Q阶。换言之，在表达式(11)中，累加到第二高阶的梯度强度的总和基本上是每块的梯度偏差特征量Bb。

在预定块中，例如，在期望的是如图6所示的梯度强度的直方图的情况下，梯度(倾斜)方向A(其中梯度强度(倾斜强度)是最高的)的梯度强度和梯度(倾斜)方向B(其中梯度强度是第二的)的梯度强度的总和是预定块中的梯度偏差特征量Bb。

应注意，如上所述，例如，在内窥镜图像具有1024×540的分辨率的情况下，例如，如果满足M＝4并且N＝4，则内窥镜图像被分成125×87个小块。

在步骤S18中，特征量生成单元36以图5的块为单位计算亮度Ib、以及色度rb和gb，并且与梯度偏差特征量一起生成四维特征量。

更具体地，特征量生成单元36首先运算以下表达式(12)至(14)以便以以上描述的图4的小块单元为单位计算明度Isb以及色度rsb和gsb。

[数学公式12]

[数学公式13]

[数学公式14]

在此，Isb是以小块单元为单位的明度的特征量，并且rsb和gsb是以小块为单位的色度的特征量。

接下来，特征量生成单元36运算以下表达式(15)至(17)以便以以上描述的图5的块单元为单位计算明度Ib以及色度rb和gb。

[数学公式15]

[数学公式16]

[数学公式17]

在此，(bx，by)表示块的坐标。Ib是以块为单位的明度的特征量，并且rb和gb是以块为单位的色度的特征量。

然后，特征量生成单元36生成包括明度Ib(bx，by)、色度rb(bx，by)、gb(bx，by)、以及梯度偏差特征量Bb(bx，by)的四维特征量，并且将四维特征量提供至标准化调整单元37。

应注意，至于特征量Bb(x，y)，则假设最高两个的两种类型的方向是相邻的，但是通过以上描述的步骤S13的处理使内窥镜图像平滑，出现强烈的梯度偏差，因此较高的梯度方向是相邻方向。此外，在梯度强度大于预定值的情况下，可以采用第二高梯度方向。在这种情况下，在第二高梯度方向的梯度强度小于预定值的情况下，仅可以采用最高阶的梯度方向的梯度强度。此外，可以在大于预定值的梯度方向上采用所有梯度强度的总和。

在步骤S19中，标准化调整单元37使四维特征量标准化使得四维特征量不超过信号电平，诸如，0至1、-1至+1，例如，这是由随后描述的分类器51接受的，调整随后描述的分类器51的有效程度，或者根据显影参数调整该有效程度，并且将调整的四维特征量提供至图像分类单元38。更具体地，标准化调整单元37例如通过运算以下表达式(18)至(21)标准化并调整四维特征量。

[数学公式18]

Ib'(bx,by)＝(Ib(bx,by)-iOffset)*iGain…(18)

[数学公式19]

rb'(bx,by)＝(rb(bx,by)-rOffset)*rGain…(19)

[数学公式20]

gb'(bx,by)＝(gb(bx,by)-gOffset)*gGain…(20)

[数学公式21]

Bb'(bx,by)＝(Bb(bx,by)-bOffset)*bGain…(21)

在此，Ib'(bx，by)、rb'(bx，by)、gb'(bx，by)、Bb'(bx，by)被标准化并被调整明度、色度以及梯度偏差特征量，iOffset、rOffset、gOffset、bOffset是明度、色度以及梯度偏差特征量的偏移量，并且iGain、rGain、gGain、bGain是增益控制系数。

在步骤S20中，图像分类单元38控制分类器51以使用标准化和调整的四维特征量对图像中的被检体进行分类，并且将分类结果提供至图像处理单元39。

分类器51可具有例如使用神经网络的配置。图7示出了通过使用神经网络配置的分类器51的配置实例。图7的分类器51包括输入层71、ReLu 72、tanh 73以及Dropout+softmax 74。

输入层71接受四维特征量并且将四维特征量提供至斜坡函数(ReLu)72。

例如，斜坡函数(ReLu)72是如图8的右部所示的函数，使用这个函数对四维特征量执行处理，并且将处理过的四维特征量提供至tanh 73。

例如，tanh 73是如图8的左部所示的函数，并且通过如图8的左部所示的函数对由斜坡函数72处理过的四维特征量执行处理，并且将处理过的四维特征量提供至Dropout+softmax 74。

Dropout+softmax 74包括Dropout和softmax。其中，Dropout是用于防止在学习时网络过度学习的函数，并且例如，执行简单地将元素的输出减半的处理。此外，例如，softmax主要用于使具有分类功能的神经网络的输出值标准化，并且由以下表达式(22)表示。

[数学公式22]

利用这些配置，分类器51基于四维特征量将例如生物组织、手术工具、纱布、遮罩的外部、血池以及高亮度部分进行分类。更具体地，分类器51通过四维特征量将作为手术工具、纱布、遮罩的外部、血池或高亮度部分的区域分类，并且将未被分类的区域分类为生物。

更具体地，例如，在将手术工具、纱布、遮罩的外部、血池、高亮度部分、以及生物组织进行分类的情况下，分类器51以框F11为单位对被检体进行分类。例如，至于手术工具和纱布，如果不包括分类为遮罩的外部的图5的块，并且确定为手术工具的块的数量大于确定为纱布的块的数量，则分类器51将其看作手术工具，并且如果相反，则将其作为纱布。

此外，例如，如果在每个框F11中分类为遮罩的外部、血池、以及高亮度部分的图5中的块的数量等于或大于预定比率，则分类器51将其作为遮罩的外部、血池或高亮度部分。然后，分类器51将未被作为手术工具、纱布、遮罩的外部、血池和高亮度部分中的任一者的框F11作为生物组织。

利用这种分类，即使分类器51的分类精度不那么高，但是通过检测可检测的手术工具、纱布、遮罩的外部、血池以及高亮度部分，并且将其他部分识别为生物组织，可以在减少与相似性相关的处理负荷的同时以高精度对生物组织进行分类。

此外，关于分类器51的分类结果，可以为每个框F11计算用于诸如手术工具、纱布、遮罩的外部、血池、高亮度部分或生物组织等每个分类目标的分数，使得根据分数确定分类结果。在这种情况下，具有最高分的分类目标可以用作分类结果，或者可以呈现第二阶的分类结果以供选择。此外，当呈现高达第二阶的分类结果时，对于第二阶分数的分类目标，仅在分数是预定分数或更多的情况下，可以呈现高达第二阶的分类目标以供选择。应注意，在本公开内容中，已经描述了将纱布、遮罩的外部、血池、高亮度部分以及生物组织分类的实例。然而，可以将其他被检体进行分类。然而，当生物组织被分类时，其与未被分类为其他被检体的范围相同。

在步骤S21中，图像处理单元39基于分类结果在成像的内窥镜图像上执行图像处理，并且将该处理结果提供至AE控制单元42、AF控制单元43和模糊校正单元44。

更具体地，例如，如图9所示，在其中镊子K存在的范围内被检测为手术工具的情况下，图像处理单元38利用表示该范围是分类的手术工具的颜色、图案等填充内窥镜图像的对应范围。除此之外，可能影响AE、AF、模糊校正等，并且根据分类结果利用颜色、图案等填充除了生物组织之外的区域。

例如，存在可能影响AE、AF、抖动校正等的其他可能性，诸如，纱布、遮罩的外部、血池、或高亮度部分，并且除了生物组织之外的区域根据分类结果利用颜色、图案等填充。应注意，生物组织的范围被认为是识别为纱布、遮罩的外部、血池或高亮度部分的范围的外部。

应注意，在图9中，以格子形状设置的框F11是用于通过AE控制单元42和模糊校正单元44控制AE和模糊校正的块，并且由粗线形成的单个框F1表示其中AF由AF控制单元43控制的范围。框F1和F11这两者被设置为适用于控制AE控制、AF控制和模糊校正中的每一个的尺寸，并且大于以上描述的图5中的块。换言之，图5中的块是使用框F1和框F11处理AE和AF中的最小的处理单元。

例如，在框F11的尺寸是例如相对于内窥镜图像划分的12×5的尺寸的情况下，填充范围是如图10的上部所示。然而，在例如尺寸是相对于内窥镜图像划分的40×30的情况下，填充范围是如图10的下部所示。换言之，在框F11的尺寸小于图10的下部示出的尺寸的情况下，可以设置具有比如图10的上部所示的大尺寸的情况更高的分辨率的范围。

应注意，在以上描述中，已经描述了其中通过神经网络配置分类器51的实例。然而，只要装置起到分类器51的作用，例如，由Boosting算法等代表的使用机器学习的装置，则可以采用其他配置。

在步骤S22中，AE控制单元42使用以框F11为单位的亮度信息在被认为是生物组织的范围内控制AE。换言之，这种处理防止了甚至使用由于通过金属手术工具等反射的光而导致的可能脱色的像素的AE控制，并且因此，可以实现适当的AE控制。

换言之，如图10的上部或下部所示，其中利用有区别的颜色、图案等来填充手术工具被成像的范围以及其中纱布被成像的范围，并且利用另一个范围中的框F11中的亮度信息实现AE。因此，在仅使用其中生物组织被成像的范围的亮度信息的状态下，实现AE，因此可以实现适当的AE。应注意，因为需要的亮度可根据手术类型、临床科室等而不同，因此AE被控制为使得亮度适用于每种情况。

在步骤S23中，AF控制单元43利用被认为是生物组织的范围中的图像来实现AF。更具体地，AF控制单元43移动图像中的预定尺寸的框F1直到框F1到达内窥镜图像的中心附近仅包括生物组织的位置，并且搜索感兴趣的区域。此时，在不能搜索感兴趣的区域的情况下，使框F1的尺寸变小，并且通过框F1反复搜索感兴趣的区域直到可以搜索到感兴趣的区域。

然后，当可以搜索感兴趣的区域时，AF控制单元43通过使用感兴趣的区域中的图像实现AF控制。更具体地，例如，通过边缘检测搜索聚焦状态实现AF控制。

换言之，如图10的上部所示，AF控制单元43将框F1移动到不包括填充区域的位置。

当可以通过框F1指定感兴趣的区域时，AF控制单元43控制光学块61，以便充分检测该边缘以实现AF控制。通过以此种方式检测由仅包括生物组织的框F1指定的感兴趣的区域的边缘以实现AF，可以实现适当的AF控制。

在步骤S24中，模糊校正单元44使用被认为是生物组织的范围内的运动信息来校正模糊。

换言之，如图11所示，当在搜索其中手术工具已经成像和其中纱布被成像的范围时，模糊校正单元44填充如图12所示的白色。然后，模糊校正单元44使用除了阴影范围之外的范围的框F21中的运动信息，利用运动来实现运动补偿。因此，在仅使用其中生物组织被成像的范围的运动信息的状态下校正模糊，因此可以实现适当的模糊校正。

在步骤S25中，图像处理单元39将处理过的图像提供至显示控制单元40以便使得显示控制单元40控制图像显示单元13上的显示。相对于在此显示的图像，显示已经经过AE、AF和模糊校正的图像。换言之，通过上述处理，可以呈现已经经过适当的AE、AF和模糊校正的内窥镜图像，并且以易于观看的方式为作为操作者的医生呈现作为观察目标的生物组织。

在步骤S26中，图像分类单元38确定是否已经通过操作该操作单元41指示重新学习。在指示重新学习的情况下，处理进行至步骤S27。

在步骤S27中，图像分类单元38执行重新学习处理并且使得分类器51执行重新学习。应注意，随后将参考图14的流程图描述重新学习处理。

应注意，在步骤S26中没有指示重新学习的情况下，跳过步骤S27的处理。

在步骤S28中，图像处理装置11确定是否已经指示终止。在没有指示终止的情况下，该处理返回至步骤S11并且重复后续处理。然后，在步骤S28中指示终止的情况下，该处理终止。

在此，参考图13概述了上述处理。

换言之，在其中在生物组织前面显示作为手术工具的镊子的图13的图像P1的情况下，在步骤S16中，获得一般的HOG作为以小块为单位的图像倾斜方向上的一组直方图。

因此，如图13中的图像P1的矩形框所示，例如，如果在4个块×4个块的范围中，每块具有12个方向的梯度方向上的直方图，则其信息是4×4×12＝192维信息。

然而，在本公开内容的图像处理装置11中，最初的内窥镜图像被乘以LPF并被平滑然后获得HOG，以便在宽范围中生成强梯度。此外，在平滑图像中，对在4个块×4个块的范围内的每块的梯度方向的梯度强度(频率)的直方图求和，并且将仅包括直至第二高阶的梯度强度的总和的一维信息用作梯度偏差特征量，以致可以执行如图13的图像P2所示的作为梯度偏差的表示。因此，由于变得可以利用具有少量维度的特征量执行分类，所以可以减少与分类相关的计算量。应注意，在图13的图像P1和P2中，就杆状仪的厚度和长度以及倾斜方向而言，在图像上表示了每块的梯度方向和梯度强度。此外，在图像P2中，施加表示在镊子K的部分中检测到手术工具的阴影线。此外，图像P2上的杆状仪(由从图像P1上的矩形框的箭头表示)是框中192维的梯度偏差特征量以一个维度表示的实例。

此外，相对于生物组织的范围，相对易于分类的工具、纱布等被分类，并且相对于难以分类的生物组织被认为是易于分类的范围的外部，并且因此，在通过内窥镜装置12成像的内窥镜图像中，可以在减少计算量时低延迟地将作为生物组织的范围分类并呈现。

<重新学习处理>

接下来，将参考图14的流程图描述重新学习处理。

在步骤S41中，操作单元41被操作并且图像分类单元38接受图像显示单元13上的重新学习区域的输入。

在步骤S42中，图像分类单元38读取属于重新学习区域中的块中的四维特征量。

在步骤S43中，图像分类单元38接受正确的标签的输入。

在步骤S44中，图像分类单元38控制分类器51以将四维特征量分类，根据需要添加它，并且学习以获得正确的标签。

在步骤S45中，图像分类单元38控制已经完成重新学习的分类器51，以便通过使用接受为重新学习区域的四维特征量将图像分类，并且将分类结果提供至图像处理单元39。

在步骤S46中，图像处理单元39基于分类结果处理图像。

在步骤S47中，图像处理单元39将图像处理结果提供至显示控制单元40，以便控制图像显示单元13上的显示。

在步骤S48中，图像分类单元38确定是否终止重新学习处理。例如，在存在分类错误并且需要再次重新学习的情况下，当操作单元41被操作且给出有关必要性的指令时，该处理返回至步骤S41并且重复后续处理。然后，如果在步骤S48中指示终止，则该处理结束。

换言之，如图15中的图像P11所示，在没有填充其中镊子K存在的范围Z1、且未被分类为手术工具的情况下，例如，如通过图像P12所示，作为操作者的医生将这种情况认为由于分类导致的识别错误，并且范围Z11被指定为重新学习区域。然后，在停止正常显示之后，选择对应范围中的块的四维特征量，并且此外，通过处理(诸如根据需要添加的)执行重新学习，如图像P13的范围Z21所示，该范围可以分类为手术工具和阴影。

应注意，在以上描述中，已经描述了内窥镜图像的AE、AF和模糊校正。然而，只要该图像在相似条件下成像为内窥镜图像，则该图像不局限于内窥镜图像。甚至利用其他图像也可以获得类似效果，并且例如，甚至利用显微镜图像等也可以获得类似效果。

如上所述，根据本公开内容，甚至在所谓的离焦图像的情况下或者在其中内窥镜图像中的观察目标是离焦的偏离曝光的状态下，可以指定诸如手术工具或纱布(可以降低诸如AE、AF和模糊校正的成像控制的精确性)的目标的位置。

因此，可以将除了其中指定目标的位置的范围之外的范围分类为生物组织，并且可以实现把生物组织作为目标的适当的AE、AF和模糊校正。因此，可以低延迟呈现易于操作者观看的内窥镜图像。

此外，在分类发生故障的情况下，可以通过使得每次都执行重新学习处理来执行基于正确的标签的重新学习，因此可以迅速消除观看的难度，并且可以呈现易于观看的内窥镜图像。

<<3.应用例>>

<通过软件执行的实例>

顺便提及，还可以通过硬件执行以上描述的一系列处理。然而，还可以通过软件执行这一系列处理。在通过软件执行一系列处理的情况下，包括在软件中的程序从记录介质安装至合并在专用硬件中的计算机，例如，可以通过安装各种程序等执行各种功能的通常个人计算机。

图16示出了通用个人计算机的配置实例。这个个人计算机具有内置的中央处理单元(CPU)1001。输入和输出接口1005经由总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。

输入和输出接口1005与包括诸如键盘或者用于通过用户输入操作命令的鼠标等输入装置的输入单元1006、将处理操作屏幕或处理结果的图像输出至显示装置的输出单元1007、存储包括用于存储程序和各种数据的硬盘驱动等的存储单元1008、以及包括局域网(LAN)适配器等且经由互联网代表的网络执行通信处理的通信单元1009连接。此外，输入和输出接口1005与驱动1010连接，该驱动读取和写入相对于诸如磁盘(包括软盘)、光盘(包括光盘-只读存储器(CD-ROM)和数字通用光盘(DVD))或者半导体存储器等可移除介质1011的数据。

CPU 1001从存储在ROM 1002或诸如磁盘、光盘、磁光盘或半导体存储器等可移除介质1011中的程序读出，该CPU安装在存储单元1008中，并且根据从存储单元1008载入到RAM 1003中的程序执行各种处理。此外，RAM 1003还适当地存储CPU 1001所需要的数据等以执行各种处理。

在如上所述配置的计算机中，例如，CPU 1001将存储在存储单元1008中的程序经由输入和输出接口1005以及总线1004载入到RAM 1003中，并且执行该程序，以便执行上述一系列处理。

例如，通过计算机(CPU 1001)执行的程序可以通过记录在作为封装介质等的可移除介质1011上进行设置。此外，可以经由诸如局域网、互联网或者数字卫星广播等有线或无线传输介质来提供程序。

在计算机中，程序可以经由输入和输出接口1005通过将可移除介质1011安装至驱动1010而安装在存储单元1008中。此外，该程序可经由有线或无线传输介质被通信单元1009接收并且可安装在存储单元1008中。此外，程序可提前安装在ROM 1002或存储单元1008中。

应注意，根据本说明书中描述的顺序，通过计算机执行的程序可以是按年代顺序处理的程序，或者可以是并行或在诸如进行呼叫时等必要时刻处理的程序。

此外，在本说明书中，系统意味着一组多个组成元件(装置、模块(零件)等)，并且所有组成元素是否都在相同的外壳中并不重要。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及多个模块容纳在一个壳体中的一个装置都是该系统。

应注意，本公开内容的实施方式不局限于上述实施方式，并且在不背离本公开内容的主旨的情况下，可进行各种修改。

例如，在本公开内容中，可以采用其中一个功能经由网络由多个装置共享并且被合作处理的云计算的配置。

此外，可以通过一个装置执行或者通过多个装置共享上述流程图中描述的每个步骤。

此外，在一个步骤中包括多个过程的情况下，可以通过一个装置执行或通过多个装置共享一个步骤中包括的多个过程。

应注意，本公开内容可以采用以下配置。

<1>一种图像处理装置，包括：

平滑单元，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像；以及

分类单元，基于由平滑单元平滑生物图像而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体分类。

<2>根据项<1>所述的图像处理装置，其中

分类单元基于平滑图像将包括在每个区域中的每个被检体分类为生物组织或者除了生物组织之外的东西。

<3>根据项<1>所述的图像处理装置，其中

分类单元基于平滑图像的明度、色度和亮度将包括在每个区域中的每个被检体分类。

<4>根据项<3>所述的图像处理装置，进一步包括：

转换单元，将平滑图像的每个像素的像素值转换为明度、色度和亮度；以及

亮度梯度计算单元，获得平滑图像中的每个像素的亮度的梯度方向和梯度强度，

其中，分类单元基于以生物图像中的预定尺寸的块为单位的明度、色度以及梯度方向和梯度强度将生物图像中的被检体分类。

<5>根据项<4>所述的图像处理装置，其中

预定尺寸的块包括多个尺寸小于预定尺寸的小块，并且

图像处理装置进一步包括梯度偏差计算单元，其获得以小块为单位的梯度强度的直方图的移动累加，以获得作为移动累加的直方图，作为以小块为单位的梯度偏差特征量。

<6>根据项<5>所述的图像处理装置，其中

梯度偏差计算单元以块为单位获得多个小块的梯度强度的直方图的移动累加，以计算作为移动累加的直方图的高阶的梯度强度，作为以预定尺寸的块为单位的梯度偏差特征量，并且

分类单元以块为单位基于明度、色度和梯度偏差特征量将生物图像中的被检体分类。

<7>根据项<6>所述的图像处理装置，其中

梯度偏差计算单元计算直到作为移动累加的直方图的预定高阶的梯度强度的之和，作为以预定尺寸的块为单位的梯度偏差特征量。

<8>根据项<2>所述的图像处理装置，其中

分类单元将生物图像中的除了生物组织之外的内容分类为手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个。

<9>根据项<8>所述的图像处理装置，其中

分类单元将包括在生物图像中的每个区域中的每个被检体分类为除了生物组织之外的手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个，并且将未分类为任何类型的区域中的被检体分类为生物组织。

<10>根据项<1>所述的图像处理装置，其中

分类单元包括使用神经网络的分类器。

<11>根据项<1>所述的图像处理装置，其中

分类单元包括使用boosting算法的机器学习的分类器。

<12>根据项<2>所述的图像处理装置，进一步包括

曝光调整单元，基于关于生物图像中被分类为生物组织的区域的亮度的信息，调整医疗成像装置中的曝光。

<13>根据项<2>所述的图像处理装置，进一步包括

焦点调整单元，仅基于在生物图像中被分类为生物组织的区域的信息，调整医疗成像装置中的焦点。

<14>根据项<2>所述的图像处理装置，进一步包括

模糊校正单元，基于关于生物图像中被分类为生物组织的区域的移动的信息，来校正生物图像中的模糊。

<15>根据项<1>所述的图像处理装置，进一步包括：

图像处理单元，基于分类单元的分类结果处理图像，以对与所分类的被检体类型相对应的生物图像上的位置进行填充；以及

显示控制单元，控制通过图像处理单元处理的生物图像的显示。

<16>根据项<15>所述的图像处理装置，进一步包括

操作单元，在所显示的生物图像上指定需要重新学习的重新学习范围并且指定表示正确被检体的正确标签，

其中，分类单元执行重新学习，以在重新学习范围中将对应于正确标签的被检体分类。

<17>根据项<1>所述的图像处理装置，其中

生物图像是通过内窥镜装置成像的内窥镜图像。

<18>一种图像处理方法，包括以下步骤：

使图像平滑；

平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像；并且

基于平滑使生物图像而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体分类。

<19>一种医疗成像系统，包括：

图像处理装置，包括

平滑单元，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像，以及

分类单元，基于由平滑单元平滑生物图像平滑而获得的平滑图像，将包括在生物图像中的每个区域中的每个被检体分类；并且

医疗成像装置，包括

成像单元，使图像成像。

参考符号列表

11 图像处理装置

12 内窥镜装置

13 图像显示单元

14 患者

31 图像缩小单元

32 图像平滑单元

33 亮度色度转换单元

34 亮度梯度计算单元

35 梯度偏差计算单元

36 特征量生成单元

37 标准化调整单元

38 图像分类单元

39 图像处理单元

40 显示控制单元

41 操作单元

42 AE控制单元

43 AF控制单元

44 模糊校正单元

51 分类器

71 输入层

72 ReLu

73 tanh

74 Dropout+softmax

Claims (17)

1.一种图像处理装置，包括：

平滑单元，平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像；以及

分类单元，基于由所述平滑单元平滑所述生物图像而获得的平滑图像，将包括在所述生物图像中的每个区域中的每个被检体进行分类；

转换单元，将所述平滑图像的每个像素的像素值转换为明度、色度和亮度；以及

亮度梯度计算单元，获得所述平滑图像中的所述每个像素的所述亮度的梯度方向和梯度强度，

其中，所述分类单元基于所述明度、所述色度以及所述梯度方向和所述梯度强度，以所述生物图像中的预定尺寸的块为单位将所述生物图像中的被检体进行分类。

2.根据权利要求1所述的图像处理装置，其中

所述分类单元基于所述平滑图像将包括在所述每个区域中的所述每个被检体分类为所述生物组织或者除了所述生物组织之外的东西。

3.根据权利要求1所述的图像处理装置，其中

所述预定尺寸的所述块包括多个尺寸小于所述预定尺寸的小块，并且

所述图像处理装置进一步包括梯度偏差计算单元，所述梯度偏差计算单元获得以所述小块为单位的梯度强度的直方图的移动累加，以获得作为所述移动累加的直方图，来作为以所述小块为单位的梯度偏差特征量。

4.根据权利要求3所述的图像处理装置，其中

所述梯度偏差计算单元以所述块为单位获得多个所述小块的梯度强度的直方图的移动累加，以计算作为所述移动累加的直方图的高阶的梯度强度，作为以所述预定尺寸的块为单位的梯度偏差特征量，并且

所述分类单元以块为单位基于所述明度、所述色度和所述梯度偏差特征量将所述生物图像中的被检体分类。

5.根据权利要求4所述的图像处理装置，其中

所述梯度偏差计算梯度偏差特征量单元计算直到作为所述移动累加的所述直方图的预定高阶的梯度强度的之和，作为以所述预定尺寸的块为单位的所述梯度偏差特征量。

6.根据权利要求2所述的图像处理装置，其中

所述分类单元将所述生物图像中除了所述生物组织之外的东西分类为手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个。

7.根据权利要求6所述的图像处理装置，其中

所述分类单元将包括在所述生物图像中的所述每个区域中的所述每个被检体分类为除了生物组织之外的手术工具、纱布、遮罩的外部、血池、或高亮度部分中的任一个，并且将未被分类为任何类型的区域中的被检体分类为生物组织。

8.根据权利要求1所述的图像处理装置，其中

所述分类单元包括使用神经网络的分类器。

9.根据权利要求1所述的图像处理装置，其中

所述分类单元包括使用推进算法的机器学习的分类器。

10.根据权利要求2所述的图像处理装置，进一步包括

曝光调整单元，基于关于所述生物图像中被分类为所述生物组织的所述区域的亮度的信息，调整所述医疗成像装置中的曝光。

11.根据权利要求2所述的图像处理装置，进一步包括

焦点调整单元，仅基于所述生物图像中被分类为所述生物组织的所述区域的信息，调整所述医疗成像装置中的焦点。

12.根据权利要求2所述的图像处理装置，进一步包括

模糊校正单元，基于关于生物图像中被分类为所述生物组织的所述区域的移动的信息，来校正所述生物图像中的模糊。

13.根据权利要求1所述的图像处理装置，进一步包括：

图像处理单元，基于所述分类单元的分类结果处理图像，以对与所分类的被检体类型相对应的所述生物图像上的位置进行填充；以及

显示控制单元，控制通过所述图像处理单元进行处理的所述生物图像的显示。

14.根据权利要求13所述的图像处理装置，进一步包括

操作单元，在所显示的生物图像上指定需要重新学习的重新学习范围并且指定表示正确被检体的正确标签，

其中，所述分类单元执行重新学习，以将在所述重新学习范围中的对应于所述正确标签的被检体分类。

15.根据权利要求1所述的图像处理装置，其中

所述生物图像是通过内窥镜装置成像的内窥镜图像。

16.一种图像处理方法，包括以下步骤：

平滑由医疗成像装置通过成像包括生物组织的生物体的内部而生成的生物图像；并且

基于平滑所述生物图像而获得的平滑图像，将包括在所述生物图像中的每个区域中的每个被检体进行分类；

将所述平滑图像的每个像素的像素值转换为明度、色度和亮度；以及

获得所述平滑图像中的所述每个像素的所述亮度的梯度方向和梯度强度，

其中，基于平滑所述生物图像而获得的平滑图像，将包括在所述生物图像中的每个区域中的每个被检体进行分类包括：基于所述明度、所述色度以及所述梯度方向和所述梯度强度，以所述生物图像中的预定尺寸的块为单位将所述生物图像中的被检体进行分类。

17.一种医疗成像系统，包括：

如权利要求1至15中任一项所述的图像处理装置；以及

医疗成像装置，包括成像单元，使所述图像成像。

Images