CN101847260B - 图像处理设备和图像处理方法 - Google Patents

Abstract

公开了一种图像处理设备、图像处理方法以及程序。图像处理设备识别组织图像的各个部分中的组织。组织图像细分器将用于识别的组织图像细分成局部区域。检测器检测局部区域的纹理特征值。确定单元将检测出的局部区域的纹理特征值与学习到的与预定组织相关联的用于识别的特征值相比较，并且基于比较结果确定局部区域是否属于预定组织。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备、图像处理方法以及程序。更具体地，本发明涉及优选地用于对通过断层摄影术(tomography)从机体获取的组织图像进行分析，并识别组织图像中的诸如脑、肝脏、肠道、以及骨头之类的各种部分的位置的图像处理设备、图像处理方法和程序。 

背景技术

存在诸如X射线CT(计算机断层摄影术)、MRI(磁共振成像)、以及FMRI(功能型磁共振成像)之类的多种无需切割而获取物体的内部图像的技术。这些技术尤其被用于医学领域，以对人(即，病人)进行剖面成像，然后从作为结果而获取的剖面图像(即，断层图像)中识别出病灶。 

最初，医生或其他人使用他或者她的经验作为识别组织图像或其他断层图像中的哪些位置属于特定组织(诸如，脑、肝脏、肠道以及骨头)的基础。也存在用于自动化识别的方法，其中组织轮廓和纹理(即，图像中的图案)被预先登记，并被与识别目标的组织图像进行比较。(例如，参见日本未审查专利申请公开No.2004-8419)。 

发明内容

这里，当如上述方法中那样使用组织轮廓时，组织轮廓会随着断层面的位置(即，特定切片的位置)而显著变化。所以，将被识别的组织图像的断层面的位置变得有限。 

另外，组织轮廓可能会由于机体中的个体差异而不同。在诸如骨头的组织的情况下，这种轮廓变得不一致。基于这种和其他原因，上述方法在一些情况下是不适用的，组织图像中的各个部分可能不能被正确识别。 

鉴于这种情况，希望提供能够将组织的纹理特征用作正确识别组织图像的各个部分属于哪个组织的基础的装置。 

根据本发明实施例的图像处理设备被配置为识别组织图像的各个部分中的组织，该设备包括：细分装置，被配置为将用于识别的组织图像细分成局部区域；检测装置，被配置为检测局部区域的纹理特征值；以及确定装置，被配置为将检测出的局部区域的纹理特征值与学习到的与预定组织相关联的用于识别的特征值相比较，并且基于比较结果确定局部区域是否属于预定组织。 

图像处理设备还可以包括：学习装置，被配置为学习与预定组织相关联的用于识别的特征值。 

学习装置可以包括：指定装置，被配置为针对学习组织图像中的属于预定组织的部分，指定局部区域；第一提取装置，被配置为从学习组织图像提取预定大小的像素块，各个像素块以指定局部区域中各个像素为中心；第一编码装置，被配置为对于每个提取的像素块，使得属于该像素块的多个像素的像素值被编码为多种可能的码模式之一；第一生成装置，被配置为针对每个指定局部区域生成局部区域矩形图，局部区域矩形图指示编码后的码模式各自的出现频率；以及计算装置，被配置为应用使用所生成的局部区域矩形图的统计学习来计算特征值矩形图，以用作与预定组织相关联的用于识别的特征值。 

检测装置可以包括：第二提取装置，被配置为从用于识别的组织图像提取预定大小的像素块，每个像素块以用于识别的组织图像被细分成的局部区域之一中的各个像素为中心；第二编码装置，被配置为对于每个提取的像素块，使得属于该像素块的多个像素的像素值被编码为多种可能的码模式之一；以及第二生成装置，被配置为针对每个指定局部区域生成局部区域矩形图，局部区域矩形图指示编码后的码模式各自的出现频率，并且被生成用作该局部区域的纹理特征值。 

第一和第二编码装置还可以被配置为利用LBP(局部二进制模式)将属于给定像素块的多个像素的像素值编码为多种可能的码模式之一。 

计算装置还可以被配置为应用使用所生成的局部区域矩形图的 AdaBoost学习来计算特征值矩形图，以用作与预定组织相关联的用于识别的特征值。 

组织图像可以是虚拟切片。 

根据本发明另一实施例的图像处理方法在被配置为识别组织图像的各个部分中的组织的图像处理设备中执行。该方法包括以下步骤：将用于识别的组织图像细分成局部区域；检测局部区域的纹理特征值；以及将检测出的局部区域的纹理特征值与学习到的与预定组织相关联的用于识别的特征值相比较，并且基于比较结果确定局部区域是否属于预定组织。 

根据本发明的另一实施例的程序是用于被配置为识别组织图像的各个部分中的组织的图像处理设备的控制程序。该程序使得图像处理设备的计算机执行以下步骤：将用于识别的组织图像细分成局部区域；检测局部区域的纹理特征值；以及将检测出的局部区域的纹理特征值与学习到的与预定组织相关联的用于识别的特征值相比较，并且基于比较结果确定局部区域是否属于预定组织。 

在本发明的实施例中，将需要识别的组织图像细分成局部区域，针对局部区域检测纹理特征值，并且将检测出的局部区域纹理值与学习到的与预定组织相关联的用于识别的特征值相比较。基于比较结果，确定给定局部区域是否属于预定组织。 

根据本发明的实施例，可以精确地识别出组织图像的各个部分所属的组织。 

附图说明

图1是概括示出采用了本发明实施例的基于学习的识别设备的操作的示意图； 

图2是被用作学习样本图像的组织图像的简要示意图； 

图3是示出基于学习的识别设备的示例性配置的框图； 

图4是用于说明表示纹理特征的8比特编码的示意图； 

图5是示出局部区域的一个示例的矩形图； 

图6是说明使用局部区域矩形图的加权学习的示意图； 

图7是示出位置约束参数的示意图； 

图8是说明学习处理的流程图； 

图9是说明识别处理的流程图；以及 

图10是示出通用计算机的示例性配置的框图。 

具体实施方式

下文中，将参考附图详细描述用于实现本发明的优选实施例(下文中称为实施例)。描述将按照以下顺序进行。 

1.第一实施例 

<1.第一实施例> 

[基于学习的识别设备的示例性配置] 

图1是概括示出根据本发明实施例的基于学习的识别设备的操作的示意图。基于被提供作为学习样本图像的组织图像，基于学习的识别设备10学习组织(诸如，脑、肝脏、肠道以及骨头)的纹理特征。基于学习结果，基于学习的识别设备10识别在作为识别目标图像输入的组织图像中哪些坐标属于哪些组织。 

这里，被用作学习样本图像和识别目标图像的组织图像被假设为虚拟切片。然而，通过X射线CT、MRI、FMRI或其他手段获得的剖面图像也可以被用作在这里作为学习样本图像和识别目标图像使用的组织图像。 

图2以简要的形式示出了被用作学习样本图像的组织图像。这里的组织图像示出了小鼠的横断面切片。学习样本图像被以如下状态提供，其中各个位置处的组织(在图2的情况下，脑、肝脏、肠道以及骨头)已经被一个或多个人预先识别出来。 

图3示出了基于学习的识别设备10的示例性配置。基于学习的识别设备10可以分成基于学习样本图像而学习组织的纹理特征的学习单元11和对识别目标图像中的各个位置所属的组织进行识别的识别单元21。 

[学习单元11的详细示例性配置] 

学习单元11包括局部区域指定器12、块提取器13、编码器14、矩形图生成器15以及统计学习单元16。 

局部区域指定器12从学习样本图像中针对一个部分选择局部区域，该部分的组织将被识别。这里，局部区域的大小是由识别精度确定的，而识别精度又取决于识别单元21和组织图像的分辨率。在下文的描述中，局部区域大小为64×64像素，但是局部区域大小不限于此。 

属于学习样本图像中的局部区域的每个像素被块提取器13顺序指定作为中心像素。块提取器13然后提取以每个中心像素为中心的像素块。下文中，像素块被描述为3×3大小的块，但是像素块大小不限于此。 

编码器14使用LBP(局部二进制模式)将给定像素块中的像素值编码为8比特码。这个8比特码被用作表示被提取的像素块的纹理特征的指标。更具体地，除了中心像素以外的像素块中的8个像素的像素值被与中心像素的像素值相比较。至少等于中心像素像素值的像素值被编码为1，而小于中心像素像素值的像素值被编码为0。然后，编码值被以预定的方式排序，以生成8比特码。关于LBP的更多信息，例如参见T.Ojala，M.Pietikainen以及T.Maenpaa的“Multiresolution gray-scale and rotationinvariant texture classification with Local Binary Patterns”，IEEETransactions on Pattern Analysis and Machine Intelligence 24(7)，971-987。 

显然，当使用3×3像素以外的像素块大小时，所生成的码的比特长度可以大于或小于8比特。例如，在4×4像素块的情况下，15比特码可被生成。在5×5像素块的情况下，24比特码可被生成。 

图4示出了由编码器14执行的8比特编码的示例。在图4中所示的示例中，除中心像素以外的像素块中的8个像素的像素值分别是(按照从左上方开始的顺时针的顺序)142、154、168、129、125、161、167以及160。在这种情况下，中心像素的像素值是163，所以像素值被编码为8比特码01000100。 

结果，每局部区域4096(＝64×64)个8比特码被获取。 

对于每个局部区域，矩形图生成器15生成指示每个码模式的发生次数的矩形图(下文中，这种矩形图被称为局部区域矩形图)。 

图5示出了这样生成的局部区域矩形图的示例。 

然而，当对于8比特码存在256种可能的码模式时，原样地使用这样 的码模式将导致随后将要描述的识别处理中的256阶计算(256th ordercomputation)。因此，码模式的数目从256开始减少。 

例如，T.Ojala，M.Pietikainen以及T.Maenpaa的“Multiresolutiongray-scale and rotation invariant texture classification with Local BinaryPatterns”陈述了以下内容：可能的256种8比特码模式中仅有的实际有效的8比特码模式是单个8比特码中具有不超过2个比特反转(010，101)的58种模式(这种模式被称为统一模式)。 

所以，本实施例没有被配置为生成256种码模式的矩形图，而是被配置为生成58种统一模式的矩形图，如图5中所示。这样，纹理特征值的精度被改善，同时下文中将要描述的识别处理的复杂度将从256阶计算减少到58阶计算。 

减少的码模式的数目不限于58，并且可以是等于或少于总数256的任意数目。 

统计学习单元16通过使用加权加法生成每个组织的特征值矩形图，以对已经被识别的每个组织的局部区域矩形图进行标准化(normalize)(即，AdaBoost学习)。 

图6示出了生成肠道的特征值矩形图的情况。生成肠道的特征值矩形图涉及使用学习样本图像中已经被识别为肠道的多个局部区域的各个局部区域矩形图、以及已经被识别为肠道以外的其他组织的多个局部区域的各个局部区域矩形图。然后，肠道局部区域矩形图被利用正数(诸如，+1)进行加权，而非肠道局部区域矩形图被利用负数(诸如，-1)进行加权。然后，所有局部区域矩形图被加在一起，并被标准化。 

对于诸如脑、肝脏和骨头的其他组织，类似地生成特征值矩形图。针对每个组织如此生成的特征值矩形图被存储在识别单元21的特征值矩形图存储单元27中。 

[识别单元21的详细示例性配置] 

识别单元21包括局部区域细分器22、块提取器23、编码器24、矩形图生成器25、确定单元26以及特征值矩形图存储单元27。 

局部区域细分器22将识别目标图像细分成局部区域。所得到的局部 区域的大小与局部区域指定器12的大小一致，并且可以是，例如64×64像素。 

属于已经由识别目标图像细分成的局部区域之一的每个像素被块提取器23顺序指定作为中心像素。块提取器23然后提取以每个中心像素为中心的3×3像素块。 

类似于编码器14，编码器24使用LBP将每个所提取的像素块中(除中心像素以外)的像素的像素值编码为8比特码。类似于矩形图生成器15，矩形图生成器25生成每个局部区域的局部区域矩形图，并对每个局部区域的局部区域矩形图进行标准化，其中局部区域矩形图指示每个码模式发生的次数。 

确定单元26计算存储在特征值矩形图存储单元27中的每个组织的特征值矩形图(即，58维向量)和从矩形图生成器25输入的识别目标图像中的每个局部区域的局部区域矩形图(即，58维向量)之间的欧几里得(Euclidean)距离。另外，确定单元26基于欧几里得距离是否等于或小于预定阈值来确定识别目标图像的每个局部区域中的组织。例如，如果局部区域与肠道特征值矩形图的欧几里得距离等于或小于预定阈值，则该局部区域被确定为肠道。 

另外，确定单元26通过采用位置约束参数对识别结果进行校正。这里，位置约束参数是针对识别目标图像中的位置(即，区域)由用户定义的，并且指定在那个位置可能存在的组织，或者相反，指定在那个位置不可能存在的组织。例如，在图7中，指定仅有脑可能存在于头部区域中，而仅有骨头可能存在于腿部附近。 

[操作的描述] 

现在将描述基于学习的识别设备10的操作。 

图8是说明基于学习的识别设备10执行的学习处理的流程图，这里示出了学习肠道纹理的情况。 

在步骤S1，局部区域指定器12从学习样本图像指定被识别为肠道的多个部分的局部区域，并且向块提取器13发布结果。另外，局部区域指定器12从学习样本图像指定被识别为非肠道的多个部分的局部区域，并 且向块提取器13发布结果。 

在步骤S2，块提取器13顺序指定属于学习样本图像中的局部区域的每个像素作为中心像素。对于每个所选择的中心像素，块提取器13提取以中心像素为中心的3×3像素块，并且向编码器14输出所提取的像素块。 

在步骤S3，编码器14使用LBP将每个像素块中的像素值编码为8比特码，并且向矩形图生成器15输出所得到的8比特码。 

在步骤S4中，矩形图生成器15生成每个局部区域的局部区域矩形图，其中局部区域矩形图指示每个码模式发生的次数。 

在步骤S5，统计学习单元16利用正数(诸如，+1)对肠道局部区域矩形图进行加权，并且利用负数(诸如，-1)对非肠道局部区域矩形图进行加权。然后，统计学习单元16将所有局部区域矩形图叠加在一起并对其进行标准化，从而生成肠道纹理的特征值矩形图。这样，通过使用加权学习，具有更少的错误检测的高度可靠的特征值矩形图可以被生成。 

另外，统计学习单元16向识别单元21的特征值矩形图存储单元27提供这样生成的肠道纹理特征值矩形图。 

应该理解，诸如脑、肝脏和骨头之类的其他部分的特征值矩形图被类似地生成，并且被提供给特征值矩形图存储单元27。前面描述了学习处理。 

图9是说明基于学习的识别设备10执行的识别处理的流程图。 

在步骤S11，局部区域细分器22将识别目标图像细分成局部区域。在步骤S12，块提取器23顺序指定属于识别目标图像已经被细分成的局部区域之一的每个像素作为中心像素。然后，块提取器23提取以每个中心像素为中心的3×3像素块。 

在步骤S13，编码器24使用LBP将每个所提取的像素块的像素值编码为8比特码。在步骤S14，矩形图生成器25生成并标准化每个局部区域的局部区域矩形图，其中局部区域矩形图指示每个码模式发生的次数。 

在步骤S15，确定单元26计算存储在特征值矩形图存储单元27中的每个组织的特征值矩形图(即，58维向量)和从矩形图生成器25输入的 识别目标图像中的每个局部区域的局部区域矩形图(即，58维向量)之间的欧几里得距离。另外，确定单元26基于欧几里得距离是否等于或小于预定阈值，来确定识别目标图像的每个局部区域中的组织。例如，如果局部区域与肠道特征值矩形图的欧几里得距离等于或小于预定阈值，则该局部区域被确定为肠道。 

在步骤S16，确定单元26通过应用位置约束参数对识别结果进行校正。通过这种校正，识别精度被改善。以上描述了识别处理。 

如上所述，根据基于学习的识别设备10，组织图像的各个部分的纹理可以被用作精确识别这些组织的基础。另外，根据基于学习的识别设备10，各个部分的组织可以从图像中识别出来，所述图像不限于组织图像的断层图像。 

根据本发明实施例的基于学习的识别设备10可以应用于，例如医学领域。作为另一个示例，这种设备还可以被用来识别食用肉品的瘦肉和肥肉部分，并且使用其比例作为检查肉品质量的基础。 

应该理解，前述一系列处理可以通过硬件或软件执行。在通过软件执行的情况下，组成这种软件的程序可以被从程序记录介质安装到构建在专用硬件中的计算机上。可替代地，该程序可以被从程序记录介质安装到通用个人计算机或者能够通过安装其上的各种程序来执行各种功能的类似设备上。 

图10是示出通过程序执行前述一系列处理的计算机的示例性硬件配置的框图。 

在计算机100中，CPU(中央处理单元)101、ROM(只读存储器)102以及RAM(随机存取存储器)103通过总线104相互连接。 

连接至总线104的还有输入/输出接口105。输入/输出接口105被连接至以下单元：可以包括诸如键盘、鼠标和麦克风之类的装置的输入单元106、可以包括诸如显示器和一个或多个扬声器之类的装置的输出单元107、可以包括诸如硬盘和非易失性存储器之类的部件的存储单元108、可以包括诸如网络接口之类的部件的通信单元109、以及驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质111的驱动器110。 

在如上所述配置的计算机中，前述的一系列处理可以被执行作为例如以下处理的结果：CPU 101经由输入/输出接口105和总线104将存储在存储单元108中的程序装载到RAM 103中，然后执行程序。 

由计算机执行的程序可以是这样的程序，其中处理步骤以根据本说明书中描述的顺序的时间顺序被执行。然而，也应该理解，程序还可以是这样的程序，其中处理步骤被并行或以适当的时序(例如，在被调用时)执行。 

另外，程序可以被设计为在单个计算机上被处理，或者被由多个计算机以分布的方式处理。并且，程序也可以被传输，以在远程计算机上执行。 

另外，在本说明书中，采用系统来表示由多个设备组成的设备的总体。 

应该理解，本发明的实施例不限于前面描述的实施例，并且在不脱离本发明的范围和精神的条件下可以进行各种修改。 

本申请包括与于2009年3月25日在日本专利局递交的日本优先权专利申请JP 2009-073143公开的内容有关的主题，该专利申请的全部内容通过参考被结合于此。 

本领域技术人员应该理解，只要处于所附权利要求及其等同物的范围之内，可以根据设计要求和其他因素而进行各种修改、结合、次结合以及改变。 

Claims (6)

1.一种图像处理设备，被配置为识别组织图像的各个部分中的组织，所述设备包括：

学习装置，被配置为学习与预定组织相关联的用于识别的特征值；

细分装置，被配置为将用于识别的组织图像细分成局部区域；

检测装置，被配置为检测所述局部区域的纹理特征值；

确定装置，被配置为将检测出的局部区域的纹理特征值和通过所述学习装置学习到的与预定组织相关联的用于识别的特征值相比较，并基于比较结果确定所述局部区域是否属于所述预定组织，

其中所述学习装置包括：

指定装置，被配置为针对学习组织图像中属于预定组织的部分，指定局部区域；

第一提取装置，被配置为从所述学习组织图像提取预定大小的像素块，每个像素块以指定局部区域中相应的一个像素为中心；

第一编码装置，被配置为对于每个提取的像素块，使得属于该像素块的多个像素的像素值被编码为多种可能的码模式之一；

第一生成装置，被配置为针对每个指定的局部区域生成局部区域矩形图，所述局部区域矩形图指示所述编码后的码模式各自的出现频率；以及

计算装置，被配置为应用统计学习来计算特征值矩形图，以用作所述与预定组织相关联的用于识别的特征值，所述统计学习使用了所生成的局部区域矩形图。

2.根据权利要求1所述的图像处理设备，其中所述检测装置包括：

第二提取装置，被配置为从所述用于识别的组织图像提取预定大小的像素块，每个像素块以所述用于识别的组织图像被细分成的局部区域之一中相应的一个像素为中心；

第二编码装置，被配置为对于每个提取的像素块，使得属于该像素块的多个像素的像素值被编码为多种可能的码模式之一；以及

第二生成装置，被配置为针对每个指定的局部区域生成局部区域矩形图，所述局部区域矩形图指示所述编码后的码模式各自的出现频率并被生成以用作所述局部区域的纹理特征值。

3.根据权利要求1或2所述的图像处理设备，其中，

所述第一和第二编码装置利用局部二进制模式LBP将属于给定像素块的多个像素的像素值编码为多种可能的码模式之一。

4.根据权利要求1或2所述的图像处理设备，其中

所述计算装置应用AdaBoost学习来计算特征值矩形图，以用作所述与预定组织相关联的用于识别的特征值，所述AdaBoost学习使用了所生成的局部区域矩形图。

5.根据权利要求1或2所述的图像处理设备，其中

所述组织图像是虚拟切片。

6.一种在图像处理设备中执行的图像处理方法，所述图像处理设备被配置为识别组织图像的各个部分中的组织，所述方法包括以下步骤：

学习与预定组织相关联的用于识别的特征值；

将用于识别的组织图像细分成局部区域；

检测所述局部区域的纹理特征值；以及

将检测到的局部区域的纹理特征值和学习到的与预定组织相关联的用于识别的特征值相比较，并且基于比较结果确定所述局部区域是否属于所述预定组织，

其中所述学习步骤包括：

针对学习组织图像中属于预定组织的部分，指定局部区域；

从所述学习组织图像提取预定大小的像素块，每个像素块以指定局部区域中相应的一个像素为中心；

对于每个提取的像素块，使得属于该像素块的多个像素的像素值被编码为多种可能的码模式之一；

针对每个指定的局部区域生成局部区域矩形图，所述局部区域矩形图指示所述编码后的码模式各自的出现频率；以及

应用统计学习来计算特征值矩形图，以用作所述与预定组织相关联的用于识别的特征值，所述统计学习使用了所生成的局部区域矩形图。

Images