CN104021391A - 处理超声图像的方法和装置以及乳腺癌诊断设备 - Google Patents

Abstract

提供了一种处理超声图像的方法和装置以及乳腺癌诊断设备。该方法包括：对接收的超声图像进行图像过分割以获得多层结构的分段；从获得的多层结构的分段中提取各分段特征；对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口；将图像特征从检测窗口传递给获得的多层结构的分段；将提取的各分段特征和从检测窗口传递给分段的特征进行联合以对分段分类器进行训练；接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

Description

处理超声图像的方法和装置以及乳腺癌诊断设备

技术领域

本发明涉及处理超声图像。更具体地讲，涉及一种处理超声图像的方法和装置以及乳腺癌诊断设备。

背景技术

乳腺癌在女性癌症致死率中排名第二。目前为止，早期诊断仍然是降低乳腺癌致死率的唯一方法。超声诊断由于其方便，安全和高准确率的特点，已经被广泛地应用于乳腺异常组织的诊断和观测。众所周知，解读超声图像非常依赖医疗专业的知识，有必要设计一个计算机辅助系统，来帮助超声从业者识别肿瘤并勾勒出肿瘤的边界。

超声诊断的原理如下。一束声波由超声探头发出，进入乳腺中，被不同的组织结构吸收或反射。发射波被探头捕获，并由超声设备处理成图像。图1展示了两种典型的乳腺超声图像。一般情况下，在超声图像中进行目标分割要比自然图像中更难，因为1)超声图像的对比度低，且有大量的斑点噪声；2)不同肿瘤在形状和外观上的差异巨大，特别是良性和恶性肿瘤之间；3)存在与肿瘤相类似的正常组织和超声伪像；以及4)肿瘤的边界本身就缺乏明确的定义。

对乳腺超声肿瘤的诊断规则可以总结成以下几个方面。第一、肿瘤和周边区域的回声反射性不同。大多数良性的纤维瘤相对于周边脂肪组织来说是强回声的，而另一部分良性肿瘤以及绝大部分恶性肿瘤都是明显地低回声的。此外，不同的回声反射性也造成了不同的图像纹理。第二、肿瘤的边界和形状。良性肿瘤通常由一个椭圆或多个小叶组成，有一个回声形成的假包膜，恶性肿瘤则可能呈现辐射状，伴有针状或角状的边缘。第三、肿瘤的位置。大多数肿瘤都出现在中乳层，阴影则出现在肿瘤的下方。

这些标准已经以不同的方式被翻译成计算机视觉语言用于计算机辅助诊断系统的设计。然而，这些算法通常需要仔细的初始化，因此不能避免种子区域选择。

发明内容

本发明的目的在于提供一种实现对超声图像中肿瘤组织的自动分割的方法和设备。

根据本发明的一方面，提供了一种处理超声图像的方法，包括：对接收的超声图像进行图像过分割以获得多层结构的分段；从获得的多层结构的分段中提取各分段特征；对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口；将图像特征从检测窗口传递给获得的多层结构的分段；将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

优选地，通过使用规格化切割和k均值聚类来执行图像过分割。

优选地，提取的各分段特征包括：各分段在超声图像中的位置、强度的柱状图、以及从灰度级共生矩阵SGLD得到的纹理描述符。

优选地，通过采用可变形部件模型DPM检测器来对超声图像执行目标对象检测以产生多个检测假定。

优选地，传递给分段的特征包括：检测窗口的原始信息、从分段到其具有最大信任度的检测窗口和最大支持的窗口的距离、检测窗口的扩展特性、检测信任度和扩展的特性的累积强度。

优选地，使用支持矢量机器来训练分段分类器。

优选地，使用最小割/最大流算法来最小化得到的分段的病变结果的结果。

根据本发明的另一方面，提供了一种处理超声图像的装置，包括：图像过分割单元，用于对接收的超声图像进行图像过分割以获得多层结构的分段；分割特征提取单元，用于从获得的多层结构的分段中提取各分段特征；目标对象检测单元，用于对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口；特征传递单元，用于将图像特征从检测窗口传递给获得的多层结构的分段；分段分类单元，用于将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；目标对象获得单元，用于接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

优选地，图像过分割单元通过使用规格化切割和k均值聚类来执行图像过分割。

优选地，其中，提取的各分段特征包括：各分段在超声图像中的位置、强度的柱状图、以及从灰度级共生矩阵SGLD得到的纹理描述符。

优选地，目标对象检测单元通过采用可变形部件模型DPM检测器来对超声图像执行目标对象检测以产生多个检测假定。

优选地，传递给分段的特征包括：检测窗口的原始信息、从分段到其具有最大信任度的检测窗口和最大支持的窗口的距离、检测窗口的扩展特性、检测信任度和扩展的特性的累积强度。

优选地，分段分类单元通过使用支持矢量机器来训练分段分类器。

优选地，目标对象获得单元使用最小割/最大流算法来最小化得到的分段的病变结果的结果。

根据本发明的另一方面，提供了一种乳腺癌诊断设备，包括：图像过分割单元，用于对接收的超声图像进行图像过分割以获得多层结构的分段；分割特征提取单元，用于从获得的多层结构的分段中提取各分段特征；病变检测单元，用于对接收的超声图像进行病变检测以产生过完整的滑动窗口作为检测窗口；特征传递单元，用于将图像特征从检测窗口传递给获得的多层结构的分段；分段分类单元，用于将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；病变获得单元，用于接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的病变结果。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

图1展示了两种典型的乳腺超声图像；

图2是示出根据本发明的处理超声图像的方法的流程图；

图3是示出根据本发明的处理乳腺癌病人的超声图像的方法的流程图；

图4是示出根据本发明的处理超声图像的装置的框图；

图5是示出根据本发明实施例的乳腺癌诊断设备的框图；

图6是示出根据本发明的处理超声图像的方法和装置处理超声图像的示意图；

图7是示出如何计算强度对比度分数以及将特征传递给分段的示意图；

图8是示出通过多种方法的对乳腺超声图像的病变分段结果的视图。

具体实施方式

现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。

图2是示出根据本发明的处理超声图像的方法的流程图。如图2所示，在步骤S201，对接收的超声图像进行图像过分割以获得多层结构的分段。随后，在步骤S202，从获得的多层结构的分段中提取各分段特征。

在步骤S203，对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口。随后，在步骤S204，将图像特征从检测窗口传递给分段。

在步骤S205，将提取的各分段特征和从检测窗口传递给分段的特征进行联合以对分段分类器进行训练。

在步骤S206，接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

根据本发明的处理超声图像的方法可应用于各种超声图像。下面以针对乳腺癌病人的超声图像为例来描述根据本发明实施例的处理超声图像的方法。

图3是示出根据本发明的处理乳腺癌病人的超声图像的方法的流程图。

在步骤S301，对接收的乳腺癌病人的超声图像进行图像过分割以获得多层结构的分段。在本发明实施例中，通过使用规格化切割和k均值聚类(k-means clustering)来执行图像过分割。

具体地讲，可采用由G.Mori提出的分级方法(Mori，G.：Guiding modelsearch using segmentation.In：ICCV，vol.2，pp.1417-1423.IEEE(2005))来实现图像过分割操作。该过分割操作首先采用规格化切割，随后在关于现有边界的假设下通过应用k均值聚类来迭代地构建后面层。规格化切割往往会产生大致相同尺寸的补块，并且k均值聚类算法确保低的强度内部变化。通过上述图像过分割操作，获得一组具有多层结构的分段。来自不同层的特征被收集在一起来增强呈现能力。当然，根据本发明的图像过分割操作也可采用其他较不费时的方法，例如快速移位(quick shift)。

随后，在步骤S302，从获得的多层结构的分段中提取各分段的特征。所述特征包括：各分段在超声图像中的位置、强度的柱状图、以及从灰度级共生矩阵(SGLD)得到的纹理描述符。这里的各分段在超声图像中的位置是指分段重心的坐标(x，y)。强度的柱状图也被称为灰度直方图。

由于所述位置、强度的灰度直方图以及SGLD及其特征对于本领域的技术人员是公知的，因此在此不再进行详细描述。

在步骤S303，对接收的超声图像进行病变检测以产生过完整的滑动窗口作为检测窗口。

这里，通过采用可变形部件模型(DPM)检测器来对超声图像执行病变检测以产生多个检测假定(hypotheses)。DPM检测器为潜在的病变区域产生过完整的滑动窗口。

许多过完整的滑动窗口在非最大化抑制(non-maximum suppression)之后被保留。这时，最大后验概率(MAP)估计通常被应用以选择具有最大信任度的窗口并且丢弃所有的其他窗口。对于超声波图像，该问题变得更加困难，因为相似的组织和组织结构的人为现象的存在，这使得检测信任度不太可靠。因此，在调查内部之前就选择窗口之一作为病变的边界框是有风险的。因此，本发明保留检测的过冗余输出，而不考虑其有效性。换句话说，在本发明中，在应用DPM检测器产生过完整的滑动窗口之后，不应用MAP。

随后，在步骤S304，将图像特征从检测窗口传递给在步骤S301中获得多层结构的分段。

具体地讲，由分段xi接收的特征包括4条，即，f(x_i)＝[f_rect(x_i)，f_dist(x_i)，f_prop(x_i)，f_acc(x_i)]。

f_rect(x_i)＝[g(s_i)，r(s_i)，g(s_m)，r(s_m)]记录了检测窗口的原始信息，包括检测窗口的位置、尺寸和检测信任度。s_i是覆盖x_i的窗口中的最大信任度，g(s_i)＝1/(1+exp(-2s_i))。为了说明方便，我们将具有s_i的检测窗口称为x_i的代理。r(s_i)包含代理的位置和尺寸，这通过图像的格式被规则化。s_m是全图像中的最大成绩。

f_dist(x_i)＝[d(s_i)，d(s_m)]记录了从分段到其代理窗口和最大支持的窗口的距离。由于窗口中的组织通常作为密集的结节出现，因此中心周围的分段最可能继承窗口的特性。d(s_i)＝2/(1+exp(2t))并且t＝max(t_x，t_y)，其中，t_x，t_y是沿x和y轴并且通过窗口的尺寸被规则化的距离。

f_prop(x_i)包含检测窗口的扩展特性。这里，根据本发明的实施例通过应用强度对比度以测量窗口与其周围区域的不同。得分等于强度的直方图之间的卡方(Chi-square)距离。这里，本发明修改了从矩形到椭圆形的区域掩盖，并再次前进到从代理窗口到分段的这些成绩。

f_acc(x_i)记录了检测信任度和扩展的特性的累积强度，也就是，测量覆盖x_i的所有窗口的强度对比度分数以及检测信任度的总强度。

图7是示出如何计算强度对比度分数以及将特征传递给分段的示意图。其中，图(a)示出了超声图像和groundtruth，图(b)示出了前景和背景掩蔽，图(c)示出了具有分数的检测窗口，其中示出了5个检测窗口，具有最高分数的窗口并不是具有最大检测信任度的窗口。图(d)示出了分段的分数图。

在步骤S305，将提取的各分段特征和从检测窗口传递给分段的特征进行联合以对分段分类器进行训练。例如，可使用支持矢量机器来训练分段分类器。

可通过如下的操作来实现所述联合：

设X＝[x1，x2，x3]；Y＝[y1，y2，y3]；

X和Y的联合得到Z，即Z＝[x1，x2，x3，y1，y2，y3]。

在步骤S306，接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的病变结果。

下面来详细地描述CRF模型。如等式(1)所示。其中，x表示是否给病变打上标签的随机变量的集合，E表示连接每对节点的边缘的集合。典型的成对CRF被模型化为一元电压Ψ与成对电压的总和，可通过等式1的形式来最小化能量函数：

$E\left(C\right|X)=\underset{x_i\∈X}{\mathrm{\Σ}}\mathrm{\ψ}\left(c_i\right|x_i)+\mathrm{\μ}\underset{(x_i,x_j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}\mathrm{\φ}(c_i,c_j|x_i,x_j),---\left(1\right)$

其中，c_i表示节点x_i的标签(即，病变或非病变)。

基于由分段分类器的输出给定的概率来定义CRF模型中的一元电压Ψ：Ψ(c_i|x_i)＝-log(P(c_i|x_i))。成对电压被定义为：

$\mathrm{\φ}(c_i,c_j|x_i,x_j)=\exp (-\frac{{\left|\right|h_i-h_j\left|\right|}^2}{2{\mathrm{\σ}}^2}L(x_i,x_j))\mathrm{\δ}(c_i\≠c_j),---\left(2\right)$

其中，||h_i-h_j||是强度的两个直方图之间的距离，L(x_i，x_j)是共享的边界的强度，当x_i和x_j不接近时，L(x_i，x_j)被设置为无穷大。δ(π)是布尔表达式，当取π时得1，否则得0。

在根据本发明的示例性实施例中，可使用最小割/最大流算法来最小化等式1的E的值。

根据本发明的处理超声图像的方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质中。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带)；光学介质(例如CD-ROM和DVD)；磁光介质(例如，光盘)；以及特别配制用于存储并执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。

与根据本发明的超声图像处理方法一样，根据本发明的处理超声图像的装置可应用于各种超声图像。图4是示出根据本发明的处理超声图像的装置的框图。

根据本发明的处理超声图像的装置包括：图像过分割单元401、分割特征提取单元402、目标对象检测单元403、特征传递单元404、分段分类单元405和目标对象获得单元406。

图像过分割单元401用于对接收的超声图像进行图像过分割以获得多层结构的分段。

分割特征提取单元402用于从图像过分割单元401获得的多层结构的分段中提取各分段特征。

目标对象检测单元403用于对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口。

特征传递单元404用于将图像特征从检测窗口传递给分段。

分段分类单元405用于将提取的各分段特征和从检测窗口传递给分段的特征进行联合以对分段分类器进行训练。

目标对象获得单元406接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

下面仅以针对乳腺癌病人的超声图像为例来描述根据本发明的乳腺癌诊断设备。

图5是示出根据本发明实施例的乳腺癌诊断设备的框图。

如图5所示，根据本发明的处理超声图像的装置包括：图像过分割单元501、分割特征提取单元502、病变检测单元503、特征传递单元504、分段分类单元505和病变获得单元506。

图像过分割单元501用于对接收的超声图像进行图像过分割以获得多层结构的分段。

分割特征提取单元502用于从图像过分割单元401获得的多层结构的分段中提取各分段特征。

病变检测单元503用于对接收的超声图像进行病变检测以产生过完整的滑动窗口作为检测窗口。

特征传递单元504用于将图像特征从检测窗口传递给分段。

分段分类单元505用于将提取的各分段特征和从检测窗口传递给分段的特征进行联合以对分段分类器进行训练。

病变获得单元506接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的病变结果。

应该理解，本发明的处理超声图像的方法和装置不仅能够处理乳腺癌病人的超声图像，并且能够处理其他组织病变的超声图像。

根据本发明的处理超声图像的方法可应用于计算机辅助诊断系统中来对人体组织的超声图像进行分析。

图6是示出根据本发明的处理超声图像的方法和装置处理超声图像的示意图。

如图6所示，该处理以逆时针方式进行描述。其中，第一排中的左图为乳腺超声图，第一排中的右图为通过本发明得到的病变分割结果，第二排中第一副图为过分割图，第二排中第二幅图为病变检测图，其中的矩形框为检测窗口，第二排中第三幅图为分类的信任度图。

根据本发明的处理超声图像的方法和装置将图像过分割和肿瘤检测器提供的特征信息进行融合来确定肿瘤的轮廓，从而实现对超声图像中肿瘤组织的自动分割。

图8是示出通过多种方法的对乳腺超声图像的病变分段结果的视图。上面的4行是良性肿瘤的情况，下面的4行是恶性肿瘤的情况。其中，在图中分别示出了肿瘤的轮廓。在第3列中显示出具有最大信任度的DPM的检测窗口。注意DPM检测器工作在DPM-Levelset以及本发明中。当在第4和最后的情况中失败时，本发明可忽略检测错误并且由于现有技术中的其他算法(如图8中的Fulkerson09、和DPM-Levelset)，从以下的表1可以看出。

表1

	Fulkerson09	DPM-Levelset	本发明
				Average Jaccard	0.57±0.24	0.69±0.26	0.75±0.17
Median Jaccard	0.65	0.76	0.81

尽管已经参照本发明的实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (15)

1.一种处理超声图像的方法，包括：

对接收的超声图像进行图像过分割以获得多层结构的分段；

从获得的多层结构的分段中提取各分段特征；

对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口；

将图像特征从检测窗口传递给获得的多层结构的分段；

将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；

接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

2.如权利要求1所述的方法，其中，通过使用规格化切割和k均值聚类来执行图像过分割。

3.如权利要求1所述的方法，其中，提取的各分段特征包括：各分段在超声图像中的位置、强度的柱状图、以及从灰度级共生矩阵SGLD得到的纹理描述符。

4.如权利要求1所述的方法，其中，通过采用可变形部件模型DPM检测器来对超声图像执行目标对象检测以产生多个检测假定。

5.如权利要求1所述的方法，其中，传递给分段的特征包括：检测窗口的原始信息、从分段到其具有最大信任度的检测窗口和最大支持的窗口的距离、检测窗口的扩展特性、检测信任度和扩展的特性的累积强度。

6.如权利要求1所述的方法，其中，使用支持矢量机器来训练分段分类器。

7.如权利要求1所述的方法，其中，使用最小割/最大流算法来最小化得到的分段的病变结果的结果。

8.一种处理超声图像的装置，包括：

图像过分割单元，用于对接收的超声图像进行图像过分割以获得多层结构的分段；

分割特征提取单元，用于从获得的多层结构的分段中提取各分段特征；

目标对象检测单元，用于对接收的超声图像进行目标对象检测以产生过完整的滑动窗口作为检测窗口；

特征传递单元，用于将图像特征从检测窗口传递给获得的多层结构的分段；

分段分类单元，用于将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；

目标对象获得单元，用于接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的目标对象。

9.如权利要求8所述的装置，其中，图像过分割单元通过使用规格化切割和k均值聚类来执行图像过分割。

10.如权利要求8所述的装置，其中，提取的各分段特征包括：各分段在超声图像中的位置、强度的柱状图、以及从灰度级共生矩阵SGLD得到的纹理描述符。

11.如权利要求8所述的装置，其中，目标对象检测单元通过采用可变形部件模型DPM检测器来对超声图像执行目标对象检测以产生多个检测假定。

12.如权利要求8所述的装置，其中，传递给分段的特征包括：检测窗口的原始信息、从分段到其具有最大信任度的检测窗口和最大支持的窗口的距离、检测窗口的扩展特性、检测信任度和扩展的特性的累积强度。

13.如权利要求8所述的装置，其中，分段分类单元通过使用支持矢量机器来训练分段分类器。

14.如权利要求8所述的装置，其中，目标对象获得单元使用最小割/最大流算法来最小化得到的分段的病变结果的结果。

15.一种乳腺癌诊断设备，包括：

图像过分割单元，用于对接收的超声图像进行图像过分割以获得多层结构的分段；

分割特征提取单元，用于从获得的多层结构的分段中提取各分段特征；

病变检测单元，用于对接收的超声图像进行病变检测以产生过完整的滑动窗口作为检测窗口；

特征传递单元，用于将图像特征从检测窗口传递给获得的多层结构的分段；

分段分类单元，用于将提取的各分段特征和从检测窗口转移到分段的特征进行联合以对分段分类器进行训练；

病变获得单元，用于接收分段分类器的输出以将一元电压提供给成对的条件随机域CRF模型以得到分段的病变结果。