CN103455821B - 基于bi-rads的图像分析装置和方法 - Google Patents

Abstract

提供一种基于BI‑RADS(乳腺影像报告与数据系统)的图像分析装置和方法，其中，通过从乳腺超声波影像中的病变轮廓提取各种特征并对每个特征类下的各种特征进行融合来基于BI‑RADS确定病变组织的分类级别。

Description

基于BI-RADS的图像分析装置和方法

技术领域

本申请涉及一种基于BI-RADS(乳腺影像报告与数据系统)的图像分析装置和方法，通过从乳腺超声波影像中的病变轮廓作为目标区域，提取各种特征并对每个特征类下的各种特征进行融合，从而基于BI-RADS确定病变组织的分类级别的图像分析装置和方法。

背景技术

乳腺癌是女性的第二大杀手，而早期检测是降低死亡率(40％或以上)的关键。超声波越来越多地作为乳房X光检查(X射线)的补充诊断测试被用于乳腺成像，当乳房X光检查可能发生敏感性降低时或者当乳房X光检查存在不可接受的辐射危险时，其本身也作为第一线成像技术被使用。因此，计算机辅助诊断(CAD)系统可以帮助缺乏经验的医生来避免误诊，在不误诊癌症的前提下减少良性病变活检的数量，并且减少各种检测的变化。

目前，大多数系统肿瘤注重检测，而不太注重肿瘤分类。当前的技术存在三个主要问题。首先，病变分类系统大多数是基于经验的，也就是说，不同的特征根据不同的超声图像设不同阈值，不同的研究人员采用不同的标准。第二，采用如图1所示的传统病变分类系统构架提取的特征相对较少，不足以确证病变的级别。其次，病变的评估不明确，也不完全。传统的病变分类级别仅包括良性、恶性以及不确定三个级别。

发明内容

本发明的目的在于提供一种通过从乳腺超声波影像中的病变轮廓提取各种特征并对每个特征类下的各种特征进行融合来确定病变的分类级别的基于BI-RADS的图像分析装置和方法。

根据本发明的一方面，提供一种种基于BI-RADS乳腺影像报告与数据系统的图像分析装置，包括：影像获取单元，用于获取影像；区域识别单元，用于使用预定识别算法识别所述影像中的目标区域；特征提取单元，用于对 所述目标区域进行至少一个特征类的至少一个特征的计算；特征融合单元，用于使用训练方法对计算的每个特征类的全部特征进行特征融合，并计算每个特征类的特征融合的敏感性和特异性；分类确定单元，用于根据计算的敏感性和特异性，基于BI-RADS确定目标区域的分类级别。

影像获取单元可从与计算机连接的超声波成像设备获取所述影像。

所述至少一个特征类可包括形状类、方向类、边缘类、边界类、回声模式类和后方回声类特征中的至少一个类。

所述训练方法可以是支持向量机(SVM)、决策树、Adaboosting算法、Naivebayes之一。

特征提取单元可根据以下公式分别计算每个特征类的敏感性和特异性：

Sensi＝TP/(TP+FN)

Speci＝TN/(TN+FP)

其中，Sensi是特征类的敏感性，Speci是特征类的特异性，TP表示正样本正确地分类为正样本的个数，TN表示负样本正确地分类为负样本的个数，FP表示正样本错误地分类为负样本的个数，FN表示负样本错误地分类为正样本的个数。

所述形状类特征可包括表示目标区域的形状和与其拟合椭圆之间的S_v特征、目标区域与其拟合椭圆的周长比、目标区域中凸点和凹点的个数和小叶片特征LI，

可通过以下公式计算S_v特征：

其中，P是目标区域边界上的像素点，LB为目标区域边界上的像素的个数；

可通过以下公式计算小叶片特征LI：

其中，A_max和A_min分别表示目标区域中面积最大和最小的分叶，A_i表示目标区域中的第i个分叶，N为分叶的个数。

所述方向类特征可包括目标区域的拟合椭圆的方向、拟合椭圆的长短轴的比、目标区域的最小外接矩形的长宽比。

边缘类特征可包括目标区域小叶片的个数和表示目标区域固体结表面的交替回声直线的M_s特征，

可通过以下公式计算M_s特征：

其中，R(ω)是r(θ)的傅里叶变换，r(θ)是目标区域结影像边界的极坐标表示。

边界类特征可包括LB特征和ILB特征，

可通过以下公式计算所述LB特征：

LB_D＝avg_Tissue-Avg_Mass

其中，P是目标区域的像素，I(P)是像素P的灰度，N_Tissue表示目标区域外且距离边界为1个像素的组织的像素点的个数，avg_Tissue表示其平均灰度，N_Mass表示目标区域内且距离边界为1个像素的所有像素点的个数，avg_Mass表示其平均灰度；

可通过以下方法计算所述ILB特征：首先，将拟合椭圆的中心设置为目标区域区域的中心；然后，将目标区域分成每个为1°的360个小扇形区域，并且计算目标区域内和目标区域外的平均灰度，用以下公式计算ILB：

其中，S₁是目标区域内的平均灰度，S₂是目标区域外的平均灰度。

回声模式类特征可包括目标区域块的平均灰度特征EP_I、目标区域块的灰度变化特征EP_AG以及空间灰度共生矩阵(SGLD)特征，

可通过以下公式计算EP_I：

其中，P是目标区域中的像素，I(P)是像素P的灰度，N_Mass表示目标区 域块中像素的个数；

可通过以下公式计算EP_AG：

G_X和G_Y分别是像素P(x，y)在X方向和Y方向上的索贝尔梯度。

后方回声类特征可包括表示目标区域与其后方区域灰度差的PS_D特征、表示目标区域和其后方区域直方图差的PS_H特征以及PS_M特征，

可通过以下公式计算所述PS_D特征：

PS_D＝avg_PA-EP_I

其中，I(P)是所述后方区域中像素P的灰度，N_PA表示其像素点的个数；

可通过以下公式计算PS_H特征：

PS_H＝hist(I_mass)-hist(I_PA)

hist(I_mas)和hist(I_PA)分别是目标区域块与其后方区域灰度直方图的差。

可通过以下公式计算PS_M特征：

PS_M＝min{(mean(post)一mean(left))，(mean(post)一mean(right))}

其中left、post和right分别表示目标区域的后左方、后方以及后右方区域，mean函数分别计算这些区域的平均灰度值。

根据本发明的另一方面，提供一种基于BI-RADS乳腺影像报告与数据系统的图像分析方法，包括：获取乳腺超声波影像；使用预定识别算法识别所述影像中的目标区域；对所述目标区域进行至少一个特征类的至少一个特征的计算；使用训练方法对计算的每个特征类的全部特征进行特征融合，并计算每个特征类的特征融合的敏感性和特异性；根据计算的敏感性和特异性，基于BI-RADS确定目标区域的分类级别。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将变得更加清楚，其中：

图1是示出传统的病变分类系统的示意图；

图2A是示出根据本发明的图像分析装置的结构的框图；

图2B是示出根据本发明的图像分析方法的流程图；

图3是示出根据本发明从目标区域提取ILB特征的示意图；

图4是示出根据本发明从目标区域提取PS_H特征的示意图；

图5是示出根据本发明从目标区域提取S_v特征的示意图；

图6是示出根据本发明从目标区域提取NSPD特征的示意图；

图7是示出根据本发明从目标区域提取LI特征的示意图；

图8是示出根据本发明从目标区域提取方向(orientation)特征的示意图；

图9是示出根据本发明从目标区域提取分叶(lobulation)特征的示意图；

图10是示出根据本发明从目标区域提取PS_M特征的示意图；

图11是示出根据本发明的图像分析装置和方法进行的实验结果的示例性表格。

具体实施方式

本发明提出一种基于BI-RADS(乳腺影像报告与数据系统)的图像分析装置和方法。BI-RADS是美国放射学院(ACR)的各委员会的成员与国家癌症研究所、疾病控制和预防中心、美国食品和药物管理局(FDA)、美国医学协会、美国外科医生学院以及美国病理学家学院之间协同合作的产物。基于BI-RADS进行病变评价的结果更为客观。

本发明提出的图像分析装置和方法旨在从通过超声波获取的乳腺病变影像提取和计算多种类型的病变特征，然后通过预定的训练方法对各种类型的病变特征进行融合，从而基于BI-RADS来确定病变组织的分类级别。从超声波影像的病变轮廓进行例如6个类别(包括形状类、方向类、边缘类、边界类、回声模式类以及后方回声类特征)的特征计算。在此基础上，使用训练方法/算法对各个类别的特征进行训练并融合，以获得各类别特征的敏感性和特异性，然后基于BI-RADS确定病变组织的分类级别。

以下，参照附图来详细说明本发明的实施例。

图2A是示出根据本发明的图像分析装置的结构的示意框图。参照图2B， 本发明的图像分析装置包括影像获取单元210、区域识别单元220、特征提取单元230、特征融合单元240和分类确定单元250。

影像获取单元210获取乳腺超声波影像。根据本发明的示例性实施例，所述图像分析装置与超声波成像设备连接，影像获取单元210从超声波成像设备获得超声波影像。根据本发明的另一示例性实施例，影像获取单元210从存储有超声波影像的任何存储介质读取所述乳腺超声波影像。

区域识别单元220根据预定的识别算法，从影像获取单元210获取或读取的乳腺超声波影像中识别乳腺的病变轮廓作为目标区域。

特征提取单元230对区域识别单元220识别的目标区域进行各个类别的特征的计算。稍后将参照图3～图10详细描述各个特征类以及特征提取单元230对各特征类中的每个特征的计算处理。

特征融合单元240使用训练方法对计算的每个特征类的全部特征进行特征融合，并计算每个特征类的特征融合的敏感性和特异性。

分类确定单元250在特征融合单元240取得的各特征类的敏感性和特异性的基础上，基于BI-RADS确定病变组织的分类级别。稍后将参照图11详细描述特征融合单元240和分类确定单元250的示例性操作。

图2B是示出根据本发明的图像分析方法的流程图。

参照图2B，在步骤S110，本发明的图像分析装置中的影像获取单元210获取乳腺超声波影像。

在步骤S120，本发明的图像分析装置中的区域识别单元220根据预定的识别算法，从影像获取单元210获取或读取的乳腺超声波影像中识别乳腺的病变轮廓作为目标区域。

在步骤S130，特征提取单元230对区域识别单元220识别的目标区域进行各个类别的特征的计算。

在步骤S140，特征融合单元240使用训练方法对计算的每个特征类的全部特征进行特征融合，并计算每个特征类的特征融合的敏感性和特异性。

在步骤S150，分类确定单元250在特征融合单元240取得的各特征类的敏感性和特异性的基础上，基于BI-RADS确定病变组织的分类级别。

以下参照图3～图10描述各个特征类以及特征提取单元230各特征类中的每个特征的计算。

首先，将用于描述块的主要超声特性的术语标准化并且分成六类：形状 类、方向类、边缘类、边界类、回声模式类和后方回声类特征。本发明的图像分析装置计算所述六类的各具体特征。

1.形状类特征

(1)S_v特征

目标区域边缘的拟合椭圆作为测量不规则形状的基准。如图5所示，对于目标区域边界上的像素P(x₁，y₁)，求出在拟合椭圆上的相应点C(x₂，y₂)，计算目标区域和拟合椭圆之间的S_v特征：

其中，P是目标区域边界上的像素点，LB为目标区域边界上的像素的个数。

(2)ENC特征

ENC特征指目标区域与其拟合椭圆的周长比。

(3)NSPD特征

如图6所示，NSPD特征用于指示目标区域中的凸点和凹点的个数，其计算方法为：求目标区域的凸壳；计算凸壳的顶点；计算目标区域的凸点和凹点的个数。

(4)分叶指数(LI，lobulation index)特征

如图7所示，使用以下公式计算分叶指数LI：

其中，A_max和A_min分别表示目标区域中面积最大和最小的分叶，A_i如图7中所示表示目标区域中的第i个分叶，N为分叶的个数。

2.方向类特征

(1)O_E特征：

在BI-RADS中，可通过目标区域的拟合椭圆长轴的方向来描述目标区域的方向，如图8所示。以下公式用来计算方向特征O_E：

(2)LS特征

LS特征计算目标区域的拟合椭圆的长短轴的比。

(3)DW特征

DW特征计算目标区域的最小外接矩形的长宽比。

3.边缘类特征

(1)边缘波动(M_u)特征

M_u特征是用来计算目标区域中小叶片的个数，如图9所示。

(2)M_s特征

M_s特征包括目标区域固体结表面的交替回声直线。根据以下公式计算M_s特征：

其中，R(ω)是r(θ)的傅里叶变换，r(θ)是目标区域结影像边界的极坐标表示。

4.边界类特征

(1)LB特征

以下公式计算LB特征：

LB_D＝avg_Tissue-Avg_Mass

其中，P是目标区域的像素，I(P)是像素P的灰度，N_Tissue表示目标区域外且距离边界为1个像素的组织的像素点的个数，avg_Tissue表示其平均灰度，N_Mass表示目标区域内且距离边界为1个像素的所有像素点的个数，avg_Mass表示其平均灰度。(2)ILB特征

通过计算目标区域和组织区域之间的距离来取得ILB特征，如图3所示。具体地说，首先，将拟合椭圆的中心设置为目标区域的中心；然后，将所述目标区域分成每个为1°的360个小扇形区域，并且计算目标区域内和目标区域外的平均灰度差，最后计算总的灰度改变：

其中，S₁是目标区域内的平均灰度，S₂是目标区域外的平均灰度。

5.回声模式类特征

分别使用目标区域块的平均灰度以及灰度变化表示回声模式类特征。

(1)EP_I特征

使用以下公式计算目标区域块的平均灰度EP_I：

其中，P是目标区域中的像素，I(P)是像素P的灰度，NM_ass表示目标区域块中像素的个数。

(2)EP_AG特征

使用以下公式计算块的灰度变化EP_AG：

G_X和G_Y分别是像素P(x，y)在X方向和Y方向上的索贝尔梯度。

(3)SGLD特征SGLD特征是指空间灰度共生矩阵特征。主要描述目标区域的纹理，分别计算：角二阶矩(angular second moment)、对比度、相关性、平方和、逆差矩(inversedifference moment)、和平均(sum average)、和方差(sum variance)、差异熵(differenceentropy)、相关性信息测量以及最大相关系数。

6.后方回声类特征

定义目标区域的后方区域(posterior area)。

(1)PS_D特征

使用以下公式计算目标区域的后方区域的平均灰度avg_PA：

其中，I(P)是目标区域的后方区域中像素P的灰度，N_PA表示后方区域中像素的数量。

按照以下公式计算PS_D特征：

PS_D＝avg_PA-EP_I

其中，EP_I是前述的EP_I特征值。

(2)PS_H特征

如图4所示，PS_H特征计算目标区域的直方图和其后方区域的直方图差：

PS_H＝hist(I_mass)-hist(I_PA)

I_mass和I_PA分别为目标区域块和后方区域图像，而hist(I_mass)和hist(I_PA)分别是目标区域块和后方区域的灰度的直方图。

(3)PS_M特征

如图10所示，可通过以下公式计算PS_M特征：

PS_M＝min{(mean(post)-mean(left))，(mean(post)-mean(right))}

其中，mean(post )为目标区域的后方区域的平均灰度，mean(left)为目标区域的后左区的平均灰度，mean(right)为目标区域的后右区的平均灰度。

以下参照图11描述图2B的特征融合单元240和分类确定单元250的操作。

在根据本发明的图像分析装置和方法中，特征融合单元240使用训练方法融合每个特征类中的特征，所述训练方法包括支持向量机(SVM)、决策树、Adaboosting算法、Naivebayes等。对于每个特征类配备从病人收集的包括上万个超声影像的训练集和测试数据集。将这些超声影像分为良性和恶性两类。

以形状类特征为例。首先，特征融合单元240为每个超声影像提取前述的S_v特征、ENC特征、NSPD特征以及LI特征，使用SVM、决策树、Adaboosting算法、Naivebayes的classifier来对提取的特征进行训练。然后，特征融合单元240从测试数据集中提取相同类的特征(即S_v特征、ENC特征、NSPD特征以及LI特征)，并且使用训练模型对这些特征进行融合。而对于不同的模型，敏感性和特异性也不同。本发明的图像分析装置和方法选择最佳模型作 为最终结果。表1示出部分输出结果：

在表1中，测试集的样本个数为3863。Libsvm、Detree、AdaBoos和NaiveBa是4个不同分类器。Sensi和Speci分别是敏感性和特异性结果。

使用以下等式计算敏感性Sensi和特异性Speci：

Sensi＝TP/(TP+FN)

Speci＝TN/(TN+FP)

其中，TP表示正样本正确地分类为正样本的个数，TN表示负样本正确地分类为负样本的个数，FP表示正样本错误地分类为负样本的个数，FN表示负样本错误地分类为正样本的个数。

根据上述形状类特征的融合方法可得出每个特征类的相应敏感性和特异性结果。

图11示例性地示出全部特征类的融合结果。从图11中可看出，每个特征类存在多种特征融合。对特征进行融合可得到较为理想的敏感性和特异性结果。图11中示出的形状类特征的融合结果可分别达到94％的敏感性和93％的特异性。

在对每个特征类进行融合以后，分类确定单元250根据每个特征类的肿块特征的敏感性和特异性来确定基于BI-RADS的病变组织的分类级别之一：

0级-不完整：在进行最终评价前需要更多影像评估

1级-阴性：未发现病变(需定期随访)

2级-良性：无恶性特征

3级-可能为良性：恶性特征极不可能

4级-怀疑为异常：低到中等的癌变概率，需进行活检

5级-倾向恶性，几乎确定为癌变，需采取适当措施

6级-确定为癌变：治疗前活检证明恶性

根据上述参照本发明的示例性实施例的图像分析装置，通过对从乳腺超声波影像识别的病变轮廓计算每个类别包括多个特征的多种病变特征，并且通过训练方法对每个特征类进行特征融合，能够更确切地将病变组织确定为较传统分类更细的病变分类级别，从而提高乳腺病变的分类准确性。

尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。

Claims (11)

1.一种基于BI-RADS乳腺影像报告与数据系统的图像分析装置，包括：

影像获取单元，用于获取影像；

区域识别单元，用于使用预定识别算法识别所述影像中的目标区域；

特征提取单元，用于对所述目标区域进行至少一个特征类的至少一个特征的计算；

特征融合单元，用于使用训练方法对计算的每个特征类的全部特征进行特征融合，并计算每个特征类的特征融合的敏感性和特异性；

分类确定单元，用于根据计算的敏感性和特异性，基于BI-RADS确定目标区域的病变分类级别，其中，所述病变分类级别是比传统的病变分类级别更细的病变分类级别。

2.如权利要求1所述的图像分析装置，其中，影像获取单元从与计算机连接的超声波成像设备获取所述影像。

3.如权利要求1所述的图像分析装置，其中，所述至少一个特征类包括形状类、方向类、边缘类、边界类、回声模式类和后方回声类特征中的至少一个类。

4.如权利要求3所述的图像分析装置，其中，所述训练方法是支持向量机SVM、决策树、Adaboosting算法、Naivebayes之一。

5.如权利要求4所述的图像分析装置，其中，特征提取单元根据以下公式分别计算每个特征类的敏感性和特异性：

Sensi＝TP/(TP+FN)

Speci＝TN/(TN+FP)

其中，Sensi是特征类的敏感性，Speci是特征类的特异性，TP表示正样本正确地分类为正样本的个数，TN表示负样本正确地分类为负样本的个数，FP表示正样本错误地分类为负样本的个数，FN表示负样本错误地分类为正样本的个数。

6.如权利要求5所述的图像分析装置，其中，所述形状类特征包括表示目标区域的形状和与其拟合椭圆之间的S_v特征、目标区域与其拟合椭圆的周长比、目标区域中凸点和凹点的个数和小叶片特征LI，

对于目标区域边界上的像素P(x₁,y₁)以及在拟合椭圆上的相应点C(x₂，y₂)，通过以下公式计算S_v特征：

其中，P是目标区域边界上的像素点，LB为目标区域边界上的像素的个数；

通过以下公式计算小叶片特征LI：

其中，A_max和A_min分别表示目标区域中面积最大和最小的分叶，A_i表示目标区域中的第i个分叶，N为分叶的个数。

7.如权利要求5所述的图像分析装置，其中，所述方向类特征包括目标区域的拟合椭圆的方向、拟合椭圆的长短轴的比、目标区域的最小外接矩形的长宽比。

8.如权利要求5所述的图像分析装置，其中，边缘类特征包括目标区域小叶片的个数和包括目标区域固体结表面的交替回声直线。

9.如权利要求5所述的图像分析装置，其中，边界类特征包括LB特征和ILB特征，

通过以下公式计算所述LB特征：

LB_D＝avg_Tissue–Avg_Mass

其中，P是目标区域的像素，I(P)是像素P的灰度，N_Tissue表示目标区域外且距离边界为1个像素的组织的像素点的个数，avg_Tissue表示其平均灰度，N_Mass表示目标区域内且距离边界为1个像素的所有像素点的个数，avg_Mass表示其平均灰度；

通过以下方法计算所述ILB特征：首先，将拟合椭圆的中心设置为目标区域的中心；然后，将目标区域分成每个为1°的360个小扇形区域，并且计算目标区域内和目标区域外的平均灰度，用以下公式计算ILB：

其中，S₁是目标区域内的平均灰度，S₂是目标区域外的平均灰度。

10.如权利要求5所述的图像分析装置，其中，回声模式类特征包括目标区域块的平均灰度特征EP_I、目标区域块的灰度变化特征EP_AG以及空间灰度共生矩阵SGLD特征，

通过以下公式计算EP_I：

其中，P是目标区域中的像素，I(P)是像素P的灰度，N_Mass表示目标区域块中像素的个数；

通过以下公式计算EP_AG：

G_X和G_Y分别是像素P(x，y)在X方向和Y方向上的索贝尔梯度。

11.如权利要求10所述的图像分析装置，其中，后方回声类特征包括表示目标区域与其后方区域灰度差的PS_D特征、表示目标区域和其后方区域直方图差的PS_H特征以及PS_M特征，

通过以下公式计算所述PS_D特征：

PS_D＝avg_PA-EP_I

其中，I(P)是所述后方区域中像素P的灰度，N_PA表示其像素点的个数；

通过以下公式计算PS_H特征：

PS_H＝hist(I_mass)-hist(I_PA)

I_mass和I_PA分别为目标区域块和后方区域图像，hist(I_mass)和hist(I_PA)分别是目标区域块和后方区域的灰度的直方图；

通过以下公式计算PS_M特征：

PS_M＝min{(mean(post)-mean(left)),(mean(post)-mean(right))}

其中left、post和right分别表示目标区域的后左方、后方以及后右方区域，mean函数分别计算这些区域的平均灰度值。