具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
随着影像识别技术的发展,影像识别技术的应用领域越来越广。目前,影像识别技术已经应用于医疗领域。然而,由于乳腺医疗影像的复杂性(考虑到拍摄质量、患者身体状况和拍摄技术等等因素的影像),现有的人工阅片方法,由于大量影像数据的存在,不仅给影像科医生带来非常繁重的工作负担,阅片疲劳导致判断出错,而且阅片结果也会受到审阅人员自身专业水平高低的限制,进而影响后续临床诊断的准确性。
为了解决上述技术缺陷,本发明技术方案采用深度学习算法,通过对大量专家知识进行有效学习,可大幅度提高乳腺肿块检出率的同时,对检出的乳腺肿块进行成分以及属性分析,给出具体诊断信息,为医生提供有用的辅助诊断信息。
本发明实施例针对乳腺影像,设计了一种基于深度学习的乳腺肿块自动检出方法及系统。本发明旨在对输入的乳腺影像进行智能分析,在准确定位到乳腺可疑肿块位置的同时,能够给出乳腺分型、检出肿块的相关属性以及良恶性分级等分析意见。该系统不影响医生原有阅片过程,医生可以根据自己的经验判断对本系统检出乳腺肿块及其属性进行修正。
针对上述情形,本发明实施例提供了一种乳腺肿块检测方法。该方法适用于对于患者乳腺影像中乳腺肿块的检测;本方法可应用于带有影像采集识别功能的智能设备或系统,本发明实施例对此不作具体限定。为了便于描述,本发明实施例以执行主体为智能设备为例。如图1所示,所述方法包括:S1,获取待检测乳腺影像,从所述乳腺影像中获取候选肿块影像;所述候选肿块影像为所述乳腺影像中的部分子影像。
在上述具体实施例中,首先,获取待检测乳腺影像可以为乳腺钼靶X线影像,也可以为其他影像,本发明实施例在此不作限定。所述影像能通过现有医疗影像设备拍摄获取。
其次,通过预先构建的神经网络模型获取乳腺影像中的候选肿块影像。
S2,将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
进一步,将各个候选乳腺肿块影像中固定大小区域或者图像块影像分别输入到与相应预先构建的肿块识别模型,模型的输出为各个候选乳腺肿块是否为乳腺肿块的判定结果(输出的是一个概率值,或是否为乳腺肿块的判定;当输出为概率值时,一般将概率大于设定阈值判定为是乳腺肿块,否则判定为不是乳腺肿块),即得到了待检测影像中哪些位置是乳腺肿块的信息。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,获取待检测乳腺影像还包括:获取待检测乳腺影像,基于水平集方法和/或对比度受限直方图均衡方法增强待检测乳腺影像中病变组织与正常腺体组织的对比度。
具体地,由于很多因素(年龄、乳腺成分、组织密度)都会对乳腺影像产生影响,为了减弱客观因素对乳腺图像的影响以及后续处理上的方便,本实施例还能够先利用图像预处理算法来改善乳腺图像的质量,增强病变组织与正常腺体组织的对比度,使病变区域更加容易辨别与分析。预处理的具体方法可采用现有常见的图像对比度增强技术,如水平集分割、对比度受限直方图均衡等方法,本发明实施例在此不作限定。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果,之前还包括:将所述待检测乳腺影像输入预先构建的乳腺分型识别模型,获得所述乳腺影像中乳腺分型结果;
相应地,将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果,包括:将所述候选肿块影像输入与所述分型结果相应预先构建的肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
具体地,所述步骤S2前还包括,先对待检测乳腺影像进行乳腺分型分析,如图2所示,乳腺分型主要包括脂肪型、少量腺体型、多量腺体型以及致密型等。其中脂肪型的腺体占比例值一般小于25%,少量腺体型的腺体占比例值一般在25%~50%,多量腺体型的腺体占比例值在50%~75%之间,而致密型的腺体占比例值一般都在75%以上,对于上述各乳腺分型中腺体占比例值的具体设定本实施例不作具体限定。本实施例中采用预先构建的CNN模型对所述待检测乳腺影像进行乳腺分型判断(模型的输入为所述待检测乳腺影像,输出为分型判定结果)。所述各分型或腺体占比相应预先构建的肿块识别模型对应的模型具体构建方法同于不考虑分型结果的肿块识别模型的构建方法,只是在所述各肿块识别模型在构建时会考虑不同腺体占比例值所对应的识别难易程度不同(体占比值与识别难度成正相关关系),进行相应的训练。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,从所述乳腺影像中获取候选肿块影像,包括:将所述乳腺影像输入预先构建的候选肿块检出模型,输出所述乳腺影像中各像素点是否属于候选肿块的判断结果。
其中,候选肿块检出模型输出为乳腺影像中各像素点被判定为属于候选肿块点的概率,然后基于预先确定的概率阈值进行判定,判定为属于候选肿块影像的像素点构成各候选肿块影像;或,模型输出为乳腺影像中各像素点被判定为候选肿块点的判定结果。优选的,本实施例在获取候选肿块影像,为了保证得到较高的肿块召回,可将所述概率阈值适当降低。
进一步,所述候选肿块检出模型的构建大致流程:首先收集并标注用于模型训练的数据;接着确定候选肿块检出模型的拓扑结构,本实施例选择采用传统的全卷积网络(FCN),输入为整幅乳腺影像,输出为乳腺影像中各像素点被判定为候选肿块点的概率或被判定为候选肿块点的结果;最后基于训练数据及确定的拓扑结构,训练得到乳腺候选肿块检出模型。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,所述肿块识别模型为预先构建的一阶肿块识别模型或两阶级联肿块识别模型;相应地,所述两阶级联肿块识别模型包括第1级肿块识别模型和第2级肿块识别模型;所述第1级肿块识别模型为所述一阶肿块识别模型,所述第2级肿块识别模型为预先构建的分类模型。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果,包括:
将所述候选肿块影像输入所述预先构建的一阶肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果;或,
将所述候选肿块影像输入所述第1级肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的初步检测结果;将所述初步检测结果中出现肿块的候选肿块影像统计特征、纹理特征和深层图像特征中的至少一种,输入所述第2级肿块识别模型,获得所述初步检测结果中出现肿块的候选肿块影像所对应的乳腺位置是否出现肿块的最终检测结果。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,所述统计特征,包括以下至少一种:所述初步检测结果中出现肿块的候选肿块影像的面积、周长、周长面积比、圆度、矩形度、所述初步检测结果中出现肿块的候选肿块影像边界与中心点距离的均值、所述初步检测结果中出现肿块的候选肿块影像边界与中心点距离的标准差、所述初步检测结果中出现肿块的候选肿块影像内灰度均值与其周围预设范围影像灰度均值的比值;所述圆度为以距离所述初步检测结果中出现肿块的候选肿块影像中心最大距离为半径的圆,与所述初步检测结果中出现肿块的候选肿块影像的重合度;所述矩形度为所述初步检测结果中出现肿块的候选肿块影像的外接矩形框与肿块的重合度;
所述纹理特征,包括所述初步检测结果中出现肿块的候选肿块影像的全局纹理特征和/或局部纹理特征;
所述深层图像特征,为将所述初步检测结果中出现肿块的候选肿块影像输入所述第1级肿块识别模型中最后一个全连接层的输出特征向量。
其中,所述一阶肿块识别模型具体构建方法如下文所述。
首先,收集并标注用于肿块识别模型训练的数据。用于肿块识别模型训练的数据可以来自一些开源数据集以及医院的真实数据。对于训练数据的标注,需要相关专家完成。
从真实应用中收集的数据,大多存在正负样本分布不均衡的问题,即确诊乳腺肿块(正样本)的数量远小于其他非肿块(负样本) 数量。为了减小该问题对识别模型的影响,本实施例采用了多种数据增强手段,如对正样本进行旋转、平移等操作,以均衡正负样本比例。
其次,确定一阶肿块识别模型的拓扑结构。
本实施例所采用的模型拓扑结构大致同于现有的2D-CNN模型 (以LeNet为例),主要有输入层、卷积层(2个)及对应降采样层、全连接层(2个)以及输出层。对于输入层其输入的是候选肿块所属钼靶影像中固定大小的图像块(本实施例以80*80为例),输出层输出的是是否为乳腺肿块的判定结果。
再次,基于训练数据及确定的拓扑结构,训练一阶肿块识别模型。
模型的训练采用现有神经网络常见的训练算法,如SGD算法。最终训练出一阶肿块识别模型。
进一步的,由于上述一阶肿块识别模型是基于所有训练数据训练得到的肿块识别模型,通常会因为训练数据中大部分样本为易例(较易区分的负样本),而难例的比例较小,由此训练出来的识别模型会偏向于将肿块与那些易例区分开,从而导致难例较难区分,即一阶肿块识别模型的区分能力已经达到饱和。
对此,为了提高乳腺肿块检出的准确性,本案还提出了一种基于两阶级联肿块识别模型的乳腺肿块检出方法。
首先,将所述候选肿块影像输入所述预先构建的一阶肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果;提取进一步识别的分类特征,所述分类特征包括以下至少一种:统计特征、纹理特征和基于第1级模型得到的深层图像特征。
最后,基于上述分类特征及预先构建的第2级模型,得到候选乳腺肿块识别结果。
其中,将上述分类特征输入至第2级模型,模型的输出为经过第 1级模型筛选后剩余候选肿块被判定是否是肿块的结果。所述第2级模型(常见的分类模型,如SVM、DNN、随机森林等)的训练,同于现有训练过程,不再赘述。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,还包括:在检出乳腺肿块(即得到乳腺肿块位置信息)之后,本实施例还分析了肿块相关属性,以提供更全面的分析结果,以辅助临床诊断。所述属性包括乳腺肿块的BI-RADS分级。
乳腺的BI-RADS分级对医生写诊断报告及治疗方案有着重要意义,若系统只输出良性或者恶性,那对医生的辅助意义不大;如果输出的是恶性的概率,医生也并不清楚不同概率下究竟对应何种程度。因此本发明还给出了检出肿块的BI-RADS分级,为医生提供更直观的良恶性解释。
对于BI-RADS分级预测,可以通过预先构建的针对该任务的 CNN模型得到,即将由预先构建的一阶肿块识别模型或两阶段级联肿块识别模型得到的乳腺肿块信息作为模型的输入,输出为对应 BI-RADS分级(0-6)判定结果。模型的具体构建过程同于乳腺肿块 CNN识别模型构建,在此不再重复阐述。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测方法,还包括:根据所述出现肿块的候选肿块影像,获得对应各肿块的测量属性;所述测量属性包括如下至少一种:最大直径、面积、有效直径、周长、圆度、最大灰度和最小灰度;
所述最大直径,为候选肿块影像中最远两个像素点的距离;
所述有效直径,为与候选肿块影像具有相同面积圆形的直径;
所述圆度,为以距离候选肿块影像中心最大距离为半径的圆,与候选肿块影像的重合度。
其中,在检出乳腺肿块(即得到乳腺肿块位置信息)之后,本实施例还分析了肿块相关属性,以提供更全面的分析结果,以辅助临床诊断。所述属性包括乳腺肿块的测量属性。
根据本发明的另一个方面,还提供一种乳腺肿块检测装置,参见图3,该装置用于在前述各实施例中从待检测乳腺影像中获取候选乳腺肿块影像,根据候选乳腺肿块影像,基于预先构建的肿块识别模型获取检测结果。因此,在前述各实施例中的乳腺肿块检测方法中的描述和定义,可以用于本发明实施例中各个执行模块的理解。
如图3所示,基于上述具体实施例,提供一种乳腺肿块检测装置,包括:A31获取模块,用于获取待检测乳腺影像,从所述乳腺影像中获取候选肿块影像;所述候选肿块影像为所述乳腺影像中的部分子影像;A32检测模块,用于将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
在上述具体实施例中,首先,所述获取模块A31用于获取的待检测乳腺影像多为乳腺钼靶X线影像,也能够为其他影像,本发明实施例在此不作限定。所述影像能通过现有医疗影像设备拍摄获取。
进一步,由于很多因素(年龄、乳腺成分、组织密度)都会对乳腺钼靶影像产生影响,为了减弱客观因素对乳腺图像的影响以及后续处理上的方便,本实施例获取模块A31还能够先利用图像预处理算法来改善乳腺影像的质量,增强病变组织与正常腺体组织的对比度,使病变区域更加容易辨别与分析。预处理的具体方法可采用现有常见的图像对比度增强技术,如水平集分割、对比度受限直方图均衡等方法,本发明实施例在此不作限定。
最后,所述检测模块A31将各个候选乳腺肿块影像中固定大小区域或者图像块影像分别输入到与相应预先构建的肿块识别模型,模型的输出为各个候选乳腺肿块是否为乳腺肿块的判定结果(输出的是一个概率值,或是否为乳腺肿块的判定;当输出为概率值时,一般将概率大于设定阈值判定为是乳腺肿块,否则判定为不是乳腺肿块),即得到了待检测影像中哪些位置是乳腺肿块的信息。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,提供一种乳腺肿块检测方法,获取模块A31还用于:获取待检测乳腺影像,基于水平集方法和/或对比度受限直方图均衡方法增强待检测乳腺影像中病变组织与正常腺体组织的对比度。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,还包括分型识别模块A33,用于将所述待检测乳腺影像输入预先构建的乳腺分型识别模型,获得所述乳腺影像中乳腺的分型结果;相应的,所述检测模块A32进一步用于:将所述候选肿块影像输入与所述分型结果相应预先构建的肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,所述获取模块A31还用于:将所述乳腺影像输入预先构建的候选肿块检出模型,输出所述乳腺影像中各像素点属于肿块影像的概率,基于乳腺影像中各像素点属于肿块影像的概率获取候选肿块影像;或,将所述乳腺影像输入预先构建的候选肿块检出模型,输出所述乳腺影像中各像素点属于肿块影像的判定结果,属于肿块影像的各像素点构成候选肿块影像。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,所述肿块识别模型为预先构建的一阶肿块识别模型或两阶段级联肿块识别模型;相应地,所述两阶段级联肿块识别模型包括第1级肿块识别模型和第2级肿块识别模型;所述第1级肿块识别模型为所述一阶肿块识别模型,所述第2级肿块识别模型为预先构建的分类模型。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,所述检测模块A32进一步用于:
将所述候选肿块影像输入所述预先构建的一阶肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果;或,
将所述候选肿块影像输入所述第1级肿块识别模型,获得所述候选肿块影像对应的乳腺位置是否出现肿块的初步检测结果;将所述初步检测结果中出现肿块的候选肿块影像统计特征、纹理特征和深层图像特征中的至少一种,输入所述第2级肿块识别模型,获得所述初步检测结果中出现肿块的候选肿块影像所对应的乳腺位置是否出现肿块的最终检测结果。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,所述统计特征,包括以下至少一种:
所述初步检测结果中出现肿块的候选肿块影像的面积、周长、周长面积比、圆度、矩形度、所述初步检测结果中出现肿块的候选肿块影像边界与中心点距离的均值、所述初步检测结果中出现肿块的候选肿块影像边界与中心点距离的标准差、所述初步检测结果中出现肿块的候选肿块影像内灰度均值与其周围预设范围影像灰度均值的比值;所述圆度为以距离所述初步检测结果中出现肿块的候选肿块影像中心最大距离为半径的圆,与所述初步检测结果中出现肿块的候选肿块影像的重合度;所述矩形度为所述初步检测结果中出现肿块的候选肿块影像的外接矩形框与肿块的重合度;
所述纹理特征,包括所述初步检测结果中出现肿块的候选肿块影像的全局纹理特征和/或局部纹理特征;
所述深层图像特征,为将所述初步检测结果中出现肿块的候选肿块影像输入所述第1级肿块识别模型中最后一个全连接层的输出特征向量。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,还包括BI-RADS分级模块A35,用于:将所述出现肿块的肿块影像,输入预先构建的BI-RADS分级A35模型,获得所述出现肿块的候选肿块影像对应BI-RADS分级结果。
在本发明上述具体实施例的基础上,提供一种乳腺肿块检测装置,还包括测量属性获取模块A35,用于:
根据所述出现肿块的肿块影像,获得对应各肿块的测量属性;所述测量属性包括如下至少一种:最大直径、面积、有效直径、周长、圆度、最大灰度和最小灰度;
所述最大直径,为候选肿块影像中最远两个像素点的距离;
所述有效直径,为与候选肿块影像具有相同面积圆形的直径;
所述圆度,为以距离候选肿块影像中心最大距离为半径的圆,与候选肿块影像的重合度。
其中,在检出乳腺肿块(即得到乳腺肿块位置信息)之后,本实施例还包括测量属性获取模块A36,用于获取测量属性,以提供更全面的分析结果,以辅助临床诊断。
基于上述具体实施例,提供一种电子设备。参见图4,该电子设备包括:处理器(processor)401、存储器(memory)402和总线403;
其中,处理器401及存储器402分别通过总线403完成相互间的通信;
处理器401用于调用存储器402中的程序指令,以执行上述实施例所提供的乳腺肿块检测方法,例如包括:获取待检测乳腺影像,从所述乳腺影像中获取候选肿块影像;所述候选肿块影像为所述乳腺影像中的部分子影像;将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
本发明实施例提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行上述实施例所提供的乳腺肿块检测方法,例如包括:获取待检测乳腺影像,从所述乳腺影像中获取候选肿块影像;所述候选肿块影像为所述乳腺影像中的部分子影像;将所述候选肿块影像作为预先构建的肿块识别模型的输入,获得所述候选肿块影像对应的乳腺位置是否出现肿块的检测结果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的信息交互设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。