具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
随着影像识别技术的发展,影像识别技术的应用领域越来越广。目前,影像识别技术已经应用于医疗领域。
针对上述情形,本发明实施例提供了一种肺结节自动检测方法。该方法适用于对于患者肺部影像中肺结节的检测;本方法可应用于带有影像采集识别功能的智能设备或系统,本发明实施例对此不作具体限定。为了便于描述,本发明实施例以执行主体为智能设备为例。如图1所示,所述方法包括:S1,获取待检测肺部影像,从所述肺部影像中获取候选肺结节影像;所述候选肺结节影像为所述肺部影像中包含肺结节的部分子影像;S2,将所述候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果。
在上述具体实施例中,首先,所述获取待检测肺部影像多为肺部CT影像,也能够为其他影像,本发明实施例在此不作限定。所述影像能够通过现有医疗影像设备拍摄获取。
其次,当所述肺部影像为CT影像时,可以单独基于连通成分分析,对待检测肺部影像进行分割,获得候选肺结节影像。同时,也可以单独基于预先构建的用于识别整个肺部影像中候选肺结节影像的神经网络模型(既成分分析模型),对待检测肺部影像进行分割,获得候选肺结节影像。进一步,也可以分别通过连通成分分析法和预先构建的成分分析模型,分别对待检测肺部影像进行分割,获得各自的候选肺结节影像集合,再将两个集合进行融合(例如合并后去除并集),得到最终的候选肺结节影像结果。同时,本实施例所述预设方法也不限于上述三种,本发明具体在此不作限定。
最后,将各个候选肺结节影像中固定大小体块影像分别输入到肺结节识别模型,模型的输出为各个候选肺结节是否为肺结节的判定结果(输出的可以是各个候选肺结节是否为肺结节的概率值或各个候选肺结节是否为肺结节的判定结果;当输出为概率值时,将概率大于设定阈值判定为是肺结节,否则判定为不是肺结节),即得到了待检测影像中哪些位置是肺结节的信息。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,从所述肺部影像中获取候选肺结节影像,包括:基于连通成分分析和/或预先构建的成分分析模型对待检测肺部影像进行分割,获得候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,所述基于连通成分分析和预先构建的成分分析模型对待检测肺部影像进行分割,获得候选肺结节影像,包括:基于连通成分分析对待检测肺部CT影像进行分割,获得第一候选肺结节影像集;基于预先构建的成分分析模型对待检测肺部影像进行分割,获得第二候选肺结节影像集;求上述两个候选肺结节影像集的交集,获得候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,所述基于连通成分分析对待检测肺部影像进行分割,包括:获得待检测肺部影像的HU值,通过对HU值进行二值化处理去除肺实质部分影像;对二值化处理后的影像进行连通成分分析,获得连通体;对所述连通体进行形态学操作,获得候选肺结节影像。
具体地,本发明具体实施例为提高召回率,优选的,将基于连通成分分析和预先构建的成分分析模型两种方法获得的候选肺结节影像进行融合,得到最终的候选肺结节影像结果。
进一步,本实施例中基于连通成分分析对待检测肺部影像进行分割前,可以先对待检测肺部CT影像进行预处理,去除CT影像中的噪声,降低不同CT影像间的差异性。预处理的具体方法能够采用现有常见的影像去噪技术,如数值截断、归一化等,本具体实施例在此不作具体限定。其次,通过对预处理后的CT进行HU值分析,筛选出结节及其他血管组织。具体的,在CT影像中,肺实质部分影像的HU值一般在-900左右,而肺结节及其他血管组织的HU值常常在0以上,因此能够通过简单的二值化(例如将HU值在-400以下部分为0,以上部分为1)将CT影像中肺实质部分排除,剩下结节以及血管等组织。再次,通过对上述进行二值化后的CT影像进行连通成分分析,得到候选肺结节影像。具体的,在二值化后的CT影像上进行连通成分分析得到连通体。因为肺结节会发生与其他组织粘连的情况,本实施例通过对各连通体进行形态学操作,例如腐蚀和/或膨胀操作,将与其他组织粘连的肺结节影像分离出来,将形态学操作之后的各影像子块作为候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,所述基于预先构建的成分分析模型对待检测肺部影像进行分割,包括:利用预设大小的窗口遍历待检测肺部影像,将遍历获得的各子影像输入预先构建的成分分析模型,输出获得候选肺结节影像。
具体地,基于预先构建的成分分析模型对待检测肺部影像进行分割包括:利用预设大小的窗口遍历待检测肺部CT影像,将遍历获得的各子影像输入预先构建的成分分析模型,模型输出为输入子影像是否为候选肺结节的判定,进而得到CT中各候选肺结节。所述成分分析模型的构建流程为:首先收集并标注用于成分分析模型的训练数据(一般为实际应用中的各种CT数据);其次确定成分分析模型的拓扑结构(具体实施例优选以fully-CNN模型为例,输入为CT影像数据,输出为候选判定结果,模型的中间结构与现有fully-CNN相同);最后基于训练数据及确定的拓扑结构,训练得到成分分析模型。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,所述肺结节识别模型为一阶肺结节识别模型或两阶段级联肺结节识别模型:
所述一阶肺结节识别模型通过以下步骤构建:标注第一训练样本数据集,根据所述第一训练样本数据集,基于确定的拓扑结构,获得所述一阶肺结节识别模型;其中,所述第一训练样本数据为从各样本肺部影像中提取的各样本数据所构成的数据集,对应标注各样本数据是否属于肺结节的信息。
所述两阶段级联肺结节识别模型包括第1级肺结节识别模型和第2级肺结节识别模型;所述第1级肺结节识别模型为所述一阶肺结节识别模型,所述第2级肺结节识别模型通过以下步骤构建:根据第一训练样本数据集,基于所述一阶肺结节识别模型,获得识别结果;比较所述识别结果与第一训练样本数据的标注信息,将差异大于预设阈值的训练样本数据作为第二训练样本数据集,训练得到第2级肺结节识别模型;其中,所述第二训练样本数据集为第一样本数据集经过一阶肺结节识别模型识别后,其识别结果与所述第一样本数据集对应表述信息进行比对产生差异过大的部分难识别样本数据所构成的数据集。
本具体实施例中肺结节识别模型采用3D-CNN模型,对一阶肺结节识别模型具体构建流程描述如下。
首先,收集并标注用于肺结节识别模型训练的数据。
对于肺结节检测任务,为了防止漏检肺结节,对肺部CT影像的层厚要求较高(一般2mm以下),用于训练的样本数据来自一些开源数据集以及医院的真实数据。对于训练数据的标注,需要相关专家完成。
其中,从真实应用实例中收集的训练数据,通常存在正负样本数据分布不均衡的问题,即正样本(是肺结节的样本)数据量远小于负样本(不是肺结节的样本)数据量。为了减小该问题对训练模型的影响,本具体实施例利用对正样本进行旋转、平移等操作构建正样本,以增加正样本数据数量,使得正负样本数据分布均衡。
在此处,需要进一步进行说明的是:在对训练数据进行人工标注时,人工标注的对象是样本肺部CT影像,而在肺结节模型训练时,训练输入为候选肺结节影像信息,所述候选肺结节影像信息对应的标注信息可以通过与原样本肺部CT影像标注像素比较得到(例如通过计算相同像素点数目占实际肺结节影像像素总数的比例,如果比例超过预先设定阈值,则标注该候选结节是肺结节)。
其次,确定肺结节识别模型的拓扑结构。
在本具体实施例中,采用3D-CNN作为肺结节识别的模型。卷积神经网络(CNN)有很强的空间抽象能力,在常规的影像处理中均采用2D的卷积抽取影像特征,而对于一些3D数据,比如视频等,2D卷积就无法有效地抽取特征,在这些任务上,3D-CNN有着明显的优势。3D卷积如图2所示,其卷积核是3维的,且在整个3维空间中共享权值,这样就等同于2D卷积在2D影像中提取特征一样,能有效地将3维空间的特征提取出来。
模型拓扑结构大致同于现有的3D-CNN模型,主要有输入层、卷积层、降采样层、全连接层、输出层。对于输入层其输入的是候选肺结节3D影像中固定大小的三维体块(本实施例以60×60×60为例),输出层输出为是否为肺结节的判定结果,对于其他层级同于现有常见3D-CNN,本具体实施例对此不再详述。
最后,基于训练样本数据及确定的拓扑结构,训练肺结节识别模型。本实施例中的模型训练采用现有神经网络常用的训练算法(如BP算法),最终训练出一阶肺结节识别模型。
采用上述较为常规的一阶肺结节识别模型训练方法,即将所有训练数据用以训练一个3D-CNN肺结节识别模型,通常会因为训练数据中大部分样本为易例(较易区分的负样本),而难例的比例会较小,由此训练出来的模型会偏向于将目标肺结节与那些易例区分开,而与难例较难进行区分。对此,本发明具体实施例还提出了训练一种两阶段级联的3D-CNN识别模型来解决上述问题。具体训练过程如下所示。
首先,根据第一训练样本数据集,训练第1级肺结节识别模型(3D-CNN模型);其次,将第一训练样本数据集,作为第1级肺结节识别模型的输入,依次实施本发明实施例方案流程,得到基于第1级肺结节识别模型的输出识别结果,比较所述输出识别结果与人工标注信息,将差异大于阈值的样本数据作为难例,然后根据难例数据训练第2级肺结节识别模型(3D-CNN模型),最终得到两阶段级联肺结节识别模型。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,所述将候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果,之后还包括:将出现肺结节的候选肺结节影像输入预先构建的精细肺结节识别模型,输出所述出现肺结节的候选肺结节影像中属于肺结节的各像素点,所述各像素点构成精细肺结节影像。
其中,由于S2将所述候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果。所以S2中检测获得的肺结节检测结果是对整个候选肺结节影像进行是否是肺结节的判定,由于判断颗粒度较大,所以判定准确度难以很好的保证。对此,本发明具体实施例还提出了一种基于更精细的肺结节分析方法,以得到更为精准的肺结节位置信息,具体实现方法如下:对由S2预先构建的肺结节识别模型得到的候选肺结节影像,输入到预先构建的精细肺结节识别模型(本具体实施例以3D-Unet为例),输出输入的候选肺结节影像中各个像素点被判定为是否是肺结节点的结果(同样,输出可以是候选肺结节影像中每个像素点是否属于肺结节点的概率或候选肺结节影像中每个像素点是否属于肺结节点的判定结果;当输出为候选肺结节影像中每个像素点是否属于肺结节点的概率时,如果概率大于设定阈值被判为是结节点,置为1,否则置为0)。精细肺结节识别模型的构建方法同于现有3D-Unet构建方法,本发明具体实施在此不再详述。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,还包括:根据所述精细肺结节影像和/或粗识别肺结节影像,获得对应各肺结节的测量属性;所述测量属性包括如下至少一种:最大直径、体积、有效直径、HU均值和HU直方图统计;其中,出现肺结节的候选肺结节影像构成粗识别肺结节影像;所述最大直径,为肺结节影像中最远两个像素点的距离;所述有效直径,为与肺结节具有相同体积球体的直径。
在检出精细肺结节之后,本方案还提供了分析肺结节测量属性的方法,以提供更全面的肺结节分析结果,以辅助临床诊断。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,还包括以下步骤中的至少一种:
标注良恶属性训练样本和形态属性训练样本,根据所述良恶属性训练样本和形态属性训练样本,基于对应确定的拓扑结构,训练获得良恶属性-形态属性双任务模型;
标注良恶性程度属性训练样本,根据所述良恶属性训练样本,基于对应确定的拓扑结构,训练获得良恶性程度任务模型;
标注形态属性训练样本,根据所述形态属性训练样本,基于对应确定的拓扑结构,训练获得形态属性模型。
上述模型的具体构建过程同于肺结节识别模型构建,本发明具体实施例在此不再重复阐述。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测方法,还包括以下步骤中的至少一种中,出现肺结节的候选肺结节影像构成粗识别肺结节影像:
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的良恶性程度属性-形态属性双任务模型,获得各肺结节的良恶性程度属性和形态属性;
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的良恶性程度属性任务模型,获得各肺结节的良恶性程度属性;
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的形态属性任务模型,获得各肺结节的形态属性。
在检出肺结节或精细肺结节(即得到属于肺结节各像素点的位置信息)之后,本案还提供了分析肺结节良恶性属性和形态属性的方法,以提供更全面的肺结节分析结果,更好地辅助临床诊断。对于良恶性属性和形态属性,可以通过预先构建的针对该双任务的3D-CNN模型得到,也可以分别通过良恶性程度任务模型和形态属性任务模型得到。即将得到的肺结节影像信息或者将精细肺结节信息作为相应模型的输入,输出为良恶性程度和/或形态属性(包括分叶、毛刺、边界、钙化、空泡征等)判定结果。
根据本发明的另一个方面,还提供一种肺结节检测装置,参见图3,该装置用于在前述各实施例中从待检测肺部影像中获取候选肺结节影像,根据候选肺结节影像,基于预先构建的肺结节识别模型获取检测结果。因此,在前述各实施例中的肺结节自动检测方法中的描述和定义,可以用于本发明实施例中各个执行模块的理解。
如图3所示,基于上述具体实施例,提供一种肺结节检测装置,包括:
获取模块A31,用于获取待检测肺部影像,从所述肺部影像中获取候选肺结节影像;所述候选肺结节影像为所述肺部影像中包含肺结节的部分子影像;检测模块A32,用于将所述候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果。
在上述具体实施例中,首先,所述获取模块A31用于获取的待检测肺部影像多为肺部CT影像,也能够为其他影像,本发明实施例在此不作限定。所述影像能够通过现有医疗影像设备拍摄获取。
其次,当所述肺部影像为CT影像时,所述获取模块A31可以用于单独基于连通成分分析,对待检测肺部影像进行分割,获得候选肺结节影像。同时,所述获取模块A31也可以用于单独基于预先构建的用于识别整个肺部影像中候选肺结节影像的神经网络模型(既成分分析模型),对待检测肺部影像进行分割,获得候选肺结节影像。进一步,所述获取模块A31还可以用于分别通过连通成分分析法和预先构建的成分分析模型,分别对待检测肺部影像进行分割,获得各自的候选肺结节影像集合,再将两个集合进行融合(例如合并后去除并集),得到最终的候选肺结节影像结果。同时,本实施例所述预设方法也不限于上述三种,在此不作限定。
最后,所述检测模块A32进一步用于将各个候选肺结节影像中固定大小体块影像分别输入到肺结节识别模型,模型的输出为各个候选肺结节是否为肺结节的判定结果(输出的可以是各个候选肺结节是否为肺结节的概率值或各个候选肺结节是否为肺结节的判定结果;当输出为概率值时,将概率值大于设定阈值判定为是肺结节,否则判定为不是肺结节),即得到了待检测影像中哪些位置是肺结节的信息。
在本发明上述具体实施例的基础上,提供一种肺结节检测装置,所述获取模块A31进一步用于:基于连通成分分析对待检测肺部CT影像进行分割,获得第一候选肺结节影像集;基于预先构建的成分分析模型对待检测肺部影像进行分割,获得第二候选肺结节影像集;将上述两个候选肺结节影像集进行融合,获得候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测装置,所述获取模块A31进一步用于:获得待检测肺部影像的HU值,通过对HU值进行二值化处理去除肺实质部分影像;对二值化处理后的影像进行连通成分分析,获得连通体;对所述连通体进行形态学操作,获得候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测装置,所述获取模块A31进一步用于:利用预设大小的窗口遍历待检测肺部影像,将遍历获得的各子影像输入预先构建的成分分析模型,输出获得候选肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节自动检测装置,所述肺结节识别模型为为一阶肺结节识别模型或两阶段级联肺结节识别模型;所述一阶肺结节识别模型通过以下步骤构建:标注第一训练样本数据集,根据所述第一训练样本数据集,基于确定的拓扑结构,获得所述一阶肺结节识别模型;所述一阶肺结节识别模型通过以下步骤构建:标注第一训练样本数据集,根据所述第一训练样本数据集,基于确定的拓扑结构,获得所述一阶肺结节识别模型;相应地,所述两阶段级联肺结节识别模型包括第1级肺结节识别模型和第2级肺结节识别模型;所述第1级肺结节识别模型为所述一阶肺结节识别模型,所述第2级肺结节识别模型通过以下步骤构建:根据第一训练样本数据集,基于所述一阶肺结节识别模型,获得识别结果;比较所述识别结果与第一训练样本数据的标注信息,将差异大于预设阈值的训练样本数据作为第二训练样本数据集,训练得到第2级肺结节识别模型。
在本发明上述具体实施例的基础上,提供一种肺结节检测装置,还包括精细检测模块,用于:将出现肺结节的候选肺结节影像输入预先构建的精细肺结节识别模型,输出所述出现肺结节的候选肺结节影像中属于肺结节的各像素点,所述各像素点构成精细肺结节影像。
在本发明上述具体实施例的基础上,提供一种肺结节检测装置,还包括测量属性获取模块,用于:根据所述精细肺结节影像和/或粗识别肺结节影像,获得对应各肺结节的测量属性;所述测量属性包括如下至少一种:最大直径、体积、有效直径、HU均值和HU直方图统计;其中,出现肺结节的候选肺结节影像构成粗识别肺结节影像;所述最大直径,为肺结节影像中最远两个像素点的距离;所述有效直径,为与肺结节具有相同体积球体的直径。
在本发明上述具体实施例的基础上,提供一种肺结节检测装置,还包括模型训练模块,用于执行如下至少一种步骤:
标注良恶属性训练样本和形态属性训练样本,根据所述良恶属性训练样本和形态属性训练样本,基于对应确定的拓扑结构,训练获得良恶属性-形态属性双任务模型;
标注良恶性程度属性训练样本,根据所述良恶属性训练样本,基于对应确定的拓扑结构,训练获得良恶性程度任务模型;
标注形态属性训练样本,根据所述形态属性训练样本,基于对应确定的拓扑结构,训练获得形态属性模型。
上述模型的具体构建过程同于肺结节识别模型构建,本发明具体实施例在此不再重复阐述。
在本发明上述具体实施例的基础上,提供一种肺结节检测装置,还包括属性获取模块,出现肺结节的候选肺结节影像构成粗识别肺结节影像:
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的良恶性程度属性-形态属性双任务模型,获得各肺结节的良恶性程度属性和形态属性;
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的良恶性程度属性任务模型,获得各肺结节的良恶性程度属性;
根据所述粗识别肺结节影像和/或精细肺结节影像,基于预先构建的形态属性任务模型,获得各肺结节的形态属性。
在检出肺结节或精细肺结节(即得到属于肺结节各像素点的位置信息)之后,本案还提供了分析肺结节良恶性属性和形态属性的属性获取模块,以提供更全面的肺结节分析结果,以辅助临床诊断。对于良恶性属性和形态属性,所述属性获取模块可以用于通过预先构建的针对该双任务的3D-CNN模型得到,也可以分别通过良恶性程度任务模型和形态属性任务模型得到。即将得到的肺结节影像信息或者将精细肺结节信息作为相应模型的输入,输出为良恶性程度和/或形态属性(包括分叶、毛刺、边界、钙化、空泡征等)判定结果。
基于上述具体实施例,提供一种电子设备。参见图4,该电子设备包括:处理器(processor)401、存储器(memory)402和总线403;
其中,处理器401及存储器402分别通过总线403完成相互间的通信;
处理器401用于调用存储器402中的程序指令,以执行上述实施例所提供的肺结节自动检测方法,例如包括:获取待检测肺部影像,从所述肺部影像中获取候选肺结节影像;所述候选肺结节影像为所述肺部影像中包含肺结节的部分子影像;将所述候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果。
本发明实施例提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行上述实施例所提供的肺结节自动检测方法,例如包括:获取待检测肺部影像,从所述肺部影像中获取候选肺结节影像;所述候选肺结节影像为所述肺部影像中包含肺结节的部分子影像;将所述候选肺结节影像作为预先构建的肺结节识别模型的输入,获得所述候选肺结节影像对应的肺部位置是否出现肺结节的检测结果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的信息交互设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。