一种用于冠状动脉的网络模型分割方法及设备
技术领域
本发明涉及医学影像技术领域,尤其涉及一种用于冠状动脉的网络模型分割方法及设备。
背景技术
在现代医学技术领域中,自动化冠脉重建技术对医生有着重要的临床价值和实际意义,进行自动化冠脉重建首先需要解决该过程中的自动化冠脉分割问题。区别于传统的冠脉分割方法,由于人工神经网络的诸多优点,人们愈发倾向于采用人工神经网络来完成冠脉分割工作。
但是,以深度学习神经网络为主的人工神经网络,其对训练样本有较高的数量要求,且同时需要大量的多样性训练样本和单一性训练样本。当只采用多样性训练样本进行训练得到的网络模型对特殊的样本缺乏细致的特征表达进而影响结果,而仅采用单一性训练样本进行训练得到的网络模型,存在不好适应实际生产环境的多样性的问题。
因此,如何通过有效地融合多样性训练样本及单一性训练样本的优势来克服现有技术所存在的上述缺陷,成为当前亟待解决的问题。
发明内容
本发明实施例为了有效克服现有技术所存在的上述缺陷,创造性地提供一种用于冠状动脉的网络模型分割方法及设备。
本发明一方面提供一种用于冠状动脉的网络模型分割方法,所述方法包括:对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集;分别利用所得到的多样性训练样本集和单一性训练样本集进行分割预测,得到基础模型的分割预测结果和扩展模型的分割预测结果;融合所述基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果。
在一个实施例中,根据本发明的上述方法,所述对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集之前,所述方法还包括:对多个冠状动脉训练样本进行分类标记,得到多个标签信息组;对所得到的多个标签信息组按照第一比例进行选取,得到多样性训练样本集;从所得到的多个标签信息组中筛选隶属于第一标签信息的训练样本,作为单一性训练样本集。
在一个实施例中,根据本发明的上述方法,所述对多个冠状动脉训练样本进行分类标记,包括:根据数据来源、数据质量和/或病灶情况来对多个冠状动脉训练样本进行分类标记。
在一个实施例中,根据本发明的上述方法,所述融合所述基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果,包括:在所述基础模型的分割预测结果上找到冠状动脉的尾端位置;在所述冠状动脉的尾端位置添加所述扩展模型的分割预测结果,得到融合优化后的冠状动脉分割结果。
在一个实施例中,根据本发明的上述方法,所述融合所述基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果,包括:遍历所述扩展模型的分割预测结果中的每一个像素点,从所述扩展模型的分割预测结果中减去所述基础模型的分割预测结果,得到差异性分割预测结果;在所述基础模型的分割预测结果中增加所述差异性分割预测结果,得到融合优化后的冠状动脉分割结果。
本发明另一方面提供一种冠状动脉的网络模型分割设备,所述设备包括:筛选模块,用于对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集;分割模块,用于分别利用所得到的多样性训练样本集和单一性训练样本集进行分割预测,得到基础模型的分割预测结果和扩展模型的分割预测结果;整合模块,用于融合所述基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果。
在一个实施例中,根据本发明的上述设备,所述设备还包括标记模块,所述标记模块包括:分类标记单元,用于在对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集之前,对多个冠状动脉训练样本进行分类标记,得到多个标签信息组;选取单元,用于对所得到的多个标签信息组按照第一比例进行选取,得到多样性训练样本集;筛选单元,用于从所得到的多个标签信息组中筛选隶属于第一标签信息的训练样本,作为单一性训练样本集。
在一个实施例中,根据本发明的上述设备,所述分类标记单元,还用于根据数据来源、数据质量和/或病灶情况来对多个冠状动脉训练样本进行分类标记。在一个实施例中,根据本发明的上述设备,所述整合模块包括:尾端定位单元,用于在所述基础模型的分割预测结果上找到冠状动脉的尾端位置;尾端添加单元,用于在所述冠状动脉的尾端位置添加所述扩展模型的分割预测结果,得到融合优化后的冠状动脉分割结果。
在一个实施例中,根据本发明的上述设备,所述整合模块包括:差异分割单元,用于遍历所述扩展模型的分割预测结果中的每一个像素点,从所述扩展模型的分割预测结果中减去所述基础模型的分割预测结果,得到差异性分割预测结果;差异整合单元,用于在所述基础模型的分割预测结果中增加所述差异性分割预测结果,得到融合优化后的冠状动脉分割结果。
本发明所述用于冠状动脉的网络模型分割方法及设备,通过对不同的样本进行筛选训练得到基础模型和扩展模型,再将基础模型和扩展模型进行融合优化,得到优化后的冠状动脉分割结果。这样,本发明能够有效地融合多样性训练样本及单一性训练样本的优势,从而解决只采用多样性训练样本进行训练得到的网络模型对特殊的样本缺乏细致的特征表达进而影响结果,而仅采用单一性训练样本进行训练得到的网络模型,存在不好适应实际生产环境的多样性的问题,进而提高人工神经网络在冠脉分割工作中的易用性和鲁棒性。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1为本发明实施例用于冠状动脉的网络模型分割方法的实现流程示意图;
图2为本发明实施例用于冠状动脉的网络模型分割方法的一种示意图;
图3为本发明实施例用于冠状动脉的网络模型分割方法的另一种示意图;
图4为本发明实施例用于冠状动脉的网络模型分割设备的实现流程示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
图1为本发明实施例用于冠状动脉的网络模型分割方法的实现流程示意图。
参考图1,本发明一方面提供一种用于冠状动脉的网络模型分割方法,该方法包括:
步骤101,对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集;
步骤102,分别利用所得到的多样性训练样本集和单一性训练样本集进行分割预测,得到基础模型的分割预测结果和扩展模型的分割预测结果;
步骤103,融合基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果。
其中,冠状动脉训练样本来自多个医院或医疗生产商,如西门子、GE(GeneralElectrics通用电气公司),由于不同的生产商采用的操作手法不同,所得的训练样本之间差异性也较大,若采用其中一种生产商提供的训练样本进行分割预测,所得的分割模型无法良好适配每一家医院。因此,在采集来自各个医疗生产商的冠状动脉训练样本时,需对这些样本按照单一性与多样性进行筛选,得到多样性训练样本集和单一性训练样本集,后分别利用所得到的多样性训练样本集进行分割预测,得到基础模型的分割预测结果,利用所得到的单一性训练样本集进行分割预测,得到扩展模型的分割预测结果,再将基础模型和扩展模型进行融合优化,得到优化后的冠状动脉分割结果。有效的解决了当采用多样性训练样本时对特殊样本缺乏细致特征表达和当采用单一性训练样本时对多样化的实际生产环境适应性不好的问题,有效融合了两种样本优势,提高了在实际生产环境中的易用性和鲁棒性。
本实施例中,对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集之前,方法还包括:对多个冠状动脉训练样本进行分类标记,得到多个标签信息组;对所得到的多个标签信息组按照第一比例进行选取,得到多样性训练样本集;从所得到的多个标签信息组中筛选隶属于第一标签信息的训练样本,作为单一性训练样本集。
其中,对多个冠状动脉训练样本进行分类标记可以通过观察判断后手动逐一对训练样本进行标签标记或通过算法标记标签,一个样本的标签可以为多个,如来自西门子公司的质量正常的训练样本数据,或来自GE公司的质量不好的训练样本数据,得到多个标签信息组,多个标签信息组有益于扩展模型在细节上更加丰富,对不同数据的普适性更强。本实施例中,多样性训练样本集中选择有所有标签数据,其中,优选的,训练样本集中标签信息组间的比例可以按照实际生产环境中的数据分布来选择,如实际生产环境中质量好的数据:质量不好的数据=8:2,则按照第一比例为8:2来筛选数据,这样按照实际生产环境中的数据分布所筛选的训练数据能得到一个对各自数据有更好普适性的基础模型。单一性训练样本集根据具体需要选择单一标签的数据即隶属于第一标签信息的训练样本,如只选择西门子公司的训练样本或只选择GE公司的训练样本,这样得到的扩展模型拥有更多的细节特征,能对西门子或GE的数据有更好的细节预测能力。
在本实施例中,对多个冠状动脉训练样本进行分类标记,包括:根据数据来源、数据质量和/或病灶情况来对多个冠状动脉训练样本进行分类标记。其中,数据来源可选为如西门子或GE等的CT数据等,数据质量可选为质量正常、伪影数据、动静态区分度弱、心肌桥、断层数据、起搏器等,病灶情况表示血管狭窄的情况,可选为无病、轻度、中度、高度等。那么,在选择标签数据时,多样性训练样本集可以按照质量正常的数据:伪影数据:动静态区分度弱:心肌桥:断层数据:起搏器=5:1:1:1:1:1,这样得到的基础模型对存在伪影数据或心肌桥、起搏器等的数据普适性更加良好。单一性训练样本集可以根据需要选择无病或高度等的其中一个标签的数据,那么这样得到的扩展模型对无病或血管高度狭窄的数据有更好的细节预测能力,或者可以选择单一数据来源,如均选择西门子的数据作为单一性训练样本集,那么这样得到的扩展模型对西门子的数据有较好的适应性和较好的细节预测能力。
图2为本发明实施例用于冠状动脉的网络模型分割方法的一种示意图;图3为本发明实施例用于冠状动脉的网络模型分割方法的另一种示意图。
参考图2和图3,在本实施例中,融合基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果,包括:在基础模型的分割预测结果上找到冠状动脉的尾端位置;在冠状动脉的尾端位置添加扩展模型的分割预测结果,得到融合优化后的冠状动脉分割结果。
本实施例中,融合基础模型的分割预测结果和扩展模型的分割预测结果的方法优选为,以基础模型的分割预测结果为基础,利用扩展模型生长。基础模型因为普适性更好,因此会抽取数据更加普适性的特征,其在分割预测结果上的表现为是整体性更好、噪声更少,即冠状动脉尾端可能更短,静脉粘连更少。而扩展模型在分割预测结果上,细节更丰富、噪声会多一些,即冠状动脉尾端可能更长、静脉粘连更多。将两个结果进行融合,生成细节更丰富、噪声也少的分割预测结果,从而为临床医学诊断提供更有价值的信息。
其中,可选的,具体融合方法为在基础模型的分割预测结果上找到冠状动脉的尾端位置,具体可以通过在冠状动脉的基础模型中提取中心线,并定位基础模型中心线的尾端位置,从而得到冠状动脉的尾端位置。进一步的,在冠状动脉的扩展模型中提取中心线,并将基础模型中心线尾端位置对应至扩展模型中心线上的位置,从而通过提取中心线数据来提取扩展模型上粘在尾端的静脉数据。将这部分粘在尾端的静脉数据粘贴至基础模型尾端,得到融合优化后的冠状动脉分割结果,提高了分割模型的准确性和普适性。
在又一实施例中,融合基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果,包括:遍历扩展模型的分割预测结果中的每一个像素点,从扩展模型的分割预测结果中减去基础模型的分割预测结果,得到差异性分割预测结果;输入所述基础模型的分割预测结果与所述差异性分割预测结果并进行神经网络训练,得到融合优化后的冠状动脉分割结果。
本实施例中,优选的,通过神经网络的方法先遍历扩展模型的分割预测结果中的每一个像素点,从扩展模型的分割预测结果中减去基础模型的分割预测结果,得到差异性分割预测结果,进一步的,将所得差异性分割预测结果添加至基础模型的分割预测结果中,得到融合优化后的冠状动脉分割结果。这样,将基础模型和差异性分割预测结果作为输入数据,将融合优化后的冠状动脉分割结果作为输出结果进行训练,让网络学习整合模型。
本实施例通过深度神经网络训练进行模型整合可高效处理大量数据,进而大大提高分割模型的准确性,有效地融合多样性训练样本及单一性训练样本的优势,从而解决只采用多样性训练样本进行训练得到的网络模型对特殊的样本缺乏细致的特征表达进而影响结果,而仅采用单一性训练样本进行训练得到的网络模型,存在不好适应实际生产环境的多样性的问题,进而提高人工神经网络在冠脉分割工作中的易用性和鲁棒性,为临床医学诊断提供更有价值的信息。
图4为本发明实施例用于冠状动脉的网络模型分割设备的实现流程示意图。
另一方面,本发明还提供一种冠状动脉的网络模型分割设备,参考图4,设备包括:筛选模块201,用于对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集;分割模块202,用于分别利用所得到的多样性训练样本集和单一性训练样本集进行分割预测,得到基础模型的分割预测结果和扩展模型的分割预测结果;整合模块203,用于融合基础模型的分割预测结果和扩展模型的分割预测结果,生成融合优化后的冠状动脉分割结果。
其中,筛选模块201通过算法对来自各个生产商的大量冠状动脉训练样本进行筛选从而得到多样性训练样本集和单一性训练样本集,后分割模块202对得到的多样性训练样本集逐一进行分割预测,经过一整个多样性训练样本集合的分割预测并整合优化后得到对来自各个生产商或各种类型数据均普适性良好的基础模型的分割预测结果,采用多样性训练样本进行分割预测得到的基础模型对特殊样本缺乏细致特征表达,其静脉粘连较少,冠状动脉尾端较短。同样的分割模块202对得到的单一性训练样本集逐一进行分割预测并整合优化后得到细节更丰富,冠状动脉尾端更长,但静脉粘连更多的扩展模型。然后通过整合模块203将两种模型进行融合,得到普适性良好而且细节丰富,噪声也少的融合优化后的分割预测结果。
本实施例中设备还包括标记模块,标记模块包括:分类标记单元,用于在对多个冠状动脉训练样本进行筛选,得到多样性训练样本集和单一性训练样本集之前,对多个冠状动脉训练样本进行分类标记,得到多个标签信息组;选取单元,用于对所得到的多个标签信息组按照第一比例进行选取,得到多样性训练样本集;筛选单元,用于从所得到的多个标签信息组中筛选隶属于第一标签信息的训练样本,作为单一性训练样本集。
其中,分类标记单元通过对来自各个生产商的大量训练样本进行分类标记,一个样本的标签可以为多个,如来自西门子公司的质量正常的训练样本数据,或来自GE公司的质量不好的训练样本数据,得到多个标签信息组。选取单元选择有所有标签数据,其中,优选的,训练样本集中标签信息组间的比例可根据实际生产环境来定义第一比例,如实际生产环境中质量好的数据:质量不好的数据=8:2,则按照第一比例为8:2来筛选数据,这样按照实际生产环境中的数据分布所筛选的训练数据能得到一个对各自数据有更好普适性的基础模型。而筛选单元根据具体需要选择单一标签的数据即隶属于第一标签信息的训练样本,如只选择西门子公司的训练样本或只选择GE公司的训练样本,从而得到拥有更多的细节特征,能对这一标签数据有更好的细节预测能力的扩展模型。
本实施例中,分类标记单元还用于根据数据来源、数据质量和/或病灶情况来对多个冠状动脉训练样本进行分类标记。其中,数据来源可选为如西门子或GE等的CT数据等,数据质量可选为质量正常、伪影数据、动静态区分度弱、心肌桥、断层数据、起搏器等,病灶情况表示血管狭窄的情况,这一情况下可选为无病、轻度、中度、高度等,多种可选标记有益于扩展模型在细节上更加丰富,对不同数据的普适性更强。
本实施例中,整合模块203包括:尾端定位单元,用于在基础模型的分割预测结果上找到冠状动脉的尾端位置;尾端添加单元,用于在冠状动脉的尾端位置添加扩展模型的分割预测结果,得到融合优化后的冠状动脉分割结果。
其中,可选的,尾端定位单元可通过在冠状动脉的基础模型中提取中心线,并定位基础模型中心线的尾端位置,从而得到冠状动脉的尾端位置。进一步的,在冠状动脉的扩展模型中提取中心线,并将基础模型中心线尾端位置对应至扩展模型中心线上的位置,从而通过提取中心线数据来提取扩展模型上粘在尾端的静脉数据。尾端添加单元,将这部分粘在尾端的静脉数据粘贴至基础模型尾端,得到融合优化后的冠状动脉分割结果,提高了分割模型的准确性和普适性。
在又一实施例中,整合模块203包括:差异分割单元,用于遍历扩展模型的分割预测结果中的每一个像素点,从扩展模型的分割预测结果中减去基础模型的分割预测结果,得到差异性分割预测结果;差异整合单元,用于输入所述基础模型的分割预测结果与所述差异性分割预测结果并进行神经网络训练,得到融合优化后的冠状动脉分割结果。
本实施例中,优选的,差异分割单元先遍历扩展模型的分割预测结果中的每一个像素点,从扩展模型的分割预测结果中减去基础模型的分割预测结果,得到差异性分割预测结果。进一步的,差异整合单元将所得差异性分割预测结果添加至基础模型的分割预测结果中,得到融合优化后的冠状动脉分割结果。这样,通过神经网络的方法将基础模型和差异性分割预测结果作为输入数据,将融合优化后的冠状动脉分割结果作为输出结果进行训练,让网络学习整合模型。
本实施例通过深度神经网络训练的方法进行模型整合可高效处理大量数据,进而大大提高分割模型的准确性,有效地融合多样性训练样本及单一性训练样本的优势,从而解决只采用多样性训练样本进行训练得到的网络模型对特殊的样本缺乏细致的特征表达进而影响结果,而仅采用单一性训练样本进行训练得到的网络模型,存在不好适应实际生产环境的多样性的问题,进而提高人工神经网络在冠脉分割工作中的易用性和鲁棒性,为临床医学诊断提供更有价值的信息。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。