CN109102509B - 分割模型训练方法、装置及计算机可读存储介质 - Google Patents

分割模型训练方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109102509B
CN109102509B CN201810716876.4A CN201810716876A CN109102509B CN 109102509 B CN109102509 B CN 109102509B CN 201810716876 A CN201810716876 A CN 201810716876A CN 109102509 B CN109102509 B CN 109102509B
Authority
CN
China
Prior art keywords
cardiac
image
segmentation result
segmentation
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810716876.4A
Other languages
English (en)
Other versions
CN109102509A (zh
Inventor
胡战利
马慧
吴垠
梁栋
杨永峰
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201810716876.4A priority Critical patent/CN109102509B/zh
Publication of CN109102509A publication Critical patent/CN109102509A/zh
Priority to PCT/CN2019/071501 priority patent/WO2020007026A1/zh
Application granted granted Critical
Publication of CN109102509B publication Critical patent/CN109102509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Abstract

本发明提供一种分割模型训练方法,装置及计算机可读存储介质,方法包括:将采集的心脏CT图像输入到深度学习网络模型进行训练,得到各心脏CT图像的第一分割结果,基于强化学习方法,根据心室位置信息及第一分割结果对该第一分割结果进行微调,得到第二分割结果,根据该第二分割结果及上述心室位置信息对深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为对心脏心肌进行分割的分割模型。通过将心脏CT图像及各心脏CT图像的心室位置信息作为训练数据对深度学习网络模型进行训练,使得能够得到可自动对心脏CT图像进行心室分割的分割模型,且进一步的通过结合强化学习方法进行微调及迭代训练,能够得到分割精度更高的分割模型。

Description

分割模型训练方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种分割模型训练方法、装置及计算机可读存储介质。
背景技术
心血管疾病严重威胁着人类的生命健康,对心血管疾病的早期定量诊断和风险评估对延长人类生命健康起着关键的作用。随着科技高速发展,影像诊断设备的功能和成像质量有了很大提高。尤其是计算机断层扫面(Computed Tomography,CT)技术的高速发展不断影响人体疾病的诊断方式,逐步成为心脏检查的一种重要的诊断方式。心室区域是心脏核心区域,一直是心脏疾病研究的重点,借助于心脏CT图像对心脏组织尤其是左心室的研究,是非常有意义的。
左心室形态和运动的异常始终被视为心血管临床诊断的重要依据,为帮助脑血管疾病(Cerebrovascular Disease,CVD)的诊断,医生致力于确定左心室容积、心肌壁厚度,并测量在心动周期的心室血量(射血分数)和管壁增厚性质的变化,然而上述数据都依赖于左心室心肌的正确分割。目前,心室心肌的分割主要是专家手动分割,然而,手工分割对专家知识和经验要求很高,而且不可避免出现误差。因此,提供一种能够自动进行心室心肌分割的工具是目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种分割模型训练方法,旨在解决现有技术中缺少能够自动进行心室心肌分割的工具的技术问题。
为实现上述目的,本发明第一方面提供一种分割模型训练方法,包括:
采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
基于强化学习方法,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果;
根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
为实现上述目的,本发明第二方面提供一种分割模型训练装置,所述装置包括:
采集获取模块,用于采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
训练模块,用于将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
微调模块,用于基于强化学习装置,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果;
迭代模块,用于根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
为实现上述目的,本发明第三方面还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如第一方面所述的分割模型训练方法的各个步骤。
本发明提供一种分割模型训练方法,装置及计算机可读存储介质,在方法包括:采集多张心脏CT图像,并获取各心脏CT图像已勾勒的心室位置信息,将该心脏CT图像输入到深度学习网络模型进行训练,得到该深度学习网络模型输出的各心脏CT图像的第一分割结果,基于强化学习方法,根据心室位置信息及第一分割结果对该第一分割结果进行微调,得到各心脏CT图像的第二分割结果,根据该第二分割结果及上述各心脏CT图像的心室位置信息对深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为对心脏心肌进行分割的分割模型。相对于现有技术,通过将心脏CT图像及各心脏CT图像的心室位置信息作为训练数据对深度学习网络模型进行训练,使得能够得到可自动对心脏CT图像进行心室分割的分割模型,且进一步的通过结合强化学习方法进行微调及迭代训练,能够得到分割精度更高的分割模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中分割模型训练方法的流程示意图;
图2为本发明实施例中分割模型训练方法的另一流程示意图;
图3为本发明实施例中第一分割结果和心室位置信息的示意图;
图4为本发明实施例中分割模型训练装置的结构示意图;
图5为本发明实施例中分割模型训练装置的另一结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,为本发明实施例中分割模型训练方法的流程示意图,包括:
步骤101、采集多张心脏CT图像,获取各心脏CT图像已勾勒的心室位置信息;
在发明实施例中,上述的分割模型训练方法可以由分割模型训练装置实现,该分割模型训练装置由程序模块构成,并存储在训练设备(如计算机)内,训练设备内的处理器可以调用上述的分割模型训练装置,以实现上述的分割模型训练方法。
其中,训练之前需要准备进行训练的训练数据,该训练数据包含多张心脏CT图像,及各心脏CT图像的心室位置信息,其中,该多张心脏CT图像可以是通过临床方式采集到的心脏CT图像,且各心脏CT图像的心室位置信息可以是通过手动方式勾勒出来的,或者可以是通过其他方式确定的准确度高的心室位置信息。
步骤102、将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
在本发明实施例中,在将心脏CT图像输入到深度学习网络模型进行训练之前,还可以对各心脏CT图像进行预处理,预处理具体为对各心脏CT图像的尺寸进行归一化处理,这是为了能够更好的满足训练要求及得到精确度更高的分割模型。且在预处理之后,将作为训练数据的多张心脏CT图像输入到深度学习网络模型进行训练,得到该深度学习网络模型输出的各心脏CT图像的第一分割结果。
在本发明实施例中,使用的是深度学习网络模型,通过对该深度学习网络模型进行训练,以得到能够对心室心肌进行准确分割的分割模型。其中,该深度学习网络模型具体可以是V-NET网络模型,或者卷积神经网络类的模型,在实际应用中可以根据具体的需要选择模型,此处不做限定。
步骤103、基于强化学习方法,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果;
在本发明实施例中,强化学习又称再励学习、评价学习,是一种重要的机器学习方法。所谓强化学习就是智能系统从环境到行为映射的学习,以使强化信号函数值最大。将基于强化学习方法,根据心室位置信息及第一分割结果对该第一分割结果进行微调,得到各心脏CT图像的第二分割结果。
步骤104、根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
通过迭代的方式,对每次深度学习网络模型输出的第一分割结果进行微调,通过多次迭代及微调,使得训练得到的深度学习网络模型具有较高的分割精度,并可作为分割模型使用,且使用该分割模型对心脏CT图像进行分割,能够得到分割准确度高的心室位置信息。
在本发明实施例中,通过将心脏CT图像及各心脏CT图像的心室位置信息作为训练数据对深度学习网络模型进行训练,使得能够得到可自动对心脏CT图像进行心室分割的分割模型,且进一步的通过结合强化学习方法进行微调及迭代训练,能够得到分割精度更高的分割模型。
为了更好的理解本发明实施例中的技术方案,请参阅图2,为本发明实施例中分割模型训练方法的另一流程图,包括:
步骤201、采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
步骤202、将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
在本发明实施例中,上述步骤201及步骤202描述的内容与图1所示实施例中的步骤101及步骤102中的内容相似,具体可以参阅图1所示实施例中的步骤101及步骤102,此处不做赘述。
步骤203、计算所述各心脏CT图像的心室位置信息与所述各心脏CT图像的第一分割结果之间的相似度;
步骤204、根据所述相似度对所述各心脏CT图像的第一分割结果进行微调,得到所述各心脏CT图像的第二分割结果;
在本发明实施例中,是基于强化学习方法,得到各心脏CT图像的第二分割结果的,强化学习方法中涉及到奖惩,可以通过Dice系数判断,Dice系数可以用来判断两个集合的相似程度,即可以计算两个集合的相似度,该两个集合为各心脏CT图像的第一分割结果构成的集合,另一个集合为各心脏CT图像的心室位置信息构成的集合,
具体的,将使用相似度计算公式计算各心脏CT图像的心室位置信息与各心脏CT图像的第一分割结果之间的相似度,其中,相似度计算公式如下:
Figure BDA0001717763380000061
其中,D表示各心脏CT图像的第一分割结果构成的集合与各心脏CT图像的心室位置信息构成的集合之间的相似度,N表示心脏CT图像的张数,pi表示第i张心脏CT图像的心室位置信息,gi表示第i张心脏CT图像的第一分割结果。
其中,将计算得到的相似度与预设值进行比较,该预设值通常为1,且相似度等于1时,表明该第一分割结果是完成正确的,此时表明已经完成了对深度学习网路模型的训练。当相似度不等于上述预设值时,将基于相似度确定是否需要对各心脏CT图像的第一分割结果进行微调。
其中,由于需要进行多次迭代计算,即将微调后的第二分割结果输入至深度学习网络模型进行训练,得到输出的第一分割结果,然后返回步骤203计算相似度,再继续相似度确定是否进行微调。因此,每一次迭代过程都将会计算得到一个相似度,可以保存计算得到的相似度。且在每次计算得到相似度之后,将该相似度作为当前相似度,并将该当前相似度与上一次计算得到的相似度进行比较,当该当前相似度小于上一次计算得到的相似度时,表明此次对深度学习网络模型的训练并没有使得深度学习网络模型的精度提高,确定不对该各心脏CT图像的第一分割结果进行微调,且将加强学习网络中的奖励值(reward)减去一,同时将各心脏CT图像的第一分割结果作为所述各心脏CT图像的第二分割结果,以便后续利用该第二分割结果进行迭代。当该当前相似度大于上一次计算得到的相似度时,表明此次对深度学习网络模型的训练使得深度学习网络模型的精度有了提高,将对各心脏CT图像的第一分割结果进行微调,得到各心脏CT图像的第二分割结果。
其中,对心脏CT图像的第一分割结果的微调可以是上移、下移、左移、右移、缩小、放大和保持不变中的至少一种,至于具体采取何种微调方式,则需要基于心脏CT图像的第一分割结果与心脏CT图像的心室位置信息进行确定。
为了更好的理解微调,请参阅图3,为本发明实施例中第一分割结果和心室位置信息的示意图,在图3中,为同一张心脏CT图像的分割示意图,左侧图像为通过手动方式勾勒的作为标准的心室位置信息,包括上下左右四个坐标点,分别使用Gt_top、Gt_bottom、Gt_left及Gt_right表示,右侧图像为深度学习网络模型输出的第一分割结果,也包括上下左右四个坐标点,分别使用V_top、V_bottom、V_left及V_right表示,按照如下方式进行判别,以确定微调方式:
1、当Gt_top>V_top&Gt_bottom=V_bottom&Gt_left=V_left&Gt_right=V_right时,确定微调方式为上移,即将心脏CT图像的第一分割结果整体上移预设值。
2、当Gt_top<V_top&Gt_bottom<V_bottom&Gt_left=V_left&Gt_right=V_right,确定微调方式为下移,即将心脏CT图像的第一分割结果整体上移预设值。
3、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left<V_left&Gt_right<V_right,确定微调方式为左移,即将心脏CT图像的第一分割结果整体上移预设值。
4、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left>V_left&Gt_right>V_right,确定微调方式为右移,即将心脏CT图像的第一分割结果整体右移预设值。
5、当Gt_top<V-top&Gt_bottom>V_bottom&Gt_left>V_left&Gt_right<V_right,确定微调方式为缩小,即将心脏CT图像的第一分割结果整体缩小预设倍数。
6、当Gt_top>V-top&Gt_bottom<V_bottom&Gt_left<V_left&Gt_right>V_right,确定微调方式为放大,即将心脏CT图像的第一分割结果整体放大预设倍数。
7、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left=V_left&Gt_right=V_right,确定微调方式为保持不变。
可以理解的是,在上移、下移、左移、或者右移时,移动的预设值可以是1毫米至10毫米范围内的任意一个值,且在缩小或放大时,缩小或放大的预设倍数可以是0.01至0.2倍范围内的任意一个倍数。
在本发明实施例中,可以通过对第一分割结果进行微调的方式得到第二分割结果。
进一步的,将根据各心脏CT图像的第二分割结果及心室位置信息对深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为分割模型,该分割模型能够对心脏CT图像进行精度较高的分割,具体请参阅步骤205及步骤206。
步骤205、计算所述各心脏CT图像的第二分割结果与所述各心脏CT图像的心室位置信息之间的误差;
步骤206、当最大误差大于或等于误差阈值时,将所述第二分割结果输入所述深度学习网络模型,以进行迭代训练,直至计算得到的最大误差小于所述误差阈值。
在本发明实施例中,将依次计算各心脏CT图像的微调后的第二分割结果与各心脏CT图像的心室位置信息之间的误差,当误差中的最大误差大于或等于误差阈值,则将各心脏CT图像的第二分割结果输入到深度学习网络模型中,进行训练,该深度学习网络模型又将输出第一分割结果,返回执行步骤203,以进行迭代,直至迭代次数达到预设数值,或者计算得到的最大误差小于误差阈值。且将迭代结束后的深度学习网络模型作为分割模型,用于对心脏CT图像进行分割。
相对于传统的手工勾勒方法,本发明实施例中引入深度学习网路模型,使得利用深度学习网络模型对心脏CT图像进行分割,能够显著提高分割的精度,且在深度学习的基础上引入了强化学习的方法,利用强化学习的方法对分割结果进行微调及利用微调后的分割结果对深度学习网络模型进行迭代训练,通过多次迭代,可以进一步提高深度学习网络模型的分割精度,作为分割模型使用,能够有效实现对心脏CT图像的心室的分割,且分割精度高,不需要手动勾勒,能够有效的节约人工成本及降低心室分割偏差出现的概率。
请参阅图4,为本发明实施例中分割模型训练装置的结构示意图,该装置包括:
采集获取模块401,用于采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
其中,训练之前需要准备进行训练的训练数据,该训练数据包含多张心脏CT图像,及各心脏CT图像的心室位置信息,其中,该多张心脏CT图像可以是通过临床方式采集到的心脏CT图像,且各心脏CT图像的心室位置信息可以是通过手动方式勾勒出来的,或者可以是通过其他方式确定的准确度高的心室位置信息。
训练模块402,用于将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
在本发明实施例中,在将心脏CT图像输入到深度学习网络模型进行训练之前,还可以对各心脏CT图像进行预处理,预处理具体为对各心脏CT图像的尺寸进行归一化处理,这是为了能够更好的满足训练要求及得到精确度更高的分割模型。
其中,深度学习网络模型具体可以是V-NET网络模型,或者卷积神经网络类的模型,在实际应用中可以根据具体的需要选择模型,此处不做限定。
微调模块403,用于基于强化学习装置,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果;
在本发明实施例中,强化学习又称再励学习、评价学习,是一种重要的机器学习方法。所谓强化学习就是智能系统从环境到行为映射的学习,以使强化信号函数值最大。
迭代模块404,用于根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
在本发明实施例中,通过将心脏CT图像及各心脏CT图像的心室位置信息作为训练数据对深度学习网络模型进行训练,使得能够得到可自动对心脏CT图像进行心室分割的分割模型,且进一步的通过结合强化学习方法进行微调及迭代训练,能够得到分割精度更高的分割模型。
请参阅图5,为本发明实施例中分割模型训练装置的另一结构示意图,包括如图4所示实施例中的采集获取模块401、训练模块402、微调模块403及迭代模块404,且与图4所示实施例中描述的内容相似,此处不做赘述。
在本发明实施例中,微调模块403包括:
计算模块501,用于计算所述各心脏CT图像的心室位置信息与所述各心脏CT图像的第一分割结果之间的相似度;
结果微调模块502,用于根据所述相似度对所述各心脏CT图像的第一分割结果进行微调,得到所述各心脏CT图像的第二分割结果。
其中,结果微调模块502包括:
比较模块503,用于在所述相似度不等于预设值时,将所述相似度与上一次计算得到的相似度进行比较;
第一处理模块504,用于当所述相似度小于上一次计算得到的相似度时,确定不对所述各心脏CT图像的第一分割结果进行微调,且将各心脏CT图像的第一分割结果作为所述各心脏CT图像的第二分割结果;
第二处理模块505,用于当所述相似度大于上一次计算得到的相似度时,对所述各心脏CT图像的第一分割结果进行微调,得到所述第二分割结果。
所述第二处理模块505具体用于将所述各心脏的CT图像的心室位置信息中的各方位的坐标值与相应的所述第一分割结果的各方位的坐标值进行比较,得到比较结果;按照所述比较结果对相应的所述第一分割结果的各方位的坐标值进行调整,得到所述第二分割结果,调整包括:上移、下移、左移、右移、缩小、放大、保持不变中的至少一种。
在本发明实施例中,迭代模块404包括:
误差计算模块506,用于计算所述各心脏CT图像的第二分割结果与所述各心脏CT图像的心室位置信息之间的误差;
迭代训练模块507,用于当最大误差大于或等于误差阈值时,将所述第二分割结果输入所述深度学习网络模型,以进行迭代训练,直至计算得到的最大误差小于所述误差阈值。
在本发明实施例中,是基于强化学习方法,得到各心脏CT图像的第二分割结果的,强化学习方法中涉及到奖惩,可以通过Dice系数判断,Dice系数可以用来判断两个集合的相似程度,即可以计算两个集合的相似度,该两个集合为各心脏CT图像的第一分割结果构成的集合,另一个集合为各心脏CT图像的心室位置信息构成的集合,
具体的,将使用相似度计算公式计算各心脏CT图像的心室位置信息与各心脏CT图像的第一分割结果之间的相似度,其中,相似度计算公式如下:
Figure BDA0001717763380000121
其中,D表示各心脏CT图像的第一分割结果构成的集合与各心脏CT图像的心室位置信息构成的集合之间的相似度,N表示心脏CT图像的张数,pi表示第i张心脏CT图像的心室位置信息,gi表示第i张心脏CT图像的第一分割结果。
其中,将计算得到的相似度与预设值进行比较,该预设值通常为1,且相似度等于1时,表明该第一分割结果是完成正确的,此时表明已经完成了对深度学习网路模型的训练。当相似度不等于上述预设值时,将基于相似度确定是否需要对各心脏CT图像的第一分割结果进行微调。
其中,由于需要进行多次迭代计算,即将微调后的第二分割结果输入至深度学习网络模型进行训练,得到输出的第一分割结果,然后返回步骤203计算相似度,再继续相似度确定是否进行微调。因此,每一次迭代过程都将会计算得到一个相似度,可以保存计算得到的相似度。且在每次计算得到相似度之后,将该相似度作为当前相似度,并将该当前相似度与上一次计算得到的相似度进行比较,当该当前相似度小于上一次计算得到的相似度时,表明此次对深度学习网络模型的训练并没有使得深度学习网络模型的精度提高,确定不对该各心脏CT图像的第一分割结果进行微调,且将加强学习网络中的奖励值减去一,且将各心脏CT图像的第一分割结果作为各心脏CT图像的第二分割结果,以便后续利用第二分割结果进行迭代。当该当前相似度大于上一次计算得到的相似度时,表明此次对深度学习网络模型的训练使得深度学习网络模型的精度有了提高,将对各心脏CT图像的第一分割结果进行微调,得到各心脏CT图像的第二分割结果。
其中,对心脏CT图像的第一分割结果的微调可以是上移、下移、左移、右移、缩小、放大和保持不变中的至少一种,至于具体采取何种微调方式,则需要基于心脏CT图像的第一分割结果与心脏CT图像的心室位置信息进行确定。
为了更好的理解微调,请参阅图3,为本发明实施例中第一分割结果和心室位置信息的示意图,在图3中,为同一张心脏CT图像的分割示意图,左侧图像为通过手动方式勾勒的作为标准的心室位置信息,包括上下左右四个坐标点,分别使用Gt_top、Gt_bottom、Gt_left及Gt_right表示,右侧图像为深度学习网络模型输出的第一分割结果,也包括上下左右四个坐标点,分别使用V_top、V_bottom、V_left及V_right表示,按照如下方式进行判别,以确定微调方式:
1、当Gt_top>V_top&Gt_bottom=V_bottom&Gt_left=V_left&Gt_right=V_right时,确定微调方式为上移,即将心脏CT图像的第一分割结果整体上移预设值。
2、当Gt_top<V_top&Gt_bottom<V_bottom&Gt_left=V_left&Gt_right=V_right,确定微调方式为下移,即将心脏CT图像的第一分割结果整体上移预设值。
3、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left<V_left&Gt_right<V_right,确定微调方式为左移,即将心脏CT图像的第一分割结果整体上移预设值。
4、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left>V_left&Gt_right>V_right,确定微调方式为右移,即将心脏CT图像的第一分割结果整体右移预设值。
5、当Gt_top<V-top&Gt_bottom>V_bottom&Gt_left>V_left&Gt_right<V_right,确定微调方式为缩小,即将心脏CT图像的第一分割结果整体缩小预设倍数。
6、当Gt_top>V-top&Gt_bottom<V_bottom&Gt_left<V_left&Gt_right>V_right,确定微调方式为放大,即将心脏CT图像的第一分割结果整体放大预设倍数。
7、当Gt_top=V-top&Gt_bottom=V_bottom&Gt_left=V_left&Gt_right=V_right,确定微调方式为保持不变。
在本发明实施例中,可以通过对第一分割结果进行微调的方式得到第二分割结果。
相对于传统的手工勾勒方法,本发明实施例中引入深度学习网路模型,使得利用深度学习网络模型对心脏CT图像进行分割,能够显著提高分割的精度,且在深度学习的基础上引入了强化学习的方法,利用强化学习的方法对分割结果进行微调及利用微调后的分割结果对深度学习网络模型进行迭代训练,通过多次迭代,可以进一步提高深度学习网络模型的分割精度,作为分割模型使用,能够有效实现对心脏CT图像的心室的分割,且分割精度高,不需要手动勾勒,能够有效的节约人工成本及降低心室分割偏差出现的概率。
在本发明实施例中还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如图1或图2所示实施例中的分割模型训练方法的各个步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本发明所提供的一种分割模型训练方法、装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种分割模型训练方法,其特征在于,所述方法包括:
采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
基于强化学习方法,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果,包括:计算所述各心脏CT图像的心室位置信息与所述各心脏CT图像的第一分割结果之间的相似度,其中,相似度计算公式如下:
Figure FDA0003060283910000011
其中,D表示各心脏CT图像的第一分割结果构成的集合与各心脏CT图像的心室位置信息构成的集合之间的相似度,N表示心脏CT图像的张数,pi表示第i张心脏CT图像的心室位置信息,gi表示第i张心脏CT图像的第一分割结果;在所述相似度不等于预设值时,将所述相似度与上一次计算得到的相似度进行比较;当所述相似度小于上一次计算得到的相似度时,确定不对所述各心脏CT图像的第一分割结果进行微调,将深度学习网络中的奖励值减去一,并将所述各心脏CT图像的第一分割结果作为所述各心脏CT图像的第二分割结果;当所述相似度大于上一次计算得到的相似度时,对所述各心脏CT图像的第一分割结果进行微调,得到所述第二分割结果,包括:将所述各心脏的CT图像的心室位置信息中的各方位的坐标值与相应的所述第一分割结果的各方位的坐标值进行比较,得到比较结果;按照所述比较结果对相应的所述第一分割结果的各方位的坐标值进行调整,得到所述第二分割结果,调整包括:上移、下移、左移、右移、缩小、放大、保持不变中的至少一种;
根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,包括:
计算所述各心脏CT图像的第二分割结果与所述各心脏CT图像的心室位置信息之间的误差;
当最大误差大于或等于误差阈值时,将所述第二分割结果输入所述深度学习网络模型,以进行迭代训练,直至计算得到的最大误差小于所述误差阈值。
3.一种分割模型训练装置,其特征在于,所述装置包括:
采集获取模块,用于采集多张心脏计算机断层扫面CT图像,获取各心脏CT图像已勾勒的心室位置信息;
训练模块,用于将所述心脏CT图像输入到深度学习网络模型进行训练,得到所述深度学习网络模型输出的各所述心脏CT图像的第一分割结果;
微调模块,用于基于强化学习装置,根据所述心室位置信息及所述第一分割结果对所述第一分割结果进行微调,得到各所述心脏CT图像的第二分割结果;所述微调模块包括:计算模块,用于计算所述各心脏CT图像的心室位置信息与所述各心脏CT图像的第一分割结果之间的相似度,其中,相似度计算公式如下:
Figure FDA0003060283910000021
其中,D表示各心脏CT图像的第一分割结果构成的集合与各心脏CT图像的心室位置信息构成的集合之间的相似度,N表示心脏CT图像的张数,pi表示第i张心脏CT图像的心室位置信息,gi表示第i张心脏CT图像的第一分割结果;结果微调模块,用于根据所述相似度对所述各心脏CT图像的第一分割结果进行微调,得到所述各心脏CT图像的第二分割结果;所述结果微调模块包括:比较模块,用于在所述相似度不等于预设值时,将所述相似度与上一次计算得到的相似度进行比较;第一处理模块,用于当所述相似度小于上一次计算得到的相似度时,确定不对所述各心脏CT图像的第一分割结果进行微调,将深度学习网络中的奖励值减去一,且将各心脏CT图像的第一分割结果作为所述各心脏CT图像的第二分割结果;第二处理模块,用于当所述相似度大于上一次计算得到的相似度时,对所述各心脏CT图像的第一分割结果进行微调,得到所述第二分割结果;所述结果微调模块还包括:所述第二处理模块具体用于将所述各心脏的CT图像的心室位置信息中的各方位的坐标值与相应的所述第一分割结果的各方位的坐标值进行比较,得到比较结果;按照所述比较结果对相应的所述第一分割结果的各方位的坐标值进行调整,得到所述第二分割结果,调整包括:上移、下移、左移、右移、缩小、放大、保持不变中的至少一种;
迭代模块,用于根据所述第二分割结果及所述心室位置信息对所述深度学习网络模型进行迭代训练,将训练后的深度学习网络模型作为所述分割模型。
4.根据权利要求3所述的装置,其特征在于,所述迭代模块包括:
误差计算模块,用于计算所述各心脏CT图像的第二分割结果与所述各心脏CT图像的心室位置信息之间的误差;
迭代训练模块,用于当最大误差大于或等于误差阈值时,将所述第二分割结果输入所述深度学习网络模型,以进行迭代训练,直至计算得到的最大误差小于所述误差阈值。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1或2所述的分割模型训练方法的各个步骤。
CN201810716876.4A 2018-07-03 2018-07-03 分割模型训练方法、装置及计算机可读存储介质 Active CN109102509B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810716876.4A CN109102509B (zh) 2018-07-03 2018-07-03 分割模型训练方法、装置及计算机可读存储介质
PCT/CN2019/071501 WO2020007026A1 (zh) 2018-07-03 2019-01-12 分割模型训练方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810716876.4A CN109102509B (zh) 2018-07-03 2018-07-03 分割模型训练方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109102509A CN109102509A (zh) 2018-12-28
CN109102509B true CN109102509B (zh) 2021-06-25

Family

ID=64845516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810716876.4A Active CN109102509B (zh) 2018-07-03 2018-07-03 分割模型训练方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109102509B (zh)
WO (1) WO2020007026A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102509B (zh) * 2018-07-03 2021-06-25 深圳先进技术研究院 分割模型训练方法、装置及计算机可读存储介质
CN112365504A (zh) * 2019-10-29 2021-02-12 杭州脉流科技有限公司 Ct左心室分割方法、装置、设备和存储介质
CN115272374B (zh) * 2022-08-01 2023-05-12 北京安德医智科技有限公司 心脏磁共振影像的心室分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226155A (zh) * 2007-12-21 2008-07-23 中国人民解放军第八一医院 智能化肺癌早期细胞病理图像识别处理方法
CN107358600A (zh) * 2017-06-14 2017-11-17 北京全域医疗技术有限公司 放疗计划中的自动勾靶方法、装置和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391603B2 (en) * 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치
CN107274408B (zh) * 2017-06-16 2019-11-19 厦门大学 一种基于新型粒子滤波算法的图像分割方法
CN107578416B (zh) * 2017-09-11 2020-03-24 武汉大学 一种由粗到精级联深度网络的心脏左心室全自动分割方法
CN108109151B (zh) * 2017-12-19 2021-05-28 哈尔滨工业大学 基于深度学习和形变模型超声心动图心室分割方法及装置
CN109102509B (zh) * 2018-07-03 2021-06-25 深圳先进技术研究院 分割模型训练方法、装置及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226155A (zh) * 2007-12-21 2008-07-23 中国人民解放军第八一医院 智能化肺癌早期细胞病理图像识别处理方法
CN107358600A (zh) * 2017-06-14 2017-11-17 北京全域医疗技术有限公司 放疗计划中的自动勾靶方法、装置和电子设备

Also Published As

Publication number Publication date
CN109102509A (zh) 2018-12-28
WO2020007026A1 (zh) 2020-01-09

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN109035284B (zh) 基于深度学习的心脏ct图像分割方法、装置、设备及介质
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN109146872B (zh) 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN109102509B (zh) 分割模型训练方法、装置及计算机可读存储介质
CN108898606A (zh) 医学图像的自动分割方法、系统、设备及存储介质
CN111105424A (zh) 淋巴结自动勾画方法及装置
EP4071765A1 (en) Method and system for drawing brain functional atlas
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN111753947B (zh) 静息态脑网络构建方法、装置、设备及计算机存储介质
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN111260701A (zh) 多模态视网膜眼底图像配准方法及装置
CN111768379A (zh) 一种子宫三维超声图像的标准切面检测方法
CN111080592B (zh) 一种基于深度学习的肋骨提取方法及装置
CN110263684B (zh) 基于轻量级神经网络的心电图分类方法
CN111815597A (zh) 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN110739050B (zh) 一种左心室全参数及置信度的量化方法
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
CN112308845B (zh) 左心室分割方法、装置及电子设备
CN117115437A (zh) 一种基于区域的多指标多器官医学图像分割模型评估系统
CN116130090A (zh) 射血分数测量方法和装置、电子设备和存储介质
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN116236208A (zh) 一种基于人体体表特征的多导联心电电极贴片定位方法
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
CN113592802B (zh) 一种基于超声图像的二尖瓣环位移自动检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant