发明内容
有鉴于此,本公开提出了一种图像处理技术方案。
根据本公开的一方面,提供了一种,获得心肌桥图像的方法,所述方法包括:
获取同一目标对象的CTA图像、冠脉血管图像、心脏图像,所述CTA图像包含CT值;
根据冠脉血管图像,将冠脉血管区域划分为多个冠脉子区域;
在CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域中,提取表征心肌桥的图像特征,与所述多个冠脉子区域对应的区域包括冠脉子区域的血管内区域和血管外区域,所述图像特征分别表征在所述血管外区域中CT值分布情况、在所述血管外区域中心脏像素的分布情况、以及在所述血管内区域中心脏像素的分布情况;
将所述图像特征输入到训练后的机器学习模型,确定在所述多个冠脉子区域中包含心肌桥的第一区域,以生成心肌桥图像。
在一种可能的实现方式中,所述根据冠脉血管图像,将冠脉血管区域划分为冠脉子区域,包括:
根据冠脉血管图像,提取表示冠脉血管的中线点所连接成的中线点连线;
根据所述中线点连线的连通性,将所述中线点连线划分为中线点线段;
根据第一阈值,将中线点线段划分为中线点子线段;
根据所述中线点子线段,将冠脉血管区域划分为冠脉子区域。
在一种可能的实现方式中,与所述多个冠脉子区域对应的区域包括与所述中线点连线不同距离的区域,所述方法还包括:
根据冠脉血管图像,按照距所述中线点连线不同距离生成与各冠脉子区域对应的血管蒙版;
根据所述血管蒙版,确定CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域,
其中,位于血管蒙版内、冠脉血管壁之外的区域为血管外区域,位于血管蒙版内,冠脉血管壁之内的区域为血管内区域。
在一种可能的实现方式中,所述在CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域中,提取表征心肌桥的图像特征,包括:
在CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域中,提取表征心肌桥的图像特征,包括:
根据所述血管蒙版和CTA图像,获得与各所述距离对应的所述血管外区域中CT值分布的第一百分比;
根据所述血管蒙版和心脏图像,获得与各所述距离对应的所述血管外区域中心脏像素分布的第二百分比;
根据所述血管蒙版和心脏图像,获得所述血管内区域中心脏像素分布的第三百分比。
在一种可能的实现方式中,将所述图像特征输入到训练后的机器学习模型,确定在所述多个冠脉子区域中包含心肌桥的第一区域,以生成心肌桥图像,包括:
将包含心肌桥的第一区域对应的中线点线段,进行膨胀操作,获得心肌桥图像。
在一种可能的实现方式中,所述方法还包括:
将根据CTA图像样本、冠脉血管图像样本、心脏图像样本提取的表征心肌桥的图像特征输入未经训练的机器学习模型,获得包含心肌桥的第二区域;
确定所述第二区域与第三区域的重合程度,其中所述第三区域表示人工标注的心肌桥区域;
根据所述重合程度,对所述机器学习模型进行训练。
在一种可能的实现方式中,所述CTA图像、冠脉血管图像、心脏图像为3D图像。
根据本公开的另一方面,提供了一种获得心肌桥图像的装置,包括:
图像获取模块,用于获取同一目标对象的CTA图像、冠脉血管图像、心脏图像,所述CTA图像包含CT值;
冠脉子区域划分模块,用于根据冠脉血管图像,将冠脉血管区域划分为多个冠脉子区域;
图像特征提取模块,用于在CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域中,提取表征心肌桥的图像特征,与所述多个冠脉子区域对应的区域包括冠脉子区域的血管内区域和血管外区域,所述图像特征分别表征在所述血管外区域中CT值分布情况、在所述血管外区域中心脏像素的分布情况、以及在所述血管内区域中心脏像素的分布情况;
图像生成模块,用于将所述图像特征输入到训练后的机器学习模型,确定在所述多个冠脉子区域中包含心肌桥的第一区域,以生成心肌桥图像。
在一种可能的实现方式中,所述冠脉子区域划分模块,用于根据冠脉血管图像,提取表示冠脉血管的中线点所连接成的中线点连线;根据所述中线点连线的连通性,将所述中线点连线划分为中线点线段;根据第一阈值,将中线点线段划分为中线点子线段;根据所述中线点子线段,将冠脉血管区域划分为冠脉子区域。
在一种可能的实现方式中,与所述多个冠脉子区域对应的区域包括与所述中线点连线不同距离的区域,所述获得心肌桥图像的装置,还包括
血管蒙版模块,用于按照距所述中线点连线不同距离生成与各冠脉子区域对应的血管蒙版;
对应区域模块,用于根据所述血管蒙版,确定CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域,
其中,位于血管蒙版内、冠脉血管壁之外的区域为血管外区域,位于血管蒙版内,冠脉血管壁之内的区域为血管内区域。
在一种可能的实现方式中,图像特征提取模块,用于根据所述血管蒙版和CTA图像,获得与各所述距离对应的所述血管外区域中CT值分布的第一百分比;根据所述血管蒙版和心脏图像,获得与各所述距离对应的所述血管外区域中心脏像素分布的第二百分比;根据所述血管蒙版和心脏图像,获得所述血管内区域中心脏像素分布的第三百分比。
在一种可能的实现方式中,图像生成模块,用于将包含心肌桥的第一区域对应的中线点线段,进行膨胀操作,获得心肌桥图像。
在一种可能的实现方式中,获得心肌桥图像的装置,还包括:
特征输入模块,用于将根据CTA图像样本、冠脉血管图像样本、心脏图像样本提取的表征心肌桥的图像特征输入未经训练的机器学习模型,获得包含心肌桥的第二区域;
重合度确定模块,用于确定所述第二区域与第三区域的重合程度,其中所述第三区域表示人工标注的心肌桥区域;
训练模块,用于根据所述重合程度,对所述机器学习模型进行训练。
在一种可能的实现方式中,所述图像特征,还包括:影像组学特征。
在一种可能的实现方式中,所述CTA图像、冠脉血管图像、心脏图像为3D图像。
根据本公开的另一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述方法。
根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。
根据本公开实施例,将冠脉血管图像上的冠脉血管区域划分为多个冠脉子区域,根据CTA图像和心脏图像提取表征心肌桥的图像特征,使用机器学习模型根据图像特征对心肌桥所在位置进行预测。根据预测结果再生成心肌桥图像。这样,能够提高获取心肌桥图像的效率和准确率,减少人工工作量。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本公开实施例中的“第一”和“第二”用于区分所描述的对象,而不应当理解为对描述对象的次序等其它限定。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
心肌桥是一种先天性的冠状动脉(冠脉)发育异常的表现。心肌桥具体表现为冠脉主干或其分支的某个段落被心肌覆盖。通常,冠脉主干或其分支分布于心脏表面而非心肌内。这种覆盖在冠脉上的心肌称为心肌桥。心肌桥会导致被覆盖的冠脉在心脏收缩期受到心肌压迫,进而可能引起心肌缺血。冠脉疾病的局部发病也或与心肌桥相关。
医学上主要通过影像手段实现对心肌桥的研究和检测。通常,心肌桥图像来自冠脉造影。但是,有些心肌桥由于其近端的冠脉几乎完全闭塞,或动脉粥样硬化产生的固定性狭窄限制了冠脉的血流灌注而掩盖了其在心脏收缩期一过性狭窄征象,或由于血管痉挛的存在,很难通过造影被发现。
所以,现有技术中通常由医生使用冠脉造影配合超声影像、多普勒影像、临床症状、心电图等,综合判断出心肌桥在冠脉造影图像中的位置,通过医生的标注,获得心肌桥图像。
但是,这种方案效率低,而且很难获得冠脉被覆盖较浅部分的心肌桥图像。
因此,本公开实施例提出了一种获得心肌桥图像的方法,可以提高获得心肌桥图像的效率和准确率。
图1示出根据本公开实施例获得心肌桥图像方法的流程图。通过图1所示方法流程,示例性说明获得心肌桥图像的过程。
在步骤11中,获取同一目标对象的CTA图像、冠脉血管图像、心脏图像,所述CTA图像包含CT值。
图像扫描设备针对扫描对象进行扫描可以获得带有某一或某些特征的扫描图像。在一些实现方式中,图像扫描设备可以是电子计算机断层扫描(Computed Tomography,CT)设备。例如,在碘造影剂的作用下,对心脏进行CT扫描,可以获取到能够清晰显示心脏血管的计算机体层摄影血管造影(CT Angiography,CTA)图像。可以理解,基于CT设备成像原理,CTA图像的像素带有表征扫描对象密度的CT值信息。
冠脉血管图像为包含冠脉血管像素信息(即冠脉血管所在的像素的像素信息)的图像、心脏图像为包含心脏像素信息(即心脏所在的像素的像素信息)的图像。其中,表征冠脉血管的像素为冠脉血管像素;表征心脏的像素为心脏像素。
在一种可能的实现方式中,冠脉血管图像可以通过心脏的CTA图像获得,心脏图像可以通过CT图像获得。
在一种可能的实现方式中,可以将冠脉图像进行二值化处理,表示冠脉血管的像素值为1,其他像素值为0;可以将心脏图像进行二值化处理,表示心脏的像素值为1,其他像素值为0.
在一种可能的实现方式中,CTA图像、冠脉血管图像、心脏图像为3D图像。
使用3D图像便于从各个方向上对扫描对象进行分析,不仅包含平面图像的两个维度,也包含了深度,避免漏掉浅层包裹冠脉血管的心肌桥,提高了对于心肌桥判断的准确率。
在步骤S12中,根据冠脉血管图像,将冠脉血管区域划分为多个冠脉子区域。
冠脉血管图像中冠脉血管像素构成了冠脉血管区域,将冠脉血管区域按照某种规则进行划分。经过划分后的各个区域称为冠脉子区域。本公开实施例,对于冠脉子区域的划分规则不做限定。
在一种可能的实现方式中,步骤S12中冠脉子区域的划分方法可以包括:
根据冠脉血管图像,提取表示冠脉血管的中线点所连接成的中线点连线;根据所述中线点连线的连通性,将所述中线点连线划分为中线点线段;根据第一阈值,将中线点线段划分为中线点子线段;根据所述中线点子线段,将冠脉血管区域划分为冠脉子区域。
示例性地,在冠脉血管图像中提取冠脉血管的中线点,这里的中线点为冠脉血管中线上的像素点。可以将血管中线上所有的像素点都确定为中线点,也可以按照某一规则确定中线点,各中线点之间的间距相等。例如,每间隔四个像素点确定一个像素点为中线点。本公开实施例对于中线点的确定规则不做限定。
将中线点连接起来构成中线点连线,根据中线点连线的连通性,将中线点连线划分为中线点线段。
下面通过图2,示意性的说明如何按照中线点连线的连通性,来划分出中线点线段。
以某一中线点A作为起点延冠脉血管遍历中线点连线上的中线点,当遍历至某个在两条以上包括两条中线点连线上的另一中线点B时,暂停遍历;将端点A与端点B之间的L1段确定为一个中线点线段。或者,以某一中线点B作为起点延冠脉血管进行遍历,遍历至中线点连线末端上的另一中线点C或中线点D或中线点E时,暂停遍历,将L2或L3或L4确定为一个中线点线段。这样,划分出的每个中线点线段上、除了两端点之外的任一中线点,仅属于该中线点线段。
然后,可按照中线点的数量对各中线点线段进行划分,获得中线点子线段,各中线点子线段中包含的中线点数量可以相等。每个中线点子线段中的中线点的数量可为预先设定的第一阈值,例如,可以预先设定第一阈值为7,即每条中线点子线段中包含7个中线点。本公开实施例不对第一阈值的取值做限定。
按照中线点子线段,对冠脉血管区域进行划分,获得冠脉子区域,各冠脉子区域中可包含一条中线点线段;而且,中线点线段的端点在冠脉子区域的边界上,该边界为垂直冠脉血管中线的边界。图3将划分冠脉子区域的方式示意地展示出来,以中线点线段l1、l2、l3将冠脉血管区域划分成三个冠脉子区域。
在实际中,有的被心肌桥包裹的冠脉血管的长度较小或者冠脉血管被浅层包裹的长度较小,所以将冠脉区域分成子区域进行预测、处理可以避免对于长度较短的心肌桥的漏判,提高判断出心肌桥的准确率。另外,按照第一阈值,将中线点线段等长度的进一步划分,便于批量操作,提高效率。
在步骤S13中,将在步骤12中获得的冠脉子区域对应到CTA图像和心脏图像上面,使得CTA图像和心脏图像也被划分为多个区域,各区域对应一个冠脉子区域。在各冠脉子区域上,冠脉子区域边界内的冠脉血管像素构成了冠脉子区域的血管内区域,在冠脉子区域边界内的除冠脉血管像素以外的像素构成冠脉子区域的血管外区域。在上述CTA图像、心脏图像的与冠脉子区域对应的区域中,提取能够表征心肌桥的图像特征。
人体各部分,例如:人体组织、血液、血管、器官、骨骼等对应的CT值范围各不相同,所以CT图像各像素的CT值是标定人体各部分的一个指标,当人体某一身体部分的CT值不在这一身体部分本该对应的CT值范围内时,那么这一部份身体有存在异常的可能。心肌桥包裹的冠脉血管段的CT值分布与正常行走于心肌外膜下的冠脉血管段的CT值分布会有差异,所以,冠脉子区域的血管外区域的CT值分布可以作为辨别心肌桥位置的一个指标。
正常冠脉血管在心肌外膜和心肌之间,所以,正常冠脉血管外部一侧为心肌。心肌桥包裹的冠脉血管外部则全部为心肌。那么,正常冠脉血管的血管外区域与心肌桥包裹的冠脉血管的血管外区域的心脏像素分布就会存在差异。所以,冠脉子区域的血管外区域的心脏像素分布情况可以作为辨别心肌桥位置的一个指标。
由于正常冠脉血管位于心肌表面,所以在图像中冠脉血管内部不会出现心脏像素。然而,被心肌桥包裹的冠脉血管反映到图像中,则会出现在冠脉血管内部有心脏像素的现象。所以,冠脉子区域的血管内区域中心脏像素的分布情况可以作为辨别心肌桥位置的一个指标。
在一种可能的实现方式中,提取步骤S13中反映冠脉子区域的血管外区域中CT值分布情况、冠脉子区域的血管外区域、血管内区域中心脏像素的分布情况的特征,可以按照距中线点连线不同距离进行提取,具体方法包括:根据冠脉血管图像,按照距所述中线点连线不同距离生成与各冠脉子区域对应的血管蒙版;根据所述血管蒙版,确定CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域,其中,位于血管蒙版内、冠脉血管壁之外的区域为血管外区域,位于血管蒙版内,冠脉血管壁之内的区域为血管内区域。
距中线点连线的不同距离可以按照像素确定。例如,一个单位距离可以用一个单位数量的像素(单位数量可根据需要确定)表示,那么一个单位距离的血管蒙版内部包含距离中线点连线一个单位距离内的像素;同理,两个单位距离的血管蒙版内部包含距中线点连线两个单位距离内的像素。
图4为血管蒙版横剖面示意图,图中示意出距冠脉血管中线点连线一个单位距离1h至五个单位距离5h的血管蒙版。其中,实线圆形表示血管壁,虚线圆圈表示血管蒙版边界;距离中线点连线3h的血管蒙版与血管壁重合。
在图像为3D图像的情况下,血管蒙版也可为3D蒙版,其垂直于长度方向的截面参见图4,长度方向的范围与各冠脉子区域对应,参见图3。
应当理解,此图仅为一个实施例,在实际应用中可根据需要调整一个单位距离的具体数值。本公开实施例对于一个单位距离包含的像素数不做限定。
通过血管蒙版可以获得距冠脉血管不同距离的图像特征,以及冠脉血管被包裹深度等状态,提高对被浅层包裹冠脉血管的心肌桥判断准确率。
在一种可能的实现方式中,血管蒙版内部的像素值为1,血管蒙版外部的像素值为0。
与非冠脉血管的像素相邻的冠脉血管像素为血管壁像素,冠脉血管壁像素用于在图像中表征冠脉血管壁。在血管蒙版内部且在冠脉血管壁以外的非冠脉血管像素构成的区域称为血管外区域;在血管蒙版内部且在冠脉血管壁以内的冠脉血管像素构成的区域称为血管内区域。这样可以根据冠脉子区域的血管内区域、血管外区域,按照距离提取前述图像特征。可以利用与冠脉血管壁重合的蒙版(例如图4中距离中线点连线3h的血管蒙版),辅助确定血管外区域和血管内区域。例如,对于距离为4h的血管蒙版,图4中3h~4h之间的环形区域为血管外区域,3h之内为血管内区域。
示例性地,将CTA图像与血管蒙版叠加,可以在CTA图像中确定出与冠脉子区域对应的区域;将冠脉血管图像或心脏图像与血管蒙版叠加,也可以在冠脉血管图像或心脏图像中确定出与冠脉子区域对应的区域。将各冠脉子区域对应的区域作为图像特征提取的一个范围,按照对应的血管外区域和血管内区域进行图像特征提取。
在一种可能的实现方式中,步骤S13中提到的表征心肌桥的图像特征,可包括:根据所述血管蒙版和CTA图像,获得与各所述距离对应的所述血管外区域中CT值分布的第一百分比;根据所述血管蒙版和心脏图像,获得与各所述距离对应的所述血管外区域中心脏像素分布的第二百分比;根据所述血管蒙版和心脏图像,获得所述血管内区域中心脏像素分布的第三百分比。
示例性地,将某一冠脉子区域、某一距离的血管蒙版叠加到CTA图像上,血管蒙版上各点像素值与CTA图像中对应的各点像素值做相乘(或者相与)运算,获得带蒙版的CTA图像。血管蒙版以外的像素值为0,血管蒙版以内的像素值保留原CTA图像上对应位置的原始像素值。以图4所示的血管蒙版为例,将距离为4h的血管蒙版与CTA图像相“与”,可以获得4h范围内的CTA图像,再将该图像与距离为3h的血管蒙版取反后相“与”,可得到血管外区域的CTA图像。在带蒙版的CTA图像上,血管蒙版以内的像素有至少一个CT值。针对该距离、该冠脉子区域的血管蒙版,获得该血管蒙版范围内的血管外区域中,各CT值的像素数量占血管蒙版内像素数量的百分比。例如,CTA图像中,某血管蒙版内像素数量为n,该血管蒙版范围内,血管外区域中CT值为x的像素数量为m,则CT值x对应的百分比为(m/n)%。这些反应冠脉血管子区域的血管外区域各CT值像素数占蒙版总像素比例的百分比值,可以反映血管外区域中CT值分布情况。同理,可以针对多个血管蒙版,获得针对距中线点连线各距离的血管外区域中CT值的分布情况。
示例性地,将血管蒙版叠加到心脏图像上,血管蒙版上各点像素值与心脏图像中对应的各点像素值做相乘(或相与)运算,获得带蒙版的心脏图像。血管蒙版以外的像素值为0,血管蒙版以内的心脏像素值为1,其余像素为0。针对某一距离、某一冠脉子区域的血管蒙版,统计在血管蒙版的血管外区域中(即位于蒙版范围之内,冠脉血管壁以外的区域),心脏像素(例如值为1的像素)的像素数量占蒙版内部像素总数量的百分比。例如,心脏图像中,某血管蒙版内像素数量为k,该血管蒙版范围内,血管外区域中心脏像素值为1的像素数量为h,则对应的百分比为(h/k)%。针对多个蒙版,分别获得距中线点连线各距离的心脏像素数量占蒙版总像素数量的百分比。可以获得反应血管外区域中心脏像素的分布情况的图像特征。基于类似的方式,可以通过统计血管蒙版的血管内区域中(即位于蒙版范围之内,且冠脉血管壁以内的区域),心脏像素(例如值为1的像素)的像素数量占蒙版内部像素总数量的百分比,来获得反映血管内区域中心脏像素的分布情况的图像特征。
由此,可以获得不同冠脉子区域、不同距离模板下得到的上述分布情况,从而从多种维度对心肌桥的位置进行判定,可以提高获取心肌桥图像的准确率和效率。
在一种可能的实现方式中,步骤S13中提取的图像特征还包括:影像组学特征。
一般,通过CT图像对影像组学特征进行提取。影像组学特征包括:一阶统计特征、基于3D的图像特征、灰度共生矩阵、灰度区域大小矩阵等。提取工具一般为软件包,实现该软件包的程序语言可以有多种,本公开实施例对实现影像组学特征提取功能的程序语言不做限定
使用多种图像特征对心肌桥位置进行判断,并且图像特征之间互相佐证,提高准确率。
在步骤S14中,将在步骤S13中提取的图像特征输入到训练后的机器学习模型,确定在所述多个冠脉子区域中包含心肌桥的第一区域,以生成心肌桥图像。
机器学习是人工智能的一个分支。机器学习是通过算法使得机器能从大量历史数据中学习规律,从而对新的样本智能地做出识别或预测。使用大量数据和算法来训练机器,让机器来学习如何完成任务。
在机器学习模型中会包含一些参数,通过对这些参数调优来实现对机器学习模型的训练,使机器学习模型的预测结果更加准确。
机器学习模型的训练是使用机器学习模型对训练数据进行预测,将预测值与训练数据上的标注值进行对比,获得它们之间的差异(或称为损失值),根据所述差异调整机器学习模型参数的过程。一般所述差异由一个损失函数表示,经过训练后,机器学习模型获得优化后的参数。
在一种可能的实现方式中,将根据CTA图像样本、冠脉血管图像样本、心脏图像样本提取的表征心肌桥的图像特征输入未经训练的机器学习模型,获得包含心肌桥的第二区域;确定所述第二区域与第三区域的重合程度,其中所述第三区域表示人工标注的心肌桥区域;根据所述重合程度,对所述机器学习模型进行训练。
示例性地,根据心脏CT图像和冠脉血管图像,可以由专业医师将心肌桥区域标出。这里的心脏CT图像与冠脉血管图像用于表征同一目标对象。然后,根据这些区域的位置,生成一个单独的图像。定义该单独的图像中包含的代表心肌桥的区域为第三区域。并且,第三区域的位置与CT图像上的心肌桥区域的位置相对应。机器学习模型根据图像样本的图像特征判断心肌桥所在的第二区域。这里的图像样本包括:CTA图像样本、冠脉血管图像样本、心脏图像样本,图像特征可包括上述表征心肌桥的图像特征。在CT图像中找到第二区域所对应的位置,第二区域和第三区域的重合程度,可以通过多种方式来定义,比如,可以以第二区域中的中线点落入第三区域中的百分比来定义。例如,第二区域中有50%的中线点落入第三区域中,则重合程度为50%。还可以以第二区域和第三区域的重合面积占第二区域或第三区域的百分比等其他方式来定义重合程度,本申请对此不作限制。可根据该重合程度确定上述差异或损失值,对机器学习模型的参数进行更新,提高机器学习模型预测的准确率。
机器学习模型有多种,每一种模型有各自的特点,对于不同特征、不同特征的组合预测效果也有不同。所以可以将图像特征输入多种机器学习模型,然后获取在每一种机器学习模型的预测结果,比较预测结果的准确程度,获得适合根据本公开实施例中图像特征进行心肌桥预测的机器学习模型。
在一种可能是实现方式中,机器学习模型可以为随机森林(Gradient Boost)、梯度提升决策树(Random Forest)、逻辑回归(Logistic Regression,LR)、支持向量机(Support Vector Machines,SVM)等,对于机器学习模型的类型,本公开实施例不做限定。
在一种可能的实现方式中,将图像样本的图像特征输入到多种机器学习模型进行交叉验证,选出预测结果的准确率较高的优选机器学习模型。
示例性地,将带有前述图像特征的中线点线段分成10份,在10份中线点线段中任选1份作为验证集,剩下的9份作为测试集,各机器学习模型各进行10轮预测,使得每一份中线点线段在各机器学习模型中都有一次作为验证集的机会。并且,根据预测后的结果更新机器学习模型的参数。针对各机器学习模型的10轮预测结果,该预测结果的准确程度可以为每轮预测结果的准确程度的均方差或者其他误差值,对这10轮预测结果的准确程度取平均值,获得各机器学习模型预测结果的准确程度平均值。比较各机器学习模型预测结果的准确程度平均值,选取适合的机器学习模型及参数作为优选机器学习模型。预测结果的准确程度可以通过多种方式来定义,例如,预测结果为各冠脉子区域是否为包含心肌桥的第二区域,则预测结果的准确程度可以通过第二区域与对应的第三区域的重合程度来衡量,本申请对此不作限制。
在一种可能的实现方式中,可将图像样本的图像特征输入到优选机器学习模型进行交叉验证,选出能够提高预测结果准确率的优选图像特征。
示例性地,将样本图像的图像特征中第一个图像特征(例如表示血管外区域中CT值分布情况的图像特征),临时加入到特征集中,这里的特征集为包含优选图像特征的集合。使用特征集中的图像特征,以交叉验证的方式,在优选机器学习模型中对中线点线段做预测,获得第一个预测结果,交叉验证的过程这里不再赘述。由于,此时仅获得一个预测结果,可以理解为,是较好的预测结果(例如上文中所述的重合程度高),所以将第一个图像特征正式加入到特征集中。
接下来,将第二个图像特征(例如表示血管外区域中心脏像素的分布情况的特征)临时加入到特征集中,此时特征集中包含第一图像特征和第二图像特征,继续使用优选机器学习模型作交叉验证,获得第二个预测结果。接下来,如果第二个预测结果的准确程度高于第一个预测结果,说明第二个图像特征的加入使得预测结果更优,则将第二个图像特征正式加入到特征集中;反之,将第二个图像特征从特征集中删除。
以此类推,将样本图像的图像特征依次临时加入到图像特征集中,进行交叉验证,直到特征集中的特征数量达到预先设定的阈值,不再向特征集中添加特征。保证图像特征集中第n+1个特征的加入可以使机器学习模型的预测结果优于第n个特征加入时的预测结果。
可使用优选机器学习模型和特征集里面的优选图像特征完成步骤S14中的对图像特征的预测,确定冠脉子区域中包含心肌桥的第一区域。
在一种可能的实现方式中,将在同一目标对象的CTA图像、冠脉血管图像、心脏图像上提取的图像特征输入到优选机器学习模型中,利用特征集中的优选图像特征做交叉验证,对中线点线段进行预测并对神经优选机器学习模型进行训练,将各中线点线段在验证集时的预测结果作为机器学习模型的预测结果输出。如果输出结果为1则表示,该中线点线段所在的冠脉子区域中包含心肌桥;如果输出结果为0则表示,该中线点线段所在的冠脉子区域中不包含心肌桥,以完成对图像中心肌桥位置的判定。
在一种可能的实现方式中,将包含心肌桥的第一区域对应的中线点线段,进行膨胀操作,获得心肌桥图像。
示例性地,将优选机器学习模型输出结果为1的中线点线段,在对应的第一区域内这一范围内做膨胀操作。将膨胀操作后获得的图像映射到冠脉血管图像上,保留落入冠脉血管区域内的像素点。计算每个独立连通域中所保留的像素点的数量,将像素点数量小于预先设定的阈值的独立连通域删除。剩下的独立连通域构成心肌桥图像。其中,膨胀操作可基于现有技术来实现。
第一区域是在冠脉血管子区域上确定的,给出了膨胀操作的范围,这样获得的心肌桥图像范围更准确,并且去除在膨胀操作过程中误操作生成的像素点,提高心肌桥图像的准确率。
根据本公开实施例,将冠脉血管图像上的冠脉血管区域的划分为多个冠脉子区域,根据CTA图像和心脏图像提取表征心肌桥的图像特征。使用机器学习模型根据图像特征对心肌桥所在位置进行预测。根据预测结果再生成心肌桥图像。这样,能够提高获取心肌桥图像的效率和准确率,减少人工工作量。
需要说明的是,尽管以上述实施例作为示例介绍了获得心肌桥数据的方法,但本领域技术人员能够理解,本公开应不限于此。事实上,用户完全可根据个人喜好和/或实际应用场景灵活设定各实施方式,只要符合本公开的技术方案即可。
图5示出根据本公开实施例的获得心肌桥图像的装置的框图。如图5所示,所述装置50包括:
图像获取模块51,用于获取同一目标对象的CTA图像、冠脉血管图像、心脏图像,所述CTA图像包含CT值;
冠脉子区域划分模块52,用于根据冠脉血管图像,将冠脉血管区域划分为多个冠脉子区域;
图像特征提取模块53,用于在CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域中,提取表征心肌桥的图像特征,与所述多个冠脉子区域对应的区域包括冠脉子区域的血管内区域和血管外区域,所述图像特征分别表征在所述血管外区域中CT值分布情况、在所述血管外区域中心脏像素的分布情况、以及在所述血管内区域中心脏像素的分布情况;
图像生成模块54,用于将所述图像特征输入到训练后的机器学习模型,确定在所述多个冠脉子区域中包含心肌桥的第一区域,以生成心肌桥图像。
在一种可能的实现方式中,所述冠脉子区域划分模块,用于根据冠脉血管图像,提取表示冠脉血管的中线点所连接成的中线点连线;根据所述中线点连线的连通性,将所述中线点连线划分为中线点线段;根据第一阈值,将中线点线段划分为中线点子线段;根据所述中线点子线段,将冠脉血管区域划分为冠脉子区域。
在一种可能的实现方式中,与所述多个冠脉子区域对应的区域包括与所述中线点连线不同距离的区域,获得心肌桥图像的装置还包括:
血管蒙版模块,用于按照距所述中线点连线不同距离生成与各冠脉子区域对应的血管蒙版;
对应区域模块,用于根据所述血管蒙版,确定CTA图像和心脏图像中的与所述多个冠脉子区域对应的区域,
其中,位于血管蒙版内、冠脉血管壁之外的区域为血管外区域,位于血管蒙版内,冠脉血管壁之内的区域为血管内区域。
在一种可能的实现方式中,图像特征提取模块53,用于根据所述血管蒙版和CTA图像,获得与各所述距离对应的所述血管外区域中CT值分布的第一百分比;根据所述血管蒙版和心脏图像,获得与各所述距离对应的所述血管外区域中心脏像素分布的第二百分比;根据所述所述血管蒙版和心脏图像,获得所述血管内区域中心脏像素分布的第三百分比。
在一种可能的实现方式中,图像生成模块54,用于将包含心肌桥的第一区域对应的中线点线段,进行膨胀操作,获得心肌桥图像。
在一种可能的实现方式中,获得心肌桥图像的装置,还包括:
特征输入模块,用于将根据CTA图像样本、冠脉血管图像样本、心脏图像样本提取的表征心肌桥的图像特征输入未经训练的机器学习模型,获得包含心肌桥的第二区域;
重合度确定模块,用于确定所述第二区域与第三区域的重合程度,其中所述第三区域表示人工标注的心肌桥区域;
训练模块,用于根据所述重合程度,对所述机器学习模型进行训练。
在一种可能的实现方式中,所述图像特征,还包括:影像组学特征。
在一种可能的实现方式中,所述CTA图像、冠脉血管图像、心脏图像为3D图像。
图6是根据一示例性实施例示出的一种用于获得心肌桥图像的装置1900的框图。例如,装置1900可以被提供为一服务器或终端设备。参照图5,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:调用所述存储器存储的指令,以执行上述方法。电子设备的结构示例可参见上述心肌桥图像的装置1900
本公开实施例还提出一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现上述方法。
在示例性实施例中,非易失性计算机可读存储介质,例如包括上述计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。