CN115908300A - 心脏瓣膜钙化分割的方法、装置、设备及存储介质 - Google Patents

心脏瓣膜钙化分割的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115908300A
CN115908300A CN202211418105.XA CN202211418105A CN115908300A CN 115908300 A CN115908300 A CN 115908300A CN 202211418105 A CN202211418105 A CN 202211418105A CN 115908300 A CN115908300 A CN 115908300A
Authority
CN
China
Prior art keywords
heart
processed
images
valve calcification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211418105.XA
Other languages
English (en)
Other versions
CN115908300B (zh
Inventor
杜金伟
刘宇航
丁佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202211418105.XA priority Critical patent/CN115908300B/zh
Publication of CN115908300A publication Critical patent/CN115908300A/zh
Application granted granted Critical
Publication of CN115908300B publication Critical patent/CN115908300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种心脏瓣膜钙化分割方法、装置、设备及存储介质,通过将初始待处理图像进行预处理,得到多个心脏待处理子图像,将所述多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,针对所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与所述多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,根据所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,能够解决心脏瓣膜钙化分割效果差的问题,且显著提高心脏瓣膜钙化分类的准确性。

Description

心脏瓣膜钙化分割的方法、装置、设备及存储介质
技术领域
本公开涉及医疗图像处理领域,尤其涉及一种心脏瓣膜钙化分割的方法、装置、设备及存储介质。
背景技术
在医学领域中,通常使用心脏冠状动脉增强电子计算机断层扫描(Coronarycomputed tomography angiography,CCTA)图像可以获取心脏瓣膜钙化的状态信息,因此冠状动脉增强CT的影像分析具有重要意义。
在冠状动脉增强CT图像中,由于各个瓣膜本身的边界不清晰,较难区分,因此对于区分钙化的发生位置(即瓣膜特异性)却极具挑战性。现有技术对于心脏瓣膜钙化的分割,传统的人工方法往往是手工勾勒,不仅费时、费力,且准确率低。而深度学习方法虽然有通过将钙化斑块分割与分类,建模为“多类分割”的问题,但是直接输出对应瓣膜类别的钙化斑块分割结果的精准度也很低,同时这种方法由于受限于瓣膜本身边界的模糊,所以只能分割出主动脉瓣膜,而对其他三类瓣膜无从下手。
发明内容
本公开提供了一种心脏瓣膜钙化分割与定位运算的方法、装置、设备及存储介质,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种心脏瓣膜钙化分割方法,包括:
将初始待处理图像进行预处理,得到多个心脏待处理子图像;
将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,类别子空间划分参照体为在单位体积心脏的类别空间划分参照体进行缩放后,与各个心脏待处理子图像相对应的参照体;
针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码;
根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码。
在一可实施方式中,所述类别空间划分参照体通过以下方式获取;将多个样本图像输入心脏分割模型,得到多个样本图像的样本心脏分割掩码;
根据多个样本图像的样本心脏分割掩码确定多个样本图像的样本心脏外接框;并根据多个样本图像的样本心脏外接框裁剪多个样本图像得到多个样本心脏待处理图像;
根据多个样本图像的原始瓣膜钙化标注掩码与多个样本心脏待处理图像,确定多个样本心脏待处理图像的瓣膜钙化标注掩码;
将多个样本心脏待处理图像的瓣膜钙化标注掩码,归一化为多个单位体积心脏的瓣膜钙化标注掩码;
将多个单位体积心脏的瓣膜钙化标注掩码进行叠加,确定单位体积心脏的类别空间划分参照体。
在一可实施方式中,将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏的类别空间划分参照体,包括:
将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值;
在单位体积心脏内,将具有相同的目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定各个类别瓣膜区域的包围边界;
若存在多个类别瓣膜区域具有重叠区域,则在重叠区域的空间点中,根据出现目标瓣膜钙化标注掩码值频次最高的掩码值,确定重叠区域的最终类别;
根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,直至填充满单位体积心脏的整个空间,得到单位体积心脏的类别空间划分参照体。
在一可实施方式中,将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值,包括:
根据多个单位体积心脏内的瓣膜钙化标注掩码,获得单位体积心脏内每个空间点的多个瓣膜钙化标注掩码值;
在每个空间点的多个瓣膜钙化标注掩码值中,将出现瓣膜钙化标注掩码值频次最高的掩码值作为每个空间点的目标瓣膜钙化标注掩码值。
在一可实施方式中,根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,包括:
在单位体积心脏中,将目标瓣膜钙化标注掩码值为零的空间点,作为待分类空间点;
确定距离待分类空间点最近的临近类别瓣膜区域内的空间点,并将临近类别瓣膜区域内的空间点所对应的目标瓣膜钙化标注掩码值,作为待分类空间点的目标瓣膜钙化标注掩码值。
在一可实施方式中,将初始待处理图像进行预处理,得到多个心脏待处理子图像,包括:
将初始待处理图像输入心脏分割模型,得到初始待处理图像的心脏分割掩码;
根据初始待处理图像的心脏分割掩码确定初始待处理图像的心脏外接框;
根据初始待处理图像的心脏外接框,裁剪初始待处理图像,作为心脏待处理图像,再将心脏待处理图像切分为多个心脏待处理子图像。在一可实施方式中,针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码,包括:
在当前心脏待处理子图像的初始瓣膜钙化分割掩码中,若存在有当前空间点的初始瓣膜钙化分割掩码值与当前心脏待处理子图像相对应的类别子空间划分参照体内的掩码值不同,则根据类别子空间划分参照体的掩码值,修正当前空间点的初始瓣膜钙化分割掩码值,作为当前空间点的目标瓣膜钙化分割掩码值,从而得到心脏待处理子图像的目标瓣膜钙化分割掩码。
在一可实施方式中,将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接包括:
根据以下拼接函数公式,在预设维度对多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接:
P’i=concat(Pi,Si),
其中,Pi∈Rhwd,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像;Si为在单位体积心脏的类别空间划分参照体缩放至与心脏待处理图像相同尺寸后,与第i个心脏待处理子图像相对应的参照体;P’i∈Rhw2d,P’i为第i个心脏待处理子图像进行拼接后的图像,且为长、宽、高分别为h、w、2d的图像。
在一可实施方式中,根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码,包括:
将多个心脏待处理子图像的目标瓣膜钙化分割掩码进行拼接,确定心脏待处理图像的目标瓣膜钙化分割掩码;
根据心脏待处理图像的目标瓣膜钙化分割掩码以及初始待处理图像,确定初始待处理图像的瓣膜钙化分割掩码。
根据本公开的第二方面,提供了一种心脏瓣膜钙化分割装置,装置包括:
子图像确定模块,用于将初始待处理图像进行预处理,得到多个心脏待处理子图像;
子图像初始掩码确定模块,用于将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,类别子空间划分参照体为在单位体积心脏的类别空间划分参照体缩放后,与各个心脏待处理子图像相对应的参照体;
子图像目标掩码确定模块,用于针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码;
图像分割掩码确定模块,用于根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码。
在一可实施方式中,所述装置还包括:参照体获取模块,具体用于:
将多个样本图像输入心脏分割模型,得到多个样本图像的样本心脏分割掩码;
根据多个样本图像的样本心脏分割掩码确定多个样本图像的样本心脏外接框;并根据多个样本图像的样本心脏外接框裁剪多个样本图像得到多个样本心脏待处理图像;
根据多个样本图像的原始瓣膜钙化标注掩码与多个样本心脏待处理图像,确定多个样本心脏待处理图像的瓣膜钙化标注掩码;
将多个样本心脏待处理图像的瓣膜钙化标注掩码,归一化为多个单位体积心脏的瓣膜钙化标注掩码;
将多个单位体积心脏的瓣膜钙化标注掩码进行叠加,确定单位体积心脏的类别空间划分参照体。
在一可实施方式中,参照体获取模块,具体用于:将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值;
在单位体积心脏内,将具有相同的目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定各个类别瓣膜区域的包围边界;
若存在多个类别瓣膜区域具有重叠区域,则在重叠区域的空间点中,根据出现目标瓣膜钙化标注掩码值频次最高的掩码值,确定重叠区域的最终类别;
根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,直至填充满单位体积心脏的整个空间,得到单位体积心脏的类别空间划分参照体。
在一可实施方式中,参照体获取模块,具体用于:
根据多个单位体积心脏内的瓣膜钙化标注掩码,获得单位体积心脏内每个空间点的多个瓣膜钙化标注掩码值;
在每个空间点的多个瓣膜钙化标注掩码值中,将出现瓣膜钙化标注掩码值频次最高的掩码值作为每个空间点的目标瓣膜钙化标注掩码值。
在一可实施方式中,参照体获取模块,具体用于:
在单位体积心脏中,将目标瓣膜钙化标注掩码值为零的空间点,作为待分类空间点;
确定距离待分类空间点最近的临近类别瓣膜区域内的空间点,并将临近类别瓣膜区域内的空间点所对应的目标瓣膜钙化标注掩码值,作为待分类空间点的目标瓣膜钙化标注掩码值。
在一可实施方式中,子图像确定模块,具体用于:
将初始待处理图像输入心脏分割模型,得到初始待处理图像的心脏分割掩码;
根据初始待处理图像的心脏分割掩码确定初始待处理图像的心脏外接框;
根据初始待处理图像的心脏外接框,裁剪初始待处理图像,作为心脏待处理图像,再将心脏待处理图像切分为多个心脏待处理子图像。
在一可实施方式中,子图像目标掩码确定模块,具体用于:
在当前心脏待处理子图像的初始瓣膜钙化分割掩码中,若存在有当前空间点的初始瓣膜钙化分割掩码值与当前心脏待处理子图像相对应的类别子空间划分参照体内的掩码值不同,则根据类别子空间划分参照体的掩码值,修正当前空间点的初始瓣膜钙化分割掩码值,作为当前空间点的目标瓣膜钙化分割掩码值,从而得到心脏待处理子图像的目标瓣膜钙化分割掩码。
在一可实施方式中,子图像初始掩码确定模块,具体用于:
根据以下拼接函数公式,在预设维度对多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接:
P’i=concat(Pi,Si),
其中,Pi∈Rhwd,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像;Si为在单位体积心脏的类别空间划分参照体缩放至与心脏待处理图像相同尺寸后,与第i个心脏待处理子图像相对应的参照体;P’i∈Rhw2d,P’i为第i个心脏待处理子图像进行拼接后的图像,且为长、宽、高分别为h、w、2d的图像。
在一可实施方式中,图像分割掩码确定模块,具体用于:
将多个心脏待处理子图像的目标瓣膜钙化分割掩码进行拼接,确定心脏待处理图像的目标瓣膜钙化分割掩码;
根据心脏待处理图像的目标瓣膜钙化分割掩码以及初始待处理图像,确定初始待处理图像的瓣膜钙化分割掩码。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本公开的方法。
本公开的心脏瓣膜钙化分割方法、装置、设备及存储介质,通过将初始待处理图像进行预处理,得到多个心脏待处理子图像,将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,类别子空间划分参照体为在单位体积心脏的类别空间划分参照体进行缩放后,与各个心脏待处理子图像相对应的参照体,针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码,根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码,能够在现有采集图像的基础上,不增加额外的高昂心脏内部标注,就能解决心脏瓣膜钙化分割效果差的问题,且显著提高心脏瓣膜钙化分类的准确性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1A示出了本公开实施例一提供的一种冠状动脉增强CT原始图像的示意图;
图1B示出了本公开实施例一提供的一种叠加标注的冠状动脉增强CT图像的示意图;
图1C示出了本公开实施例一提供的一种心脏瓣膜钙化分割方法流程示意图;
图2示出了本公开实施例二提供的一种心脏瓣膜钙化分割方法流程图;
图3示出了本公开实施例三提供的一种心脏瓣膜钙化分割装置的结构示意图;
图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
在医学领域中,CCTA图像内部由于缺少心脏结构的显式编码,只能隐式地拟合空间信息,因此通过钙化斑块本身的灰度信息,虽然可以检测并分割出钙化区域,但对瓣膜钙化的分类正确率较低。而引入心脏结构分割掩码虽然可以作为补充的空间信息,对模型拟合起到较好的辅助,但由于标注心脏结构的成本高,所以在多数场景下均难以获得。
图1A示出了本公开实施例一提供的一种冠状动脉增强CT原始图像的示意图,图1B示出了本公开实施例一提供的一种叠加标注的冠状动脉增强CT图像的示意图。如图1A和图1B所示,本实施例以主动脉瓣膜钙化为例进行说明。其中,如图1A所示,虚线框内的白色斑点表示的是主动脉瓣膜钙化斑块,图1B在相应的地方用黑点进行标注。需要知道的是,心脏组织内部具有四个瓣膜,除了主动脉瓣膜之外,还包括肺动脉瓣膜、二尖瓣膜以及三尖瓣膜,瓣膜钙化发生在上述四个瓣膜上。本实施例使用心脏瓣膜钙化分割方法,不仅能够将图1A中的瓣膜钙化斑块精确分割出来,且能够精准定位其所在瓣膜的所属类别,具体如下。
实施例一
图1C为本公开实施例一提供的一种心脏瓣膜钙化分割方法的流程图,该方法可以由本公开实施例提供的心脏瓣膜钙化分割装置来执行,该装置可采用软件和/或硬件的方式实现。该方法具体包括:
S110、将初始待处理图像进行预处理,得到多个心脏待处理子图像。
其中,初始待处理图像可以是原始冠状动脉增强图像,该图像可以通过CCTA扫描的方式获取,且为三维图像。心脏待处理子图像指的是初始待处理图像内心脏组织区域中的部分图像块,用于后续直接输入瓣膜钙化分割模型,以确定心脏待处理子图像的目标瓣膜钙化分割掩码,记为Pi,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像。
由于初始待处理图像的尺寸较大,包含非心脏组织区域,而本实施例主要对心脏区域内的瓣膜钙化斑块进行识别、定位以及分类,因此本实施例在获取初始待处理图像之后,对其进行预处理,留下仅包含心脏组织区域的图像块,再经过切分处理,即可得到心脏待处理子图像。
S120、将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码。
其中,类别子空间划分参照体为在单位体积心脏的类别空间划分参照体进行缩放后,与各个心脏待处理子图像相对应的参照体,记为MaskS
其中,单位体积心脏指的是预设长、宽和高的尺寸均为1voxel的立方体,且为三维建模心脏图像。类别空间划分参照体,可以是指四分类空间划分区域,具有瓣膜钙化类别信息,具体为主动脉瓣膜区域、肺动脉瓣膜区域、二尖瓣膜区域以及三尖瓣膜区域。示例性的,若存在最终瓣膜钙化分割掩码A的空间位置落在主动脉瓣膜区域中,则可以确定该瓣膜钙化分割掩码A的类型为主动脉瓣膜上的钙化斑块。类别空间划分参照体由若干类别子空间划分参照体组成,本实施例将单位体积心脏的类别空间划分参照体缩放到与心脏待处理图像相同尺寸后,由于类别空间划分参照体与心脏待处理图像的空间具有对应关系,因此预处理后的各个心脏待处理子图像也可以确定与其相对应的类别子空间划分参照体。
其中,瓣膜钙化分割模型,可以是任意一种可以达到瓣膜钙化分割目的神经网络模型。初始瓣膜钙化分割掩码,可以是通过瓣膜钙化分割模型处理后,得到的用于标识瓣膜钙化类别的掩码。且初始瓣膜钙化分割掩码由各个空间点的初始瓣膜钙化分割掩码值组成,其中,初始瓣膜钙化分割掩码值可以设置为0、1、2、3和4。示例性的,在本实施例中瓣膜钙化类别包含主动脉瓣钙化、肺动脉瓣钙化、二尖瓣钙化和三尖瓣钙化,其中,若某空间点输出的初始瓣膜钙化分割掩码值为1,则定义为主动脉瓣膜钙化;若某空间点输出的初始瓣膜钙化分割掩码值为2,则定义为肺动脉瓣膜钙化;若某空间点输出的初始瓣膜钙化分割掩码值为3,则定义为二尖瓣膜钙化;若某空间点输出的初始瓣膜钙化分割掩码值为4,则定义为三尖瓣膜钙化;若某空间点输出的初始瓣膜钙化分割掩码值为0,则定义为正常瓣膜组织。需要说明的是,本实施例不对初始瓣膜钙化分割掩码值的定义进行限定。
具体的,本实施例将类别子空间划分参照体与心脏待处理子图像进行拼接后,输入瓣膜钙化分割模型,可以直接得到心脏待处理子图像的初始瓣膜钙化分割掩码。而在另一个实施例中,类别子空间划分参照体与心脏待处理子图像进行拼接后,输入瓣膜钙化分割模型,可以得到四个与心脏待处理子图像大小相同的、具有单独瓣膜区域内瓣膜钙化特征的掩码图像,其中,这四个具有单独瓣膜区域内瓣膜钙化特征的掩码图像重叠在一起,即可形成上述实施例中所得到的初始瓣膜钙化分割掩码。
在本公开实施例中,将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接包括:根据以下拼接函数公式,在预设维度对多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接:
P’i=concat(Pi,Si)。
其中,Pi∈Rhwd,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像;Si为在单位体积心脏的类别空间划分参照体缩放至与心脏待处理图像相同尺寸后,与第i个心脏待处理子图像相对应的参照体;P’i∈Rhw2d,P’i为第i个心脏待处理子图像进行拼接后的图像,且为长、宽、高分别为h、w、2d的图像。
其中,预设维度可以为长、宽、高中的任意维度。例如,多个心脏待处理子图像及其相对应的类别子空间划分参照体可以在h维度进行拼接,还可以在w维度进行拼接,或者在d维度进行拼接。需要说明的是,本实施例提供的拼接函数公式是在d维度进行拼接所写的计算公式。
S130、针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码。
其中,目标瓣膜钙化分割掩码,可以是将初始瓣膜钙化分割掩码进行修正后得到的最终掩码。
在本公开实施例中,针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码,包括:在当前心脏待处理子图像的初始瓣膜钙化分割掩码中,若存在有当前空间点的初始瓣膜钙化分割掩码值与当前心脏待处理子图像相对应的类别子空间划分参照体内的掩码值不同,则根据类别子空间划分参照体的掩码值,修正当前空间点的初始瓣膜钙化分割掩码值,作为当前空间点的目标瓣膜钙化分割掩码值,从而得到心脏待处理子图像的目标瓣膜钙化分割掩码,同时根据目标瓣膜钙化分割掩码值还能够确定当前空间点的瓣膜钙化类别信息。
由于瓣膜钙化分割模型的检测有可能存在误差,因此,本实施例将瓣膜钙化分割模型输出的初始瓣膜钙化分割掩码进行修正,作为心脏待处理子图像中的目标瓣膜钙化分割掩码,以进一步提高瓣膜钙化分割以及分类的准确性。
S140、根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码。
在本公开实施例中,根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码,包括:将多个心脏待处理子图像的目标瓣膜钙化分割掩码进行拼接,确定心脏待处理图像的目标瓣膜钙化分割掩码;根据心脏待处理图像的目标瓣膜钙化分割掩码以及初始待处理图像,确定初始待处理图像的瓣膜钙化分割掩码。
具体的,本实施例根据多个心脏待处理子图像在心脏待处理图像内的对应位置,将多个心脏待处理子图像的目标瓣膜钙化分割掩码,依次还原至心脏待处理图像内的对应位置处,拼接成完整的心脏待处理图像的目标瓣膜钙化分割掩码图像,再将该掩码图像还原至初始待处理图像对应的位置处,即可获得与原始待处理图像大小相同的、在心脏位置区域具有目标瓣膜钙化分割掩码的图像,也即初始待处理图像的瓣膜钙化分割掩码。
本实施例在无需引入精确心脏结构标注的情况下,能够尽可能的高效拟合瓣膜的空间位置,提高瓣膜钙化分类效果。
由于在不同病人的心脏结构中,主动脉瓣膜的空间位置、肺动脉瓣膜的空间位置以及其他两类瓣膜的空间位置具有相对一致性,因此本实施例可以利用瓣膜钙化的标注信息,近似拟合出心脏中瓣膜体素的空间分布,也即类别空间划分参照体,进而辅助完成心脏瓣膜钙化的精准定位与分类。具体内容如下:
在本公开实施例中,类别空间划分参照体通过以下方式获取:将多个样本图像输入心脏分割模型,得到多个样本图像的样本心脏分割掩码;根据多个样本图像的样本心脏分割掩码确定多个样本图像的样本心脏外接框,并根据多个样本图像的样本心脏外接框裁剪多个样本图像得到多个样本心脏待处理图像;根据多个样本图像的原始瓣膜钙化标注掩码与多个样本心脏待处理图像,确定多个样本心脏待处理图像的瓣膜钙化标注掩码;将多个样本心脏待处理图像的瓣膜钙化标注掩码,归一化为多个单位体积心脏的瓣膜钙化标注掩码;将多个单位体积心脏的瓣膜钙化标注掩码进行叠加,确定单位体积心脏的类别空间划分参照体。
其中,样本图像可以是为了确定单位体积心脏的类别空间划分参照体所使用的原始CCTA图像。心脏分割模型可以是任意一种能够达到心脏分割目的的神经网络模型,通过该模型可以将具有心脏特征的图像区域从原始CCTA图像中区分出来。样本心脏分割掩码可以是由心脏分割模型所输出的、用于在样本图像中区分心脏特征和非心脏特征的掩码值组成,记为MaskC。样本心脏外接框可以是包裹样本心脏区域的最小包容体,记为B,其中H、W和D分别为样本心脏外接框的长、宽和高。瓣膜钙化标注掩码可以是通过心脏外接框对样本图样中的原始瓣膜钙化标注掩码进行裁剪得到的掩码,记为MaskV
其中,样本心脏待处理图像,可以是通过样本心脏外接框在样本图像中裁剪所得到的图像。原始瓣膜钙化标注掩码,可以是人为提前标注的、具有准确钙化标注掩码信息的图像,用于确定样本心脏待处理图像中瓣膜钙化标注掩码。
由于并不是每个患者心脏待处理图像内的四个瓣膜均存在钙化,而为了拟合出心脏内部较为完整的瓣膜空间划分,本实施例需要采集大量样本图像,并将大量样本图像逐个或者批量输入心脏分割模型,得到各个样本图像的样本心脏分割掩码。又由于通过各个样本心脏分割掩码的轮廓能够确定各个样本图像的样本心脏外接框,因此本实施例可以根据各个样本图像的样本心脏外接框裁剪相对应的样本图像得到各个样本心脏待处理图像。然后,本实施例通过提前标注好的关于样本图像的原始瓣膜钙化标注掩码,对相对应的样本心脏待处理图像进行标注,以确定各个样本心脏待处理图像的瓣膜钙化标注掩码。
由于每个患者的心脏大小不同以及拍摄心脏CCTA图像时的设备状态可能不同,导致每张样本图像所截取出来的样本心脏待处理图像尺寸也不相同,且得到的样本心脏待处理图像的瓣膜钙化标注掩码图像大小不一,从而不利于上述掩码图像通过叠加的方式,确定单位体积心脏的类别空间划分参照体,所以本实施例需要先将得到的样本心脏待处理图像的瓣膜钙化标注掩码图像进行归一化处理,再将上述得到的归一化掩码图像进行叠加,以确定单位体积心脏的类别空间划分参照体。
示例性的,本实施例可以将样本心脏待处理图像的瓣膜钙化标注掩码进行归一化,得到的瓣膜钙化标注掩码,记为MaskN,设置MaskN的长、宽和高均为1。对于样本心脏待处理图像中的任意一点,也即体素点(y,x,z)∈MaskV,该点在MaskN中的对应坐标为
Figure BDA0003941513500000151
本实施例会逐次对样本图像进行上述操作,例如,以得到第i个患者的样本图像为例,将其瓣膜钙化标注掩码记为
Figure BDA0003941513500000152
并将所有的
Figure BDA0003941513500000153
叠加后得到的图像块,作为单位体积心脏的类别空间划分参照体,并记为MaskS
需要说明的是,对于体素点(y,x,z)∈MaskV,若该体素点存在瓣膜钙化,则
Figure BDA0003941513500000154
的值为正,若该体素点不存在瓣膜钙化,则
Figure BDA0003941513500000155
的值为0。
由于不同患者的CCTA图像与其实际心脏物理尺寸、以及不同患者的心脏尺寸均有所不同,因此本实施例为了消除因尺寸不一的问题导致类别空间划分参照体质量差的隐患,提前将不同病人的心脏都投影到单位体积的心脏框中,获得瓣膜钙化的空间分布。也即,上文提到的将得到的样本心脏待处理图像的瓣膜钙化标注掩码图像进行归一化处理,再将上述得到的归一化掩码图像进行叠加,以确定单位体积心脏的类别空间划分参照体将。
在本公开实施例中,将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值,包括:根据多个单位体积心脏内的瓣膜钙化标注掩码,获得单位体积心脏内每个空间点的多个瓣膜钙化标注掩码值;在每个空间点的多个瓣膜钙化标注掩码值中,将出现瓣膜钙化标注掩码值频次最高的掩码值作为每个空间点的目标瓣膜钙化标注掩码值。
其中,目标瓣膜钙化标注掩码值,可以是在单位体积心脏内,各个空间点(即体素点)所确定的最终瓣膜钙化标注掩码值。
由于本实施例通过将大量单位体积心脏内的瓣膜钙化标注掩码图像进行重叠,来确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值,因此叠加后的单位体积心脏内的每个空间点都有大量瓣膜钙化标注掩码值。同时,在单位体积心脏内的空间点很有可能会存在瓣膜钙化标注掩码值不一致的情况。为了确定单位体积心脏内每个空间点的瓣膜钙化标注掩码值的唯一性,本实施例可以采用统计投票法,根据针对单位体积心脏内的每个空间点,统计其出现的多个瓣膜钙化标注掩码值的频次,将出现频次最高的空间点掩码值确定为该空间点的目标瓣膜钙化标注掩码值,从而了解其最终瓣膜钙化类别,示例性的,可以用公式
Figure BDA0003941513500000161
Figure BDA0003941513500000162
进行表示,其中i∈N,N为患者总数。
示例性的,本实施例对单位体积心脏内的体素点i确定其目标瓣膜钙化标注掩码值。若该体素点i的掩码值为1,出现的频次为50次,其余的掩码值出现频次均小于3,则本实施例可以将该体素点i的目标瓣膜钙化标注掩码值确定为1,也即属于主动脉瓣膜钙化的类别瓣膜区域。
本实施例在单位体积心脏内,将每个空间点中出现瓣膜钙化标注掩码值频次最高的掩码值作为每个空间点的目标瓣膜钙化标注掩码值,能够提高单位体积心脏的类别空间划分参照体的精准性。
在本公开实施例中,将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏的类别空间划分参照体,包括:将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值,在单位体积心脏内,将具有相同的目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定各个类别瓣膜区域的包围边界,若存在多个类别瓣膜区域具有重叠区域,则在重叠区域的空间点中,根据出现目标瓣膜钙化标注掩码值频次最高的掩码值,确定重叠区域的最终类别,根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,直至填充满单位体积心脏的整个空间,得到单位体积心脏的类别空间划分参照体。
其中,包围边界可以是各个类别瓣膜钙化区域中最外层的瓣膜钙化体素点组成的边界,用于限定同类瓣膜钙化体素点存在的区域。
具体的,本实施例先确定单位体积心脏内各个空间点的目标瓣膜钙化标注掩码值,再将具有相同目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定其范围边界,以此来界定类别空间划分参照体内部的四分类空间划分区域的初步范围。理想情况下,类别空间划分参照体内部的四分类空间划分区域为四个独立类别瓣膜区域,其各个独立类别瓣膜区域内的所有空间点均为相同的目标瓣膜钙化标注掩码值。
但是由于前期各个空间点的目标瓣膜钙化标注掩码值为根据统计进行人为确定的,可能会存在误差,又由于四个独立类别瓣膜区域的边界是根据各个空间点的目标瓣膜钙化标注掩码值而圈画的粗略范围边界,因此可能会存在两个或者两个以上的独立类别瓣膜区域存在重叠区域。示例性的,若存在两个独立类别瓣膜区域存在重叠区域,该重叠区域内共有17个空间点,其中部分空间点的目标瓣膜钙化标注掩码值为A,部分空间点的目标瓣膜钙化标注掩码值为B,所有空间点为无序规律的遍布在重叠区域内。针对上述情况,本实施例同样可以采用统计投票法的方式,在该重叠区域内分别统计目标瓣膜钙化标注掩码值为A和目标瓣膜钙化标注掩码值为B的出现频次,示例性的,若该重叠区域内具有目标瓣膜钙化标注掩码值为A的空间点为10个,若该重叠区域内具有目标瓣膜钙化标注掩码值为A的空间点为7个,将出现目标瓣膜钙化标注掩码值频次最高的掩码值A,确定为重叠区域的最终类别。同时,本实施例还会将该重叠区域内原本的掩码值为B的空间点,全部更改为掩码值A。
在另一实施例中,对于存在多种瓣膜类型的重叠区域,除了投票算法,还可以通过支持向量机(Support Vector Machine,SVM)等进行超平面划分的算法,以确定所述重叠区域的最终类别。
本实施例通过对具有重叠区域的多个类别瓣膜区域内的掩码值进行统一,清晰化了类别空间划分参照体内部的四个独立类别瓣膜区域的包围边界,避免了由于重叠区域内具有多种类型掩码值,导致后期判断心脏待处理子图像的初始瓣膜钙化分割掩码混乱的现象。
除此之外,本实施例在确定重叠区域的最终类别之后,可以通过区域生长法将各个类别瓣膜区域的包围边界进行等比例的向外扩张,直至填充满单位体积心脏的整个空间,得到四种单位体积心脏的类别空间划分参照体。
在本公开实施例中,根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,包括:在单位体积心脏中,将目标瓣膜钙化标注掩码值为零的空间点,作为待分类空间点;确定距离待分类空间点最近的临近类别瓣膜区域内的空间点,并将临近类别瓣膜区域内的空间点所对应的目标瓣膜钙化标注掩码值,作为待分类空间点的目标瓣膜钙化标注掩码值。
由于单位体积心脏内的各个类别瓣膜区域的包围边界,为根据每个空间点的目标瓣膜钙化标注掩码值而定,而目标瓣膜钙化标注掩码值的位置具有局限性,并不能完全填充满单位体积心脏的整个空间,因此本实施例将各个类别瓣膜区域包围边界之外的、掩码值为0的空间点作为待分类空间点,该待分类空间点没有归属于任意一个类别瓣膜区域。
具体的,本实施例将单位体积心脏的整个空间的瓣膜钙化标注掩码值分为零或非零两种类型,根据区域生长法,将各个类别瓣膜区域的包围边界进行外延的生长操作过程中,避不可免的会遇到瓣膜钙化标注掩码值为零的体素点。当遇到瓣膜钙化标注掩码值为零的体素点时,则将该体素点的瓣膜钙化标注掩码值,修改为离该体素点距离最近、且带有类别瓣膜信息的体素点的目标瓣膜钙化标注掩码值。当单位体积心脏空间全部被填充满时,则该空间内的所有体素点都有其对应的类别瓣膜信息,即得到单位体积心脏的类别空间划分参照体。
实施例二
图2为本公开实施例二提供的一种心脏瓣膜钙化分割方法的流程图,本公开实施例在上述实施例的基础上,其中,将初始待处理图像进行预处理,得到多个心脏待处理子图像,包括:
S210、将初始待处理图像输入心脏分割模型,得到初始待处理图像的心脏分割掩码。
具体的,在本实施例中,由于待处理图像中含有具有心脏特征的图像区域和具有非心脏特征的图像区域,而后续的运算中,只针对具有心脏特征的图像区域进行处理,所以为了提高心脏瓣膜钙化分割效率,本实施例先通过心脏分割模型,将待处理图像中的具有心脏特征的图像区域和具有非心脏特征的图像区域区分出来,即得到初始待处理图像的心脏分割掩码。
S220、根据初始待处理图像的心脏分割掩码确定初始待处理图像的心脏外接框。
其中,初始待处理图像的心脏外接框可以是能够将具有心脏特征的心脏分割掩码包裹住的最小立方体。
具体的,本实施例可以先通过心脏分割模型,得到初始待处理图像的心脏分割掩码,再通过初始待处理图像的心脏分割掩码,来确定初始待处理图像的心脏外接框。
S230、根据初始待处理图像的心脏外接框,裁剪初始待处理图像,作为心脏待处理图像,再将心脏待处理图像切分为多个心脏待处理子图像。
由于初始待处理图像的心脏分割掩码与初始待处理图像中心脏组织区域相对应,心脏外接框为根据心脏分割掩码所述确定的包围框,因此本实施例可以利用初始待处理图像的心脏外接框裁剪初始待处理图像得到带有心脏特征的图像,即心脏待处理图像。
又由于心脏待处理图像尺寸过大,介于现有深度学习模型的计算能力受限而无法对其进行直接处理,所以本实施例需要将心脏待处理图像拆分为多个心脏待处理子图像,以满足深度学习模型的处理需求。在另一实施例中,若深度学习模型的计算能力可以支持心脏待处理图像的分割分类,则可以直接将心脏待处理图像和及其相对应的类别空间划分参照体进行拼接,输入瓣膜钙化分割模型。
S240、将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码。
其中,拼接操作指的是将心脏待处理子图像与其相对应的类别子空间划分参照体组合为一个新的图像块的操作,并将该图像块输入心脏瓣膜钙化分割模型。
具体的,在本实施例中,将多个心脏待处理子图像与其相对应的类别子空间划分参照体进行拼接,依次输入瓣膜钙化分割模型,输出多个心脏待处理子图像的初始瓣膜钙化分割掩码。示例性的,在本实施例中心脏待处理子图像的任意点i的坐标中心为(y,x,z),则对应的单位体积心脏的类别空间划分参照体信息为:
Figure BDA0003941513500000201
其中,S’为由单位心脏内部的类别空间划分参照体S经过放缩后得到的,S’∈RHWD。本实施例在D维度进行拼接,拼接后的图像块记为P’i,公式为P’i=concat(Pi,Si),P’j∈Rhw2d,h、w和2d分别为拼接后图像的长、宽和高。
S250、针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码。
S260、根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码。
本实施例针对瓣膜钙化分类困难的问题,利用已有的瓣膜钙化标注信息,通过近似拟合空间中瓣膜体素的分布,实现心脏内部四类瓣膜的空间划分。再通过结合空间划分信息,可以大幅增强瓣膜钙化的分类性能,且无需引入更复杂、成本更高的精确心脏结构标注信息,从而大幅度的提升了瓣膜钙化定位及分类的精确度。
示例性的,本实施例收集了1000例冠状动脉门控CT图像,将其按照6∶2∶2的比例随机划分为训练集、验证集、测试集。本实施例将使用数据集训练模型,用验证集挑选效果最佳的模型,并用测试集来评价最终效果。
示例性的,本实施例基于CNN训练的深度学习模型对瓣膜钙化进行全自动分割,具体步骤如下:
i.使用心脏分割模型进行CCTA图像中心脏分割与心脏框提取。
ii.根据数据集中的瓣膜钙化分割标注,结合心脏框,生成单位心脏内部四分类空间划分。
iii.模型训练:分割模型可以是任意类Unet的深度学习模型。将瓣膜的空间划分与原始CCTA图像进行拼接,得到带有空间编码信息的训练数据,输入模型进行训练。具体的训练参数如下所示:优化器选择为Adam,超参数包括:学习率1e-3,weight_decay:1e-4,beta1:1e-5,beta2:1e-3。总训练迭代次数为10000次,Batch Size为16,在RTX-3090上8卡训练。
iv.分割瓣膜钙化区域(推理):使用四个类别的空间划分信息对模型的四个对应类别的钙化掩码输出进行过滤与类别修正。最后将分割结果逐步拼接并还原至原始CCTA图像的大小,实现单个病例完整的心脏瓣膜钙化分割。
本实施例通过心脏瓣膜钙化分割模型对心脏瓣膜类型进行定位与分类,解决了现有技术中冠状动脉增强CT因瓣膜本身边界模糊,而只能分割出主动脉瓣膜的问题,且同时具有成本低、对瓣膜钙化的定位和分类精确的优势。
实施例三
图3是本公开实施例提供的一种心脏瓣膜钙化分割装置的结构示意图,该装置具体包括:
子图像确定模块310,用于将初始待处理图像进行预处理,得到多个心脏待处理子图像;
子图像初始掩码确定模块320,用于将多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,类别子空间划分参照体为在单位体积心脏的类别空间划分参照体缩放后,与各个心脏待处理子图像相对应的参照体;
子图像目标掩码确定模块330,用于针对多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到多个心脏待处理子图像的目标瓣膜钙化分割掩码;
图像分割掩码确定模块340,用于根据多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定初始待处理图像的瓣膜钙化分割掩码。
在一可实施方式中,子图像确定模块310,具体用于:
将初始待处理图像输入心脏分割模型,得到初始待处理图像的心脏分割掩码;
根据初始待处理图像的心脏分割掩码确定初始待处理图像的心脏外接框;
根据初始待处理图像的心脏外接框,裁剪初始待处理图像,作为心脏待处理图像,再将心脏待处理图像切分为多个心脏待处理子图像。
在一可实施方式中,子图像目标掩码确定模块330,具体用于:
在当前心脏待处理子图像的初始瓣膜钙化分割掩码中,若存在有当前空间点的初始瓣膜钙化分割掩码值与当前心脏待处理子图像相对应的类别子空间划分参照体内的掩码值不同,则根据类别子空间划分参照体的掩码值,修正当前空间点的初始瓣膜钙化分割掩码值,作为当前空间点的目标瓣膜钙化分割掩码值,从而得到心脏待处理子图像的目标瓣膜钙化分割掩码。
在一可实施方式中,子图像初始掩码确定模块320,具体用于:
根据以下拼接函数公式,在预设维度对多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接:
P’i=concat(Pi,Si),
其中,Pi∈Rhwd,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像;Si为在单位体积心脏的类别空间划分参照体缩放至与心脏待处理图像相同尺寸后,与第i个心脏待处理子图像相对应的参照体;P’i∈Rhw2d,P’i为第i个心脏待处理子图像进行拼接后的图像,且为长、宽、高分别为h、w、2d的图像。
在一可实施方式中,图像分割掩码确定模块340,具体用于:
将多个心脏待处理子图像的目标瓣膜钙化分割掩码进行拼接,确定心脏待处理图像的目标瓣膜钙化分割掩码;
根据心脏待处理图像的目标瓣膜钙化分割掩码以及初始待处理图像,确定初始待处理图像的瓣膜钙化分割掩码。
在一可实施方式中,装置还包括:
参照体获取模块,用于将多个样本图像输入心脏分割模型,得到多个样本图像的样本心脏分割掩码;
根据多个样本图像的样本心脏分割掩码确定多个样本图像的样本心脏外接框;并根据多个样本图像的样本心脏外接框裁剪多个样本图像得到多个样本心脏待处理图像;
根据多个样本图像的原始瓣膜钙化标注掩码与多个样本心脏待处理图像,确定多个样本心脏待处理图像的瓣膜钙化标注掩码;
将多个样本心脏待处理图像的瓣膜钙化标注掩码,归一化为多个单位体积心脏的瓣膜钙化标注掩码;
将多个单位体积心脏的瓣膜钙化标注掩码进行叠加,确定单位体积心脏的类别空间划分参照体。
将多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值;
在单位体积心脏内,将具有相同的目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定各个类别瓣膜区域的包围边界;
若存在多个类别瓣膜区域具有重叠区域,则在重叠区域的空间点中,根据出现目标瓣膜钙化标注掩码值频次最高的掩码值,确定重叠区域的最终类别;
根据区域生长法,将各个类别瓣膜区域的包围边界进行生长操作,直至填充满单位体积心脏的整个空间,得到单位体积心脏的类别空间划分参照体。
根据多个单位体积心脏内的瓣膜钙化标注掩码,获得单位体积心脏内每个空间点的多个瓣膜钙化标注掩码值;
在每个空间点的多个瓣膜钙化标注掩码值中,将出现瓣膜钙化标注掩码值频次最高的掩码值作为每个空间点的目标瓣膜钙化标注掩码值。
在单位体积心脏中,将目标瓣膜钙化标注掩码值为零的空间点,作为待分类空间点;
确定距离待分类空间点最近的临近类别瓣膜区域内的空间点,并将临近类别瓣膜区域内的空间点所对应的目标瓣膜钙化标注掩码值,作为待分类空间点的目标瓣膜钙化标注掩码值。
根据本公开的第四方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如心脏瓣膜钙化分割方法。例如,在一些实施例中,心脏瓣膜钙化分割方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的心脏瓣膜钙化分割方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行心脏瓣膜钙化分割方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种心脏瓣膜钙化分割方法,其特征在于,所述方法包括:
将初始待处理图像进行预处理,得到多个心脏待处理子图像;
将所述多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,所述类别子空间划分参照体为在单位体积心脏的类别空间划分参照体进行缩放后,与各个心脏待处理子图像相对应的参照体;
针对所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与所述多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到所述多个心脏待处理子图像的目标瓣膜钙化分割掩码;
根据所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定所述初始待处理图像的瓣膜钙化分割掩码。
2.根据权利要求1所述的方法,其中,所述类别空间划分参照体通过以下方式获取;
将多个样本图像输入心脏分割模型,得到所述多个样本图像的样本心脏分割掩码;
根据所述多个样本图像的样本心脏分割掩码确定所述多个样本图像的样本心脏外接框;并根据所述多个样本图像的样本心脏外接框裁剪所述多个样本图像得到多个样本心脏待处理图像;
根据所述多个样本图像的原始瓣膜钙化标注掩码与所述多个样本心脏待处理图像,确定所述多个样本心脏待处理图像的瓣膜钙化标注掩码;
将所述多个样本心脏待处理图像的瓣膜钙化标注掩码,归一化为多个单位体积心脏的瓣膜钙化标注掩码;
将所述多个单位体积心脏的瓣膜钙化标注掩码进行叠加,确定单位体积心脏的类别空间划分参照体。
3.根据权利要求2所述的方法,其特征在于,所述将所述多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏的类别空间划分参照体,包括:
将所述多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值;
在所述单位体积心脏内,将具有相同的目标瓣膜钙化标注掩码值的空间点归类为同一类别瓣膜区域,并确定各个类别瓣膜区域的包围边界;
若存在多个类别瓣膜区域具有重叠区域,则在所述重叠区域的空间点中,根据出现目标瓣膜钙化标注掩码值频次最高的掩码值,确定所述重叠区域的最终类别;
根据区域生长法,将所述各个类别瓣膜区域的包围边界进行生长操作,直至填充满所述单位体积心脏的整个空间,得到所述单位体积心脏的类别空间划分参照体。
4.根据权利要求3所述的方法,其特征在于,所述将所述多个单位体积心脏内的瓣膜钙化标注掩码进行重叠,确定单位体积心脏内每个空间点的目标瓣膜钙化标注掩码值,包括:
根据所述多个单位体积心脏内的瓣膜钙化标注掩码,获得单位体积心脏内每个空间点的多个瓣膜钙化标注掩码值;
在所述每个空间点的多个瓣膜钙化标注掩码值中,将出现瓣膜钙化标注掩码值频次最高的掩码值作为所述每个空间点的目标瓣膜钙化标注掩码值。
5.根据权利要求4所述的方法,其特征在于,所述根据区域生长法,将所述各个类别瓣膜区域的包围边界进行生长操作,包括:
在所述单位体积心脏中,将目标瓣膜钙化标注掩码值为零的空间点,作为待分类空间点;
确定距离所述待分类空间点最近的临近类别瓣膜区域内的空间点,并将所述临近类别瓣膜区域内的空间点所对应的目标瓣膜钙化标注掩码值,作为所述待分类空间点的目标瓣膜钙化标注掩码值。
6.根据权利要求5所述的方法,其特征在于,所述将初始待处理图像进行预处理,得到多个心脏待处理子图像,包括:
将初始待处理图像输入心脏分割模型,得到所述初始待处理图像的心脏分割掩码;
根据所述初始待处理图像的心脏分割掩码确定所述初始待处理图像的心脏外接框;
根据所述初始待处理图像的心脏外接框,裁剪所述初始待处理图像,作为所述心脏待处理图像,再将所述心脏待处理图像切分为多个心脏待处理子图像。
7.根据权利要求6所述的方法,其特征在于,所述针对所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与所述多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,包括:
在当前心脏待处理子图像的初始瓣膜钙化分割掩码中,若存在有当前空间点的初始瓣膜钙化分割掩码值与所述当前心脏待处理子图像相对应的类别子空间划分参照体内的掩码值不同,则根据所述类别子空间划分参照体的掩码值,修正所述当前空间点的初始瓣膜钙化分割掩码值,作为所述当前空间点的目标瓣膜钙化分割掩码值,从而得到所述心脏待处理子图像的目标瓣膜钙化分割掩码。
8.根据权利要求7所述的方法,其特征在于,所述将所述多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接包括:
根据以下拼接函数公式,在预设维度对所述多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接:
P’i=concat(Pi,Si),
其中,Pi∈Rhwd,Pi为第i个心脏待处理子图像,且为长、宽、高分别为h、w、d的图像;Si为在单位体积心脏的类别空间划分参照体缩放至与所述心脏待处理图像相同尺寸后,与第i个心脏待处理子图像相对应的参照体;P’i∈Rhw2d,P’i为第i个心脏待处理子图像进行拼接后的图像,且为长、宽、高分别为h、w、2d的图像。
9.根据权利要求8所述的方法,其特征在于,所述根据所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定所述初始待处理图像的瓣膜钙化分割掩码,包括:
将所述多个心脏待处理子图像的目标瓣膜钙化分割掩码进行拼接,确定所述心脏待处理图像的目标瓣膜钙化分割掩码;
根据所述心脏待处理图像的目标瓣膜钙化分割掩码以及所述初始待处理图像,确定所述初始待处理图像的瓣膜钙化分割掩码。
10.一种心脏瓣膜钙化分割装置,其特征在于,所述装置包括:
子图像确定模块,用于将初始待处理图像进行预处理,得到多个心脏待处理子图像;
子图像初始掩码确定模块,用于将所述多个心脏待处理子图像及其相对应的类别子空间划分参照体进行拼接,输入瓣膜钙化分割模型,得到所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,其中,所述类别子空间划分参照体为在单位体积心脏的类别空间划分参照体缩放后,与各个心脏待处理子图像相对应的参照体;
子图像目标掩码确定模块,用于针对所述多个心脏待处理子图像的初始瓣膜钙化分割掩码,使用与所述多个心脏待处理子图像相对应的类别子空间划分参照体进行修正,得到所述多个心脏待处理子图像的目标瓣膜钙化分割掩码;
图像分割掩码确定模块,用于根据所述多个心脏待处理子图像的目标瓣膜钙化分割掩码,确定所述初始待处理图像的瓣膜钙化分割掩码。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
CN202211418105.XA 2022-11-14 2022-11-14 心脏瓣膜钙化分割的方法、装置、设备及存储介质 Active CN115908300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211418105.XA CN115908300B (zh) 2022-11-14 2022-11-14 心脏瓣膜钙化分割的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211418105.XA CN115908300B (zh) 2022-11-14 2022-11-14 心脏瓣膜钙化分割的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115908300A true CN115908300A (zh) 2023-04-04
CN115908300B CN115908300B (zh) 2023-09-29

Family

ID=86481901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211418105.XA Active CN115908300B (zh) 2022-11-14 2022-11-14 心脏瓣膜钙化分割的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115908300B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106037931A (zh) * 2015-04-16 2016-10-26 西门子公司 改进的经导管主动脉瓣植入规划的方法和系统
US20170340442A1 (en) * 2016-05-31 2017-11-30 Siemens Healthcare Gmbh Arrangement for monitoring a positioning of a prosthetic cardiac valve and corresponding method
US20220028085A1 (en) * 2018-11-30 2022-01-27 Laralab Gmbh Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN114723742A (zh) * 2022-05-13 2022-07-08 上海博动医疗科技股份有限公司 心脏瓣膜区域的力学分析方法、装置、设备及存储介质
CN114943699A (zh) * 2022-05-16 2022-08-26 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置
CN114972376A (zh) * 2022-05-16 2022-08-30 北京医准智能科技有限公司 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置
CN115100179A (zh) * 2022-07-15 2022-09-23 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106037931A (zh) * 2015-04-16 2016-10-26 西门子公司 改进的经导管主动脉瓣植入规划的方法和系统
US20170340442A1 (en) * 2016-05-31 2017-11-30 Siemens Healthcare Gmbh Arrangement for monitoring a positioning of a prosthetic cardiac valve and corresponding method
US20220028085A1 (en) * 2018-11-30 2022-01-27 Laralab Gmbh Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN114723742A (zh) * 2022-05-13 2022-07-08 上海博动医疗科技股份有限公司 心脏瓣膜区域的力学分析方法、装置、设备及存储介质
CN114943699A (zh) * 2022-05-16 2022-08-26 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置
CN114972376A (zh) * 2022-05-16 2022-08-30 北京医准智能科技有限公司 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置
CN115100179A (zh) * 2022-07-15 2022-09-23 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115908300B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
EP3961500A1 (en) Medical image detection method based on deep learning, and related device
CN111507965A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN111932552B (zh) 一种主动脉建模的方法及装置
CN113643353B (zh) 眼底图像的血管管径的增强分辨率的测量方法
CN115456990B (zh) 一种基于ct图像的肋骨计数方法、装置、设备及存储介质
CN114693604A (zh) 脊椎医学影像处理方法、装置、设备及存储介质
CN117373070B (zh) 血管分段标注的方法及装置、电子设备和存储介质
CN116245832B (zh) 一种图像处理方法、装置、设备及存储介质
CN113971728B (zh) 图像识别方法、模型的训练方法、装置、设备及介质
CN115147360B (zh) 一种斑块分割方法、装置、电子设备及可读存储介质
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN115147359B (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN115294401B (zh) 一种基于ct图像的分类方法、装置、设备及存储介质
CN114187252B (zh) 图像处理方法及装置、调整检测框的方法及装置
CN116309902A (zh) 血管影像重建方法、装置、电子设备和存储介质
CN115908300A (zh) 心脏瓣膜钙化分割的方法、装置、设备及存储介质
CN115482261A (zh) 血管配准方法、装置、电子设备及存储介质
CN114419375A (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质
CN115358976B (zh) 一种图像识别方法、装置、设备及存储介质
CN115578564B (zh) 实例分割模型的训练方法、装置、电子设备及存储介质
CN115187582B (zh) 一种淋巴结分割方法、装置、电子设备及可读存储介质
CN112950582B (zh) 一种基于深度学习的3d肺部病灶分割方法、装置
US20230191157A1 (en) Automatic estimation of positions of brachytherapy seeds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address