CN114972376B - 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置 - Google Patents

冠脉钙化斑块的分割方法、分割模型训练方法、相关装置 Download PDF

Info

Publication number
CN114972376B
CN114972376B CN202210531996.3A CN202210531996A CN114972376B CN 114972376 B CN114972376 B CN 114972376B CN 202210531996 A CN202210531996 A CN 202210531996A CN 114972376 B CN114972376 B CN 114972376B
Authority
CN
China
Prior art keywords
target
image
coronary
voxels
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210531996.3A
Other languages
English (en)
Other versions
CN114972376A (zh
Inventor
侯俊杰
刘宇航
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202210531996.3A priority Critical patent/CN114972376B/zh
Publication of CN114972376A publication Critical patent/CN114972376A/zh
Application granted granted Critical
Publication of CN114972376B publication Critical patent/CN114972376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置，其中所述分割方法包括：获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。实现了对CSCT图像中的各冠脉分支的钙化斑块区域的准确分割。

Description

冠脉钙化斑块的分割方法、分割模型训练方法、相关装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置。
背景技术
在医学领域中，可基于非对比增强心电门控钙化积分电子计算机断层扫描(non-contrast enhanced ECG-triggered Calcium Scoring CT，CSCT)图像的分析实现对冠状动脉(冠脉)是否存在钙化斑块以及在存在钙化斑块的情况下钙化斑块所处位置的识别或分割，该方案为一种对冠脉钙化斑块的粗识别。
在实际应用中，考虑到冠脉包括有左主支(Left Main，简称为LM)、左前降支(LeftAnterior Descending Artery，简称为LAD)、左旋支(Left Circumflex Artery，简称为LCX)、右冠状动脉(Right Coronary Artery，简称为RCA)等四支冠脉。各支冠脉上可能存在钙化斑块。
可见，如何从CSCT图像中实现各支冠脉的钙化斑块的准确识别或分割成为了亟待解决的技术问题。
发明内容
本发明提供了一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置。
本发明提供了一种冠脉钙化斑块的分割方法，所述方法包括：
获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
上述方案中，在所述基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域之后，所述方法还包括：
基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
上述方案中，所述基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素，包括：
所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；
或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足以下要求的体素；
所述体素位于心脏表面区域内；
包括有所述体素的候选区域中的体素数量位于第一预设范围内；
所述体素的体积达到预设体积阈值；
所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
上述方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置。
上述方案中，所述目标模型获得目标图像的全局特征，包括：
对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；基于所述细节特征和语义特征，得到目标图像的注意力特征；基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；基于目标图像的上下文特征，得到所述全局特征。
上述方案中，在将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域之前，所述方法还包括：
获取训练图像，所述训练图像为包括心脏区域的CSCT图像；所述心脏区域包括多个冠脉分支；基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
上述方案中，所述获取目标图像包括：获取原始CSCT图像；识别原始CSCT图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出目标图像。
本发明提供了一种冠脉钙化斑块分割模型的训练方法，所述方法包括：
获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
利用构建出的目标损失函数，对分割模型进行训练；
其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
本发明提供了一种冠脉钙化斑块的分割装置，所述装置包括：
第一获取单元，用于获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
第二获取单元，用于将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
筛选单元，用于基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
分割单元，用于基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
本发明提供了一种冠脉钙化斑块分割模型的训练装置，所述装置包括：
获取单元，用于获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
筛选单元，用于基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
训练单元，用于利用所述训练图像以及基于所述体素构建出的损失函数，对分割模型进行训练。
本发明提供了一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置，其中所述分割方法包括：获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
利用目标模型和预设的筛选规则，实现了对CSCT图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本发明实施例中冠脉钙化斑块分割模型的训练方法的实现流程示意图；
图2示出了本发明实施例中冠脉钙化斑块的分割方法的实现流程示意图一；
图3示出了本发明实施例中冠脉钙化斑块的分割方法的实现流程示意图二；
图4示出了本发明实施例中分割模型的训练示意图一；
图5示出了本发明实施例中分割模型的训练示意图二；
图6示出了本发明实施例中目标模型的应用示意图；
图7示出了本发明实施例中冠脉钙化斑块的分割装置的组成示意图；
图8示出了本发明实施例中冠脉钙化斑块分割模型的训练装置的组成示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
应理解，在本申请的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本发明实施例的技术方案涉及到对分割模型进行训练的方案、以及利用训练好的分割模型以及预设的筛选规则对各冠脉分支的钙化斑块区域进行识别的方案。其中，为方便描述，可将训练好的分割模型视为目标模型。
本发明实施例提供一种冠脉钙化斑块分割模型的训练方法，如图1所示，所述方法包括：
S(步骤)101：获取训练图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
本步骤中，可将在医学系统中存储的多个CSCT图像读取出。或，收集或采集的多个CSCT图像。在实际应用中，读取、收集或采集的CSCT图像通常既包括前景(心脏)，又包括背景，本发明实施例中可从CSCT图像中，裁剪出心脏区域的图像，作为训练图像。训练图像的数量为多个。
考虑到训练图像的多样化和丰富化，读取、收集或采集的CSCT图像可以是患有不同程度的冠脉钙化斑块、和/或不同冠脉分支的钙化斑块的患者的CSCT图像。前述的图像为患病的CSCT图像，当然，训练图像也可以包括未患病的CSCT图像。这些患病的和未患病的CSCT图像进行分割模型进行训练，可保证分割模型的准确性。
可以理解，本发明实施例中的CSCT图像、训练图像、目标图像等均为三维图像。
S102：基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
在三维图像中，表示为钙化斑块的体素和表示为非钙化斑块(正常)的体素在灰度值存在很大的不同。本步骤中利用该不同，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素。为区分后续的第一和第二目标体素，视从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素为第三目标体素。
在具体实现上，可以，从训练图像中筛选出灰度值大于或等于第一灰度阈值的体素作为第三目标体素。或者，从训练图像中筛选出灰度值大于或等于第一灰度阈值、且同时需要满足以下要求的体素作为第三目标体素。(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区域中的体素数量位于第一预设范围内；(3)所述体素的体积达到预设体积阈值；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
前述的内容可视为对预设的筛选规则的说明。即筛选规则包括灰度值大于或等于第一灰度阈值。或者，筛选规则包括灰度值大于或等于第一灰度阈值的同时还包括前述的(1)-(4)。当然，筛选规则还可以为其他任何合理的规则，任何合理的规则均可覆盖在本发明实施例的范围内。
S103：利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
可以对目标损失函数进行事先构建。且与第三目标体素在训练图像中为钙化斑块体素或不为钙化斑块体素的预测值、以及预先标注的体素的标签值有关。目标损失函数可以为后续的公式(4)所示。
S101～S103中，基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素，相当于从训练图像中初步筛选出钙化斑块的候选区域。利用基于钙化斑块的候选区域中的体素而得到的损失函数以及多样化的训练图像，对分割模型进行训练，可保证对分割模型的训练准确性。
而且，本发明中的目标损失函数是基于训练图像这个整幅图像中的部分图像-钙化斑块的候选区域中的体素而得到的函数，与相关技术中损失函数是基于整个训练图像而得到且基于整幅图像进行损失函数的计算的方案相比，利用部分图像进行损失函数的计算，至少可缩短训练时长、加快训练进程，减少训练过程中的计算负担。
以上内容为本发明的对分割模型的训练方案，具体的训练过程可参见后续相关说明。
本发明实施例还提供一种冠脉钙化斑块的分割方法，如图2所示，所述方法包括：
S201：获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
目标图像为仅包括心脏区域、不包括背景的CSCT图像。
所述获取原始CSCT图像的进一步实现包括:识别原始CSCT图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出目标图像。
原始CSCT图像可以是从医学系统中读取出的CSCT图像，可以是经相关医学仪器的扫描而得到的CSCT图像。这样的CSCT图像通常既包括前景(心脏)，又包括背景，本发明实施例中可从原始CSCT图像中识别出心脏区域，对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出目标图像。
原始CSCT图像可以是患病的CSCT图像，也可以是未患病的CSCT图像，优选为患病的CSCT图像。
S202：将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
将目标图像输入至目标模型，得到LM、LAD、LCX以及RCA等四支冠脉分支的钙化斑块的候选区域。每个冠脉分支的钙化斑块的候选区域均包括多个第一目标体素。
S203：基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足前述(1)-(4)要求的体素。
可以理解，在各冠脉分支的钙化斑块的候选区域包括的多个第一目标体素中，可能存在有不是钙化斑块的体素。本步骤，相当于基于预设的筛选规则从每个冠脉分支的钙化斑块的候选区域中筛选出可准确构成各冠脉分支的钙化斑块区域的第二目标体素。与各冠脉分支的钙化斑块的候选区域包括的多个第一目标体素相比，各冠脉分支的钙化斑块的候选区域中的第二目标体素是各冠脉分支的钙化斑块体素。
S204：基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
在目标图像中，由各冠脉分支的钙化斑块体素构成的区域即为各冠脉分支的钙化斑块区域。
S201～S204中，利用目标模型实现了对目标图像中的各冠脉分支的钙化斑块的候选区域的初步识别，基于预设的筛选规则对初步识别出的各冠脉分支的钙化斑块的候选区域中的体素进行进一步筛选(基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素)，可准确筛选出各冠脉分支的钙化斑块体素。基于准确筛选出各冠脉分支的钙化斑块体素，可从目标图像中准确分割出各冠脉分支的钙化斑块区域。由此实现了对CSCT图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
与相关技术中的粗识别方案相比，本发明技术方案分割或识别出的钙化斑块是针对各个冠脉分支的，为一种对钙化斑块区域进行分割或识别的细方案。基于此，可认为本发明技术方案的目标模型具有对各冠脉分支的强分类能力，才能够区分出各个冠脉分支及其钙化斑块区域。
其中，筛选规则的设置保证了各冠脉分支的钙化斑块体素的准确筛选，进而实现了各冠脉分支的钙化斑块区域的准确分割或识别。
在一个可选的方案中，如图3所示，在所述基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域之后，所述方法还包括：
S205：基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
其中，各冠脉分支的钙化积分值以及总钙化积分值可作为评价指标，用于评判患病等级，如用来预测冠心病事件的风险分级。各冠脉分支的钙化积分值以及总钙化积分值的计算使得本方案的实用性增强。
在一个可选的方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置。即，本发明中的目标模型可获得各冠脉分支在心脏表面区域的相对位置，并基于各冠脉分支在心脏表面区域的相对位置实现的对各冠脉分支的钙化斑块的候选区域的识别。可进一步保证候选区域的识别准确性。
在一个可选的方案中，所述目标模型获得目标图像的全局特征，包括：
对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；基于所述细节特征和语义特征，得到目标图像的注意力特征；基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；基于目标图像的上下文特征，得到所述全局特征。本可选方案可保证对各冠脉分支在心脏表面区域的相对位置的准确识别，进而保证候选区域的识别准确性。
在一个可选的方案中，在将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域之前，所述方法还包括：获取训练图像，所述训练图像为包括心脏区域的CSCT图像；所述心脏区域包括多个冠脉分支；基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
利用构建出的目标损失函数，对目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。即，在应用分割模型进行冠脉钙化斑块的分割之前，还需要对分割模型进行训练，以训练出稳定性好、鲁棒性强的目标模型。稳定性好、鲁棒性强的目标模型可实现对各冠脉分支的钙化斑块的候选区域的准确识别。
前述内容为利用目标模型以及预设的筛选规则对各冠脉分支的钙化斑块区域进行识别的方案，该过程可视为利用训练好的模型进行钙化斑块区域识别的应用方案。应用方案的具体实现请参见后续相关说明，重复之处不赘述。
基于前述对相关技术的介绍，可以理解，如果将各支冠脉的钙化斑块的识别视为一种对钙化斑块的分类识别，那么相关技术中无法做到对钙化斑块分类的准确识别。主要原因是：CSCT图像中缺少各支冠脉血管解剖结构信息，导致钙化斑块的分类困难。
另外，CSCT图像中的钙化部分只占整个CSCT图像中很小的一部分，导致想要识别或分割的钙化部分(前景部分)和其余部分(后景部分)出现严重的不平衡，即前后景不平衡，这种不平衡可能会导致钙化斑块的漏检或误检。
本发明实施例的训练方案和应用方案意在解决如上由于CSCT图像中缺少血管解剖结构信息而导致钙化斑块的分类困难、以及CSCT图像中的钙化部分和其余部分之间的前后景不平衡导致的钙化斑块的漏检或误检问题。
本发明实施例中，为解决钙化斑块的分类困难的问题，实际应用中在CSCT图像中直接建模血管解剖结构信息是不现实的。通过临床知识可知冠脉是依附于心脏表面的。所以可以通过建模心脏形态结构信息，间接建模冠脉解剖结构信息。基于此，本发明实施例提出心脏形态结构(心脏各支冠脉血管解剖结构信息)的先验学习，利用神经网络模型(CNN)建模了心脏的形态结构信息，使CNN网络学习到了全局的语义信息，即各冠脉分支间的相对位置关系，进而提升了CNN网络针对钙化斑块的分类能力。
本发明实施例中，针对前后景不平衡问题，提出了基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域，在该候选区域中进行损失的计算，与从整个训练图像中进行损失计算的方案相比，可大幅减少网络需要学习的候选区域范围，缓解前后景不平衡问题，提升钙化斑块的分割效果。缩短训练时长、加快训练进程，减少训练过程中的计算负担。
需要说明的是，本发明实施例中涉及到两个候选区域，一个是将目标图像输入至目标模型而得到的目标模型输出的各冠脉分支的钙化斑块的候选区域，视其为第一候选区域。另一个是基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域，视其为第二候选区域。
下面分别对训练方案和应用过程方案进行说明。
本说明中，以分割模型为CNN模型、具体是语义分割(UNet)模型为例。该UNet模型包括编码器和解码器。
训练方案：
心脏形态结构的先验学习的实现过程是：
(1)获取心脏表面区域分割掩码
从医学系统中读取出CSCT图像作为原始CSCT训练图像。原始CSCT训练图像还可以是经相关医学仪器的扫描而得到的CSCT图像。这样的CSCT图像通常既包括前景(心脏)，又包括背景。
利用预先设置的算法对原始CSCT训练图像进行心脏区域的分割，得到原始CSCT训练图像中的心脏区域。针对心脏区域，计算心脏分割掩码(C)。其中，预先设置的算法为区域生长算法、自适应阈值算法，还可以为能够对心脏区域进行全自动分割的深度学习模型。
将心脏区域进行腐蚀操作，得到经过腐蚀操作后的掩码(C1)。将心脏区域进行膨胀操作，得到经过膨胀操作后的掩码(C2)。将经过腐蚀操作后的掩码C1和膨胀操作后的掩码C2进行与操作，得到心脏表面区域分割掩码(S)。
前述方案可视为对心脏区域进行处理，得到心脏表面区域分割掩码的方案的具体实现。
可以理解，心脏表面区域分割掩码S是覆盖于心脏结构表面的具有一定厚度的类环状分割掩码，之所以不采用原始心脏分割掩码C，是为了避开心脏内部可能存在钙化的区域，使后续的心脏形态结构的先验学习更专注于在心脏的表面四支冠脉的相对位置。
(2)心脏形态结构先验的学习：
a.基于心脏表面区域分割掩码S，从原始CSCT训练图像中裁剪出训练图像。
针对输入的原始CSCT训练图像，按照前述(1)中得到心脏表面区域分割掩码S，可以得到S对应的3D框(3DBox)。通过3DBox对原始CSCT训练图像进行裁剪，得到只包含心脏区域的CSCT图像(图4中的C-CSCT图像)。将该图像作为训练图像输入至Unet模型、具体是编码器中。
b.获得C-CSCT图像的FP(FeaturePyramid)，基于FP获得C-CSCT图像的注意力特征图(Attention Feature Pyramid,AFP)。
将C-CSCT图像输入至编码器的残差网络(ResNet)的不同卷积层中，得到不同层级的特征图(FP，FeaturePyramid)。
示例性地，如通过残差网络的不同卷积层得到P2-P5共四个特征图。P2-P5分别对应ResNet网络的不同的残差阶段(C2-C5)的特征，如图5所示。
特征图P2-P5是按照从低残差阶段到高残差阶段的顺序而得到的特征图。可以理解，从低残差阶段得到的特征图如P2体现的是C-CSCT图像的细节信息，如轮廓、边缘等。从高残差阶段得到的特征图如P5体现的是C-CSCT图像的语义信息、如哪些体素是构成冠脉血管的体素。
前述的方案可视为对训练图像的细节和语义进行特征提取，得到训练图像的细节特征和语义特征的详细说明。
这里的ResNet网络还可以被VGG网络、Transformer网络及与其等同的其他网络结构所替代。
对P2-P5中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图(Attention FeaturePyramid，AFP)。
以特征图P3为例，P3大小为(H，W，D，C)。其中，H、W、D、C分别表示特征图的高、宽、深、通道数。将特征图P3进行通道数为1的1x1卷积和sigmoid运算得到针对P3的AFP。其中，sigmoid运算如公式(1)所示，
AFP的大小为(H，W，D，1)。AFP的值位于(0，1)之间。通过对P3的通道卷积以及sigmoid运算，使得获得的AFM相较于P3而言，增加了对局部像素的注意力(Attention)，所以称其为注意力特征图。
其中，z表示特征图P3上的一点。
以上是以特征图P3为例进行的说明，对其他FP特征图的通道卷积以及sigmoid运算参见对特征图P3的说明，不赘述。
AFP图与心脏表面区域分割掩码S在训练过程中计算损失，如公式(2)所示。
Loss＝-∑Loss(pi-qi) (2)
其中，pi和qi分别表示体素i在AFP图、以及只包含心脏区域的CSCT图像的图像值。
损失函数Loss可以为任何合理的损失函数，如交叉熵损失，Focal Loss等。
通过公式(2)所示的损失函数的计算，可基于同一体素在只包含心脏区域的CSCT图像、以及对只包含心脏区域的CSCT图像进行一系列的运算而得到的AFP图中的图像值之间的差异，使得AFP图向着理想的AFP图靠近，进而得到专注于心脏表面结构区域的特征图。
前述方案可视为基于训练图像的细节特征和语义特征，得到训练图像的注意力特征的详细说明。
c.进行特征图间的融合操作，将融合操作得到的最终结果输入至UNet的解码器中。
首先，将P2-P5中的至少之一特征图与针对该至少之一特征图而得到注意力特征图AFP进行点乘法。然后，分别在高H、宽W、深D等维度求和，得到上下文特征图(CFP，ContextFeature Pyramid)，CFP∈R1×1×1×C
具体计算方式如公式(3)所示：
CFP＝∑i∑j∑kFijk.AFijk (3)
其中，i、j、k表示在高、宽、深等维度的值。Fijk.表示在H为i、W为j、D为k时的FP图。AFijk表示在H为i、W为j、D为k时的AFP图。
前述方案可视为基于训练图像的细节特征、语义特征和注意力特征，得到训练图像的上下文特征的进一步说明。
然后，将上下文特征(CFP)复制N份并拼接，得到全局特征(GFP，Global FeaturePyramid)，GFP∈RH′×W′×D′×C′。H’、W’、D’、C’表示GFP的高、宽、深、通道等维度。
前述方案可视为基于训练图像的上下文特征，得到训练图像的全局特征的详细说明。
全局特征可表征各冠脉分支在心脏表面区域的相对位置。使得网络具有区分不同的冠脉分支相对关系的能力，进而提升网络的分类能力。可将GFP作为编码器的输出、输入至解码器中。
或者，将全局特征GFP与得到该GFP时使用的特征图FP沿通道数进行矩阵拼接(concat)，得到最终的特征图FP’，FP’∈RH′×W′×D′×(C′+1)。将FP’作为编码器的输出、输入至解码器中。
如上所示的、特征图间的融合操作的目的是为了得到具有全局上下文信息的特征，使得网络具有区分不同的冠脉分支相对关系的能力，进而提升网络的分类能力。
以输入至解码器的数据为特征图FP’为例，
d.解码器基于特征图FP’对训练图像中的各冠脉分支的候选区域的识别，并输出识别结果。
其中，各冠脉分支的钙化斑块的候选区域中包括多个体素。可见，基于解码器可预测出训练图像中的哪些体素是冠脉分支的钙化斑块的候选区域中体素，哪些不是冠脉分支的钙化斑块的候选区域中的体素。即，基于解码器可得到体素、是否为冠脉分支的钙化斑块的候选区域中的体素的预测值。
解码器对训练图像中的各冠脉分支的候选区域的识别请参见相关说明，不赘述。本发明实施例的重点之一在于对UNet模型的编码器进行改进，以使模型学习到心各冠脉分支之间的相对位置关系。
从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域(第二候选区域)的先验损失的实现过程是：
a.从作为训练图像的C-CSCT图像中确定出第二候选区域；
可以理解，理论上在图像中，钙化斑块的体素的灰度通常具有一定的取值如大于或等于130。基于此，从C-CSCT图像中，选取图像的灰度值大于或等于第一灰度阈值如130HU(C-CSCT图像的计量单位)的体素，距离较近的体素、如距离较近的6个体素构成一个连通区域，如此可得到多个连通区域。
实际上，基于灰度值选取出的体素可能是真实的钙化斑块体素，也可能不是钙化斑块体素。基于此，还需要对连通区域中的体素进行筛选。
针对各连通区域，删除满足以下至少条件之一的体素；
1)删除所有位于心脏表面区域分割掩码外的体素。
2)删除体素数量小于3(n＜3)的连通区域中的体素。
3)删除体素数量大于10000的连通区域中的体素。
4)删除体素体积＜1.5mm3的体素。
5)删除与周围体素的平均灰度值之差小于110HU的体素。
其中，条件2)和4)删除了体积、数量不满足要求的噪声体素。条件3)删除了体素数量过大的骨头等组织。
基于以上的删除方案，得到钙化斑块的候选体素集合ΩCAC。
候选体素集合ΩCAC中的体素实际上是前述的第三目标体素，其灰度值大于或等于第一灰度阈值130、且同时满足(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区域中的体素数量位于第一预设范围内(如3～1000内)；(3)所述体素的体积达到预设体积阈值(如1.5mm3)；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值(如110)。
候选体素集合ΩCAC的体素是基于前述的筛选规则得到的体素，其构成了作为训练图像的C-CSCT图像中各冠脉分支的钙化斑块的候选区域。
b.计算第二候选区域的先验损失
钙化斑块只占据了整张CSCT图像中很小的一部分，由此带来了严重的前后景不平衡问题。为了解决这个问题，提出了基于钙化斑块的候选区域的先验损失，即只在钙化斑块的候选体素集合ΩCAC中计算损失。钙化斑块的候选区域的先验损失(Prior Loss)可表示为如下形式：
其中，
其中，pi、qi分别表示候选体素集合ΩCAC中的体素i是否为钙化斑块体素的预测值、标签值。其中，标签值为人工标注的体素i为钙化斑块体素或不为钙化斑块的值。pi为UNet网络的解码器基于编码器输出的FP’特征图的解码而预测出的体素i为钙化斑块体素、或不为钙化斑块体素。
其中，损失函数Prior Loss可以为任何合理的损失函数，如Focal Loss、DiceLoss等。
基于钙化斑块的候选区域的先验损失的计算仅是计算候选体素集合ΩCAC中的体素i的预测值和标签值之间的损失，并非计算整张C-CSCT图像中的体素的损失。如此，可显著降低UNet网络的训练优化难度，大大提升了钙化斑块的分割效果。
以上为对训练方案的说明。可以看出，在训练过程中，以公式(4)所示的损失函数作为整个训练网络的损失函数。或者，
为公式(2)所示的损失函数和公式(4)所示的损失函数分配对应的权重，对应的权重以及损失函数的相乘再相加的结果作为总的损失函数。如，为公式(2)所示的损失函数分配0.1，为公式(4)所示的损失函数分配0.9，总的损失函数为0.1*公式(2)+0.9*公式(4)。为公式(4)分配的权重大于为公式(2)的权重即可，如此便可保证在总的损失函数中仍以公式(4)为主。
在训练的方案中，可预先设置总的迭代次数如1万次，每次迭代都经过前述的心脏形态结构的先验学习以及第二候选区域的先验损失计算过程，直至损失函数收敛或迭代次数达到最大次数，UNet模型结束训练或训练完成。
由前述的训练方案可看出，本发明提出心脏形态结构的先验学习，利用UNet建模了心脏的形态结构信息，使网络学习到了全局语义信息，即各冠脉分支间的相对位置关系，进而提升了网络针对钙化斑块的分类能力
此外，针对钙化斑块分割任务中存在的前后景不平衡问题，本发明提出了基于钙化斑块的候选区域的先验损失，在通过筛选规则得到的钙化斑块的候选区域中计算损失，大幅降低网络需要学习的候选区域范围，进而大幅缓解前后景不平衡问题，提升钙化斑块的分割效果。
以上为对分割模型的训练过程进行的说明，下面结合图6对分割模型的应用进行说明。
在实际应用中，可将某个患者经医学仪器扫描而得到的CSCT图像作为原始CSCT图像；识别原始CSCT图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出仅包括有心脏区域的目标图像。
前述的过程可参见训练方案中获取心脏表面区域分割掩码、以及基于心脏表面区域分割掩码S，从原始CSCT训练图像中裁剪出训练图像的相关描述，重复之处不赘述。
目标图像可视为图6中的C-CSCT图像。
将裁剪出的C-CSCT图像输入至ResNet的不同卷积层中，得到不同层级的FP。该方案可视为对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征的说明。
对不同层级的FP中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的AFP图。该方案可视为基于目标图像的细节特征和语义特征，得到目标图像的注意力特征的进一步说明。
将不同层级的FP中的至少之一特征图与针对该至少之一特征图而得到注意力特征图AFP进行点乘法。然后，分别在高H、宽W、深D等维度求和，得到上下文特征图CFP。前述方案可视为基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征的进一步说明。
将CFP复制N份并拼接，得到全局特征图GFP。前述方案可视为基于目标图像的上下文特征，得到目标图像的全局特征的说明。
目标模型的解码器可基于GFP对第一候选区域进行识别或分割。
或者，将全局特征GFP与得到该GFP时使用的特征图FP沿通道数进行矩阵拼接(concat)，得到最终的特征图FP’。目标模型的解码器可基于GFP输出LM、LAD、LCX以及RCA等四支冠脉分支的钙化斑块的候选区域。每个冠脉分支的钙化斑块的候选区域均包括多个第一目标体素。
基于预设的筛选规则，从某个冠脉分支如LM的钙化斑块的候选区域包括的多个第一目标体素中筛选出第二目标体素。第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值如130、同时还满足(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区域中的体素数量位于第一预设范围内(如3～1000内)；(3)所述体素的体积达到预设体积阈值(如1.5mm3)；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值(如110)。
从各个冠脉分支如LM的钙化斑块的候选区域包括的多个第一目标体素中筛选出的第二目标体素构成的区域即为LM冠脉分支的钙化斑块区域。由此，得到了目标图像中的四个冠脉分支的钙化斑块区域。
应用方案中，基于预设的筛选规则对目标模型初步识别出的各冠脉分支的钙化斑块的候选区域中的体素进行进一步筛选，可准确筛选出各冠脉分支的钙化斑块体素。基于准确筛选出各冠脉分支的钙化斑块体素，可从目标图像中准确分割出各冠脉分支的钙化斑块区域。由此实现了对CSCT图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
以上在应用过程中得到FP、AFP、CFP、GFP和FP’的具体过程请参见前述对图4和图5的相关说明，重复之处不赘述。
在得到了目标图像中的四个冠脉分支的钙化斑块区域之后，还可以，基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值(Agatston积分)。
各冠脉分支的钙化积分值可以是体积积分和质量积分值中的其中之一。
其中，体积积分通过钙化面积×层厚(从钙化斑块区域中得到钙化面积和层厚)得到，反映了钙化总体积。
其中，Agatston积分计算的原理为钙化密度赋分×钙化面积(从钙化斑块区域中得到)。首先根据病变的CT值进行赋分，130-199HU为1分，200-299HU为2分，300-399HU为3分，400HU及以上为4分，然后乘上钙化面积(以mm2计)，最后将CT所有截面中各个冠脉分支的钙化积分值相加，得到总钙化积分。质量积分是Agatston积分/总钙化面积，反映了钙化的平均程度。
可以理解，各冠脉分支的钙化积分值以及总钙化积分值可用于评判患冠心病的风险分级。各冠脉分支的钙化斑块区域的准确分割或识别结果可被目标模型输出、各冠脉分支的钙化积分值以及总钙化积分值等在临床医学上具有参考价值，用以辅助医生对患者的患病情况进行判断。实用性更强。
本发明实施例提供一种冠脉钙化斑块的分割装置，如图7所示，所述装置包括：
第一获取单元601，用于获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
第二获取单元602，用于将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
筛选单元603，用于基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
分割单元604，用于基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
在一个可选方案中，所述装置还包括计算单元，用于基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
在一个可选方案中，筛选单元603，用于所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；
或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足以下要求的体素；
所述体素位于心脏表面区域内；
包括有所述体素的候选区域中的体素数量位于第一预设范围内；
所述体素的体积达到预设体积阈值；
所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
在一个可选方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置。
在一个可选方案中，所述目标模型获得目标图像的全局特征，包括：
对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；
基于所述细节特征和语义特征，得到目标图像的注意力特征；
基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；
基于目标图像的上下文特征，得到所述全局特征。
在一个可选方案中，第一获取单元601，用于获取训练图像，所述训练图像为包括心脏区域的CSCT图像；所述心脏区域包括多个冠脉分支；
筛选单元603，用于基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
所述装置还包括训练单元，用于利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
本发明实施例提供一种冠脉钙化斑块分割模型的训练装置，如图8所示，所述装置包括：
获取单元701，用于获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
筛选单元702，用于基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
训练单元703，用于利用所述训练图像以及基于所述体素构建出的损失函数，对分割模型进行训练。
需要说明的是，本申请实施例的冠脉钙化斑块的分割装置、分割模型的训练装置，由于装置解决问题的原理与前述的冠脉钙化斑块的分割方法、分割模型的训练方法相似，因此，装置的实施过程及实施原理均可以参见前述方法的实施过程及实施原理、有益效果的描述，重复之处不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种冠脉钙化斑块的分割方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；其中，所述目标模型是基于目标损失函数对分割模型进行训练而得，所述目标损失函数为基于体素在训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及体素的标签值而构建；所述体素是基于预设的筛选规则从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
其中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置；
基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域；
其中，所述获取目标图像包括：获取原始CSCT图像；识别原始CSCT图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出目标图像；
所述对心脏区域进行处理，得到心脏表面区域分割掩码包括：将心脏区域进行腐蚀操作，得到第一掩码；将心脏区域进行膨胀操作，得到第二掩码；将第一掩码和第二掩码进行与操作，得到心脏表面区域分割掩码；
目标模型包括编码器，所述目标模型获得目标图像的全局特征，包括：
将目标图像输入至编码器的残差网络的不同卷积层中，得到不同层级的特征图；从残差网络的不同卷积层中在前的残差阶段得到的特征图体现的是目标图像的细节信息，从残差网络的不同卷积层中在后的残差阶段得到的特征图体现的是目标图像的语义信息；
对不同层级中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图；
将不同层级中的至少之一特征图与针对该至少之一特征图而得到的注意力特征图进行点乘法的相乘；分别在至少之一特征图的高、宽、深维度求和，得到上下文特征图；
将上下文特征图复制N份并拼接，得到全局特征。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域之后，所述方法还包括：
基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
3.根据权利要求1或2所述的方法，其特征在于，所述基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素，包括：
所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；
或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足以下要求的体素；
所述体素位于心脏表面区域内；
包括有所述体素的候选区域中的体素数量位于第一预设范围内；
所述体素的体积达到预设体积阈值；
所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
4.根据权利要求1或2所述的方法，其特征在于，所述训练图像为包括心脏区域的CSCT图像；所述心脏区域包括多个冠脉分支。
5.一种冠脉钙化斑块分割模型的训练方法，其特征在于，所述方法包括：
获得原始CSCT训练图像；
对原始CSCT训练图像进行心脏区域的分割，得到原始CSCT训练图像中的心脏区域；
将心脏区域进行腐蚀操作，得到第一掩码；将心脏区域进行膨胀操作，得到第二掩码；将第一掩码和第二掩码进行与操作，得到心脏表面区域分割掩码；
基于心脏表面区域分割掩码，从原始CSCT训练图像中裁剪出训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
利用构建出的目标损失函数，对分割模型进行训练；
其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建；
训练完成的所述分割模型用于从目标图像中分割出各冠脉分支的钙化斑块区域；所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
其中，训练完成的所述分割模型用于从目标图像中分割出各冠脉分支的钙化斑块区域，包括：
所述分割模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域；
其中，分割模型包括编码器，所述分割模型获得目标图像的全局特征，包括：
将目标图像输入至编码器的残差网络的不同卷积层中，得到不同层级的特征图；从残差网络的不同卷积层中在前的残差阶段得到的特征图体现的是目标图像的细节信息，从残差网络的不同卷积层中在后的残差阶段得到的特征图体现的是目标图像的语义信息；
对不同层级中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图；
将不同层级中的至少之一特征图与针对该至少之一特征图而得到的注意力特征图进行点乘法的相乘；分别在至少之一特征图的高、宽、深维度求和，得到上下文特征图；
将上下文特征图复制N份并拼接，得到全局特征。
6.一种冠脉钙化斑块的分割装置，其特征在于，所述装置包括：
第一获取单元，用于获取原始CSCT图像；识别原始CSCT图像中的心脏区域；将心脏区域进行腐蚀操作，得到第一掩码；将心脏区域进行膨胀操作，得到第二掩码；将第一掩码和第二掩码进行与操作，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT图像中裁剪出目标图像；所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
第二获取单元，用于将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；其中，所述目标模型是基于目标损失函数对分割模型进行训练而得，所述目标损失函数为基于体素在训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及体素的标签值而构建；所述体素是基于预设的筛选规则从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；其中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置；目标模型包括编码器，所述目标模型获得目标图像的全局特征，包括：将目标图像输入至编码器的残差网络的不同卷积层中，得到不同层级的特征图；从残差网络的不同卷积层中在前的残差阶段得到的特征图体现的是目标图像的细节信息，从残差网络的不同卷积层中在后的残差阶段得到的特征图体现的是目标图像的语义信息；对不同层级中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图；将不同层级中的至少之一特征图与针对该至少之一特征图而得到的注意力特征图进行点乘法的相乘；分别在至少之一特征图的高、宽、深维度求和，得到上下文特征图；将上下文特征图复制N份并拼接，得到全局特征；
筛选单元，用于基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
分割单元，用于基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
7.一种冠脉钙化斑块分割模型的训练装置，其特征在于，所述装置包括：
获取单元，用于获得原始CSCT训练图像；对原始CSCT训练图像进行心脏区域的分割，得到原始CSCT训练图像中的心脏区域；将心脏区域进行腐蚀操作，得到第一掩码；将心脏区域进行膨胀操作，得到第二掩码；将第一掩码和第二掩码进行与操作，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始CSCT训练图像中裁剪出训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
筛选单元，用于基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
训练单元，用于利用所述训练图像以及基于所述体素构建出的损失函数，对分割模型进行训练；训练完成的所述分割模型用于从目标图像中分割出各冠脉分支的钙化斑块区域；所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描CSCT图像；所述心脏区域包括多个冠脉分支；
其中，训练完成的所述分割模型用于从目标图像中分割出各冠脉分支的钙化斑块区域，包括：
所述分割模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域；分割模型包括编码器，所述分割模型获得目标图像的全局特征，包括：将目标图像输入至编码器的残差网络的不同卷积层中，得到不同层级的特征图；从残差网络的不同卷积层中在前的残差阶段得到的特征图体现的是目标图像的细节信息，从残差网络的不同卷积层中在后的残差阶段得到的特征图体现的是目标图像的语义信息；对不同层级中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图；将不同层级中的至少之一特征图与针对该至少之一特征图而得到的注意力特征图进行点乘法的相乘；分别在至少之一特征图的高、宽、深维度求和，得到上下文特征图；将上下文特征图复制N份并拼接，得到全局特征。
CN202210531996.3A 2022-05-16 2022-05-16 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置 Active CN114972376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531996.3A CN114972376B (zh) 2022-05-16 2022-05-16 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531996.3A CN114972376B (zh) 2022-05-16 2022-05-16 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置

Publications (2)

Publication Number Publication Date
CN114972376A CN114972376A (zh) 2022-08-30
CN114972376B true CN114972376B (zh) 2023-08-25

Family

ID=82982499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531996.3A Active CN114972376B (zh) 2022-05-16 2022-05-16 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置

Country Status (1)

Country Link
CN (1) CN114972376B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908300B (zh) * 2022-11-14 2023-09-29 北京医准智能科技有限公司 心脏瓣膜钙化分割的方法、装置、设备及存储介质
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质
CN117036302B (zh) * 2023-08-15 2024-04-02 西安交通大学医学院第一附属医院 主动脉瓣膜钙化程度的确定方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
CN108960322A (zh) * 2018-07-02 2018-12-07 河南科技大学 一种基于心脏ct图像的冠状动脉钙化斑块自动检测方法
CN111612756A (zh) * 2020-05-18 2020-09-01 中山大学 冠状动脉特异性钙化检测方法及装置
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN113077441A (zh) * 2021-03-31 2021-07-06 上海联影智能医疗科技有限公司 冠脉钙化斑块分割方法和计算冠脉钙化积分的方法
CN113538471A (zh) * 2021-06-30 2021-10-22 上海联影医疗科技股份有限公司 斑块的分割方法、装置、计算机设备和存储介质
CN113657392A (zh) * 2021-08-16 2021-11-16 山东建筑大学 基于低秩混合注意力机制的小目标语义分割方法及系统
CN113822890A (zh) * 2021-11-24 2021-12-21 中科慧远视觉技术(北京)有限公司 一种微裂纹检测方法、装置、系统及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
CN108960322A (zh) * 2018-07-02 2018-12-07 河南科技大学 一种基于心脏ct图像的冠状动脉钙化斑块自动检测方法
CN111612756A (zh) * 2020-05-18 2020-09-01 中山大学 冠状动脉特异性钙化检测方法及装置
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN113077441A (zh) * 2021-03-31 2021-07-06 上海联影智能医疗科技有限公司 冠脉钙化斑块分割方法和计算冠脉钙化积分的方法
CN113538471A (zh) * 2021-06-30 2021-10-22 上海联影医疗科技股份有限公司 斑块的分割方法、装置、计算机设备和存储介质
CN113657392A (zh) * 2021-08-16 2021-11-16 山东建筑大学 基于低秩混合注意力机制的小目标语义分割方法及系统
CN113822890A (zh) * 2021-11-24 2021-12-21 中科慧远视觉技术(北京)有限公司 一种微裂纹检测方法、装置、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"三维CT图像肝脏自动分割方法的研究";李宜鹏;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20180415(第04期);第30页 *

Also Published As

Publication number Publication date
CN114972376A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114972376B (zh) 冠脉钙化斑块的分割方法、分割模型训练方法、相关装置
Lin et al. Autonomous detection of pulmonary nodules on CT images with a neural network-based fuzzy system
JP3110045B2 (ja) 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム
US7315639B2 (en) Method of lung lobe segmentation and computer system
US7787673B2 (en) Method and apparatus for airway detection and segmentation using 3D morphological operators
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Bielecki et al. Hand radiographs preprocessing, image representation in the finger regions and joint space width measurements for image interpretation
CN114066886B (zh) 骨骼分割边界确定方法、装置、电子设备及存储介质
Zidan et al. Level set-based CT liver image segmentation with watershed and artificial neural networks
CN114943699B (zh) 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置
US7835555B2 (en) System and method for airway detection
Khan et al. Intelligent approach for segmenting CT lung images using fuzzy logic with bitplane
CN106780492A (zh) 一种ct骨盆图像的关键帧提取方法
Wang et al. Accuracy and reliability analysis of a machine learning based segmentation tool for intertrochanteric femoral fracture CT
Shadid et al. Bone fragment segmentation from 3D CT imagery using the Probabilistic Watershed Transform
US12046018B2 (en) Method for identifying bone images
Wei et al. Automatic recognition of major fissures in human lungs
EP1447772B1 (en) A method of lung lobe segmentation and computer system
CN114066885B (zh) 下肢骨骼模型构造方法、装置、电子设备及存储介质
Li et al. Detectability of pulmonary nodules by deep learning: Results from a phantom study
Amritha et al. Liver tumor segmentation and classification using deep learning
TWI790179B (zh) 心導管影像辨識及評估方法
Li et al. Segmentation of Pulmonary Nodules Based on MRBU-Net-WD Model.
Aydın et al. Upper and lower extremity bone segmentation with Mask R-CNN
Paing et al. Automatic detection of mediastinal lymph nodes using 3d convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.