CN113409349A - 一种基于人工智能的主动脉结构图像自动分割方法 - Google Patents
一种基于人工智能的主动脉结构图像自动分割方法 Download PDFInfo
- Publication number
- CN113409349A CN113409349A CN202110586763.9A CN202110586763A CN113409349A CN 113409349 A CN113409349 A CN 113409349A CN 202110586763 A CN202110586763 A CN 202110586763A CN 113409349 A CN113409349 A CN 113409349A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- label
- decoding
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 210000000709 aorta Anatomy 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 title claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 23
- 230000000877 morphologic effect Effects 0.000 claims abstract description 35
- 238000003709 image segmentation Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 8
- 210000001765 aortic valve Anatomy 0.000 claims description 16
- 210000005240 left ventricle Anatomy 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 208000004434 Calcinosis Diseases 0.000 claims description 4
- 230000002308 calcification Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000006735 deficit Effects 0.000 claims 1
- 238000012274 Preoperative evaluation Methods 0.000 abstract description 5
- 238000003672 processing method Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 230000002861 ventricular Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 210000003291 sinus of valsalva Anatomy 0.000 description 4
- 206010002915 Aortic valve incompetence Diseases 0.000 description 2
- 101100061188 Drosophila melanogaster dila gene Proteins 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 206010002906 aortic stenosis Diseases 0.000 description 2
- 201000002064 aortic valve insufficiency Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000036770 blood supply Effects 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000030134 Aortic valvular disease Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000001778 Coronary Occlusion Diseases 0.000 description 1
- 206010011086 Coronary artery occlusion Diseases 0.000 description 1
- 208000025747 Rheumatic disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000003748 coronary sinus Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000552 rheumatic effect Effects 0.000 description 1
- 210000000591 tricuspid valve Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于人工智能的主动脉结构图像自动分割方法。包括将标签图像进行分割、对不同通道的标签图像添加噪声并提取形态学梯度、对各解码阶段的多通道特征图像进行形态学特征提取、各阶段损失计算及总损失计算，以及最终完成网络参数的训练与优化等步骤。通过使用上述基于人工智能的图像处理方法，相比于目前已有的图像处理方法，可以去除明显的误分割区域，提升图像分割效果，对目标区域进行更精准分割，使分割不完全的区域更加完善，为之后的三维模型的建立提供了准确度更高的图像数据，有效提高了TAVR/TAVI术前评估的效率和精度。
Description
技术领域
本发明属于医学图像处理领域，特别是涉及一种基于人工智能的主动脉图像自动分割方法，其主要应用于经导管主动脉瓣置换术的术前评估。
背景技术
主动脉根部位于心脏的中心部位，其下部为主动脉窦。主动脉窦呈圆柱状插入在二尖瓣与三尖瓣之间，基底部完全包埋在周围的组织中，后半周则完全被两侧心房所包绕。为心脏自身提供供血的冠状动脉一般开口于主动脉窦内的左冠窦和右冠窦。主动脉瓣位于主动脉根部底部，主动脉窦与左室流出道交界处，构成了主动脉与左心室的边界，处于心脏的形态学中心，同时也是血流动力学中心，其在主动脉和左心室之间起到了单向阀门作用，在心脏舒张期防止主动脉血流回流到左心室，在收缩期允许血流从左心室流入主动脉中。
主动脉瓣对维持心脏和全身的正常供血发挥了重要的作用，但由于先天性、风湿性、退行性改变等原因，主动脉瓣会出现主动脉瓣狭窄(aotic valve stenosis，AS),主动脉瓣反流(aortic regurgitation，AR)等病变，严重影响全身血供，危害身体健康，降低生活质量，重度主动脉瓣膜病直接威胁患者的生命。
近年来，主动脉瓣膜病通过介入手术进行干预治疗的方式得到了广泛推广，给外科高危或禁忌患者带来了希望。经导管主动脉瓣置换术(transcatheter aortic valvereplacement，TAVR)，又称经导管主动脉瓣置入术(transcatheter aortic valveimplantation，TAVI)，是指将组装完备的人工主动脉瓣经导管置入到病变的主动脉瓣处，在功能上完成主动脉瓣的置换。由于TAVR手术是在非直视状态下进行介入操作，故要求医生在术前基于影像检查对患者的主动脉根部及毗邻的生理结构进行细致深入的个体化测量、评估，并基于测量评估的结果进行手术策略的制定、手术器械的选择。
影像学评估是TAVR/TAVI术前评估的重点，包括自体主动脉瓣膜、主动脉瓣虚拟瓣环、主动脉根部、冠状动脉及血管入路解剖情况，判断是否适合TAVR及选择置入瓣膜的型号。多排计算机断层扫描(multislices computed tomography，MSCT)是目前TAVR影像学评估最主要的手段之一，是判断患者是否适合TAVR及选择人工瓣膜型号的主要依据。通过多平面重建，可以多切面观察瓣膜形态、评估瓣膜厚度、钙化程度及其在主动脉根部所占体积；在瓣环平面测量虚拟瓣环的周长和面积，继而计算瓣环内径(周长导出径、面积导出径、长短径)；在此基础上进行左室流出道(LVOT)、瓦氏窦、窦管交界(STJ)、升主动脉等区域的参数测量，为瓣膜型号、类型选择提供依据，并可分析预测瓣周漏风险；MSCT还可用来评估冠脉开口高度，预估冠状动脉阻塞的风险，评估冠状动脉病变。此外，MSCT也可以用来对手术入径进行评估。
目前，在CT影像后处理领域已有解剖结构测量平台工具软件，如FluoroCT、3mensio、cvi42等。医生需依靠自身经验和对主动脉根部解剖结构的理解，通过纯手动或半自动的方式对主动脉根部相关结构进行打点、描绘和测量。对影像中特征范围的选择和提取，完全通过医生手工操作完成。
本发明的目的在于提供一种基于人工智能的主动脉结构图像的全自动分割方法，该方法能够提高图像分割特别是结构轮廓分割的准确度，由此提高基于所述图像分割结果的三维模型构建的准确度，进而提高相关结构的定位和测量的准确度，最终达到提高TAVR/TAVI术前评估的效率和精度的有益效果。解决了手工操作测量不准确、测量主观性大、存在人为误差、难以复制重现等缺点。
发明内容
根据TAVR/TAVI手术核心影像数据的特点，其分割难点主要集中在结构边缘，即各个结构轮廓分割的不准确导致自动化分割方法性能有瑕疵。因此本发明的目的在于提供一种基于人工智能的主动脉结构图像自动分割方法，该方法能够对目标区域进行更精准分割，使分割不完全的区域更加完善，有效提升分割效果。
本发明通过如下技术方案实现：
一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，包括以下步骤：
步骤1：对分割网络的解码阶段进行划分；
步骤2:获取标签图像并制作数据集，根据心脏结构的原始CT图像通过人工标注得到标签图像，通过对所述原始CT图像和所述标签图像进行切片操作，分别制作成原始图像数据集和标签图像数据集；
步骤3:进行第一解码阶段的监督和损失计算，在第一阶段解码器末端使用原始图像进行监督，对预测图像和标签图像通过损失函数进行损失计算，得到主损失Lmain，所述损失函数为本领域通常使用的损失函数，优选为交叉熵损失函数；
步骤4:对于第二解码阶段及之后各阶段的监督和损失计算，通过以下步骤实现：
步骤4.1：将标签图像进行放大或缩小，使其尺寸大小与相应解码阶段的特征图尺寸大小相同，上述标签图像的放缩方法为本领域通常使用的图像放缩方法，优选为双线性差值法；
步骤4.2：将标签图像进行分割，使用独热编码(one-hot)将标签图像转换为多通道图像，每个目标结构占据所述标签图像的一个通道；
步骤4.3：对不同通道的标签图像添加噪声并提取形态学梯度，首先，对放缩后的多通道标签图像添加噪声，所述噪声为本领域通常使用的噪声，优选为高斯噪声或椒盐噪声，其次，对添加噪声后的标签图像进行形态学梯度提取；
步骤4.4:对各解码阶段的特征图像进行卷积操作，输出多通道图像，通道数与相应解码阶段的标签图像的通道数保持一致；
步骤4.5:对各解码阶段的多通道特征图像进行形态学特征提取，得到每个解码阶段的多通道特征图像的形态学梯度；
步骤4.6:将添加噪声后的标签图像的形态学梯度与对应解码阶段的特征图像的形态学梯度进行损失计算，设损失函数为LossFunc,该损失函数为现有技术中通常使用的损失函数，优选为交叉墒损失函数，由如下公式所示：
其中，k代表某个解码阶段，
表示第k个解码阶段的损失值，i代表某个通道，N代表总的通道数量，pi代表多通道特征图像的形态学梯度，gi代表标签图像的形态学梯度；
步骤4.7:将第二及其之后的各解码阶段的损失值进行累加，即可得到深层监督的整体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
其中，k为某个解码阶段，n为解码阶段总数，n-1表示除去第一个解码阶段外的解码阶段数，λk代表不同解码阶段的权重，Laux代表深层监督的整体损失值；
步骤4.8:将主损失值与深层监督的整体损失值进行累加，即可得到总体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
L＝Lmain+γLaux
其中，L代表总体损失值，Lmain为主损失值，Laux代表深层监督的整体损失值，γ代表权重；
步骤5:将L作为最终损失值，根据反向传播算法，利用选定的优化器进行网络参数的训练与优化，所述优化器优选SGD或Adam。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，步骤2中，所述原始CT图像与所述标签图像均包含三维图像信息，经多平面重建后可获得矢状面、冠状面和横断面三个切面，分别从所述三个切面对原始CT图像和标签图像进行切片操作，分别得到三个切面对应的二维原始图像及与其匹配的二维标签图像，分别制作成原始图像数据集和标签图像数据集。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，步骤4.2中，由于TAVR/TAVI手术使用的数据是基于CT图像的主动脉根部结构影像，此手术需要涉及的生理结构和病理组织主要包括主动脉，左心室以及钙化组织，以上三个目标结构具有各自不同的特点，其中，主动脉整体形态较为清晰和规则，但边缘部分与周边结构成像差异较小，所以易于分割主体但边缘分割较难；左心室内形态复杂且与主动脉瓣膜交界处结构复杂；钙化部分分布随机且形状各异，本阶段的目标是将标签图像中的上述三个目标结构准确分割出来。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，步骤4.3中，由于不同的解码阶段包含有不同程度的语义信息，统一使用原始标签图像进行监督，会忽略不同解码阶段所包含语义信息的差异性，限制了深度监督所带来的性能增益，因此，为了更好地模拟特征的特异性，针对每个解码器阶段，添加的高斯噪声程度不同，越深的层次特征越抽象，需要添加的噪声就越大，从第二解码阶段之后，噪声添加的程度依次增加，具体添加噪声的程度，依据以下方法确定：
a.先对第二解码阶段添加不同程度噪声，通过对比试验，确定该阶段的噪声程度；
b.在第二解码阶段的基础上，对第三解码阶段添加比第二解码阶段更大程度的噪声，通过对比试验确定该阶段的噪声程度；
c.依次在上一解码阶段的基础上，对其后一解码阶段添加噪声，从而确定不同解码阶段所需添加的噪声程度。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，步骤4.3中，提取形态学梯度的具体操作方法为：
a.对添加噪声后的标签图像进行膨胀，得到膨胀图像；
b.对添加噪声后的标签图像进行腐蚀，得到腐蚀图像；
c.将膨胀图像与腐蚀图像做异或运算，得到添加噪声后的标签图像的形态学梯度。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，步骤4.7中，根据不同的数据集通过试验调整所述权重λk，具体方法为：首先将数据集送入神经网络得到预测图像，然后通过具有预定权重的损失函数计算预测图像和标签图像的损失值并进行优化，不同的权重会导致不同的损失值，会将神经网络优化成不同的效果，通过对比试验选择最优的权重值。
根据本发明的一种基于人工智能的主动脉结构图像自动分割方法，所述神经网络为医学图像分割常用网络，例如FCN,Unet,Unet++及编码阶段进行预训练之后的此类网络，优选为在ImageNet上预训练之后Unet。
本发明的有益效果：通过使用上述基于人工智能的图像处理方法，相比于目前已有的图像处理方法，可以去除明显的误分割区域，提升图像分割效果，对目标区域进行更精准分割，使分割不完全的区域更加完善。为之后的三维模型的建立提供了准确度更高的图像数据，有效提高了TAVR/TAVI术前评估的效率和精度。
附图说明
图1本发明的基于人工智能的主动脉图像自动分割方法的流程图；
图2本发明的基于人工智能的主动脉图像自动分割方法的示意图；
图3a本发明第一实施例的CT切片图像；
图3b本发明第一实施例的标签图像；
图3c本发明第一实施例的添加噪声后的标签图像；
图3d本发明第一实施例的添加噪声后的标签图像的形态学梯度图；
图3e本发明第一实施例中通过现有的基础方法预测的分割结果；
图3f本发明第一实施例中通过本发明的方法预测的分割结果；
图4a本发明第二实施例的CT切片图像；
图4b本发明第二实施例的标签图像；
图4c本发明第二实施例的添加噪声后的标签图像；
图4d(1)本发明第二实施例的添加噪声后的标签图像的左心室流出道结构的形态学梯度图；
图4d(2)本发明第二实施例的添加噪声后的标签图像的主动脉结构的形态学梯度图；
图4e本发明第二实施例中通过现有的基础方法预测的分割结果；
图4f本发明第二实施例中通过本发明的方法预测的分割结果。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，实施例仅用于说明本发明而不用于限制本发明的保护范围。此外，应理解，在阅读了本发明所公开的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本发明所限定的保护范围之内。
如图1所示，本发明的基于人工智能的主动脉结构图像自动分割方法包括以下5个步骤：
步骤1：对分割网络的解码阶段进行划分，具体划分为4个或5个阶段，本实施例中采用5个解码阶段，如图2所示。
步骤2:获取标签图像并制作数据集，根据心脏结构的原始CT图像通过人工标注得到标签图像，原始CT图像与标签图像均包含三维图像信息，经多平面重建后可获得矢状面、冠状面和横断面三个切面，分别从所述三个切面对原始CT图像和标签图像进行切片操作，分别得到三个切面对应的二维原始图像(如图3a和4a所示)及与其匹配的二维标签图像(如图3b和4b所示)，分别制作成原始图像数据集和标签图像数据集。
步骤3:进行第一解码阶段的监督和损失计算，在第一阶段解码器末端使用原始图像进行监督，对预测图像和标签图像通过损失函数进行损失计算，得到主损失Lmain，所述损失函数为本领域通常使用的损失函数，优选为交叉熵损失函数。
步骤4:对于第二解码阶段及之后各阶段的监督和损失计算，通过以下步骤实现：
步骤4.1：将标签图像进行放大或缩小，使其尺寸大小与相应解码阶段的特征图尺寸大小相同，上述标签图像的放缩方法为本领域通常使用的图像放缩方法，优选为双线性差值法。
步骤4.2：对标签图像进行分割，由于TAVR/TAVI手术使用的数据是基于CT图像的主动脉根部结构影像，此手术需要涉及的生理结构和病理组织主要包括主动脉，左心室以及钙化组织。以上三个目标结构具有各自不同的特点，其中，主动脉整体形态较为清晰和规则，但边缘部分与周边结构成像差异较小，所以易于分割主体但边缘分割较难；左心室内形态复杂且与主动脉瓣膜交界处结构复杂；钙化部分分布随机且形状各异。本阶段的目标是将标签图像中的上述三个目标结构准确分割出来，使用独热编码(one-hot)将标签图像转换为多通道图像，每个目标结构占据所述标签图像的一个通道。
步骤4.3：对不同通道的标签图像添加噪声并提取形态学梯度，首先，对放缩后的多通道标签图像添加噪声，所述噪声为本领域通常使用的噪声，本实施例选用高斯噪声或椒盐噪声，由于不同的解码阶段包含有不同程度的语义信息，统一使用原始标签图像进行监督，会忽略不同解码阶段所包含语义信息的差异性，限制了深度监督所带来的性能增益。因此，为了更好地模拟特征的特异性，针对每个解码器阶段，添加的高斯噪声程度不同，越深的层次特征越抽象，需要添加的噪声就越大，从第二解码阶段之后，噪声添加的程度依次增加，具体添加噪声的程度，依据以下方法确定：
a.先对第二解码阶段添加不同程度噪声，通过对比试验，即根据试验所获得的图像的不同精度来确定该阶段的噪声程度；
b.在第二解码阶段的基础上，对第三解码阶段添加比第二解码阶段更大程度的噪声，通过对比试验确定该阶段的噪声程度；
c.依次在上一解码阶段的基础上，对其后一解码阶段添加噪声，从而确定不同解码阶段所需添加的噪声程度；
图3c和图4c分别为两个实施例中添加噪声后的标签图像的示例。
其次，对添加噪声后的标签图像img进行形态学梯度提取，其具体操作为：
a.对添加噪声后的标签图像img进行膨胀，得到膨胀图像img_dila；
b.对添加噪声后的标签图像img进行腐蚀，得到腐蚀图像img_ero；
c.将膨胀图像img_dila与腐蚀图像img_ero做异或运算，得到添加噪声后的标签图像的形态学梯度img_gradient；
图3d和图4d(1)、图4d(2)分别为两个实施例中添加噪声后的标签图像的示例。
步骤4.4:对各解码阶段的特征图像，进行卷积操作，输出多通道图像，通道数与相应解码阶段的标签图像的通道数保持一致。
步骤4.5:对各解码阶段的多通道特征图像进行形态学特征提取，得到每个解码阶段的多通道特征图像的形态学梯度。
步骤4.6:将添加噪声后的标签图像的形态学梯度与对应解码阶段的特征图像的形态学梯度进行损失计算，设损失函数为LossFunc,该损失函数为现有技术中通常使用的损失函数，优选为交叉熵损失函数，由如下公式所示：
其中，k代表某个解码阶段，
表示第k个解码阶段的损失值，i代表某个通道，N代表总的通道数量，pi代表多通道特征图像的形态学梯度，gi代表标签图像的形态学梯度。
步骤4.7:将第二及其之后的各解码阶段的损失值进行累加，即可得到深层监督的整体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
其中，k为某个解码阶段，n为解码阶段总数，n-1表示除去第一个解码阶段外的解码阶段数，λk代表不同解码阶段的权重，Laux代表深层监督的整体损失值，其中，根据不同的数据集通过试验调整所述权重λk，具体方法为：首先将数据集送入神经网络得到预测图像，所述神经网络为医学图像分割常用网络，例如FCN,Unet,Unet++及编码阶段进行预训练之后的此类网络，优选为在ImageNet上预训练之后Unet，然后通过具有预定权重的损失函数计算预测图像和标签图像的损失值并进行优化，不同的权重会导致不同的损失值，会将神经网络优化成不同的效果，通过对比试验选择最优的权重值。
步骤4.8:将主损失值与深层监督的整体损失值进行累加，即可得到总体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
L＝Lmain+γLaux
其中，L代表总体损失值，Lmain为主损失值，Laux代表深层监督的整体损失值，γ代表权重。
步骤5:将L作为最终损失值，根据反向传播算法，利用选定的优化器进行网络参数的训练与优化，所述优化器优选SGD或Adam。
关于本发明的有益效果，在此通实施例一和实施例二予以举例说明。如图3e所示，在第一实施例中，通过基础方法进行图像分割后，出现了原有结构之外的一块区域(2)，而此区域不属于目标区域，属于神经网络识别错误，区域(1)属于误分割区域，所以在左心室流出道(1)分割类似的情况下，基础方法出现了误分割或者识别错误。图3f示出了通过本发明的方法进行图像分割的结果，本发明的方法没有产生误分割，相对于现有技术有效提升了分割精度。
如图4e所示，在第二实施例中，通过基础方法进行图像分割后，主动脉(3)区域几乎没有分割出来。图4f示出了通过本发明的方法进行图像分割的结果，其表明，本发明的方法能够将主动脉结构更准确地分割出来，在左心室流出道(1)区域分割结果类似的情况下，明显本发明的方法分割效果更好。
以上实施例中使用的基础方法为在ImageNet上预训练之后的resnet-34作为编码器的Unet网络，即backbone-34。
Claims (7)
1.一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，包括以下步骤：
步骤1：对分割网络的解码阶段进行划分；
步骤2:获取标签图像并制作数据集，根据心脏结构的原始CT图像通过人工标注得到标签图像，通过对所述原始CT图像和所述标签图像进行切片操作，分别制作成原始图像数据集和标签图像数据集；
步骤3:进行第一解码阶段的监督和损失计算，在第一阶段解码器末端使用原始图像进行监督，对预测图像和标签图像通过损失函数进行损失计算，得到主损失Lmain，所述损失函数为本领域通常使用的损失函数，优选为交叉熵损失函数；
步骤4:对于第二解码阶段及之后各阶段的监督和损失计算，通过以下步骤实现：
步骤4.1：将标签图像进行放大或缩小，使其尺寸大小与相应解码阶段的特征图尺寸大小相同，上述标签图像的放缩方法为本领域通常使用的图像放缩方法，优选为双线性差值法；
步骤4.2：将标签图像进行分割，使用独热编码(one-hot)将标签图像转换为多通道图像，每个目标结构占据所述标签图像的一个通道；
步骤4.3：对不同通道的标签图像添加噪声并提取形态学梯度，首先，对放缩后的多通道标签图像添加噪声，所述噪声为本领域通常使用的噪声，优选为高斯噪声或椒盐噪声，其次，对添加噪声后的标签图像进行形态学梯度提取；
步骤4.4:对各解码阶段的特征图像进行卷积操作，输出多通道图像，通道数与相应解码阶段的标签图像的通道数保持一致；
步骤4.5:对各解码阶段的多通道特征图像进行形态学特征提取，得到每个解码阶段的多通道特征图像的形态学梯度；
步骤4.6：将添加噪声后的标签图像的形态学梯度与对应解码阶段的特征图像的形态学梯度进行损失计算，设损失函数为LossFunc，该损失函数为现有技术中通常使用的损失函数，优选为交叉墒损失函数，由如下公式所示：
其中，k代表某个解码阶段，
表示第k个解码阶段的损失值，i代表某个通道，N代表总的通道数量，pi代表多通道特征图像的形态学梯度，gi代表标签图像的形态学梯度；
步骤4.7：将第二及其之后的各解码阶段的损失值进行累加，即可得到深层监督的整体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
其中，k为某个解码阶段，n为解码阶段总数，n-1表示除去第一个解码阶段外的解码阶段数，λk代表不同解码阶段的权重，Laux代表深层监督的整体损失值；
步骤4.8：将主损失值与深层监督的整体损失值进行累加，即可得到总体损失值，其累加方式可以是根据不同比例调整的加权和，其具体如下所示：
L＝Lmain+γLaux
其中，L代表总体损失值，Lmain为主损失值，Laux代表深层监督的整体损失值，γ代表权重；
步骤5：将L作为最终损失值，根据反向传播算法，利用选定的优化器进行网络参数的训练与优化，所述优化器优选SGD或Adam。
2.根据权利要求1所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，步骤2中，所述原始CT图像与所述标签图像均包含三维图像信息，经多平面重建后可获得矢状面、冠状面和横断面三个切面，分别从所述三个切面对原始CT图像和标签图像进行切片操作，分别得到三个切面对应的二维原始图像及与其匹配的二维标签图像，分别制作成原始图像数据集和标签图像数据集。
3.根据权利要求1所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，步骤4.2中，由于TAVR/TAVI手术使用的数据是基于CT图像的主动脉根部结构影像，此手术需要涉及的生理结构和病理组织主要包括主动脉，左心室以及钙化组织，以上三个目标结构具有各自不同的特点，其中，主动脉整体形态较为清晰和规则，但边缘部分与周边结构成像差异较小，所以易于分割主体但边缘分割较难；左心室内形态复杂且与主动脉瓣膜交界处结构复杂；钙化部分分布随机且形状各异，本阶段的目标是将标签图像中的上述三个目标结构准确分割出来。
4.根据权利要求1所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，步骤4.3中，由于不同的解码阶段包含有不同程度的语义信息，统一使用原始标签图像进行监督，会忽略不同解码阶段所包含语义信息的差异性，限制了深度监督所带来的性能增益，因此，为了更好地模拟特征的特异性，针对每个解码器阶段，添加的高斯噪声程度不同，越深的层次特征越抽象，需要添加的噪声就越大，从第二解码阶段之后，噪声添加的程度依次增加，具体添加噪声的程度，依据以下方法确定：
d.先对第二解码阶段添加不同程度噪声，通过对比试验，确定该阶段的噪声程度；
e.在第二解码阶段的基础上，对第三解码阶段添加比第二解码阶段更大程度的噪声，通过对比试验确定该阶段的噪声程度；
f.依次在上一解码阶段的基础上，对其后一解码阶段添加噪声，从而确定不同解码阶段所需添加的噪声程度。
5.根据权利要求1所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，步骤4.3中，提取形态学梯度的具体操作方法为：
d.对添加噪声后的标签图像进行膨胀，得到膨胀图像；
e.对添加噪声后的标签图像进行腐蚀，得到腐蚀图像；
f.将膨胀图像与腐蚀图像做异或运算，得到添加噪声后的标签图像的形态学梯度。
6.根据权利要求1所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，步骤4.7中，根据不同的数据集通过试验调整所述权重λk，具体方法为：首先将数据集送入神经网络得到预测图像，然后通过具有预定权重的损失函数计算预测图像和标签图像的损失值并进行优化，不同的权重会导致不同的损失值，会将神经网络优化成不同的效果，通过对比试验选择最优的权重值。
7.根据权利要求6所述的一种基于人工智能的主动脉结构图像自动分割方法，其特征在于，所述神经网络为医学图像分割常用网络，例如FCN,Unet,Unet++及编码阶段进行预训练之后的此类网络，优选为在ImageNet上预训练之后Unet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586763.9A CN113409349B (zh) | 2021-05-27 | 2021-05-27 | 一种基于人工智能的主动脉结构图像自动分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586763.9A CN113409349B (zh) | 2021-05-27 | 2021-05-27 | 一种基于人工智能的主动脉结构图像自动分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409349A true CN113409349A (zh) | 2021-09-17 |
| CN113409349B CN113409349B (zh) | 2022-04-19 |
Family
ID=77674796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586763.9A Active CN113409349B (zh) | 2021-05-27 | 2021-05-27 | 一种基于人工智能的主动脉结构图像自动分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409349B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN111563906A (zh) * | 2020-05-07 | 2020-08-21 | 南开大学 | 一种基于深度卷积神经网络的膝关节磁共振图像自动分割方法 |
| JP2020155086A (ja) * | 2019-03-15 | 2020-09-24 | 日鉄テックスエンジ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN111709952A (zh) * | 2020-05-21 | 2020-09-25 | 无锡太湖学院 | 一种基于边缘特征优化的双流解码卷积神经网络的mri脑肿瘤自动分割方法 |
| CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
| CN112465842A (zh) * | 2020-12-22 | 2021-03-09 | 杭州电子科技大学 | 基于U-net网络的多通道视网膜血管图像分割方法 |
| CN112508961A (zh) * | 2020-11-16 | 2021-03-16 | 苏州工业职业技术学院 | 一种基于改进ResNet-Unet的CT图像分割方法 |
-
2021
- 2021-05-27 CN CN202110586763.9A patent/CN113409349B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020155086A (ja) * | 2019-03-15 | 2020-09-24 | 日鉄テックスエンジ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN111563906A (zh) * | 2020-05-07 | 2020-08-21 | 南开大学 | 一种基于深度卷积神经网络的膝关节磁共振图像自动分割方法 |
| CN111709952A (zh) * | 2020-05-21 | 2020-09-25 | 无锡太湖学院 | 一种基于边缘特征优化的双流解码卷积神经网络的mri脑肿瘤自动分割方法 |
| CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
| CN112508961A (zh) * | 2020-11-16 | 2021-03-16 | 苏州工业职业技术学院 | 一种基于改进ResNet-Unet的CT图像分割方法 |
| CN112465842A (zh) * | 2020-12-22 | 2021-03-09 | 杭州电子科技大学 | 基于U-net网络的多通道视网膜血管图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 叶承钦: "基于编解码结构的全心脏CT图像分割", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409349B (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110505841B (zh) | 定尺寸导管、确定复杂解剖结构的尺寸的方法以及选择用于植入的假体的方法 | |
| US10642942B2 (en) | Method of mapping images of human disease and of designing or selecting a medical device using a surrogate model | |
| CN111523549B (zh) | 一种主动脉瓣评估方法、装置和计算机设备 | |
| US8473032B2 (en) | Feature-based registration method | |
| JP2008521473A (ja) | 複数要素血管セグメント化 | |
| CN110648338B (zh) | 图像分割方法、可读存储介质及图像处理装置 | |
| CN110223271B (zh) | 血管图像的自动水平集分割方法及装置 | |
| CN113409349B (zh) | 一种基于人工智能的主动脉结构图像自动分割方法 | |
| CN112040908A (zh) | 患者特异性的虚拟经皮结构性心脏介入方法和系统 | |
| CN113658142A (zh) | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 | |
| CN112767407A (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
| CN116258726A (zh) | 基于深度学习的颞下颌关节mri图像重要结构分割方法 | |
| CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 | |
| CN110111354A (zh) | 肝脏医学图像动脉区域分割方法及系统 | |
| Bateman et al. | The clinical anatomy and pathology of the human arterial valves: implications for repair or replacement | |
| CN116108774A (zh) | 一种基于介入主动脉瓣膜的流固耦合数值模拟方法 | |
| CN115511893A (zh) | 基于人工智能的下肢动脉血流管壁复合体自动分割方法 | |
| CN109978781B (zh) | 一种基于极值区域检测的血管内超声图像分割方法 | |
| Brouwer et al. | First use of 3D-TEE model-based fully automatic fusion of 3D-MSCT and fluoroscopy during transcatheter aortic valve implantation | |
| Kaule et al. | Impact of aortic root geometry on hydrody-namic performance of transcatheter aortic valve prostheses: Development of physiological and pathophysiological vessel models using additive manufacturing techniques | |
| CN115249236B (zh) | 一种主动脉瓣瓣叶长度的自动计算方法 | |
| Scuoppo et al. | Parametric analysis of transcatheter aortic valve replacement in transcatheter aortic valve replacement: evaluation of coronary flow obstruction | |
| US20210407091A1 (en) | System and method for producing a tissue patch for use in reconstruction of tubular anatomical structures | |
| CN113974667B (zh) | 一种tavi术前关键目标的自动定位装置及方法 | |
| US20230329793A1 (en) | Patient-tailored hemodynamics analysis for the planning of a heart valve implantation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 1707-1711, convention and Exhibition Center, No. 9, Yaogu Avenue, Jiangbei new area, Nanjing, Jiangsu 211899 Applicant after: Tuowei moxin data technology (Nanjing) Co.,Ltd. Address before: Room 607, building B, Shimao Chengpin International Plaza, 52 Andemen street, Yuhuatai District, Nanjing, Jiangsu 210012 Applicant before: Tuowei moxin data technology (Nanjing) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221012 Address after: 100037 9910A, Guobin Building, No. 11, Fuchengmenwai Street, Xicheng District, Beijing Patentee after: Tuowei Moxin Data Technology (Beijing) Co.,Ltd. Address before: Room 1707-1711, convention and Exhibition Center, No. 9, Yaogu Avenue, Jiangbei new area, Nanjing, Jiangsu 211899 Patentee before: Tuowei moxin data technology (Nanjing) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230621 Address after: Room 1707-1711, convention and Exhibition Center, No. 9, Yaogu Avenue, Jiangbei new area, Nanjing, Jiangsu 211899 Patentee after: Tuowei moxin data technology (Nanjing) Co.,Ltd. Address before: 100037 9910A, Guobin Building, No. 11, Fuchengmenwai Street, Xicheng District, Beijing Patentee before: Tuowei Moxin Data Technology (Beijing) Co.,Ltd. |