CN113100936A - 一种法洛四联症手术补片的优化方法 - Google Patents
一种法洛四联症手术补片的优化方法 Download PDFInfo
- Publication number
- CN113100936A CN113100936A CN202110424850.4A CN202110424850A CN113100936A CN 113100936 A CN113100936 A CN 113100936A CN 202110424850 A CN202110424850 A CN 202110424850A CN 113100936 A CN113100936 A CN 113100936A
- Authority
- CN
- China
- Prior art keywords
- image
- patch
- generator
- discriminator
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005457 optimization Methods 0.000 title claims abstract description 8
- 210000001147 pulmonary artery Anatomy 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 208000006396 Pulmonary artery stenosis Diseases 0.000 claims abstract description 8
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 6
- 230000000747 cardiac effect Effects 0.000 claims abstract description 5
- 238000010968 computed tomography angiography Methods 0.000 claims abstract description 4
- 208000009138 pulmonary valve stenosis Diseases 0.000 claims abstract description 4
- 208000030390 pulmonic stenosis Diseases 0.000 claims abstract description 4
- 210000004072 lung Anatomy 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 9
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 6
- 230000036262 stenosis Effects 0.000 claims description 6
- 208000037804 stenosis Diseases 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 208000011580 syndromic disease Diseases 0.000 claims 1
- 238000001356 surgical procedure Methods 0.000 abstract description 5
- 230000002685 pulmonary effect Effects 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 16
- 210000001367 artery Anatomy 0.000 description 7
- 230000008439 repair process Effects 0.000 description 7
- 238000010992 reflux Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000004 hemodynamic effect Effects 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002966 stenotic effect Effects 0.000 description 3
- 206010042434 Sudden death Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035487 diastolic blood pressure Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 201000003130 ventricular septal defect Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种法洛四联症手术补片的优化方法,通过心脏CT血管造影术的分割构建患者的3D肺动脉后,检测肺动脉狭窄的区域,并将肺动脉切分为正常肺部CT和肺部狭窄CT,然后根据正常肺部CT和肺部狭窄CT的切片图像训练生成对抗网络,对法洛四联症手术补片进行优化。本发明提出一种基于生成对抗网络的方法来优化补片大小、形状和位置。
Description
技术领域
本发明涉及医疗图像优化处理技术领域,尤其涉及一种法洛四联症手术补片的优化方法。
背景技术
法洛氏四联症是一种先天性心脏病,其修复包括闭合室间隔缺损,并确保从心室到主动脉的血流畅通。当出现肺动脉狭窄时,会在右心室流出道上植入一块补片,以减轻肺返流。这种修复通常在出生后几个月进行。目前可以基于心脏影像学图像准确诊断法洛氏四联症,但无法准确预测修复术后的补片大小、形状和位置。迫切需要开发一种补片仿真工具,以准确地计划法洛氏四联症的修复手术。
深度学习能够进行精细的医学图像处理,例如分割、对象检测、图像融合和分类。医学图像数据扩充,例如旋转、裁剪和缩放通常用于增加训练数据量,但只能提供有限的替代数据。生成对抗网络在医学成像中最明显的应用是生成其他逼真的训练数据,以提高分类性能。另一个应用是将生成对抗网络用于图像翻译,例如从MRI图像生成CT数据,反之亦然。这对于健康和患病受试者的多模式分类非常有用,其中将几种类型的医学图像组合在一起以提高灵敏度。在医学图像分析中,生成对抗网络有助于减轻数据集大小和注释的局限性。例如,为了更好地对卷积神经网络中的肝脏病变进行分类,使用条件生成对抗网络生成了合成CT图像,并将其引入了数据增强训练中。在准确性方面,基于生成对抗网络的数据增强在胸部X射线分类中优于传统方法。尽管生成对抗网络生成的合成图像在视觉上令人愉悦,但它们可能并不总是提供有意义的功能来改善模型的性能以解决任务。
发明内容
本发明旨在提供一种法洛四联症手术补片的优化方法,提出一种基于生成对抗网络的方法来优化补片大小、形状和位置。
为达到上述目的,本发明是采用以下技术方案实现的:
本发明公开一种法洛四联症手术补片的优化方法,包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括生成器、判别器,生成器、判别器均基于卷积神经网络,
判别器将正常切片图像 和修补补片图像 作为输入数据,正常切片图像 和修补补片图像 均为三维矩形体积框,判别器包括四个连续的卷积层,在判别器的最后一层的卷积层中,使用S型激活确定修补补片图像 是否正常。
优选的,在生成器中,最佳补片的生成包括以下步骤,
S301、在生成器的最后一层的卷积层使用泄露校正线性激活函数剔除生成器的最后一层卷积层的训练层,得到预估最佳补片,
优选的,生成器的权重使用正态分布进行初始化,对生成器的输入层进行归一化处理。
优选的,对判别器的权重使用Adam优化器进行初始化处理,对判别器的输入层进行归一化处理,使用泄露校正线性激活函数剔除判别器最后一层卷积层的训练层。
本发明的有益效果:
1、本发明提供了一种样本量较小时性能良好的模型。
2、本发明模型具有很高的稳定性,并且可能潜在地构成了TOF临床结局的机制。
3、本发明所提出的方法能够对肺动脉CT图像中的TOF进行实质性修复,并且将体素方向平方的误差损失与对抗性损失相结合从而产生最佳补片生成正常肺动脉CT图像。
附图说明
图1为本发明的算法设计结构;
图2为肺动脉狭窄的CT图片,其中A部位为动脉狭窄部分;
图3为肺动脉狭窄的3D示意图,其中B部位为狭窄部分的动脉;
图4为狭窄肺动脉的血流动力学分析示意图;
图5为肺动脉正常的CT图片,其中C部位为动脉的正常部分;
图6为肺动脉正常的3D示意图,其中D部位为补片对应的部分;
图7为正常肺动脉的血流动力学分析示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
如图1所示,本发明包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括两个组件,
本发明假设 ,例如正常动脉CT是根据具有扩展性补片 的狭窄肺部CT图像计算得出的,补片的位置由3D解剖信息决定,补片的宽度用于预测,在每个补片的边缘上加1毫米用于缝合,生成器包含3D矩形体积的肺动脉体素,它由四个连续的卷积层组成,并带有卷积内核进行计算。最终的卷积层通过网络中的线性激活函数得出估计的最佳补片。然后从正常肺部CT图像到狭窄CT图像 计算该补片,剔除最终卷积层的训练层应用泄漏校正线性激活函数(LReLU),以使训练稳定进行。权重使用正态分布进行初始化(μ= 0,σ= 0.01)。通过对输入层进行归一化,使生成对抗网络更快、更稳定。
判别器的输入数据是一个3D矩形体积框,判别器的卷积层分为四个块,与生成器相同,LReLu激活函数和归一化应用于判别器,在包含的最后一层中,采用S型激活来确定输入是否为正常的肺部CT图像,判别器中的权重由Adam优化器初始化。
生成器相当于生成仿真血管的一方。用于生成出正常的血管,其目的是根据狭窄血管旁边的正常血管(正常粗细)情况和专家(医生)的判别技术,不断迭代计算进行生成血管替换狭窄血管。目的是尽量生成更加真实的可替换狭窄血管区域的仿真血管,且专家区别不出仿真血管。
判别器相当于识别仿真血管的一方(判断出是仿真结果设为0,判断出是不是仿真结果设为1),其目的是尽可能的识别仿真出来的血管,直到判断不出,结果为1。
这样通过仿真者和判别者双方的较量和有目的的改进模型的生成器和判别器,使得最后能达到生成血管能尽可能逼近的正常血管、判别者判断不出仿真效果的均衡结果。
如图2-图7所示,图2中A部位为动脉狭窄部分,图3中B部位为狭窄部分的动脉,图5中C部位为动脉的正常部分,图6中D部位为补片对应的部分;
实际使用时,随机选择平均年龄为1.8个月(1到3.5个月)的18例男性法洛氏四联症患者和12例女性法洛氏四联症患者纳入研究。然后对所有患者进行至少2个月的随访,以评估其发生肺返流和猝死的风险。本发明收集每位患者的病史和临床结局信息。临床数据包括术前CT扫描、术前和术后超声心动图(随访2个月)。评估术后立即、术后30天和60天评估术后肺动脉反流情况。
鉴于轻度反流可能是暂时性的且无需治疗即可缓解,因此根据60天的随访评估将所有患者分为两组,其中A组包括20例无或轻度反流的患者,B组包括10例严重反流或猝死的患者。本发明使用患者实际发生的随访信息作为标注数据,以验证模型预测效果。
每位患者的CT血管造影图像均用于肺分割。术前在舒张压高峰期对狭窄的肺部进行多层CT检查,然后将CT图像导入Mimics软件进行进一步处理。在320-800 Hounsfield的阈值水平上重建肺动脉的3D解剖模型,分离主肺动脉、左肺动脉和右动脉,同时保留详细的几何特征。
本发明中的血流动力学分析基于从临床数据库中的术前和术后超声心动图提取的参数,例如压力和流速。为了限制目标区域并降低计算复杂度,本发明将区域限制在肺动脉狭窄部分的10mm处,因为在修复手术的其他区域没有组织变形。
生成器 通过映射将变量 (通常是补片)转换为目标域中的正常血管图像 ,判别器 学会从正常血管图像 区分生成的模拟血管图像 ,其中 表示训练的期望值,生成器 尝试使对抗损失最小化,而判别器 尝试使对抗损失最大化,这种竞争性过程会改善网络的建模,直到模拟血管与真实血管无法区分为止。所有实验均在GPU服务器上进行。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (5)
1.一种法洛四联症手术补片的优化方法,其特征在于包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括生成器、判别器,生成器、判别器均基于卷积神经网络,
3.根据权利要求2所述的法洛四联症手术补片的优化方法,其特征在于:生成器的权重使用正态分布进行初始化,对生成器的输入层进行归一化处理。
4.根据权利要求1所述的法洛四联症手术补片的优化方法,其特征在于:对判别器的权重使用Adam优化器进行初始化处理,对判别器的输入层进行归一化处理,使用泄露校正线性激活函数剔除判别器最后一层卷积层的训练层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110424850.4A CN113100936A (zh) | 2021-04-20 | 2021-04-20 | 一种法洛四联症手术补片的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110424850.4A CN113100936A (zh) | 2021-04-20 | 2021-04-20 | 一种法洛四联症手术补片的优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113100936A true CN113100936A (zh) | 2021-07-13 |
Family
ID=76719015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110424850.4A Pending CN113100936A (zh) | 2021-04-20 | 2021-04-20 | 一种法洛四联症手术补片的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113100936A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103860291A (zh) * | 2014-03-19 | 2014-06-18 | 武汉亚洲心脏病医院 | 法洛氏四联症室间隔缺损补片的制作方法 |
CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
CN111369528A (zh) * | 2020-03-03 | 2020-07-03 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
US20200335197A1 (en) * | 2019-04-16 | 2020-10-22 | Seoul Women's University Industry-University Cooperation Foundation | Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image |
-
2021
- 2021-04-20 CN CN202110424850.4A patent/CN113100936A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103860291A (zh) * | 2014-03-19 | 2014-06-18 | 武汉亚洲心脏病医院 | 法洛氏四联症室间隔缺损补片的制作方法 |
CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
CN110047056A (zh) * | 2018-01-16 | 2019-07-23 | 西门子保健有限责任公司 | 用深度图像到图像网络和对抗网络的跨域图像分析和合成 |
US20200335197A1 (en) * | 2019-04-16 | 2020-10-22 | Seoul Women's University Industry-University Cooperation Foundation | Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image |
CN111369528A (zh) * | 2020-03-03 | 2020-07-03 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
Non-Patent Citations (2)
Title |
---|
GUANGMING ZHANG,ET AL.: "The Optimal Tetralogy of Fallot Repair Using Generative Adversarial Networks", 《FRONTIERS IN PHYSIOLOGY》 * |
GUANGMING ZHANG,ET AL.: "The Optimal Tetralogy of Fallot", 《FRONTIERS IN PHYSIOLOGY》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bernard et al. | Deep learning techniques for automatic MRI cardiac multi-structures segmentation and diagnosis: is the problem solved? | |
Aljabri et al. | A review on the use of deep learning for medical images segmentation | |
Van Rikxoort et al. | Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review | |
JP6333413B2 (ja) | 弁を数量化するシステムおよび方法 | |
Ruskó et al. | Automatic segmentation of the liver from multi-and single-phase contrast-enhanced CT images | |
Yang et al. | Automatic coronary calcium scoring using noncontrast and contrast CT images | |
Bruns et al. | Deep learning from dual‐energy information for whole‐heart segmentation in dual‐energy and single‐energy non‐contrast‐enhanced cardiac CT | |
US9730609B2 (en) | Method and system for aortic valve calcification evaluation | |
Jimenez-Carretero et al. | Optimal multiresolution 3D level-set method for liver segmentation incorporating local curvature constraints | |
Suinesiaputra et al. | Deep learning analysis of cardiac MRI in legacy datasets: multi-ethnic study of atherosclerosis | |
Tahoces et al. | Deep learning method for aortic root detection | |
Cheung | State-of-the-art deep learning method and its explainability for computerized tomography image segmentation | |
JP7457011B2 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
Shetty et al. | BOSS: Bones, organs and skin shape model | |
Bao et al. | Automatic identification and segmentation of orbital blowout fractures based on artificial intelligence | |
Yang et al. | Segment aorta and localize landmarks simultaneously on noncontrast CT using a multitask learning framework for patients without severe vascular disease | |
Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
Dandıl et al. | A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans | |
Xu et al. | Automatic segmentation of orbital wall from CT images via a thin wall region supervision-based multi-scale feature search network | |
Złahoda-Huzior et al. | Automatic aorta and left ventricle segmentation for TAVI procedure planning using convolutional neural networks | |
CN113100936A (zh) | 一种法洛四联症手术补片的优化方法 | |
Akkasaligar et al. | Analysis of polycystic kidney disease in medical ultrasound images | |
Carnahan | Towards Patient Specific Mitral Valve Modelling via Dynamic 3D Transesophageal Echocardiography | |
Peter et al. | Novel registration-based framework for CT angiography in lower legs | |
Pentenga et al. | Shape morphing and slice shift correction in congenital heart defect model generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |
|
RJ01 | Rejection of invention patent application after publication |