CN115439650A - 基于ct图像跨模态迁移学习的肾脏超声图像分割方法 - Google Patents
基于ct图像跨模态迁移学习的肾脏超声图像分割方法 Download PDFInfo
- Publication number
- CN115439650A CN115439650A CN202210963122.5A CN202210963122A CN115439650A CN 115439650 A CN115439650 A CN 115439650A CN 202210963122 A CN202210963122 A CN 202210963122A CN 115439650 A CN115439650 A CN 115439650A
- Authority
- CN
- China
- Prior art keywords
- kidney
- image
- training
- dimensional
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003734 kidney Anatomy 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003709 image segmentation Methods 0.000 title claims abstract description 18
- 238000013526 transfer learning Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 238000013508 migration Methods 0.000 claims abstract description 21
- 230000005012 migration Effects 0.000 claims abstract description 21
- 238000002604 ultrasonography Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 abstract description 4
- 230000007704 transition Effects 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 54
- 208000017169 kidney disease Diseases 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000008839 Kidney Neoplasms Diseases 0.000 description 2
- 208000020832 chronic kidney disease Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000030090 Acute Disease Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 206010038389 Renal cancer Diseases 0.000 description 1
- 208000000223 Solitary Kidney Diseases 0.000 description 1
- 206010046580 Urinary tract malformation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 201000010982 kidney cancer Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
Abstract
本发明公开一种基于CT肾脏图像跨模态迁移学习的肾脏超声图像分割方法，包括：通过旋转的方法多角度切割带标签的三维CT图像生成多角度二维肾脏CT图像；利用风格迁移网络生成带标签的模拟超声数据集；利用多角度模拟肾脏超声图像提高肾脏超声图像分割网络泛化性能；在训练策略上首先利用风格迁移网络和语义分割网络联合训练，最后再利用真实标注的肾脏超声图像进行训练。本发明在肾脏超声图像语义分割网络有如下优势：可以有效解决肾脏超声图像标注困难；可以降低人工标注的成本；解决肾脏分割模型训练的过拟合问题，从而提高分割准确度。具有很好的泛化能力，即可以在不同形态、不同位置的肾脏超声图像上进行分割。
Description
技术领域
本发明属于医学影像处理技术领域，更具体地，涉及一种基于电子计算机断层扫描图像(CT图像)跨模态迁移学习的肾脏超声图像分割训练方法。
背景技术
超声成像因其安全、实时、低廉的获取特点，已被广泛应用于各种急性和慢性肾病筛查、诊断和预后,包括肾结石、肾癌、慢性肾病、儿童先天性肾脏及尿路畸形等各种肾脏疾病。在临床各种肾病诊断与评估中，肾脏超声图像分割具有重要的意义，主要用于：1.评估肾脏参数，即其大小和体积，以诊断潜在的疾病；2.评估肾脏形态和功能；3.定位肾脏中存在的异常或病理区域；4.辅助治疗/介入计划的实施决策以及实施过程；5.肾癌等介入治疗后的术后随访。准确快速的肾脏区域分割是从超声图像中提取肾脏疾病诊断信息的保证,也是进行定量分析和实时监控中精确定位的重要环节。然而目前超声图像中的肾脏区域基本仍然通过专业超声科医生在图像采集过程中针对不同切面动态图像手动提取。手动提取特征需要耗费专业超声科医生大量时间和精力，并且需要观察者之间具有适度的可靠性。目前我国专业超声科医生缺口巨大，任务繁重。随着计算机技术尤其是人工智能(Artificial Intelligence，AI)的高速发展，通过AI辅助肾脏超声图像诊断已经成为必然趋势。肾脏超声图像分割算法是AI辅助肾病精准诊断与治疗中关键步骤，分割的输出结果可以辅助医生或者下一步的分类算法进行临床解剖特征提取与诊断评估。准确快速的肾脏超声图像分割算法不仅可以有效的降低肾脏疾病诊疗成本，还可以辅助筛查诊断提高各种肾脏疾病知晓率，尤其对于一些缺少高水平专家的基层医疗机构尤其具有重要意义。
近几年深度学习算法已成功应用到一系列超声图像自动分析任务中，例如病变/结节分类、器官分割和物体检测等，并取得了关键性突破。作为一种表示学习方法，深度学习可以直接从所获取的原始数据中自动学习中级和高级的抽象特征，为基于超声图像的肾脏疾病计算机辅助诊断技术研究提供了新思路。尤其是基于深度学习的语义分割网络在自然图像以及医学图像自动分割任务中取得了突破性进展，并在肾脏超声图像自动分割任务中显示出了巨大的潜力。然而，在任意视角各种尺度下的二维超声断面扫查策略要求训练的肾脏超声图像分割网络具有非常强的泛化能力。在训练分割网络的肾脏超声图像像素级标注工作中，医生通常只能手动标注几张代表性的断面图作为标签。现有工作主要是采用基于自然图像尤其是ImageNet数据集上的迁移学习作为预训练策略，然而这种方法的问题均在于自然图像与真实超声图像扫描之间在成像方式上仍存在较大的差异性，使得训练的网络很难完全适应复杂多变的真实超声器官图像数据。或利用数据增强策略包括空间变换、加入随机噪声以及生成对抗网络等方式生成的模拟超声数据加入网络训练中防止过拟合，然而该方法仍需要大量的手工标注标签。
综上所述，小样本标注与泛化能力高要求的矛盾问题在肾脏超声图像分割任务中尤为突出。因此如何提高小样本标注下的肾脏超声图像分割网络的准确度与鲁棒性，成为研究中亟需解决的问题。
发明内容
本发明通过充分挖掘并利用三维CT图像能够从不同方向切片出大量二维的CT图像，再通过风格迁移网络生成模拟超声图像，而后进行分割网络训练。本发明解决了分割网络训练过程中带标签的真实超声数据集较小所导致的有效信息不足问题，可以降低人工标注的成本；解决肾脏分割模型训练的过拟合问题，从而提高分割准确度。此外，本发明提供了一种分割网络训练策略，可以有效提高分割准确度和泛化性。
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其目的在于使用风格迁移网络(例如CycleGAN)充分利用已有的带标签的CT生成大量模拟超声图像，以解决现有技术分割质量不佳和模型缺乏迁移泛化性等问题，同时降低人工标注成本。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法。本发明流程大致可以分为两个阶段，阶段一是由大量的三维CT数据集生成大量的模拟超声数据集，阶段二是语义分割模型训练策略流程。阶段一包括步骤1、2、3，阶段二包括步骤4。以下详细说明流程细节：
通过步骤1、2(CT图像预处理获得大量、多角度肾脏CT图(2d)；通过步骤3，应用风格迁移网络，生成模拟肾脏超声图；通过步骤4应用语义分割模型训练，实现真实肾脏超声图像的风格。最后对分割结果进行测试，以验证本发明的有效性。
步骤1.每一张三维CT图都有一个对应三维标签图，通过标签图确定切割的点的坐标后以此坐标同时对CT图和标签图进行切割，能够保证切割完后的二维CT图和二维标签图一一对应。基于预设数量三维肾脏CT样本图像(原始图)、以及与各三维肾脏CT样本图像分别对应区分图像中肾脏区域的二值化三维肾脏CT样本图像(标签图)，确定出旋转切割定点。由于三维肾脏CT原始图像与三维肾脏CT标签图像有相同的空间结构，该点同样可以作为三维肾脏CT原始图像的旋转切割定点，完成此步骤后进入步骤2。三维CT图及其标签出自KITS19数据集。相较于常用的切割三维CT图像的方法：从轴向、冠状和矢状方向切割获取二维CT图像，旋转切割有以下优点：1.样本更加丰富，切割方向远大于3个方向；2尽量保留了原三维CT图像的形态，从轴向、冠状和矢状方向切割后导致肾脏从无到小再到大再到小。
步骤2.基于步骤1中的旋转切割定点，建立空间直角坐标系，分别将三个相互垂直的平面为切面并旋转得到CT断层图像，包括CT原始图和CT标签图。以此实现，大量二维CT数据集的获取，对二维CT数据集和肾脏US数据集进行预处理。进入步骤3。
步骤3.基于二维CT数据集和肾脏US数据集，采用风格迁移网络，采取适当的训练策略，训练二维CT数据集，即可实现大量模拟超声图(带标签)的获取。获取预计量的模拟超声数据集后，进入步骤4。步骤4.利用模拟肾脏超声图像和真实肾脏超声图像构建训练集，训练语义分割模型，利用训练好的语义分割模型对肾脏超声图像进行图像分割。
作为本发明的一种优选技术方案：步骤3中，实际应用的过程中，医生会采集同一个个体的肾脏CT图像和肾脏US图像，所得到的二维CT图像和US图像形态上具有相同的医学结构，将它们作为训练集，会有更好的训练效果。
作为本发明的一种优选技术方案：风格迁移网络训练之前对参与训练数据集进行预处理：对二维CT图像和真实超声图像进行roi处理，以提取出肾脏区域。二维CT图像roi处理是通过与之对应的标签确定肾脏的中心，再以肾脏的中心点作为一定大小矩形框的中心点提取出肾脏区域。真实超声图像的roi处理是人工大致标注出肾脏区域，无须精确，可以是矩形区域，并以此确定中心点，采用矩形框提取出一定大小的肾脏区域。
作为本发明的一种优选技术方案：步骤3中，为了提高模拟超声图的生成效果，本发明在步骤3中采用了联合训练的方法。由于本发明的最终目的是提高肾脏US图像分割准确度，步骤3训练过程中将生成的模拟超声图像放入语义分割模型中进行分割训练，语义分割模型产生的损失函数传输到CycleGAN模型生成器的总损失函数中，从而促进CycleGAN生成器的优化。语义分割模型可采用U-net模型，以及其它更加高效的语义分割模型。风格迁移网络为CycleGAN模型。
作为本发明的一种优选技术方案：步骤4中，为了提高训练效果，本发明在步骤4的训练过程中加载了ImageNet预训练模型的初始参数，以此提高训练准确度和泛化性能。利用模拟肾脏超声图像构成的训练集对ImageNet预训练模型进行预训练，预训练完成后的权重参数保留，再利用真实肾脏超声图像构建的训练集，训练加载了预训练所得的权重参数的语义分割网络，最后利用训练好的语义分割网络对肾脏超声图像进行图像分割。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下几点优势：
(1)本发明可以生成解剖特征更真实的模拟肾脏超声图像。本发明的方法通过风格迁移网络利用真实的肾脏CT图模拟肾脏超声图，相比其他模拟肾脏超声图像生成技术，本发明生成的模拟超声图像中的肾脏结构更具有真实性，并采用了联合分割网络训练的方法进一步提高生成模型和分割模型准确度。
(2)本发明提供的训练方法标注成本较低。本发明通过带标签的三维肾脏CT图生成了大量且多角度的带标签的肾脏模拟超声图。相较于其他技术，本发明不需要人工标注大量的肾脏真实超声图，从而节约了人工标注成本，具有更强的经济效益。
(3)本发明训练生成的模型具有强泛化性。本发明在采用真实标注的肾脏超声图像训练之前，首先利用三维肾脏CT模拟生成的大量多角度模拟肾脏超声图作为预训练，并在语义分割模型中使用了Imagenet预训练参数初始化。因此，本发明具有强泛化性，各种形态(无论正常与否)真实肾脏超声图都有不错的分割结果。
附图说明
图1是本发明的总体流程图；
图2是本发明的预处理过程的流程图；
图3是本发明的风格迁移网络训练的流程图；
图4是本发明阶段一(包括图2、图3)的流程图；
图5是本发明阶段二的流程图；
图6是本发明实施例中一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法的详细流程示意图；
图7是本发明实施例中利用的CycleGAN模型示意图；
图8是本发明实施例中将3D CT图按多角度分割模型示意图。
具体实施方式
为了使本发明的创造性、技术方案及优点更加清晰，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明技术方案的实施主要包括三维CT图像预处理、风格迁移网络生成模拟US图像、语义分割模型的训练等几个过程。
步骤i.在本发明技术方案中，首先将数据做预处理以便于为后续的训练过程做准备。本发明实施了三个预处理步骤。首先是窗位和窗宽调整，包括将CT图像的窗位和窗宽分别调整为30和300，这两个数值都是临床实践中的经验值，优化了CT图像的显示质量。然后是将三维数据可视化为2二维切片。先将CT标签图像的三维数组转换为一维，在数组中以像素为1的点确定具体肾脏区域的坐标，抽取其中坐标设为分割点，将包含分割点的三个互相垂直的平面作为分割面，以分割点为中心，通过旋转分割面切割出CT断层图像同时调整出合适的CT断层图像分辨率。在可视化过程中，为了与US图像保持一致。最后是以单肾mask的质心为中心提取64*64的ROI，用于后续操作中生成US图像，使过渡数据集中的图像视野与超声数据集中的图像视野一致。同时我们对肾脏US图像做ROI操作，ROI大小随图像中肾脏大小的改变而改变。而后将肾脏CT图像和肾脏US图像均调整到256*256。
步骤ii.风格迁移网络训练
本实施例中，风格迁移网络采用CycleGAN模型和U-Net模型结合而成的联合网络，语义分割模型采用U-net模型。本发明采用不对称的数据集，分别为预处理后的肾脏CT图像和肾脏US图像。现在分别将肾脏CT图像和肾脏US图像存放在数据集X和Y。本发明目的是训练出一个生成器G，向它输入一个X，能够输出一个Y，即G(x)＝y′，x∈X，输入真实CT图像可以生成模拟US图像。同时，本发明还希望训练出另一个生成器F，向它输入一个Y，能够输出一个X，即F(y)＝x′，y∈Y，输入真实US图像得到模拟CT图像。为了达到这个目的，本发明还需要训练两个判别器DX和DY，分别判断两个生成器生成图片的好坏：如果生成器产生的图片y′与数据集Y里的图片y相差较大，此时判别器DY应判断它为假(为0)，反之如果图片y′与数据集Y里的图片y相似，则此时判别器DY判断为真(为1)。此外，判别器DY应该永远判断真实图片y为真。对于判别器DX也是同理。
在训练过程中，判别器和生成器是分别训练的。当固定住生成器的参数训练判别器时，判别器便能学到更好的判别技巧；当固定住判别器参数训练生成器时，生成器为了骗过现在更厉害的判别器，被迫生成更好质量的图片。两者便在这迭代学习的过程中逐步进化，最终达到动态平衡。为了使生成器产生的图片y′跟数据集Y中的图片风格一致和生成器产生的图片y′跟输入图片x内容一致，CycleGAN使用了Cycle Consistency Loss，即将图片y′再放入生成器F中，产生的新图片x′和最开始的图片x尽可能的相似，即F(G(x))＝x。因此，CycleGAN生成器的Loss由两部分组成，即：
Loss＝LossGAN+λLosscycle
LossGAN保证生成器和判别器相互进化，进而保证生成器能产生更真实的图片，Losscycle保证生成器的输出图片与输入图片只是风格不同，而内容相同。
具体的：
CycleGAN有两个相对独立的循环，前向循环和后向循环，每个循环有两个方向相反的生成器和一个判别器。具有相同方向的判别器和生成器在训练时共享相同的权重。本发明为了获取预定数量的模拟US图像，更加关注前向循环(CT-＞US-＞CT)。
同时为了提高生成模拟超声图的质量，提高肾脏US图像分割准确度，将通过CycleGAN模型生成的模拟US图像和对应的标签图(标签图不是CycleGAN模型生成的)放入U-net模型中，进行语义分割训练，其损失函数可以表示为Lossseg。将Lossseg送到总Loss中。因此，CycleGAN生成器的总Loss为
Loss＝LossGAN+λLosscycle+μLossseg
训练过程中学习率在前100个epochs不变，在后面的epochs线性衰减至0。本发明目的是为了提高分割网络准确度，因此让语义分割模型参与到模拟US图像的生成，使生成的模拟US图像分割准确度更高。同时CycleGAN模型和U-net模型结合的联合网络训练，在训练的过程中能显而易见地观察到模拟US图像的分割结果，从而判断出CycleGAN是否训练完成。
步骤iii.分割训练
本发明采用开源的U-net网络作为分割网络。U-Net是医疗领域最成功的网络结构图像分割。它使用经典的编码器解码器结构，由收缩路径和扩展路径组成。将通过CycleGAN得到的模拟超声图像与真实超声图像的数量比例控制在20∶1附近。在预训练部分，基于通过CycleGAN得到的模拟超声数据集，选取90％作为训练集、10％作为验证集，针对U-net网络使用ImageNet预训练模型作为初始参数开始预训练。在最终训练部分，基于真实的超声图像数据集，同样选取90％作为训练集、10％作为验证集，完成的预训练模型将以真实肾脏超声图像作为训练集进行最终训练微调，从而获得最终分割网络模型。
Claims (8)
1.一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，包括如下步骤：
利用带肾脏区域标注的三维肾脏CT图像获取多角度二维肾脏CT图像；
利用多角度二维肾脏CT图像和真实肾脏超声图像构建训练集，训练风格迁移网络，利用训练好的风格迁移网络对二维肾脏CT图像进行风格迁移，生成带标注的多角度模拟肾脏超声图像；
利用模拟肾脏超声图像和真实肾脏超声图像构建训练集，训练语义分割模型，利用训练好的语义分割模型对肾脏超声图像进行图像分割。
2.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，获取二维肾脏CT图像的步骤包括：
将三维肾脏CT标签图像的三维数组转换为一维，在一维数组中以像素为1的点确定具体肾脏区域的坐标，抽取其中坐标设为分割点，以包含分割点的三个互相垂直的平面作为分割面，以分割点为中心，通过旋转分割面切割出CT断层图像，CT断层图像即为二维肾脏CT图像。
3.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，风格迁移网络训练过程中采用联合训练策略，将通过风格迁移网络生成的模拟肾脏超声图像和对应的标签图放入语义分割模型中进行语义分割训练，语义分割模型产生的损失函数传递到风格迁移网络生成器的损失函数中，以优化风格迁移网络生成器。
4.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，利用模拟肾脏超声图像构成的训练集对ImageNet预训练模型进行预训练，再利用真实肾脏超声图像构建的训练集，训练加载了预训练所得的权重参数的语义分割模型。
5.根据权利要求1-4任一所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，所述风格迁移网络为CycleGAN模型。
6.根据权利要求1-4任一所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，所述语义分割模型为U-Net模型。
7.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，三维肾脏CT图像和真实二维肾脏超声图像来自同一个体。
8.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法，其特征在于，风格迁移网络训练之前对参与训练数据集进行预处理：对二维CT图像和真实超声图像进行roi处理，以提取出肾脏区域；二维CT图像roi处理是通过与之对应的标签确定肾脏的中心，再以肾脏的中心点作为一定大小矩形框的中心点提取出肾脏区域；真实超声图像的roi处理是人工大致标注出肾脏区域，并以此确定中心点，采用矩形框提取出一定大小的肾脏区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210963122.5A CN115439650A (zh) | 2022-08-11 | 2022-08-11 | 基于ct图像跨模态迁移学习的肾脏超声图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210963122.5A CN115439650A (zh) | 2022-08-11 | 2022-08-11 | 基于ct图像跨模态迁移学习的肾脏超声图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115439650A true CN115439650A (zh) | 2022-12-06 |
Family
ID=84242082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210963122.5A Pending CN115439650A (zh) | 2022-08-11 | 2022-08-11 | 基于ct图像跨模态迁移学习的肾脏超声图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439650A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095395A (zh) * | 2023-10-19 | 2023-11-21 | 北京智源人工智能研究院 | 用于心脏超声图像分割的模型训练方法、装置和分割方法 |
-
2022
- 2022-08-11 CN CN202210963122.5A patent/CN115439650A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095395A (zh) * | 2023-10-19 | 2023-11-21 | 北京智源人工智能研究院 | 用于心脏超声图像分割的模型训练方法、装置和分割方法 |
| CN117095395B (zh) * | 2023-10-19 | 2024-02-09 | 北京智源人工智能研究院 | 用于心脏超声图像分割的模型训练方法、装置和分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200303062A1 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| Hu et al. | Parallel deep learning algorithms with hybrid attention mechanism for image segmentation of lung tumors | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| CN109493308A (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN109741346A (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN111445481A (zh) | 一种基于尺度融合的腹部ct多器官的分割方法 | |
| CN111127466A (zh) | 医学图像检测方法、装置、设备及存储介质 | |
| CN108205806B (zh) | 一种锥束ct图像三维颅面结构的自动解析方法 | |
| CN112446862B (zh) | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 | |
| CN108062749B (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| CN105427311A (zh) | 用于交互式肝脏血管和胆管系统评估的方法、系统、装置和计算机程序产品 | |
| CN105760874A (zh) | 面向尘肺的ct图像处理系统及其ct图像处理方法 | |
| CN116129235B (zh) | 一种脑梗ct到mri常规序列的医学图像跨模态合成方法 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN106023205A (zh) | 基于简化粒子群优化二维最大熵阈值的医学影像分割方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
| CN113159223A (zh) | 一种基于自监督学习的颈动脉超声图像识别方法 | |
| CN115439650A (zh) | 基于ct图像跨模态迁移学习的肾脏超声图像分割方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| Liu et al. | Tracking-based deep learning method for temporomandibular joint segmentation | |
| CN109816665A (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| Salini et al. | Deepfakes on retinal images using GAN | |
| WO2023133929A1 (zh) | 一种基于超声的人体组织对称性检测分析方法 | |
| CN111127636B (zh) | 一种智能的复杂关节内骨折桌面级三维诊断系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |