CN113012041A - 一种ct/mri模拟超声的新方法、系统 - Google Patents
一种ct/mri模拟超声的新方法、系统 Download PDFInfo
- Publication number
- CN113012041A CN113012041A CN202110367868.5A CN202110367868A CN113012041A CN 113012041 A CN113012041 A CN 113012041A CN 202110367868 A CN202110367868 A CN 202110367868A CN 113012041 A CN113012041 A CN 113012041A
- Authority
- CN
- China
- Prior art keywords
- image
- mri
- network
- images
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004088 simulation Methods 0.000 title claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 89
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 3
- 210000003240 portal vein Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000009499 Vanilla fragrans Nutrition 0.000 description 1
- 244000263375 Vanilla tahitensis Species 0.000 description 1
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000002989 hepatic vein Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种CT/MRI模拟超声的新方法、系统,包括：S1，获取CT/MRI图像，对CT/MRI图像进行器官分割和切面处理；S2，使用预设模版对切面图像进行标记，具体包括：将模版之外的区域标记第一区域，模版之内非器官区域标记第二区域，模版内不同器官区域采用不同区域标记，器官的标记与第一区域和第二区域的标记均不同；S3，将CT/MRI标签图输入基于生成对抗网络的转换模型，转换模型生成与CT/MRI图像对应的模拟超声图像。转换模型学习超声图像风格区域，将CT/MRI标签图转换为对应的超声图像，达到生成与CT/MRI图像对应的且符合真实的超声图像的风格的超声图像的目的。
Description
技术领域
本发明涉及医学图像处理领域，特别是涉及一种CT/MRI模拟超声的新方法、系统。
背景技术
在内科医疗诊断中，医生需要用到很多内脏器官的超声图像来进行辅助诊断，在医生的日常学习中，也需要很多这样的图像来学习和观察。因此，各种器官的医学超声图像的需求就很大，但同样的，这种图像的真实采集难度较大，而且出于保护病人隐私的目的，大规模的采集此类图像就成了难以解决的问题。
CT/MRI图像是常见的医疗图像，使用CT/MRI图像模拟超声图像可以弥补超声图像的稀缺。传统的超声图像的生成方法，通过建立模型，模拟超声波在生物组织中的传播，以此模型来生成超声图像。这样的模型通常比较复杂，计算量较大，且生成的超声图像和真实的超声影像相比差距较大。随着机器学习的兴起，很多传统方法难以解决的问题迎来了新曙光。一些方法采用生成对抗网络从大量的数据学习并建立该模型，但是这样的方法模拟的超声图像仍然不够真实。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种CT/MRI模拟超声的新方法、系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种CT/MRI模拟超声的新方法，包括：步骤S1，获取CT/MRI图像，对所述CT/MRI图像进行器官分割处理，获取器官分割处理后的CT/MRI图像的切面图像；步骤S2，采用标记方法对所述切面图像进行标记获得CT/MRI标签图；所述标记方法包括：使用预设的模版对待标记图像进行标记，所述模版覆盖待标记图像的目标区域，将所述模版之外的区域标记为第一区域，在所述模版之内的非器官区域标记为第二区域，所述模版内的不同器官区域采用不同的区域标记，器官的标记与第一区域和第二区域的标记均不同；步骤S3，将所述CT/MRI标签图输入基于生成对抗网络的转换模型，所述转换模型生成与所述CT/MRI图像对应的模拟超声图像。
上述技术方案：本方法通过基于生成对抗网络的转换模型将CT/MRI标签图转换为对应的模拟超声图像，不同于现有方法中需要假设超声波在生物不同组织中的传播进行响应函数计算，本方法提供的标记方法能够直接提取CT/MRI图像的超声信息，以CT/MRI标签图区域生成相应的模拟超声图像，以此达到生成和CT/MRI图像对应且符合真实超声图像风格的模拟超声图像的目的。通过将CT/MRI图像进行分割和切面获得CT/MRI切面图像，CT/MRI切面图像的标记中不依赖于先验知识，通过统一的模版对切面图像和超声图像进行标记处理获得对应标签图，使得所有标签图(包括CT/MRI标签图和超声标签图)具有统一标准，便于后续处理，该标记方法不依赖于先验知识，将模版之内不同器官标记为不同的区域构造出器官超声图像。
在本发明的一种优选实施方式中，所述模版的形状为扇形；和/或所述所述标记为颜色标记。
上述技术方案：模版为扇形符合实际中超声图像的形状。
在本发明的一种优选实施方式中，第一区域为黑色，所述第二区域为白色。
上述技术方案：将模版之内的区域标记为黑色，将模版之内非器官区域标记为白色，这样能够防止生成的超声影像出现重影，增强模拟超声图像的真实效果。
在本发明的一种优选实施方式中，获取所述基于生成对抗网络的转换模型的过程包括：步骤A，构建样本集：获取多个超声图像，采用标记方法对超声图像进行标记获得超声标签图，所述超声标签图与所述CT/MRI标签图相同区域标记区域一致，将超声标签图与相应的原超声图像进行映射，获得一个样本；步骤B，将样本集划分为训练集和测试集；步骤C，构建生成对抗网络，所述生成对抗网络包括一个生成器网络G和一个判别器网络D，设超声标签图为x，设与超声标签图映射的原始超声图像为y，生成器网络G根据x生成图像G(x,z)，z表示随机噪声，判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像；步骤D，不断利用训练集对生成对抗网络进行训练，以及利用测试集对训练后的生成对抗网络进行验证，直到满足目标函数，获得转换模型。
上述技术方案：使用真实的超声图像制作训练和测试样本，能够直接学习超声图像的风格，不用建立复杂的物理模型，使得训练后的生成对抗网络输出的模拟超声图像更加真实；超声图像和CT/MRI切面图像通过相同的标记方法进行标注，可以把CT/MRI标签图视为超声标签图，能够生成和CT/MRI图像对应的且符合真实超声图像风格的模拟超声图像；采用的生成对抗网络的判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像，使得该网络更适合用于生成与原图像对应且符合风格图像的风格的模拟图片，更适合风格转换。
在本发明的一种优选实施方式中，在对超声图像标记之前还包括对超声图像进行缩放，将预设的模版覆盖缩放后的超声图像的全部或部分器官区域的步骤。
上述技术方案：通过对超声图像进行缩放，能够保证模版能够覆盖尽可能多的器官区域。
在本发明的一种优选实施方式中，所述目标函数为：G*＝arg min max LcGAN(G,D)+λLl1(G)；其中，LcGAN(G,D)表示生成对抗网络的损失函数，具体为：LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))],z表示随机噪声；Ex,y[logD(x,y)]表示真实样本损失；Ex,z[log(1-D(x,G(x,z)))]表示生成样本损失；Ll1(G)表示l1损失，用于约束生成图像G(x,z)与真实图像y之间的差异，所述λ表示l1损失的权重，所述Ll1(G)＝Ex,y,z[|y-G(x,z)||1]。
上述技术方案：引入l1损失项Ll1(G)，能够更加真实的模拟超声图像。
在本发明的一种优选实施方式中，在生成对抗网络的训练中，采用SDG优化器进行模型优化，batchsize为2，初始学习率为1×10-4。
上述技术方案：能够加快训练速度。
在本发明的一种优选实施方式中，对所述CT/MRI图像进行器官分割处理的过程包括：步骤a，构建3DRes_Unet网络，所述3DRes_Unet网络将Unet的基础模块替换为Resnet结构；步骤c，获取多个CT/MRI图像，使用双线性插值、阈值截断和归一化方法处理CT/MRI图像，获得多个CT/MRI样本；步骤d，将多个CT/MRI样本输入3DRes_Unet网络进行训练获得CT/MRI图像器官分割模型，训练中采用DiceLoss函数为损失函数，使用Adam优化器，学习率设为0.1；步骤e，将待分割的CT/MRI图像输入CT/MRI图像器官分割模型，所述CT/MRI图像器官分割模型输出分割好的器官三维立体图像。
上述技术方案：3DRes_Unet网络训练容易并且分割效果好；使用3DRes_Unet网络对CT/MRI图像中的器官进行分割，使得标记后的CT/MRI标签图符合器官的分布结构，使模拟的超声图像更加符合真实。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种CT/MRI图像生成超声图像的系统，包括CT/MRI图像获取设备，处理器，所述处理器从CT/MRI图像获取设备获取CT/MRI图像，并按照本发明所述的CT/MRI模拟超声的新方法的步骤生成所述CT/MRI图像对应的模拟超声图像。
上述技术方案：系统通过基于生成对抗网络的转换模型将CT/MRI标签图转换为对应的模拟的超声图像，不同于现有方法模拟超声波在生物不同组织中的传播，能够直接学习超声图像的风格，达到生成与CT/MRI图像对应的且符合真实的超声图像的风格的超声图像的目的。通过将CT/MRI图像进行分割和切面获得CT/MRI切面图像，在CT/MRI切面图像标记中不依赖于先验知识，将模版之内不同器官标记为不同的区域，将模版之内的区域标记为黑色，将模版之内非器官区域标记为白色，这样能够防止生成的超声影像出现重影，增强模拟超声图像的真实效果。
附图说明
图1是本发明一具体实施方式中CT/MRI模拟超声的新方法的整体流程示意图；
图2是现有超声图像示意图；
图3是本发明一具体实施方式中现有超声图像模版之外全部标记为黑色后的示意图；
图4是本发明一具体实施方式中标记完成后的超声图像示意图；
图5是本发明一具体实施方式中生成对抗网络的网络结构示意图；
图6是本发明一具体实施方式中生成对抗网络训练过程中由超声标签图生成模拟的超声图像的结果示意图；
图7是本发明一具体实施方式中CT/MRI图像分割处理后的器官三维立体示意图；
图8是本发明一具体实施方式中CT/MRI图像经过分割处理后切片获得的CT/MRI切面示意图；
图9是本发明一具体实施方式中的为CT/MRI图像未经过分割处理后切片获得的CT/MRI切面示意图；
图10是本发明一具体实施方式中的CT/MRI标签图；
图11是本发明一具体实施方式中转换模型生成的模拟超声图像与对应输入的CT/MRI标签图的对比示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种CT/MRI模拟超声的新方法，在一种优选实施方式中，如图1所示，该方法包括：
步骤S1，获取CT/MRI图像，对CT/MRI图像进行器官分割处理，获取器官分割处理后的CT/MRI图像的切面图像；对CT/MRI图像进行器官分割处理优选但不限于采用人工手动分割或采用现有的基于学习的神经网络分割。
步骤S2，采用标记方法对切面图像进行标记获得CT/MRI标签图；所述标记方法包括：使用预设的模版对待标记图像进行标记，模版覆盖待标记图像的目标区域，将模版之外的区域标记为第一区域，在模版之内的非器官区域标记为第二区域，模版内的不同器官区域采用不同的区域标记，器官的标记与第一区域和第二区域的标记均不同；对CT/MRI切面图像中各区域的区域标记与对超声波图像的标记一致。标记优选的但不限于为颜色标记，优选的，将模版之外的区域标记为第一颜色，在模版之内的非器官区域标记为第二颜色，模版内的不同器官区域采用不同颜色标记，器官的标记颜色与第一颜色和第二颜色均不同；对CT/MRI切面图像中各区域的颜色标记与对超声波图像的标记一致，优选但不限于为：蓝色区域表示肝脏、湖蓝色区域表示门静脉、红色区域表示病变等。从若干个角度对分割出来的3D图像进行切面，生成相应的CT/MRI切面图，效果如图8所示，作为对比，图9是未经过分割标注的切面图像。CT/MRI标签图如图10所示。
步骤S3，将CT/MRI标签图输入基于生成对抗网络的转换模型，转换模型生成与CT/MRI图像对应的模拟超声图像，生成结果如图11所示，图11中每列两幅图像为一组，其中上面的图像为输入的CT/MRI标签图，下面的图像为转换模型输出的与上面图像对应的模拟超声图像。
在本实施方式中，模版的形状可以为任意形状，比如矩形，正方形，优选的，模版的形状为扇形，以匹配现有超声图像形状。模版的大小固定。
在本实施方式中，优选的，第一区域为黑色，第二区域为白色。在本实施方式中，优选的，获取基于生成对抗网络的转换模型的过程包括：
步骤A，构建样本集：获取多个超声图像，采用标记方法对超声图像进行标记获得超声标签图，超声标签图与CT/MRI标签图相同区域标记区域一致，如模版外为黑色，模版内非器官区域为白色，相同器官区域区域一致，如图4所示，超声标签图与CT/MRI标签图中，肝脏区域用蓝色标注，RGB值：0，0,255，门静脉区域用湖蓝色标注，RGB值：0,255,255，肝静脉区域用浅紫色标注，RGB值：255,0,255，扇形区域用白色标注，RGB值：255,255,255和背景用黑色标注，RGB值：0,0,0将超声标签图与相应的原超声图像进行映射，获得一个样本；
步骤B，将样本集划分为训练集和测试集；优选但不限于按照9:1的比例划分训练集和测试集；
步骤C，构建生成对抗网络，如图5所示，生成对抗网络包括一个生成器网络G和一个判别器网络D，设超声标签图为x，设与超声标签图映射的原始超声图像为y，生成器网络G根据x生成图像G(x,z)，z表示随机噪声，判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像；通过成对的数据实现CT/MRI图像到超声图像的翻译，能生成真实的图片，适合于风格转换任务。
步骤D，不断利用训练集对生成对抗网络进行训练，以及利用测试集对训练后的生成对抗网络进行验证，直到满足目标函数，获得转换模型。
在本实施方式中，现有的超声图像如图2所示，将现有的超声图像进行缩放，将统一的预设模版覆盖缩放后的超声图像的全部或部分器官区域，具体覆盖区域可根据需求自由设定，便于进一步的利用，只保留扇形区域，其余区域全部涂黑，得到如图3所示的图像。
在本实施方式中，优选的，将超声标签图进行去噪处理之后输出，能够减少噪声对后续处理的干扰。
在本实施方式中，优选的，标记方法中对模版之内各器官区域进行区域标记的过程为：将超声图像中器官所在位置标注出来，将图像分为若干区域，优选但不限于通过人工标注的方式将超声图像中器官所在位置标注出来。
在本实施方式中，优选的，目标函数为：
G*＝arg min max LcGAN(G,D)+λLl1(G)；
其中，LcGAN(G,D)表示生成对抗网络的损失函数，包含两部分，具体为：
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))],z表示随机噪声；Ex,y[logD(x,y)]表示生成对抗网络中判别器预测真实样本损失；D(x,y)表示判别器网络D判断x与y否是一对真实图像的判别结果；Ex,z[log(1-D(x,G(x,z)))]表示生成对抗网络中判别器网络预测生成样本损失；D(x,G(x,z)表示判别器网络D判断x与G(x,z)否是一对真实图像的判别结果；生成器网络G试着最小化函数的值，而判别器网络D尝试最大化它，两者对抗，直到达到均衡状态。
Ll1(G)表示l1损失，用于约束生成图像G(x,z)与真实图像y之间的差异，λ表示l1损失的权重，λ优选但不限于为100，Ll1(G)＝Ex,y,z[|y-G(x,z)||1]。
在本实施方式中，优选的，在生成对抗网络的训练中，采用SDG优化器进行模型优化，batchsize为2，初始学习率为1×10-4，GAN损失使用vanilla GAN，训练总共迭代300个epoch。训练结果如图6所示，每列图像中上面的图像表示输入的超声标签图，每列图像中下面的图像表示上面超声标签图输入生成对抗网络后输出的对应的模拟超声图像。在一种优选实施方式中，对CT/MRI图像进行器官分割处理的过程包括：
步骤a，构建3DRes_Unet网络，3DRes_Unet网络将Unet的基础模块替换为Resnet结构，将两种网络结合了起来，训练容易且分割效果好。
步骤c，获取多个CT/MRI图像，使用双线性插值、阈值截断和归一化方法处理CT/MRI图像，获得多个CT/MRI样本；双线性插值用于补足图像漏洞，具体算法可采用现有技术，如https://blog.csdn.net/qq_37577735/article/details/80041586公开的技术方案，在此不再赘述；阈值截断为当像素点像素值在预设阈值区间内时保留该像素点，像素值不在预设阈值区间内时以预设的常数代替该像素值，有利于滤除噪声干扰；归一化方法可采用现有技术，在此不再赘述。
步骤d，将多个CT/MRI样本输入3DRes_Unet网络进行训练获得CT/MRI图像器官分割模型，训练中采用DiceLoss函数为损失函数，使用Adam优化器，学习率设为0.1，总共训练60个epoch。
步骤e，将待分割的CT/MRI图像输入CT/MRI图像器官分割模型，CT/MRI图像器官分割模型输出分割好的器官三维立体图像。图7所示，为多个CT/MRI切片图像输入CT/MRI图像器官分割模型后得到的器官三维立体图像。每行显示从单个患者获取的CT/MRI扫描。分割出来的区域，用和标注超声图像的对应区域标记来表示，蓝色区域表示肝脏、湖蓝色区域表示门静脉、红色区域表示病变等。
本发明还公开了一种CT/MRI图像生成超声图像的系统，在一种优选实施方式中，该系统包括CT/MRI图像获取设备，处理器，处理器从CT/MRI图像获取设备获取CT/MRI图像，并按照上述基于生成对抗网络的CT/MRI模拟超声的新方法的步骤生成CT/MRI图像对应的模拟超声图像。CT/MRI图像获取设备优选但不限于为CT/MRI设备或者CT/MRI图像存储器或者与CT/MRI设备连接的采集设备。
在本实施方式中，优选的，该系统还包括显示单元，通过显示单元显示处理器生成的模拟超声图像。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种CT/MRI模拟超声的新方法，其特征在于，包括：
步骤S1，获取CT/MRI图像，对所述CT/MRI图像进行器官分割处理，获取器官分割处理后的CT/MRI图像的切面图像；
步骤S2，采用标记方法对所述切面图像进行标记获得CT/MRI标签图；
所述标记方法包括：使用预设的模版对待标记图像进行标记，所述模版覆盖待标记图像的目标区域，将所述模版之外的区域标记为第一区域，在所述模版之内的非器官区域标记为第二区域，所述模版内的不同器官区域采用不同的区域标记，器官的标记与第一区域和第二区域的标记均不同；
步骤S3，将所述CT/MRI标签图输入基于生成对抗网络的转换模型，所述转换模型生成与所述CT/MRI图像对应的模拟超声图像。
2.如权利要求1所述的CT/MRI模拟超声的新方法，其特征在于，所述模版的形状为扇形；
和/或所述标记为颜色标记。
3.如权利要求1或2所述的CT/MRI模拟超声的新方法，其特征在于，获取所述基于生成对抗网络的转换模型的过程包括：
步骤A，构建样本集：获取多个超声图像，采用所述标记方法对超声图像进行标记获得超声标签图，所述超声标签图与所述CT/MRI标签图相同区域标记区域一致，将超声标签图与相应的原超声图像进行映射，获得一个样本；
步骤B，将样本集划分为训练集和测试集；
步骤C，构建生成对抗网络，所述生成对抗网络包括一个生成器网络G和一个判别器网络D，设超声标签图为x，设与超声标签图映射的原始超声图像为y，生成器网络G根据x生成图像G(x,z)，z表示随机噪声，判别器网络D判断x与G(x,z)否是一对真实图像的同时还判断x与y否是一对真实图像；
步骤D，不断利用训练集对生成对抗网络进行训练，以及利用测试集对训练后的生成对抗网络进行验证，直到满足目标函数，获得转换模型。
4.如权利要求3所述的CT/MRI模拟超声的新方法，其特征在于，在对超声图像标记之前还包括对超声图像进行缩放，将预设的模版覆盖缩放后的超声图像的全部或部分器官区域的步骤。
5.如权利要求3所述的CT/MRI模拟超声的新方法，其特征在于，所述目标函数为：
G*＝arg min max LcGAN(G,D)+λLl1(G)；
其中，LcGAN(G,D)表示生成对抗网络的损失函数，具体为：
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))],z表示随机噪声；Ex,y[logD(x,y)]表示生成对抗网络中判别器预测真实样本损失；Ex,z[log(1-D(x,G(x,z)))]表示生成对抗网络中判别器预测生成样本损失；
Ll1(G)表示l1损失，用于约束生成图像G(x,z)与真实图像y之间的差异，所述λ表示l1损失的权重，所述Ll1(G)＝Ex,y,z[||y-G(x,z)||1]。
6.如权利要求5所述的CT/MRI模拟超声的新方法，其特征在于，在生成对抗网络的训练中，采用SDG优化器进行模型优化，batchsize为2，初始学习率为1×10-4。
7.如权利要求1所述的CT/MRI模拟超声的新方法，其特征在于，对所述CT/MRI图像进行器官分割处理的过程包括：
步骤a，构建3DRes_Unet网络，所述3DRes_Unet网络将Unet的基础模块替换为Resnet结构；
步骤c，获取多个CT/MRI图像，使用双线性插值、阈值截断和归一化方法处理CT/MRI图像，获得多个CT/MRI样本；
步骤d，将多个CT/MRI样本输入3DRes_Unet网络进行训练获得CT/MRI图像器官分割模型，训练中采用DiceLoss函数为损失函数，使用Adam优化器，学习率设为0.1；
步骤e，将待分割的CT/MRI图像输入CT/MRI图像器官分割模型，所述CT/MRI图像器官分割模型输出分割好的器官三维立体图像。
8.一种CT/MRI图像生成超声图像的系统，其特征在于，包括CT/MRI图像获取设备，处理器，所述处理器从CT/MRI图像获取设备获取CT/MRI图像，并按照权利要求1-7之一所述的CT/MRI模拟超声的新方法的步骤生成所述CT/MRI图像对应的模拟超声图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367868.5A CN113012041B (zh) | 2021-04-06 | 2021-04-06 | 一种ct/mri模拟超声的新方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367868.5A CN113012041B (zh) | 2021-04-06 | 2021-04-06 | 一种ct/mri模拟超声的新方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012041A true CN113012041A (zh) | 2021-06-22 |
| CN113012041B CN113012041B (zh) | 2023-12-12 |
Family
ID=76388387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110367868.5A Active CN113012041B (zh) | 2021-04-06 | 2021-04-06 | 一种ct/mri模拟超声的新方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012041B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
| WO2022213654A1 (zh) * | 2021-04-07 | 2022-10-13 | 中国科学院深圳先进技术研究院 | 一种超声图像的分割方法、装置、终端设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006130162A (ja) * | 2004-11-08 | 2006-05-25 | Olympus Corp | 超音波診断装置 |
| US20160284240A1 (en) * | 2013-06-19 | 2016-09-29 | The General Hospital Of People's Liberation Army | Ultrasound training system based on ct image simulation and positioning |
| CN108090909A (zh) * | 2017-12-15 | 2018-05-29 | 中国人民解放军陆军军医大学第附属医院 | 一种基于统计偏微分模型的超声造影图像分割方法 |
| CN110742653A (zh) * | 2019-10-31 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 心动周期的确定方法及超声设备 |
| CN110782410A (zh) * | 2019-10-24 | 2020-02-11 | 中国人民解放军陆军军医大学第一附属医院 | 基于ct图像的超声成像方法 |
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN111724344A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗网络生成医学超声影像数据的方法 |
| CN112381777A (zh) * | 2020-11-09 | 2021-02-19 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
-
2021
- 2021-04-06 CN CN202110367868.5A patent/CN113012041B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006130162A (ja) * | 2004-11-08 | 2006-05-25 | Olympus Corp | 超音波診断装置 |
| US20160284240A1 (en) * | 2013-06-19 | 2016-09-29 | The General Hospital Of People's Liberation Army | Ultrasound training system based on ct image simulation and positioning |
| CN108090909A (zh) * | 2017-12-15 | 2018-05-29 | 中国人民解放军陆军军医大学第附属医院 | 一种基于统计偏微分模型的超声造影图像分割方法 |
| CN110782410A (zh) * | 2019-10-24 | 2020-02-11 | 中国人民解放军陆军军医大学第一附属医院 | 基于ct图像的超声成像方法 |
| CN110742653A (zh) * | 2019-10-31 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 心动周期的确定方法及超声设备 |
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN111724344A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗网络生成医学超声影像数据的方法 |
| CN112381777A (zh) * | 2020-11-09 | 2021-02-19 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022213654A1 (zh) * | 2021-04-07 | 2022-10-13 | 中国科学院深圳先进技术研究院 | 一种超声图像的分割方法、装置、终端设备和存储介质 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
| CN113780483B (zh) * | 2021-11-12 | 2022-01-28 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012041B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354791B2 (en) | Methods and system for transforming medical images into different styled images with deep neural networks | |
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| US8929635B2 (en) | Method and system for tooth segmentation in dental images | |
| CN105719324B (zh) | 图像处理装置以及图像处理方法 | |
| CN108205806B (zh) | 一种锥束ct图像三维颅面结构的自动解析方法 | |
| CN113012041A (zh) | 一种ct/mri模拟超声的新方法、系统 | |
| US20110254845A1 (en) | Image processing method and image processing apparatus | |
| CN107909622A (zh) | 模型生成方法、医学成像的扫描规划方法及医学成像系统 | |
| CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
| CN109923554A (zh) | 图像处理 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| JPH10502194A (ja) | 三次元像の構築及び表示を行う方法及びシステム | |
| CN111161272B (zh) | 一种基于生成对抗网络的胚胎组织分割方法 | |
| CN102397082B (zh) | 生成方位指示图的方法及装置及超声三维成像方法及系统 | |
| JP2023133452A (ja) | 超音波撮像方法及びシステム | |
| US20240062498A1 (en) | Systems and methods for rendering models based on medical imaging data | |
| CN113538422A (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 | |
| CN109767429A (zh) | 一种图像筛查方法及装置 | |
| AU2019431568B2 (en) | Method and product for processing of vrds 4d medical images | |
| CN112509079A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 | |
| EP2734147B1 (en) | Method for segmentation of dental images | |
| CN102074051B (zh) | 一种体绘制平行投影的数据包围体快速定位方法 | |
| CN114387259A (zh) | 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 | |
| JP2018149055A (ja) | 超音波画像処理装置 | |
| CN112509081A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |