CN113450296B - 一种医学图像生成方法、装置、电子设备及存储介质 - Google Patents
一种医学图像生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113450296B CN113450296B CN202110785858.3A CN202110785858A CN113450296B CN 113450296 B CN113450296 B CN 113450296B CN 202110785858 A CN202110785858 A CN 202110785858A CN 113450296 B CN113450296 B CN 113450296B
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- processing model
- scanning
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 196
- 239000002872 contrast media Substances 0.000 claims abstract description 59
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本申请通过获取至少一种模态的目标扫描图像，根据目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像，将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像，输出所获得的至少一个增强扫描图像。获得的增强扫描图像供医生参考以诊断病情，提高了医生诊断病情的准确率，提供了更多具有医疗价值的信息，同时可以支持无剂量或低剂量增强至高剂量的多种增强模式，更符合图像的增强需求。
Description
技术领域
本申请涉及医学图像处理技术领域，尤其涉及一种医学图像生成方法、装置、电子设备及存储介质。
背景技术
注射对比剂是帮助临床决策的一种常规而又较为安全的手段。考虑到对比剂的使用成本以及安全性能等问题，减少对比剂的注射剂量具有重要的意义。现有技术中，常使用无对比剂医学图像增强方法来减少实际对比剂的注射量，以平衡对比剂使用量和临床诊断的困难性。
但现有的无对比剂医学图像增强方法中，一般是由训练出的固定模型进行增强的，并没有考虑到无对比剂的数据的序列问题，输出的结果较为单一，即使增强后得到了高剂量对比剂，数据可靠性也较低。
发明内容
有鉴于此，本申请实施例至少提供一种医学图像生成方法、一种医学图像生成装置、一种电子设备和一种计算机可读存储介质。目的在于为医生诊断病患的病情时提供更多更准确的医疗信息，满足医疗图像增强的多种需求。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种医学图像生成方法，包括：
获取至少一种模态的目标扫描图像，目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
根据目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
输出所获得的至少一个增强扫描图像。
在一种可能的实施方式中，第一对比剂剂量包括第一剂量和第二剂量，第一扫描图像包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像和在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像；
其中，第二剂量大于第一剂量，第二对比剂剂量大于第二剂量。
在一种可能的实施方式中，根据目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型的步骤包括：
从预设模型库中查找图像处理模型输入的扫描图像的模态与目标扫描图像的模态中的至少一个相匹配的图像处理模型：
将查找到的图像处理模型确定为用于图像增强的至少一个图像处理模型。
在一种可能的实施方式中，预设模型库包括多个图像处理模型。其中，通过以下方式构建预设模型库：
获取多个用户分别在多种模态下的历史扫描图像以及与各用户对应的增强扫描图像；
对多种模态下的历史扫描图像进行组合，获得多个输入特征组，每个输入特征组中至少包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
以多个输入特征组分别作为输入，以增强扫描图像作为输出，训练得到多个图像处理模型。
在一种可能的实施方式中，预设模型库中的目标图像处理模型包括依次连接的第一子图像处理模型和至少一个第二子图像处理模型。
第一子图像处理模型的输入至少包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像，第一子图像处理模型的输出为在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像，
其中，首个第二子图像处理模型的输入为第二图像，最后一个第二子图像处理模型的输出为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像。
在一种可能的实施方式中，针对每个图像处理模型，根据该图像处理模型输入的扫描图像的尺寸，确定该图像处理模型的网络深度；
其中，扫描图像的尺寸与网络深度满足下式：
min[L，W，H]≥2n；
其中，L表示扫描图像的长度，W表示扫描图像的宽度，H表示扫描图像的高度，n表示网络深度，min[]表示取最小值。
在一种可能的实施方式中，获取终端的图形处理器的内存大小；
根据终端的图形处理器的内存大小配置图像处理模型输入的扫描图像的最大个数。
第二方面，本申请实施例还提供一种医学图像生成装置，包括：
获取模块，用于获取至少一种模态的目标扫描图像，目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
分析模块，用于根据目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
输入模块，用于将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
输出模块，用于输出所获得的至少一个增强扫描图像。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的医学图像生成方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的医学图像生成方法的步骤。
本申请实施例提供的医学图像生成方法、装置、电子设备及存储介质，通过现有的可利用的医学扫描图像预先生成多个不同的图像处理模型，并根据目标扫描图像的模态挑选对应的图像处理模型，从而获得多个增强扫描图像，供医生参考以诊断病情，提高了医生诊断病情的准确率，提供了更多具有医疗价值的信息，同时可以支持无剂量或低剂量增强至高剂量的多种增强模式，更符合图像的增强需求。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种医学图像生成方法的流程图；
图2示出了本申请实施例所提供的一种生成预设模型库的方法的流程图；
图3示出了本申请实施例所提供的一种图像处理模型的网络结构示意图；
图4示出了本申请实施例所提供的一种图像处理模型的编码模块和解码模块的结构示意图；
图5示出了本申请实施例所提供的一种集成方法的二维示意图；
图6示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“医学图像生成”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行医学图像生成的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的医学图像生成方法和装置的方案均在本申请保护范围内。
值得注意的是，在本申请提出之前，现有的无对比剂医学图像增强方法中，一般是由训练出的固定模型进行增强的，并没有考虑到无对比剂的数据的序列问题，输出的结果也较为单一，增强后得到的高剂量对比剂数据可靠性也较低。
针对上述问题，本申请实施例提供了一种医学图像生成方法、装置、电子设备及存储介质，下面通过实施例进行描述。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
图1为本申请实施例所提供的一种医学图像生成方法的流程图。如图1所示，本申请实施例提供的医学图像生成方法，包括以下步骤：
S101：获取至少一种模态的目标扫描图像，所述目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
S102：根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
S103：将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
S104：输出所获得的至少一个增强扫描图像。
其中，步骤S101中，获取至少一种模态的目标扫描图像可以是获取某一病患的磁共振成像(Magnetic Resonance Imaging，MRI)。可以理解的是，不同的扫描图像在生成的过程中由于生成条件不同，如设置扫描图像的尺寸大小不同、生成扫描图像选择的加权序列不同、扫描方式不同或者患者使用的对比剂剂量不同的，从而能够得到很多不同模态的扫描图像。
目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像，其中第一脉冲序列扫描方式为通过T1W1加权生成的突出组织T1(纵向弛豫)差别的模式，第一对比剂剂量的比例P满足0％≤P<100％，获取的病患的MRI成像包含至少一张T1加权成像的扫描图像，这个扫描图像使用的对比剂剂量可以是0％或10％等。
现有的MRI图像，除了影像信息还包括图像所采取的扫描方式、图像的尺寸、图像对应的病人信息等。
具体的，可以响应医院客户端的图片增强操作，可以从图片拍摄的科室所使用的客户端中直接获取拍摄好的MRI图像，还可以通过扫描设备，扫描打印出MRI图像，并发送至服务器，以供服务器对获取到的目标扫描图像进行分析。
在步骤S102中，根据目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，其中扫描图像的模态种类为目标扫描图像的扫描方式和使用对比剂剂量大小。依据现有的目标扫描图像的模态种类，选择能够满足模型输入条件的图像处理模型。这里的图像处理模型可以为预设好的图像处理模型，且每个图像处理模型输入的扫描图像的模态各不相同，因此只有当现有的目标扫描图像满足某个图像处理模型所有输入的扫描图像的模态时，才能够选择该图像处理模型，以用于图像增强。
具体的，每个图像处理模型的输入可以是一个或多个扫描图像，输出则是第一脉冲序列扫描方式和第二对比剂剂量的增强扫描图像，即T1加权成像的对比剂剂量为100％的增强扫描图像。
在步骤S103中，将获取到的一个或多个目标扫描图像分别输入在步骤S102中挑选出的对应的图像处理模型中，每个图像处理模型都输出一个增强扫描图像，这里的增强扫描图像为根据目标扫描图像增强后的T1加权成像的对比剂剂量为100％的扫描图像。
在步骤S104中，将在步骤S103中获得的所有增强扫描图像输出，可以将一个或多个增强扫描图像打包发送至医生使用的客户端，以供医生通过增强扫描图像进一步诊断病情。
具体的，可以在一个或多个增强扫描图像上进行标记，将每个增强扫描图像的效果最佳部分进行标记，标记的方法可以是通过线条沿最佳效果的边缘将部分图像圈出，或者通过有颜色的边框重点标记等。
还可以在展示多个增强扫描图像的同时，生成一张通过多个增强扫描图像结合后重新生成的一张优化扫描图像，该优化扫描图像可以体现出所有增强扫描图像的效果最佳部分，以供医生更好的通过MRI图像了解病患的病情情况，准确的找出病灶。
在该实施例中，通过获取至少一种模态的目标扫描图像，并根据获取到的目标扫描图像的模态种类在预设模型库中挑选出输入条件能够与目标扫描图像的模态匹配的图像处理模型，将目标扫描图像依次输入到对应的图像处理模型中，从而获得一个或多个增强扫描图像，医生可以通过一个或多个增强扫描图像更容易判断病人的病灶，同时可以结合多个结果联合判断，提高了医生诊断病情的准确率，提供了更多具有医疗价值的信息，同时可以支持无剂量或低剂量增强至高剂量的多种增强模式，更符合图像的增强需求。
进一步的，第一对比剂剂量包括第一剂量和第二剂量，第一扫描图像包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像和在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像；
其中，第二剂量大于第一剂量，第二对比剂剂量大于第二剂量。
具体的，目标扫描图像的第一对比剂剂量包括第一剂量和第二剂量，是根据病患实际拍摄MRI图像时使用的对比剂剂量决定的。示例性的，当第一剂量为0％时，第二剂量为10％。当第一剂量为10％时，第二剂量为20％。但第一对比剂剂量永远小于第二对比剂剂量，通常情况下，第二对比剂剂量为100％。
进一步的，步骤S102具体包括：从预设模型库中查找图像处理模型输入的扫描图像的模态与目标扫描图像的模态中的至少一个相匹配的图像处理模型，将查找到的图像处理模型确定为用于图像增强的至少一个图像处理模型。
具体的，预设模型库中预设设置好多个图像处理模型，每个图像处理模型预设有输入条件，输入条件对每个图像处理模型的输入扫描图像的个数、扫描图像的扫描方式、扫描图像的对比剂剂量进行区分，因此需要根据目标扫描图像的模态与图像处理模型输入的扫描图像的模态进行匹配，以保证选择出的图像处理模型输入的所有扫描图像都能从目标扫描图像中获得。
进一步的，预设模型库包括多个图像处理模型。图2提供了一种生成预设模型库的方法的流程图。如图2所示，通过以下方式构建预设模型库：
步骤S201：获取多个用户分别在多种模态下的历史扫描图像以及与各用户对应的增强扫描图像；
步骤S202：对多种模态下的历史扫描图像进行组合，获得多个输入特征组，每个输入特征组中至少包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
步骤S203：以多个输入特征组分别作为输入，以增强扫描图像作为输出，训练得到多个图像处理模型。
步骤S201中，分别获取现有的扫描图像，这里的扫描图像包括多种不同模态下的扫描图像，其中包括不同扫描方式生成的扫描图像，且需要包括至少一张T1加权成像的100％对比剂剂量的扫描图像以及一张T1加权成像的低对比剂剂量的图像，这里的低对比剂剂量指对比剂剂量小于100％。
步骤S202中，可以通过排列组合的方式将一个或多个不同模态的扫描图像设定为图像处理模型的输入，其中输入的扫描图像至少包括一张T1加权成像的低对比剂剂量的扫描图像。
步骤S203中，对图像处理模型进行训练，以生成T1加权成像的100％对比剂剂量的扫描图像，从而得到多个训练后的图像处理模型作为预设模型库中的备选模型，根据获取到的多个图像处理模型集合生成预设模型库。
进一步的，预设模型库中的目标图像处理模型包括第一级图像处理模型和第二级图像处理模型。
第一级图像处理模型的输入至少包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像，第一级图像处理模型的输出为在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像。
第二级图像处理模型的输入至少包括第二图像，第二级图像处理模型的输出为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像。
具体的，在构建预设模型库的过程中，用于训练的图像处理模型包括第一子图像处理模型和第二子图像处理模型，这里的第二子图像处理模型包括区别于第一级图像处理模型的其他多级子图像处理模型中的一个，并不是指图像处理模型只有两级结构层次。
可以理解的是，第一子图像处理模型的输入至少包括一张T1加权成像的第一对比剂剂量的图像，第一子图像处理模型的输出则为T1加权成像的第二对比剂剂量的图像，这里的第二对比剂剂量大于第一对比剂剂量，第一子图像处理模型为一级结构层次的图像处理模型。
第二子图像处理模型为连接在第一子图像处理模型输出之后的多个结构层次的图像处理模型，将第一子图像处理模型的输出作为下一级结构层次的输入，这里每一级结构层次的图像处理模型输出扫描图像的对比剂剂量依次增加，最后一级结构层次的图像处理模型输出扫描图像的对比剂剂量为100％，根据输入的扫描图像的对比剂剂量，一个目标图像处理模型的结构层次可以为一级、二级或三级等。
进一步的，针对每个图像处理模型，根据该图像处理模型输入的扫描图像的尺寸，确定该图像处理模型的网络深度；
其中，扫描图像的尺寸与网络深度满足下式：
min[L，W，H]≥2n；
其中，L表示扫描图像的长度，W表示扫描图像的宽度，H表示扫描图像的高度，n表示网络深度，min[]表示取最小值。
具体的，在构建预设模型库的过程中，根据扫描图像的尺寸大小来决定图像处理模型的网络深度，网络深度n满足上式。这里的网络深度为最大取值，即当计算得到n为7时，则该图像处理模型的网络深度可以为7、6、5、4、3、2、1。可以根据训练效果择优选择图像处理模型的网络深度。
进一步的，还包括获取终端的图形处理器的内存大小，根据终端的图形处理器的内存大小配置图像处理模型输入的扫描图像的最大个数。
具体的，根据客户端的终端设备的图形处理器(GPU)的内存大小，决定图像处理模型能够输入的扫描图像的最大个数。即需要根据终端设备的计算能力，决定一个图像处理模型能够输入的最大扫描图像的个数。示例性的，当决定出图像处理模型最多可以输入三张扫描图像时，则在挑选图像处理模型时，可以在输入图像个数为3、2或1的图像处理模型中再挑选与目标扫描图像模态相同的输入条件的图像处理模型。
下面列举本申请实施例提供的医学图像生成方法的具体实施例：
本申请的具体实施例提供了一种实际应用医学图像生成方法的流程，具体步骤包括：
步骤一：收集现有的扫描图像，这里示例性的选取五张扫描图像，包括T1加权成像的0％对比剂剂量的扫描图像、T2加权成像的扫描图像、FLAIR加权成像的扫描图像、T1加权成像的10％对比剂剂量的扫描图像、T1加权成像的100％对比剂剂量的图像；
步骤二：根据上述选取的五张扫描图像作为扫描图像，在预设模型库中挑选图像处理模型，其中挑选出的五个模型输入和输出信息如下：
Model1：输入0％剂量T1，可得出输出100％剂量T1；
Model2：输入10％剂量T1，可得出输出100％剂量T1；
Model3：输入0％剂量T1+T2+FLAIR，可得出输出100％剂量T1；
Model4：输入0％剂量T1+10％剂量T1+T2+FLAIR，可得出输出100％剂量T1；
Model5：
步骤三：将扫描图像分别输入对应的图像处理模型中，这里的图像处理模型的主干网络为Unet网络，也可以根据需求使用其他网络如GAN网络等。图像处理模型的网络深度是根据目标扫描图像的尺寸大小来匹配的，图像处理模型能够输入的最大扫描图像的个数是根据客户端的GPU内存大小匹配的。
具体的，图3提供了一种图像处理模型的网络结构示意图。如图3所示的图像处理模型，图像处理模型的网络深度为5，其中Encoder block 1至Encoder block 6为六个不同层级的编码模块，Decoder block 1至Decoder block 5为与之对应的五个不同层级的解码模块，ConvTranspose 2×2×2为2×2×2维度的逆卷积层，conv 1×1×1为1×1×1维度的卷积层。
如图4所示，提供了一种图像处理模型的编码模块和解码模块的结构示意图，其中conv 3×3×3为3×3×3维度的卷积层，InstanceNormalization为归一层，LeakyRelu为激活层，箭头表示连接方向，Concatenate为拼接层；
步骤四：对上述五个图像处理模型进行训练，其中网络代价函数定义为最小均方误差函数，训练过程中目的旨在取得最小的均方误差，即满足下式：
其中，w为图像处理模型，num_voxel为所述扫描图像的体素，yi_pred为模拟扫描图像，yi_real为扫描图像，i为扫描图像的个数。
具体的，在训练的过程中还包括对图像处理模型生成的增强扫描图像与目标扫描图像进行信息匹配，以验证图像处理模型生成的增强扫描图像的尺寸、图像方向、格式等头信息是否一致，以确保图像处理模型的准确性。
若增强扫描图像与其对应的目标扫描图像的信息匹配一致，则继续生成该增强扫描图像的图像处理模型的训练，若不一致则可以提醒操作人员，以对有问题的模型的进行处理；
步骤五：将需要进行预测的目标扫描图像输入训练好的图像处理模型中，获得与五个图像处理模型对应的增强扫描图像。
具体的，通过图像处理模型生成增强扫描图像的步骤具体可以包括：
将输入图像分成一定数量的补丁(patch)，补丁尺寸(patch size)通过网络深度n决定即patch＝2n，再通过扫描图像的尺寸和补丁尺寸计算出补丁步长(patch stepsize)，计算方式满足下式：
3×patch step size+patch size＝扫描图像的边长；
这里的扫描图像的边长包括扫描图像的长、宽和高三条边长，即需要在三维的坐标系中都满足上述公式的条件。
将每个扫描图像分割后的补丁输入对应的图像处理模型中，按照原始的空间坐标结构重新组合，其中会有一些重叠，如图5所示，提供了一种集成方法的二维示意图，图中的数字则为重叠的次数，此时需要对重叠的部分计算平均值，从而得到最后的集成预测结果，即增强扫描图像。
步骤7：将生成的五个增强扫描图像发送至客户端，医生根据多个结果进行综合对比，从而完成临床诊断。
在该实施例中，本申请提供的医学图像生成方法，能够根据数据库中现有的扫描图像，生成多个图像处理模型，并且自动对模型的配置参数进行决策。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的方法对应的医学图像生成装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的医学图像生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
本申请的实施例提供的一种医学图像生成装置，包括：
获取模块，用于获取至少一种模态的目标扫描图像，所述目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
分析模块，用于根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
输入模块，用于将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
输出模块，用于输出所获得的至少一个增强扫描图像。
进一步的，所述第一对比剂剂量包括第一剂量和第二剂量，第一扫描图像包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像和在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像。其中，第二剂量大于第一剂量，第二对比剂剂量大于第二剂量。
进一步的，分析模块具体包括：
第一分析子模块，用于从预设模型库中查找图像处理模型输入的扫描图像的模态与目标扫描图像的模态中的至少一个相匹配的图像处理模型：
第二分析子模型，用于将查找到的图像处理模型确定为用于图像增强的至少一个图像处理模型。
进一步的，预设模型库包括多个图像处理模型，通过模型库创建模块生成预设模型库，模型库创建模块具体包括：
第一创建子模块，用于获取多个用户分别在多种模态下的历史扫描图像以及与各用户对应的增强扫描图像；
第二创建子模块，用于对多种模态下的历史扫描图像进行组合，获得多个输入特征组，每个输入特征组中至少包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
第三创建子模块，用于以所述多个输入特征组分别作为输入，以增强扫描图像作为输出，训练得到多个图像处理模型。
进步一的，预设模型库中的目标图像处理模型包括依次连接的第一子图像处理模型和第二子图像处理模型。
所述第一子图像处理模型的输入至少包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像，所述第一子图像处理模型的输出为在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像，
其中，首个第二子图像处理模型的输入为所述第二图像，最后一个第二子图像处理模型的输出为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像。
进一步的，还包括第一配置模块，用于针对每个图像处理模型，根据该图像处理模型输入的扫描图像的尺寸，确定该图像处理模型的网络深度；
其中，所述扫描图像的尺寸与网络深度满足下式：
min[L，W，H]≥2n；
其中，L表示扫描图像的长度，W表示扫描图像的宽度，H表示扫描图像的高度，n表示网络深度，min[]表示取最小值。
进一步的，还包括第二配置模块，第二配置模块具体包括：
获取子模块，用于获取终端的图形处理器的内存大小；
第二配置子模块，用于根据终端的图形处理器的内存大小配置所述图像处理模型输入的扫描图像的最大个数。
基于同一申请构思，参见图6所示，为本申请实施例提供的一种电子设备600的结构，该电子设备600包括：至少一个处理器601，至少一个网络接口604或者其他用户接口603，存储器605，至少一个通信总线602。通信总线602用于实现这些组件之间的连接通信。该电子设备600可选的包含用户接口603，包括显示器(例如，触摸屏、LCD、CRT、全息成像(Holographic)或者投影(Projector)等)，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触摸屏等)。
存储器605可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器605的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器605存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：
操作系统6051，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
应用程序6052，包含各种应用程序，例如桌面(launcher)、媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。
在本发明实施例中，通过调用存储器605存储的程序或指令，处理器601用于执行上述任一实施例提供的医学图像方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的医学图像生成方法的步骤。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述医学图像生成方法，通过现有的可利用的医学扫描图像预先生成多个不同的图像处理模型，并根据目标扫描图像的模态挑选对应的图像处理模型，从而获得多个增强扫描图像，供医生参考以诊断病情，提高了医生诊断病情的准确率，提供了更多具有医疗价值的信息，同时可以支持无剂量或低剂量增强至高剂量的多种增强模式，更符合图像的增强需求。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种医学图像生成方法，其特征在于，包括：
获取至少一种模态的目标扫描图像，所述目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
输出所获得的至少一个增强扫描图像；
根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型的步骤包括：
从预设模型库中查找图像处理模型输入的扫描图像的模态与目标扫描图像的模态中的至少一个相匹配的图像处理模型：
将查找到的图像处理模型确定为用于图像增强的至少一个图像处理模型；
所述预设模型库中的用于图像增强的至少一个图像处理模型包括依次连接的第一级图像处理模型和多个第二级图像处理模型，
所述第一级图像处理模型的输入至少包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像，所述第一级图像处理模型的输出为在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像；
与所述第一级图像处理模型连接的第二级图像处理模型的输入至少包括所述第二图像，最后一个第二级图像处理模型的输出为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
其中，后一个第二级图像处理模型输出的扫描图像的对比剂剂量大于前一个第二级图像处理模型输出的扫描图像的对比剂剂量，与所述第一级图像处理模型连接的第二级图像处理模型输出的扫描图像的对比剂剂量大于第二剂量。
2.根据权利要求1所述的医学图像生成方法，其特征在于，所述第一对比剂剂量包括第一剂量和第二剂量，第一扫描图像包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像和在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像；
其中，第二剂量大于第一剂量，第二对比剂剂量大于第二剂量。
3.根据权利要求1所述的医学图像生成方法，其特征在于，所述预设模型库包括多个图像处理模型，
其中，通过以下方式构建预设模型库：
获取多个用户分别在多种模态下的历史扫描图像以及与各用户对应的增强扫描图像；
对多种模态下的历史扫描图像进行组合，获得多个输入特征组，每个输入特征组中至少包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
以所述多个输入特征组分别作为输入，以增强扫描图像作为输出，训练得到多个图像处理模型。
4.根据权利要求1所述的医学图像生成方法，其特征在于，还包括：
针对每个图像处理模型，根据该图像处理模型输入的扫描图像的尺寸，确定该图像处理模型的网络深度；
其中，所述扫描图像的尺寸与网络深度满足下式：
其中，L表示扫描图像的长度，W表示扫描图像的宽度，H表示扫描图像的高度，n表示网络深度，min[ ]表示取最小值。
5.根据权利要求1所述的医学图像生成方法，其特征在于，还包括：
获取终端的图形处理器的内存大小；
根据终端的图形处理器的内存大小配置所述图像处理模型输入的扫描图像的最大个数。
6.一种医学图像生成装置，其特征在于，包括：
获取模块，用于获取至少一种模态的目标扫描图像，所述目标扫描图像中包括在使用第一脉冲序列扫描方式和第一对比剂剂量的模态下获得的第一扫描图像；
分析模块，用于根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型，每个图像处理模型的输入为不同模态下的扫描图像，每个图像处理模型的输出均为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；其中，根据所述目标扫描图像对应的模态种类，确定用于图像增强的至少一个图像处理模型的步骤包括：从预设模型库中查找图像处理模型输入的扫描图像的模态与目标扫描图像的模态中的至少一个相匹配的图像处理模型：将查找到的图像处理模型确定为用于图像增强的至少一个图像处理模型；输入模块，用于将每个目标扫描图像输入对应的图像处理模型中，以获得至少一个增强扫描图像；
输出模块，用于输出所获得的至少一个增强扫描图像；
所述预设模型库中的用于图像增强的至少一个图像处理模型包括依次连接的第一级图像处理模型和多个第二级图像处理模型，
所述第一级图像处理模型的输入至少包括在使用第一脉冲序列扫描方式和第一剂量下获得的第一图像，所述第一级图像处理模型的输出为在使用第一脉冲序列扫描方式和第二剂量下获得的第二图像；
与所述第一级图像处理模型连接的第二级图像处理模型的输入至少包括所述第二图像，最后一个第二级图像处理模型的输出为在第一脉冲序列扫描方式和第二对比剂剂量的模态下的增强扫描图像；
其中，后一个第二级图像处理模型输出的扫描图像的对比剂剂量大于前一个第二级图像处理模型输出的扫描图像的对比剂剂量，与所述第一级图像处理模型连接的第二级图像处理模型输出的扫描图像的对比剂剂量大于第二剂量。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至5任一项所述的医学图像生成方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的医学图像生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110785858.3A CN113450296B (zh) | 2021-07-12 | 2021-07-12 | 一种医学图像生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110785858.3A CN113450296B (zh) | 2021-07-12 | 2021-07-12 | 一种医学图像生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113450296A CN113450296A (zh) | 2021-09-28 |
| CN113450296B true CN113450296B (zh) | 2022-09-06 |
Family
ID=77816018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110785858.3A Active CN113450296B (zh) | 2021-07-12 | 2021-07-12 | 一种医学图像生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450296B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4174868A1 (en) * | 2021-11-01 | 2023-05-03 | Bayer Aktiengesellschaft | Synthetic contrast-enhanced mr images |
| WO2023073165A1 (en) * | 2021-11-01 | 2023-05-04 | Bayer Aktiengesellschaft | Synthetic contrast-enhanced mr images |
| EP4210069A1 (en) * | 2022-01-11 | 2023-07-12 | Bayer Aktiengesellschaft | Synthetic contrast-enhanced ct images |
| CN114494251B (zh) * | 2022-04-06 | 2022-07-15 | 南昌睿度医疗科技有限公司 | Spect图像处理方法以及相关设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230129195A (ko) * | 2017-04-25 | 2023-09-06 | 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 | 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소 |
| US10769791B2 (en) * | 2017-10-13 | 2020-09-08 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
| CN109509183A (zh) * | 2018-10-31 | 2019-03-22 | 上海联影医疗科技有限公司 | 医学图像的筛选方法、装置、医学设备、医学影像系统及存储介质 |
| CN112420202A (zh) * | 2019-08-23 | 2021-02-26 | 阿里巴巴集团控股有限公司 | 数据的处理方法、装置及设备 |
| JP2022550688A (ja) * | 2019-09-25 | 2022-12-05 | サトゥル メディカル，インコーポレイテッド | 低投与量容積造影ｍｒｉを改良するためのシステム及び方法 |
-
2021
- 2021-07-12 CN CN202110785858.3A patent/CN113450296B/zh active Active
Non-Patent Citations (3)
| Title |
|---|
| Optimizing enhanced hybrid medical imaging through dual-mode contrast agents;Claudia Sciallero 等;《 2014 IEEE International Conference on Imaging Systems and Techniques (IST) Proceedings》;IEEE;20141120;全文 * |
| 基于AI+MRI的影像诊断的样本增广与批量标注方法;汪红志等;《波谱学杂志》;20181212(第04期);全文 * |
| 基于DCE图像优化胶质瘤自动分级纹理模型;南海燕等;《磁共振成像》;20181015(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113450296A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113450296B (zh) | 一种医学图像生成方法、装置、电子设备及存储介质 | |
| Huo et al. | Synseg-net: Synthetic segmentation without target modality ground truth | |
| Salem et al. | Multiple sclerosis lesion synthesis in MRI using an encoder-decoder U-NET | |
| US20180225847A1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
| CN112885453B (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
| Zhao et al. | Study of low-dose PET image recovery using supervised learning with CycleGAN | |
| Schnabel et al. | Validation of nonrigid image registration using finite-element methods: application to breast MR images | |
| CN112673395A (zh) | 用于放射治疗计划的医学图像中的器官分割的3d卷积神经网络 | |
| US9424682B2 (en) | Systems and methods for visualizing elongated structures and detecting branches therein | |
| WO2020186208A1 (en) | Systems and methods of computed tomography image reconstruction | |
| US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8958616B2 (en) | Image processing device and image processing method | |
| CN110415310B (zh) | 医学扫描成像方法、装置、存储介质及计算机设备 | |
| US12039699B2 (en) | Method and system for simulating and constructing original medical images from one modality to other modality | |
| CN110827369A (zh) | 欠采样模型生成方法、图像重建方法、设备和存储介质 | |
| CN108701360A (zh) | 图像处理系统和方法 | |
| CN115115575A (zh) | 一种图像检测方法、装置、计算机设备及存储介质 | |
| Gourdeau et al. | On the proper use of structural similarity for the robust evaluation of medical image synthesis models | |
| Garehdaghi et al. | Positron emission tomography image enhancement using magnetic resonance images and U-net structure | |
| US11138736B2 (en) | Information processing apparatus and information processing method | |
| Qi et al. | Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning | |
| Bianchessi et al. | Pediatric brain tumor type classification using deep learning on MR images from the children’s brain tumor network | |
| EP4224420A1 (en) | A computer-implemented method for determining scar segmentation | |
| Beckwith | Detruncation of Attenuation Maps using Neural Networks | |
| Ikuta et al. | Super-Resolution for Brain MR Images from a Significantly Small Amount of Training Data. Comput |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |