CN111899177A - 一种图像处理方法、装置、电子设备和可读存储介质 - Google Patents
一种图像处理方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111899177A CN111899177A CN202010777861.6A CN202010777861A CN111899177A CN 111899177 A CN111899177 A CN 111899177A CN 202010777861 A CN202010777861 A CN 202010777861A CN 111899177 A CN111899177 A CN 111899177A
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- quality medical
- medical image
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 238000005481 NMR spectroscopy Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 23
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 28
- 230000007246 mechanism Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000003042 antagnostic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010339 medical test Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备和可读存储介质，该方法包括：获取低质量医学图像集和对应的高质量医学图像集；将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；根据神经网络模型对测试图像进行测试，得到处理后图像；当接收到处理后图像的验证通过信息时，确定神经网络模型通过验证，并根据神经网络模型对待处理图像进行处理，得到高质量医学图像。本申请通过神经网络模型将快速扫描的低质量图像向高质量图像的转化，实现了增强信噪比，提高分辨率以及降低伪影的效果，成本低廉，转化效率高。
Description
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种图像处理方法、装置、电子设备和可读存储介质。
背景技术
核磁共振成像(Magnetic Resonance Imaging,MRI)是一种多参数，多对比度的成像技术，能够提供丰富的器官组织信息。核磁共振成像所采集的信号为频域的K空间数据，经傅立叶变换获得病人的结构图像信息。图像的质量受信噪比(Signal to Noise Ratio,SNR)和分辨率(Resolution)影响。高信噪比和分辨率的图像可更清晰呈现身体内微小结构，有助于医生对病变部位进行准确的鉴别诊断。高磁场强度的核磁共振设备(如3.0T，6.0T)可生成高信噪比和高分辨率的图像，然而这种设备造价高、临床使用率低。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种图像处理方法、装置、电子设备和可读存储介质，能够把快速扫描的低质量图像向高质量图像的转化，降低了成本。其具体方案如下：
本申请提供了一种图像处理方法，包括：
获取低质量医学图像集和对应的高质量医学图像集；
将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
根据所述神经网络模型对测试图像进行测试，得到处理后图像；
当接收到所述处理后图像的验证通过信息时，确定所述神经网络模型通过验证，并根据所述神经网络模型对待处理图像进行处理，得到高质量医学图像。
优选地，所述将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
将所述低质量医学图像集和所述高质量医学图像集输入所述对抗神经网络进行图像训练，得到所述神经网络模型。
优选地，所述将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
根据所述低质量医学图像集、所述高质量医学图像集、双卷积神经网络模块进行图像训练，得到所述神经网络模型；
其中，所述双卷积神经网络模块包括第一卷积神经网络模块和第二卷积神经网络模块，
所述第一卷积神经网络模块包括多层对称的编码器和解码器结构，所述编码器输出端和所述解码器输入端进行串接连接，所述第一卷积神经网络模块使用第一图像定量误差参数作为损失函数；
所述第二卷积神经网络模块包括图像输入层、图像输出层、所述图像输入层与所述图像输出层之间的跳过连接，所述第二卷积神经网络模块采用第二图像定量误差参数作为损失函数。
优选地，所述根据所述低质量医学图像集、所述高质量医学图像集、双卷积神经网络模块进行图像训练，得到所述神经网络模型，包括：
将所述低质量医学图像集和所述高质量医学图像集输入所述第一卷积神经网络模块进行图像训练，得到第一神经网络模型；
将所述低质量医学图像集输入所述第一神经网络模型，得到优化的所述低质量医学图像集；
将优化的所述低质量医学图像集和所述高质量医学图像集输入所述第二卷积神经网络模块进行图像训练，得到第二神经网络模型；
将所述第一神经网络模型和所述第二神经网络模型作为所述神经网络模型。
优选地，所述第一图像定量误差参数为结构相似性和平方误差；
对应的，所述第二图像定量误差参数为平均绝对值误差。
优选地，所述获取低质量医学图像集和对应的高质量医学图像集，包括：
获取低质量核磁共振图像集和对应的高质量核磁共振图像集。
优选地，所述获取低质量医学图像集和对应的高质量医学图像集，包括：
获取初始低质量医学图像集和对应的初始高质量医学图像集；
对所述初始低质量医学图像集和所述初始高质量医学图像集进行参数调整，得到所述低质量医学图像集和对应的所述高质量医学图像集。
本申请提供一种图像处理装置，包括：
训练集获取模块，用于获取低质量医学图像集和对应的高质量医学图像集；
图像训练模块，用于将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
测试模块，用于根据所述神经网络模型对测试图像进行测试，得到处理后图像；
验证模块，用于当接收到所述处理后图像的验证通过信息时，确定所述神经网络模型通过验证，并根据所述神经网络模型对待处理图像进行处理，得到高质量医学图像。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述图像处理方法的步骤。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述图像处理方法的步骤。
本申请提供一种图像处理方法，包括：获取低质量医学图像集和对应的高质量医学图像集；将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；根据神经网络模型对测试图像进行测试，得到处理后图像；当接收到所述处理后图像的验证通过信息时，确定神经网络模型通过验证，并根据神经网络模型对待处理图像进行处理，得到高质量医学图像。
可见，本申请利用低质量医学图像集和高质量医学图像集进行训练得到神经网络模型，当测试图像通过神经网络模型得到处理后图像，当诊断人员根据处理后图像进行验证，如果验证通过，则通过设备下发验证通过信息，此时确定神经网络模型可以实际应用，然后利用该神经网络模型对待处理图像进行处理，输出高质量的待处理图像。本申请通过神经网络模型将快速扫描的低质量图像向高质量图像的转化，实现了增强信噪比，提高分辨率以及降低伪影的效果，成本低廉，转化效率高。
本申请同时还提供了一种图像处理装置、电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种图像处理方法的流程图；
图2为本申请实施例所提供的一种图像处理装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中高质量的医学图像的获得主要是基于高性能医学设备，但是这种设备造价高、临床使用率低。
基于上述技术问题，本实施例提供一种图像处理方法，能够把快速扫描的低质量图像向高质量图像的转化，降低了成本。具体请参考图1，图1为本申请实施例所提供的一种图像处理方法的流程图，具体包括：
S101、获取低质量医学图像集和对应的高质量医学图像集；
本实施例的目的是为了获取训练集，获取两组图像。第一组为低分辨率、低信噪比或者含有伪影的图像即低质量医学图像集，第二组为对应的高分辨率、高信噪比且不含伪影的图像即高质量医学图像集。
本实施例不对低质量医学图像集和对应的高质量医学图像集进行限定，应用的可以是超声图像、核磁共振图像或者X线CT图像等。并且，低质量医学图像集中的每一张图像都与高质量医学图像集中的图像对应，且是在同一部分进行扫描得到的图像。
进一步的，获取低质量医学图像集和对应的高质量医学图像集，包括：
获取初始低质量医学图像集和对应的初始高质量医学图像集；
对初始低质量医学图像集和初始高质量医学图像集进行参数调整，得到低质量医学图像集和对应的高质量医学图像集。
其中，以核磁共振图像为例，在1.5T或者3T磁场强度下采集的低分辨率和低信噪比图像(初始低质量医学图像)以及在对应磁场强度下采集的高分辨率和高信噪比图像(初始高质量医学图像)；对初始低质量医学图像集和初始高质量医学图像集进行参数调整，在特殊视野，带宽，采样时间，层厚等参数下的得到初始低质量医学图像集的含伪影图像集(低质量医学图像集)以及经过调整参数所获得初始高质量医学图像集的不含伪影图像集(高质量医学图像集)。其中，对应的磁场强度指，初始低质量医学图像和初始高质量医学图像是同一个病人在同一磁场强度下采集。最终的高质量医学图像必须为高分辨率、高信噪比且不含伪影的图像；低质量医学图像可能存在低分辨率、低信噪比、含有伪影中的一个或者多个问题。
S102、将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
本步骤的目的是为了得到神经网络模型。本实施例不对预设神经网络模型进行限定可以是对抗神经网络或卷积神经网络，其中卷积神经网络可以是常规卷积神经网络，还可以是改进卷积神经网络，当然也可以是双卷积神经网络。
进一步的，将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到初始神经网络模型；
利用评估机制对初始神经网络模型进行评估，得到评估值；
判断评估值是否大于预设评估阈值；
若大于预设评估阈值，则将初始神经网络模型确定为神经网络模型。
本实施例不对图像训练的过程进行限定，可以参考相关技术。本实施例不对评估阈值进行限定，可以是80％、85％、90％中的任意一个，当然还可以是其他数值，只要是能够实现本实施例的目的即可。
进一步的，若评估值不大于预设评估阈值，则基于初始神经网络模型进行训练，以使最终得到的评估值大于预设评估阈值。
进一步的，评估机也就是损失函数可以是评估机制是戴斯系数评估机制，和/或图平均方差评估机制。
可以理解的是，本实施例构建了神经网络模块评估机制，其包括戴斯系数评估机制和/或图平均方差评估机制。在一种可实现的实施方式中，利用戴斯系数评估机制对初始神经网络模型进行评估，得到评估值，具体评估值的获取可以是计算了质量提升后的医学图像与金标准医学图像之间的差异值；在另一种可实现的实施方式中，利用图平均方差评估机制对初始神经网络模型进行评估，得到评估值，具体评估值的获取可以是计算了质量提升后的医学图像与金标准医学图像之间的差异值；在另一种可实现的实施方式中，利用戴斯系数评估机制和图平均方差评估机制对初始神经网络模型进行评估，得到两个评估值，需要在两个评估机制下都取得不劣于金标准的结果。
S103、根据神经网络模型对测试图像进行测试，得到处理后图像；
可以理解的是，系统内存储有测试图像集，该测试图像集中包括低质量医学测试图像和对应的高质量医学测试图像。将低质量医学测试图像输入神经网络模型得到处理后图像。此时，技术人员根据处理后图像和高质量医学测试图像进行对比，通过评定两幅图像的性能参数得到验证结果。该性能参数包括但是不限定于信噪比、解剖和病理学显著性、运动残影、总体质量。当技术人员确定通过验证后，系统会接收到验证通过信息。
S104、当接收到处理后图像的验证通过信息时，确定神经网络模型通过验证，并根据神经网络模型对待处理图像进行处理，得到高质量医学图像。
当接收到处理后图像的验证通过信息时，此时，在保证神经网络模型通过评估后，再次通过技术人员的二次验证，确保了能够准确的应用在医学诊断中。可见，本实施例提供了一种基于深度学习的医学质量图像提升的方法，通过构建神经网络模型，在图像域空间上对2-4倍加速扫描生成的低质量的医学图像进行处理，提升了医学图像的信噪比和分辨率，消除伪影，从而完成核磁共振成像的优化重建和扫描速度提升。
基于上述技术方案，本实施例利用低质量医学图像集和高质量医学图像集进行训练得到神经网络模型，当测试图像通过神经网络模型得到处理后图像，当诊断人员根据处理后图像进行验证，如果验证通过，则通过设备下发验证通过信息，此时确定神经网络模型可以实际应用，然后利用该神经网络模型对待处理图像进行处理，输出高质量的待处理图像。本申请通过神经网络模型将快速扫描的低质量图像向高质量图像的转化，实现了增强信噪比，提高分辨率以及降低伪影的效果，成本低廉，转化效率高。
在一种可实现的实施方式中，将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：将低质量医学图像集和高质量医学图像集输入对抗神经网络进行图像训练，得到神经网络模型。
对抗神经网络包含生成器和判别器结构。生成器可以和卷积神经网络相同结构，判别器为基于卷积网络的二分类网络，输出生成图像和真实图像的概率大小。其中，生成器具有卷积神经网络结构，通过卷积操作生成高质量医学图像；生成器的卷积神经网络结构包含U-Net，Faster RCNN和mask RCNN中的任意一种网络结构。判别器可用包含N层(N>1)卷积操作，其于甄别生成的高质量医学图像的真实程度。
对抗神经网络还可以包含循环对偶结构，即两个生成器网络和两个判别器网络，本实施例不再限定对抗神经网络，用户可自定义设置，只要是能够实现本实施例的目的即可。
在另一种可实现的实施方式中，为了提高神经网络模型的准确性，本实施例采用双卷积网络模块进行训练，具体的，将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
根据低质量医学图像集、高质量医学图像集、双卷积神经网络模块进行图像训练，得到神经网络模型；
其中，双卷积神经网络模块包括第一卷积神经网络模块和第二卷积神经网络模块；
第一卷积神经网络模块包括多层对称的编码器和解码器结构，编码器输出端和解码器输入端进行串接连接，第一卷积神经网络模块使用第一图像定量误差参数作为损失函数；
第二卷积神经网络模块包括图像输入层、图像输出层、图像输入层与图像输出层之间的跳过连接，第二卷积神经网络模块采用第二图像定量误差参数作为损失函数。
其中，多层可以是四层还可以是六层，用户可自定义设置，只要是能够实现本实施例的目的即可。
其中，第一图像定量误差参数包括但是不限定于：结构相似性和/或平方误差，具体的，第一图像定量误差参数可以是结构相似性，第一图像定量误差参数还可以是平方误差，第一图像定量误差参数还可以是平方误差和结构相似形的组合。第二图像定量误差参数包括但是不限定于：平均绝对值误差和/或wavelet prediction loss和/或textureloss，具体的，第二图像定量误差参数可以是平均绝对值误差，第二图像定量误差参数还可以是平均绝对值误差和wavelet prediction loss，第二图像定量误差参数还可以是平均绝对值误差和texture loss，第二图像定量误差参数还可以是prediction loss，第二图像定量误差参数还可以是prediction loss和texture loss，第二图像定量误差参数还可以是texture loss，，第二图像定量误差参数还可以是平均绝对值误差、prediction loss和texture loss。
在一种可实现的实施方式中，根据低质量医学图像集、高质量医学图像集、双卷积神经网络模块进行图像训练，得到神经网络模型，包括：
将低质量医学图像集和高质量医学图像集输入第一卷积神经网络模块进行图像训练，得到第一神经网络模型；
将低质量医学图像集输入第一神经网络模型，得到优化的低质量医学图像集；
将优化的低质量医学图像集和高质量医学图像集输入第二卷积神经网络模块进行图像训练，得到第二神经网络模型；
将第一神经网络模型和第二神经网络模型作为神经网络模型。
优选的，第一图像定量误差参数为结构相似性和平方误差；对应的，第二图像定量误差参数为平均绝对值误差。
其中，其中，第一卷积神经网络模块与第一神经网络模型相对应，第二卷积神经网络模块与第二神经网络模型相对应。第一卷积神经网络模块和第二卷积神经网络模块均可以包括对称的编码器和解码器结构，当然还可以包括注意力控制结构，编码器和解码器结构具有下采样和上采样操作，编码器和解码器结构具有多尺度特征融合操作，注意力控制结构在采样过程中自动分配权重，从而忽略图像中的无关信息，其关注层域可以是空间域，通道域，层域以及混合域。并且，本实施例中的第一卷积神经网络模块使用结构相似性和平方误差作为损失函数，能够在识别图像结构信息方面具有优秀的性能。第二卷积神经网络模块在第一卷积神经网络模块的基础上在网络的图像输入层和图像输出层之间加入跳过连接，但是采用的是平均绝对误差差作为损失函数，在重建图像细节方面具有优秀的性能，因此，本实施例采用双卷积神经网络模块能够在第一个卷积神经网络模块训练完成后，得到第一神经网络模型，第一神经网络模型输出的图像输入第二卷积神经网络模块进行训练，最终通过训练后的第二神经网络模型输出结构信息优异、细节信息优异的高质量图像。
基于上述任意实施例，以核磁共振图像为例，本实施例提供一种具体的图像处理方法，包括：
本实施例使用三种不同的1.5T磁共振设备连续对27个平均年龄为49周岁的病人进行T2协议的腰椎影像扫描。扫描时长为2分12秒每序列的图像经过临床标准重建作为高分辨率及高信噪比的图像。所有病人紧接着(未下床)进行一次扫描时长为0分49秒每序列的腰椎影像扫描。收集到的信号经过相同的临床标准重建作为低分辨率及低信噪比的低质量图像。对紧接着采集的两组数据进行刚性配准，并筛选掉具有明显不匹配特征的图像组后，两者分别组成对应的低质量核磁共振图像集和高质量核磁共振图像集。
本实施例构建了两个侧重不同的卷积神经网络，即双卷积神经网络模块。第一个网络具有四层对称的编码器和解码器结构，在对应的编码器输出端和解码器输入端进行串接连接。第一卷积神经网络模块使用结构相似性(SSIM)和平方误差(L2)作为损失函数。该网络在识别图像结构信息方面具有较好的表现。
第二卷积神经网络模块在第一卷积神经网络模块的基础上在网络的图像输入层和图像输出层之间加入跳过连接，并采用平均绝对误差(L1)误差作为损失函数。该网络在重建图像细节方面具有更好的表现。
作为网络训练方式。将低质量核磁共振图像集和高质量核磁共振图像集作为第一卷积神经网络模块的输入端和标准输出端训练网络参数。在第一卷积神经网络模块训练完成后，将第一卷积神经网络模块的输出和收集到的高质量图像分别作为第二卷积神经网络模块的输入端和标准输出训练网络参数，最终得到神经网络模型。
在测试集上对神经网络模型效果进行验证，根据神经网络模型对测试图像进行测试，得到处理后图像。经过两位经验丰富的影像学医师比较，高质量图像和经过网络重建的处理后图像在信噪比、解剖和病理学显著性、运动残影以及图像总体质量方面在第一位阅片人处分别为5.0/4.9，5.0/4.9，4.9/4.8，5.0/4.9，在第二位阅片人处分别为4.4/4.3,4.8/4.5,4.7/4.7.4.4/4.2。(一分为不具备诊断功能，两份为表现糟糕的，三分为可用于诊断的，四分为影像质量较好的，五分为影像质量非常不错的)经过双边配对t-test,置信概率P<0.05，最终两者在统计学意义上不具有显著性差异，此时系统收到验证通过信息，然后可以利用该神经网络模型进行实际应用。
下面对本申请实施例提供的一种图像处理装置进行介绍，下文描述的装置与上文描述的方法可相互对应参照，参考图2，图2为本申请实施例所提供的一种图像处理装置的结构示意图，包括：
训练集获取模块201，用于获取低质量医学图像集和对应的高质量医学图像集；
图像训练模块202，用于将低质量医学图像集和高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
测试模块203，用于根据神经网络模型对测试图像进行测试，得到处理后图像；
验证模块204，用于当接收到处理后图像的验证通过信息时，确定神经网络模型通过验证，并根据神经网络模型对待处理图像进行处理，得到高质量医学图像。
优选的，图像训练模块202，包括：
第一训练单元，用于将低质量医学图像集和高质量医学图像集输入对抗神经网络进行图像训练，得到神经网络模型。
优选的，图像训练模块202，包括：
第二训练单元，用于根据低质量医学图像集、高质量医学图像集、双卷积神经网络模块进行图像训练，得到神经网络模型；
其中，双卷积神经网络模块包括第一卷积神经网络模块和第二卷积神经网络模块，
第一卷积神经网络模块包括多层对称的编码器和解码器结构，编码器输出端和解码器输入端进行串接连接，第一卷积神经网络模块使用第一图像定量误差参数作为损失函数；
第二卷积神经网络模块包括图像输入层、图像输出层、图像输入层与图像输出层之间的跳过连接，第二卷积神经网络模块采用第二图像定量误差参数作为损失函数。
优选的，第二训练单元，包括：
第一神经网络模型获得子单元，用于将低质量医学图像集和高质量医学图像集输入第一卷积神经网络模块进行图像训练，得到第一神经网络模型；
优化低质量医学图像集获得子单元，用于将低质量医学图像集输入第一神经网络模型，得到优化的低质量医学图像集；
第二神经网络模型获得子单元，用于将优化的低质量医学图像集和高质量医学图像集输入第二卷积神经网络模块进行图像训练，得到第二神经网络模型；
神经网络模型确定子单元，用于将第一神经网络模型和第二神经网络模型作为神经网络模型。
优选地，第一图像定量误差参数为结构相似性和平方误差；
对应的，第二图像定量误差参数为平均绝对值误差。
优选地，训练集获取模块201，包括：
获取单元，用于获取低质量核磁共振图像集和对应的高质量核磁共振图像集。
优选地，训练集获取模块201，包括：
第一获取单元，用于获取初始低质量医学图像集和对应的初始高质量医学图像集；
第二获取单元，用于对初始低质量医学图像集和初始高质量医学图像集进行参数调整，得到低质量医学图像集和对应的高质量医学图像集。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的方法可相互对应参照。请参考图3，图3为本申请实施例提供的一种电子设备的结构示意图，包括：
存储器300，用于存储计算机程序；
处理器400，用于执行计算机程序时实现如上述图像处理方法的步骤。
还可以包括：输入输出接口500，网络端口600。其中，存储器300包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器400可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器400为电子设备提供计算和控制能力，执行存储器300中保存的计算机程序时，可以实现图像处理方法的步骤。输入输出接口500，用于获取外部导入的计算机程序、参数和指令，经处理器400控制保存至存储器300中。该输入输出接口500可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。具体的，在本实施例中，用户可以通过输入输出接口500启动图像处理方法。网络端口600，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。具体的，在本实施例中，在正常联网的情况下，可以通过网络端口600与手机或者平板电脑进行交互实现认证。
由于电子设备部分的实施例与方法部分的实施例相互对应，因此电子设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述图像处理方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种图像处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取低质量医学图像集和对应的高质量医学图像集；
将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
根据所述神经网络模型对测试图像进行测试，得到处理后图像；
当接收到所述处理后图像的验证通过信息时，确定所述神经网络模型通过验证，并根据所述神经网络模型对待处理图像进行处理，得到高质量医学图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
将所述低质量医学图像集和所述高质量医学图像集输入对抗神经网络进行图像训练，得到所述神经网络模型。
3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型，包括：
根据所述低质量医学图像集、所述高质量医学图像集、双卷积神经网络模块进行图像训练，得到所述神经网络模型；
其中，所述双卷积神经网络模块包括第一卷积神经网络模块和第二卷积神经网络模块，
所述第一卷积神经网络模块包括多层对称的编码器和解码器结构，所述编码器输出端和所述解码器输入端进行串接连接，所述第一卷积神经网络模块使用第一图像定量误差参数作为损失函数；
所述第二卷积神经网络模块包括图像输入层、图像输出层、所述图像输入层与所述图像输出层之间的跳过连接，所述第二卷积神经网络模块采用第二图像定量误差参数作为损失函数。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述低质量医学图像集、所述高质量医学图像集、双卷积神经网络模块进行图像训练，得到所述神经网络模型，包括：
将所述低质量医学图像集和所述高质量医学图像集输入所述第一卷积神经网络模块进行图像训练，得到第一神经网络模型；
将所述低质量医学图像集输入所述第一神经网络模型，得到优化的所述低质量医学图像集；
将优化的所述低质量医学图像集和所述高质量医学图像集输入所述第二卷积神经网络模块进行图像训练，得到第二神经网络模型；
将所述第一神经网络模型和所述第二神经网络模型作为所述神经网络模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述第一图像定量误差参数为结构相似性和平方误差；
对应的，所述第二图像定量误差参数为平均绝对值误差。
6.根据权利要求1所述的图像处理方法，其特征在于，所述获取低质量医学图像集和对应的高质量医学图像集，包括：
获取低质量核磁共振图像集和对应的高质量核磁共振图像集。
7.根据权利要求1所述的图像处理方法，其特征在于，所述获取低质量医学图像集和对应的高质量医学图像集，包括：
获取初始低质量医学图像集和对应的初始高质量医学图像集；
对所述初始低质量医学图像集和所述初始高质量医学图像集进行参数调整，得到所述低质量医学图像集和对应的所述高质量医学图像集。
8.一种图像处理装置，其特征在于，包括：
训练集获取模块，用于获取低质量医学图像集和对应的高质量医学图像集；
图像训练模块，用于将所述低质量医学图像集和所述高质量医学图像集输入预设神经网络模块进行图像训练，得到神经网络模型；
测试模块，用于根据所述神经网络模型对测试图像进行测试，得到处理后图像；
验证模块，用于当接收到所述处理后图像的验证通过信息时，确定所述神经网络模型通过验证，并根据所述神经网络模型对待处理图像进行处理，得到高质量医学图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010777861.6A CN111899177A (zh) | 2020-08-05 | 2020-08-05 | 一种图像处理方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010777861.6A CN111899177A (zh) | 2020-08-05 | 2020-08-05 | 一种图像处理方法、装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111899177A true CN111899177A (zh) | 2020-11-06 |
Family
ID=73246975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010777861.6A Withdrawn CN111899177A (zh) | 2020-08-05 | 2020-08-05 | 一种图像处理方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111899177A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686867A (zh) * | 2020-12-31 | 2021-04-20 | 上海商汤智能科技有限公司 | 医学图像的识别方法及装置、电子设备和存储介质 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN112767259A (zh) * | 2020-12-29 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113409312A (zh) * | 2021-08-03 | 2021-09-17 | 广东博创佳禾科技有限公司 | 一种用于生物医疗影像的图像处理方法和装置 |
| CN114241077A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种ct图像分辨率优化方法及装置 |
| CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| WO2022257090A1 (zh) * | 2021-06-08 | 2022-12-15 | 苏州深透智能科技有限公司 | 一种磁共振成像方法及相关设备 |
-
2020
- 2020-08-05 CN CN202010777861.6A patent/CN111899177A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767259A (zh) * | 2020-12-29 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN112686867A (zh) * | 2020-12-31 | 2021-04-20 | 上海商汤智能科技有限公司 | 医学图像的识别方法及装置、电子设备和存储介质 |
| WO2022257090A1 (zh) * | 2021-06-08 | 2022-12-15 | 苏州深透智能科技有限公司 | 一种磁共振成像方法及相关设备 |
| CN113409312A (zh) * | 2021-08-03 | 2021-09-17 | 广东博创佳禾科技有限公司 | 一种用于生物医疗影像的图像处理方法和装置 |
| CN113409312B (zh) * | 2021-08-03 | 2021-11-02 | 广东博创佳禾科技有限公司 | 一种用于生物医疗影像的图像处理方法和装置 |
| CN114241077A (zh) * | 2022-02-23 | 2022-03-25 | 南昌睿度医疗科技有限公司 | 一种ct图像分辨率优化方法及装置 |
| CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| CN115187519B (zh) * | 2022-06-21 | 2023-04-07 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899177A (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
| CN107330949B (zh) | 一种伪影校正方法及系统 | |
| US20200319283A1 (en) | System and method for parallel magnetic resonance imaging | |
| US10852376B2 (en) | Magnetic resonance imaging method and device | |
| White et al. | Automated quality assessment of structural magnetic resonance images in children: Comparison with visual inspection and surface‐based reconstruction | |
| CN107656224B (zh) | 一种磁共振成像方法、装置及系统 | |
| US20170156630A1 (en) | System and method for adaptive and patient-specific magnetic resonance imaging | |
| CN110148195B (zh) | 一种磁共振图像生成方法、系统、终端及存储介质 | |
| CN105005012B (zh) | 基于压缩感知的腹部器官动态对比增强磁共振成像方法 | |
| CN110992440B (zh) | 弱监督磁共振快速成像方法和装置 | |
| CN103502831A (zh) | 对运动中目标的磁共振成像 | |
| US20240177377A1 (en) | Spect imaging prediction model creation method and apparatus, and device and storage medium | |
| US20210192806A1 (en) | Low-dose image reconstruction method and system based on prior anatomical structure difference | |
| US20210225491A1 (en) | Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium | |
| KR102584166B1 (ko) | 리스케일링과 인공신경망을 적용한 자기 공명 영상 처리 장치 및 그 방법 | |
| CN111598966B (zh) | 一种基于生成对抗网络的磁共振成像方法及装置 | |
| WO2021114098A1 (zh) | 弱监督磁共振快速成像方法和装置 | |
| CN111612865A (zh) | 一种基于条件生成对抗网络的mri成像方法及装置 | |
| CN116778021A (zh) | 医学图像生成方法、装置、电子设备和存储介质 | |
| CN111681297A (zh) | 图像重建方法、计算机设备和存储介质 | |
| CN116466279A (zh) | 一种用于肺部的磁共振成像方法、系统、电子设备及介质 | |
| WO2019232437A1 (en) | Solid-state mri as a noninvasive alternative to computed tomography (ct) | |
| CN112669400B (zh) | 基于深度学习预测和残差架构的动态mr重建方法 | |
| CN115496659A (zh) | 基于单张投影数据的三维ct图像重建方法及装置 | |
| CN111681251B (zh) | 组织器官参数确定方法、装置以及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201106 Assignee: Changsha Shentou Medical Technology Co.,Ltd. Assignor: Suzhou Shentou Intelligent Technology Co.,Ltd. Contract record no.: X2021980003577 Denomination of invention: The invention relates to an image processing method, an apparatus, an electronic device and a readable storage medium License type: Exclusive License Record date: 20210514 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201106 |
|
| WW01 | Invention patent application withdrawn after publication |