CN111311704B - 图像重建方法、装置、计算机设备和存储介质 - Google Patents
图像重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111311704B CN111311704B CN202010071026.0A CN202010071026A CN111311704B CN 111311704 B CN111311704 B CN 111311704B CN 202010071026 A CN202010071026 A CN 202010071026A CN 111311704 B CN111311704 B CN 111311704B
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- neural network
- reconstructed image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003062 neural network model Methods 0.000 claims abstract description 162
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000013139 quantization Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 57
- 238000005070 sampling Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 16
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像重建方法、装置、计算机设备和存储介质。所述方法包括:获取待检测对象的第一数据;将所述第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;所述第二数据的分辨率高于所述第一数据的分辨率;采用预设的图像重建方法对所述第二数据进行图像重建,得到第一重建图像;将所述第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;所述第二重建图像的质量量化值高于所述第一重建图像的质量量化值。采用本方法能够提高重建图像质量。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像重建方法、装置、计算机设备和存储介质。
背景技术
CT(Computed Tomography,即电子计算机断层扫描)设备因为具有扫描速度快等优点,被广泛应用于对人体进行病灶检查等方面,在利用CT设备对人体检查时,可以用X射线束对人体某特定部位进行扫描,并对扫描得到数据进行重建,得到人体该特定部位的图像,通过该图像就可以对人体特定部位进行检查。
相关技术中,在利用CT设备对人体进行检查时,受限于CT设备的成像成本等原因,仍有大量CT设备采用的是单焦点X射线球管成像方式采集数据,单焦点X射线球管成像过程中阴极发射的电子与阳极靶面进行碰撞,形成X射线,该X射线在阳极靶面上形成一个焦点,探测器通过采集该焦点上X射线的数据,然后对采集的数据进行图像重建就可以得到重建图像。
然而上述技术中得到的重建图像上存在较多噪声和伪影,从而会导致重建图像质量不高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高重建图像质量的图像重建方法、装置、计算机设备和存储介质。
一种图像重建方法,该方法包括:
获取待检测对象的第一数据;
将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
一种图像重建装置,该装置包括:
获取模块,用于获取待检测对象的第一数据;
第一处理模块,用于将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
重建模块,用于采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
第二处理模块,用于将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测对象的第一数据;
将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测对象的第一数据;
将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
上述图像重建方法、装置、计算机设备和存储介质,通过将获取的待检测对象的第一数据输入至第一神经网络模型,得到第二数据,对第二数据进行图像重建,得到第一重建图像,并将第一重建图像输入至第二神经网络模型,得到第二重建图像。在该方法中,由于采用神经网络模型对第一数据进行了优化处理,得到了分辨率更高的第二数据,那么在采用该第二数据进行图像重建时,得到的第一重建图像的质量会更高;同时,由于采用神经网络模型还进一步对第一重建图像进行了优化处理,得到了质量量化值更高的第二重建图像,相比一次优化处理,本方法进行的数据和图像的两次优化处理,最终得到的重建图像的质量更高;另外,本方法采用两次递进式的优化处理方法,可以降低图像重建的难度以及减少对数据直接重建带来的图像细节丢失问题;进一步地,本方法中采用神经网络模型对数据和图像进行优化,不需要对数据或图像进行迭代计算,因此可以降低计算量,加快图像重建速度;更进一步地,本方法不需要对现有硬件设备进行改进,因此也就不会增加硬件成本。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2a为一个实施例中图像重建方法的流程示意图;
图2b为一个实施例中对实际对象进行图像优化的结果示意图;
图2c为一个实施例中对实际对象进行图像优化的结果示意图;
图3a为另一个实施例中图像重建方法的流程示意图;
图3b为另一个实施例中进行小波变换的流程示意图;
图3c为另一个实施例中进行小波变换的流程示意图;
图3d为另一个实施例中图像重建方法的流程示意图;
图4为另一个实施例中图像重建方法的流程示意图;
图5为另一个实施例中图像重建方法的流程示意图;
图6为另一个实施例中模型的训练以及应用的流程示意图;
图7为一个实施例中图像重建装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
目前,在利用CT设备对人体进行检查时,受限于CT设备的成像成本等原因,仍有大量CT设备采用的是单焦点X射线球管成像方式采集数据,单焦点X射线球管成像过程中阴极发射的电子与阳极靶面进行碰撞,形成X射线,该X射线在阳极靶面上形成一个焦点,探测器通过采集该焦点上X射线的数据,然后对采集的数据进行图像重建就可以得到重建图像,然而该技术中得到的重建图像上存在较多噪声和伪影,从而会导致重建图像质量不高的问题。相关技术中为了提高重建图像的质量,提出了两种改进方法,一种是改进成像方式,例如采用飞焦点成像技术,利用磁场使阳极靶面上的实际焦点发生偏移,产生多个焦点,从而使得探测器在相同的时间内获得的数据量更多,并且聚焦区域处的成像质量也优于非聚焦区的成像质量,从而就可以提高CT图像的成像质量,但是飞焦点X射线球管成本很高,数据的传输量大,还会增加CT设备的不稳定性;另一种是改进CT重建技术,例如采用迭代重建算法,迭代重建算法是一种可以利用多种数学模型去除低剂量CT图像噪声和伪影的替代重建算法,可以获得高质量的低剂量CT图像,但由于迭代重建算法需要进行几何建模、投影/反投影物理建模、投影测量噪声统计建模等任务,计算量很大,因此会增加CT的重建的计算成本。因此,本申请实施例提供一种图像重建方法、装置、计算机设备和存储介质,旨在解决上述技术问题。
本申请实施例提供的图像重建方法,可以应用于计算机设备,该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,本申请实施例的执行主体可以是计算机设备,也可以是图像重建装置,下述实施例将以计算机设备为执行主体来进行说明。
在一个实施例中,提供了一种图像重建方法,本实施例涉及的是如何对数据和图像进行处理,得到最终的重建图像的具体过程。如图2a所示,该方法可以包括以下步骤:
S202,获取待检测对象的第一数据。
其中,检测对象一般为人类,当然也可以是非人类,本实施例不作具体限定;在本实施例中,第一数据可以是采用扫描设备对待检测对象进行扫描之后得到的扫描数据或者投影数据,扫描设备可以是CT设备、PET设备、MR设备、PET-CT设备、PET-MR设备等等,本实施例主要使用的扫描设备为CT设备,更进一步地可以是采用单焦点X射线球管的CT设备,利用单焦点X射线球管的CT设备对待检测对象进行扫描,由于采样过程中采样不足,因此得到的采样数据较少,可以称为稀疏采样数据,这里的第一数据就可以是稀疏采样数据。
具体的,可以采用单焦点X射线球管的CT设备对待检测对象进行扫描,得到待检测对象的扫描数据或者投影数据,并将该扫描数据或者投影数据记为第一数据。
S204,将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率。
其中,第一神经网络模型可以是机器学习网络模型,当然也可以是其他网络模型,机器学习网络模型可以是DNN(Deep Neural Networks,深度神经网络)、CNN(Convolutional Neural Networks,卷积神经网络)、RNN(Recurrent Neural Network,循环神经网络)等,在是CNN时,其可以是V-Net模型、U-Net模型、ResUnet模型等。
可选的,第一神经网络模型的卷积层结构为非对称结构,该非对称结构的下采样卷积层的层数小于上采样卷积层的层数,上下采样卷积层具体的层数可以根据实际情况下第一数据的分辨率和第二数据的分辨率而定,本实施例对此不作具体限定。在采用第一神经网络模型对第一数据进行优化处理时,可以是将第一数据经过M-1次下采样(收缩路径)和M次上采样(扩张路径)得到优化后分辨率提高的正弦图(即第二数据)。其中下采样操作包含典型的卷积网络结构,其由多个重复的的卷积核组成,且均使用修正线性单元(rectified linear unit,ReLU)激活函数,同时采用步长为2的最大池化操作,这里卷积核的大小可以为3×3,当然也可以为其他大小。在每一个下采样操作中,特征通道数量都加倍,得到的下采样特征图的尺寸都减半;在上采样操作中,每一步都对特征图进行上采样,得到的上采样特征图的尺寸都增加一倍,在这里可以将相同尺度的下采样特征图和上采样特征图之间采用跨连接(skip connection)的方式,这样可以保证最后恢复出来的特征图可以融合上下采样过程中的特征,从而使最后得到的特征图的信息更加丰富。这里也可以对输入数据(即第一数据)进行插值,然后与输出数据(即第二数据)之间使用一个跨连接相连,使用残差学习方式进行训练。下采样的次数M视稀疏采样的正弦图的分辨率而定,例如大小为936×2400的单焦点成像采集到的正弦图(第一数据对应的数据图),经过六次下采样和七次上采样得到分辨率为1872×2400的正弦图(第二数据对应的数据图)。
另外,第一处理可以是对第一数据进行的优化处理,包括对第一数据进行的去噪处理、去伪影处理等等。除此之外,第一数据如果是扫描数据或投影数据,那么第二数据也是扫描数据或投影数据。
具体的,计算机设备可以将对待检测图像扫描得到的扫描数据或投影数据输入至第一神经网络模型中进行优化处理,得到优化后的扫描数据或投影数据,记为第二数据,该第二数据的分辨率高于第一数据的分辨率。
S206,采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像。
其中,预设的图像重建方法可以是滤波反投影算法(FBA,Filteredbackprojection algorithm),当然也可以是其他图像重建算法。第一重建图像可以是二维图像、三维图像、四维图像等。
具体的,在得到第二数据之后,可以采用预设的图像重建算法对第二数据进行重建处理,得到重建图像,记为第一重建图像。由于第二数据的分辨率高于第一数据的分辨率,那么在采用高分辨率的第二数据进行图像重建时,得到的重建图像的质量相比采用第一数据重建的图像的质量更高。
S208,将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
其中,第二神经网络模型可以和第一神经网络模型相同,也可以是机器学习网络模型,当然也可以是其他网络模型,机器学习网络模型可以是DNN(Deep Neural Networks,深度神经网络)、CNN(Convolutional Neural Networks,卷积神经网络)、RNN(RecurrentNeural Network,循环神经网络)等,在是CNN时,其可以是V-Net模型、U-Net模型、ResUnet模型、Pix2pix模型、生成式对抗网络(GAN,Generative Adversarial Nets)模型(例如CycleGAN模型)等。在这里,第二神经网络模型可以包括至少一个上采样卷积层和至少一个下采样卷积层,上采样卷积层的层数和下采样卷积层的层数可以相同,也可以不同,不同时,可以是上采样卷积层的层数小于下采样卷积层的层数;也就是说,第一重建图像的分辨率可以和第二重建图像的分辨率相同,也可以不同,不同时,可以是第二重建图像的分辨率高于第一重建图像的分辨率也就是说,这里第二神经网络模型的结构可以是对称结构,也可以是非对称结构。另外,第二重建图像可以是二维图像、三维图像、四维图像,不过本实施例中第二重建图像的维度和第一重建图像的维度相同。
另外,这里的第二处理可以是对第一重建图像进行的优化处理,包括对第一重建图像进行的去噪处理、去伪影处理等等。
除此之外,质量量化值可以是对表征重建图像质量的各项指标进行的一个综合评分,各项指标可以包括信噪比、SSIM(structural similarity index,结构相似性)等。另外,本实施例中第二神经网络模型的金标准可以为采用全采样数据进行图像重建图像得到的重建图像,记为全采样重建图像,这里第一重建图像的SSIM就可以是第一重建图像和全采样重建图像之间的相似度,第二重建图像的SSIM就可以是第二重建图像和全采样重建图像之间的相似度。示例地,假设第一重建图像的信噪比为0.5、SSIM为0.6,第二重建图像的信噪比为0.8、SSIM为0.96,质量量化值可以是各项指标的均值,那么第一重建图像的质量量化值为(0.5+0.6)/2=0.55,第二重建图像的质量量化值为(0.8+0.96)/2=0.88。
另外,为了进一步量化本申请实施例方法的有效性,提出了标准差,该标准差也可以作为表征重建图像质量的一个指标。在这里,可以计算优化前后重建图像上某个选定区域(例如图2c中方框框选区域)的内的标准差,标准差的可以用如下公式表示,公式如下:
其中,W和H分别代表选定区域的宽和高,i表示选定区域在宽度方向上的点的索引,j表示选定区域在高度方向上的点的索引,xij和分别代表选定区域的各个点CT值和该区域CT的平均值。
以图2c的选定区域为例,图2c中三幅图的选定区域相同,通过实验计算,图2c中第一重建图像选定区域的标准差为78.4,第二重建图像的指定区域的标准差为21.2,金标准的指定区域的标准差为18.2。显然,经过本实施例的方法优化处理后的第二重建图像的标准差与金标准重建图像的标准差十分接近,且远低于优化处理之前的第一重建图像的标准差,因此,本实施例的方法得到的第二重建图像十分接近金标准重建图像。
具体的,计算机设备可以将上述得到的第一重建图像输入至第二神经网络模型中进行优化处理,得到优化后的重建图像,记为第二重建图像,该第二重建图像的质量量化值高于第一重建图像的质量量化值。本步骤相对于S204对扫描数据或投影数据的优化处理,本步骤是进一步对重建图像进行的优化处理,也就是说,本方案进行了数据和图像的两次优化处理,相当于在图像重建过程中进行了两次递进式的优化处理,这样相比任何一种采用一次优化处理的方法,得到的重建图像的质量更高。
示例地,参见图2b所示,为采用本实施例的方法对第一重建图像进行优化处理后得到的示意图,图2b中的图(1)为第一重建图像,图(2)为第二重建图像,图(3)为金标准采样图像,可见,图2b中的图(1)中有向左下方倾斜的纹理,这些纹理就是图像上的噪声和伪影,在经过优化处理之后,可见,图2b中的图(2)中的纹理几乎看不见,也就是对噪声和伪影进行了优化处理,得到的图像和图2b中的图(3)的金标准图像较为接近。
另外,参见图2c所示,也是采用本实施例的方法对第一重建图像进行优化处理后得到的示意图,图2c中的图(1)为第一重建图像,图(2)为第二重建图像,图(3)为金标准采样图像,可见,图2c中的图(1)中有向右下方倾斜的纹理,这些纹理就是图像上的噪声和伪影,在经过优化处理之后,可见,图2c中的图(2)中的纹理几乎看不见,也就是对噪声和伪影进行了优化处理,得到的图像和图2c中的图(3)的金标准图像较为接近。
由上述图2b和图2c可见,如果从视觉感受上去评估重建图像的质量,显然,本申请实施例的方法得到的重建图像与金标准重建图像比较接近,其上的噪声和伪影相比较优化之前的图像而言,噪声和伪影更少,图像更加清晰,也就是说,本实施例也可以通过视觉感受来评估重建图像的质量好坏。
另外,需要说明的是,图2b和图2c只是简单的示意图,并不构成对本方案实质内容的影响。
进一步的,需要说明的是,本实施例中主要是采用单焦点X射线球管的CT设备对待检测对象进行扫描,那么利用该设备对待检测对象进行扫描,同时结合本实施例的方法,可以得到接近使用飞焦点X射线球管的CT设备对待检测对象进行扫描,得到的重建图像的图像质量,即可以提高单焦点X射线球管成像的图像质量。同时本实例的方法也适用于为了降低辐射剂量而采取的增大螺距、降低管电流、调节管电压等方式造成的采集到的CT数据欠采样而产生的噪声和伪影的情况,在降低辐射的情况下还可以得到接近原辐射剂量情况下的图像质量,即可以得到接近飞焦点X射线球管的CT设备得到的图像的图像质量。
上述图像重建方法,通过将获取的待检测对象的第一数据输入至第一神经网络模型,得到第二数据,对第二数据进行图像重建,得到第一重建图像,并将第一重建图像输入至第二神经网络模型,得到第二重建图像。在该方法中,由于采用神经网络模型对第一数据进行了优化处理,得到了分辨率更高的第二数据,那么在采用该第二数据进行图像重建时,得到的第一重建图像的质量会更高;同时,由于采用神经网络模型还进一步对第一重建图像进行了优化处理,得到了质量量化值更高的第二重建图像,相比一次优化处理,本方法进行的数据和图像的两次优化处理,最终得到的重建图像的质量更高;另外,本方法采用两次递进式的优化处理方法,可以降低图像重建的难度以及减少对数据直接重建带来的图像细节丢失问题;同时,本方法中采用神经网络模型对数据和图像进行优化,不需要对数据或图像进行迭代计算,因此可以降低计算量,加快图像重建速度;进一步地,本方法不需要对现有硬件设备进行改进,因此也就不会增加硬件成本。
在另一个实施例中,提供了另一种图像重建方法,本实施例涉及的是如何对第一重建图像进行优化处理,得到第二重建图像的具体过程。在上述实施例的基础上,如图3a所示,上述S208可以包括以下步骤:
S302,对第一重建图像进行小波变换处理,得到第一重建图像的低频信息和第一重建图像的高频信息。
S304,将第一重建图像的低频信息和第一重建图像的高频信息输入至第二神经网络模型中进行第二处理,得到处理后的低频信息和处理后的高频信息。
S306,对处理后的低频信息和处理后的高频信息进行小波逆变换处理,得到第二重建图像。
在本实施例中,在得到上述通过对第二数据进行图像重建得到第一重建图像后,可以对第一重建图像进行小波变换处理,以第一重建图像(记为Iwh)为二维图像,其两个边界方向分别为纵向和横向为例,参见图3b、图3c所示,具体为先利用低通滤波器(记为g)和高通滤波器(记为h)沿着第一重建图像的纵向(记为n)进行滤波,并进行二倍降采样,得到第一重建图像纵向的低频分量和纵向的高频分量,记为L和H,然后再利用低通滤波器和高通滤波器分别对两个分量沿着横向(记为m)进行低通和高通滤波,再进行二倍降采样,得到第一重建图像的对角低频信息、水平高频信息、垂直高频信息、对角高频信息,分别记为LL、HL、LH、HH,这里的对角低频信息可以称为低频信息,水平高频信息、垂直高频信息、对角高频信息可以称为高频信息。
在得到第一重建图像的低频信息、水平高频信息、垂直高频信息、对角高频信息后,参见图3d所示,可以将这四个信息作为第二神经网络模型的四个通道输入至第二神经网络模型中,并对这四个信息进行优化处理,得到优化处理后的低频信息、水平高频信息、垂直高频信息、对角高频信息,之后可以对这四个优化处理后的信息进行小波逆变换处理,即再利用高通滤波器和低通滤波器对这四个优化处理后的信息进行反滤波,最终得到第二重建图像。
另外,继续参见图3d所示,第二神经网络模型的结构可以为对称结构,即下采样卷积层的层数和上采样卷积层的层数相同,这样可以使输入输出图像的尺寸相同,经过N次下采样操作(收缩路径)和N次上采样操作(扩张路径)后得到优化后的图像。其中下采样操作包含典型的卷积网络结构,由多个重复的卷积核(无填充卷积)组成,且均使用修正线性单元(rectified linear unit,ReLU)激活函数,同时采用步长为2的最大池化操作,这里卷积核的大小可以为3×3,当然也可以为其他大小。在每一个下采样操作中,特征通道数量都加倍,得到的下采样特征图的尺寸都减半;在上采样操作中,每一个上采样操作都对特征图进行上采样,得到的上采样特征图的尺寸都增加一倍,在这里可以将相同尺度的下采样特征图和上采样特征图之间采用跨连接(skip connection)的方式,这样可以保证最后恢复出来的特征图可以融合上下采样过程中的特征,从而使最后得到的特征图的信息更加丰富;这里输入图像与输出图像之间使用一个跨连接相连,使用残差学习方式进行训练。另外,上述N的大小可以根据实际情况下第一重建图像的分辨率而定,例如第一重建图像的尺寸为256×256,经过N次下采样操作得到尺寸为16×16的下采样特征图,那么这里的N可以为4。
本实施例提供的图像重建方法,可以对第一重建图像进行小波变换处理,并将小波变换后第一重建图像的低频信息和第一重建图像的高频信息输入至第二神经网络模型中进行优化处理,以及对优化处理后的低频信息和处理后的高频信息进行小波逆变换处理,得到第二重建图像。在本实施例中,由于先对第一重建图像进行了小波变换处理,将图像的高频信息和低频信息分离出来,这样更有利于后续利用模型对图像进行去噪;因此在此基础上对小波变换后得到的低频信息和高频信息进行优化处理,从而可以达到更好的去噪和去伪影效果,即可以使最终得到的第二重建图像的质量更高。
在另一个实施例中,提供了另一种图像重建方法,本实施例涉及的是如何对第二重建图像进行训练的具体过程。在上述实施例的基础上,如图4所示,第二神经网络模型的训练过程可以包括以下步骤:
S402,根据多个样本数据得到多个第一样本重建图像,并根据多个样本数据对应的标准数据得到多个第二样本重建图像;该第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值,标准数据的分辨率高于对应的样本数据的分辨率。
其中,标准数据可以是通过采用飞焦点成像技术的CT设备对样本对象进行扫描,得到的全采样扫描数据或全采样投影数据,样本扫描数据为通过采用单焦点X射线球管成像技术的CT设备对样本对象进行扫描,得到的样本扫描数据或样本投影数据,这里的样本扫描数据或样本投影数据为稀疏采样数据,样本数据的分辨率不高于(低于等于)标准数据的分辨率,这里标准数据的数量和样本数据的数量相同,且样本数据和标准数据一一对应。
具体的,计算机设备可以采用预设的图像重建算法对多个样本数据进行图像重建,得到每个样本数据对应的重建图像,即得到多个第一样本重建图像,同时也可以采用预设的图像重建算法对每个样本数据对应的标准数据进行图像重建,得到每个标准数据对应的重建图像,即得到多个第二样本重建图像。其中,每个第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值。在本实施例中,多个第二样本重建图像为第二神经网络模型训练时的金标准,为全采样重建图像。
S404,基于多个第一样本重建图像和多个第二样本重建图像对初始第二神经网络模型进行训练,得到第二神经网络模型。
在本步骤中,第二神经网络模型可以是生成式对抗网络GAN模型,在利用第一样本重建图像和第二样本重建图像进行模型训练时,可选的,可以采用如下步骤A1-A4进行训练:
步骤A1,将第一样本重建图像输入至初始第二神经网络模型,得到第一预测重建图像。
步骤A2,将第一预测重建图像输入至预设的分类网络,得到第一预测重建图像的预测类别。
步骤A3,计算第二样本重建图像和第一预测重建图像之间的第一损失,以及,计算第一预测重建图像上各个像素点和各个像素点的相邻像素点之间的第二损失,以及,根据第一预测重建图像的预测类别计算第三损失。
步骤A4,利用第一损失、第二损失和第三损失对初始第二神经网络模型进行训练,得到第二神经网络模型。
具体的,在得到多个第一样本重建图像和多个第二样本重建图像之后,可以对各第一样本重建图像和各第二样本重建图像进行预处理,包括重采样、标准化等。在预处理之后,可以将各第一样本重建图像输入至初始第二神经网络模型,得到初始第二神经网络模型输出的第一预测重建图像,然后将该第一预测重建图像输入至初始分类网络,得到第一预测重建图像的预测类别,同时将第二样本重建图像输入至初始分类网络,得到第二样本重建图像的预测类别,参见公式(1)所示,可以计算第一预测重建图像的预测类别和第二样本重建图像的预测类别之间的损失,记为LD,并利用该损失对初始分类网络进行训练,得到训练好的分类网络;同时利用L1损失函数计算第二样本重建图像和第一预测重建图像之间的损失,记为第一损失,参见公式(2)所示,利用TV损失函数计算第一预测重建图像上各个像素点和各个像素点的相邻像素点之间的损失,记为第二损失,参见公式(3)所示,以及,根据第一预测重建图像的预测类别计算第三损失,记为生成器损失LG,参见公式(4)所示,然后可以将这里的第一损失作为L1损失函数的值,将这里的第二损失作为TV损失函数的值,将第三损失作为LG损失函数的值,之后,可以按照公式(5)将L1损失函数的值、TV损失函数的值以及LG损失函数的值结合起来,得到最终的损失函数,记为Lim,并利用Lim的值对初始第二神经网络模型进行训练,得到训练好的第二神经网络模型。
LD(Jim,I'im)=-log(D(Jim))-log(1-D(I'im)) (1)
LL1(Jim,I'im)=|Jim-I'im| (2)
LG(I'im)=log(1-D(I'im)) (4)
Lim(Jim,I'im)=αLL1(Jim,I'im)+βLG(I'im)+γLTV(I'im) (5)
其中,D(·)为分类网络,Jim为第二样本重建图像,I'im为第一预测重建图像,W为第一预测重建图像的宽度,H为第一预测重建图像的高度,宽度和高度以像素点为单位,i为宽度方向上的像素点索引,j为高度方向上的像素点索引,LD为第一预测重建图像的预测类别和第二样本重建图像的预测类别之间的损失,LL1为第一损失,LTV为第二损失,LG为第三损失,Lim为第二神经网络模型最终的损失,α,β,γ,δ为根据实际情况而定的一些参数,为已知量,δ一般为1。
另外,在上述第二神经网络模型训练过程中,同时也可以对分类网络进行训练,一般分类网络会在第二神经网络模型训练好之前训练好,在分类网络训练好之后,可以继续对第二神经网络模型进行训练。在训练分类网络时,当分类网络的损失函数的值小于预设的第一阈值时,或者当损失函数的值基本稳定时(即不再发生变化时),则可以确定分类网络已经训练好;在对第二神经网络模型训练时,当第二神经网络模型最终的损失函数的值小于预设的第二阈值时,或者当损失函数的值基本稳定时(即不再发生变化时),则可以确定第二神经网络模型已经训练好,否则还要继续训练,当训练好时可以固定第二神经网络模型的参数,便于下一步图像优化使用。除此之外,上述第一阈值和第二阈值可以相同,也可以不同,均可以是根据实际情况而定的值。
进一步地,上述分类网络也可以称为判别器,可以是神经网络,例如Resnet、DenseNet等,当然也可以是其他网络,本实施例对此不作具体限定。这里的分类网络主要是为了区分第一预测重建图像和第二样本重建图像,以此来监督第二神经网络模型训练,使得第二神经网络模型优化后的第一预测重建图像尽可能地接近第二样本重建图像(即接近金标准的全采样重建图像)。
本实施例提供的图像重建方法,可以根据多个样本数据得到多个第一样本重建图像,并根据多个样本数据对应的标准数据得到多个第二样本重建图像,第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值,标准数据的分辨率高于对应的样本数据的分辨率,第二样本重建图像作为金标准,并基于多个第一样本重建图像和多个第二样本重建图像对初始第二神经网络模型进行训练,得到最终训练好的第二神经网络模型。在本实施例中,由于第二神经网络模型是采用金标准第二样本重建图像训练的,因此得到的第二神经网络模型是比较准确的,进而在利用该准确的第二神经网络模型对第一重建图像进行优化处理时,得到的第二重建图像也是比较准确的,即比较接近全采样重建图像;另外,由于本实施例采用的第二神经网络模型是GAN模型训练策略,那么在利用训练好的模型对重建图像进行优化时,得到的优化重建图像能够更加接近全采样重建图像的视觉效果。
在另一个实施例中,提供了另一种图像重建方法,本实施例涉及的是如何对第一神经网络模型进行训练的具体过程。在上述实施例的基础上,如图5所示,第一神经网络模型的训练过程可以包括以下步骤:
S502,获取样本数据集;该样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,第二样本数据的分辨率高于对应的第一样本数据的分辨率。
其中,这里的第二样本数据可以与上述S402中的标准数据相同,即为通过采用飞焦点成像技术的CT设备对样本对象进行扫描,得到的全采样扫描数据或全采样投影数据,第一样本数据可以是通过采用单焦点X射线球管成像技术的CT设备对样本对象进行扫描或者通过降低辐射剂量的方式对样本对象进行扫描得到的样本扫描数据或样本投影数据,为稀疏采样数据,记为第一样本数据。第二样本数据可以是采用飞焦点X射线球管成像技术的CT设备对样本对象进行扫描得到的数据,一般第一样本数据和其对应的第二样本数据是在相同的扫描时间,采用不同的扫描设备对相同的待检测对象进行扫描得到的。这里第一样本数据的分辨率不高于(低于等于)第二样本数据的分辨率,这里第二样本数据的数量和第一样本数据的数量相同,且第一样本数据和第二样本数据一一对应。在本实施例中,多个第二样本数据为第一神经网络模型训练时的金标准,为全采样数据。
S504,基于样本数据集对初始第一神经网络模型进行训练,得到第一神经网络模型。
在本步骤中,在利用第一样本数据和第二样本数据进行模型训练时,可选的,可以采用如下步骤B1-B3进行训练:
步骤B1,将第一样本数据输入至初始第一神经网络模型,得到第一预测数据。
步骤B2,计算第一预测数据和第二样本数据之间的第一损失,以及,计算第一预测数据上各个点和各个点的相邻点之间的第二损失。
步骤B3,利用第一损失和第二损失对初始第一神经网络模型进行训练,得到第一神经网络模型。
具体的,在得到多个第一样本数据和多个第二样本数据之后,可以对各第一样本数据和各第二样本数据进行预处理,包括重采样、标准化等。在预处理之后,可以将各第一样本数据输入至初始第一神经网络模型,得到第一样本数据对应的第一预测数据,然后可以利用L1损失函数计算第一预测数据与对应的金标准第二样本数据之间的损失,记为第一损失,参见公式(6)所示,以及利用TV损失函数计算第一预测数据上各个点和各个点的相邻点之间的损失,记为第二损失,参见公式(7)所示,之后将这里的第一损失作为L1损失函数的值,将这里的第二损失作为TV损失函数的值,然后按照公式(8)将L1损失函数的值、TV损失函数的值结合起来,得到最终的损失函数,记为Lsin,并利用Lsin的值对初始第一神经网络模型进行训练,得到训练好的第一神经网络模型。
LL1(Jsin,I'sin)=|Jsin-I'sin| (6)
Lsin(Jsin,I'sin)=αLL1(Jsin,I'sin)+βLTV(I'sin) (8)
其中,Jsin为第二样本数据,I'sin为第一预测数据,W为第一预测数据的宽度,H为第一预测数据的高度,宽度和高度以点为单位,i为宽度方向上的点索引,j为高度方向上的点索引,LL1为第一损失,LTV为第二损失,Lsin为第一神经网络模型最终的损失,α,β为根据实际情况而定的一些参数,为已知量。
上述在训练第二神经网络模型过程中,当第一神经网络模型最终的损失函数的值小于预设的阈值时,或者当损失函数的值基本稳定时(即不再发生变化时),则可以确定第一神经网络模型已经训练好,否则还要继续训练,当训练好时可以固定第一神经网络模型的参数,便于下一步数据优化使用。
本实施例提供的图像重建方法,通过获取样本数据集,该样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,第二样本数据的分辨率高于对应的第一样本数据的分辨率,第二样本数据作为金标准,并基于样本数据集对初始第一神经网络模型进行训练,得到第一神经网络模型。在本实施例中,由于第一神经网络模型是采用金标准第二样本数据训练的,因此得到的第一神经网络模型是比较准确的,进而在利用该准确的第一神经网络模型对第一数据进行优化处理时,得到的第二数据也是比较准确的,即比较接近全采样数据。
在另一个实施例中,为了对本申请的技术方案进行详细说明,参见图6所示,为本申请提供的第一神经网络模型模型(记为Model1)和第二神经网络模型(记为Model2)的训练过程以及应用过程。在训练时,将稀疏采样投影数据输入至Model1,得到优化后的投影数据,并将输入和输出进行连接,利用残差方式对Model1进行训练,之后,可以对训练好的Model输出的优化后的投影数据进行图像重建,得到初步优化结果(例如上述提到的第一重建图像),并将初步优化结果输入至Model2,得到最终结果(例如上述提到的第二重建图像),并将输入和输出进行连接,利用残差方式对Model2进行训练。在Model1和Model2训练好之后,就可以应用Model1和Model2对实际的数据进行优化处理,在应用过程中,可以将初始投影数据或扫描数据输入至训练好的Model1,得到优化后的投影数据或扫描数据,对优化后的投影数据或扫描数据进行图像重建,得到初步重建图像,并将初步重建图像输入至训练好的Model2,得到最终的重建图像。利用两次迭代优化处理方式,可以使最终得到的重建图像质量更高。
应该理解的是,虽然图2a、3a、4-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2a、3a、4-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种图像重建装置,包括:获取模块10、第一处理模块11、重建模块12和第二处理模块13,其中:
获取模块10,用于获取待检测对象的第一数据;
第一处理模块11,用于将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
重建模块12,用于采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
第二处理模块13,用于将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
可选的,上述第一神经网络模型的卷积层结构为非对称结构,该非对称结构的下采样卷积层的层数小于上采样卷积层的层数。
关于图像重建装置的具体限定可以参见上文中对于图像重建方法的限定,在此不再赘述。
在另一个实施例中,提供了另一种图像重建装置,在上述实施例的基础上,上述第二处理模块13包括变换处理单元、优化处理单元、逆变换处理单元,其中:
变换处理单元,用于对第一重建图像进行小波变换处理,得到第一重建图像的低频信息和第一重建图像的高频信息;
优化处理单元,用于将第一重建图像的低频信息和第一重建图像的高频信息输入至第二神经网络模型中进行第二处理,得到处理后的低频信息和处理后的高频信息;
逆变换处理单元,用于对处理后的低频信息和处理后的高频信息进行小波逆变换处理,得到第二重建图像。
在另一个实施例中,提供了另一种图像重建装置,在上述实施例的基础上,上述装置还可以包括第一训练模块,该第一训练模块包括第一确定单元和第一训练单元,其中:
第一确定单元,用于根据多个样本数据得到多个第一样本重建图像,并根据多个样本数据对应的标准数据得到多个第二样本重建图像;该第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值,标准数据的分辨率高于对应的样本数据的分辨率;
第一训练单元,用于基于多个第一样本重建图像和多个第二样本重建图像对初始第二神经网络模型进行训练,得到第二神经网络模型。
可选的,上述第一训练单元,还用于将第一样本重建图像输入至初始第二神经网络模型,得到第一预测重建图像;将第一预测重建图像输入至预设的分类网络,得到第一预测重建图像的预测类别;计算第二样本重建图像和第一预测重建图像之间的第一损失,以及,计算第一预测重建图像上各个像素点和各个像素点的相邻像素点之间的第二损失,以及,根据第一预测重建图像的预测类别计算第三损失;利用第一损失、第二损失和第三损失对初始第二神经网络模型进行训练,得到第二神经网络模型。
在另一个实施例中,提供了另一种图像重建装置,在上述实施例的基础上,上述装置还可以包括第二训练模块,该第二训练模块包括获取单元和第二训练单元,其中:
获取单元,用于获取样本数据集;该样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,第二样本数据的分辨率高于对应的第一样本数据的分辨率;
第二训练单元,用于基于样本数据集对初始第一神经网络模型进行训练,得到第一神经网络模型。
可选的,上述第二训练单元,还用于将第一样本数据输入至初始第一神经网络模型,得到第一预测数据;计算第一预测数据和第二样本数据之间的第一损失,以及,计算第一预测数据上各个点和各个点的相邻点之间的第二损失;利用第一损失和第二损失对初始第一神经网络模型进行训练,得到第一神经网络模型。
关于图像重建装置的具体限定可以参见上文中对于图像重建方法的限定,在此不再赘述。
上述图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检测对象的第一数据;
将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对第一重建图像进行小波变换处理,得到第一重建图像的低频信息和第一重建图像的高频信息;将第一重建图像的低频信息和第一重建图像的高频信息输入至第二神经网络模型中进行第二处理,得到处理后的低频信息和处理后的高频信息;对处理后的低频信息和处理后的高频信息进行小波逆变换处理,得到第二重建图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据多个样本数据得到多个第一样本重建图像,并根据多个样本数据对应的标准数据得到多个第二样本重建图像;该第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值,标准数据的分辨率高于对应的样本数据的分辨率;基于多个第一样本重建图像和多个第二样本重建图像对初始第二神经网络模型进行训练,得到第二神经网络模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一样本重建图像输入至初始第二神经网络模型,得到第一预测重建图像;将第一预测重建图像输入至预设的分类网络,得到第一预测重建图像的预测类别;计算第二样本重建图像和第一预测重建图像之间的第一损失,以及,计算第一预测重建图像上各个像素点和各个像素点的相邻像素点之间的第二损失,以及,根据第一预测重建图像的预测类别计算第三损失;利用第一损失、第二损失和第三损失对初始第二神经网络模型进行训练,得到第二神经网络模型。
在一个实施例中,第一神经网络模型的卷积层结构为非对称结构,该非对称结构的下采样卷积层的层数小于上采样卷积层的层数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取样本数据集;该样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,第二样本数据的分辨率高于对应的第一样本数据的分辨率;基于样本数据集对初始第一神经网络模型进行训练,得到第一神经网络模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一样本数据输入至初始第一神经网络模型,得到第一预测数据;计算第一预测数据和第二样本数据之间的第一损失,以及,计算第一预测数据上各个点和各个点的相邻点之间的第二损失;利用第一损失和第二损失对初始第一神经网络模型进行训练,得到第一神经网络模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检测对象的第一数据;
将第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;该第二数据的分辨率高于第一数据的分辨率;
采用预设的图像重建方法对第二数据进行图像重建,得到第一重建图像;
将第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;该第二重建图像的质量量化值高于第一重建图像的质量量化值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对第一重建图像进行小波变换处理,得到第一重建图像的低频信息和第一重建图像的高频信息;将第一重建图像的低频信息和第一重建图像的高频信息输入至第二神经网络模型中进行第二处理,得到处理后的低频信息和处理后的高频信息;对处理后的低频信息和处理后的高频信息进行小波逆变换处理,得到第二重建图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据多个样本数据得到多个第一样本重建图像,并根据多个样本数据对应的标准数据得到多个第二样本重建图像;该第二样本重建图像的质量量化值高于对应的第一样本重建图像的质量量化值,标准数据的分辨率高于对应的样本数据的分辨率;基于多个第一样本重建图像和多个第二样本重建图像对初始第二神经网络模型进行训练,得到第二神经网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一样本重建图像输入至初始第二神经网络模型,得到第一预测重建图像;将第一预测重建图像输入至预设的分类网络,得到第一预测重建图像的预测类别;计算第二样本重建图像和第一预测重建图像之间的第一损失,以及,计算第一预测重建图像上各个像素点和各个像素点的相邻像素点之间的第二损失,以及,根据第一预测重建图像的预测类别计算第三损失;利用第一损失、第二损失和第三损失对初始第二神经网络模型进行训练,得到第二神经网络模型。
在一个实施例中,第一神经网络模型的卷积层结构为非对称结构,该非对称结构的下采样卷积层的层数小于上采样卷积层的层数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取样本数据集;该样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,第二样本数据的分辨率高于对应的第一样本数据的分辨率;基于样本数据集对初始第一神经网络模型进行训练,得到第一神经网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一样本数据输入至初始第一神经网络模型,得到第一预测数据;计算第一预测数据和第二样本数据之间的第一损失,以及,计算第一预测数据上各个点和各个点的相邻点之间的第二损失;利用第一损失和第二损失对初始第一神经网络模型进行训练,得到第一神经网络模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像重建方法,其特征在于,所述方法包括:
获取待检测对象的第一数据;所述第一数据是稀疏采样数据;
将所述第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;所述第二数据的分辨率高于所述第一数据的分辨率;所述第一神经网络模型的卷积层结构为非对称结构,所述非对称结构的下采样卷积层的层数小于上采样卷积层的层数;
所述将所述第一数据输入至第一神经网络模型中进行第一处理,得到第二数据,包括:
将所述第一数据输入至所述下采样卷积层进行采样处理,得到下采样特征图,将所述下采样特征图输入至所述上采样卷积层,得到上采样特征图,将相同尺寸的所述下采样特征图和所述上采样特征图跨连接相连,以得到所述第二数据;
采用预设的图像重建方法对所述第二数据进行图像重建,得到第一重建图像;
将所述第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;所述第二重建图像的质量量化值高于所述第一重建图像的质量量化值;所述第二神经网络模型基于第一样本重建图像、第二样本重建图像和预设的分类网络对初始第二神经网络模型进行训练得到,所述第一样本重建图像基于样本数据得到,所述第二样本重建图像基于所述样本数据对应的标准数据得到,所述标准数据的分辨率高于对应的所述样本数据的分辨率,所述预设的分类网络用于区分基于第一样本重建图像和初始第二神经网络模型得到的第一预测重建图像与第二样本重建图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像,包括:
对所述第一重建图像进行小波变换处理,得到所述第一重建图像的低频信息和所述第一重建图像的高频信息;
将所述第一重建图像的低频信息和所述第一重建图像的高频信息输入至所述第二神经网络模型中进行第二处理,得到处理后的低频信息和处理后的高频信息;
对所述处理后的低频信息和所述处理后的高频信息进行小波逆变换处理,得到所述第二重建图像。
3.根据权利要求1或2所述的方法,其特征在于,所述第二神经网络模型的训练方法包括:
根据多个样本数据得到多个第一样本重建图像,并根据所述多个样本数据对应的标准数据得到多个第二样本重建图像;所述第二样本重建图像的质量量化值高于对应的所述第一样本重建图像的质量量化值;
基于多个所述第一样本重建图像、预设的分类网络和多个所述第二样本重建图像对初始第二神经网络模型进行训练,得到所述第二神经网络模型。
4.根据权利要求3所述的方法,其特征在于,所述基于多个所述第一样本重建图像、预设的分类网络和多个所述第二样本重建图像对初始第二神经网络模型进行训练,得到所述第二神经网络模型,包括:
将所述第一样本重建图像输入至初始第二神经网络模型,得到第一预测重建图像;
将所述第一预测重建图像输入至预设的分类网络,得到所述第一预测重建图像的预测类别;
计算所述第二样本重建图像和所述第一预测重建图像之间的第一损失,以及,计算所述第一预测重建图像上各个像素点和所述各个像素点的相邻像素点之间的第二损失,以及,根据所述第一预测重建图像的预测类别计算第三损失;
利用所述第一损失、所述第二损失和所述第三损失对所述初始第二神经网络模型进行训练,得到所述第二神经网络模型。
5.根据权利要求1所述的方法,其特征在于,所述第二神经网络模型的结构为对称结构,所述对称结构的下采样卷积层的层数和上采样卷积层的层数相同。
6.根据权利要求1所述的方法,其特征在于,所述第一神经网络模型的训练方法包括:
获取样本数据集;所述样本数据集包括多个第一样本数据和每个第一样本数据对应的第二样本数据,所述第二样本数据的分辨率高于对应的所述第一样本数据的分辨率;
基于所述样本数据集对初始第一神经网络模型进行训练,得到所述第一神经网络模型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述样本数据集对初始第一神经网络模型进行训练,得到所述第一神经网络模型,包括:
将所述第一样本数据输入至初始第一神经网络模型,得到第一预测数据;
计算所述第一预测数据和所述第二样本数据之间的第一损失,以及,计算所述第一预测数据上各个点和所述各个点的相邻点之间的第二损失;
利用所述第一损失和所述第二损失对所述初始第一神经网络模型进行训练,得到所述第一神经网络模型。
8.一种图像重建装置,其特征在于,所述装置包括:
获取模块,用于获取待检测对象的第一数据;所述第一数据是稀疏采样数据;
第一处理模块,用于将所述第一数据输入至第一神经网络模型中进行第一处理,得到第二数据;所述第二数据的分辨率高于所述第一数据的分辨率;所述第一神经网络模型的卷积层结构为非对称结构,所述非对称结构的下采样卷积层的层数小于上采样卷积层的层数;
所述第一处理模块,用于将所述第一数据输入至所述下采样卷积层进行采样处理,得到下采样特征图,将所述下采样特征图输入至所述上采样卷积层,得到上采样特征图,将相同尺寸的所述下采样特征图和所述上采样特征图跨连接相连,以得到所述第二数据;
重建模块,用于采用预设的图像重建方法对所述第二数据进行图像重建,得到第一重建图像;
第二处理模块,用于将所述第一重建图像输入至第二神经网络模型中进行第二处理,得到第二重建图像;所述第二重建图像的质量量化值高于所述第一重建图像的质量量化值;所述第二神经网络模型基于第一样本重建图像、第二样本重建图像和预设的分类网络对初始第二神经网络模型进行训练得到,所述第一样本重建图像基于样本数据得到,所述第二样本重建图像基于所述样本数据对应的标准数据得到,所述标准数据的分辨率高于对应的所述样本数据的分辨率,所述预设的分类网络用于区分基于第一样本重建图像和初始第二神经网络模型得到的第一预测重建图像与第二样本重建图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071026.0A CN111311704B (zh) | 2020-01-21 | 2020-01-21 | 图像重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010071026.0A CN111311704B (zh) | 2020-01-21 | 2020-01-21 | 图像重建方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311704A CN111311704A (zh) | 2020-06-19 |
CN111311704B true CN111311704B (zh) | 2024-07-26 |
Family
ID=71154581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071026.0A Active CN111311704B (zh) | 2020-01-21 | 2020-01-21 | 图像重建方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311704B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112017258B (zh) * | 2020-09-16 | 2024-04-30 | 上海联影医疗科技股份有限公司 | Pet图像重建方法、装置、计算机设备以及存储介质 |
CN112365560B (zh) * | 2020-11-27 | 2023-01-24 | 上海联影医疗科技股份有限公司 | 基于多级网络的图像重建方法、系统、可读存储介质和设备 |
CN112488949A (zh) * | 2020-12-08 | 2021-03-12 | 深圳先进技术研究院 | 一种低剂量pet图像还原方法、系统、设备和介质 |
CN112419303B (zh) * | 2020-12-09 | 2023-08-15 | 上海联影医疗科技股份有限公司 | 神经网络训练方法、系统、可读存储介质和设备 |
CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
CN113450427B (zh) * | 2021-06-29 | 2023-09-01 | 深圳高性能医疗器械国家研究院有限公司 | 基于联合字典学习和深度网络的pet图像重建方法 |
CN115700771A (zh) * | 2021-07-31 | 2023-02-07 | 华为技术有限公司 | 编解码方法及装置 |
CN113610712A (zh) * | 2021-08-04 | 2021-11-05 | 西南大学 | 一种分辨率提升方法、装置、电子设备及存储介质 |
CN113808234B (zh) * | 2021-11-08 | 2024-02-27 | 北京航空航天大学 | 一种基于欠采样的快速磁粒子成像重建方法 |
CN114757847B (zh) * | 2022-04-24 | 2024-07-09 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展U-Net及其在低剂量X射线成像的应用方法 |
CN115115900A (zh) * | 2022-05-10 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 图像重建模型的训练方法、装置、设备、介质及程序产品 |
CN117054943A (zh) * | 2023-10-11 | 2023-11-14 | 山东奥新医疗科技有限公司 | 基于径向基网络的磁共振成像方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658354A (zh) * | 2018-12-20 | 2019-04-19 | 上海联影医疗科技有限公司 | 一种图像增强方法和系统 |
CN110047113A (zh) * | 2017-12-29 | 2019-07-23 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103913472B (zh) * | 2012-12-31 | 2016-04-20 | 同方威视技术股份有限公司 | Ct成像系统和方法 |
US10133964B2 (en) * | 2017-03-28 | 2018-11-20 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction system and method |
CN109300167B (zh) * | 2017-07-25 | 2023-10-10 | 清华大学 | 重建ct图像的方法和设备以及存储介质 |
-
2020
- 2020-01-21 CN CN202010071026.0A patent/CN111311704B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110047113A (zh) * | 2017-12-29 | 2019-07-23 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备和存储介质 |
CN109658354A (zh) * | 2018-12-20 | 2019-04-19 | 上海联影医疗科技有限公司 | 一种图像增强方法和系统 |
Non-Patent Citations (1)
Title |
---|
扩大经鼻入路处理海绵窦病变的显微解剖和虚拟解剖研究;薛亮;《中国优秀硕士学位论文全文数据库 医药卫生科技辑(月刊)》(10);E073-25 * |
Also Published As
Publication number | Publication date |
---|---|
CN111311704A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311704B (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
Hu et al. | Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks | |
CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
CN108898642B (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
US11257191B2 (en) | Systems and methods for deblurring medical images using deep neural network | |
CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
US20220130084A1 (en) | Systems and methods for medical image processing using deep neural network | |
JP5038642B2 (ja) | ボリュメトリック画像強調システム及び方法 | |
EP3673457B1 (en) | A method of generating an enhanced tomographic image of an object | |
CN111179372B (zh) | 图像衰减校正方法、装置、计算机设备和存储介质 | |
WO2021041772A1 (en) | Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising | |
EP3447731A1 (en) | A method of generating an enhanced tomographic image of an object | |
US11935160B2 (en) | Method of generating an enhanced tomographic image of an object | |
CN111882503A (zh) | 一种图像降噪方法及其应用 | |
CN115136192A (zh) | 对模型的输入实例的分布外检测 | |
Okamoto et al. | Artifact reduction for sparse-view CT using deep learning with band patch | |
CN113870138A (zh) | 基于三维U-net的低剂量CT图像去噪方法及系统 | |
CN109741254B (zh) | 字典训练及图像超分辨重建方法、系统、设备及存储介质 | |
CN111681297B (zh) | 图像重建方法、计算机设备和存储介质 | |
CN111681236A (zh) | 一种带注意力机制的目标密度估计方法 | |
CN116778016A (zh) | 一种mri图像重建方法、系统及介质 | |
CN113191947A (zh) | 一种图像超分辨率的方法及系统 | |
WO2024224878A1 (ja) | 画像処理装置および画像処理方法 | |
US20220172412A1 (en) | Medical image reconstruction method, computer device and storage medium | |
JP2024157164A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TG01 | Patent term adjustment | ||
TG01 | Patent term adjustment |