CN110473285A - 图像重构方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供的一种图像重构方法、装置、计算机设备和存储介质，包括：计算机设备先获取待重构的第一图像；再对该第一图像进行插值处理，得到第二图像；然后将第二图像输入至图像重构网络进行图像重构，得到重构后的第三图像。其中的第一图像包括多个扫描方向上的多层扫描图像，且是一种在二维方向上图像清晰度高，但在三维扫描层方向上清晰度低的三维立体图像。由于类似于第一图像的样本图像在实际应用中比较容易获取得到，所以，本申请提出的图像重构方法的应用性更广和更强。且利用本申请提供的图像重构方法，能够实现对在二维方向上清晰度高，但在三维扫描层方向上清晰度低的三维立体图像的重构，从而生成各个方向上清晰度均高的三维立体图像。

Description

图像重构方法、装置、计算机设备和存储介质

技术领域

本申请涉及医学图像成像技术领域，尤其涉及一种图像重构方法、装置、计算机设备和存储介质。

背景技术

随着各种扫描成像设备在医疗技术领域中的普及应用，通过分析图像数据，如磁共振图像，成为了当下医疗疾病检测与诊断重要依据。

目前，在对很多器官的成像扫描中，例如，心脏或膝关节，因受到扫描成像设备的硬件或扫描条件的限制，通常采取较稀疏的厚层扫描方式；为了能更好覆盖目标器官，通常会进行多个方向的扫描。然而，高分辨率的薄层在计算机辅助诊断软件或者定量计算中起到了重要作用。为了得到高分辨率的数据，需要再进一步的将各扫描方向的厚层图像数据输入至数据重构模型，重构出层间距较小的薄层图像数据，最后通过薄层图像数据可以得到器官的清晰图像。其中，数据重构模型通常是基于层间距较小的样本薄层图像数据得到。

但是，由于样本薄层图像数据在实际应用中很难得到，致使基于上述数据重构模型由厚层图像数据重构得到薄层图像数据的重构方法难以得到普及应用。

发明内容

第一方面，一种图像重构方法，所述方法包括：

获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像；

对第一图像进行插值处理，得到第二图像；第二图像为层数大于第一图像的图像；

将第二图像输入至图像重构网络，得到第三图像。

第二方面，一种图像重构装置，所述装置包括：

获取模块，用于获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像；

插值模块，用于对第一图像进行插值处理，得到第二图像；第二图像为层数大于第一图像的图像；

重构模块，用于将第二图像输入至图像重构网络，得到第三图像。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的图像重构方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的图像重构方法。

本申请提供的一种图像重构方法、装置、计算机设备和存储介质，包括：计算机设备先获取待重构的第一图像；再对该第一图像进行插值处理，得到第二图像；然后将第二图像输入至图像重构网络进行图像重构，得到重构后的第三图像。其中的第一图像包括多个扫描方向上的多层扫描图像，且多层扫描图像中各层扫描图像的图像清晰度可以很高，但是由于扫描设备硬件条件限制，会使扫描设备在执行层层扫描获取第一图像时，层间距较大致使在三维扫描方向上的图像清晰度低，所以，上述第一图像可以是一种在二维方向上图像清晰度高，但在三维扫描层方向上清晰度低的三维立体图像。因此，将该第一图像输入至图像重构网络进行图像重构，能够实现对在二维方向上清晰度高，但在三维扫描层方向上清晰度低的三维立体图像的重构，从而生成各个方向上清晰度均高的三维立体图像。

附图说明

图1为一个实施例提供的一种计算机设备的内部结构示意图；

图2为一个实施例提供的一种图像重构方法的流程图；

图3为一个实施例提供的一种扫描方式的示意图；

图4为一个实施例提供的一种插值方法的示意图；

图5为一个实施例提供的一种图像重构方法的流程图；

图6为一个实施例提供的一种图像重构方法的流程图；

图7为一个实施例提供的一种图像重构方法的流程图；

图8为一个实施例提供的一种组合方式的示意图；

图9为一个实施例提供的另一种训练网络的结构示意图；

图10为一个实施例提供的一种图像重构图像；

图11为一个实施例提供的一种图像重构方法的流程图；

图12为一个实施例提供的一种图像重构装置的流程图；

图13为一个实施例提供的一种图像重构装置的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的图像重构方法，可以应用于如图1所示的计算机设备中，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像重构方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的一种图像重构方法的流程图。本实施例的执行主体为如图1所示的计算机设备，本实施例涉及的是计算机设备采用图像重构网络对在二维方向上图像清晰度高，但在三维扫描层方向上图像清晰度低的三维立体图像重构的具体过程。如图2所示，该方法包括：

S101、获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像。

其中，待重构的第一图像表示当前需要进行三维图像重构的输入图像，具体可以包括多个扫描方向上的多层扫描图像，例如，当利用磁共振扫描时，可以分别在矢状面、冠状面和横断面上进行层扫描，得到各自扫描方向上的多层扫描图像。上述待重构的第一图像可以包括但不限于常规CT图像、MRI图像、PET-MRI图像等，本实施例对此不做限定，同时，上述待重构的第一图像也可以是包含任一种类型的组织、器官等形态结构的医疗图像，本实施例对此也不做限制。可选的，在实际应用中，当扫描设备获取上述第一图像时，通常扫描到的每层扫描图像的清晰度大于预设的清晰度阈值，其中预设的清晰度阈值可以由计算机设备预先定义，当该预设的清晰度阈值很高时，得到的各层扫描图像即为清晰度很高的二维图像，需要说明的是，该预设的清晰度阈值可根据实际应用需求确定，本实施例对此不做限制。因此，在实际应用中获取到的第一图像通常为在二维方向上图像清晰度较高的图像。

本实施例中，计算机设备可以通过连接扫描设备扫描目标物体获取待重构的第一图像，可选的，计算机设备也可以直接从数据库中或从互联网上下载得到待重构的第一图像。需要强调的是，无论上述哪种情况，计算机设备均需要获取到多个扫描方向上的多层扫描图像，关于扫描方向可以根据实际扫描情况确定，例如，如图3所示，以三维坐标系为例，当扫描设备从x、y、z扫描方向上进行层扫描时，则获取到的第一图像就包括三个多层扫描图像(图中为#1、#2、#3)。另外，关于扫描层数也可以根据实际应用情况确定，例如图3中各扫描方向上得到的扫描层数为3层，当然也可以是其它层数，对此本实施例不做限制。

S102、对第一图像进行插值处理，得到第二图像，第二图像为层数大于第一图像的图像。

本实施例涉及计算机设备对第一图像中各多层扫描图像进行插值处理的过程，当计算机设备基于S101的方法获取到第一图像时，计算机设备对第一图像中的每个多层扫描图像进行扫描方向上的层插值处理，具体的操作过程如下：以对一个y扫描方向下的多层扫描图像为例(图3中的#2)，当计算机设备对#2图像进行y扫描方向上的层插值处理时，可以将该#2图像中包含的三层二维图像的数据插值到该#2图像的其它层位置，例如，如图4所示，#2图像中包含101层、102层、103层，在进行插值处理时，分别将101层插值到1011层、102层插值到1021层、103层插值到1031层，得到插值后的图像(图中为#22图像)。由图4可见，经过上述方法得到的各插值处理后的图像的层数大于第一图像中各多层扫描图像的层数(例如图中的#22图像的层数为6，而#2图像的层数为3)。本实施例可以将经过插值处理后的各多层扫描图像作为第二图像，可选的，也可以将经过插值处理后的各多层扫描图像进行组合或拼接处理之后，再将组合或拼接处理后的图像作为第二图像。需要说明的是，虽然第二图像在各个扫描方向上的层数大于第一图像在各个扫描方向上的层数，但是由于在插值处理时是利用已有的层图像数据进行插值，第二图像在三维扫描方向上(图4中为y方向上)的图像仍然是不清晰的图像。

S103、将第二图像输入至图像重构网络，得到第三图像。

其中，图像重构网络用于对输入的第二图像进行三维图像的图像数据重构，从而重构出各个方向上均有较高清晰度的三维立体图像。在实际的检测应用中，当计算机设备在获取到第二图像时，进一步的将该第二图像输入至图像重构网络进行三维图像的图像数据重构，从而得到第三图像，由前述描述可知，这样的重构方法实现了将在二维方向上图像清晰度高，但在三维扫描层方向上图像清晰度低的三维立体图像进行重构，得到在二维方向上图像清晰度高，且在三维扫描层方向上图像清晰度也高的三维立体图像。

上述实施例提供的图像重构方法，包括：计算机设备先获取待重构的第一图像；再对该第一图像进行插值处理，得到第二图像；然后将第二图像输入至图像重构网络进行图像重构，得到重构后的第三图像。其中的第一图像包括多个扫描方向上的多层扫描图像，且多层扫描图像中各层扫描图像的图像清晰度可以很高，但是由于扫描设备硬件条件限制，会使扫描设备在执行层层扫描获取第一图像时，层间距较大致使在三维扫描方向上的图像清晰度低，所以，上述第一图像是一种在二维方向上图像清晰度高，但在三维扫描层方向上清晰度低的三维立体图像。因此，将该第一图像输入至图像重构网络进行图像重构，能够实现对在二维方向上清晰度高，但在三维扫描层方向上清晰度低的三维立体图像的重构，从而生成各个方向上清晰度均高的三维立体图像。

在实际应用中，上述图像重构网络是预先由计算机设备训练得到的网络，因此，本申请还提供了一种训练图像重构网络的方法，该训练方法包括：根据样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练，得到图像重构网络和判别网络。

其中，样本第一图像为在训练初始图像重构网络时使用到的图像，具体可以包括多个扫描方向上的多层扫描图像，关于该多个扫描方向上的多层扫描图像请参见前述S101中对多个扫描方向上的多层扫描图像的说明，在此不做重复累赘说明。

上述初始图像重构网络表示待训练的图像重构网络，其具体可以为一种带跳层连接的卷积神经网络，例如，V-NET网络、U-NET网络等，可选的，其具体也可以为一种无降采样层的全卷积网络，例如，DenseNet网络等。初始判别网络表示本实施例在联合其它网络训练图像重构网络时使用到的一种判别网络，具体用于判别初始图像重构网络的输出图像相对于样本第一图像的真伪，从而将判别结果作为训练初始图像重构网络时的一个训练依据。在实际应用中，初始判别网络具体可以为一种带全局池化网络的深度卷积神经网络，例如，ResNet网络、AlexNet网络等，对此本实施例不做限制。

需要说明的是，训练初始图像重构网络过程也是训练初始判别网络的过程，即初始判别网络的参数在训练过程中也在不断的改变，以使初始判别网络能够更加准确的判别初始图像重构网络的输出图像相对于样本第一图像的真伪，使训练得到的图像重构网络更加准确。

上述目标损失函数为训练初始图像重构网络时使用的损失函数，具体可以由计算机设备预先根据训练网络的结构确定。例如，当训练网络中包含初始图像重构网络和初始判别网络时，该目标损失函数可以为第一损失函数和第二损失函数进行加权累加之和后得到的损失函数，其中的第一损失函数可以根据初始图像重构网络的输出图像和输入的样本第一图像得到，第二损失函数可以根据判别网络的输出判别结果得到。

本实施例涉及计算机设备训练图像重构网络的过程，第一种训练方法为：计算机设备将样本第一图输入至图像重构网络中，从而得到第一损失函数、第二损失函数、以及目标损失函数，然后先根据第二损失函数训练初始判别网络，得到训练好的判别网络，之后再根据目标损失函数对初始图像重构网络进行训练，得到训练好的图像重构网络。以便在图2实施例中使用该训练好的图像重构网络实现对第一图像的三维图像的重构。第二种训练方法为：计算机设备将样本第一图像输入至图像重构网络中，从而得到目标损失函数，然后根据该目标损失函数对初始图像重构网络和初始判别网络进行同时训练，得到训练好的图像重构网络和判别网络。

上述实施例实现了训练初始图像重构网络得到图2实施例中图像重构网络的具体过程，其中使用的图像重构网络是基于样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练得到的网络。由于样本第一图像为一种在二维方向上图像清晰度高，但在三维扫描层方向上图像清晰度低的三维立体图像。而这种类型的样本第一图像在实际应用中是比较容易获取得到的，因此，基于样本第一图像训练图像重构模型的训练方法的普及应用性较强；而且还由于图像重构网络是与判别网络联合训练得到的网络，属于一种对抗训练方法，相比于传统的仅单一训练图像重构网络的方法，极大的提高了重构得到图像的清晰度。

基于上述实施例，本申请提供了训练图像重构网络的具体实施方式，即上述“根据样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练，得到图像重构网络和判别网络”，如图5所示，包括：

S201、对样本第一图像进行插值处理，得到样本第二图像。

本实施例的步骤内容与前述S102所述的步骤内容相同，具体内容请参见前述内容，在此不作重复累赘说明。

S202、将样本第二图像输入至初始图像重构网络，得到样本第三图像和第一损失函数。

本实施例涉及到的“将样本第二图像输入至初始图像重构网络，得到样本第三图像”的步骤与前述S103所述的步骤内容相同，具体内容请参见前述内容，在此不作重复累赘说明。而“将样本第二图像输入至初始图像重构网络，得到第一损失函数”的步骤可以采用如图6所述的方法实现，如图6所示，该方法包括：

S2021、对样本第三图像进行图像处理，得到样本第五图像，样本第五图像与样本第一图像的层数和尺寸相同。

当计算机设备基于前述S202的步骤获取到样本第三图像时，可以采用相应的图像处理方法，在不同扫描方向上提取出各扫描方向上的多层的二维扫描图像，以及再改变这多层的二维扫描图像的尺寸，使通过图像处理后的样本第五图像与样本第一图像的层数和尺寸相同，以便使该样本第五图像与样本第一图像具有可比性。需要说明的是，在实际应用中，上述图像处理可以具体包括插值处理和采样处理，采样处理用于在样本第三图像的不同扫描方向上提取出各扫描方向上的多层的二维扫描图像，且采样时的采样层所在位置与样本第一图像所包含的各层位置相同，使采样后的图像的层数与样本第一图像的层数以及层所在位置完全相同；插值处理用于改变采样后的多层扫描图像的尺寸。关于具体的插值方法可以包括：计算机设备在插值处理时，可以在多层扫描图像的周围区域插值背景像素点的值，可选的，也可以使用预设像素点阈值插值到多层扫描图像的周围区域，可选的，计算机设备也可以采用其它插值方法，对此本实施例不做限制，只要插值后的图像的尺寸能够与样本第一图像的尺寸相同即可。需要说明的是，上述在图像处理的过程中，插值和采样的处理顺序本实施例不做限制，可以是先采样后插值，也可以是先插值后采样。

S2022、将样本第五图像和样本第一图像进行比较，得到第一损失函数。

在计算机设备获取到样本第五图像之后，可以进一步的将样本第五图像和样本第一图像进行比较，然后可以根据比较结果确定第一损失函数。具体的，计算机设备可以将样本第五图像和样本第一图像进行求差运算，并将求差运算关系式确定为第一损失函数；可选的，计算机设备也可以将样本第五图像和样本第一图像先进行加权运算，再进行求差运算，并将加权和求差运算关系式确定为第一损失函数，对此本实施例不做限制。可以理解的是，上述在进行求差运算后可以进一步的取绝对值，从而根据该绝对值对应的关系式确定第一损失函数。

S203、将样本第一图像和样本第四图像输入至初始判别网络，得到第二损失函数；样本第四图像为样本第三图像按照多个扫描方向进行采样处理后得到的图像。

本实施例涉及计算机设备在训练图像重构网络时得到第二损失函数的过程，具体包括：计算机设备先按照S202的步骤得到三维的样本第三图像，再采用相应的采样方法，对该三维的样本第三图像进行不同扫描方向上的随机层采样，使采样后的图像的层数与样本第一图像的层数相同，且与样本第一图像的类型相同，即为多个扫描方向上的多层扫描图像。上述采样后的图像即为本实施例中的样本第四图像，当计算机设备按照上述方法获取到样本第四图像时，可以将该样本第四图像作为负样本图像，并将前述的样本第一图像作为正样本图像，同时输入至判别网络，得到判别结果，再根据判别结果得到第二损失函数。

S204、根据目标损失函数，调整初始图像重构网络和初始判别网络的模型参数，直至目标损失函数的值达到预设损失阈值为止，得到图像重构网络和判别网络。

本实施例涉及训练图像重构网络和判别网络的一种方法，该方法与前述提到的第一种训练方法基本一致，具体过程为：计算机设备按照S202所述的方法得到第一损失函数，再按照S203所述的方法得到第二损失函数，然后将第一损失函数和第二损失函数进行加权求和得到目标损失函数，之后根据第二损失函数调整初始判别网络的模型参数，直至第二损失函数的值达到预设第二损失阈值为止，得到参数调整好的判别网络，完成对判别网络的训练。然后再根据目标损失函数调整初始图像重构网络的模型参数，直至目标损失函数的值达到预设损失阈值为止，得到参数调整好的图像重构网络，完成对图像重构网络的训练。

可选的，由前述实施例可知，本申请还提供了第二种训练方法，该方法具体包括：计算机设备按照S202所述的方法得到第一损失函数，再按照S203所述的方法得到第二损失函数，然后将第一损失函数和第二损失函数进行加权累加得到目标损失函数，之后根据该目标损失函数调整初始图像重构网络和初始判别网络的模型参数，直至目标损失函数的值达到预设损失阈值为止，得到参数调整好的图像重构网络和判别网络，完成对图像重构网络的训练。图7为图2实施例S102的一种实现方式的流程图。该实施例涉及在实际测试应用中，计算机设备对第一图像进行预处理的过程，如图7所示，该过程包括：

S301、对第一图像中的各扫描方向上的多层扫描图像进行插值处理，得到各扫描方向上插值处理后的图像。

本实施例涉及对第一图像中的各多层扫描图像进行插值的处理过程，具体的插值处理过程可以采用前述S102步骤说明的插值处理内容，详细内容请参见前述内容，在此不作重复累赘说明。

S302、将多个扫描方向上插值处理后的图像进行组合，生成第二图像。

当计算机设备获取到多个扫描方向上插值处理后的三维立体图像后，还需要采用相应的组合方法将这多个三维立体图像进行组合处理，组合成一个三维立体图像，例如，计算机设备可以采用如图8所示的组合方法对多个扫描方向上插值处理后的图像进行组合(图中为三个扫描方向上的插值处理后的图像#4、#5、#6)，在上述组合过程中，计算机设备将#4、#5、#6立体图像进行y方向上的从上到下组合得到图中的组合后的图像(图中为#7三维立体图像)，需要说明的是，组合前和组合后的维度发生了变化，例如，组合前的三个插值后的图像的维度为100*100*100，则对应组合后的图像的维度为3*100*100*100，可见在组合后图像增加了一个维度。

综合上述所有实施例，本申请还提供了一种图像重构的训练网络，如图9所示，该训练网络包括：初始图像重构网络和初始判别网络，其中初始图像重构网络为待训练的图像重构网络，初始判别网络和初始图像重构网络共同形成一个对抗网络，协助训练图像重构网络，使图像重构网络能够用于对该网络输入的样本第二图像进行三维图像的重构，以得到高清晰度的三维图像。需要说明的是，样本第二图像为在二维方向上图像清晰度高，但是在三维方向上图像清晰度低图像。例如，在实际应用中，当磁共振扫描设备在对目标物体进行多层的扫描时，得到的多层扫描图像在二维层面上的图像为清晰图像，但是碍于扫描设备硬件条件的限定，在层扫描时，层与层之间的距离存在一定的距离，使得扫描得到的三维图像在扫描层的方向上不清晰。

基于上述描述的训练网络结构，本申请还提供了一种用于训练上述实施例中所述的初始图像重构网络的训练网络，如图9所示，该训练网络结构包括：插值处理模块、初始图像重构网络、采集处理模块、初始判别网络、插值和采集处理模块。其中，插值处理模块用于对输入的图像中的各扫描方向上的多层扫描图像进行插值处理，且插值处理模块还用于将插值处理后的各图像进行组合拼接；初始图像重构网络用于对插值处理模块输出的图像进行高分辨率的图像重构；采集处理模块用于对初始图像重构网输出的图像进行不同扫描方向上的随机采样处理。初始判别网络用于对采集处理模块输出的图像的真伪进行判别；插值和采集处理模块用于对初始图像重构网络输出的图像进行不同扫描方向上的采样处理和插值处理。

基于前述图3-图8实施例所述的训练方法，利用图9所示的训练网络根据输入的第一样本图像对初始图像重构网络进行训练时，如图10所示，该训练过程包括：

S401、获取样本第一图像。

S402、对样本第一图像中的各扫描方向上的多层扫描图像进行插值处理，得到各扫描方向上插值处理后的图像，即样本第二图像。

S403、将样本第二图像输入至图像重构网络，得到样本第三图像。

S404、对样本第三图像进行插值处理和采样处理，得到样本第五图像。

S405、将样本第五图像和样本第一图像进行比较，得到第一损失函数。

S406、将样本第三图像按照多个扫描方向进行采样处理，得到样本第四图像。

S407、将样本第一图像和样本第四图像输入至初始判别网络，得到第二损失函数。

S408、将第一损失函数和第二损失函数进行加权累加运算，得到目标损失函数。

S409、根据目标损失函数，调整初始图像重构网络和初始判别网络的模型参数，直至目标损失函数的值达到预设损失阈值为止，得到图像重构网络和判别网络。

上述实施例利用判别网络基于样本第一图像对初始图像重构网络进行训练时，由于样本第一图像为在二维方向上图像清晰度高，但是在三维方向上图像清晰度低的图像。而这样的图像在实际应用中相比于在各个方向上图像清晰度均高的图像，更加容易获取得到。因此，上述的训练方法的普及应用性更高。

另外，本申请提供的利用前述训练好的图像重构网络实现对输入图像的重构，相比于传统的通过三线性插值或LRTV方法实现重构图像的方法，本申请提出的图像重构方法在峰值信噪比(Peak Signal Noise Ratio,PSNR)和结构相似性(Structure SimilarityIndex,SSIM)上具有较高的值，具体值可见下列表1中的数据，需要说明的是，该表中的数据为试验数据，不对本方案的说明进行限制，仅为列举说明。

表1

方法	HCP	LRTV	本方案
				PSNR	30.971	32.417	33.159
SSIM	0.911	0.912	0.933

本申请还提供了采用本方案提供的图像重构方法得到的重构图像，与采用传统的双线性插值平均的方法得到的重构图像之间的比较结果，如图11所述，从图11可以看出，利用本方案重构的图像(图1中的b)的清晰度大于利用传统的双线性插值平均方法重构的图像(图1中的a)，说明本申请提供的图像重构方法重构生成的图像清晰度较高。

应该理解的是，虽然图2、图5-图7、图10流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5-图7、图10至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。

在一个实施例中，如图12示，提供了一种图像重构装置，包括：获取模块11、插值处理模块12、和重构模块13，其中：

获取模块11，用于获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像；

插值处理模块12，用于对第一图像进行插值处理，得到第二图像；第二图像为层数大于第一图像的图像；

重构模块13，用于将第二图像输入至图像重构网络，得到第三图像。

在一个实施例中，如图13示，上述装置还包括：

训练模块14，用于根据样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练，得到图像重构网络和判别网络。

在一个实施例中，上述训练模块14具体用于对样本第一图像进行插值处理，得到样本第二图像；将样本第二图像输入至初始图像重构网络，得到样本第三图像和第一损失函数；将样本第一图像和样本第四图像输入至初始判别网络，得到第二损失函数；样本第四图像为样本第三图像按照多个扫描方向进行采样处理后得到的图像；根据目标损失函数，调整初始图像重构网络和初始判别网络的模型参数，直至目标损失函数的值达到预设损失阈值为止，得到图像重构网络和判别网络。

在一个实施例中，上述插值处理模块12具体用于对第一图像中的各扫描方向上的多层扫描图像进行插值处理，得到各扫描方向上插值处理后的图像；将多个扫描方向上插值处理后的图像进行组合，生成第二图像。

关于图像重构装置的具体限定可以参见上文中对于一种图像重构方法的限定，在此不再赘述。上述图像重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像，；

对第一图像进行插值处理，得到第二图像；第二图像为层数大于第一图像的图像；

将第二图像输入至图像重构网络，得到第三图像。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

获取待重构的第一图像；第一图像包括多个扫描方向上的多层扫描图像，；

对第一图像进行插值处理，得到第二图像；第二图像为层数大于第一图像的图像；

将第二图像输入至图像重构网络，得到第三图像。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像重构方法，其特征在于，所述方法包括：

获取待重构的第一图像；所述第一图像包括多个扫描方向上的多层扫描图像；

对所述第一图像进行插值处理，得到第二图像；所述第二图像为层数大于所述第一图像的图像；

将所述第二图像输入至图像重构网络，得到第三图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练，得到所述图像重构网络和判别网络。

3.根据权利要求2所述的方法，其特征在于，所述目标损失函数为第一损失函数和第二损失函数进行加权累加和后得到的损失函数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述样本第一图像和目标损失函数，对初始图像重构网络和初始判别网络进行联合训练，得到所述图像重构网络和所述判别网络，包括：

对所述样本第一图像进行插值处理，得到样本第二图像；

将所述样本第二图像输入至所述初始图像重构网络，得到所述样本第三图像和所述第一损失函数；

将所述样本第一图像和样本第四图像输入至所述初始判别网络，得到所述第二损失函数；所述样本第四图像为所述样本第三图像按照多个扫描方向进行采样处理后得到的图像；

根据所述目标损失函数，调整所述初始图像重构网络和所述初始判别网络的模型参数，直至所述目标损失函数的值达到预设损失阈值为止，得到所述图像重构网络和所述判别网络。

5.根据权利要求4所述的方法，其特征在于，所述得到所述第一损失函数包括：

对所述样本第三图像进行图像处理，得到样本第五图像，所述样本第五图像与所述样本第一图像的层数和尺寸相同；

将所述样本第五图像和所述样本第一图像进行比较，得到所述第一损失函数。

6.根据权利要求5所述的方法，其特征在于，所述图像处理包括插值处理和采样处理。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述第一图像进行插值处理，得到第二图像，包括：

对所述第一图像中的各扫描方向上的多层扫描图像进行插值处理，得到各所述扫描方向上插值处理后的图像；

将多个所述扫描方向上插值处理后的图像进行组合，生成所述第二图像。

8.一种图像重构装置，其特征在于，所述装置包括：

获取模块，用于获取待重构的第一图像；所述第一图像包括多个扫描方向上的多层扫描图像；

插值处理模块，用于对所述第一图像进行插值处理，得到第二图像；所述第二图像为层数大于所述第一图像的图像；

重构模块，用于将所述第二图像输入至图像重构网络，得到第三图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。