CN108596267A - 一种图像重建方法、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了一种图像重建方法、终端设备及计算机可读存储介质，所述图像重建方法包括：构建生成网络模型和判别网络模型，对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，N为大于1的整数，获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像，通过本申请中的图像重建方法获得的图像自然、真实。

Description

一种图像重建方法、终端设备及计算机可读存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像重建方法、终端设备及计算机可读存储介质。

背景技术

在拍照过程中，由于各种因素的存在，拍摄获得的图像常常出现模糊的问题。或者，原本清晰的图像由于保存过程中格式转换等原因造成图像的质量下降。为了使得图像尽量的清晰，会对质量不好的图像加以重建或恢复。

目前，对图像重建或恢复的方法通常采用图像插值、图像锐化等方法。然而，图像插值和图像锐化的方法均不能有效恢复丢失的高频信息，使得重建或恢复后的图像不自然、失真。

发明内容

有鉴于此，本申请实施例提供了一种图像重建方法、终端设备及计算机可读存储介质，以解决目前图像重建的方法获得的图像不自然、失真的问题。

本申请实施例的第一方面提供了一种图像重建方法，包括：

构建生成网络模型和判别网络模型；

对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

本申请实施例的第二方面提供了一种终端设备，包括：

模型构建模块，用于构建生成网络模型和判别网络模型；

模型训练模块，用于对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

重建模块，用于获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。

本申请实施例通过生成网络模型对待重建的图像进行重建，在通过生成网络模型对待重建的图像进行重建之前，需要先训练生成网络模型，训练的过程是通过对生成网络模型和判别网络模型进行交替迭代训练的过程获得交替迭代训练训练后的生成网络模型；在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数，由于在交替训练过程中，将历史交替训练过程中所述生成网络模型生成的一组样本加入所述判别网络模型本次交替训练过程的输入样本中，使得判别网络模型的训练过程输入的样本不单是本次交替训练过程生成网络模型的输出样本，还包括历史交替训练过程中生成网络模型的输出样本，使得训练的判别网络模型更稳定，从而在对生成网络模型进行训练时，获得更稳定的生成网络模型，最终通过交替迭代训练结束后的生成网络模型重建的图像更自然、真实、清晰。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像重建方法的实现流程示意图；

图2是本申请实施例提供的另一种图像重建方法的实现流程示意图；

图3是本申请实施例提供的另一种图像重建方法的实现流程示意图；

图4是本申请实施例提供的一种终端设备的示意框图；

图5是本申请实施例提供的另一种终端设备的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

图1是本申请实施例提供的一种图像重建方法的实现流程示意图，如图所示该方法可以包括以下步骤：

步骤S101，构建生成网络模型和判别网络模型。

在本申请实施例中，所述生成网络模型和所述判别网络模型组成了生成对抗网络模型，所述生成网络模型和判别网络模型都可以理解为一个黑匣子，这个黑匣子可以接收一个输入，相应的，也会生成一个输出，进一步通俗的理解，所述黑匣子就是一个函数，可以将一个输入映射为一个输出。所述生成网络模型和所述判别网络模型的区别点在于：

所述生成网络模型可以作为一个样本生成器，我们对所述生成网络模型输入一个原始样本，所述生成网络模型将所述原始样本包装为一个逼真的假样本输出，例如，原始样本可以是噪声，也可以是一组随机数，还可以是低分辨率的原始图像样本，原始样本经所述生成网络模型包装后获得的输出样本就是一个逼真的假样本，因为生成网络模型的输出样本是重建的图像，所以我们也称为假样本。

所述判别网络模型类似于一个二分类器，给所述判别网络模型输入一个样本，所述判别网络模型会对所述样本进行判断，判断输入的这个样本是一个真样本还是一个假样本。输出的值通常是0-1范围内的数值，例如，输出值大于0.5就认为输入的样本是一个真样本，输出值小于0.5就认为输入的样本是一个假样本。

所述生成网络模型和判别网络模型在实际应用中可以是卷积神经网络。只要具有生成网络模型功能的卷积神经网络就可以作为生成网络模型，只要具有判别网络模型功能的卷积神经网络就可以作为判别网络模型，在此不再举例。

步骤S102，对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数。

在本申请实施例中，由于生成网络模型和判别网络模型时神经网络模型，所以需要对所述生成网络模型和所述判别网络模型进行训练。通过对抗代价函数训练所述判别网络模型，在训练的过程中，我们希望判别网络模型对输入的真样本，获得的判别结果接近1，对输入的假样本，获得的判别结果接近0，那么所述判别网络模型就完美，达到了很好判别的目的。所以对抗代价函数是希望真样本的结果越大越好，假样本的结果越小越好，所以可以获得所述对抗代价函数：

其中，x表示真样本，D(x)表示真样本输入判别网络后的判别结果，z表示原始样本，G(z)表示假样本，D(G(z))表示假样本输入判别网络后的判别结果。

我们通过重建代价函数训练所述生成网络模型，由于生成网络模型的作用就是生成样本，所以我们希望在训练过程中，使得生成网络模型制造样本的能力尽可能强，但是，强到什么程度呢，所述判别网络模型没法判断生成网络模型制造的样本真样本还是假样本。需要说明的是，所述生成网络模型生成的样本再强，也终究是生成的，所以我们将生成网络生成的样本统称为假样本，自然，不是该生成网络模型生成的就是真样本，例如，真实拍摄获得的照片就可以作为真样本等。

那么训练生成网络模型时，其实是不需要真样本的，只要将原始样本输入，获得输出样本后，判断一下输出样本与真样本的差距是不是足够小即可，若是输出的样本与真样本的差距足够小，就可以认为生成网络模型训练好了，所以将上述对抗代价函数中的第一项去掉，只需要生成网络模型生成的假样本经过判别网络模型判别的结果越接近1越好，所以我们需要生成网络模型生成的假样本输入判别网络模型后的判别结果D(G(z))越大越好，这样就只需要最小化1-D(G(z))，就可以得到所述重建代价函数：

基于上述重建代价函数和对抗代价函数的生成原则可以获得重建代价函数和对抗代价函数，实际应用中，所述重建代价函数可以是均方差函数，所述对抗代价函数可以是交叉熵函数。

介绍完训练过程中的代价函数，我们需要介绍具体的训练过程。

在本申请实施例中，对所述生成网络模型和判别网络模型进行训练的过程，并不是完全独立的两个训练过程，也不是作为一个整体同时训练的过程，而是交替迭代的训练过程。

例如，构建了生成网络模型和判别网络模型，也构建了相应的重建代价函数和对抗代价函数之后，就可以进行交替迭代训练：

第一次交替训练过程，需要将生成网络模型和判别网络模型分别交替训练一次，

第二次交替训练过程，需要将生成网络模型和判别网络模型再分别交替训练一次，

第三次交替训练过程，需要将生成网络模型和判别网络模型再分别交替训练一次，

……，

第n次交替训练过程，需要将生成网络模型和判别网络模型再分别交替训练一次，

……，

直到所述生成对抗网络模型训练结束，整个训练过程实际上就是对生成网络模型和判别网络模型交替训练的迭代过程。

每一次交替训练过程，所述生成网络模型和所述判别网络模型均符合一定的条件，才算所述生成网络模型和判别网络模型分别交替训练一次。

上述描述了每一次交替训练过程都需要分别对两个网络模型进行训练，然而，本申请在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数。

上述以训练判别网络模型为例，实际上训练判别网络模型时，并不是不再使用生成网络模型，而是需要与生成网络模型结合在一起，需要将历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型。同样训练所述生成网络模型的过程也是需要判别网络模型进行辅助。对生成网络模型和判别网络模型的具体交替迭代的训练过程可参照图2或图3所示实施例中的训练过程。

所述交替迭代训练结束的条件包括：所述交替迭代训练的次数等于M次，其中，M为大于1的整数；

相应的，所述交替迭代训练后的生成网络模型为：第M次交替训练后的生成网络模型；

所述交替迭代训练结束的条件还包括：在最新一次交替训练过程中，训练生成网络模型时，判别网络模型的输出结果收敛。

相应的，所述交替迭代训练后的生成网络模型为：最新一次交替训练后的生成网络模型。

在本申请实施例中，可以设置生成网络模型和判别网络模型交替训练的次数等于M次，例如M为1000次，那就是所述生成网络模型和判别网络模型分别需要训练1000次，并且整个训练过程是交替训练的过程。还可以设置在最新一次交替训练过程中，训练生成网络模型时，判别网络模型的输出结果收敛，例如训练生成网络模型时，生成网络的输出样本输入判别网络模型，判别网络模型的输出越来越趋向于0.5。还可以再对判别网络模型输入真样本，判别网络模型的真样本的输出也越来越趋向于0.5，那就表示判别网络模型对真样本和生成网络生成的假样本已经真假难辨了，即生成网络模型生成的假样本已经能够以假乱真。

当然实际应用中，也可以设置其它条件，在此不再赘述。

步骤S103，获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

在本申请实施例中，对图像的重建过程只需要生成网络模型，所述判别网络模型的存在实际上可以理解为在训练生成网络模型过程中的一个二分类器，通过二者交替迭代的训练过程，实现二者的一个博弈的过程，每一次博弈的过程都会使生成网络模型重建的图像越来越真，而判别网络模型判断的过程越来越准确。这个博弈的过程，作为图像重建而言，我们目的是要通过生成网络模型得到以假乱真的样本，即得到更自然、不失真、高分辨率的图像，那么同样，我们希望生成网络模型赢了，也就是希望生成的假样本很真，判别网络模型能力不足以区分真假样本。在判别网络模型的能力不足以区分真假样本之后，表示生成网络模型能够获得以假乱真的假样本，就可以实现本申请实施例的目的，通过训练结束的生成网络模型对所述待重建的图像进行重建，获得更自然、不失真、高分辨率的图像。

图2是本申请实施例提供的另一种图像重建方法的流程示意图，如图所示该方法是在图1所示实施例的基础上，细化第一次交替训练的过程，在图1所示实施例的基础上可以包括以下步骤：

步骤S201，在第1次交替训练过程中，将原始样本集输入构建的生成网络模型获得输出样本，并将该输出样本作为本次交替训练过程对应的假样本集。

在本申请实施例中，在构建了生成网络模型和判别网络模型以及分别对应的代价函数之后，就可以进行第一次迭代训练过程。

实际应用中，构建的生成网络模型和判别网络模型中的参数不是最好的网络参数，所以我们需要训练这两个网络，本申请实施例中首先训练判别网络模型，判别网络模型的训练过程是需要获得带有标签的真样本和假样本的，通过判断的结果与实际的标签之间的差异反向传播以更新所述判断网络模型的参数的过程就是训练的过程。

在训练之前，我们可以获取到真样本集，真样本集中的每个真样本都具有一个标签，那就是“真”，或者是“1”。只有真样本没有假样本还不足以训练判别网络模型，这时我们通过构建的生成网络模型获得输出样本，该输出样本就称为假样本，因为，目前的生成网络模型不是最优的网络模型，生成的假样本相对比较假，所以我们将原始样本集输入构建的生成网络模型，获得的输出模型就是本次交替训练过程对应的假样本集，当然，假样本集中的样本的标签为“假”，或者“0”。

步骤S202，获取真样本集，并基于对抗代价函数，通过真样本集、所述本次交替训练过程对应的假样本集训练构建的判别网络模型，获得本次交替训练后的判别网络模型。

在本申请实施例中，在获得了具有标签的真样本集和假样本集后，就可以通过真样本集和假样本集训练构建的判别网络模型以更新所述判别网络模型的参数。

虽然作为第一次交替训练的过程，然而，所述判别网络模型的训练并非仅输入一次样本仅更新一次参数，而是一次独立的训练过程，这次训练结束后，可能判别网络模型就是一个比较准确的二分类器，所以针对第一交替训练的过程中，判别网络模型训练结束可以设置一个条件，例如，设置训练500个样本，500个样本中包括真样本和假样本，也可以理解为，第一次交替训练过程中，判别网络模型实际上训练了500次，这500次训练过程为迭代一次，一次交替训练过程中，还可以设置其它条件作为这一次交替训练判别网络模型训练结束的条件，例如，判别网络模型的输出收敛，即获得的输出结果与标签的结果的差距越来越小。第一次交替过程训练结束的判别网络就是本次交替训练后的判别网络模型。

步骤S203，将构建的生成网络模型和所述本次交替训练后的的判别网络模型连接。

在本申请实施例中，判别网络模型经过第一次交替训练，可能能够较好的区分真假样本了，我们在训练生成网络模型时，就可以将本次交替训练后的判别网络模型作为所述生成网络模型生成的样本是否能够以假乱真的判定器。当然，本次交替训练后的判别网络模型的基本架构不会改变，训练的过程只是改变了判别网络模型中的参数，例如，各层的权重、偏置等。所以，可以将本次交替训练后的判别网络模型和生成网络模型联合在一起训练生成网络模型，将本次交替训练后的判别网络模型连接在所述构建的生成网络模型的后面。这样就可以通过生成网络模型生成样本，同时通过本次交替训练后的判别网络模型判别一下生成网络模型生成的样本的真假。如果判别结果是真，那就表示生成网络模型生成的假样本不失真，能够以假乱真，如果判别结果是假，那就表示生成网络模型生成的假样本失真，不能够以假乱真，即生成网络模型还不能对图像进行重建。

步骤S204，在正向传播过程中，所述原始样本集中的原始样本输入构建的生成网络获得输出样本，并将该输出样本作为真样本输入所述本次交替训练后的判别网络模型。

步骤S205，在反向传播过程中，将所述本次交替训练后的判别网络模型的参数设置为不更新，基于所述重建代价函数训练构建的生成网络，获得本次交替训练后的生成网络模型。

在本申请实施例中，神经网络的训练过程通常均会有正向传播的过程和反向传播的过程，正向传播过程是通过神经网络获得预测结果的过程，而反向传播过程是根据预测结果和真实结果之间的差异性建立的代价函数(也称损失函数)反向更新神经网络中各层参数的过程。

在本申请实施例中，将生成网络模型和判别网络模型分别作为子网络串联在一起组成一个网络模型，正向传播的过程其实就是该网络模型将每一个输入生成预测结果的过程。原始样本集就是该网络模型的输入，即生成网络的输入，判别网络模型的输出就是预测结果。与其它神经网络模型不同的是：每输入一个原始样本，就对应有一个假样本，这个假样本作为真样本输入判别网络模型，也就是将生成网络模型获得的假样本的标签设置为“真”或“1”输入本次迭代过程训练获得的判别网络模型。

反向传播的过程中，与其它神经网络模型不同的是：本次交替过程训练获得的判别网络模型的参数设置为不更新，基于所述重建代价函数训练所述生成网络模型以更新所述生成网络模型的参数，也就是说，固定了判别网络模型的参数，我们认为本次训练获得的判别网络模型能够获得比较准确的判别结果，只需要更新生成网络的参数即可。

当然，在一次交替训练过程中，生成网络模型的训练过程也与判别网络模型的训练过程一样，是独立的一次训练过程，所述生成网络模型的训练也并非仅输入一次样本仅更新一次参数，训练结束后，可能生成网络模型就是一个比较准确的重建模型，所以针对第一次交替训练的过程中，生成网络模型训练结束也可以设置条件，具体可参照判别网络模型一次交替训练结束的条件，在此不再赘述。

步骤S203至步骤S205的过程是如何基于重建代价函数，通过所述原始样本集和本次交替训练后的判别网络模型训练构建的生成网络模型，获得本次交替训练后的生成网络模型的过程。

图3是本申请实施例提供的另一种图像重建方法的流程示意图，如图所示该方法是在图1所示实施例的基础上，细化在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数，在图1所示实施例的基础上可以包括以下步骤：

步骤S301，将原始样本集输入上一次交替训练后的生成网络模型中获得输出样本，并将该输出样本作为与本次交替训练过程对应的假样本集。

在本申请实施例中，与图2所示实施例中描述的第一次交替训练过程一致，只是，将原始样本集输入的不再是构建的生成网络模型，而是上一次交替训练后的生成网络模型。另外，N可以是所有大于1的整数，例如，从第2次交替训练过程开始到结束交替训练之前的每一次交替训练过程；也可以是预先设置的任何大于1的整数，例如，可以是第5次交替训练过程、第8次交替训练过程、第9次交替训练过程、第11次交替训练过程；还可以仅是单独的依次训练过程，例如第12次交替训练过程，在此不做限制。

步骤S302，从所述原始样本集中选取一个原始样本，将选取的原始样本在每一次历史交替训练过程中对应的输出样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本。

在本申请实施例中，以第4次交替训练过程为例，原始样本集为：A、B、C、D。选取一个原始样本B，将选取的原始样本B在第1次交替训练过程中对应的假样本B1、第2次交替训练过程中对应的假样本B2、第3次交替训练过程中对应的假样本B3组成一组替换样本，本次交替训练过程对应的假样本集为：A4、B4、C4、D4。将B1、B2、B3组成的替换样本替换掉一个假样本，例如替换A4，得到替换后的所述本次交替训练过程对应的假样本集：B1、B2、B3、B4、C4、D4。当然，还可以替换本次交替训练过程对应的假样本集中的多个假样本，上述选取的原始样本、假样本均用于举例，不作为限制本申请。

步骤S302’，从上一次交替训练过程对应的假样本集中选取至少一个假样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本。

该步骤与S302步骤一致，是另一种得到替换后的所述本次交替训练过程对应的假样本集的方法，还以第4次交替训练过程为例，原始样本集为：A、B、C、D。从上一次交替训练过程对应的假样本集中选取至少一个假样本：B3、D3作为一组替换样本，本次交替训练过程对应的假样本集为：A4、B4、C4、D4。替换掉本次交替训练过程对应的假样本集中的一个假样本，例如，替换B4，得到替换后的所述本次交替训练过程对应的假样本集：A4、B3、D3、C4、D4。与步骤S302一样，均用于举例，不作为限制本申请。

本申请实施例的目的，主要是将不同次数的交替训练过程通过假样本关联起来。

步骤S303，将真样本集、替换后的所述本次交替训练过程对应的假样本集作为本次交替训练过程的输入样本，训练上一次交替训练后的判别网络模型，获得本次交替训练后的判别网络模型。

本申请实施例中，其它训练过程均可以与第一次交替训练过程一致，步骤S303可以获得本次交替训练后的判别网络模型，在获得本次交替训练后的判别网络模型之后，还需要继续训练生成网络模型，具体可参照步骤S203至S205。

第N次交替训练过程与第一次交替训练过程的区别点在于，训练判别网络模型时，不再训练构建的判别网络模型，而是训练上一次交替训练后的判别网络模型。由于每一次交替训练过程都会更新生成网络模型的参数，更新判别网络模型的参数。所以，每一次交替训练过程所使用的生成网络模型和判别网络模型都是当前参数下的生成网络模型和判别网络模型。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4是本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出与本申请实施例相关的部分。

该终端设备4可以是内置于现有的例如手机、笔记本、计算机等终端设备内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述现有的例如手机、笔记本、计算机等终端设备中，还可以作为独立的终端设备存在。

所述终端设备4包括：

模型构建模块41，用于构建生成网络模型和判别网络模型；

模型训练模块42，用于对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

重建模块43，用于获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

可选的，所述模型训练模块42包括：

第一假样本生成单元421，用于在第1次交替训练过程中，将原始样本集输入构建的生成网络模型获得输出样本，并将该输出样本作为本次交替训练过程对应的假样本集；

第一判别网络训练单元422，用于获取真样本集，并基于对抗代价函数，通过真样本集、所述本次交替训练过程对应的假样本集训练构建的判别网络模型，获得本次交替训练后的判别网络模型；

第一生成网络训练单元423，用于基于重建代价函数，通过所述原始样本集和本次交替训练后的判别网络模型训练构建的生成网络模型，获得本次交替训练后的生成网络模型。

可选的，所述第一生成网络训练单元423包括：

连接子单元，用于将构建的生成网络模型和所述本次交替训练后的的判别网络模型连接；

正常传播子单元，用于在正向传播过程中，所述原始样本集中的原始样本输入构建的生成网络获得输出样本，并将该输出样本作为真样本输入所述本次交替训练后的判别网络模型；

反向传播子单元，用于在反向传播过程中，将所述本次交替训练后的判别网络模型的参数设置为不更新，基于所述重建代价函数训练构建的生成网络，获得本次交替训练后的生成网络模型。

可选的，所述模型训练模块42还包括：

第二假样本生成单元424，用于将原始样本集输入上一次交替训练后的生成网络模型中获得输出样本，并将该输出样本作为与本次交替训练过程对应的假样本集；

第一替换单元425，用于从所述原始样本集中选取一个原始样本，将选取的原始样本在每一次历史交替训练过程中对应的输出样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本；

第二判别网络训练单元426，用于将真样本集、替换后的所述本次交替训练过程对应的假样本集作为本次交替训练过程的输入样本，训练上一次交替训练后的判别网络模型，获得本次交替训练后的判别网络模型。

可选的，所述模型训练模块42还包括：

第二替换单元427，用于从上一次交替训练过程对应的假样本集中选取至少一个假样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本；

可选的，所述对抗代价函数包括：

所述重建代价函数包括：

其中，x表示真样本，D(x)表示真样本输入判别网络模型后的输出结果，z表示原始样本，G(z)表示所述原始样本输入生成网络模型后获得的输出样本，即假样本，D(G(z))表示该输出样本输入判别网络模型后的输出结果。

可选的，所述交替迭代训练结束的条件包括：所述交替迭代训练的次数等于M次，其中，M为大于1的整数；

相应的，所述交替迭代训练后的生成网络模型为：第M次交替训练后的生成网络模型；

所述交替迭代训练结束的条件还包括：在最新一次交替训练过程中，训练生成网络模型时，判别网络模型的输出结果收敛。

相应的，所述交替迭代训练后的生成网络模型为：最新一次交替训练后的生成网络模型。

实际应用中，在第二判别网络训练单元之后还包括图中未示出的第二生成网络训练单元，用于在第N次交替训练过程中，对判别网络训练完成后，对生成网络进行训练。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5是本申请实施例提供的另一种终端设备的示意框图。如图5所示，该实施例的终端设备5包括：一个或多个处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个图片重建方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器50执行所述计算机程序52时实现上述终端设备实施例中各模块/单元的功能，例如图4所示模块41至43的功能。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如，所述计算机程序52可以被分割成模型构建模块、模型训练模块、重建模块。

所述模型构建模块，用于构建生成网络模型和判别网络模型；

所述模型训练模块，用于对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

所述重建模块，用于获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

其它模块或者单元可参照图4所示的实施例中的描述，在此不再赘述。

所述终端设备包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的一个示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入设备、输出设备、网络接入设备、总线等。

所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像重建方法，其特征在于，包括：

构建生成网络模型和判别网络模型；

对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

2.如权利要求1所述的图像重建方法，其特征在于，所述对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型包括：

在第1次交替训练过程中，将原始样本集输入构建的生成网络模型获得输出样本，并将该输出样本作为本次交替训练过程对应的假样本集；

获取真样本集，并基于对抗代价函数，通过真样本集、所述本次交替训练过程对应的假样本集训练构建的判别网络模型，获得本次交替训练后的判别网络模型；

基于重建代价函数，通过所述原始样本集和本次交替训练后的判别网络模型训练构建的生成网络模型，获得本次交替训练后的生成网络模型。

3.如权利要求2所述的图像重建方法，其特征在于，所述基于重建代价函数，通过所述原始样本集和本次交替训练后的判别网络模型训练构建的生成网络模型，获得本次交替训练后的生成网络模型包括：

将构建的生成网络模型和所述本次交替训练后的的判别网络模型连接；

在正向传播过程中，所述原始样本集中的原始样本输入构建的生成网络获得输出样本，并将该输出样本作为真样本输入所述本次交替训练后的判别网络模型；

在反向传播过程中，将所述本次交替训练后的判别网络模型的参数设置为不更新，基于所述重建代价函数训练构建的生成网络，获得本次交替训练后的生成网络模型。

4.如权利要求1至3任一项所述的图像重建方法，其特征在于，所述在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型包括：

将原始样本集输入上一次交替训练后的生成网络模型中获得输出样本，并将该输出样本作为与本次交替训练过程对应的假样本集；

从所述原始样本集中选取一个原始样本，将选取的原始样本在每一次历史交替训练过程中对应的输出样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本；

将真样本集、替换后的所述本次交替训练过程对应的假样本集作为本次交替训练过程的输入样本，训练上一次交替训练后的判别网络模型，获得本次交替训练后的判别网络模型。

5.如权利要求1至3任一项所述的图像重建方法，其特征在于，所述在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型包括：

将原始样本集输入上一次交替训练后的生成网络模型中获得输出样本，并将该输出样本作为与本次交替训练过程对应的假样本集；

从上一次交替训练过程对应的假样本集中选取至少一个假样本作为一组替换样本，替换所述本次交替训练过程对应的假样本集中的一个假样本；

将真样本集、替换后的所述本次交替训练过程对应的假样本集作为本次交替训练过程的输入样本，训练上一次交替训练后的判别网络模型，获得本次交替训练后的判别网络模型。

6.如权利要求2所述的图像重建方法，其特征在于，所述对抗代价函数包括：

所述重建代价函数包括：

其中，x表示真样本，D(x)表示真样本输入判别网络模型后的输出结果，z表示原始样本，G(z)表示所述原始样本输入生成网络模型后获得的输出样本，即假样本，D(G(z))表示该输出样本输入判别网络模型后的输出结果。

7.如权利要求1至3任一项所述的图像重建方法，其特征在于，所述交替迭代训练结束的条件包括：所述交替迭代训练的次数等于M次，其中，M为大于1的整数；

相应的，所述交替迭代训练后的生成网络模型为：第M次交替训练后的生成网络模型；

所述交替迭代训练结束的条件还包括：在最新一次交替训练过程中，训练生成网络模型时，判别网络模型的输出结果收敛。

相应的，所述交替迭代训练后的生成网络模型为：最新一次交替训练后的生成网络模型。

8.一种终端设备，其特征在于，包括：

模型构建模块，用于构建生成网络模型和判别网络模型；

模型训练模块，用于对所述生成网络模型和所述判别网络模型进行交替迭代训练获得交替迭代训练后的生成网络模型，其中，在第N次交替训练过程中，训练判别网络模型时，从历史交替训练时所述生成网络模型的输出中选择一组样本加入所述判别网络模型本次交替训练过程的输入样本中，对上一次交替训练后的判别网络模型进行训练，以获得本次交替训练后的判别网络模型，N为大于1的整数；

重建模块，用于获取待重建的图像，并通过交替迭代训练后的生成网络模型对所述待重建的图像进行重建，获得重建后的图像。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述方法的步骤。