CN110288668A - 图像生成方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及图像检测，具体利用图像生成模型生成不同的模态图像，具体提供了一种图像生成方法、装置、设备及存储介质，该方法包括：获取目标图像以及对应的第一模态图像；将第一模态图像输入至预先训练的图像生成模型，以使图像生成模型的第一生成器根据第一模态图像生成第二模态图像以及将生成的第二模态图像输入至图像生成模型的第二生成器使得第二生成器根据生成的第二模态图像生成第三模态图像；采集第二模态图像并根据采集的第二模态图像验证生成的第二模态图像；若生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。提高了不同模态图像的生成效率和准确率。

Description

图像生成方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像生成方法、装置、计算机设备及存储介质。

背景技术

目前，用户常常会使用图像采集设备采集不同的模态图像，比如磁共振成像(Magnetic Resonance Imaging，MRI)，其一般包括三种模态图像，分别为：T1加权成像，T2加权成像以及磁共振成像液体衰减反转恢复序列(T2-FLAIR)图像，不同的模态图像包含不同的信息，具有不同的应用，比如T1加权成像用于观察解剖结构，T2加权成像用于观察组织病变。然而，当前采集这些不同的模态图像需要在图像采集设备(比如磁共振成像仪)上设置相应的扫描参数进行长时间的扫描之后，或者再经过相关的图像处理等方式才能得到不同的模态图像。因此如何提高不同的模态图像的生成效率成为亟需解决的问题。

发明内容

本申请提供了一种图像生成方法、装置、计算机设备及存储介质，以多种模态图像的生成效率和准确率。

第一方面，本申请提供了一种图像生成方法，所述方法包括：

获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；

将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；

发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；

获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；

若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

第二方面，本申请还提供了一种图像生成装置，所述装置包括：

图像获取单元，用于获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；

图像输入单元，用于将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；

指令发送单元，用于发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；

获取验证单元，用于获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；

图像保存单元，用于若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像生成方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的图像生成方法。

本申请公开了一种图像生成方法、装置、计算机设备及存储介质，通过获取目标图像以及所述目标图像对应的第一模态图像；根据所述第一模态图像利用图像生成模型生成第二模态图像以及根据生成的第二模态图像生成第三模态图像；并利用采集的第二模态图像进行验证，在验证通过时保存所述第一模态图像、生成的第二模态图像和第三模态图像，由此可见该方法提高了不同模态图像的生成效率和准确率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的实施例提供的一种图像生成方法的应用场景示意图；

图2是本申请的实施例提供的一种图像生成模型训练方法的示意流程图；

图3是本申请的实施例提供的一种图像生成方法的示意流程图；

图4是图3中的图像生成方法的子步骤示意流程图；

图5是图3中的图像生成方法的子步骤示意流程图；

图6是本申请的实施例提供的另一种图像生成方法的示意流程图；

图7为本申请的实施例提供的一种图像生成模型训练装置的示意性框图；

图8为本申请的实施例提供的一种图像生成装置的示意性框图；

图9为本申请的实施例提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请的实施例提供了一种图像生成方法、装置、计算机设备及存储介质。其中，该图像生成方法可以应用于终端或服务器中，用于图像采集设备配合实现生成多种模态图像。

其中，该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；该服务器可以是独立的服务器，也可以是服务器集群。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请实施例提供的图像生成方法的应用场景示意图。如图1所示，该应用场景包括服务器和图像采集设备，当然服务器也可以采用终端；图像采集设备为可采集多种模态图像的摄像设备，可例如为：磁共振成像仪、电子计算机断层扫描、透射电子显微镜或摄像设备等。

其中，服务器运行该图像生成方法并与图像采集设备交互，以快速准确地生成多种模态图像，缩短了用户的等待时间，提高了用户体验，同时降低了图像采集设备的使用率，进而提高图像采集设备的使用寿命。

譬如，在一个实施例中，服务器用于实现如下步骤：获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。由此可以缩短通过图像采集设备采集多种模态图像的采集时间，提高了不同模态图像的生成效率和准确率。

譬如，在一个实施例中，服务器用于实现如下步骤：获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；若所述生成的第二模态图像验证未通过，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像；保存所述第一模态图像、采集的第二模态图像和生成的第三模态图像。由此在验证未通过时，依然可以不通过图像采集全部模态图像，而得到不同的模态图像，进而提高了模态图像的生成效率和准确率。

需要说明的是，以下将以图像采集设备为磁共振成像仪进行详细介绍，同时其他图像采集设备，若该图像采集设备产生多种模态图像、或者类似多模态图像亦在本申请的保护范围，比如透射电子显微镜通过设置的不同扫描角度扫描得到不同扫描角度的图像，即为不同模态图像，透射电子显微镜亦可适用于该图像生成方法。

请参阅图2，图2是本申请的实施例提供的一种图像生成模型训练的方法的示意流程图。如图5所示，该图像生成模型训练具体包括步骤S101至S103。

S101、获取图像数据集，所述图像数据集包括多个目标图像以及每个所述目标图像对应的第一模态图像、第二模态图像和第三模态图像。

具体地，图像数据集为样本数据集，样本数据集包括多个目标图像，其中每个目标图像均至少对应有第一模态图像、第二模态图像和第三模态图像。该样本数据集用于模型训练。

比如，图像数据集为MRI图像数据集，包括多个MRI图像，其中每个MRI图像又对应着不同的模态图像，即第一模态图像、第二模态图像和第三模态图像，分别对应T1加权成像，T2加权成像和T2-FLAIR图像，T2-FLAIR图像为磁共振成像液体衰减反转恢复序列图像。不同的模态图像包括不同的图像信息同时也具有不同功能，比如，T1加权图像多用于观察解剖学结构，T2加权图像多用于观察病变，T2-FLAIR图像采用了组织抑制技术，将T2图像中含有水分较多的组织去除，使病灶更为凸显。

S102、提取预设的生成式对抗网络。

其中，预设的生成式对抗网络至少包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于根据所述第一模态图像生成第二模态图像，所述第一判别器用于判别输入的是生成的第二模态图像还是所述图像数据集的第二模态图像，所述第二生成器用于根据生成的第二模态图像生成第三模态图像，所述第二判别器用于判别输入的是生成的第三模态图像还是图像数据集的第三模态图像。

其中，生成式对抗网络(Generative Adversarial Networks，GAN)由两个网络组成，一个作为生成器，一个作为判别器。两个网络同时进行训练，并且采用极小化极大算法来进行竞争。训练处的生成器用于欺骗判别器以产生逼真的图像，判别器则在训练的过程中逐渐学会不被生成器所蒙骗。

生成式对抗网络与传统的概率生成模型不同，其避免了马尔科夫链的学习机制。传统的概率生成模型一般都需要进行马可夫链式的采样和推断，而生成式对抗网络避免了这个计算复杂度特别高的过程，直接进行采样和推断，从而提高了应用效率，所以它能够被更加广泛的应用到各种场合中。

生成式对抗网络是将一个服从高斯分布或者是从0到1之间均匀分布的随机变量通过一个神经网络来进行概率分布的逆变换采样，从而得到一个生成的概率分布。而生成式对抗网络以及一般概率生成器的训练目的，就是要使生成的概率分布和真实数据的概率分布尽量接近，从而能够模拟真实的数据。然而在实际情况中，真实数据的分布是无法精确得知的，只能从真实世界中获取尽可能多的样本，并用样本的分布来代表真实世界数据的分布。通过对网络不断的训练，使得网络的参数得以不断的优化，从而使得生成的概率分布和真实数据概率分布尽量接近。

对于训练过程中的损失函数，传统的生成器，一般是去优化数据的似然性，而生成式对抗网络使用了完全不同的方法，其引入了一个同样由神经网络构成的判别器，在训练的过程中，生成器不断生成新的数据，而判别器在不断的评判生成的数据是否与真实数据相似，两个网络同时得到优化，最终平衡在一个纳什均衡点。因此，生成器的目的即要尽量去学习真实数据的分布概率；而判别器则是要判别自己所得到的一个输入数据，是来自于真实的数据还是来自于一个生成器的输出数据，两个网络在对抗中不断优化，当一个判别器的性能已经足够好的时候，如果生成器所生成的数据依旧能够使其产生混淆，就认为这个生成器已经达到了最优。

在本实施例中，使用的生成式对抗网络至少包括两个生成器和两个判别器，即第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器用于生成第二模态图像，第二生成器用于生成第三模态数据。

需要说明的是，在本实施例中，还修改了生成式对抗网络的网络结构，具体将常规噪声改为使用Dropout机制，由此提高了模型训练速度以及模型的生成效率。

S103、根据所述多个所述目标图像以及对应的第一模态图像、第二模态图像和第三模态图像对所述生成式对抗网络进行对抗学习训练，并保险训练好的生成式对抗网络作为图像生成模型。

具体地，将图像数据集中的多个目标图像对应的第一模态图像作为第一生成器的输入，将第一生成器输出的图像和图像数据集中的第二模态图像作为第一判别器的输入；将第一生成器输出的图像作为第二生成器的输入，将第二生成器输出的图像和图像数据集中的第三模态图像作为第二判别器的输入，进行对抗学习，具体地是链式对抗学习训练的方式；直至第一判别器无法区分输入的是第一生成器输出的图像还是图像数据集的第二模态图像，且第二判别器无法区分输入的是第二生成器输出的图像还是图像数据集的第三模态图像，并保存训练好的第一生成器和第二生成器。

在一个实施例中，生成式对抗网络还可包括第三生成器和第三判别器，可将目标图像作为输入第三生成器，将第三生成器输出的图像和图像数据集中的第一模态图像作为第三判别器的输入，直至第三判别器无法区分输入的是第三生成器输出的图像还是图像数据集的第一模态图像，保存训练好的第一生成器和第二生成器。

请参阅图3，图3是本申请的实施例提供的一种图像生成方法的示意流程图。如图3所示，该图像生成方法具体包括步骤S201至S205。

S201、获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像。

具体地，获取图像采集设备采集的目标图像，获取所述目标图像对应的第一模态图像，第一模态图像为根据不同采集参数采集的具有不同信息的模态图像，比如为T1加权成像，T2加权成像和T2-FLAIR图像的一种。

其中，获取图像采集设备采集的目标图像，包括：接收图像采集设备发送的目标图像，该目标图像为图像采集设备采集目标对象对应的图像，目标对象比如人、动物、组织、景物等等。

在一个实施例中，所述获取图像采集设备采集的目标图像，包括：获取图像采集设备在预设时间段内采集的目标图像。比如图像采集设备刚开始采集目标对象的图像，开始时间段即为预设时间段，该预设时间段是指图像采集设备采集完目标图像对应时间段，不包括采集其他模态图像对应的时间段。由此，可以缩短图像采集设备的采集时间，同时又减少设备损耗。

在一个实施例中，为了快速准确地得到目标图像对应的第一模态图像，进而提供模态图像生成效率，所述获取所述目标图像对应的第一模态图像，包括：将所述目标图像输入至预先训练好的图像生成模型以生成所述目标对象对应的第一模态图像。

比如，将所述目标图像输入至上述训练好的图像生成模型的第三生成器以生成所述目标对象对应的第一模态图像。

在一个实施例中，为了快速准确地得到目标图像对应的第一模态图像，进而提供模态图像生成效率，还提供一种模态图像获取步骤，如图4所示，该模态图像获取步骤具体包括以下内容：

S201a、获取所述目标图像中目标对象对应的对象类型，并确定所述对象类型对应的采集参数，其中不同的对象类型对应不同的采集参数；S201b、发送所述采集参数至所述图像采集设备以使所述图像采集设备根据所述采集参数采集所述目标图像对应的第一模态图像；S201c、接收所述图像采集设备发送的第一模态图像。

具体地，目标对象的对象类型比如为人、动物、组织或景物，比如在磁共振成像，对象类型包括人或动物，还可更细划分，比如人的不同部位，比如头、胳膊、手、腿和脚等。其中不同的对象类型对应不同的采集参数，采集参数比如采集时间、扫描频率、扫描速度等等。对所述目标图像中的目标对象进行图像识别分析以得到对应的对象类型，并根据得到的对象类型确定相应的采集参数。将所述采集参数发送至所述图像采集设备，该图像采集设备根据所述采集参数采集所述目标图像对应的第一模态图像，并在采集完之后将第一模态图像发送至服务器，所述服务器接收所述图像采集设备发送的第一模态图像。

S202、将所述第一模态图像输入至预先训练的图像生成模型。

其中，预先训练的图像生成模型采用上述模型训练方法训练好的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述图像生成模型的第二生成器，所述第二生成器根据所述生成的第二模态图像生成第三模态图像。

S203、发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像。

具体地，服务器发送图像采集指令至所述图像采集设备，比如发送至磁共振成像仪，图像采集指令用于指令图像采集设备采集第二模态图像，在图像采集设备接收到图像采集指令时根据所述图像采集指令采集第二模态图像，并将采集到的第二模态图像发送至服务器。

S204、获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像。

具体地，服务器接收图像采集设备采集的第二模态图像，并根据所述采集的第二模态图像验证所述生成的第二模态图像。其中验证所述生成的第二模态图像，比如可以计算两个图像的相似度，根据相似度验证所述生成的第二模态图像，具体地，相似度大于90％，则所述生成的第二模态图像验证通过。

在一个实施例中，还提供模态图像验证步骤，如图5所示，该模态图像验证步骤包括：

S204a、提取采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数；S204b、若采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数相匹配，判定所述生成的第二模态图像验证通过。

具体地，模态参数是模态图像的参数信息，比如横向迟豫时间、纵向横向迟豫时间。模态参数相匹配包括判断两个模态图像的模态参数是否相同或相近，比如横向迟豫时间相同，或者横向迟豫时间相差0.01S内。若采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数相匹配，判定所述生成的第二模态图像验证通过。由此可以提高模态图像验证效率，进而提高模态图像的生成效率。

在一个实施例中，所述根据采集的第二模态图像验证所述生成的第二模态图像，包括：将采集的第二模态图像输入至所述图像生成模型，具体地，所述图像生成模型的判别器根据所述采集的第二模态图像验证所述生成的第二模态图像并在无法判别输入的是采集的第二模态图像还是生成的第二模态图像时输出验证通过结果。

S205、若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

具体地，根据所述采集的第二模态图像验证所述生成的第二模态图像，若所述生成的第二模态图像验证通过时，保存所述第一模态图像以及根据图像生成模型生成的第二模态图像和第三模态图像，由此得到目标图像的多种模态图像，进而提高了模态图像生成效率和准确率。

上述实施例提供的图像生成方法通过获取目标图像以及所述目标图像对应的第一模态图像；根据所述第一模态图像利用图像生成模型生成第二模态图像以及根据生成的第二模态图像生成第三模态图像；并利用采集的第二模态图像进行验证，在验证通过时保存所述第一模态图像、生成的第二模态图像和第三模态图像，由此可见该方法提高了不同模态图像的生成效率和准确率。

请参阅图6，图6是本申请的实施例提供的一种图像生成方法的示意流程图。如图6所示，该图像生成方法具体包括步骤S301至S307。

S301、获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像。

具体地，获取图像采集设备采集的目标图像，获取所述目标图像对应的第一模态图像，第一模态图像为根据不同采集参数采集的具有不同信息的模态图像，比如为T1加权成像。

S302、将所述第一模态图像输入至预先训练的图像生成模型。

其中，所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像。

S303、发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像。

具体地，服务器发送图像采集指令至所述图像采集设备，图像采集指令用于指令图像采集设备采集第二模态图像，在图像采集设备接收到图像采集指令时根据所述图像采集指令采集第二模态图像，并将采集到的第二模态图像发送至服务器。

S304、获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像。

具体地，服务器接收图像采集设备采集的第二模态图像，并根据所述采集的第二模态图像验证所述由图像生成模型生成的第二模态图像。采用第二模态图像进行验证，同时保证了第一模态图像和第三模态图像的准确性，进而提高了模态图像的准确性。

S305、若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

具体地，根据所述采集的第二模态图像验证所述生成的第二模态图像，若所述生成的第二模态图像验证通过时，保存所述第一模态图像以及根据图像生成模型生成的第二模态图像和第三模态图像。

S306、若所述生成的第二模态图像验证未通过，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像。

具体地，根据所述采集的第二模态图像验证所述生成的第二模态图像，若所述生成的第二模态图像验证未通过时，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像。

S307、保存所述第一模态图像、采集的第二模态图像和生成的第三模态图像。

具体地，保存所述第一模态图像，由图像采集设备采集的第二模态图像和所述图像生成模型根据采集的第二模态图像生成的第三模态图像，由此得到目标图像的多种模态图像，进而提高了模态图像生成效率以及多种模态图像的相对准确率。

上述实施例提供的图像生成方法通过获取目标图像以及所述目标图像对应的第一模态图像；根据所述第一模态图像利用图像生成模型生成第二模态图像以及根据生成的第二模态图像生成第三模态图像；并利用采集的第二模态图像进行验证，在验证通过时保存所述第一模态图像、生成的第二模态图像和第三模态图像，由此可见该方法提高了不同模态图像的生成效率和准确率。

请参阅图7，图7是本申请的实施例提供一种图像生成模型训练装置的示意性框图，该图像生成装置用于执行前述的图像生成模型训练方法。其中，该图像生成模型训练装置可以配置于服务器。

如图7所示，该图像生成模型训练装置400，包括数据集获取单元401、网络提取单元402和训练保存单元403。

数据集获取单元401，用于获取图像数据集。

其中，所述图像数据集包括多个目标图像以及每个所述目标图像对应的第一模态图像、第二模态图像和第三模态图像。

网络提取单元402，用于提取预设的生成式对抗网络。

其中，所述生成式对抗网络至少包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于根据所述第一模态图像生成第二模态图像，所述第一判别器用于判别输入的是生成的第二模态图像还是所述图像数据集的第二模态图像，所述第二生成器用于根据生成的第二模态图像生成第三模态图像，所述第二判别器用于判别输入的是生成的第三模态图像还是图像数据集的第三模态图像。

训练保存单元403，用于根据所述多个所述目标图像以及对应的第一模态图像、第二模态图像和第三模态图像对所述生成式对抗网络进行对抗学习训练，并保险训练好的生成式对抗网络作为图像生成模型。

请参阅图8，图8是本申请的实施例提供一种图像生成装置的示意性框图，该图像生成装置用于执行前述的图像生成方法。其中，该图像生成装置可以配置于服务器或终端。

如图8所示，该图像生成装置500，包括：图像获取单元501、图像输入单元502、指令发送单元503、获取验证单元504、图像保存单元505、图像生成单元506和采集保存单元507。

图像获取单元501，用于获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像。

在一个实施例中，图像获取单元501，具体用于：将所述目标图像输入至预先训练好的图像生成模型以生成所述目标对象对应的第一模态图像。

在一个实施例中，图像获取单元501，包括：类型获取子单元5011、参数发送子单元5012和图像接收子单元5013。

其中，类型获取子单元5011，用于获取所述目标图像中目标对象对应的对象类型，并确定所述对象类型对应的采集参数其中不同的对象类型对应不同的采集参数；参数发送子单元5012，用于发送所述采集参数至所述图像采集设备以使所述图像采集设备根据所述采集参数采集所述目标图像对应的第一模态图像；图像接收子单元5013，用于接收所述图像采集设备发送的第一模态图像。

图像输入单元502，用于将所述第一模态图像输入至预先训练的图像生成模型。

其中，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像。

指令发送单元503，用于发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像。

获取验证单元504，用于获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像。

在一个实施例中，获取验证单元504，包括：参数提取子单元5041和匹配验证子单元5042。

其中，参数提取子单元5041，用于提取采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数；匹配验证子单元5042，用于若采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数相匹配，判定所述生成的第二模态图像验证通过。

在一个实施例中，获取验证单元504，具体用于：将采集的第二模态图像输入至所述图像生成模型，具体地，所述图像生成模型的判别器根据所述采集的第二模态图像验证所述生成的第二模态图像并在无法判别输入的是采集的第二模态图像还是生成的第二模态图像时输出验证通过结果。

图像保存单元505，用于若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

图像生成单元506，用于若所述生成的第二模态图像验证未通过，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像。

采集保存单元507，用于保存所述第一模态图像、采集的第二模态图像和生成的第三模态图像。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。

请参阅图9，图9是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是终端。

如图9所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种图像生成方法，或者图像生成模型训练方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像生成方法，或者图像生成模型训练方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取图像数据集，所述图像数据集包括多个目标图像以及每个所述目标图像对应的第一模态图像、第二模态图像和第三模态图像；提取预设的生成式对抗网络，所述生成式对抗网络至少包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于根据所述第一模态图像生成第二模态图像，所述第一判别器用于判别输入的是生成的第二模态图像还是所述图像数据集的第二模态图像，所述第二生成器用于根据所述生成的第二模态图像生成第三模态图像，所述第二判别器用于判别输入的是生成的第三模态图像还是图像数据集的第三模态图像；根据所述多个所述目标图像以及对应的第一模态图像、第二模态图像和第三模态图像对所述生成式对抗网络进行对抗学习训练，并保存训练好的生成式对抗网络作为图像生成模型。

在一个实施例中，所述处理器在实现所述所述获取所述目标图像对应的第一模态图像时，用于实现：

将所述目标图像输入至预先训练好的图像生成模型以生成所述目标对象对应的第一模态图像。

在一个实施例中，所述目标图像包括目标对象；所述处理器在实现所述获取所述目标图像对应的第一模态图像时，用于实现：

获取所述目标图像中目标对象对应的对象类型，并确定所述对象类型对应的采集参数，其中不同的对象类型对应不同的采集参数；发送所述采集参数至所述图像采集设备以使所述图像采集设备根据所述采集参数采集所述目标图像对应的第一模态图像；接收所述图像采集设备发送的第一模态图像。

在一个实施例中，所述处理器在实现所述所述根据采集的第二模态图像验证所述生成的第二模态图像时，用于实现：

提取采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数；若采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数相匹配，判定所述生成的第二模态图像验证通过。

在一个实施例中，所述处理器在实现所述所述根据采集的第二模态图像验证所述生成的第二模态图像时，用于实现：

将采集的第二模态图像输入至所述图像生成模型，以使所述图像生成模型的判别器在无法判别输入的是采集的第二模态图像还是生成的第二模态图像时输出验证通过结果。

在一个实施例中，所述处理器在实现所述所述将采集的第二模态图像输入至所述图像生成模型之后，还用于实现：

若所述生成的第二模态图像验证未通过，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像；保存所述第一模态图像、采集的第二模态图像和生成的第三模态图像。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项图像生成方法，或者图像生成模型训练方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像生成方法，其特征在于，包括：

获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；

将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；

发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；

获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；

若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

2.根据权利要求1所述的图像生成方法，其特征在于，还包括：

获取图像数据集，所述图像数据集包括多个目标图像以及每个所述目标图像对应的第一模态图像、第二模态图像和第三模态图像；

提取预设的生成式对抗网络，所述生成式对抗网络至少包括第一生成器、第一判别器、第二生成器和第二判别器，所述第一生成器用于根据所述第一模态图像生成第二模态图像，所述第一判别器用于判别输入的是生成的第二模态图像还是所述图像数据集的第二模态图像，所述第二生成器用于根据所述生成的第二模态图像生成第三模态图像，所述第二判别器用于判别输入的是生成的第三模态图像还是图像数据集的第三模态图像；

根据所述多个所述目标图像以及对应的第一模态图像、第二模态图像和第三模态图像对所述生成式对抗网络进行对抗学习训练，并保存训练好的生成式对抗网络作为图像生成模型。

3.根据权利要求1所述的图像生成方法，其特征在于，所述获取所述目标图像对应的第一模态图像，包括：

将所述目标图像输入至预先训练好的图像生成模型以生成所述目标对象对应的第一模态图像。

4.根据权利要求1所述的图像生成方法，其特征在于，所述目标图像包括目标对象；所述获取所述目标图像对应的第一模态图像，包括：

获取所述目标图像中目标对象对应的对象类型，并确定所述对象类型对应的采集参数，其中不同的对象类型对应不同的采集参数；

发送所述采集参数至所述图像采集设备以使所述图像采集设备根据所述采集参数采集所述目标图像对应的第一模态图像；

接收所述图像采集设备发送的第一模态图像。

5.根据权利要求1所述的图像生成方法，其特征在于，所述根据采集的第二模态图像验证所述生成的第二模态图像，包括：

提取采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数；

若采集的第二模态图像的模态参数和所述生成的第二模态图像的模态参数相匹配，判定所述生成的第二模态图像验证通过。

6.根据权利要求1任一项所述的图像生成方法，其特征在于，所述根据采集的第二模态图像验证所述生成的第二模态图像，包括：

将采集的第二模态图像输入至所述图像生成模型，以使所述图像生成模型的判别器在无法判别输入的是采集的第二模态图像还是生成的第二模态图像时输出验证通过结果。

7.根据权利要求1至6任一项所述的图像生成方法，其特征在于，所述将采集的第二模态图像输入至所述图像生成模型之后，还包括：

若所述生成的第二模态图像验证未通过，将采集的第二模态图像输入至所述第二生成器以使所述第二生成器根据所述采集的第二模态图像生成第三模态图像；

保存所述第一模态图像、采集的第二模态图像和生成的第三模态图像。

8.一种图像生成装置，其特征在于，包括：

图像获取单元，用于获取图像采集设备采集的目标图像以及所述目标图像对应的第一模态图像；

图像输入单元，用于将所述第一模态图像输入至预先训练的图像生成模型，所述图像生成模型至少包括第一生成器和第二生成器，以使所述第一生成器根据所述第一模态图像生成第二模态图像并将生成的第二模态图像输入至所述第二生成器使得所述第二生成器根据所述生成的第二模态图像生成第三模态图像；

指令发送单元，用于发送图像采集指令至所述图像采集设备以使所述图像采集设备根据所述图像采集指令采集第二模态图像；

获取验证单元，用于获取采集的第二模态图像，根据所述采集的第二模态图像验证所述生成的第二模态图像；

图像保存单元，用于若所述生成的第二模态图像验证通过，保存所述第一模态图像、生成的第二模态图像和第三模态图像。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的图像生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的图像生成方法。