CN113222872A - 图像处理方法、装置、电子设备及介质 - Google Patents

图像处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113222872A
CN113222872A CN202110606776.8A CN202110606776A CN113222872A CN 113222872 A CN113222872 A CN 113222872A CN 202110606776 A CN202110606776 A CN 202110606776A CN 113222872 A CN113222872 A CN 113222872A
Authority
CN
China
Prior art keywords
image
data
target
uncertainty
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110606776.8A
Other languages
English (en)
Inventor
刘杰
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110606776.8A priority Critical patent/CN113222872A/zh
Publication of CN113222872A publication Critical patent/CN113222872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及介质，应用于智能决策技术领域。其中方法包括：获取待预测的第一图像，将第一图像输入至训练后的图像生成模型中生成目标图像，根据第一图像生成N个第二图像以及与第二图像具有映射关系的N个第一不确定性数据，根据N个第二图像确定出第二不确定性数据，并根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据，输出目标图像以及目标不确定性数据。采用本申请实施例，可以提高图像预测的可靠性。本申请涉及区块链技术，如可将目标图像或目标不确定性数据等写入区块链。

Description

图像处理方法、装置、电子设备及介质
技术领域
本申请涉及智能决策技术领域，尤其涉及一种图像处理方法、装置、电子设备及介质。
背景技术
随着计算机技术的不断发展，人工智能(AI)技术也越发成熟，其中人工智能技术就涉及到深度学习的相关技术。
现有技术中，可以通过深度学习相关技术来对图像生成模型进行训练，训练得到的模型可以应用于对图像进行预测(如对输入图像(如MR图像)进行预测生成目标图像(如CT图像))。然而，基于现有的图像预测方法得到预测生成的目标图像之后，通常会因为输入图像本身存在噪声等原因对目标图像的预测准确率产生负面影响，导致目标图像的预测可靠性不高，甚至可能对后续目标图像的实际应用(如基于生成的CT图像对患者进行诊断)造成风险。因此，如何提高图像预测的可靠性成为了一个亟待解决的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及介质，可以提高图像预测的可靠性。
一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取待预测的第一图像；
将所述第一图像输入至训练后的图像生成模型中生成目标图像；
根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出所述目标图像以及所述目标不确定性数据。
在一种可能的实施方式中，所述获取待预测的第一图像之前，还包括：
获取训练集，所述训练集包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第一样本图像和所述第一图像的图像类型相同，所述第二样本图像和所述第二图像的图像类型相同；
对所述第一样本图像和所述第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像；
将所述处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，并确定所述合成图像的判别结果；所述判别结果用于表示所述合成图像为所述处理后的第二样本图像的可能性；
利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型。
在一种可能的实施方式中，所述将所述处理后的第一样本图像输入初始的图像生成模型生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，包括：
获取随机噪声向量；
将所述处理后的第一样本图像和所述随机噪声向量输入所述初始的图像生成模型，在所述初始的图像生成模型中对所述处理后的第一样本图像和所述随机噪声向量进行处理生成所述合成图像，并根据所述处理后的第一样本图像中的噪声计算数据标准差；
将所述数据标准差确定为与所述合成图像具有映射关系的第三不确定性数据。
在一种可能的实施方式中，所述利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型，包括：
获取所述初始的图像生成模型的第一损失函数；所述第一损失函数是根据用于衡量图像不确定性的第二损失函数构建的；
通过所述第一损失函数根据所述第三不确定性数据以及所述判别结果，确定损失函数值；
采用所述损失函数值更新所述初始的图像生成模型的网络参数，得到所述训练后的图像生成模型。
在一种可能的实施方式中，所述训练后的图像生成模型包括训练后的生成器，所述根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据，包括：
通过所述训练后的图像生成模型包括的训练后的生成器对所述第一图像进行处理，得到所述N个第二图像和与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述处理包括对所述训练后的图像生成模型包括的训练后的生成器中的目标神经网络进行N次神经元失效处理。
在一种可能的实施方式中，所述生成目标图像包括：
获取所述N个第二图像中每个第二图像的图像数据；
根据所述N个第二图像中每个第二图像的图像数据，确定所述目标图像的图像数据；
根据所述目标图像的图像数据生成所述目标图像。
在一种可能的实施方式中，所述根据N个第二图像确定出第二不确定性数据，包括：
根据所述N个第二图像中每个第二图像的图像数据分别与所述目标图像的图像数据之间的偏差值，得到所述N个第二图像与所述目标图像的目标偏差值；
将所述目标偏差值确定为所述第二不确定性数据。
一方面，本申请实施例提供了一种图像处理装置，该装置包括：
获取模块，用于获取待预测的第一图像；
生成模块，用于将所述第一图像输入至训练后的图像生成模型中生成目标图像；
所述生成模块，还用于根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
确定模块，用于根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
所述生成模块，还用于根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出模块，用于输出所述目标图像以及所述目标不确定性数据。
一方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，其中，存储器用于存储计算机程序，该计算机程序包括程序指令，处理器被配置用于调用该程序指令，执行如下步骤：获取待预测的第一图像；将所述第一图像输入至训练后的图像生成模型中生成目标图像；根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；输出所述目标图像以及所述目标不确定性数据。
一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时，用于执行上述方法中的部分或全部步骤。
本申请实施例中，电子设备获取待预测的第一图像，将第一图像输入至训练后的图像生成模型中生成目标图像，并根据第一图像生成N个第二图像以及与第二图像具有映射关系的N个第一不确定性数据，该第一不确定性数据用于衡量对应的第二图像的不确定性，根据N个第二图像确定出第二不确定性数据，该第二不确定性数据用于衡量训练后的图像生成模型的不确定性，根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据，输出目标图像以及目标不确定性数据。通过实施本申请实施例所提出的方法，可以提高图像生成模型预测目标图像的效率，以及可以获取到目标图像的不确定性，该不确定性能够用于判定目标图像的预测准确性，进而能够提高图像预测的可靠性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种应用架构示意图；
图1b为本申请实施例提供的一种应用架构示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种图像处理方法的流程示意图；
图4为本申请实施例提供的一种确定目标图像和目标不确定性数据的场景示意图；
图5为本申请实施例提供的一种图像处理方法的流程示意图；
图6为本申请实施例提供的一种训练图像生成模型的场景示意图；
图7为本申请实施例提供的一种图像处理装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本申请实施例提出的图像处理方法实现于电子设备，该电子设备可以为终端设备或服务器。其中，终端设备可以为智能手机、平板电脑、笔记本电脑、台式计算机等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是云服务器等，但并不局限于此。本申请涉及区块链技术，电子设备可将涉及的数据如待转换的第一图像对应的目标图像或目标不确定性数据等写入区块链中，以便于电子设备可以在区块链上获取所需信息，如待转换的第一图像对应的目标图像。
请参见图1a，图1a为本申请实施例提供的一种应用架构示意图，可以通过该应用架构执行本申请所提出的图像处理方法。具体的，图1a可以包括电子设备、以及电子设备中部署有训练后的图像生成模型。其中，训练后的图像生成模型包括训练后的生成器(生成网络)和训练后的判别器(判别网络)。电子设备可以通过执行本申请的技术方案，将待预测的第一图像输入训练后的图像生成模型，并利用训练后的图像生成模型根据第一图像得到目标图像以及目标图像对应的目标不确定性数据，进而可以提高图像预测的可靠性。其中，目标不确定性数据可以由第一不确定性数据和第二不确定性数据构成。可以理解的是，图1a所示出的应用架构表示的是模型的预测阶段(即测试阶段或应用阶段)，以及在该阶段，使用的是该模型中的生成器。
在一个实施例中，请参见图1b，图1b为本申请实施例提供的一种应用架构示意图，以及，该图1b所示出的应用架构表示的是模型的训练阶段，即可以基于图1b的应用架构对初始的图像生成模型进行训练得到图1a中的训练后的图像生成模型。具体的，图1b可以包括电子设备，以及电子设备中部署了初始的图像生成模型，和存储了用于模型训练的训练集。该初始的图像生成模型可以包括初始的生成器和初始的判别器，该训练集可以包括第一样本图像和第一样本图像对应的第二样本图像。其中，电子设备可以将处理后第一样本图像输入初始的生成器得到合成图像和第三不确定性数据，并利用初始的判别器、合成图像和处理后的第二样本图像得到该合成图像的判别结果，以及利用第三不确定数据和判别结果得到损失函数值，并通过该损失函数值对初始的生成器和初始的判别器进行训练，由此得到训练后的图像生成模型。
可以理解的是，图1a和图1b只是示例性地表征本申请技术方案所提出的应用架构，并不对本申请技术方案的具体架构进行限定，即本申请技术方案还可以提供其他形式的应用架构。
在一些实施例中，电子设备可根据实际的业务需求，执行该图像处理方法，以提高图像预测的效率和可靠性。本申请技术方案可以应用于任意图像预测场景中，即电子设备可以通过本申请技术方案实现由第一图像预测生成目标图像以及目标图像的目标不确定性数据。其中，第一图像可以为任意图像类型的图像，以及目标图像可以为任意图像类型的图像。第一图像的类型与第二图像的类型可以不同。例如，本申请技术方法可以应用于医学图像预测的应用场景中，具体的，第一图像可以为MR图像(磁共振成像，MagneticResonance Imaging)，目标图像可以为对应的CT图像(电子计算机断层扫描仪成像，Computed Tomography Imaging)，即可以通过本申请的图像处理方法实现对MR图像进行预测生成对应的CT图像以及该CT图像的目标不确定性数据。
可以理解的是，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
基于上述的描述，本申请实施例提出了一种图像处理方法，该方法可以由上述提及的电子设备来执行。如图2所示，本申请实施例的图像处理方法的流程可以包括如下：
S201、获取待预测的第一图像。
其中，该待预测的第一图像可以有一个或多个，每个待预测的第一图像通过训练后的图像生成模型得到目标图像和目标不确定性数据的过程和原理相同，一个第一图像可以对应得到一个目标图像和一个目标不确定性数据。由此，下述以一个第一图像为例进行说明。此外，本申请实施例可以应用于任意图像预测场景，如应用于医学图像预测场景时，该第一图像可以为MR图像。
S202、将第一图像输入至训练后的图像生成模型中生成目标图像。
其中，第一图像和目标图像的图像类型可以相同也可以不相同。若应用于医学图像预测场景时，该目标图像可以为CT图像。
在一个可能的实施方式中，电子设备将第一图像输入至训练后的图像生成模型中生成目标图像具体方式可以是：将第一图像输入至训练后的图像生成模型中生成N个第二图像，并根据该N个第二图像生成目标图像；其中N为正整数，N的具体取值根据实际应用场景决定。可以理解的是，电子设备是通过将第一图像输入训练后的图像生成模型包括的训练后的生成器中生成N个第二图像的。
其中，根据该N个第二图像生成目标图像具体可以是：获取N个第二图像中每个第二图像的图像数据，根据N个第二图像中每个第二图像的图像数据，确定目标图像的图像数据，并根据目标图像的图像数据生成目标图像。可选的，图像数据可以表示构成图像的元素的数据，以及可以通过图像数据生成对应的图像。其中，第二图像的图像数据可以为第二图像的像素数据，即第二图像包含的像素点的像素值，第二图像的图像数据还可以为灰度数据，即第二图像包含的像素点的灰度值，第二图像的图像数据还可以为颜色数据，即第二图像包含的像素点的颜色值(如RGB值)，此处对图像数据不做限制。
可选的，在一个可能的实施方式中，根据N个第二图像中每个第二图像的图像数据，确定目标图像的图像数据，并根据目标图像的图像数据生成目标图像具体可以是：对N个第二图像中每个第二图像的图像数据进行均值计算，得到N个第二图像的图像数据中的平均图像数据，并将该平均图像数据确定为目标图像的图像数据。
即可以是，对N个第二图像中每个第二图像的图像数据乘以1/N再求和，得到目标图像的图像数据。以图像数据为颜色数据为例，即N个第二图像中每个第二图像对应的像素点的颜色值乘以1/N再求和，得到目标图像的颜色数据，并基于该目标图像的颜色数据生成目标图像。当图像数据为其他数据时，确定目标图像的具体方式可以同图像数据为颜色数据时确定目标图像的方式，此处不再赘述。
可选的，在一个可能的实施方式中，电子设备将第一图像输入训练后的图像生成模型中生成N个第二图像时，会生成N个第二图像中每个第二图像的概率，该概率是在生成第二图像时经由训练后的图像生成模型包括的训练后的生成器中的目标神经网络里面的一些神经元而产生的；因此，根据N个第二图像中每个第二图像的图像数据，确定目标图像的图像数据，并根据目标图像的图像数据生成目标图像具体可以是：对N个第二图像中的每个第二图像的概率进行归一化处理以使归一化处理后，N个第二图像的概率之和为1，然后将N个第二图像中每个第二图像的图像数据乘以对应的概率(归一化后的)再求和，得到目标图像的图像数据。
S203、根据第一图像生成N个第二图像以及与第二图像具有映射关系的N个第一不确定性数据；其中，该第一不确定性数据用于衡量对应的第二图像的不确定性。
其中，电子设备在将第一图像输入至训练后的图像生成模型中以使训练后的图像生成模型根据第一图像生成N个第二图像的时候，会生成与第二图像具有映射关系的N个第一不确定性数据。可以理解的是，具有映射关系即一个第二图像对应一个第一不确定性数据。
在一个可能的实施方式中，该第一不确定性数据可以为用于衡量对应的第二图像的不确定性的数据，由于第一图像本身存在噪声等质量原因，在对第一图像进行预测生成第二图像时，会对第二图像的预测准确性产生一定影响，因此可以通过第二图像的第一不确定性数据衡量第二图像的预测准确性，即若第一不确定性数据越小，该第二图像的预测准确性更高，若第一不确定性数据越大，该第二图像的预测准确性更低，该第一不确定性数据也称数据不确定性数据，即表示由输入数据带来的不确定性。
S204、根据N个第二图像确定出第二不确定性数据；其中，该第二不确定性数据用于衡量训练后的图像生成模型的不确定性。
在一个可能的实施方式中，电子设备根据N个第二图像确定出第二不确定性数据具体可以是，根据N个第二图像中每个第二图像的图像数据和目标图像的图像数据来确定出第二不确定性数据。
其中，上述的第二不确定性数据可以为用于衡量训练后的图像生成模型的不确定性的数据，由于训练后的图像生成模型只能做到较高预测准确性的预测，但模型本身仍然可能存在有预测准确性低的情况。因此可以通过第二不确定性数据衡量模型的预测准确性，即若第二不确定性数据越小，该模型针对第一图像的预测准确性更高，若第二不确定性数据越大，该模型针对第一图像的预测准确性更低，该第二不确定性数据也成模型不确定性数据，即表示由图像生成模型带来的不确定性。
S205、根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据。
在一个可能的实施方式中，由于目标图像是通过训练后的图像生成模型根据第一图像生成N个第二图像，以及由N个第二图像获取的。因此，电子设备可以根据N个用于衡量对应的第二图像的不确定性的第一不确定性数据和用于衡量训练后的图像生成模型的不确定性的第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据。
其中，上述的目标不确定性数据可以为用于衡量该目标图像的不确定性的数据。因此，可以基于该目标不确定性数据判断目标图像的预测准确性，即若目标不确定性数据越小，该目标图像的预测准确性更高，若目标不确定性数据越大，该目标图像的预测准确性更低。
S206、输出目标图像以及目标不确定性数据。
在一个可能的实施方式中，电子设备输出目标图像和目标不确定性数据，相关技术人员可以基于目标不确定性数据对目标图像进行分析，确定该目标图像的预测准确率，进而在后续应用过程中可以减小因目标图像的预测准确率较低所带来的风险。
本申请实施例中，电子设备获取待预测的第一图像，将第一图像输入至训练后的图像生成模型中生成目标图像，并根据第一图像生成N个第二图像以及与第二图像具有映射关系的N个第一不确定性数据，该第一不确定性数据用于衡量对应的第二图像的不确定性，根据N个第二图像确定出第二不确定性数据，该第二不确定性数据用于衡量训练后的图像生成模型的不确定性，根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据，输出目标图像以及目标不确定性数据。通过实施本申请实施例所提出的方法，可以提高图像生成模型预测目标图像的效率，以及可以获取到目标图像的目标不确定性数据，并可以通过目标不确定性数据判定目标图像的预测准确性，进而提高图像预测的可靠性。
请参见图3，图3为本申请实施例提供的一种图像处理方法的流程示意图，该方法可以由上述提及的电子设备执行。如图3所示，本申请实施例中图像处理方法的流程可以包括如下：
S301、获取待预测的第一图像。其中，步骤S301的具体实施方式可以参见上述实施例中的步骤S201的相关描述，此处不再赘述。
S302、将第一图像输入至训练后的图像生成模型中生成目标图像。其中，步骤S302的具体实施方式可以参见上述实施例中的步骤S202的相关描述，此处不再赘述。
S303、通过训练后的图像生成模型包括的训练后的生成器对第一图像进行处理，得到N个第二图像和与第二图像具有映射关系的N个第一不确定性数据；其中，该第一不确定性数据用于衡量对应的第二图像的不确定性。
其中，训练后的图像生成模型包括训练后的生成器和训练后的判别器，电子设备可以通过训练后的生成器对第一图像进行处理可以得到N个可以不相同的第二图像和与第二图像具有映射关系的N个可以不相同的第一不确定性数据。
在一个可能的实施方式中，上述处理可以包括对训练后的图像生成模型包括的训练后的生成器中的目标神经网络进行N次神经元失效处理。
其中，一次神经元失效处理对应一个第二图像和一个第一不确定性数据，即在通过训练后的图像生成模型包括的训练后的生成器对第一图像进行处理得到N个第二图像和与第二图像具有映射关系的N个第一不确定性数据的过程中，基于一次神经元失效处理的训练后的图像生成模型得到一个第二图像和一个第一不确定性数据。因此得到N个第二图像和N个第一不确定性数据需进行N次神经元失效处理。可以理解的是，每次进行神经元失效处理的过程和原理都相同，每次基于神经元失效处理的训练后的生成器得到第二图像和第一不确定性数据的过程和原理都相同。可选的，每次在目标神经网络中选择进行失效处理的神经元可以不完全相同。
可选的，神经元失效处理又称dropout处理，即对目标神经网络中的神经元设置一个失效概率，在每次进行神经元失效处理时，使得目标神经网络中的部分神经元以一定的失效概率进行失效，即不参与这次的模型预测工作。该目标神经网络中的部分神经元可以是卷积神经网络中的部分神经元，也可以是全连接层网络中的部分神经元。例如，假设目标神经网络中全连接层网络的神经元的个数为1000个，并使得全连接层的神经元以0.4的概率进行失效，因此进行神经元失效处理后的全连接层大约会为400个神经元不进行工作，以及每次进行神经失效处理后不进行工作的400个神经元不完成相同。
可以理解的是，将目标神经网络看成是训练后的图像生成模型包括的训练后的生成器中的整个网络时，对目标神经网络进行一次神经元失效处理后，相当于得到了一个子网络，通过N次神经元失效处理后则得到了训练后的生成器包括的N个子网络，通过该训练后的生成器包括的N个子网络对第一图像进行预测可以生成N个不同的第二图像和N个不同的第一不确定性数据，可以防止模型过拟合，并可以根据该N个不同的第二图像得到最终的目标图像，进而可以提高预测的效率和准确性。此外，在通过该训练后的图像生成模型包括的N个子网络对第一图像进行预测生成N个不同的第二图像时，会对应生成每个第二图像的概率。
S304、根据N个第二图像确定出第二不确定性数据；其中，该第二不确定性数据用于衡量训练后的图像生成模型的不确定性。
在一个可能的实施方式中，电子设备根据N个第二图像确定出第二不确定性数据具体可以是，根据N个第二图像中每个第二图像的图像数据和目标图像的图像数据得到N个第二图像和目标图像的目标偏差值，并将该目标偏差值确定为第二不确定性数据。
可选的，根据N个第二图像中每个第二图像的图像数据和目标图像的图像数据得到N个第二图像和目标图像的目标偏差值具体可以是：根据N个第二图像中每个第二图像的图像数据分别与目标图像的图像数据之间的偏差值，得到N个第二图像与目标图像的目标偏差值。其中，目标偏差值可以是利用方差公式对N个偏差值进行计算得到的。目标偏差值可以表征N个第二图像和目标图像的偏差程度，目标偏差值越大，N个第二图像和目标图像之间偏差程度(偏离程度)越大，即对目标图像的不确定性影响越大；目标偏差值越小，N个第二图像和目标图像之间偏差程度越小，即对目标图像的不确定性影响越小，因此可以将该目标偏差值确定为第二不确定性数据。
示例性的，以图像数据为像素数据为例，利用方差公式计算N个第二图像的像素数据分别和目标图像的像素数据的偏差值，得到N个偏差值，以及利用方差公式并基于N个偏差值计算得到目标偏差值，即可以是通过方差公式并基于N个第二图像中每个第二图像和目标图像对应像素点的像素值差值得到N个第二图像中每个第二图像与目标图像之间的偏差值，并使用方差公式由N个偏差值计算得到N个第二图像与目标图像的目标偏差值。
S305、根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据。
在一个可能的实施方式中，电子设备根据N个第一不确定性数据以及第二不确定性数据生成目标不确定性数据具体可以是，根据N个第一不确定性数据得到目标第一不确定性数据，并根据目标第一不确定性数据和第二不确定性数据得到目标不确定性数据。
其中，电子设备根据N个第一不确定性数据得到目标第一不确定性数据具体可以是：对N个第一不确定性数据进行均值计算，得到N个第一不确定性数据中的平均第一不确定性数据，并将该平均第一不确定性数据确定为目标第一不确定性数据。即可以是，对N个第一不确定性数据乘以1/N再求和，得到目标第一不确定性数据。
可选的，电子设备根据N个第一不确定性数据得到目标第一不确定性数据具体还可以是：电子设备利用训练后的图像生成模型生成N个第二图像和N个第一不确定性数据时，会生成N个第二图像中每个第二图像的概率，可以将该每个第二图像的概率作为对应的第一不确定性数据的概率，因此可以对该N个概率进行归一化处理以使归一化处理后，N个第一不确定性数据的概率之和为1，然后将N个第一不确定性数据乘以对应的概率(归一化后的)再求和，得到目标第一不确定性数据。
可选的，根据目标第一不确定性数据和第二不确定性数据得到目标不确定性数据具体可以是：
Figure BDA0003090458170000131
其中，x′表示第一图像，y′表示目标图像，
Figure BDA0003090458170000132
表示目标第一不确定性数据，Var(y′(x′))表示第二不确定性数据。
S306、输出目标图像以及目标不确定性数据。
例如，请参见图4，图4为本申请实施例提供的一种确定目标图像和目标不确定性数据的场景示意图，将待预测的第一图像输入训练好的图像生成模型，并对训练好的图像生成模型包括的训练好的生成器中的目标神经网络进行N次神经元失效处理，得到N个第二图像和N个第一不确定性数据，并基于N个第二图像得到目标图像，以及基于目标图像和N个第二图像得到第二不确定性数据，根据N个第一不确定性数据得到目标第一不确定性数据，并根据目标第一不确定性数据和第二不确定性数据得到目标不确定性数据。
本申请实施例中，获取待预测的第一图像，将第一图像输入至训练后的图像生成模型中生成目标图像，通过训练后的图像生成模型包括的训练后的生成器对第一图像进行处理，得到N个第二图像和与第二图像具有映射关系的N个第一不确定性数据，根据N个第二图像确定出第二不确定性数据，根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据，输出目标图像以及目标不确定性数据。通过实施本申请实施例所提出的方法，可以提高图像生成模型预测目标图像的效率，以及可以获取到第一不确定性数据和第二不确定性数据，并结合该第一不确定性数据和第二不确定性数据得到目标图像的目标不确定性数据，以及可以通过目标不确定性数据判定目标图像的预测准确性，进而提高图像预测的可靠性。如在医学图像预测场景中，可以根据目标不确定性数据判断生成的CT图像的预测准确性，进而减少对患者的诊断风险和提高实际应用过程中的可靠性。
请参见图5，图5为本申请实施例提供的一种图像处理方法的流程示意图，该方法可以由上述提及的电子设备执行。如图5所示，本申请实施例中图像处理方法的流程可以包括如下：
S501、获取训练集，该训练集包括第一样本图像和与第一样本图像对应的第二样本图像。
在一个可能的实施方式中，在获取待预测的第一图像之前，需对初始的图像生成模型进行训练从而得到训练后的图像生成模型。可选的，初始的图像生成模型可以为条件生成对抗网络模型，其中，初始的图像生成模型包括初始的生成器和初始的判别器，通过对初始的生成器和初始的判别器同时进行训练，即通过初始的生成器和初始的判别器相互校正的过程以实现对初始的图像生成模型进行训练得到训练后的图像生成模型。
其中，训练集包括的第一样本图像可以为一张或多张，以及与第一样本图像对应的第二样本图像可以为一张或多张。第一样本图像和待预测的第一图像的图像类型相同，第二样本图像和目标图像的图像类型相同，以及利用初始的图像生成模型并基于第一样本图像得到的合成图像与第二样本图像的图像类型相同，以及利用每一张第一样本图像和对应的第二样本图像对初始的图像生成模型进行训练的过程和原理相同。
S502、对第一样本图像和第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像。
其中，预处理可以包括以下至少一项：格式化处理、重采样处理和第一样本图像和第二样本图像进行配准处理。此处对预处理的顺序不作限制。
在一种可能的实施方式中，以第一样本图像为例，若预处理包括格式化处理，则对第一样本图像进行格式化处理的具体方式可以为：对第一样本图像进行缩放、旋转等处理，通过缩放使第一样本图像的图像尺寸为指定大小，以及通过旋转使第一样本图像的图像方向为指定方向。对第二样本图像进行格式化处理的具体方式可以参见上述描述，此处不再赘述。
在一种可能的实施方式中，以第一样本图像为例，若预处理包括重采样处理，则对第一样本图像进行重采样处理的具体方式可以为：获取第一样本图像的体素信息，根据预设参数调整该第一样本图像的体素信息，基于调整后的体素信息得到重采样处理后的第一样本图像。对第二样本图像进行重采样处理的具体方式可以参见上述描述，此处不再赘述，以及第二样本图像对应的预测参数与第一样本图像对应的预测参数可以相同也可以不相同。
在一种可能的实施方式中，若预处理包括第一样本图像和第二样本图像进行配准处理，配准处理即为使得第一样本图像和第二样本图像上的特征点进行匹配，则具体方式可以为：提取第一样本图像和第二样本图像的特征点，得到第一样本图像对应的第一特征集合以及第二样本图像对应的第二特征集合，该特征点可以是图像上的标记点或图像的几何特征等，可以通过人工或者自动标注的方式进行特征点的提取；建立第一特征集合和第二特征集合之间的对应关系，并根据该对应关系选取变换类型并确定变换参数，进而得到第一特征集合和第二特征集合的映射函数，映射函数可以用于将第一样本图像的坐标点变换到第二样本图像的坐标系中；根据映射函数对第一样本图像进行空间变换和灰度插值以实现第一样本图像和第二样本图像中相关特征点的几何关系的一一对应，由此实现对第一样本图像和第二样本图像的配准处理。
S503、将处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与合成图像具有映射关系的第三不确定性数据，并确定合成图像的判别结果。
在一种可能的实施方式中，将处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与合成图像具有映射关系的第三不确定性数据的具体方式可以为：获取随机噪声向量，将处理后的第一样本图像和随机噪声向量输入初始的图像生成模型，在初始的图像生成模型中对处理后的第一样本图像和所述随机噪声向量进行处理生成合成图像，并根据处理后的第一样本图像中的噪声计算数据标准差，将数据标准差确定为与合成图像具有映射关系的第三不确定性数据。可以理解的是，电子设备是将处理后的第一样本图像和随机噪声向量输入初始的图像生成模型包括的初始的生成器，进而得到合成图像和与合成图像具有映射关系的第三不确定性数据的。其中，该第三不确定性数据的数据类型和第一不确定性数据的数据类型相同；在初始的图像生成模型包括的初始的生成器中根据处理后的第一样本图像中的噪声计算数据标准差具体方式可以为，通过初始的图像生成模型包括的初始的生成器中的神经网络提取该第一样本图像中的噪声，并利用标准差公式并基于该噪声计算得到数据标准差。
在一种可能的实施方式中，判别结果用于表示合成图像为处理后的第二样本图像的可能性，确定合成图像的判别结果具体可以是将处理后的第二样本数据和合成数据输入初始的判别器，得到合成图像的判别结果。可以理解的是，初始的生成器的训练目的为使生成的合成图像尽量逼近处理后的第二图像，即使得判别结果所表示的生成的合成图像为处理的第二样本图像(也称真实图像)的可能性尽量的大，初始的判别器的训练目的为尽量区别出合成图像和处理后的第二样本图像，即使得判别结果所表示的生成的合成图像为处理的第二样本图像的可能性尽量的小。
S504、利用第三不确定性数据和判别结果对初始的图像生成模型进行训练，得到训练后的图像生成模型。
在一种可能的实施方式中，利用第三不确定性数据和判别结果对初始的图像生成模型进行训练，得到训练后的图像生成模型具体方式可以为：获取初始的图像生成模型的第一损失函数，通过第一损失函数根据第三不确定性数据以及判别结果，确定损失函数值，采用损失函数值更新初始的图像生成模型的网络参数，得到训练后的图像生成模型。
其中，第一损失函数是根据用于衡量图像不确定性的第二损失函数构建的。第二损失函数LUnc为：
Figure BDA0003090458170000161
其中，
Figure BDA0003090458170000162
表示第三不确定性数据，x表示处理后的第一样本图像，z表示随机噪声向量，y表示处理后的第二样本图像，G()表示初始的图像生成模型包括的初始的生成器的输出，G(x,z)表示在初始的图像生成模型中，以处理后的第一样本图像作为条件输入，并基于随机噪声向量得到的合成图像，||y-G(x,z)||1表示图像差异信息，即处理后的第二样本图像和合成图像的差异值。
因此，第一损失函数L为：
Figure BDA0003090458170000163
其中，λ为正则参数，E表示期望，以及第三损失函数LcGAN为条件生成对抗网络模型的其中一个损失函数，例如可以称之为条件对抗损失函数。可以理解的是，该第三损失函数可以是根据合成图像的判别结果构建的，该第三损失函数为：
LcGAN＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)) (公式2.3)；
其中，D()表示初始的图像生成模型包括的初始的判别器的输出，D(x,y)表示在初始的图像判别模型中，以第一样本图像作为条件输入，并基于处理后的第二样本图像得到的处理后的第二样本图像为真实图像的可能性(即不是由初始的图像生成模型预测生成的图像)，D(x,G(x,z))表示在初始的图像判别模型中，以处理后的第一样本图像作为条件输入并基于合成图像得到的合成图像为真实图像的可能性，D(x,G(x,z))即合成图像的判别结果，该可能性为0-1之间。
可选的，可以对初始的生成器和初始的判别器同时进行训练，由此得到训练后的图像生成模型，通过调整初始的生成器的网络参数使得由第一损失函数L得到的损失函数值尽量小，以及通过调整初始的判别器的网络参数使得由第三损失函数LcGAN得到的损失函数值尽量大。
因此，通过第一损失函数根据第三不确定性数据以及判别结果，确定损失函数值，并可以用该损失函数更新初始的图像生成模型的网络参数，得到训练后的图像生成模型具体可以是：固定初始的判别器的网络参数，通过由一批量的第一样本图像和第二样本图像得到的损失函数值去调整初始的生成器的网络参数以使损失函数值最小化，然后固定初始的生成器的网络参数，通过由同一批量或者另一批量的第一样本图像和第二样本图像得到的损失函数值去调整初始的判别器的网络参数以使损失函数值最大化，基于此不断交替进行模型训练，以实现生成器和判别器的相互校正，由此得到训练后的图像生成模型。
例如，请参见图6，图6为本申请实施例提供的一种训练图像生成模型的场景示意图，对第一样本图像和第二样本图像进行预处理，得到处理后的第一样本和处理后的第二样本图像，将处理后的第一样本图像输入初始的生成器得到合成图像和第三不确定性数据，并将合成图像和处理后的第二样本图像输入初始的判别器得到合成图像的判别结果，并利用第一损失函数根据处理后的第一样本图像、处理后的第二样本图像、第三不确定性数据、合成图像和判别结果得到损失函数值，并利用损失函数值调整初始的生成器和初始的判别器的网络参数，以实现对初始的图像生成模型的训练。
本申请实施例中，获取训练集，对第一样本图像和第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像，将处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与合成图像具有映射关系的第三不确定性数据，并确定合成图像的判别结果，利用第三不确定性数据和判别结果对初始的图像生成模型进行训练，得到训练后的图像生成模型。通过实施本申请实施例所提出的方法，可以对初始的图像生成模型进行训练得到训练后的图像生成模型，从而提高训练后的图像生成模型的预测效率，以及使得训练后的图像生成模型可以在预测生成目标图像的同时并生成该目标图像的目标不确定性数据，进而提高图像预测的可靠性。
请参见图7，图7为本申请提供的一种图像处理装置的结构示意图。需要说明的是，图7所示的图像处理装置，用于执行本申请图2、图3和图5所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示，经参照本申请图2、图3和图5所示的实施例。该图像处理装置700可包括：获取模块701、生成模块702、确定模块703、输出模块704。其中：
获取模块701，用于获取待预测的第一图像；
生成模块702，用于将所述第一图像输入至训练后的图像生成模型中生成目标图像；
所述生成模块702，还用于根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
确定模块703，用于根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
所述生成模块702，还用于根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出模块704，用于输出所述目标图像以及所述目标不确定性数据。
在一个可能的实施方式中，所述获取模块701在获取待预测的第一图像之前，还用于：
获取训练集，所述训练集包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第一样本图像和所述第一图像的图像类型相同，所述第二样本图像和所述第二图像的图像类型相同；
对所述第一样本图像和所述第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像；
将所述处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，并确定所述合成图像的判别结果；所述判别结果用于表示所述合成图像为所述处理后的第二样本图像的可能性；
利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型。
在一个可能的实施方式中，所述获取模块701在用于将所述处理后的第一样本图像输入初始的图像生成模型生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据时，具体用于：
获取随机噪声向量；
将所述处理后的第一样本图像和所述随机噪声向量输入所述初始的图像生成模型，在所述初始的图像生成模型中对所述处理后的第一样本图像和所述随机噪声向量进行处理生成所述合成图像，并根据所述处理后的第一样本图像中的噪声计算数据标准差；
将所述数据标准差确定为与所述合成图像具有映射关系的第三不确定性数据。
在一个可能的实施方式中，所述获取模块701在用于利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型时，具体用于：
获取所述初始的图像生成模型的第一损失函数；所述第一损失函数是根据用于衡量图像不确定性的第二损失函数构建的；
通过所述第一损失函数根据所述第三不确定性数据以及所述判别结果，确定损失函数值；
采用所述损失函数值更新所述初始的图像生成模型的网络参数，得到所述训练后的图像生成模型。
在一个可能的实施方式中，所述训练后的图像生成模型包括训练后的生成器，所述生成模块702在用于根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据时，具体用于：
通过所述训练后的图像生成模型包括的训练后的生成器对所述第一图像进行处理，得到所述N个第二图像和与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述处理包括对所述训练后的图像生成模型包括的训练后的生成器中的目标神经网络进行N次神经元失效处理。
在一个可能的实施方式中，所述生成模块702在用于生成目标图像时，具体用于：
获取所述N个第二图像中每个第二图像的图像数据；
根据所述N个第二图像中每个第二图像的图像数据，确定所述目标图像的图像数据；
根据所述目标图像的图像数据生成所述目标图像。
在一个可能的实施方式中，所述生成模块702在用于根据N个第二图像确定出第二不确定性数据时，具体用于
根据所述N个第二图像中每个第二图像的图像数据分别与所述目标图像的图像数据之间的偏差值，得到所述N个第二图像与所述目标图像的目标偏差值；
将所述目标偏差值确定为所述第二不确定性数据。
本申请实施例中，获取模块获取待预测的第一图像，生成模块将第一图像输入至训练后的图像生成模型中生成目标图像，生成模块根据第一图像生成N个第二图像以及与第二图像具有映射关系的N个第一不确定性数据，确定模块根据N个第二图像确定出第二不确定性数据，生成模块根据第一不确定性数据以及第二不确定性数据生成用于衡量目标图像的不确定性的目标不确定性数据，输出模块输出目标图像以及目标不确定性数据。通过上述所提出的装置，可以提高图像生成模型预测目标图像的效率，以及可以获取到目标图像的目标不确定性数据，并可以通过目标不确定性数据判定目标图像的预测准确性，进而提高图像预测的可靠性。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，本申请不做限定。
请参见图8，图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，该电子设备800包括：至少一个处理器801、存储器802。可选的，该电子设备还可包括网络接口803。其中，所述处理器801、存储器802以及网络接口803之间可以交互数据，网络接口803受所述处理器801的控制用于收发消息，存储器802用于存储计算机程序，所述计算机程序包括程序指令，处理器801用于执行存储器802存储的程序指令。其中，处理器801被配置用于调用所述程序指令执行上述方法。
所述存储器802可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器802也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；所述存储器802还可以包括上述种类的存储器的组合。
所述处理器801可以是中央处理器(central processing unit，CPU)。在一个实施例中，所述处理器801还可以是图形处理器(Graphics Processing Unit，GPU)。所述处理器801也可以是由CPU和GPU的组合。
在一个可能的实施方式中，所述存储器802用于存储程序指令。所述处理器801可以调用所述程序指令，执行以下步骤：
获取待预测的第一图像；
将所述第一图像输入至训练后的图像生成模型中生成目标图像；
根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出所述目标图像以及所述目标不确定性数据。
在一个可能的实施方式中，所述处理器801在用于获取待预测的第一图像之前，还用于：
获取训练集，所述训练集包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第一样本图像和所述第一图像的图像类型相同，所述第二样本图像和所述第二图像的图像类型相同；
对所述第一样本图像和所述第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像；
将所述处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，并确定所述合成图像的判别结果；所述判别结果用于表示所述合成图像为所述处理后的第二样本图像的可能性；
利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型。
在一个可能的实施方式中，所述处理器801在用于将所述处理后的第一样本图像输入初始的图像生成模型生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据时，具体用于：
获取随机噪声向量；
将所述处理后的第一样本图像和所述随机噪声向量输入所述初始的图像生成模型，在所述初始的图像生成模型中对所述处理后的第一样本图像和所述随机噪声向量进行处理生成所述合成图像，并根据所述处理后的第一样本图像中的噪声计算数据标准差；
将所述数据标准差确定为与所述合成图像具有映射关系的第三不确定性数据。
在一个可能的实施方式中，所述处理器801在用于利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型时，具体用于：
获取所述初始的图像生成模型的第一损失函数；所述第一损失函数是根据用于衡量图像不确定性的第二损失函数构建的；
通过所述第一损失函数根据所述第三不确定性数据以及所述判别结果，确定损失函数值；
采用所述损失函数值更新所述初始的图像生成模型的网络参数，得到所述训练后的图像生成模型。
在一个可能的实施方式中，所述训练后的图像生成模型包括训练后的生成器，所述处理器801在用于根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据时，具体用于：
通过所述训练后的图像生成模型包括的训练后的生成器对所述第一图像进行处理，得到所述N个第二图像和与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述处理包括对所述训练后的图像生成模型包括的训练后的生成器中的目标神经网络进行N次神经元失效处理。
在一个可能的实施方式中，所述处理器801在用于生成目标图像时，具体用于：
获取所述N个第二图像中每个第二图像的图像数据；
根据所述N个第二图像中每个第二图像的图像数据，确定所述目标图像的图像数据；
根据所述目标图像的图像数据生成所述目标图像。
在一个可能的实施方式中，所述处理器801在用于根据N个第二图像确定出第二不确定性数据时，具体用于：
根据所述N个第二图像中每个第二图像的图像数据分别与所述目标图像的图像数据之间的偏差值，得到所述N个第二图像与所述目标图像的目标偏差值；
将所述目标偏差值确定为所述第二不确定性数据。
具体实现中，本申请实施例中所描述的装置、处理器801、存储器802等可执行上述方法实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。
本申请实施例中还提供一种计算机(可读)存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使所述处理器可执行上述方法实施例中所执行的部分或全部步骤。可选的，该计算机存储介质可以是易失性的，也可以是非易失性的。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机存储介质中，该计算机存储介质可以为计算机可读存储介质，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待预测的第一图像；
将所述第一图像输入至训练后的图像生成模型中生成目标图像；
根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出所述目标图像以及所述目标不确定性数据。
2.根据权利要求1所述的方法，其特征在于，所述获取待预测的第一图像之前，还包括：
获取训练集，所述训练集包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第一样本图像和所述第一图像的图像类型相同，所述第二样本图像和所述第二图像的图像类型相同；
对所述第一样本图像和所述第二样本图像进行预处理，得到处理后的第一样本图像和处理后的第二样本图像；
将所述处理后的第一样本图像输入初始的图像生成模型中生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，并确定所述合成图像的判别结果；所述判别结果用于表示所述合成图像为所述处理后的第二样本图像的可能性；
利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述处理后的第一样本图像输入初始的图像生成模型生成合成图像以及与所述合成图像具有映射关系的第三不确定性数据，包括：
获取随机噪声向量；
将所述处理后的第一样本图像和所述随机噪声向量输入所述初始的图像生成模型，在所述初始的图像生成模型中对所述处理后的第一样本图像和所述随机噪声向量进行处理生成所述合成图像，并根据所述处理后的第一样本图像中的噪声计算数据标准差；
将所述数据标准差确定为与所述合成图像具有映射关系的第三不确定性数据。
4.根据权利要求2或3所述的方法，其特征在于，所述利用所述第三不确定性数据和所述判别结果对所述初始的图像生成模型进行训练，得到所述训练后的图像生成模型，包括：
获取所述初始的图像生成模型的第一损失函数；所述第一损失函数是根据用于衡量图像不确定性的第二损失函数构建的；
通过所述第一损失函数根据所述第三不确定性数据以及所述判别结果，确定损失函数值；
采用所述损失函数值更新所述初始的图像生成模型的网络参数，得到所述训练后的图像生成模型。
5.根据权利要求1所述的方法，其特征在于，所述训练后的图像生成模型包括训练后的生成器，所述根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据，包括：
通过所述训练后的图像生成模型包括的训练后的生成器对所述第一图像进行处理，得到所述N个第二图像和与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述处理包括对所述训练后的图像生成模型包括的训练后的生成器中的目标神经网络进行N次神经元失效处理。
6.根据权利要求1所述的方法，其特征在于，所述生成目标图像包括：
获取所述N个第二图像中每个第二图像的图像数据；
根据所述N个第二图像中每个第二图像的图像数据，确定所述目标图像的图像数据；
根据所述目标图像的图像数据生成所述目标图像。
7.根据权利要求6所述的方法，其特征在于，所述根据N个第二图像确定出第二不确定性数据，包括：
根据所述N个第二图像中每个第二图像的图像数据分别与所述目标图像的图像数据之间的偏差值，得到所述N个第二图像与所述目标图像的目标偏差值；
将所述目标偏差值确定为所述第二不确定性数据。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待预测的第一图像；
生成模块，用于将所述第一图像输入至训练后的图像生成模型中生成目标图像；
所述生成模块，还用于根据所述第一图像生成N个第二图像以及与所述第二图像具有映射关系的N个第一不确定性数据；其中，所述第一不确定性数据用于衡量对应的第二图像的不确定性；
确定模块，用于根据所述N个第二图像确定出第二不确定性数据；其中，所述第二不确定性数据用于衡量所述训练后的图像生成模型的不确定性；
所述生成模块，还用于根据所述第一不确定性数据以及所述第二不确定性数据生成用于衡量所述目标图像的不确定性的目标不确定性数据；
输出模块，用于输出所述目标图像以及所述目标不确定性数据。
9.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN202110606776.8A 2021-05-28 2021-05-28 图像处理方法、装置、电子设备及介质 Pending CN113222872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110606776.8A CN113222872A (zh) 2021-05-28 2021-05-28 图像处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110606776.8A CN113222872A (zh) 2021-05-28 2021-05-28 图像处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113222872A true CN113222872A (zh) 2021-08-06

Family

ID=77082087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110606776.8A Pending CN113222872A (zh) 2021-05-28 2021-05-28 图像处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113222872A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912921A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 表情识别方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112102424A (zh) * 2019-06-18 2020-12-18 顺丰科技有限公司 车牌图像生成模型构建方法、生成方法及装置
CN112232325A (zh) * 2020-12-15 2021-01-15 浙江大华技术股份有限公司 样本数据处理方法和装置、存储介质及电子设备
CN112287938A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种文本分割方法、系统、设备以及介质
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102424A (zh) * 2019-06-18 2020-12-18 顺丰科技有限公司 车牌图像生成模型构建方法、生成方法及装置
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112287938A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种文本分割方法、系统、设备以及介质
CN112232325A (zh) * 2020-12-15 2021-01-15 浙江大华技术股份有限公司 样本数据处理方法和装置、存储介质及电子设备
CN112686817A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于不确定性估计的图像补全方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912921A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 表情识别方法、装置、电子设备及可读存储介质
CN116912921B (zh) * 2023-09-12 2024-02-20 深圳须弥云图空间科技有限公司 表情识别方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
WO2019178702A1 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN107507153B (zh) 图像去噪方法和装置
CN111369525A (zh) 图像分析方法、设备和存储介质
CN108229274B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN111524216A (zh) 生成三维人脸数据的方法和装置
CN112861659B (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN113591823B (zh) 深度预测模型的训练及人脸深度图像的生成方法、装置
CN116310219A (zh) 一种基于条件扩散模型的三维脚型生成方法
CN115587924A (zh) 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
KR102611121B1 (ko) 이미지 분류 모델 생성 방법 및 장치
CN113222872A (zh) 图像处理方法、装置、电子设备及介质
CN109190757B (zh) 任务处理方法、装置、设备及计算机可读存储介质
US20230401737A1 (en) Method for training depth estimation model, training apparatus, and electronic device applying the method
CN112330671A (zh) 细胞分布状态的分析方法、装置、计算机设备和存储介质
CN112613460A (zh) 人脸生成模型的建立方法和人脸生成方法
CN110889316B (zh) 一种目标对象识别方法、装置及存储介质
CN111275059A (zh) 一种图像处理方法、装置和计算机可读存储介质
CN111951954A (zh) 身体健康状态检测方法、装置、可读存储介质及终端设备
CN116091891A (zh) 图像识别方法及系统
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
CN112541436B (zh) 专注度分析方法、装置、电子设备及计算机存储介质
US20220092448A1 (en) Method and system for providing annotation information for target data through hint-based machine learning model
CN115311550A (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
US11508051B2 (en) Image and data analystics model compatibility regulation methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination