CN115239593A - 图像复原方法、装置、电子设备及存储介质 - Google Patents

图像复原方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115239593A
CN115239593A CN202210908887.9A CN202210908887A CN115239593A CN 115239593 A CN115239593 A CN 115239593A CN 202210908887 A CN202210908887 A CN 202210908887A CN 115239593 A CN115239593 A CN 115239593A
Authority
CN
China
Prior art keywords
image
noise
restoration
processing
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210908887.9A
Other languages
English (en)
Inventor
王健宗
李泽远
司世景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210908887.9A priority Critical patent/CN115239593A/zh
Publication of CN115239593A publication Critical patent/CN115239593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了图像复原方法、装置、电子设备及存储介质，其通过将第一人脸图像输入至包括扩散模块的图像复原模型；对第一人脸图像进行掩码处理得到掩码图像；对图像复原模型进行训练，直至第一损失函数值最优，得到训练好的图像复原模型，在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像；能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。

Description

图像复原方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理领域，尤其涉及图像复原方法、装置、电子设备及存储介质。
背景技术
图像复原技术是图像处理技术中的一种，能够恢复图像中受损部分的像素特征，重建并生成高质量原始图像语义逼近的受损区域，进而改善图像质量。目前通常利用基于生成对抗网络或自动编码器的图像复原模型进行图像复原，利用对抗的训练方式训练特定的掩码分布，并对图像语义受损区域进行修补。但是该复原方式只是利用周边像素区域对缺失区域的简单纹理扩展，复原后的图像存在失真问题。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供图像复原方法、装置、电子设备及存储介质，能够快速、准确地将遮挡的人脸图像进行复原。
为实现上述目的，本申请实施例的第一方面提供了一种图像复原方法，包括：
获取待训练的第一人脸图像，将所述第一人脸图像输入至图像复原模型，所述图像复原模型包括训练好的扩散模块；
对所述第一人脸图像进行掩码处理，得到掩码图像；
根据所述掩码图像对所述图像复原模型进行训练，直至所述图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，所述扩散模块对所述掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据所述添加噪声处理所添加的噪声形成噪声函数，所述图像复原模型根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理；
获取待复原的第二人脸图像，通过训练好的图像复原模型对所述第二人脸图像进行图像复原，得到目标复原图像。
在一些实施例，所述图像复原方法还包括：训练所述扩散模块，直至所述扩散模块的第二损失函数值最小，得到训练好的扩散模块；
其中，所述训练所述扩散模块，包括：
获取训练图像；
基于前向马尔可夫过程，对所述训练图像执行多次添加噪声处理，得到服从标准正态分布的第二白噪声图像；
基于转移分布，对所述第二白噪声图像执行多次去除噪声处理，使所述白噪声图像恢复至所述训练图像，所述去除噪声处理的执行次数和所述添加噪声处理的执行次数相等；
计算所述扩散模块的第二损失函数值，根据所述第二损失函数值调整所述扩散模块的参数。
在一些实施例，每执行一次所述添加噪声处理得到一个加噪图像；所述第二损失函数值包括所述加噪图像与所述第二白噪声图像之间的差距损失。
在一些实施例，所述根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理，包括：
以所述白噪声图像作为初始的复原图像，利用所述标准正态分布和所述噪声函数通过加噪降噪模式对所述掩码图像进行多次迭代的复原处理，将最后一次复原处理得到的复原图像作为预测复原图像，所述复原处理的次数等于所述扩散模块进行加噪处理的总次数。
在一些实施例，所述掩码图像包括掩码部分和未掩码部分；所述复原处理包括：
基于所述扩散模块的添加噪声处理，对所述掩码图像进行加噪处理，得到第一处理图像，所述添加噪声处理与所述标准正态分布相关；
基于所述扩散模块的去除噪声处理，对上一的复原图像进行降噪处理，得到第二处理图像，所述降低噪声处理与所述噪声函数相关；
计算所述第一处理图像与所述掩码部分的像素矩阵的第一乘积值，计算所述第二处理图像与所述未掩码部分的像素矩阵的第二乘积值，将所述第一乘积值和所述第二乘积值之和作为当前的复原图像。
在一些实施例，在所述对上一的复原图像进行降低噪声处理的步骤之前，还包括：
对所述上一的复原图像进行多次重采样，以对所述上一的复原图像进行更新。
在一些实施例，所述图像复原模型的第一损失函数值按照以下方法计算得到：
根据所述第一人脸图像的第一均值、所述第一人脸图像的第一方差、所述预测复原图像的第二均值和所述预测复原图像的第二方差，计算均方误差；
计算所述第一人脸图像和所述预测复原图像之间的结构误差；
将所述均方误差和所述结构误差之和作为所述第一损失函数值。
为实现上述目的，本申请实施例的第二方面提供了一种图像复原装置，包括：
输入模块，用于获取待训练的第一人脸图像，将所述第一人脸图像输入至图像复原模型，所述图像复原模型包括训练好的扩散模块；
掩码模块，用于对所述第一人脸图像进行掩码处理，得到掩码图像；
训练模块，用于根据所述掩码图像对所述图像复原模型进行训练，直至所述图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，所述扩散模块对所述掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据所述添加噪声处理所添加的噪声形成噪声函数，所述图像复原模型根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理；
复原模块，用于获取待复原的第二人脸图像，通过训练好的图像复原模型对所述第二人脸图像进行图像复原，得到目标复原图像。
为实现上述目的，本申请实施例的第三方面还提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述的图像复原方法。
为实现上述目的，本申请实施例的第四方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的图像复原方法。
本申请实施例所公开的图像复原方法、装置、电子设备及存储介质，其通过获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；对第一人脸图像进行掩码处理，得到掩码图像；根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像。其利用加噪去噪模式对图像数据进行训练，深入挖掘全局信息，进而能将像素确实区域还原为更真实的语义内容；避免对抗训练过程，提高训练稳定性；能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本申请实施例所提供的扩散模块的原理示意图；
图2是复原处理的原理示意图；
图3是本申请实施例所提供的图像复原方法的步骤图；
图4是训练扩散模块的步骤图；
图5是复原处理的步骤图；
图6是重采样的步骤图；
图7是计算第一损失函数值的步骤图；
图8是本申请实施例所提供的图像复原装置的结构图；
图9是本申请实施例所提供的电子设备的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先对本申请中涉及的若干名词进行解析：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图像处理(image processing)技术：用计算机对图像信息进行处理的技术，图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别。
图像复原(image restoration)技术:是利用退化过程的先验知识，去恢复已被退化图像的本来面目的技术。退化原因可能是光学系统的像差或离焦、摄像系统与被摄物之间的相对运动、电子或光学系统的噪声和介于摄像系统与被摄像物间的大气湍流等。首先要对图像退化的整个过程加以适当的估计，在此基础上建立近似的退化数学模型，之后还需要对模型进行适当的修正，以对退化过程出现的失真进行补偿，以保证复原之后所得到的图像趋近于原始图像，实现图像的最优化。
机器学习(Machine Learning，ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，机器学习(深度学习)通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
神经网络(Neural Networks)：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络是生物神经网络在某种简化意义下的技术复现，它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型，设计相应的学习算法，模拟人脑的某种智能活动，然后在技术上实现出来用以解决实际问题。
为了解决相关技术中的问题，本申请实施例的一个目的在于提供图像复原方法、装置、电子设备及存储介质，其通过获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；对第一人脸图像进行掩码处理，得到掩码图像；根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像；利用加噪去噪模式对图像数据进行训练，深入挖掘全局信息，进而能将像素确实区域还原为更真实的语义内容；避免对抗训练过程，提高训练稳定性；能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。
本申请实施例提供的一种图像复原方法的实施环境如下。该实施环境的软硬件主体主要包括操作终端和服务器，操作终端与服务器通信连接。其中，该检索式对话模型的训练方法可以单独配置于操作终端执行，也可以单独配置于服务器执行，或者基于操作终端与服务器二者之间的交互来执行，具体可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定。此外，操作终端与服务器可以为区块链中的节点，本实施例对此并不作具体限定。
具体地，本申请中的操作终端可以包括但不限于智能手表、智能手机、电脑、个人数字助理(Personal Digital Assistant，PDA)、智能语音交互设备、智能家电或者车载终端中的任意一种或者多种。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。操作终端101与服务器102之间可以通过无线网络或有线网络建立通信连接，该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
另外，本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
参照图3，图3是图像复原方法的步骤图。本申请的实施例提供了一种图像复原方法，其包括但不限于以下步骤：
步骤S100，获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；
步骤S200，对第一人脸图像进行掩码处理，得到掩码图像；
步骤S300，根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；
步骤S400，获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像。
其中步骤S100至步骤S300是对图像复原模型的训练过程，步骤S400是对图像复原模型的应用过程。
其中，对于图像复原模型，该模型包括训练好的扩散模块，该模型基于扩散模块建立。
参照图1，图1是扩散模块的原理示意图。扩散模块是生成网络的一种。扩散模块定义一个扩散步骤的马尔可夫链，逐渐向数据添加随机噪声，然后学习逆扩散过程，从噪声中构建所需的数据样本。
扩散模块主要分为两个过程：前向过程和后向过程。在前向过程中，向数据集的真实图像中逐步加入噪声形成服从标准正态分布的白噪声图像；在后向过程中，对白噪声图像进行逐步去除噪声，从而还原出原来的真实图像。
对于扩散模块的训练，主要包括以下步骤：步骤S10，训练扩散模块，直至扩散模块的第二损失函数值最小，得到训练好的扩散模块；
参照图4，图4是训练扩散模块的步骤图。其中，训练扩散模块，包括：
步骤S11，获取训练图像；
步骤S12，基于前向马尔可夫过程，对训练图像执行多次添加噪声处理，得到服从标准正态分布的第二白噪声图像；
步骤S13，基于转移分布，对第二白噪声图像执行多次去除噪声处理，使白噪声图像恢复至训练图像，去除噪声处理的执行次数和添加噪声处理的执行次数相等；
步骤S14，计算扩散模块的第二损失函数值，根据第二损失函数值调整扩散模块的参数。
其中，第二损失函数值包括加噪图像与第二白噪声图像之间的差距损失。基于扩散模块的最小化第二损失函数值的目标，利用随机梯度下降法求解扩散模块的参数进而调整扩散模块的参数，同时利用早停法避免扩散模块出现过拟合的现象，当训练损失不断降低至趋于平稳，同时测试损失降低但未回弹时，停止训练。
对于初始数据分布x0～q(x)，在前向扩散过程中，向数据分布中逐步添加高斯噪声，执行添加噪声处理T次，得到服从标准正态分布的白噪声图像；具体地，标准正态分布为高斯正态分布。每执行一次添加噪声处理得到一个加噪图像，产生一系列加噪图像，加噪图像表示为x1,x2,...,xt,...,xT。在由xt加噪至xt-1的过程中，噪声的标准差或者方差是以一个在区间(0,1)内的固定值βt来确定的。均值是以固定值βt和当前时刻的图像数据xt来确定的。
由xt-1得到xt的过程q(xt|xt-1)，满足高斯正态分布
Figure BDA0003773419700000091
高斯正态分布是以
Figure BDA0003773419700000092
为均值，以βt为方差的高斯分布。则添加噪声处理可以表示为
Figure BDA0003773419700000093
因此噪声是可以由固定值βt和当前时刻的图像数据xt来确定的，是一个固定值而不是一个可学习过程。只要有了x0，并且提前确定每一步的固定值β1,β2,...,βt,...,βT，就可以推出任意一步的加噪图像x1,x2,...,xt,...,xT。一般地，随着t的增大，数据越接近随机的高斯分布，βt的取值就越大，则对于固定值β1,β2,...,βt,...,βT，有β1＜β2＜...＜βt＜...＜βT；进一步，固定值序列
Figure BDA0003773419700000094
为取值为0到1之间的等比数列。
随着t的不断增大，初始数据x0会逐步失去它的特征。最终当T→∞的时候，趋近于一个各向独立的高斯分布，形成白噪声图像。
在逐步添加噪声过程中，并不需要一步一步地从x0,x1,...,xt去迭代得到xt，可以直接从x0和固定值序列
Figure BDA0003773419700000095
直接计算xt。定义αt＝1-βt，
Figure BDA0003773419700000096
则有
Figure BDA0003773419700000097
通过参数重整化，变成一个只含随机变量z构成的形式，z～N(0,I)。
对于后向过程，其实际也是一个马尔可夫过程，将前向过程转换方向，即从q(xt-1|xt)中采样，即可以从一个随机的高斯分布N(0,I)中重建出一个真实的原始样本，也就是从一堆完全杂乱无章的加噪图片中得到一张真实的初始图像。但由于需要从完整数据集中找到数据分布，难以简单地预测q(xt-1|xt)，因此需要学习一个模型pθ来近似模拟条件概率，从而运行后向过程。对于后向过程的条件概率模型有pθ(xt-1|xt)～N(xt-1；μθ(xt,t),∑θ(xt,t))。
对于扩散模块的第二损失函数值，第二损失函数值包括加噪图像与第二白噪声图像之间的差距损失。具体地，第二损失函数值可以表示为：
Figure BDA0003773419700000101
Figure BDA0003773419700000102
式中，Loss2表示第二损失函数值，ε为从标准正态分布抽样的噪声向量，ε～N(0,I)。当第二损失函数值越来越小的时候，说明前向过程中所产生的加噪图像正向服从高斯分布的白噪声图像靠近甚至重叠。
对于图像复原模型的训练步骤，获取多张第一人脸图像，第一人脸图像并没有遮挡部分。对第一人脸图像进行掩码处理，得到掩码图像。根据人通常是戴口罩、墨镜或者帽子进行遮挡，因此可以对第一人脸图像的口鼻区域、眼睛区域或者头顶区域进行掩码处理。可以理解的是，一方面，可以人工对第一人脸图像的口鼻区域、眼睛区域或者头顶区域进行掩码处理；另一方面，可以通过图像识别技术对第一人脸图像的口鼻区域、眼睛区域或者头顶区域进行识别，然后通过计算机自动对第一人脸图像的口鼻区域、眼睛区域或者头顶区域进行掩码处理。
掩码图像中进行掩码处理被遮挡的部分为掩码部分，掩码图像中未进行掩码处理未被遮挡的部分为未掩码部分。
将第一人脸图像和掩码图像输入至图像复原模型。
图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理，包括：
以白噪声图像作为初始的复原图像，利用标准正态分布和噪声函数通过加噪降噪模式对掩码图像进行多次迭代的复原处理，将最后一次复原处理得到的复原图像作为预测复原图像。复原处理的次数等于扩散模块进行加噪处理的总次数，即扩散模块进行加噪处理的总次数为T次，则复原处理的次数同样为T次。其中，对于多次迭代的复原处理，上一复原处理的输出作为下一复原处理的输入。
即基于白噪声图像xT和掩码图像
Figure BDA0003773419700000103
逐渐复原至xt，直至复原至无遮掩的人脸图像x0。
参照图5，图5是复原处理的步骤图。复原处理包括：
步骤S311，基于扩散模块的添加噪声处理，对掩码图像进行加噪处理，得到第一处理图像，添加噪声处理与标准正态分布相关；
步骤S312，基于扩散模块的去除噪声处理，对上一的复原图像进行降噪处理，得到第二处理图像，降低噪声处理与噪声函数相关；
步骤S313，计算第一处理图像与掩码部分的像素矩阵的第一乘积值，计算第二处理图像与未掩码部分的像素矩阵的第二乘积值，将第一乘积值和第二乘积值之和作为当前的复原图像。
参照图2，图2是复原处理的原理示意图。其中，基于扩散模块的添加噪声处理的原理，有
Figure BDA0003773419700000111
第一处理图像可以表示为：
Figure BDA0003773419700000112
式中，
Figure BDA0003773419700000113
表示第一处理图像，ε为从标准正态分布抽样的噪声向量，ε～N(0,I)。
基于扩散模块的去除噪声处理，有
Figure BDA0003773419700000114
第二处理图像可以表示为：
Figure BDA0003773419700000115
式中，
Figure BDA0003773419700000116
表示第二处理图像，εθ(xt,t)表示加噪函数中到xt所累积的噪声之和，xt表示上一的复原图像，σt表示上一的复原图像的方差，z为随机变量且z～N(0,I)。
对于当前的复原图像，其可以表示为：
Figure BDA0003773419700000117
Figure BDA0003773419700000118
式中，xt-1为当前的复原图像，m表示掩码部分的像素矩阵，(1-m)表示未掩码部分的像素矩阵。
另外，在应用上述的复原处理对掩码图像进行复原的时候，复原部分只有内容类型与未掩码部分匹配，但在语义上存在错误性；扩散模块虽然利用了未掩码部分的上下文，但没有很好地协调图像的其他部分。扩散模块被训练成生成一个位于数据分布中的图像，自然地想要生成一致性的结构，利用该特性通过重采样的方法协调复原处理的输入，能使复原部分的语义与未掩码部分匹配。
参照图6，在对上一的复原图像进行降低噪声处理的步骤之前，还包括：
步骤S3111，对上一的复原图像进行多次重采样，以对上一的复原图像进行更新。对于重采样的上一的复原图像xt，有
Figure BDA0003773419700000119
参照图7，其中，图像复原模型的第一损失函数值按照以下方法计算得到：
步骤S321，根据第一人脸图像的第一均值、第一人脸图像的第一方差、预测复原图像的第二均值和预测复原图像的第二方差，计算均方误差；
步骤S322，计算第一人脸图像和预测复原图像之间的结构误差；
步骤S323，将均方误差和结构误差之和作为第一损失函数值。
对于均方误差，其可以通过以下的式子表示：
Figure BDA0003773419700000121
式中，Lossstructure表示均方误差，μX表示第一人脸图像的第一均值，μX′表示预测复原图像的第二均值，σX表示第一人脸图像的第一方差，σX′表示预测复原图像的第二方差，C1和C2是维持稳定性的两个参数，C1和C2为常量。
对于结构误差，其可以通过以下的式子表示：LossMSE＝‖X-X′‖2，式中，LossMSE表示结构误差。
对于第一损失函数值，其可以通过以下的式子表示：Loss1＝Lossstructure+LossMSE，式中，Loss1表示第一损失函数值。
基于最小化第一损失函数值的目标，利用随机梯度下降法求解图像复原模型的参数进而调整图像复原模型的参数，同时利用早停法避免扩散模块出现过拟合的现象，当训练损失不断降低至趋于平稳，同时测试损失降低但未回弹时，停止训练。
对于图像复原模型的应用步骤，获取多张第二人脸图像，第二人脸图像具有遮挡部分。将第二人脸图像输入至训练好的图像复原模型中，图像复原模型根据未遮挡部分对遮挡部分进行复原。
图像复原模型对遮挡部分进行掩码处理，得到掩码图像；掩码图像包括掩码部分和未掩码部分。
图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理，包括：
以白噪声图像作为初始的复原图像，利用标准正态分布和噪声函数通过加噪降噪模式对掩码图像进行多次迭代的复原处理，将最后一次复原处理得到的复原图像作为预测复原图像。复原处理的次数等于扩散模块进行加噪处理的总次数，即扩散模块进行加噪处理的总次数为T次，则复原处理的次数同样为T次。其中，对于多次迭代的复原处理，上一复原处理的输出作为下一复原处理的输入。
复原处理包括：基于扩散模块的添加噪声处理，对掩码图像进行加噪处理，得到第一处理图像，添加噪声处理与标准正态分布相关；基于扩散模块的去除噪声处理，对上一的复原图像进行降噪处理，得到第二处理图像，降低噪声处理与噪声函数相关；计算第一处理图像与掩码部分的像素矩阵的第一乘积值，计算第二处理图像与未掩码部分的像素矩阵的第二乘积值，将第一乘积值和第二乘积值之和作为当前的复原图像。
其中，基于扩散模块的添加噪声处理的原理，有
Figure BDA0003773419700000131
第一处理图像可以表示为：
Figure BDA0003773419700000132
式中，
Figure BDA0003773419700000133
表示第一处理图像，ε为从标准正态分布抽样的噪声向量，ε～N(0,I)。
基于扩散模块的去除噪声处理，有
Figure BDA0003773419700000134
第二处理图像可以表示为：
Figure BDA0003773419700000135
式中，
Figure BDA0003773419700000136
表示第二处理图像，εθ(xt,t)表示加噪函数中到xt所累积的噪声之和，xt表示上一的复原图像，σt表示上一的复原图像的方差，z为随机变量且z～N(0,I)。
对于当前的复原图像，其可以表示为：
Figure BDA0003773419700000137
Figure BDA0003773419700000138
式中，xt-1为当前的复原图像，m表示掩码部分的像素矩阵，(1-m)表示未掩码部分的像素矩阵。
另外，在应用上述的复原处理对掩码图像进行复原的时候，复原部分只有内容类型与未掩码部分匹配，但在语义上存在错误性；扩散模块虽然利用了未掩码部分的上下文，但没有很好地协调图像的其他部分。扩散模块被训练成生成一个位于数据分布中的图像，自然地想要生成一致性的结构，利用该特性通过重采样的方法协调复原处理的输入，能使复原部分的语义与未掩码部分匹配。在对上一的复原图像进行降低噪声处理的步骤之前，还包括：对上一的复原图像进行多次重采样，以对上一的复原图像进行更新。对于重采样的上一的复原图像xt，有
Figure BDA0003773419700000139
即基于白噪声图像xT和由第二人脸图像得到的掩码图像
Figure BDA00037734197000001310
逐渐复原至xt，直至复原至与第二人脸图像对应的无遮掩的人脸图像x0。
为实现上述目的，本申请实施例还提供了一种图像复原装置。
参照图8，图8是图像复原装置的结构图。图像复原装置包括输入模块110、掩码模块120、训练模块130和复原模块140。
其中，输入模块110用于获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；掩码模块120用于对第一人脸图像进行掩码处理，得到掩码图像；训练模块130用于根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；复原模块140用于获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像。实现了能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。
该图像复原装置能够训练图像复原模型，并将训练好的图像复原模型进行应用。通过输入模块110、掩码模块120和训练模块130实现训练图像复原模型，通过复原模块140实现应用图像复原模型。
对于图像复原模型的训练步骤，通过输入模块110获取多张第一人脸图像，第一人脸图像并没有遮挡部分。通过掩码模块120对第一人脸图像进行掩码处理，得到掩码图像。掩码图像中进行掩码处理被遮挡的部分为掩码部分，掩码图像中未进行掩码处理未被遮挡的部分为未掩码部分。
通过训练模块130训练图像复原模型。以白噪声图像作为初始的复原图像，利用标准正态分布和噪声函数通过加噪降噪模式对掩码图像进行多次迭代的复原处理，将最后一次复原处理得到的复原图像作为预测复原图像。复原处理的次数等于扩散模块进行加噪处理的总次数，即扩散模块进行加噪处理的总次数为T次，则复原处理的次数同样为T次。其中，对于多次迭代的复原处理，上一复原处理的输出作为下一复原处理的输入。即基于白噪声图像xT和掩码图像
Figure BDA0003773419700000141
逐渐复原至xt，直至复原至无遮掩的人脸图像x0。
其中，对于复原处理，基于扩散模块的添加噪声处理的原理，有
Figure BDA0003773419700000142
第一处理图像可以表示为：
Figure BDA0003773419700000143
Figure BDA0003773419700000144
式中，
Figure BDA0003773419700000145
表示第一处理图像，ε为从标准正态分布抽样的噪声向量，ε～N(0,I)。
基于扩散模块的去除噪声处理，有
Figure BDA0003773419700000146
第二处理图像可以表示为：
Figure BDA0003773419700000147
式中，
Figure BDA0003773419700000148
表示第二处理图像，εθ(xt,t)表示加噪函数中到xt所累积的噪声之和，xt表示上一的复原图像，σt表示上一的复原图像的方差，z为随机变量且z～N(0,I)。
对于当前的复原图像，其可以表示为：
Figure BDA0003773419700000151
Figure BDA0003773419700000152
式中，xt-1为当前的复原图像，m表示掩码部分的像素矩阵，(1-m)表示未掩码部分的像素矩阵。
在对上一的复原图像进行降低噪声处理的步骤之前，对上一的复原图像进行多次重采样，以对上一的复原图像进行更新。对于重采样的上一的复原图像xt，有
Figure BDA0003773419700000153
根据第一损失函数值Loss1＝Lossstructure+LossMSE不断调整图像复原模型的参数。
其中，对于均方误差，其可以通过以下的式子表示：
Figure BDA0003773419700000154
Figure BDA0003773419700000155
式中，Lossstructure表示均方误差，μX表示第一人脸图像的第一均值，μX′表示预测复原图像的第二均值，σX表示第一人脸图像的第一方差，σX′表示预测复原图像的第二方差，C1和C2是维持稳定性的两个参数，C1和C2为常量。
对于结构误差，其可以通过以下的式子表示：LossMSE＝‖X-X′‖2，式中，LossMSE表示结构误差。
直至第一损失函数值最小化，得到训练好的图像复原模型。
通过复原模块140利用训练好的图像复原模型对待复原的第二人脸图像进行图像复原，得到目标复原图像。
可以理解的是，图像复原方法实施例中的内容均适用于本图像复原装置实施例中，本图像复原装置实施例所具体实现的功能与图像复原方法实施例相同，并且达到的有益效果与图像复原方法实施例所达到的有益效果也相同。
为实现上述目的，本申请实施例还提供了一种电子设备。参照图9，图9是电子设备的结构图。电子设备包括存储器220、处理器210、存储在存储器220上并可在处理器210上运行的程序以及用于实现处理器210和存储器220之间的连接通信的数据总线230，程序被处理器210执行时实现上述的图像复原方法。
在该实施例中，通过获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；对第一人脸图像进行掩码处理，得到掩码图像；根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像；能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。
存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的图像复原方法。处理器210通过运行存储在存储器220中的非暂态软件程序以及程序，从而实现上述本发明实施例中的图像复原方法。
存储器220可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的图像复原方法所需的数据等。此外，存储器220可以包括高速随机存取存储器220，还可以包括非暂态存储器220，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的存储器220，这些远程存储器220可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述的图像复原方法。
在该实施例中，通过获取待训练的第一人脸图像，将第一人脸图像输入至图像复原模型，图像复原模型包括训练好的扩散模块；对第一人脸图像进行掩码处理，得到掩码图像；根据掩码图像对图像复原模型进行训练，直至图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，扩散模块对掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据添加噪声处理所添加的噪声形成噪声函数，图像复原模型根据白噪声图像、标准正态分布、噪声函数通过加噪降噪模式对掩码图像进行复原处理；获取待复原的第二人脸图像，通过训练好的图像复原模型对第二人脸图像进行图像复原，得到目标复原图像；能够快速地将遮挡的人脸图像进行复原，且复原图像真实性高。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
在本说明书的描述中，参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

Claims (10)

1.一种图像复原方法，其特征在于，包括：
获取待训练的第一人脸图像，将所述第一人脸图像输入至图像复原模型，所述图像复原模型包括训练好的扩散模块；
对所述第一人脸图像进行掩码处理，得到掩码图像；
根据所述掩码图像对所述图像复原模型进行训练，直至所述图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，所述扩散模块对所述掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据所述添加噪声处理所添加的噪声形成噪声函数，所述图像复原模型根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理；
获取待复原的第二人脸图像，通过训练好的图像复原模型对所述第二人脸图像进行图像复原，得到目标复原图像。
2.根据权利要求1所述的一种图像复原方法，其特征在于，所述图像复原方法还包括：训练所述扩散模块，直至所述扩散模块的第二损失函数值最小，得到训练好的扩散模块；
其中，所述训练所述扩散模块，包括：
获取训练图像；
基于前向马尔可夫过程，对所述训练图像执行多次添加噪声处理，得到服从标准正态分布的第二白噪声图像；
基于转移分布，对所述第二白噪声图像执行多次去除噪声处理，使所述白噪声图像恢复至所述训练图像，所述去除噪声处理的执行次数和所述添加噪声处理的执行次数相等；
计算所述扩散模块的第二损失函数值，根据所述第二损失函数值调整所述扩散模块的参数。
3.权利要求2所述的一种图像复原方法，其特征在于，每执行一次所述添加噪声处理得到一个加噪图像；所述第二损失函数值包括所述加噪图像与所述第二白噪声图像之间的差距损失。
4.根据权利要求2所述的一种图像复原方法，其特征在于，所述根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理，包括：
以所述白噪声图像作为初始的复原图像，利用所述标准正态分布和所述噪声函数通过加噪降噪模式对所述掩码图像进行多次迭代的复原处理，将最后一次复原处理得到的复原图像作为预测复原图像，所述复原处理的次数等于所述扩散模块进行加噪处理的总次数。
5.根据权利要求4所述的一种图像复原方法，其特征在于，所述掩码图像包括掩码部分和未掩码部分；所述复原处理包括：
基于所述扩散模块的添加噪声处理，对所述掩码图像进行加噪处理，得到第一处理图像，所述添加噪声处理与所述标准正态分布相关；
基于所述扩散模块的去除噪声处理，对上一的复原图像进行降噪处理，得到第二处理图像，所述降低噪声处理与所述噪声函数相关；
计算所述第一处理图像与所述掩码部分的像素矩阵的第一乘积值，计算所述第二处理图像与所述未掩码部分的像素矩阵的第二乘积值，将所述第一乘积值和所述第二乘积值之和作为当前的复原图像。
6.根据权利要求5所述的一种图像复原方法，其特征在于，在所述对上一的复原图像进行降低噪声处理的步骤之前，还包括：
对所述上一的复原图像进行多次重采样，以对所述上一的复原图像进行更新。
7.根据权利要求1所述的一种图像复原方法，其特征在于，所述图像复原模型的第一损失函数值按照以下方法计算得到：
根据所述第一人脸图像的第一均值、所述第一人脸图像的第一方差、所述预测复原图像的第二均值和所述预测复原图像的第二方差，计算均方误差；
计算所述第一人脸图像和所述预测复原图像之间的结构误差；
将所述均方误差和所述结构误差之和作为所述第一损失函数值。
8.一种图像复原装置，其特征在于，包括：
输入模块，用于获取待训练的第一人脸图像，将所述第一人脸图像输入至图像复原模型，所述图像复原模型包括训练好的扩散模块；
掩码模块，用于对所述第一人脸图像进行掩码处理，得到掩码图像；
训练模块，用于根据所述掩码图像对所述图像复原模型进行训练，直至所述图像复原模型的第一损失函数值最优，得到训练好的图像复原模型，其中在训练过程中，所述扩散模块对所述掩码图像进行多次添加噪声处理，得到服从标准正态分布的白噪声图像，并根据所述添加噪声处理所添加的噪声形成噪声函数，所述图像复原模型根据所述白噪声图像、所述标准正态分布、所述噪声函数通过加噪降噪模式对所述掩码图像进行复原处理；
复原模块，用于获取待复原的第二人脸图像，通过训练好的图像复原模型对所述第二人脸图像进行图像复原，得到目标复原图像。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的图像复原方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的图像复原方法。
CN202210908887.9A 2022-07-29 2022-07-29 图像复原方法、装置、电子设备及存储介质 Pending CN115239593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210908887.9A CN115239593A (zh) 2022-07-29 2022-07-29 图像复原方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210908887.9A CN115239593A (zh) 2022-07-29 2022-07-29 图像复原方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115239593A true CN115239593A (zh) 2022-10-25

Family

ID=83677902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210908887.9A Pending CN115239593A (zh) 2022-07-29 2022-07-29 图像复原方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115239593A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880187A (zh) * 2023-01-10 2023-03-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于去噪扩散概率模型的单图像反光去除方法及相关设备
CN116579945A (zh) * 2023-05-12 2023-08-11 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN117495714A (zh) * 2024-01-03 2024-02-02 华侨大学 基于扩散生成先验的人脸图像复原方法、装置及可读介质
CN117711580A (zh) * 2024-02-05 2024-03-15 安徽鲲隆康鑫医疗科技有限公司 一种图像处理模型的训练方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880187A (zh) * 2023-01-10 2023-03-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于去噪扩散概率模型的单图像反光去除方法及相关设备
CN116579945A (zh) * 2023-05-12 2023-08-11 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN116579945B (zh) * 2023-05-12 2024-02-27 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN117197002A (zh) * 2023-11-07 2023-12-08 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN117197002B (zh) * 2023-11-07 2024-02-02 松立控股集团股份有限公司 一种基于感知扩散的图像复原方法
CN117495714A (zh) * 2024-01-03 2024-02-02 华侨大学 基于扩散生成先验的人脸图像复原方法、装置及可读介质
CN117495714B (zh) * 2024-01-03 2024-04-12 华侨大学 基于扩散生成先验的人脸图像复原方法、装置及可读介质
CN117711580A (zh) * 2024-02-05 2024-03-15 安徽鲲隆康鑫医疗科技有限公司 一种图像处理模型的训练方法及装置
CN117711580B (zh) * 2024-02-05 2024-05-03 安徽鲲隆康鑫医疗科技有限公司 一种图像处理模型的训练方法及装置

Similar Documents

Publication Publication Date Title
US10891524B2 (en) Method and an apparatus for evaluating generative machine learning model
CN115239593A (zh) 图像复原方法、装置、电子设备及存储介质
CN108780519B (zh) 卷积神经网络的结构学习
Anumula et al. Feature representations for neuromorphic audio spike streams
US11704817B2 (en) Method, apparatus, terminal, and storage medium for training model
US11593611B2 (en) Neural network cooperation
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN111898635A (zh) 神经网络的训练方法、数据获取方法和装置
US20150221338A1 (en) Method for triggering events in a video
CN111523640B (zh) 神经网络模型的训练方法和装置
EP4060560A1 (en) Systems, methods, and storage media for generating synthesized depth data
EP3884426B1 (en) Action classification in video clips using attention-based neural networks
CN113705769A (zh) 一种神经网络训练方法以及装置
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
EP4322056A1 (en) Model training method and apparatus
CN109977394B (zh) 文本模型训练方法、文本分析方法、装置、设备及介质
CN111783997B (zh) 一种数据处理方法、装置及设备
US11386326B2 (en) Training a machine learning model with limited training data
CN111553477A (zh) 图像处理方法、装置及存储介质
JP7188856B2 (ja) 動的な画像解像度評価
US20210166131A1 (en) Training spectral inference neural networks using bilevel optimization
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN115115920A (zh) 一种数据训练方法及装置
CN116420163A (zh) 识别系统、识别方法、程序、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination