CN113592998A - 重光照图像的生成方法、装置及电子设备 - Google Patents

重光照图像的生成方法、装置及电子设备 Download PDF

Info

Publication number
CN113592998A
CN113592998A CN202110729941.9A CN202110729941A CN113592998A CN 113592998 A CN113592998 A CN 113592998A CN 202110729941 A CN202110729941 A CN 202110729941A CN 113592998 A CN113592998 A CN 113592998A
Authority
CN
China
Prior art keywords
image
relighting
processed
sample
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110729941.9A
Other languages
English (en)
Inventor
李甫
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110729941.9A priority Critical patent/CN113592998A/zh
Publication of CN113592998A publication Critical patent/CN113592998A/zh
Priority to KR1020237008692A priority patent/KR20230043225A/ko
Priority to JP2023513079A priority patent/JP2023538147A/ja
Priority to PCT/CN2022/088031 priority patent/WO2023273536A1/zh
Priority to US18/183,439 priority patent/US20230215132A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种重光照图像的生成方法、装置及电子设备，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于图像处理场景下。具体实现方案为：获取待处理图像和与对应的指导图像；基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取第一中间图像；基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取第二中间图像；根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。由此，本公开通过对待处理图像和指导图像进行时域和频域上的重光照渲染，并结合时域和频域上的特征信息，从而得到渲染效果更加准确、可靠的目标重光照图像。

Description

重光照图像的生成方法、装置及电子设备
技术领域
本公开涉及计算机技术领域，并且更具体地涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于图像处理场景下。
背景技术
随着移动终端技术以及图像处理(Image Processing)技术的迅速发展，各种具有基于重光照(Relighting)技术的特效功能的应用程序(Application，简称APP)应运而生，用户对于为图像增加滤镜、更改人脸阴影效果等功能的要求也日益提高。特别地，针对在不知道明确的光照方向和色温的情况下，根据指导图像，准确地对待处理图像进行任意重光照处理的要求也日益提高。
相关技术中，通常采用以下两种方式进行重光照图像的生成：基于人工进行渲染的方式，以及基于神经网络学习训练得到一个用于对待处理图像进行重光照渲染的模型的方式。
然而，基于人工进行渲染，存在人力成本极高，且重光照图像生成效率低、可靠性差的问题；基于神经网络学习训练得到的网络，生成的重光照图像往往会存在产生伪影、无法学习到阴影变化等问题。
因此，如何提高重光照图像的生成过程中的有效性和可靠性，已成为了重要的研究方向之一。
发明内容
本公开提供了一种重光照图像的生成方法、装置及电子设备。
根据本公开的一方面，提供了一种重光照图像的生成方法，包括：
获取待处理图像和与所述待处理图像对应的指导图像；
基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像；
基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像；
根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。
根据本公开的另一方面，提供了一种重光照图像生成系统的训练方法，包括：
获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数；
基于所述第一损失函数和所述第二损失函数，获取针对所述重光照图像生成系统的总损失函数，以根据所述总损失函数进行所述重光照图像生成系统中的模型参数进行调整，并返回所述获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的待训练的所述重光照图像生成系统确定为训练好的所述重光照图像生成系统。
根据本公开的另一方面，提供了一种重光照图像的生成装置，包括：
第一获取模块，用于获取待处理图像和与所述待处理图像对应的指导图像；
第二获取模块，用于基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像；
第三获取模块，用于基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像；
第四获取模块，用于根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。
根据本公开的另一方面，提供了一种重光照图像生成系统的训练装置，包括：
第一获取模块，用于获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
第二获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数；
第三获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数；
确定模块，用于基于所述第一损失函数和所述第二损失函数，获取针对所述重光照图像生成系统的总损失函数，以根据所述总损失函数进行所述重光照图像生成系统中的模型参数进行调整，并返回所述获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的待训练的所述重光照图像生成系统确定为训练好的所述重光照图像生成系统。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的重光照图像的生成方法或者第二方面所述的重光照图像生成系统的训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的重光照图像的生成方法或者第二方面所述的重光照图像生成系统的训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的重光照图像的生成方法或者第二方面所述的重光照图像生成系统的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是一种重光照图像生成过程的示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开第四实施例的示意图；
图6是一种第一特征图像处理过程的示意图；
图7是根据本公开第五实施例的示意图；
图8是一种重光照图像生成过程的示意图；
图9是一种待处理图像的示意图；
图10是根据本公开第六实施例的示意图；
图11是根据本公开第七实施例的示意图；
图12是根据本公开第八实施例的示意图；
图13是另一种重光照图像生成过程的示意图；
图14是另一种重光照图像生成过程的示意图；图15是另一种重光照图像生成过程的示意图；
图16是根据本公开第九实施例的示意图；
图17是根据本公开第十实施例的示意图；
图18是根据本公开第十一实施例的示意图；
图19是根据本公开第十二实施例的示意图；
图20是用来实现本公开实施例的重光照图像的生成方法的重光照图像的生成装置的框图；
图21是用来实现本公开实施例的重光照图像的生成方法的重光照图像的生成装置的框图；
图22是用来实现本公开实施例的重光照图像生成系统的训练方法的重光照图像生成系统的训练装置的框图；
图23是用来实现本公开实施例的重光照图像生成系统的训练方法的重光照图像生成系统的训练装置的框图；
图24是用来实现本公开实施例的重光照图像的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下对本公开的方案涉及的技术领域进行简要说明：
计算机技术(Computer Technology)，内容非常广泛，可粗略分为计算机系统技术、计算机器件技术、计算机部件技术和计算机组装技术等几个方面。计算机技术包括：运算方法的基本原理与运算器设计、指令系统、中央处理器(CPU)设计、流水线原理及其在CPU设计中的应用、存储体系、总线与输入输出。
AI(Artificial Intelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
计算机视觉(Computer Vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
DL(Deep Learning，深度学习)，是ML机器学习(Machine Learning，机器学习)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
下面参考附图描述本公开实施例的一种重光照图像的生成方法、装置及电子设备。
图1是根据本公开第一实施例的示意图。其中，需要说明的是，本实施例的重光照图像的生成方法的执行主体为重光照图像的生成装置，重光照图像的生成装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。
如图1所示，本实施例提出的重光照图像的生成方法，包括如下步骤：
S101、获取待处理图像和与待处理图像对应的指导图像。
其中，待处理图像，可以为用户输入的任一图像，又例如，可以对任一视频，例如教学视频和影视剧作品等视频，进行解码、抽帧后，得到一帧的图像作为待处理图像。
需要说明的是，在试图获取待处理图像时，可以获取本地或者远程存储区域中预先存储的包括图像作为待处理图像，也可以直接拍摄图像作为待处理图像。
可选地，可以从本地或者远程图像库、视频库中的至少一处获取存储的图像或者视频，以获取待处理图像；可选地，也可以直接拍摄图像作为待处理图像。本公开实施例对获取待处理图像的方式不作限定，可以根据实际情况进行选取。
其中，指导图像，可以为指导待处理图像进行渲染的、具有任意光照条件的图像。
S102、基于指导图像，对待处理图像进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像。
S103、基于指导图像，对待处理图像进行频域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第二中间图像。
需要说明的是，相关技术中，在对待处理图像进行重光照处理时，通常会采用基于人工进行渲染，或者基于神经网络学习训练得到一个用于对待处理图像进行重光照渲染的模型，例如训练得到一个卷积神经网络(Convolutional Neural Networks,CNN)模型。
然而，基于人工进行渲染，存在人力成本极高，且重光照图像生成效率低、可靠性差的问题；基于神经网络学习训练得到的网络，一般仅对应于时域，即于RGB(Red GreenBlue)图像下直接进行操作，此种情况下，由于网络设计存在缺陷，得到的重光照图像往往会存在产生伪影、无法学习到阴影变化等问题。
由此，本公开提出的重光照图像的生成方法，能够通过对待处理图像进行重光照渲染，以通过在时域图像以及频域图像上进行操作，生成更优质的重光照图像。
其中，重光照技术(Relighting)，是指将一幅给定图像的光照方向和色温进行改变，从而生成另一幅不同光照方向和色温的图像。
举例而言，如图2所示，图2(a)是在色温2500K，光源在东边时的场景图像，图2(b)是在色温6500K，光源在西边时的场景图像。由此可知，当色温值较低时，图像颜色偏黄，属于暖色调；当色温值较高时，图像颜色泛白，属于冷色调。同时，当光源位置不同时，产生的阴影也不同。综上所述，进行重光照渲染，目的是对图2(a)进行渲染，生成图2(b)，并且场景内容保持一致，只改变色温和阴影方向。
S104、根据第一中间图像和第二中间图像，获取待处理图像对应的目标重光照图像。
本公开实施例中，在获取到第一中间图像和第二中间图像后，可以对第一中间图像和第二中间图像进行多种处理，以获取待处理图像对应的目标重光照图像。
需要说明的是，本公开对于获取待处理图像对应的目标重光照图像的具体方式不作限定，可以根据实际情况进行选取。例如，可以对第一中间图像和第二中间图像进行加权处理，将加权结果作为目标重光照图像；又例如，可以对第一中间图像和第二中间图像进行取平均值处理，将两者的平均值作为目标重光照图像。
根据本公开实施例的重光照图像的生成方法，既不依赖人工设计，也不再依赖基于神经网络学习训练得到的卷积神经网络模型，通过对待处理图像和指导图像进行时域和频域上的重光照渲染，并结合时域和频域上的特征信息，使得基于任意重光照技术得到的目标重光照图像在低频上保留场景内容结构，在高频上保留细节阴影信息，从而得到渲染效果更加准确、可靠的目标重光照图像。
图3是根据本公开第二实施例的示意图。
如图3所示，本实施例提出的重光照图像的生成方法，包括如下步骤：
S301、获取待处理图像和与待处理图像对应的指导图像。
该步骤S301与上一实施例中的步骤S101相同，此处不再赘述。
上一实施例中的步骤S102中基于指导图像，对待处理图像进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像的具体过程，包括步骤S302：
S302、将待处理图像和指导图像输入至重光照图像生成系统的时域特征获取模型中进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像。
作为一种可能的实现方式，如图4所示，在上述实施例的基础上，上述步骤S302中将待处理图像和指导图像输入至重光照图像生成系统的时域特征获取模型中进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像的具体过程，包括以下步骤：
S401、由时域特征获取模型对待处理图像和指导图像进行特征提取，以获取待处理图像的第一场景内容特征图像，以及指导图像的第一光照特征图像。
作为一种可能的实现方式，如图5所示，在上述实施例的基础上，上述步骤S401中由时域特征获取模型对待处理图像和指导图像进行特征提取，以获取待处理图像的第一场景内容特征图像，以及指导图像的第一光照特征图像的具体过程，包括以下步骤：
S501、由时域特征获取模型对待处理图像和指导图像进行下采样处理，以获取第一特征图像。
本公开实施例中，可以由时域特征获取模型对待处理图像和指导图像进行下采样处理。可选地，可以对待处理图像和指导图像进行卷积处理，并将卷积处理后得到的图像进行归一化处理，进而再通过非线性化处理以增加图像的非线性。进一步地，在每次下采样过程中，在进行非线性化处理后，可以对图像进行池化处理，从而获取到第一特征图像。
需要说明的是，本公开中，池化处理是对局部进行处理的。可选地，可以把非线性化处理后的特征图像分为多个小局部块，然后针对每个块内的像素值，按照取平均或者取最大值等方式，得到一个值作为该局部块的值。
举例而言，若每个小局部块的宽高均为2，那么经过池化处理后，特征图像的宽高就缩小了2倍。由于处理的时候每个小局部块的值只跟所在局部块有关，与其他局部块无关，因此该操作是局部处理的。
S502、对第一特征图像进行平分处理，以获取待处理图像的第一场景内容特征图像，以及指导图像的第一光照特征图像。
本公开实施例中，可以在通道维度上，将第一特征图像平分为两个部分。
需要说明的是，由于第一特征图像指的是针对待处理图像的第一特征图像，以及针对指导图像的第一特征图像，因此，在对第一特征图像进行平分处理后，可以获取到针对待处理图像的第一场景内容特征图像和光照特征图像，以及指导图像的第一光照特征图像和场景内容特征图像。
举例而言，如图6所示，由时域特征获取模型对待处理图像和指导图像进行下采样处理后，可以得到针对待处理图像的第一特征图像6-1，以及针对指导图像的第一特征图像6-2。进一步地，通过平分处理，可以得到针对待处理图像的6-1的第一场景内容特征图像6-11和6-12，以及针对指导图像6-2的场景内容特征图像6-21和第一光照特征图像6-22。此种情况下，可以获取到第一场景内容特征图像6-11和第一光照特征图像6-22。
S402、将第一场景内容特征图像和第一光照特征图像进行合并，以获取融合特征图像。
本公开实施例中，可以在通道维度上，将第一场景内容特征图像和第一光照特征图像进行拼接，以获取融合特征图像。
S403、基于融合特征图像，生成第一中间图像。
本公开实施例中，可以对融合特征图像进行上采样处理，以生成第一中间图像。
需要说明的是，本公开中，上、下采样的频率和倍数可以根据实际情况进行设定。
举例而言，可以将图像逐级下采样4次，每次下采样2倍，共下采样16倍。进一步地，可以将下采样后的图像逐级上采样4次，每次上采样2倍，共上采样16倍，以得到第一中间图像。需要说明的是，在对图像进行采样的过程中，保持获取到的特征图像与图像大小一致。
S303、基于指导图像，对待处理图像进行频域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第二中间图像。
S304、根据第一中间图像和第二中间图像，获取待处理图像对应的目标重光照图像。
该步骤S303～304与上一实施例中的步骤S103～104相同，此处不再赘述。
根据本公开实施例的重光照图像的生成方法，可以通过将待处理图像和指导图像输入至重光照图像生成系统的时域特征获取模型中进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像，使得通过对待处理图像和指导图像进行时域上的重光照渲染，并基于时域上的特征信息，获取到更加准确的第一中间图像，确保了目标重光照图像的渲染效果。
图7是根据本公开第五实施例的示意图。
如图7所示，本实施例提出的重光照图像的生成方法，包括如下步骤：
S701、获取待处理图像和与待处理图像对应的指导图像。
S702、基于指导图像，对待处理图像进行时域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第一中间图像。
该步骤S701～702与上一实施例中的步骤S101～102相同，此处不再赘述。
上一实施例中的步骤S103中基于指导图像，对待处理图像进行频域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第二中间图像的具体过程，包括步骤S703：
S703、将待处理图像和指导图像输入至重光照图像生成系统的频域特征获取模型的N个小波变换模型中进行频域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第二中间图像，其中，N为大于或者等于1的整数。
其中，重光照图像生成系统，包括N个小波变换模型，N为大于或者等于1的整数。例如，重光照图像生成系统包括1个小波变换模型；又例如，重光照图像生成系统包括3个结构一致的小波变换模型，此种情况下，3个小波变换模型以级联(Cascade)的方式进行连接。
需要说明的是，本公开对于小波变换的种类不作限定，可以根据实际情况进行选择。可选地，可以选择离散小波变换模型对待处理图像进行重光照渲染。
下面对本公开的方案涉及的小波变换模型的处理过程进行简要说明：
图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。
举例来说，给定一张大面积的沙漠图像，那么得到的是一片灰度变化缓慢的区域，对应的频率值很低；而对于地表属性变换剧烈的边缘区域，例如层峦叠嶂的高山，在图像中是一片灰度变化剧烈的区域，则对应的频率值较高。
由此，从物理效果上看，小波变换可以将图像从空间域转换到频率域，即可以将图像的灰度分布函数变换为图像的频率分布函数，通过逆变换可以将图像的频率分布函数变换为灰度分布函数。
以待处理图像的二维离散小波变换模型的处理过程为例，针对如图8所示的待处理图像，可选地，可以对待处理图像的每一行像素进行一维的离散小波变换(DiscreteWavelet Transformation，简称DWT)，以得到原始图像(待处理图像)在水平方向上的低频分量L和高频分量H。进一步地，可以对变换后的数据的每一列像素再进行一维的DWT，从而得到如图9中所示的四个结果。
其中，根据得到的水平方向上的低频分量和垂直方向上的低频分量，即LL，可以得到如图9(a)所示的图像；根据水平方向上的低频分量和垂直方向上的高频分量，即LH，可以得到如图9(b)所示的图像；根据水平方向上的高频分量和垂直方向上的低频分量，即HL，可以得到如图9(c)所示的图像；根据水平方向上的高频分量和垂直方向上的高频分量，即HH，可以得到如图9(d)所示的图像。
此种情况下，针对图8所示的待处理图像，能够得到如图9(a)所示的能够体现待处理图像中物体摆放情况的图像，即待处理图像的的近似图像。图9(a)所示的图像对应于待处理图像的低频部分，而图9(b)～(d)所示的三张图则对应待处理图像的轮廓，依次为水平、垂直和对角线，共三个方向的细节图像，对应待处理图像的高频部分。
本公开实施例中，若输入的待处理图像宽、高均为1024，通道数为3，此种情况下，待处理图像的尺寸可以表示为1024*1024*3。可选地，通过离散小波变换模型中的离散小波变换网络进行DWT处理之后，图像的尺寸则变为512*512*3。
进一步地，通过将图9(a)～(d)中的四张图像在通道维度上进行串接，即可得到尺寸为512*512*12的图像。此种情况下，通过DWT之后，图像的宽、高均减小了2倍，同时，通道数增加了4倍，此过程又称空间到深度(Spatial2Depth)的转换过程。
由此，以上述小波变换处理操作替代CNN中常用的最大池化(max pooling)或avgpooling(平均池化)的操作，能够不再仅针对局部进行转换，而是通过DWT针对整个待处理图像进行转换，具有感受野更大、处理区域更广泛的优势，这样一来，处理结果也更加准确。
进一步地，在通过小波变换模型中的小波变换网络进行处理后，可选地，可以通过离散小波变换模型中的离散小波反变换网络进行IDWT处理，离线小波反变换(Inversediscrete wavelet transform，简称IDWT)的过程与DWT类似，此处不再赘述。
需要说明的是，本公开中，为了进一步提升重光照图像的渲染效果和可靠性，可以采用由至少两个小波变换模型级联的重光照图像生成系统。
作为一种可能的实现方式，N为大于1的整数，如图10所示，在上述实施例的基础上，具体包括以下步骤：
S1001、针对第一个小波变换模型，将待处理图像和指导图像输入至第一个小波变换模型中进行频域空间上的重光照渲染，输出中间重光照图像。
本公开实施例中，可以采用多阶段的渲染策略，即针对第一个小波变换模型，将待处理图像和指导图像输入至第一个小波变换模型中进行重光照渲染，输出中间重光照图像，学习从待处理图像和指导图像到输出的中间重光照图像之间的映射关系。
需要说明的是，在模型训练阶段，在针对第一个小波变换模型，将待处理图像和指导图像输入至第一个小波变换模型中进行重光照渲染，输出中间重光照图像之后，即可固定第一个小波变换模型，并根据该模型将训练集(预设数量的待处理样本图像和指导图像)进行处理，输出训练集在第一个小波变换模型下的中间重光照图像。
S1002、从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行频域空间上的重光照渲染，输出下一级小波变换模型对应的中间重光照图像。
本公开实施例中，可以从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行重光照渲染，输出下一级小波变换模型对应的中间重光照图像，此种情况下，由于上一级小波变换模型已经学到了大部分的映射关系，因此，使得下一级小波变换模型对应的中间重光照图像相较上一级小波变换模型对应的中间重光照图像，更接近准确结果(Ground Truth)。同时，针对模型训练阶段，下一级小波变换模型的训练难度也会极大降低。
S1003、每当其中一级小波变换模型输出对应的中间重光照图像，确定对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递对应的中间重光照图像，并将对应的中间重光照图像作为第二中间图像。
其中，优化停止条件可以根据实际情况进行设定，本公开不作限定。
可选地，可以设定优化停止条件为对图像进行处理的模型数量；可选地，可以设定优化停止条件为中间重光照图像的渲染效果。
举例而言，若优化停止条件为对图像进行处理的模型数量为2，此种情况下，其中一级小波变换模型输出对应的中间重光照图像为第二个小波变换模型处理后得到的图像，说明对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递对应的中间重光照图像，并将对应的中间重光照图像作为第二重光照图像。
S1004、确定对应的中间重光照图像未满足优化停止条件，则将中间重光照图像继续向下一级小波变换模型传递，由下一级小波变换模型继续对对应的中间重光照图像进行频域空间上的重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足优化停止条件，则将满足优化停止条件的中间重光照图像作为第二中间图像。
举例而言，若优化停止条件为对图像进行处理的模型数量为3，此种情况下，其中一级小波变换模型输出对应的中间重光照图像为第二个小波变换模型处理后得到的图像，说明对应的中间重光照图像未满足优化停止条件，则将中间重光照图像继续向第三级小波变换模型传递，由第三级小波变换模型继续对对应的中间重光照图像进行重光照渲染，并将第三级小波变换模型继续对应的的中间重光照图像作为目标重光照图像。
S704、根据第一中间图像和第二中间图像，获取待处理图像对应的目标重光照图像。
该步骤S704与上一实施例中的步骤S104相同，此处不再赘述。
根据本公开实施例的重光照图像的生成方法，可以通过将待处理图像和指导图像输入至重光照图像生成系统的频域特征获取模型中进行频域空间上的重光照渲染，以获取与指导图像中的光照条件一致的第二中间图像，使得通过对待处理图像和指导图像进行频域上的重光照渲染，并基于频域上的特征信息，获取到更加准确的第二中间图像，确保了目标重光照图像的渲染效果。
需要说明的是，本公开中，在下采样和上采样的处理过程中间加入了残差网络(ResBlock)以及跨层连接(Skip Connection)来提升生成的重光照图像的渲染效果。
作为一种可能的实现方式，如图11所示，本公开提出的重光照图像的生成方法，在上述实施例的基础上，任一级小波变换模型对图像进行重光照渲染的过程，具体包括以下步骤：
S1101、将图像输入至小波变换模型的小波变换网络中，由小波变换网络对图像进行下采样处理，输出图像对应的第二场景内容特征图像以及第二光照特征图像，其中，图像包括待处理图像、指导图像和中间重光照图像。
S1102、将第二场景内容特征图像以及第二光照特征图像输入至小波变换模型的残差网络中，由残差网络对第二场景内容特征图像以及第二光照特征图像进行重建，输出重建特征图像。
S1103、将重建特征图像输入至小波变换模型的小波反变换网络中，由小波反变换网络对重建特征图像进行上采样处理，输出重光照图像。
本公开实施例中，可以对图像进行下采样，以获取图像对应的特征图像。再将残差网络重建得到的重建特征图像进行上采样，以获取重光照图像，其中，下采样的频率和倍数与上采样的频率和倍数相同。其中，上、下采样的频率和倍数可以根据实际情况进行设定。
举例而言，可以将图像逐级下采样4次，每次下采样2倍，共下采样16倍，以获取图像对应的特征图像。进一步地，将重建特征图像逐级上采样4次，每次上采样2倍，共上采样16倍，以得到重光照图像。需要说明的是，在对图像进行采样的过程中，保持获取到的特征图像与图像大小一致。
根据本公开实施例的重光照图像的生成方法，通过在小波变换模型中加入残差网络以及跨层连接的连接方式，使得上采样的输入在上一层上采样输出的基础上，结合对应的下采样的输出，对重光照渲染过程起到了监督作用，防止学错，进一步提升了输出的重光照图像的渲染效果和可靠性。
需要说明的是，本公开中，重光照图像生成系统中增加了局部卷积-归一化-非线性化网络(Conv-IN-Relu)，进一步对得到的特征图像进行处理。
可选地，可以仅针对下采样获取到的图像进行预处理；可选地，可以仅针对上采样获取到的图像进行预处理；可选地，可以分别针对下采样和上采样获取到的图像进行预处理。
作为一种可能的实现方式，如图12所示，在上述实施例的基础上，以分别针对下采样和上采样获取到的图像进行预处理为例，具体包括以下步骤：
S1201、将下采样获取到的特征图像输入至小波变换模型的第一卷积网络中，由第一卷积网络对特征图像进行预处理，并将第一卷积网络输出的预处理后的特征图像输入至残差网络中。
S1202、将进行上采样处理后得到的上采样特征图像输入至小波变换模型的第二卷积网络，由第二卷积网络对上采样特征图像进行预处理。
其中，对特征图像进行预处理的过程，主要包括对图像进行卷积、归一化、激活等操作，进行预处理后的特征图像整合了原特征图像的局部信息，并且增加了非线性。
根据本公开实施例的重光照图像的生成方法，通过对图像进行预处理，使得网络被加深，增强了小波变换模型的学习能力及拟合能力，进一步提升了输出的重光照图像的渲染效果和可靠性。
需要说明的是，本公开提出的重光照图像的生成方法，可以运用于多种图像处理场景中。
针对为普通场景类图片增加滤镜的应用场景，如图13～14所示，可以通过不同的指导图像中的滤镜效果，对待处理图像进行渲染，以改变其光照条件来创作不同的滤镜效果，让用户只需要拍一张图片即可得到多张不同色调的结果，方便用户后续编辑使用，提升了用户体验、吸引了用户兴趣。
例如，如图13所示，针对图13(a)所示的待处理图像，以图13(b)所示的指导图像为依据，通过重光照图像生成系统的渲染处理，可以得到图13(c)所示的目标重光照图像。
又例如，如图14所示，针对图14(a)所示的待处理图像，以图14(b)所示的指导图像为依据，通过重光照图像生成系统的渲染处理，可以得到图14(c)所示的目标重光照图像。
针对为人像类图片增加特效的应用场景，如图15所示，可以通过改变阴影的程度和位置生成多种效果，增加了新玩法，吸引用户使用产品。
例如，如图15所示，针对图15(a)所示的待处理图像，以图15(b)所示的指导图像为依据，通过重光照图像生成系统的渲染处理，可以得到图15(c)所示的目标重光照图像。
综上所述，本公开提供的重光照图像的生成方法，给定一个输入图(待处理图像)之后，不需要知道需要改变的光照方向和色温，只需要一张对应的指导图像，即可生成与指导图像中光照条件一致的结果图(目标重光照图像)。
图16是根据本公开第九实施例的示意图。其中，需要说明的是，本实施例的重光照图像生成系统的训练方法的执行主体为重光照图像生成系统的训练装置，重光照图像生成系统的训练装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。
如图16所示，本实施例提出的重光照图像生成系统的训练方法，包括如下步骤：
S1601、获取已标注目标重光照图像的样本待处理图像和与样本待处理图像对应的样本指导图像。
其中，样本待处理图像以及对应的样本指导图像的数量一致，可以根据实际情况进行获取。例如，可以获取1000组样本待处理图像以及对应的样本指导图像。
S1602、将样本待处理图像和样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数。
S1603、将样本待处理图像和样本指导图像输入至待训练的重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数。
S1604、基于第一损失函数和第二损失函数，获取针对重光照图像生成系统的总损失函数，以根据总损失函数进行重光照图像生成系统中的模型参数进行调整，并返回获取已标注目标重光照图像的样本待处理图像和与样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整模型参数后的待训练的重光照图像生成系统确定为训练好的重光照图像生成系统。
其中，训练结束条件可以根据实际情况进行设定，本公开不作限定。
可选地，可以设定训练结束条件为待训练的重光照图像生成系统输出的目标重光照图像的渲染效果。例如，可以设定训练结束条件为待训练的重光照图像生成系统输出的目标重光照图像与已标注目标重光照图像之间的差异。
根据本公开实施例的重光照图像生成系统的训练方法，可以通过基于第一损失函数和第二损失函数，进行重光照图像生成系统中的模型参数进行调整，直至训练结果满足训练结束条件，将最后一次调整模型参数后的待训练的重光照图像生成系统确定为训练好的重光照图像生成系统，确保了重光照图像生成系统的训练效果，为基于任意重光照技术准确获取重光照图像奠定了基础。
图17是根据本公开第十实施例的示意图。
如图17所示，本实施例提出的重光照图像生成系统的训练方法，包括如下步骤：
S1701、获取已标注目标重光照图像的样本待处理图像和与样本待处理图像对应的样本指导图像。
该步骤S1701与上一实施例中的步骤S1601相同，此处不再赘述。
上一实施例中的步骤S1602中将样本待处理图像和样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数的具体过程，包括步骤S1702～1704：
S1702、获取已标注第一中间图像的样本待处理图像和与样本待处理图像对应的样本指导图像。
S1703、将样本待处理图像和样本指导图像输入至待训练的时域特征获取模型中进行时域空间上的重光照渲染，以获取与样本指导图像中的光照条件一致的第一训练中间图像。
S1704、根据第一训练中间图像和已标注第一中间图像之间的第一差异，获取第一损失函数。
作为一种可能的实现方式，如图18所示，样本待处理图像包括由第一分类器预测得到的已标注第一场景内容特征图像和由第二分类器预测得到的已标注第一光照特征图像，在上述实施例的基础上，上述步骤S1704中根据第一训练中间图像和已标注第一中间图像之间的第一差异，获取第一损失函数的具体过程，包括以下步骤：
S1801、由待训练的时域特征获取模型对样本待处理图像和样本指导图像进行特征提取，以获取样本待处理图像的第一场景内容训练特征图像，以及指导图像的第一光照训练特征图像。
S1802、根据第一场景内容训练特征图像和已标注第一场景内容特征图像之间的第二差异，以及第一光照训练特征图像和已标注第一光照特征图像之间的第三差异。
S1803、基于第一差异、第二差异和第三差异，获取第一损失函数。
上一实施例中的步骤S1603中将样本待处理图像和样本指导图像输入至待训练的重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数的具体过程，包括步骤S1705～1707：
S1705、获取已标注第二中间图像的样本待处理图像和与样本待处理图像对应的样本指导图像。
S1706、将样本待处理图像和样本指导图像输入至待训练的频域特征获取模型中进行频域空间上的重光照渲染，以获取与样本指导图像中的光照条件一致的第二训练中间图像。
S1707、根据第二训练中间图像和已标注第二中间图像之间的第四差异，获取第二损失函数。
作为一种可能的实现方式，如图19所示，样本待处理图像包括由第一分类器预测得到的已标注第二场景内容特征图像和由第二分类器预测得到的已标注第二光照特征图像，在上述实施例的基础上，上述步骤S1707中根据第二训练中间图像和已标注第二中间图像之间的第四差异，获取第二损失函数的具体过程，包括以下步骤：
S1901、由待训练的频域特征获取模型对样本待处理图像和样本指导图像进行特征提取，以获取样本待处理图像的第二场景内容训练特征图像，以及指导图像的第二光照训练特征图像。
S1902、根据第二场景内容训练特征图像和已标注第二场景内容特征图像之间的第五差异，以及第二光照训练特征图像和已标注第二光照特征图像之间的第六差异。
S1903、基于第四差异、第五差异和第六差异，获取第二损失函数。
S1708、基于第一损失函数和第二损失函数，获取针对重光照图像生成系统的总损失函数，以根据总损失函数进行重光照图像生成系统中的模型参数进行调整，并返回获取已标注目标重光照图像的样本待处理图像和与样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整模型参数后的待训练的重光照图像生成系统确定为训练好的重光照图像生成系统。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
与上述几种实施例提供的重光照图像的生成方法相对应，本公开的一个实施例还提供一种重光照图像的生成装置，由于本公开实施例提供的重光照图像的生成装置与上述几种实施例提供的重光照图像的生成方法相对应，因此在重光照图像的生成方法的实施方式也适用于本实施例提供的重光照图像的生成装置，在本实施例中不再详细描述。
图20是根据本公开一个实施例的重光照图像的生成装置的结构示意图。
如图20所示，该重光照图像的生成装置2000，包括：第一获取模块2010、第二获取模块2020、第三获取模块2030和第四获取模块2040。其中：
第一获取模块，用于获取待处理图像和与所述待处理图像对应的指导图像；
第二获取模块，用于基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像；
第三获取模块，用于基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像；
第四获取模块，用于根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。
图21是根据本公开另一个实施例的重光照图像的生成装置的结构示意图。
如图21所示，该重光照图像的生成装置2100，包括：第一获取模块2110、第二获取模块2120、第三获取模块2130和第四获取模块2140。
其中，第二获取模块2120，还用于：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第一中间图像。
其中，第二获取模块2120，还用于：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行特征提取，以获取所述待处理图像的第一场景内容特征图像，以及所述指导图像的第一光照特征图像；
将所述第一场景内容特征图像和所述第一光照特征图像进行合并，以获取融合特征图像；
基于所述融合特征图像，生成所述第一中间图像。
其中，第二获取模块2120，还用于：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第一特征图像；
对所述第一特征图像进行平分处理，以获取所述待处理图像的所述第一场景内容特征图像，以及所述指导图像的所述第一光照特征图像。
其中，第二获取模块2120，还用于：
对所述融合特征图像进行上采样处理，以生成所述第一中间图像。
其中，第三获取模块2130，还用于：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述频域特征获取模型的N个小波变换模型中进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第二中间图像，其中，N为大于或者等于1的整数。
其中，N为大于1的整数，第三获取模块2130，还用于：
针对第一个小波变换模型，将所述待处理图像和所述指导图像输入至所述第一个小波变换模型中进行频域空间上的重光照渲染，输出中间重光照图像；
从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行频域空间上的重光照渲染，输出所述下一级小波变换模型对应的中间重光照图像；
每当其中一级小波变换模型输出对应的中间重光照图像，确定所述对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递所述对应的中间重光照图像，并将所述对应的中间重光照图像作为所述第二中间图像。
其中，第三获取模块2130，还用于：
确定所述对应的中间重光照图像未满足所述优化停止条件，则将所述中间重光照图像继续向下一级小波变换模型传递，由下一级小波变换模型继续对所述对应的中间重光照图像进行频域空间上的重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足优化停止条件，则将所述满足所述优化停止条件的中间重光照图像作为所述第二中间图像。
其中，第三获取模块2130，还用于：
将图像输入至所述小波变换模型的小波变换网络中，由所述小波变换网络对所述图像进行下采样处理，输出所述图像对应的第二场景内容特征图像以及第二光照特征图像，其中，所述图像包括所述待处理图像、所述指导图像和所述中间重光照图像；
将所述第二场景内容特征图像以及所述第二光照特征图像输入至所述小波变换模型的残差网络中，由所述残差网络对所述第二场景内容特征图像以及所述第二光照特征图像进行重建，输出重建特征图像；
将所述重建特征图像输入至所述小波变换模型的小波反变换网络中，由所述小波反变换网络对所述重建特征图像进行上采样处理，输出所述重光照图像。
其中，第三获取模块2130，还用于：
由所述频域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第二特征图像；
对所述第二特征图像进行平分处理，以获取所述图像对应的所述第二场景内容特征图像以及所述第二光照特征图像。
其中，第三获取模块2130，还用于：
将下采样获取到的所述特征图像输入至所述小波变换模型的第一卷积网络中，由所述第一卷积网络对所述特征图像进行预处理，并将所述第一卷积网络输出的预处理后的特征图像输入至所述残差网络中。
其中，第三获取模块2130，还用于：
将进行上采样处理后得到的上采样特征图像输入至所述小波变换模型的第二卷积网络，由所述第二卷积网络对所述上采样特征图像进行预处理。
其中，第四获取模块2140，还用于：
对所述第一中间图像和所述第二中间图像进行加权处理，并对加权处理结果进行后处理，以将后处理得到的加权结果作为所述待处理图像对应的所述目标重光照图像。
需要说明的是，第一获取模块2110与第一获取模块2010具有相同功能和结构。
根据本公开实施例的重光照图像的生成装置，既不依赖人工设计，也不再依赖基于神经网络学习训练得到的卷积神经网络模型，通过对待处理图像和指导图像进行时域和频域上的重光照渲染，并结合时域和频域上的特征信息，使得基于任意重光照技术得到的目标重光照图像在低频上保留场景内容结构，在高频上保留细节阴影信息，从而得到渲染效果更加准确、可靠的目标重光照图像。
与上述几种实施例提供的重光照图像生成系统的训练方法相对应，本公开的一个实施例还提供一种重光照图像生成系统的训练装置，由于本公开实施例提供的重光照图像生成系统的训练装置与上述几种实施例提供的重光照图像生成系统的训练方法相对应，因此在重光照图像生成系统的训练方法的实施方式也适用于本实施例提供的重光照图像生成系统的训练装置，在本实施例中不再详细描述。
图22是根据本公开一个实施例的重光照图像生成系统的训练装置的结构示意图。
如图22所示，该重光照图像生成系统的训练装置2200，包括：第一获取模块2210、第二获取模块2220、第三获取模块2230和确定模块2240。其中：
第一获取模块，用于获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
第二获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数；
第三获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数；
确定模块，用于基于所述第一损失函数和所述第二损失函数，获取针对所述重光照图像生成系统的总损失函数，以根据所述总损失函数进行所述重光照图像生成系统中的模型参数进行调整，并返回所述获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的待训练的所述重光照图像生成系统确定为训练好的所述重光照图像生成系统。
图23是根据本公开另一个实施例的重光照图像生成系统的训练装置的结构示意图。
如图23所示，该重光照图像生成系统的训练装置2300，包括：第一获取模块2310、第二获取模块2320、第三获取模块2330和确定模块2340。
其中，第二获取模块2320，还用于：
获取已标注第一中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第一训练中间图像；
根据所述第一训练中间图像和所述已标注第一中间图像之间的第一差异，获取所述第一损失函数。
其中，所述样本待处理图像包括由第一分类器预测得到的已标注第一场景内容特征图像和由第二分类器预测得到的已标注第一光照特征图像，第二获取模块2320，还用于：
由待训练的所述时域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第一场景内容训练特征图像，以及所述指导图像的第一光照训练特征图像；
根据所述第一场景内容训练特征图像和所述已标注第一场景内容特征图像之间的第二差异，以及所述第一光照训练特征图像和所述已标注第一光照特征图像之间的第三差异；
基于所述第一差异、所述第二差异和所述第三差异，获取所述第一损失函数。
其中，第三获取模块2330，还用于：
获取已标注第二中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述频域特征获取模型中进行频域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第二训练中间图像；
根据所述第二训练中间图像和所述已标注第二中间图像之间的第四差异，获取所述第二损失函数。
其中，所述样本待处理图像包括由第一分类器预测得到的已标注第二场景内容特征图像和由第二分类器预测得到的已标注第二光照特征图像，第三获取模块2330，还用于：
由待训练的所述频域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第二场景内容训练特征图像，以及所述指导图像的第二光照训练特征图像；
根据所述第二场景内容训练特征图像和所述已标注第二场景内容特征图像之间的第五差异，以及所述第二光照训练特征图像和所述已标注第二光照特征图像之间的第六差异；
基于所述第四差异、所述第五差异和所述第六差异，获取所述第二损失函数。
需要说明的是，第一获取模块2310与确定模块2340和第一获取模块2210与确定模块2240具有相同功能和结构。
根据本公开实施例的重光照图像生成系统的训装置，可以通过基于第一损失函数和第二损失函数，进行重光照图像生成系统中的模型参数进行调整，直至训练结果满足训练结束条件，将最后一次调整模型参数后的待训练的重光照图像生成系统确定为训练好的重光照图像生成系统，确保了重光照图像生成系统的训练效果，为基于任意重光照技术准确获取重光照图像奠定了基础。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图24示出了可以用来实施本公开的实施例的示例电子设备2400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图24所示，设备2400包括计算单元2401，其可以根据存储在只读存储器(ROM)2402中的计算机程序或者从存储单元2408加载到随机访问存储器(RAM)2403中的计算机程序，来执行各种适当的动作和处理。在RAM 2403中，还可存储设备2400操作所需的各种程序和数据。计算单元2401、ROM 2402以及RAM 2403通过总线2404彼此相连。输入/输出(I/O)接口2405也连接至总线2404。
设备2400中的多个部件连接至I/O接口2405，包括：输入单元2406，例如键盘、鼠标等；输出单元2407，例如各种类型的显示器、扬声器等；存储单元2408，例如磁盘、光盘等；以及通信单元2409，例如网卡、调制解调器、无线通信收发机等。通信单元2409允许设备2400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元2401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元2401执行上文所描述的各个方法和处理，例如重光照图像的生成方法或者重光照图像生成系统的训练方法。例如，在一些实施例中，重光照图像的生成或者重光照图像生成系统的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 2402和/或通信单元2409而被载入和/或安装到设备2400上。当计算机程序加载到RAM 2403并由计算单元2401执行时，可以执行上文描述的重光照图像的生成或者重光照图像生成系统的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元2401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行重光照图像的生成方法或者重光照图像生成系统的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网以及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，实现如上所述的重光照图像的生成方法或者重光照图像生成系统的训练方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (39)

1.一种重光照图像的生成方法，包括：
获取待处理图像和与所述待处理图像对应的指导图像；
基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像；
基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像；
根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。
2.根据权利要求1所述的生成方法，其中，所述基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像，包括：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第一中间图像。
3.根据权利要求2所述的生成方法，其中，所述将所述待处理图像和所述指导图像输入至所述重光照图像生成系统的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第一中间图像，包括：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行特征提取，以获取所述待处理图像的第一场景内容特征图像，以及所述指导图像的第一光照特征图像；
将所述第一场景内容特征图像和所述第一光照特征图像进行合并，以获取融合特征图像；
基于所述融合特征图像，生成所述第一中间图像。
4.根据权利要求3所述的生成方法，其中，所述由所述时域特征获取模型对所述待处理图像和所述指导图像进行特征提取，以获取所述待处理图像的第一场景内容特征图像，以及所述指导图像的第一光照特征图像，包括：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第一特征图像；
对所述第一特征图像进行平分处理，以获取所述待处理图像的所述第一场景内容特征图像，以及所述指导图像的所述第一光照特征图像。
5.根据权利要求3所述的生成方法，其中，所述基于所述融合特征图像，生成所述第一中间图像，包括：
对所述融合特征图像进行上采样处理，以生成所述第一中间图像。
6.根据权利要求1所述的生成方法，其中，所述基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像，包括：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述频域特征获取模型的N个小波变换模型中进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第二中间图像，其中，N为大于或者等于1的整数。
7.根据权利要求6所述的生成方法，其中，N为大于1的整数，其中，所述将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述频域特征获取模型的N个小波变换模型中进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第二中间图像，包括：
针对第一个小波变换模型，将所述待处理图像和所述指导图像输入至所述第一个小波变换模型中进行频域空间上的重光照渲染，输出中间重光照图像；
从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行频域空间上的重光照渲染，输出所述下一级小波变换模型对应的中间重光照图像；
每当其中一级小波变换模型输出对应的中间重光照图像，确定所述对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递所述对应的中间重光照图像，并将所述对应的中间重光照图像作为所述第二中间图像。
8.根据权利要求7所述的生成方法，其中，还包括：
确定所述对应的中间重光照图像未满足所述优化停止条件，则将所述中间重光照图像继续向下一级小波变换模型传递，由下一级小波变换模型继续对所述对应的中间重光照图像进行频域空间上的重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足优化停止条件，则将所述满足所述优化停止条件的中间重光照图像作为所述第二中间图像。
9.根据权利要求6或7所述的生成方法，其中，任一级小波变换模型对图像进行频域空间上的重光照渲染的过程，包括：
将图像输入至所述小波变换模型的小波变换网络中，由所述小波变换网络对所述图像进行下采样处理，输出所述图像对应的第二场景内容特征图像以及第二光照特征图像，其中，所述图像包括所述待处理图像、所述指导图像和所述中间重光照图像；
将所述第二场景内容特征图像以及所述第二光照特征图像输入至所述小波变换模型的残差网络中，由所述残差网络对所述第二场景内容特征图像以及所述第二光照特征图像进行重建，输出重建特征图像；
将所述重建特征图像输入至所述小波变换模型的小波反变换网络中，由所述小波反变换网络对所述重建特征图像进行上采样处理，输出所述重光照图像。
10.根据权利要求9所述的生成方法，其中，所述将图像输入至所述小波变换模型的小波变换网络中，由所述小波变换网络对所述图像进行下采样处理，输出所述图像对应的第二场景内容特征图像以及第二光照特征图像，包括：
由所述频域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第二特征图像；
对所述第二特征图像进行平分处理，以获取所述图像对应的所述第二场景内容特征图像以及所述第二光照特征图像。
11.根据权利要求9所述的生成方法，其中，所述将所述特征图像输入至所述小波变换模型的残差网络中，还包括：
将下采样获取到的所述特征图像输入至所述小波变换模型的第一卷积网络中，由所述第一卷积网络对所述特征图像进行预处理，并将所述第一卷积网络输出的预处理后的特征图像输入至所述残差网络中。
12.根据权利要求9-11中任一项所述的生成方法，其中，还包括：
将进行上采样处理后得到的上采样特征图像输入至所述小波变换模型的第二卷积网络，由所述第二卷积网络对所述上采样特征图像进行预处理。
13.根据权利要求1所述的生成方法，其中，所述根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像，包括：
对所述第一中间图像和所述第二中间图像进行加权处理，并对加权处理结果进行后处理，以将后处理得到的加权结果作为所述待处理图像对应的所述目标重光照图像。
14.一种重光照图像生成系统的训练方法，包括：
获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数；
基于所述第一损失函数和所述第二损失函数，获取针对所述重光照图像生成系统的总损失函数，以根据所述总损失函数进行所述重光照图像生成系统中的模型参数进行调整，并返回所述获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的待训练的所述重光照图像生成系统确定为训练好的所述重光照图像生成系统。
15.根据权利要求14所述的训练方法，其中，所述将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数，包括：
获取已标注第一中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第一训练中间图像；
根据所述第一训练中间图像和所述已标注第一中间图像之间的第一差异，获取所述第一损失函数。
16.根据权利要求15所述的训练方法，其中，所述样本待处理图像包括由第一分类器预测得到的已标注第一场景内容特征图像和由第二分类器预测得到的已标注第一光照特征图像，所述根据所述第一训练中间图像和所述已标注第一中间图像之间的第一差异，获取所述第一损失函数，包括：
由待训练的所述时域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第一场景内容训练特征图像，以及所述指导图像的第一光照训练特征图像；
根据所述第一场景内容训练特征图像和所述已标注第一场景内容特征图像之间的第二差异，以及所述第一光照训练特征图像和所述已标注第一光照特征图像之间的第三差异；
基于所述第一差异、所述第二差异和所述第三差异，获取所述第一损失函数。
17.根据权利要求14所述的训练方法，其中，所述将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数，包括：
获取已标注第二中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述频域特征获取模型中进行频域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第二训练中间图像；
根据所述第二训练中间图像和所述已标注第二中间图像之间的第四差异，获取所述第二损失函数。
18.根据权利要求17所述的训练方法，其中，所述样本待处理图像包括由第一分类器预测得到的已标注第二场景内容特征图像和由第二分类器预测得到的已标注第二光照特征图像，所述根据所述第二训练中间图像和所述已标注第二中间图像之间的第四差异，获取所述第二损失函数，包括：
由待训练的所述频域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第二场景内容训练特征图像，以及所述指导图像的第二光照训练特征图像；
根据所述第二场景内容训练特征图像和所述已标注第二场景内容特征图像之间的第五差异，以及所述第二光照训练特征图像和所述已标注第二光照特征图像之间的第六差异；
基于所述第四差异、所述第五差异和所述第六差异，获取所述第二损失函数。
19.一种重光照图像的生成装置，包括：
第一获取模块，用于获取待处理图像和与所述待处理图像对应的指导图像；
第二获取模块，用于基于所述指导图像，对所述待处理图像进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第一中间图像；
第三获取模块，用于基于所述指导图像，对所述待处理图像进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的第二中间图像；
第四获取模块，用于根据所述第一中间图像和所述第二中间图像，获取所述待处理图像对应的目标重光照图像。
20.根据权利要求19所述的生成装置，其中，所述第二获取模块，还用于：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第一中间图像。
21.根据权利要求20所述的生成装置，其中，所述第二获取模块，还用于：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行特征提取，以获取所述待处理图像的第一场景内容特征图像，以及所述指导图像的第一光照特征图像；
将所述第一场景内容特征图像和所述第一光照特征图像进行合并，以获取融合特征图像；
基于所述融合特征图像，生成所述第一中间图像。
22.根据权利要求21所述的生成装置，其中，所述第二获取模块，还用于：
由所述时域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第一特征图像；
对所述第一特征图像进行平分处理，以获取所述待处理图像的所述第一场景内容特征图像，以及所述指导图像的所述第一光照特征图像。
23.根据权利要求21所述的生成装置，其中，所述第二获取模块，还用于：
对所述融合特征图像进行上采样处理，以生成所述第一中间图像。
24.根据权利要求19所述的生成装置，其中，所述第三获取模块，还用于：
将所述待处理图像和所述指导图像输入至重光照图像生成系统的所述频域特征获取模型的N个小波变换模型中进行频域空间上的重光照渲染，以获取与所述指导图像中的光照条件一致的所述第二中间图像，其中，N为大于或者等于1的整数。
25.根据权利要求24所述的生成装置，其中，N为大于1的整数，其中，所述第三获取模块，还用于：
针对第一个小波变换模型，将所述待处理图像和所述指导图像输入至所述第一个小波变换模型中进行频域空间上的重光照渲染，输出中间重光照图像；
从第二个小波变换模型起，将上一级小波变换模型输出的中间重光照图像输入至下一级小波变换模型中进行频域空间上的重光照渲染，输出所述下一级小波变换模型对应的中间重光照图像；
每当其中一级小波变换模型输出对应的中间重光照图像，确定所述对应的中间重光照图像满足优化停止条件，则停止向下一级小波变换模型传递所述对应的中间重光照图像，并将所述对应的中间重光照图像作为所述第二中间图像。
26.根据权利要求25所述的生成装置，其中，所述第三获取模块，还用于：
确定所述对应的中间重光照图像未满足所述优化停止条件，则将所述中间重光照图像继续向下一级小波变换模型传递，由下一级小波变换模型继续对所述对应的中间重光照图像进行频域空间上的重光照渲染，直至其中一级小波变换模型输出的中间重光照图像满足优化停止条件，则将所述满足所述优化停止条件的中间重光照图像作为所述第二中间图像。
27.根据权利要求24或25所述的生成装置，其中，所述第三获取模块，还用于：
将图像输入至所述小波变换模型的小波变换网络中，由所述小波变换网络对所述图像进行下采样处理，输出所述图像对应的第二场景内容特征图像以及第二光照特征图像，其中，所述图像包括所述待处理图像、所述指导图像和所述中间重光照图像；
将所述第二场景内容特征图像以及所述第二光照特征图像输入至所述小波变换模型的残差网络中，由所述残差网络对所述第二场景内容特征图像以及所述第二光照特征图像进行重建，输出重建特征图像；
将所述重建特征图像输入至所述小波变换模型的小波反变换网络中，由所述小波反变换网络对所述重建特征图像进行上采样处理，输出所述重光照图像。
28.根据权利要求27所述的生成装置，其中，所述第三获取模块，还用于：
由所述频域特征获取模型对所述待处理图像和所述指导图像进行下采样处理，以获取第二特征图像；
对所述第二特征图像进行平分处理，以获取所述图像对应的所述第二场景内容特征图像以及所述第二光照特征图像。
29.根据权利要求27所述的生成装置，其中，所述第三获取模块，还用于：
将下采样获取到的所述特征图像输入至所述小波变换模型的第一卷积网络中，由所述第一卷积网络对所述特征图像进行预处理，并将所述第一卷积网络输出的预处理后的特征图像输入至所述残差网络中。
30.根据权利要求27-29中任一项所述的生成装置，其中，所述第三获取模块，还用于：
将进行上采样处理后得到的上采样特征图像输入至所述小波变换模型的第二卷积网络，由所述第二卷积网络对所述上采样特征图像进行预处理。
31.根据权利要求19所述的生成装置，其中，所述第四获取模块，还用于：
对所述第一中间图像和所述第二中间图像进行加权处理，并对加权处理结果进行后处理，以将后处理得到的加权结果作为所述待处理图像对应的所述目标重光照图像。
32.一种重光照图像生成系统的训练装置，包括：
第一获取模块，用于获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
第二获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的重光照图像生成系统中的时域特征获取模型中进行训练，以获取时域模型第一损失函数；
第三获取模块，用于将所述样本待处理图像和所述样本指导图像输入至待训练的所述重光照图像生成系统中的频域特征获取模型中进行训练，以获取频域模型第二损失函数；
确定模块，用于基于所述第一损失函数和所述第二损失函数，获取针对所述重光照图像生成系统的总损失函数，以根据所述总损失函数进行所述重光照图像生成系统中的模型参数进行调整，并返回所述获取已标注目标重光照图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的待训练的所述重光照图像生成系统确定为训练好的所述重光照图像生成系统。
33.根据权利要求32所述的训练装置，其中，所述第二获取模块，还用于：
获取已标注第一中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述时域特征获取模型中进行时域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第一训练中间图像；
根据所述第一训练中间图像和所述已标注第一中间图像之间的第一差异，获取所述第一损失函数。
34.根据权利要求33所述的训练装置，其中，所述样本待处理图像包括由第一分类器预测得到的已标注第一场景内容特征图像和由第二分类器预测得到的已标注第一光照特征图像，所述第二获取模块，还用于：
由待训练的所述时域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第一场景内容训练特征图像，以及所述指导图像的第一光照训练特征图像；
根据所述第一场景内容训练特征图像和所述已标注第一场景内容特征图像之间的第二差异，以及所述第一光照训练特征图像和所述已标注第一光照特征图像之间的第三差异；
基于所述第一差异、所述第二差异和所述第三差异，获取所述第一损失函数。
35.根据权利要求32所述的训练装置，其中，所述第三获取模块，还用于：
获取已标注第二中间图像的样本待处理图像和与所述样本待处理图像对应的样本指导图像；
将所述样本待处理图像和所述样本指导图像输入至待训练的所述频域特征获取模型中进行频域空间上的重光照渲染，以获取与所述样本指导图像中的光照条件一致的第二训练中间图像；
根据所述第二训练中间图像和所述已标注第二中间图像之间的第四差异，获取所述第二损失函数。
36.根据权利要求35所述的训练装置，其中，所述样本待处理图像包括由第一分类器预测得到的已标注第二场景内容特征图像和由第二分类器预测得到的已标注第二光照特征图像，所述第三获取模块，还用于：
由待训练的所述频域特征获取模型对所述样本待处理图像和所述样本指导图像进行特征提取，以获取所述样本待处理图像的第二场景内容训练特征图像，以及所述指导图像的第二光照训练特征图像；
根据所述第二场景内容训练特征图像和所述已标注第二场景内容特征图像之间的第五差异，以及所述第二光照训练特征图像和所述已标注第二光照特征图像之间的第六差异；
基于所述第四差异、所述第五差异和所述第六差异，获取所述第二损失函数。
37.一种电子设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-13中任一项所述的方法。
38.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13中任一项所述的方法。
39.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-13中任一项所述的方法。
CN202110729941.9A 2021-06-29 2021-06-29 重光照图像的生成方法、装置及电子设备 Pending CN113592998A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110729941.9A CN113592998A (zh) 2021-06-29 2021-06-29 重光照图像的生成方法、装置及电子设备
KR1020237008692A KR20230043225A (ko) 2021-06-29 2022-04-20 재조명 이미지의 생성 방법, 장치 및 전자 기기
JP2023513079A JP2023538147A (ja) 2021-06-29 2022-04-20 再照明画像の生成方法、装置及び電子機器
PCT/CN2022/088031 WO2023273536A1 (zh) 2021-06-29 2022-04-20 重光照图像的生成方法、装置及电子设备
US18/183,439 US20230215132A1 (en) 2021-06-29 2023-03-14 Method for generating relighted image and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110729941.9A CN113592998A (zh) 2021-06-29 2021-06-29 重光照图像的生成方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113592998A true CN113592998A (zh) 2021-11-02

Family

ID=78245254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110729941.9A Pending CN113592998A (zh) 2021-06-29 2021-06-29 重光照图像的生成方法、装置及电子设备

Country Status (5)

Country Link
US (1) US20230215132A1 (zh)
JP (1) JP2023538147A (zh)
KR (1) KR20230043225A (zh)
CN (1) CN113592998A (zh)
WO (1) WO2023273536A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546041A (zh) * 2022-02-28 2022-12-30 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
WO2023273340A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
WO2023273536A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071268B (zh) * 2023-03-01 2023-06-23 中国民用航空飞行学院 基于对比学习的图像去光照模型及其训练方法
CN117252787B (zh) * 2023-11-17 2024-02-02 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP2018098582A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN112184575A (zh) * 2020-09-16 2021-01-05 华为技术有限公司 图像渲染的方法和装置
CN112489144A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置、终端设备及存储介质
CN112801057A (zh) * 2021-04-02 2021-05-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112819016A (zh) * 2021-02-19 2021-05-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452111B2 (en) * 2008-06-05 2013-05-28 Microsoft Corporation Real-time compression and decompression of wavelet-compressed images
CN107833198B (zh) * 2017-11-09 2021-06-01 中共中央办公厅电子科技学院 一种基于大尺度分解的户外场景重光照方法
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP2018098582A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN112184575A (zh) * 2020-09-16 2021-01-05 华为技术有限公司 图像渲染的方法和装置
CN112489144A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置、终端设备及存储介质
CN112819016A (zh) * 2021-02-19 2021-05-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112801057A (zh) * 2021-04-02 2021-05-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DENSEN PUTHUSSERY: "WDRN: A Wavelet Decomposed RelightNet for Image Relighting", 《ARXIV》, pages 1 - 16 *
MAJED EL HELOU: "NTIRE 2021 Depth Guided Image Relighting Challenge", 《IEEE》, pages 566 - 577 *
周毅敏;李光耀;: "多重光照色差下图像平滑美化处理算法", 计算机科学, no. 10, pages 292 - 296 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273340A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
WO2023273536A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
CN115546041A (zh) * 2022-02-28 2022-12-30 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
CN115546041B (zh) * 2022-02-28 2023-10-20 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备

Also Published As

Publication number Publication date
US20230215132A1 (en) 2023-07-06
KR20230043225A (ko) 2023-03-30
JP2023538147A (ja) 2023-09-06
WO2023273536A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN113592998A (zh) 重光照图像的生成方法、装置及电子设备
US11734851B2 (en) Face key point detection method and apparatus, storage medium, and electronic device
US10902245B2 (en) Method and apparatus for facial recognition
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
US11216924B2 (en) Method and apparatus for processing image
US20190087683A1 (en) Method and apparatus for outputting information
CN113554739A (zh) 重光照图像的生成方法、装置及电子设备
CN111832570A (zh) 一种图像语义分割模型训练方法及系统
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
WO2020093724A1 (zh) 生成信息的方法和装置
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN114973049A (zh) 一种统一卷积与自注意力的轻量视频分类方法
CN115187480A (zh) 一种基于Transformer的图像颜色校正方法
CN112419179A (zh) 修复图像的方法、装置、设备和计算机可读介质
CN109492601A (zh) 人脸比对方法及装置、计算机可读介质和电子设备
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN115147315A (zh) 一种基于变压器模块的神经网络荧光显微图像去噪方法
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
Huang et al. Edge device-based real-time implementation of CycleGAN for the colorization of infrared video
Xu et al. Attention‐based multi‐channel feature fusion enhancement network to process low‐light images
CN115830362A (zh) 图像处理方法、装置、设备、介质及产品
CN116403064B (zh) 图片处理方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination