CN110288512A - 用于图像合成的光照重映射方法、装置、存储介质和处理器 - Google Patents

用于图像合成的光照重映射方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN110288512A
CN110288512A CN201910410192.6A CN201910410192A CN110288512A CN 110288512 A CN110288512 A CN 110288512A CN 201910410192 A CN201910410192 A CN 201910410192A CN 110288512 A CN110288512 A CN 110288512A
Authority
CN
China
Prior art keywords
image
illumination
network
synthesized
lighting effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910410192.6A
Other languages
English (en)
Other versions
CN110288512B (zh
Inventor
张靖淇
徐滢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201910410192.6A priority Critical patent/CN110288512B/zh
Publication of CN110288512A publication Critical patent/CN110288512A/zh
Application granted granted Critical
Publication of CN110288512B publication Critical patent/CN110288512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，具体公开了一种用于图像合成的光照重映射方法、装置、存储介质和处理器，概括来说，本发明在建立得到的光照重映射网络基础上，使用一张待合成图像作为输入，生成光照表现效果被修改后的待合成图像，然后计算生成图像与目标背景图像之间的光照效果差距，用误差更新光照重映射网络的权重，让其重新生成光照效果更接近的图像，直至生成效果满意。这样可以使照片能与背景图像自然的融为一体，即使是非专业人士也能借助本系统合成逼真照片，娱乐效果十足，对专业人士，能借助本系统大大减少精修工作量，提高工作效率，降低经营成本。

Description

用于图像合成的光照重映射方法、装置、存储介质和处理器
技术领域
本发明涉及图像处理技术领域，特别是涉及一种用于图像合成的光照重映射方法、装置、存储介质和处理器。
背景技术
目前，依托于各种深度学习算法，已经能很好的解决人体检测，人体精细抠图等问题，但将检测与分离出的人体图像合成到其它照片中时，仍然会觉得突兀，不逼真，这其中很重要的一个原因是分离出的人体图像与新背景图像的光照效果不同，合成图像违背观察者的光线感知认识，从而觉得合成照片不自然。例如，将室内白炽灯光下拍摄的人像合成到自然光线的风景图中时，其光照场景的区别首先在于光源类型，白炽灯是点光源，而自然光是平行光源，其次还包括光源方向，光线颜色等不同因素，最终成像效果便有很大不同。
而想要让人像照片合成真实，一个关键步骤就是将新背景图像的光照效果应用于人像上，让其更自然的与背景图像融合。现有技术中并没有现成的这种将背景图像的光照效果应用于人像上的直接技术应用，而是主要依靠修图师根据实际图像，人工微调与精修来完成图像的合成。
不过，在涉及图像光照效果处理的现有技术中，主要包括人脸面部重光照和带景深信息的场景重光照的技术研究与应用。其中，面部重光照是指通过结合人脸关键点位与先验人脸3D模型信息，对面部照片进行修图，该技术只能用于面部处理，无法对全身进行重光照，且光照信息需要人为设置；而带景深信息的场景重光照则是用于处理多目摄像头拍摄的照片，其前提是照片需要带有深度信息，处理目标是照片本身，属于照片后期修图领域。
由此可见，在如何对将背景图像的光照效果应用至待合成的人体图像中来使图像自动融合显得更加自然和逼真的问题上，现有技术还没有一个具体可行的有效解决方案。
发明内容
技术目的
用于解决如何将背景图像的光照效果自动应用至待合成的前景图片上，以使该前景图片与背景图像合成后显得更加自然和逼真的技术问题。
技术方案
第一方面
提供一种待合成图像与背景图像之间光照效果的自动映射方法，所述自动调节方法包括以下步骤：获取待合成的前景图像和背景图像；通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
在一些方案中，所述光照损失是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
在一些方案中，所述内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
第二方面
提供一种照片合成方法，其包括第一方面中任一所述的待合成图像与背景图像之间光照效果的自动映射方法。
第三方面
提供一种待合成图像与背景图像之间光照效果的自动映射装置，所述自动调节装置包括：图像获取模块，用于获取待合成的前景图像和背景图像；图像映射模块，用于通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；第一计算模块，用于计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；第二计算模块，用于计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；调节模块，用于通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
在一些方案中，所述光照损失是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
在一些方案中，所述内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
第四方面
提供一种照片合成装置，其包括第三方面中任一所述的待合成图像与背景图像之间光照效果的自动映射装置。
第五方面
提供一种存储介质，所述存储介质包括存储的程序，所述程序在运行时执行第一方面中任一所述的待合成图像与背景图像之间光照效果的自动映射方法。
第六方面
提供一种处理器，所述处理器用于运行程序，所述程序运行时执行第一方面中任一项所述的待合成图像与背景图像之间光照效果的自动映射方法。
技术效果
通过上述技术方案，可以在建立得到的光照重映射网络基础上，使用一张待合成图像作为输入，生成光照表现效果被修改后的待合成图像，然后计算生成图像与目标背景图像之间的光照效果差距，用误差更新光照重映射网络的权重，让其重新生成光照效果更接近的图像，直至生成效果满意。这样，可以使照片能与背景图像自然的融为一体，即使是非专业人士也能借助本系统合成逼真照片，娱乐效果十足，对专业人士，能借助本系统大大减少精修工作量，提高工作效率，降低经营成本。
附图说明
图1为本发明待合成图像与背景图像之间光照效果的自动映射方法在一实施例中的流程图。
图2为本发明待合成图像与背景图像之间光照效果的自动映射装置在一实施例中的原理框图。
附图标号说明
200 自动映射装置
210 图像获取模块
220 图像映射模块
230 第一计算模块
240 第二计算模块
250 调节模块
S1-S5 方法步骤
具体实施方式
技术术语说明
卷积神经网络，英文名为：Convolutional Neural Networks，简称：CNN，是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
Encoder-Decoder，中文翻译为：编码-解码，是深度学习中非常常见的一个模型框架，本发明中的光照重映射网络就是采用Encoder-Decoder结构的卷积神经网络设计并训练得到的。
实施例1
见图1，本实施例示出了本发明待合成图像与背景图像之间光照效果的自动映射方法在一实施例中的流程图，如图所示，所述自动调节方法包括以下步骤：
步骤S1，获取待合成的前景图像和背景图像；
步骤S2，通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；
步骤S3，计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；
步骤S4，计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；
步骤S5，通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
上述方法在生成输出光照重映射后的图像后，使用前一步的光照估算来判断输入图像与输出图像是否具有相同的光照效果，通过不断的迭代使生成输出的光照重映射图像与背景图像光照信息接近的待合成输出，这样在将光照重映射后的待合成图像与背景图像融合时才能得到更逼真的合成结果。
应当理解，用于标记步骤的S1-S5仅是出于便于理解技术方案而设定的步骤流程标记，并不代表该方法在实际实施中的执行顺序。
在一些实施例中，上述步骤S3中关于光照损失的计算是是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
具体的，照片中物体的成像，其色彩呈现的成因复杂，即有光照原因，如光源类型，光源数量，光源色彩，光源方向等；也有物体本身的原因，如物体本身颜色，物体表面的折射、反射率，物体形状、尺寸等。也就是说，仅从单张照片中估算出光照信息是一个极度病态的问题，一个问题对应着无数种解，例如，一张照片中有一面黄色的墙，可能是一片白色的光打在一面黄色的墙上，也可能是一片黄色的光打在白色的墙上，甚至是更多的组合。
因此，本本实施例中并不直接去计算详细的光照参数，而是通过训练一个能评估不同的照片是否有相似光照信息的模型(即光照信息提取网络)用来判断背景图像与待合成图像(即光照重映射图像)是否具有相似的光照信息。然后建立一个光照效果重映射生成模型(即光照重映射网络)，使用待合成图像(即前景图像或生成的光照重映射图像)作为输入，生成输出光照重映射后的图像，使用前一步的光照估算模型来判断，输入图像与输出图像是否具有相同的光照效果，通过不断的迭代训练生成模型，使生成模型能输出与背景图像光照信息接近的待合成输出。
进一步来说，本实施例是通过预先训练好的光照信息提取网络来对输入图片进行光照特征提取。为便于本领域技术人员更好地实施本发明的技术方案，下面提供光照信息提取网络在一实施例中的具体训练方法。
首先，光照信息提取网络应当具有这样的功能：有相同光照效果的照片，即使照片中的物体完全不同，在输入网络后，得到的输出特征向量之间的距离，应该是较小的；有不同光照效果的照片，即使照片中的物体完全相同，在输入网络后，得到的输出特征向量之间的距离，应该是较大的。
其次，在前述功能的设定下，本实例直接使用业界常用的ImageNet分类网络，或者包括ResNet，MobileNetV2等分类网络，这类网络接受尺寸为244x244的RGB输入图像。以从输入图像中提取出1000维的向量作为光照信息的特征为例，可以通过该分类网络输出1000个数值，分别对应1000个类别的概率，取其中最大的值，其所代表的类别就是该输入图像的分类结果。
需要理解的是，具体采用哪个网络并不直接影响本发明的完整性和解决技术问题的可行性。例如，如果对光照效果的还原度要求较高，可以选用ResNet-152这样的大型网络，以获得更准确的光照向量提取；而如果对执行速度要求较高，可以选用MobileNetV2这样较轻量级的网络。
接着，在选定好网络结构后，就是如何采集样本的问题。具体来说，要想在物理世界中仅靠相机拍摄出大量光照效果一致但内容不同的照片是困难的，因此可以通过以下手段来大量获取用于训练光照信息提取网络的样本数据。
第一，使用开源的游戏引擎Unreal Engine与各种开源的游戏场景模型，结合引擎提供的实时光线追踪(Real-time ray tracing)功能，能在较短时间内获得丰富的自然场景模拟样本。
第二，使用传统基于物理的光线追踪(Physically based ray tracing)渲染器，渲染更高精度的复杂场景，获取丰富而极度逼真的室内近景样本。
在上述两种手段的基础上，通过改变渲染软件参数，便能获取大量训练样本。
另外，如果要想获得光照相同的照片，用作训练时的正样本，则可以使用如下方法：
1、固定光源位置，光源数量，光源颜色，光源方向，摄像相视角等参数；
2、调整场景渲染时长，更换场景物件，更换材质、色彩，添加噪声等参数；
3、每调整一次可变参数后，便可渲染出一张正样本。
相反，即可获得光照信息不同的照片，用作训练时的负样本。还有，所有参数均不相关的不同样本，也作为负样本。
最后，在选定网络结构和样本采集完成后，即可以进行训练来得到想要的网络模型。具体的，根据前述描述可知，光照信息提取网络的收敛指标有两个，同一类光照场景，其光照特征向量之间的距离应该尽可能接近；不同类的光照场景，其光照特征向量之间的距离应该尽可能远离。要达到这样的同类靠近，类与类远离的目的，通常有度量学习(MetricLearning)和基于边界的分类(Margin Based Classification)两种方法，本发明中选用任意一种都可以，以度量学习为例，模型训练过程如下：
1、使用预训练好的ImageNet分类网络作为初始权重；
2、从数据集中选取一个锚点样本(Anchor Sample)，记作Sa；
3、从数据集中选取与锚点样本光照信息相同的样本，作为正样本(PositiveSample)，记作Sp；
4、从数据集中选取与锚点样本光照信息不同的样本，作为负样本(NegativeSample)，记作Sn；
5、Sa，Sp，Sn构成的三元组作为一次网络的输入，得到相应的特征输出Ya，Yp，Yn；
6、Loss计算原理：其中α为网络超参数，表示锚点特征与正样本特征的距离，应该小于其与负样本特征的距离，且距离之差还应该大于α；
7、Loss计算：
8、反向传播Loss，使用随机梯度下降(SGD,Stochastic Gradient Descent)更新网络权重参数；
9、返回步骤2，选取下一组样本训练，直到网络收敛，达到较高的准确度。
通过上述训练方法即可得到想本实施例所述的光照信息提取网络，光照特征信息的提取为后续光照映射提供了标签，即将光照特征作为标签，监督光照重映射模型训练的方法，以及实现光照效果重映射的整个流程。
在一些实施例中，上述步骤S4中关于内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
具体来说，光照重映射网络是一个Encoder-Decoder结构的全卷积深度神经网络，Encoder部分通常是各种ImageNet的特征提取模块，Decoder部分是在后面追加相应的卷积和上采样层。网络接受任意尺寸的RGB图像作为输入，输出为相同尺寸的RGB图像，常用于分割任务。同样，需要理解的是，网络的结构细节同样不影响本发明的实现完整性，且极其常见，所以不再对网络细节做过多赘述。
进一步来说，在实施中可以通过训练的方式来获得该光照重映射网络，为便于本领域技术人员能够更加清楚的了解本发明的技术方案，以下将提供光照重映射网络在一实施例中的训练方法来帮助本领域技术人员更好地理解和实施本发明。
首先，提供一张新背景图像，记作Ib；再提供一张待合成的前景图像，记作If。
其次，所述光照重映射网络的训练方法如下，具体包括以下步骤：
1、初始状态下，光照重映射网络是预训练好的，能完全重建输入图像的Encoder-Decoder网络，即输入图像在经过网络后，得到的输出和原始输入是相同的图像；
2、固定Encoder部分的网络权重参数，将其作为内容特征提取网络，网络权重仅更新Decoder部分；
3、将lb输入光照特征提取网络，得到背景图像光照特征Lb；
4、将If输入光照重映射Encoder，得到前景图像内容特征Cf；
5、将Cf输入光照重映射Decoder，得到光照重映射图像O；
6、将O输入光照特征提取网络，得到重映射图像的光照特征Lo；
7、将O输入光照重映射Encoder，得到重映射图像内容特征Co；
8、根据Lb与Lo可计算出光照LossLl；
9、根据Cf与Co可计算出内容LossLc；
10、计算总Loss:La＝αLl+(1-α)Lc，α为网络超参数，用于调节光照效果loss与内容loss之间的权重；
11、反向传播Loss，使用随机梯度下降(SGD,Stochastic Gradient Descent)更新光照重映射Decoder网络权重参数
12、返回步骤4，开始新一轮生成，直至生成图像在光照效果上与新背景图像接近，且在图像内容上与原始图像接近。
通过上述训练方法即可建立得到本实施例中所述的光照重映射网络，其功能是使用一张待合成图像作为输入，生成光照表现效果被修改后的待合成图像，然后计算生成图像与目标背景图像之间的光照效果差距，用误差更新光照重映射网络的权重，让其重新生成光照效果更接近的图像，直至生成效果满意。
应当理解，上述关于光照信息提取网络和光照重映射网络的训练示例中，其中涉及的计算公式仅作为理解技术方案的参考，并非对技术方案的限制，同样，公式中的相关参数也是本技术领域的常规标记，故这里不做详细描述和说明。
在实际应用中，本发明可以有以下应用场景：
应用场景一，任意人像照片快速合成应用，对用户输入的照片，首先进行人体检测与抠图，再通过本发明所述方法，进行光照重映射，合成到用户指定的新场景中，放飞用户的想像力，创作新颖有趣的照片。
应用场景二，明星虚拟合影项目中的应用，该项目中人像照片为室内绿幕的场景下拍摄，而场景照片是包含明星人像的虚拟场景，其光照参数是已知的，所以可以跳过本系统的场景光照估算步骤，只需要使用光照参数对绿幕抠图后的人像重映射光照，便可得到逼真的明星合影，为粉丝团体带来新奇的体验。
应用场景三，婚纱影楼智能后期项目中的应用，婚纱照的拍摄过程通常是由客户在一系列的样片中选定某些风格，交由摄影师在与样片相同的场景中拍摄，再由修图师按照样片风格修图，输出成品。而本发明所述的光照效果估算模型，可对样片进行光照参数捕获，再映射到客户照片，以此完成滤镜风格的转换，快速输出风格与样片一致的成片，减少影楼修图成本与修图师水平差异带来的质量不稳定。
综上所述，本发明对于现有技术的贡献在于：经过本发明所述的光照重映射方法处理后，人像照片能与背景图像自然的融为一体。即使是非专业人士也能借助本系统合成逼真照片，娱乐效果十足，对专业人士，能借助本系统大大减少精修工作量，提高工作效率，降低经营成本。
实施例2
在上述实施例1应用场景的启发下，在具体实施中，还可以提供一种照片合成方法，即其包括实施例1中任一所述的待合成图像与背景图像之间光照效果的自动映射方法。也就是说，可以在现有照片合成方法中加入本发明的方法，以此来提高图像合成效率。
实施例3
本实施例还提供了一与实施例1所述的方法相对应的装置，由于实施例1中的方法可以通过计算机程序编程等编码方式来实现，而在计算机程序中可实现该方法中一个或多个步骤的模块则可以理解为一装置中的构成模块。当然，本实施例实现实施例1中的方法的装置既可以通过软件的方式来实现，也可以是硬件方式或硬件与软件结合的方式来实现，以下实施例并不限制装置的具体表现方式。
具体的，见图2，示出了本发明待合成图像与背景图像之间光照效果的自动映射装置在一实施例中的原理框图，如图所示，所述自动映射装置200具体包括图像获取模块210、图像映射模块220、第一计算模块230、第二计算模块240和调节模块250，其中，图像获取模块210用于获取待合成的前景图像和背景图像；图像映射模块220，至少耦合连接于所述图像获取模块，用于通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；第一计算模块230，至少耦合连接于所述图像获取模块，用于计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；第二计算模块240，至少耦合连接于所述图像获取模块，用于计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；调节模块250，至少耦合连接于所述图像映射模块，用于通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
通过上述装置，可以在建立得到的光照重映射网络基础上，使用一张待合成图像作为输入，生成光照表现效果被修改后的待合成图像，然后计算生成图像与目标背景图像之间的光照效果差距，用误差更新光照重映射网络的权重，让其重新生成光照效果更接近的图像，直至生成效果满意。这样，可以使照片能与背景图像自然的融为一体，即使是非专业人士也能借助本系统合成逼真照片，娱乐效果十足，对专业人士，能借助本系统大大减少精修工作量，提高工作效率，降低经营成本。
在一些实施例中，所述光照损失是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
在一些实施例中，所述内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
由于本实施例提供的装置与实施例1中的方法对应，故对涉及可能重复描述的技术方案部分，可以参考实施例1，这里不予赘述。
实施例4
在上述实施例1应用场景的启发下，在结合实施例3来讲，在具体实施中，还可以提供一种照片合成装置，即其包括实施例3中任一所述的待合成图像与背景图像之间光照效果的自动映射装置。也就是说，可以在现有照片合成装置或系统中加入本发明提供的装置，以此来提高图像合成效率。
实施例5
在具体应用中，本发明还提供了一种存储介质，所述存储介质包括存储的程序，所述程序在运行时执行实施例1任一所述的待合成图像与背景图像之间光照效果的自动映射方法。
实施例6
在具体应用，本发明还提供了一种处理器，所述处理器用于运行程序，所述程序运行时执行实施例1任一项所述的待合成图像与背景图像之间光照效果的自动映射方法。

Claims (10)

1.一种待合成图像与背景图像之间光照效果的自动映射方法，其特征在于，所述自动调节方法包括以下步骤：
获取待合成的前景图像和背景图像；
通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；
计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；
计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；
通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
2.根据权利要求1所述的待合成图像与背景图像之间光照效果的自动映射方法，其特征在于，所述光照损失是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
3.根据权利要求1所述的待合成图像与背景图像之间光照效果的自动映射方法，其特征在于，所述内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
4.一种照片合成方法，其特征在于，其包括权利要求1-3任一所述的待合成图像与背景图像之间光照效果的自动映射方法。
5.一种待合成图像与背景图像之间光照效果的自动映射装置，其特征在于，所述自动调节装置包括：
图像获取模块，用于获取待合成的前景图像和背景图像；
图像映射模块，用于通过基于Encoder-Decoder结构的全卷积深度神经网络训练得到的光照重映射网络来将所述前景图像生成一光照重映射图像；
第一计算模块，用于计算生成的所述光照重映射图像在光照上相对于所述背景图像的光照损失；
第二计算模块，用于计算生成的所述光照重映射图像在内容上相对于所述前景图像的内容损失；
调节模块，用于通过在所述光照重映射网络使用随机梯度下降来更新所述光照重映射网络中Decoder网络部分中用于调节所述光照损失和所述内容损失之间的权重参数，使所述光照重映射图像在所述光照重映射网络中迭代生成，直至所生成的所述光照重映射图像在光照效果上与所述背景图像一致，并在内容上与所述前景图像一致。
6.根据权利要求5所述的待合成图像与背景图像之间光照效果的自动映射装置，其特征在于，所述光照损失是通过所述光照重映射图像和所述背景图像的光照特征来计算得到，其中，所述光照特征是通过基于度量学习或基于边界的分类的方法训练得到的光照信息提取网络进行提取获得。
7.根据权利要求5所述的待合成图像与背景图像之间光照效果的自动映射装置，其特征在于，所述内容损失是通过所述光照重映射图像和所述前景图像的内容特征来计算得到，其中，所述内容特征是通过所述光照重映射网络中Encoder网络部分进行提取获得。
8.一种照片合成装置，其特征在于，其包括权利要求5-7任一所述的待合成图像与背景图像之间光照效果的自动映射装置。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，所述程序在运行时执行如权利要求1-3任一所述的待合成图像与背景图像之间光照效果的自动映射方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，所述程序运行时执行权利要求1-3任一项所述的待合成图像与背景图像之间光照效果的自动映射方法。
CN201910410192.6A 2019-05-16 2019-05-16 用于图像合成的光照重映射方法、装置、存储介质和处理器 Active CN110288512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910410192.6A CN110288512B (zh) 2019-05-16 2019-05-16 用于图像合成的光照重映射方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910410192.6A CN110288512B (zh) 2019-05-16 2019-05-16 用于图像合成的光照重映射方法、装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN110288512A true CN110288512A (zh) 2019-09-27
CN110288512B CN110288512B (zh) 2023-04-18

Family

ID=68002008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910410192.6A Active CN110288512B (zh) 2019-05-16 2019-05-16 用于图像合成的光照重映射方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN110288512B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401140A (zh) * 2020-02-25 2020-07-10 华南理工大学 一种边缘计算环境下智能视频监控系统的离线学习方法
CN112258623A (zh) * 2020-10-27 2021-01-22 努比亚技术有限公司 一种浮雕图像调控方法、设备及计算机可读存储介质
CN112258622A (zh) * 2020-10-26 2021-01-22 北京字跳网络技术有限公司 图像处理方法、装置、可读介质及电子设备
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN114612345A (zh) * 2022-04-01 2022-06-10 江苏通纺互联科技有限公司 一种基于图像处理的光源检测方法
CN114842544A (zh) * 2022-07-04 2022-08-02 江苏布罗信息技术有限公司 一种适用于面瘫患者的智能化人脸识别方法和系统
CN116612244A (zh) * 2023-07-21 2023-08-18 之江实验室 一种图像生成方法、装置、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608677A (zh) * 2015-12-28 2016-05-25 成都品果科技有限公司 一种任意光线环境下的图像肤色美化方法及系统
CN105608722A (zh) * 2015-12-17 2016-05-25 成都品果科技有限公司 一种基于人脸关键点的自动去眼袋方法及系统
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108073914A (zh) * 2018-01-10 2018-05-25 成都品果科技有限公司 一种动物面部关键点标注方法
CN108573475A (zh) * 2017-03-09 2018-09-25 汤姆逊许可公司 用于具有视觉效果的图像的逆色调映射的方法
CN108805056A (zh) * 2018-05-29 2018-11-13 电子科技大学 一种基于3d人脸模型的摄像监控人脸样本扩充方法
CN108875935A (zh) * 2018-06-11 2018-11-23 兰州理工大学 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN109472764A (zh) * 2018-11-29 2019-03-15 广州市百果园信息技术有限公司 图像合成和图像合成模型训练的方法、装置、设备和介质
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
AU2019100349A4 (en) * 2019-04-04 2019-05-09 Lyu, Xinyue Miss Face - Password Certification Based on Convolutional Neural Network

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608722A (zh) * 2015-12-17 2016-05-25 成都品果科技有限公司 一种基于人脸关键点的自动去眼袋方法及系统
CN105608677A (zh) * 2015-12-28 2016-05-25 成都品果科技有限公司 一种任意光线环境下的图像肤色美化方法及系统
CN108573475A (zh) * 2017-03-09 2018-09-25 汤姆逊许可公司 用于具有视觉效果的图像的逆色调映射的方法
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108073914A (zh) * 2018-01-10 2018-05-25 成都品果科技有限公司 一种动物面部关键点标注方法
CN108805056A (zh) * 2018-05-29 2018-11-13 电子科技大学 一种基于3d人脸模型的摄像监控人脸样本扩充方法
CN108875935A (zh) * 2018-06-11 2018-11-23 兰州理工大学 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN109472764A (zh) * 2018-11-29 2019-03-15 广州市百果园信息技术有限公司 图像合成和图像合成模型训练的方法、装置、设备和介质
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
AU2019100349A4 (en) * 2019-04-04 2019-05-09 Lyu, Xinyue Miss Face - Password Certification Based on Convolutional Neural Network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程宇 等: "基于卷积神经网络的弱光照图像增强算法", 《计算机应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401140A (zh) * 2020-02-25 2020-07-10 华南理工大学 一种边缘计算环境下智能视频监控系统的离线学习方法
CN111401140B (zh) * 2020-02-25 2023-04-07 华南理工大学 一种边缘计算环境下智能视频监控系统的离线学习方法
CN112258622A (zh) * 2020-10-26 2021-01-22 北京字跳网络技术有限公司 图像处理方法、装置、可读介质及电子设备
CN112258623A (zh) * 2020-10-27 2021-01-22 努比亚技术有限公司 一种浮雕图像调控方法、设备及计算机可读存储介质
CN112258623B (zh) * 2020-10-27 2023-12-08 努比亚技术有限公司 一种浮雕图像调控方法、设备及计算机可读存储介质
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN114612345A (zh) * 2022-04-01 2022-06-10 江苏通纺互联科技有限公司 一种基于图像处理的光源检测方法
CN114842544A (zh) * 2022-07-04 2022-08-02 江苏布罗信息技术有限公司 一种适用于面瘫患者的智能化人脸识别方法和系统
CN114842544B (zh) * 2022-07-04 2022-09-06 江苏布罗信息技术有限公司 一种适用于面瘫患者的智能化人脸识别方法和系统
CN116612244A (zh) * 2023-07-21 2023-08-18 之江实验室 一种图像生成方法、装置、存储介质及电子设备
CN116612244B (zh) * 2023-07-21 2023-09-29 之江实验室 一种图像生成方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110288512B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110288512A (zh) 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN108257084B (zh) 一种基于移动端的轻量级人脸自动化妆方法
CN113269872A (zh) 基于三维人脸重构和视频关键帧优化的合成视频生成方法
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN107993216A (zh) 一种图像融合方法及其设备、存储介质、终端
Yu et al. Self-supervised outdoor scene relighting
CN110246209B (zh) 图像处理方法及装置
CN108537720A (zh) 一种图像处理方法和装置
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
KR20200024105A (ko) 컴퓨터 그래픽 합성 시스템 및 방법
CN110533639A (zh) 一种关键点定位方法及装置
CN107909114A (zh) 训练有监督机器学习的模型的方法和装置
WO2019073267A1 (en) AUTOMATED IMAGE HANDLING USING ARTIFICIAL INTELLIGENCE
Wu et al. 3D film animation image acquisition and feature processing based on the latest virtual reconstruction technology
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
Xu et al. Efficient 3d articulated human generation with layered surface volumes
CN110288684B (zh) 一种基于皮影戏预演快速生成二维动画的方法及系统
JP2023540434A (ja) 操作順序変形エンジンを用いたコンピュータアニメーションのためのシステム及び方法
Zhao et al. Image purification through controllable neural style transfer
CN112967363A (zh) 一种8k三维水墨动画制作方法
Huang et al. A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection
Yusufu Research on 3D Animation Production System of Industrial Internet of Things under Computer Artificial Intelligence Technology
Bai et al. A simple approach to animating virtual characters by facial expressions reenactment
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US11715247B1 (en) Generating a facial rig for use in animating a computer-generated character based on facial scans and muscle models of multiple live actors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant