CN113192055A - 一种合成图像的和谐化方法及模型 - Google Patents

一种合成图像的和谐化方法及模型 Download PDF

Info

Publication number
CN113192055A
CN113192055A CN202110552384.8A CN202110552384A CN113192055A CN 113192055 A CN113192055 A CN 113192055A CN 202110552384 A CN202110552384 A CN 202110552384A CN 113192055 A CN113192055 A CN 113192055A
Authority
CN
China
Prior art keywords
image
foreground
illumination
intrinsic
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110552384.8A
Other languages
English (en)
Other versions
CN113192055B (zh
Inventor
郭宗辉
郑海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110552384.8A priority Critical patent/CN113192055B/zh
Publication of CN113192055A publication Critical patent/CN113192055A/zh
Application granted granted Critical
Publication of CN113192055B publication Critical patent/CN113192055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理技术领域，具体公开了一种合成图像的和谐化方法及模型，构建了一个基于自动编码器的本征图像分解框架，将合成图像
Figure DDA0003075939880000011
分解为反射率本征图像
Figure DDA0003075939880000015
和光照本征图像
Figure DDA0003075939880000016
以实现进一步可分离的本征图像和谐化；然后，利用材料一致性惩罚在保持场景内容不变的前提下和谐化反射率本征图像
Figure DDA0003075939880000012
其次，以学习的背景光作为参考，通过照明策略调整前景的光照以使其与背景相兼容，实现光照本征图像
Figure DDA0003075939880000013
的和谐化；再次，对合成图像
Figure DDA0003075939880000018
的前景和背景的图像块之间关系进行建模，指导本征图像和谐化；最后，将和谐化反射率本征图像
Figure DDA0003075939880000017
和和谐化光照本征图像
Figure DDA0003075939880000014
重建输出和谐化图像
Figure DDA0003075939880000019
经验证，该合成图像的和谐化方法及模型在和谐化程度上达到了目前最优。

Description

一种合成图像的和谐化方法及模型
技术领域
本发明涉及图像处理技术领域，尤其涉及一种合成图像的和谐化方法及模型。
背景技术
每幅自然图像在拍摄时都有其特定的场景内容和照明条件，因而图像与图像之间在外观上都会存在不同程度的差异。因此，由两幅图像不同区域组成的合成图像，即复制一幅图像的某个区域作为前景并将其粘贴到另一幅图像(作为背景)位置合理的区域，合成图像将不可避免地出现由于两幅图像之间外观不同而引起的前景与背景不兼容问题，即使是目前和谐化效果最好的DoveNet方法，如图1所示。合成图像外观不和谐问题会严重降低合成图像的视觉质量。此外，在许多计算机视觉任务中，受它们各自合成过程的影响，模型生成的合成图像同样会遇到类似不和谐问题，特别是图像或视频合成的相关任务，例如图像编辑、图像补全和图像拼接。然而，人类视觉系统对图像外观不和谐问题是非常敏感的，例如人的眼睛可以识别出图像在颜色、对比度以及亮度上非常微妙的差别。综上可见，调整合成图像前景外观使其与背景相兼容，即图像和谐化，是一项富有挑战性的研究工作。而目前的工作仅能够达到图1所示的效果，仍有较多的不和谐之处。
发明内容
本发明提供一种合成图像的和谐化方法及和谐化模型，解决的技术问题在于：如何对合成图像进行和谐化，使得到的和谐化图像几乎不存在人眼可察的不和谐。
为解决上述技术问题，本发明首先提供一种合成图像的和谐化方法，包括步骤：
S1：将合成图像
Figure BDA0003075939860000021
分解为反射率本征图像
Figure BDA0003075939860000022
印光照本征图像
Figure BDA0003075939860000023
在背景图像上对应区域粘贴前景图像即合成所述合成图像
Figure BDA0003075939860000024
S2：以真实图像H为目标，对反射率本征图像
Figure BDA0003075939860000025
和光照本征图像
Figure BDA0003075939860000026
进行和谐化训练，得到对应的和谐化反射率本征图像
Figure BDA0003075939860000027
及和谐化光照本征图像
Figure BDA0003075939860000028
S3：对和谐化反射率本征图像
Figure BDA0003075939860000029
及和谐化光照本征图像
Figure BDA00030759398600000210
进行重构，得到和谐化图像
Figure BDA00030759398600000211
进一步地，步骤S2对反射率本征图像
Figure BDA00030759398600000212
进行和谐化具体为：
以
Figure BDA00030759398600000213
为目标，使和谐化图像
Figure BDA00030759398600000214
中前景图像的反射率尽可能接近真实图像H对应坐标的反射率，
Figure BDA00030759398600000224
表示梯度；
步骤S2对光照本征图像
Figure BDA00030759398600000215
进行和谐化具体为：
以光照本征图像
Figure BDA00030759398600000225
的背景区域的光照信息
Figure BDA00030759398600000216
来调整其前景区域的光照信息
Figure BDA00030759398600000217
以使
Figure BDA00030759398600000218
苯可能接近
Figure BDA00030759398600000219
其中，合成图像
Figure BDA00030759398600000220
上前景图像对应的区域为前景区域，前景区域以外的区域为背景区域。
进一步地，步骤S2对光照本征图像
Figure BDA00030759398600000221
进行和谐化具体包括步骤：
S21：提取光照本征图像
Figure BDA00030759398600000222
的前景区域和背景区域的光统计分布；
S22：根据该前景区域和背景区域的光统计分布将场景光从背景区域迁移到前景区域上。
进一步地，所述步骤S21具体包括步骤：
S211：将光照本征图像
Figure BDA00030759398600000223
映射到光照隐向量空间，得到前景区域的前景光照隐向量编码和背景区域的背景光照隐向量编码；
S212：对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示，得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码，以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码；
S213：将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中，得到表示前景区域的颜色属性的前景比例
Figure BDA0003075939860000031
和表示背景区域的颜色属性的背景比例
Figure BDA0003075939860000032
S214：将前景色度隐向量编码和背景色度隐向量编码输入第二多层感知机中，得到表示前景区域的颜色强度的前景颜色强度值
Figure BDA0003075939860000033
和表示背景区域的颜色强度的背景颜色强度值
Figure BDA0003075939860000034
进一步地，所述步骤S22进行光照迁移，依据公式：
Figure BDA0003075939860000035
其中，f和
Figure BDA0003075939860000036
分别是场景光迁移之前和之后的光照本征图像
Figure BDA0003075939860000037
的特征空间表示，n表示颜色属性色相、强度和色度的索引。
进一步地，所述步骤S2对反射率本征图像
Figure BDA0003075939860000038
和光照本征图像
Figure BDA0003075939860000039
进行和谐化，还包括步骤：
S2X：通过求取合成图像
Figure BDA00030759398600000310
的前景区域和背景区域之间相似性的图像块关系来指导对反射率本征图像
Figure BDA00030759398600000311
和光照本征图像
Figure BDA00030759398600000312
的和谐化。
进一步地，步骤S2X具体包括步骤：
1)获取合成图像
Figure BDA00030759398600000313
的去和谐化特征图像块p；
2)利用缩放的前景掩膜分别获取去和谐化特征图像块p中对应前景区域的前景特征图像块pfg和对应背景区域的背景特征图像块pbg；
3)计算前景特征图像块pfg和背景特征图像块pbg之间的协方差，得到去和谐化的图像块关系矩阵：
Figure BDA00030759398600000314
其中，
Figure BDA00030759398600000315
C、H和W分别表示p的通道数量、高度和宽度，
Figure BDA00030759398600000316
Figure BDA00030759398600000317
分别表示对前景特征图像块pfg、背景特征图像块pbg每个空间位置跨通道维度进行独立计算的平均值；
4)将从前景特征图像块pfg和背景特征图像块pbg中提取的图像块作为卷积核来反卷积去和谐化的图像块关系矩阵
Figure BDA00030759398600000318
以引导合成和谐化图像
Figure BDA00030759398600000319
的前景特征。
进一步地，步骤S2进行和谐化的损失函数为：
Figure BDA0003075939860000041
其中，
Figure BDA0003075939860000042
表示以合成图像
Figure BDA0003075939860000043
和表示不和谐区域的前景掩膜M为输入，以真实图像H为目标，对和谐化模型Φ进行训练时的损失值；
Figure BDA0003075939860000044
表示重建损失函数；
Figure BDA0003075939860000045
表示对反射率本征图像
Figure BDA0003075939860000046
进行和谐化的反射率和谐化损失函数；
Figure BDA0003075939860000047
分别表示对光照本征图像
Figure BDA0003075939860000048
进行和谐化时的光照图像平滑损失函数和光照和谐化损失函数；
Figure BDA0003075939860000049
表示合成图像
Figure BDA00030759398600000410
的去和谐化损失函数，
Figure BDA00030759398600000411
表示编码器以合成图像
Figure BDA00030759398600000412
作为输入并生成去和谐化的特征图像作为输出，C表示
Figure BDA00030759398600000413
的特征通道数，H′表示真实图像H缩小后的灰度图像，其大小与
Figure BDA00030759398600000414
相同；
Figure BDA00030759398600000415
为相似度度量函数；
Figure BDA00030759398600000416
表示对特征图像在通道上计算均值；
λRH、λIS、λIH、λIF分别为对应损失函数的权重，||||1表示一次范数，||||2表示二次范数，
Figure BDA00030759398600000417
表示求均值函数，
Figure BDA00030759398600000420
均表示梯度。
对应于上述方法，本发明还提供一种合成图像的和谐化模型，包括输入模块，基于卷积神经网络的和谐化模块，以及输出模块；
所述输入模块用于输入合成图像
Figure BDA00030759398600000418
和表示不和谐区域的前景掩膜M并将两者进行连接后输入至所述和谐化模块；
所述和谐化模块用于执行所述一种合成图像的和谐化方法中的步骤S1～S2；
所述输出模块用于执行所述一种合成图像的和谐化方法中的步骤S3。
优选的，所述和谐化模块包括第一编码器、第二编码器、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器、第二解码器；
所述第一编码器、所述第二编码器用于对合成图像
Figure BDA00030759398600000419
分别进行反射率计算和光照计算，得到对应的反射率本征图像
Figure BDA0003075939860000051
和光照本征图像
Figure BDA0003075939860000052
所述关系引导模块用于对合成图像
Figure BDA0003075939860000053
进行去和谐化的图像块关系建模，以引导所述反射率和谐化模块和所述光照和谐化模块；
所述光照学习模块用于提取光照本征图像
Figure BDA0003075939860000054
的前景区域和背景区域的光统计分布；
所述反射率和谐化模块用于在所述关系引导模块的引导下对反射率本征图像
Figure BDA0003075939860000055
进行和谐化训练，得到相应的和谐化发射率特征；
所述光照和谐化模块用于在所述关系引导模块的引导下、根据光照学习模块的光统计分布对光照本征图像
Figure BDA0003075939860000058
进行和谐化训练，得到相应的和谐化光照特征；
所述第一解码器、所述第二解码器用于分别对和谐化发射率特征、和谐化光照特征进行解码，得到对应的和谐化反射率本征图像
Figure BDA0003075939860000056
及和谐化光照本征图像
Figure BDA0003075939860000057
本发明提供的一种合成图像的和谐化方法及模型，有益效果在于：
1、首次通过对反射率和光照本征图像分离和谐化进而实现合成图像和谐化，具有先导意义；
2、将和谐化模型构建为一种特殊的自动编码器(Autoencoder)，该自动编码器在内部将合成图像分解为反射率本征图像和光照本征图像，以实现二者的独立和谐化；
3、对于反射率本征图像，利用场景材料的表面一致性作为目标函数实现合成图像前景与背景边界的和谐化，同时保持反射率图像恒定不变；
4、对于光照本征图像，设计了一种照明策略，该策略可以根据背景的光照调整前景的光照情况，以使其二者相互兼容；
5、针对如果在背景中存在与前景中相似材质或形状的物体时，合成图像的视觉不和谐程度会更加明显(如图1中第一行合成图像建筑的瓦片)的问题，充分挖掘了合成图像前景与背景之间与和谐化无关的图像块关系，以自适应的方式指导本征图像的和谐化；
6、经验证，在和谐化程度上达到了目前最优。
附图说明
图1是本发明背景技术提供的合成图像、真实图像、和谐化图像(DoveNet方法)的对比图；
图2是本发明实施例提供的一种合成图像的和谐化方法的步骤图；
图3是本发明实施例提供的一种合成图像的和谐化模型的架构图；
图4是本发明实施例提供的和谐化模型中光照和谐化模块的架构图；
图5是本发明实施例提供的和谐化方法及模型的对比实验效果图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为对合成图像尽可能地和谐化，本发明实施例首先提供一种合成图像的和谐化方法，如图2所示，包括步骤：
S1：将合成图像
Figure BDA0003075939860000061
分解为反射率本征图像
Figure BDA0003075939860000062
印光照本征图像
Figure BDA0003075939860000063
在背景图像上对应区域粘贴前景图像即合成图像
Figure BDA0003075939860000064
S2：以真实图像H为目标，对反射率本征图像
Figure BDA0003075939860000065
和光照本征图像
Figure BDA0003075939860000066
进行和谐化训练，得到对应的和谐化反射率本征图像
Figure BDA0003075939860000067
及和谐化光照本征图像
Figure BDA0003075939860000068
S3：对和谐化反射率本征图像
Figure BDA0003075939860000069
及和谐化光照本征图像
Figure BDA00030759398600000610
进行重构，得到和谐化图像
Figure BDA00030759398600000611
给定一对真实图像H、合成图像
Figure BDA00030759398600000612
以及带有表示不和谐区域的前景掩膜M，本例的目标是训练一个深度神经网络模型Φ，模型Φ以
Figure BDA00030759398600000613
和M作为输入进而生成一幅和谐化的图像
Figure BDA00030759398600000614
作为输出，理想情况下，
Figure BDA00030759398600000615
应该与H一样和谐真实。
实际上，图像的各通道强度值编码了诸如反射率、亮度等固有属性值，然而各种固有属性的强度值是相互混杂的，因此，从一幅图像中将其本征图像分离是一个经典的不适定问题。显然，解码混杂的固有属性信息唯一方法是对场景做出假设并利用它们隐含的约束条件。假设自然场景是理想的漫反射表面(Lambertian Surface)，存在反射率图像分段恒定和光照图像平滑的约束条件，在此约束条件上，通过计算图像梯度对本征图像进行解耦，即图像中大梯度部分属于反射率本征图像的内容而小梯度部分对应于光照本征图像。
一幅合成图像
Figure BDA0003075939860000071
可以分解为反射率本征图像
Figure BDA0003075939860000072
与光照本征图像
Figure BDA0003075939860000073
在对应像素位置上的乘积，公式表示为：
Figure BDA0003075939860000074
其中，⊙表示图像对应坐标像素值的乘积。
综上分析可得，本征图像和谐化
Figure BDA0003075939860000075
(其中，
Figure BDA0003075939860000076
和H＝R⊙I)可以拆分为
Figure BDA0003075939860000077
和
Figure BDA0003075939860000078
的两个子目标，而且它们是由不同因素引起的不和谐问题，即反射率本征图像和谐化以及光照本征图像和谐化。
实际上，本例需要从合成图像
Figure BDA0003075939860000079
中学习并消除不和谐因素进而生成与真实图像H尽可能相同的和谐化图像
Figure BDA00030759398600000710
因此本征图像和谐化也是一种以图像重构作为学习目标的任务。换言之，本征图像和谐化模型Φ经过训练可以将合成图像
Figure BDA00030759398600000711
分解为反射率本征图像
Figure BDA00030759398600000712
和光照本征图像
Figure BDA00030759398600000713
并实现分离的和谐化，最后再将反射率本征图像
Figure BDA00030759398600000714
和光照本征图像
Figure BDA00030759398600000715
垂建为和谐化图像
Figure BDA00030759398600000716
作为输出。本例使用公式(2)作为目标函数以指导从本征图像分解到和谐化图像重建的训练过程。
Figure BDA00030759398600000717
Figure BDA00030759398600000718
表示求
Figure BDA00030759398600000719
与H之间的均值的函数，||||1表示一次范数。
在本实施例中，步骤S2对反射率本征图像
Figure BDA00030759398600000720
进行和谐化具体为：
以
Figure BDA00030759398600000721
为目标，使和谐化图像
Figure BDA00030759398600000722
中前景图像的反射率尽可能接近真实图像H对应坐标的反射率，
Figure BDA00030759398600000725
表示梯度。
本例将合成图像
Figure BDA00030759398600000723
上前景图像对应的区域称为前景区域，前景区域以外的区域称为背景区域。反射率本征图像
Figure BDA00030759398600000724
能够反映场景物体的材质、颜色、形状等自身属性，其与视点和照明无关，即反射率与材料有关但与照明无关。而且对于图像和谐化任务，假设合成图像
Figure BDA0003075939860000081
中前景区域与背景区域之间在语义上是合理的(否则它将超出了图像和谐化的范围)。因此，合成图像
Figure BDA0003075939860000082
和真实图像H以及和谐化后图像
Figure BDA0003075939860000083
的物体自身属性应该恒定不变，由此本例引入反射率恒定和图像梯度约束使其保持一致，即
Figure BDA0003075939860000084
(同样
Figure BDA0003075939860000085
Figure BDA0003075939860000086
表示图像梯度)。
此外，基于漫反射模型假设，反射率本征图像
Figure BDA0003075939860000087
耐应于原始图像中梯度变化大的区域，而且反射率本征图像
Figure BDA0003075939860000088
在空间上具有分段恒定的性质，这种分段恒定性才能使得图像场景比较真实，即反射率本征图像
Figure BDA0003075939860000089
在视觉上是“令人愉悦”的图像。
综上分析可知，合成图像
Figure BDA00030759398600000810
和真实图像H的约束条件
Figure BDA00030759398600000811
和
Figure BDA00030759398600000812
是成立的。因此，本例利用
Figure BDA00030759398600000813
作为反射率本征图
Figure BDA00030759398600000814
象和谐化通路的学习目标，即反射率和谐化损失函数：
Figure BDA00030759398600000815
Figure BDA00030759398600000816
表示求
Figure BDA00030759398600000817
与
Figure BDA00030759398600000818
之间的均值的函数。公式(3)实际上是强迫和谐化图像
Figure BDA00030759398600000819
中前景区域的反射率尽可能接近真实图像H对应坐标的反射率，以消除场景光照条件的影响，从而保持场景物体材料的一致性。同时通过损失函数
Figure BDA00030759398600000820
和卷积网络编解码过程，反射率本征图像
Figure BDA00030759398600000821
在分解和重建中完成了前景与背景间边界的调整。
在本实施例中，步骤S2对光照本征图像
Figure BDA00030759398600000822
进行和谐化具体为：
以光照本征图像
Figure BDA00030759398600000823
的背景区域的光照信息
Figure BDA00030759398600000824
来调整其前景区域的光照信息
Figure BDA00030759398600000825
以使
Figure BDA00030759398600000826
苯可能接近
Figure BDA00030759398600000827
其中，合成图像
Figure BDA00030759398600000828
上前景图像对应的区域为前景区域，前景区域以外的区域为背景区域。
场景光照会由于场景物体几何形状、阴影和光的相互反射而产生渐晕效应，因此，光照本征图像
Figure BDA00030759398600000829
取决于成像时场景的照明条件，同时保留了场景的主要语义结构。合成图像
Figure BDA00030759398600000830
由于其前景区域和背景区域分别来自不同的两幅图像且两幅图像通常是在不同的照明条件下拍摄的，本质上，合成图像
Figure BDA00030759398600000831
的不和谐问题主要是二者之间由于照明不同而引起的。因此，为了和谐化光照本征图像
Figure BDA00030759398600000832
本例需要利用背景的光照信息
Figure BDA0003075939860000091
来调整前景光照
Figure BDA0003075939860000092
以达到前景与背景光照的视觉一致性，即
Figure BDA0003075939860000093
在不同照明条件下捕获的前景和背景图像之间的光照不一致是引起合成图像视觉不和谐的关键原因，因此，为了缓解光照不一致性问题，本例首先利用卷积网络结构的编码器提取前景光和背景光的统计分布，然后通过对光的解耦表示以及迁移模块将光从背景迁移到前景上，使得前景光与背景光具有相同的统计分布。即步骤S2对光照本征图像
Figure BDA0003075939860000094
进行和谐化具体包括步骤：
S21：提取光照本征图像
Figure BDA0003075939860000095
的前景区域和背景区域的光统计分布；
S22：根据该前景区域和背景区域的光统计分布将场景光从背景区域迁移到前景区域上。
受益于以本征图像和谐化为条件的自动编码器，可以将合成图像
Figure BDA0003075939860000097
编码到光照隐向量空间以恢复和谐的光照本征图像
Figure BDA0003075939860000098
因此，本例在该空间中使用多层卷积神经网络的编码器将图像映射到其光照隐向量空间，并在光照的隐向量空间中执行照明策略。由于光照隐向量特征仍然是高维的并且嵌入了场景中的许多语义信息，所以本例进一步将光照隐向量特征输入到多层感知机(MLP)中，以获取低维的光隐向量编码来表示光的统计分布。通过这种学习方式，本例得到了一个可以提取图像中场景光统计分布的光学习器。
根据人眼具有三种不同类型的颜色感知细胞这一事实，在计算机视觉任务中使用“三色值(tristimulus values)”来描述图像颜色来模拟人类视觉系统对光的反应是最为合适的。受此启发，本例尝试利用三个不同的向量对提取的场景光隐向量编码进行解耦表示，充分表达图像中场景光的统计分布。理论上，从反射光产生色彩的纯粹视觉而言，人眼所感知的物体色彩具有三个基本属性，分别称为：色相(Hue)、强度(Value)和色度(Chroma)，其中色相是一种颜色(纯色)的统称，色度表示某种颜色的纯度；强度描述了某种颜色的深浅程度。因此，为了简单起见，本例通过将光表示为分离的颜色特征，其中色相和色度结合并与颜色强度分别处理，由此，本例将光的隐向量编码输入到MLP和softmax中以获得比例
Figure BDA0003075939860000096
表示颜色属性(色相和色度)，同时将光的隐向量编码输入另一个MLP中以获得颜色强度值
Figure BDA0003075939860000101
(其中C表示特征图的通道数量)。
具体的，步骤S21包括步骤：
S211：将光照本征图像
Figure BDA0003075939860000102
映射到光照隐向量空间，得到前景区域的前景光照隐向量编码和背景区域的背景光照隐向量编码；
S212：对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示，得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码，以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码；
S213：将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中，得到表示前景区域的颜色属性的前景比例
Figure BDA0003075939860000103
和表示背景区域的颜色属性的背景比例
Figure BDA0003075939860000104
S214：将前景色度隐向量编码和背景色度隐向量编码输入第二多层感知机中，得到表示前景区域的颜色强度的前景颜色强度值
Figure BDA0003075939860000105
和表示背景区域的颜色强度的背景颜色强度值
Figure BDA0003075939860000106
基于步骤S211～S214，为实现合成图像
Figure BDA0003075939860000107
的背景光到前景光的迁移(步骤S22)，本例对颜色属性进行比例调整，对颜色强度进行线性增减调整，在场景光特征空间中根据背景光调整前景光的公式为：
Figure BDA0003075939860000108
其中，f和
Figure BDA0003075939860000109
分别是场景光迁移之前和之后的光照本征图像
Figure BDA00030759398600001010
的特征空间表示，n表示颜色属性色相、强度和色度的索引。
Figure BDA00030759398600001011
表示调整前景光的颜色属性使前景光无限接近背景光的统计分布，
Figure BDA00030759398600001012
表示颜色强度值使前景光无限接近背景光的统计分布，以此方式完成场景光从合成图像背景到前景的迁移。
本例所提出的场景光迁移方案不仅仅适用于图像和谐化任务，同样也可以应用在与光有关的(Relighting、Image Enhancement、Image Colorization等)多种计算机视觉和图形学任务上，希望本例的工作能够提供有意义的参考，以更好地利用图像的场景光统计分布。
在学习目标上，基于漫反射模型的假设和光照平滑的性质，光照本征图像
Figure BDA00030759398600001116
对应于原图像梯度变化小的区域。因此，本例使用
Figure BDA0003075939860000111
作为分解光照本征图像
Figure BDA0003075939860000112
通路的学习目标，即光照图像平滑损失函数：
Figure BDA0003075939860000113
为了更好地将光照本征图像
Figure BDA0003075939860000114
解耦以实现本征图像和谐化，本例提供光照本征图像
Figure BDA0003075939860000115
与真实图像H之间的相似度约束，即光照和谐化损失函数：
Figure BDA0003075939860000116
Figure BDA0003075939860000117
表示球
Figure BDA0003075939860000118
与H之间的均值函数，||||2表示二次范数。
综上，结合重建误差以及反射率和光照本征图像损失函数，可以得出和谐化模型的学习目标为：
Figure BDA0003075939860000119
其中，
Figure BDA00030759398600001110
表示以合成图像
Figure BDA00030759398600001111
和表示不和谐区域的前景掩膜M为输入，以真实图像H为目标，对和谐化模型Φ进行训练时的损失值，λRH、λIS和λIH是对应损失函数的权重，以平衡不同约束的和谐化贡献。
理论上，一幅自然图像中的图像块(Patch)倾向于在同一图像的不同尺度内和不同尺度间重复出现，同时在合成图像
Figure BDA00030759398600001112
的前景和背景中出现相似材料物体(对应于图像块)的可能性很大且更容易造成视觉上的不和谐，因此，本例试图通过告知前景和背景之间相似性的图像块关系(Patch relation)来指导本征图像和谐化，这对图像和谐化过程将会很有帮助。
实际上，探索合成图像
Figure BDA00030759398600001113
的背景与前景之间的图像块关系与传统的图像块匹配(Patch matching)研究工作密切相关。然而，与先前使用图像块匹配的方法(如图像编辑和图像补全不同之处在于，由于合成图像
Figure BDA00030759398600001114
的不和谐问题导致其前景与背景之间相似图像块在视觉上有所不同，因而无法直接使用传统图像块匹配方法计算合成图像
Figure BDA00030759398600001115
上前景与背景的图像块关系矩阵。因此，解决此问题的唯一希望是消除不和谐因素对图像块关系匹配建模的影响，本例称其为“去和谐化”图像块关系建模(Inharmony-Free Patch RelationModeling)。即，步骤S2对反射率本征图像
Figure BDA0003075939860000121
和光照本征图像
Figure BDA0003075939860000122
进行和谐化，还包括步骤：
S2X：通过求取合成图像
Figure BDA0003075939860000123
的前景区域和背景区域之间相似性的图像块关系来指导对反射率本征图像
Figure BDA0003075939860000124
和光照本征图像
Figure BDA0003075939860000125
的和谐化。
进一步地，步骤S2X具体包括步骤：
1)获取合成图像
Figure BDA0003075939860000126
的去和谐化特征图像p；
2)利用缩放的前景掩膜分别获取去和谐化特征图像p中对应前景区域的前景特征图像pfg和对应背景区域的背景特征图像pbg；
3)计算前景特征图像pfg和背景特征图像pbg之间的协方差，得到去和谐化的图像块关系矩阵：
Figure BDA0003075939860000127
其中，
Figure BDA0003075939860000128
C、H和W分别表示p的通道数量、高度和宽度，
Figure BDA0003075939860000129
Figure BDA00030759398600001210
分别表示对前景特征图像pfg、背景特征图像pbg每个空间位置跨通道维度进行独立计算的平均值；
4)从前景特征图像pfg和背景特征图像pbg中提取的图像块作为卷积核来反卷积去和谐化的图像块关系矩阵K(pfg，pbg)，以引导合成和谐化图像
Figure BDA00030759398600001219
的前景特征。
去和谐化损失函数表示为：
Figure BDA00030759398600001211
其中，
Figure BDA00030759398600001212
表示编码器以合成图像
Figure BDA00030759398600001213
作为输入并生成去和谐化的特征图像作为输出，C表示
Figure BDA00030759398600001214
的特征通道数，H′表示真实图像H缩小后的灰度图像，其大小与
Figure BDA00030759398600001215
相同；
Figure BDA00030759398600001216
为相似度度量函数；
Figure BDA00030759398600001217
表示对特征图像在通道上计算均值。
结合公式(7)和(9)，步骤S2进行和谐化的损失函数为：
Figure BDA00030759398600001218
其中，
Figure BDA0003075939860000131
表示以合成图像
Figure BDA0003075939860000132
和表示不和谐区域的前景掩膜M为输入，以真实图像H为目标，对和谐化模型Φ进行训练时的损失值；
Figure BDA0003075939860000133
表示目标函数，
Figure BDA0003075939860000134
表示对反射率本征图像
Figure BDA0003075939860000135
进行和谐化的反射率和谐化损失函数，
Figure BDA0003075939860000136
和
Figure BDA0003075939860000137
分别表示对光照本征图像
Figure BDA0003075939860000138
进行和谐化时的光照图像平滑损失函数和光照和谐化损失函数，
Figure BDA0003075939860000139
表示合成图像
Figure BDA00030759398600001310
的去和谐化损失函数，λRH、λIS、λIH、λIF分别为对应损失函数的权重。
在训练模型Φ的过程中，以最小化
Figure BDA00030759398600001311
为目标进行训练，直至函数收敛。
因此，基于上述方法，完成了由合成图像
Figure BDA00030759398600001312
到本征图像
Figure BDA00030759398600001313
Figure BDA00030759398600001314
再到和谐化图像
Figure BDA00030759398600001315
模这一完整过程。实际上，这些过程是在自动编码器内完成的。本例有必要提供一种基于上述方法的合成图像的和谐化模型，其框架如图3所示，包括输入模块，基于卷积神经网络的和谐化模块，以及输出模块；
输入模块用于输入合成图像
Figure BDA00030759398600001322
和表示不和谐区域的前景掩膜M并将两者进行连接后输入至和谐化模块；
和谐化模块用于执行上述一种合成图像的和谐化方法中的步骤S1～S2；
输出模块用于执行上述一种合成图像的和谐化方法中的步骤S3。
如图3所示，和谐化模块包括第一编码器ER、第二编码器EI、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器DR、第二解码器DI；
第一编码器ER、第二编码器EI用于对合成图像
Figure BDA00030759398600001316
分别进行反射率计算和光照计算，得到对应的反射率本征图像
Figure BDA00030759398600001317
和光照本征图像
Figure BDA00030759398600001318
关系引导模块用于对合成图像
Figure BDA00030759398600001319
进行去和谐化的图像块关系建模，以引导反射率和谐化模块和光照和谐化模块；
光照学习模块用于提取光照本征图像
Figure BDA00030759398600001320
的前景区域和背景区域的光统计分布；
反射率和谐化模块用于在关系引导模块的引导下对反射率本征图像
Figure BDA00030759398600001321
进行和谐化训练，得到相应的和谐化发射率特征；
光照和谐化模块用于在关系引导模块的引导下、根据光照学习模块的光统计分布对光照本征图像
Figure BDA0003075939860000141
进行和谐化训练，得到相应的和谐化光照特征；
第一解码器DR、第二解码器DI用于分别对和谐化发射率特征、和谐化光照特征进行解码，得到对应的和谐化反射率本征图像
Figure BDA0003075939860000142
及和谐化光照本征图像
Figure BDA0003075939860000143
与方法相对应的，关系引导模块设有编码器EIF，用于去和谐化的图像块关系建模；光照学习模块设有光照学习器(编码器)EL，用于提取背景光和前景光的隐式编码以用于光照迁移。这里，
Figure BDA0003075939860000144
MLP表示多层感知机。
如图4所示，为了更充分地完成合成图像背景光与前景光的迁移任务，本例在光照和谐化模块中构建了一种新颖的照明残差网络(Lighting Resblock)，可以将其灵活地嵌入到各种深度卷积网络模型中，进行多层的场景光迁移。这里，Conv表示卷积，LightTransferer表示光迁移网络，FC表示全连接层。Norm表示用于计算范数的Norm函数。ReLU表示ReLU激活函数，f和
Figure BDA0003075939860000145
分别是场景光迁移之前和之后的光照本征图像
Figure BDA00030759398600001420
的特征空间表示。lp表示迁移的颜色属性的比例，lv表示迁移的颜色强度值。
整体而言，为了和谐化图像
Figure BDA0003075939860000146
(拟合至
Figure BDA0003075939860000147
)，本例的方法及模型旨在分离和谐化与场景物体材料有关的反射率本征图像
Figure BDA0003075939860000148
(拟合至
Figure BDA0003075939860000149
)和与场景照明条件有关的光照本征图像
Figure BDA00030759398600001410
(拟合至
Figure BDA00030759398600001411
)。为实现本征图像的分离和谐化方案，首先，本例构建了一个基于自动编码器(Autoencoder)的本征图像分解框架，将合成图像
Figure BDA00030759398600001412
分解为反射率本征图像
Figure BDA00030759398600001413
和光照本征图像
Figure BDA00030759398600001414
以实现进一步可分离的本征图像和谐化；然后，本例利用材料一致性惩罚在保持场景内容不变的前提下和谐化反射率本征图像
Figure BDA00030759398600001415
其次，以学习的背景光作为参考，通过照明策略调整前景的光照以使其与背景相兼容，实现光照本征图像
Figure BDA00030759398600001416
的和谐化；再次，本例对合成图像
Figure BDA00030759398600001417
的前景和背景的图像块之间关系(Patch relation)进行建模，指导本征图像和谐化；最后，利用Retinex算法将和谐化反射率本征图像
Figure BDA00030759398600001418
及和谐化光照本征图像
Figure BDA00030759398600001419
重建输出和谐化图像
Figure BDA0003075939860000151
在照明和引导过程中，本例使用前景掩膜M来分离合成图像
Figure BDA0003075939860000152
的前景区域和背景区域。
为了验证本例和谐化方法及模型的和谐化效果，下面进行了实验。
在实际训练过程中，反射率和光照本征图像分解是基于编码器-解码器的网络结构实现，同时，照明(Lighting)(即光照学习模块)和引导(Guiding)模块(即关系引导模块)使用简单的编码器卷积神经网络进行提取场景光和图像块关系。反射率本征图像
Figure BDA0003075939860000153
的编码器(即第一编码器)与解码器(即第一解码器)之间使用4层的残差网络(Resblock)和2层引导网络(Guidingblock)，光照本征图像
Figure BDA0003075939860000154
的编码器(即第二编码器)与解码器(即第二解码器)之间使用4层的照明残差网络(Lighting Resblock)和2层引导网络，最终使用tanh作为反射率和谐化模块和光照和谐化模块及关系引导模块的激活函数，光照学习模块没有使用激活函数而是使用平均池化(Avg pooling)和全连接层(FC)提取前景和背景光。重要的一点是，最终需要将反射率和光照本征图像的解码器输出标准化到[0，1]区间以恢复和谐化图像
Figure BDA0003075939860000155
本例使用Adam优化器及参数β1＝0.5，β2＝0.999来训练模型，其中学习率α＝0.0001。本例经输入图像的大小缩放至256×256进行训练和测试，并且本例模型输出同样大小的和谐化图像。在实验中，本例设置8维的光隐向量编码，32×32×256大小的去和谐化的特征图像。此外，本例根据经验设置各损失函数的权重为λRH＝0.1，λIS＝0.01，λIH＝0.1和λIF＝1。iHarmony4是在图像和谐化任务上当前最标准的训练和测试数据集，iHarmony4数据集共包含4个子数据集，分别为HCOCO、HAdobe5k、HFlickr和Hday2night，每一幅合成图像都对应一幅前景掩膜图像和真实图像。为了评估模型的性能，在训练过程中，本例采用与DoveNet相同的iHarmony4数据集训练和测试设置以开展相关的实验分析工作。
将测试得到的和谐化图像与DoveNet方法进行比较，如图5所示，可以看到我们方法与真实图像最为接近，最为和谐。
在此说明，与专门针对本征图像分解任务的研究工作不同，许多与本征图像相关的研究仅关注估计出一幅图像相对的反射率与光照本征图像，反射率与光照图像的相对程度与任务直接相关。即恢复的反射率和光照图像各自被允许为真实反射率和光照图像的任一标量倍数(参考公式(1))。因此，在本项工作中，本例步骤S3最后所恢复的反射率和光照本征图像也是相对的，不是绝对真实的反射率和光照本征图像，可称作伪反射率本征图像和伪光照本征图像，如图5所示的和谐化图像，几乎不存在不和谐之处，但与真实图像相比，存在不一致之处。
综上，本发明实施例提供的一种合成图像的和谐化方法及模型，有益效果在于：
1、首次通过对反射率和光照本征图像分离和谐化进而实现合成图像和谐化，具有先导意义；
2、将和谐化模型构建为一种特殊的自动编码器(Autoencoder)，该自动编码器在内部将合成图像分解为反射率本征图像和光照本征图像，以实现二者的独立和谐化；
3、对于反射率本征图像，利用场景材料的表面一致性作为目标函数实现合成图像前景与背景边界的和谐化，同时保持反射率图像恒定不变；
4、对于光照本征图像，设计了一种照明策略，该策略可以根据背景的光照调整前景的光照情况，以使其二者相互兼容；
5、针对如果在背景中存在与前景中相似材质或形状的物体时，合成图像的视觉不和谐程度会更加明显(如图1中第一行合成图像建筑的瓦片)的问题，充分挖掘了合成图像前景与背景之间与和谐化无关的图像块关系，以自适应的方式指导本征图像的和谐化；
6、经验证，在和谐化程度上达到了目前最优。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种合成图像的和谐化方法，其特征在于，包括步骤：
S1：将合成图像
Figure FDA0003075939850000011
分解为反射率本征图像
Figure FDA0003075939850000012
和光照本征图像
Figure FDA0003075939850000013
在背景图像上对应区域粘贴前景图像即合成所述合成图像
Figure FDA0003075939850000014
S2：以真实图像H为目标，对反射率本征图像
Figure FDA0003075939850000015
和光照本征图像
Figure FDA0003075939850000016
进行和谐化训练，得到对应的和谐化反射率本征图像
Figure FDA0003075939850000017
及和谐化光照本征图像
Figure FDA0003075939850000018
S3：对和谐化反射率本征图像
Figure FDA0003075939850000019
及和谐化光照本征图像
Figure FDA00030759398500000110
进行重构，得到和谐化图像
Figure FDA00030759398500000111
2.根据权利要求1所述的一种合成图像的和谐化方法，其特征在于：
步骤S2对反射率本征图像
Figure FDA00030759398500000112
进行和谐化具体为：
以
Figure FDA00030759398500000113
为目标，使和谐化图像
Figure FDA00030759398500000114
中前景图像的反射率尽可能接近真实图像H对应坐标的反射率，
Figure FDA00030759398500000115
表示梯度；
步骤S2对光照本征图像
Figure FDA00030759398500000116
进行和谐化具体为：
以合成图像
Figure FDA00030759398500000117
的背景区域的光照信息
Figure FDA00030759398500000118
来调整其前景区域的光照信息
Figure FDA00030759398500000119
以使
Figure FDA00030759398500000120
尽可能接近
Figure FDA00030759398500000121
其中，合成图像
Figure FDA00030759398500000122
上前景图像对应的区域为前景区域，前景区域以外的区域为背景区域。
3.根据权利要求2所述的一种合成图像的和谐化方法，其特征在于，步骤S2对光照本征图像
Figure FDA00030759398500000123
进行和谐化具体包括步骤：
S21：提取光照本征图像
Figure FDA00030759398500000124
的前景区域和背景区域的光统计分布；
S22：根据该前景区域和背景区域的光统计分布将场景光从背景区域迁移到前景区域上。
4.根据权利要求3所述的一种合成图像的和谐化方法，其特征在于，所述步骤S21具体包括步骤：
S211：将光照本征图像
Figure FDA00030759398500000125
映射到光照隐向量空间，得到前景区域的前景光照隐向量编码和背景区域的背景光照隐向量编码；
S212：对前景光照隐向量编码和背景光照隐向量编码分别进行解耦表示，得到前景区域的前景色相隐向量编码、前景强度隐向量编码和前景色度隐向量编码，以及背景区域的背景色相隐向量编码、背景强度隐向量编码和背景色度隐向量编码；
S213：将前景色相隐向量编码、前景强度隐向量编码、背景色相隐向量编码和背景强度隐向量编码输入至第一多层感知机和softmax中，得到表示前景区域的颜色属性的前景比例
Figure FDA0003075939850000021
和表示背景区域的颜色属性的背景比例
Figure FDA0003075939850000022
S214：将前景色度隐向量编码和背景色度隐向量编码输入第二多层感知机中，得到表示前景区域的颜色强度的前景颜色强度值
Figure FDA0003075939850000023
和表示背景区域的颜色强度的背景颜色强度值
Figure FDA0003075939850000024
5.根据权利要求4所述的一种合成图像的和谐化方法，其特征在于，所述步骤S22进行光照迁移，依据公式：
Figure FDA0003075939850000025
其中，f和
Figure FDA0003075939850000026
分别是场景光迁移之前和之后的光照本征图像
Figure FDA0003075939850000027
的特征空间表示，n表示颜色属性色相、强度和色度的索引。
6.根据权利要求2～5所述的一种合成图像的和谐化方法，其特征在于，所述步骤S2对反射率本征图像
Figure FDA0003075939850000028
和光照本征图像
Figure FDA0003075939850000029
进行和谐化，还包括步骤：
S2X：通过求取合成图像
Figure FDA00030759398500000210
的前景区域和背景区域之间相似性的图像块关系来指导对反射率本征图像
Figure FDA00030759398500000211
和光照本征图像
Figure FDA00030759398500000212
的和谐化。
7.根据权利要求6所述的一种合成图像的和谐化方法，其特征在于，步骤S2X具体包括步骤：
1)获取合成图像
Figure FDA00030759398500000213
的去和谐化特征图像块p；
2)利用缩放的前景掩膜分别获取去和谐化特征图像块p中对应前景区域的前景特征图像块pfg和对应背景区域的背景特征图像块pbg；
3)计算前景特征图像块pfg和背景特征图像块pbg之间的协方差，得到去和谐化的图像块关系矩阵：
Figure FDA0003075939850000031
其中，
Figure FDA0003075939850000032
C、H和W分别表示p的通道数量、高度和宽度，
Figure FDA0003075939850000033
Figure FDA00030759398500000319
分别表示对前景特征图像块pfg、背景特征图像块pbg每个空间位置跨通道维度进行独立计算的平均值；
4)将从前景特征图像块pfg和背景特征图像块pbg中提取的图像块作为卷积核来反卷积去和谐化的图像块关系矩阵
Figure FDA0003075939850000034
以引导合成和谐化图像
Figure FDA0003075939850000035
的前景特征。
8.根据权利要求7所述的一种合成图像的和谐化方法，其特征在于，步骤S2进行和谐化的损失函数为：
Figure FDA0003075939850000036
其中，
Figure FDA0003075939850000037
表示以合成图像
Figure FDA0003075939850000038
和表示不和谐区域的前景掩膜M为输入，以真实图像H为目标，对和谐化模型Φ进行训练时的损失值；
Figure FDA0003075939850000039
表示重建损失函数；
Figure FDA00030759398500000310
表示对反射率本征图像
Figure FDA00030759398500000311
进行和谐化的反射率和谐化损失函数；
Figure FDA00030759398500000312
和
Figure FDA00030759398500000313
分别表示对光照本征图像
Figure FDA00030759398500000314
进行和谐化时的光照图像平滑损失函数和光照和谐化损失函数；
Figure FDA00030759398500000315
表示合成图像
Figure FDA00030759398500000316
的去和谐化损失函数，
Figure FDA00030759398500000317
表示编码器以合成图像
Figure FDA00030759398500000318
作为输入并生成去和谐化的特征图像作为输出，C表示
Figure FDA0003075939850000041
的特征通道数；H′表示真实图像H缩小后的灰度图像，其大小与
Figure FDA0003075939850000042
相同；
Figure FDA0003075939850000043
为相似度度量函数；
Figure FDA0003075939850000044
表示对特征图像在通道上计算均值；
λRH、λIS、λIH、λIF分别为对应损失函数的权重，‖ ‖1表示一次范数，‖ ‖2表示二次范数，
Figure FDA0003075939850000045
表示求均值函数，
Figure FDA0003075939850000046
均表示梯度。
9.一种合成图像的和谐化模型，其特征在于：包括输入模块，基于卷积神经网络的和谐化模块，以及输出模块；
所述输入模块用于输入合成图像
Figure FDA0003075939850000047
和表示不和谐区域的前景掩膜M并将两者进行连接后输入至所述和谐化模块；
所述和谐化模块用于执行权利要求1～8任意一项所述一种合成图像的和谐化方法中的步骤S1～S2；
所述输出模块用于执行权利要求1～8任意一项所述一种合成图像的和谐化方法中的步骤S3。
10.根据权利要求9所述的一种合成图像的和谐化模型，其特征在于：所述和谐化模块包括第一编码器、第二编码器、反射率和谐化模块、关系引导模块、光照和谐化模块、光照学习模块、第一解码器、第二解码器；
所述第一编码器、所述第二编码器用于对合成图像
Figure FDA0003075939850000048
分别进行反射率计算和光照计算，得到对应的反射率本征图像
Figure FDA0003075939850000049
和光照本征图像
Figure FDA00030759398500000410
所述关系引导模块用于对合成图像
Figure FDA00030759398500000411
进行去和谐化的图像块关系建模，以引导所述反射率和谐化模块和所述光照和谐化模块；
所述光照学习模块用于提取光照本征图像
Figure FDA00030759398500000412
的前景区域和背景区域的光统计分布；
所述反射率和谐化模块用于在所述关系引导模块的引导下对反射率本征图像
Figure FDA00030759398500000413
进行和谐化训练，得到相应的和谐化发射率特征；
所述光照和谐化模块用于在所述关系引导模块的引导下、根据光照学习模块的光统计分布对光照本征图像
Figure FDA0003075939850000051
进行和谐化训练，得到相应的和谐化光照特征；
所述第一解码器、所述第二解码器用于分别对和谐化发射率特征、和谐化光照特征进行解码，得到对应的和谐化反射率本征图像
Figure FDA0003075939850000052
及和谐化光照本征图像
Figure FDA0003075939850000053
CN202110552384.8A 2021-05-20 2021-05-20 一种合成图像的和谐化方法及模型 Active CN113192055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552384.8A CN113192055B (zh) 2021-05-20 2021-05-20 一种合成图像的和谐化方法及模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552384.8A CN113192055B (zh) 2021-05-20 2021-05-20 一种合成图像的和谐化方法及模型

Publications (2)

Publication Number Publication Date
CN113192055A true CN113192055A (zh) 2021-07-30
CN113192055B CN113192055B (zh) 2023-01-17

Family

ID=76982822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552384.8A Active CN113192055B (zh) 2021-05-20 2021-05-20 一种合成图像的和谐化方法及模型

Country Status (1)

Country Link
CN (1) CN113192055B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689328A (zh) * 2021-09-13 2021-11-23 中国海洋大学 一种基于自注意变换的图像和谐化系统
CN114488358A (zh) * 2022-03-08 2022-05-13 中国科学院上海微系统与信息技术研究所 一种光子晶体滤波器及其制备方法
CN115334239A (zh) * 2022-08-10 2022-11-11 青岛海信移动通信技术股份有限公司 前后摄像头拍照融合的方法、终端设备和存储介质
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN117392283A (zh) * 2023-12-05 2024-01-12 北京交通大学 异常轨道图像合成方法、装置、设备及可读介质
CN113689328B (zh) * 2021-09-13 2024-06-04 中国海洋大学 一种基于自注意变换的图像和谐化系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938144A (zh) * 2012-10-15 2013-02-20 深圳先进技术研究院 基于总变分模型的人脸重加光方法
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
CN105900137A (zh) * 2014-01-10 2016-08-24 富士通株式会社 图像处理装置、电子设备及方法
US20180260668A1 (en) * 2017-03-10 2018-09-13 Adobe Systems Incorporated Harmonizing composite images using deep learning
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN111429375A (zh) * 2020-03-27 2020-07-17 扆亮海 日间图像参照辅助的夜晚监控视频质量提升方法
CN111460138A (zh) * 2020-03-02 2020-07-28 广州高新工程顾问有限公司 一种基于bim的数字化工程监理方法与系统
CN112131975A (zh) * 2020-09-08 2020-12-25 东南大学 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN112767286A (zh) * 2021-03-08 2021-05-07 中南大学 一种基于密集深度学习的暗光图像自适应增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938144A (zh) * 2012-10-15 2013-02-20 深圳先进技术研究院 基于总变分模型的人脸重加光方法
CN105900137A (zh) * 2014-01-10 2016-08-24 富士通株式会社 图像处理装置、电子设备及方法
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
US20180260668A1 (en) * 2017-03-10 2018-09-13 Adobe Systems Incorporated Harmonizing composite images using deep learning
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN111460138A (zh) * 2020-03-02 2020-07-28 广州高新工程顾问有限公司 一种基于bim的数字化工程监理方法与系统
CN111429375A (zh) * 2020-03-27 2020-07-17 扆亮海 日间图像参照辅助的夜晚监控视频质量提升方法
CN112131975A (zh) * 2020-09-08 2020-12-25 东南大学 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN112767286A (zh) * 2021-03-08 2021-05-07 中南大学 一种基于密集深度学习的暗光图像自适应增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENYAN CONG ET AL.: "DoveNet: Deep Image Harmonization via Domain Verification", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689328A (zh) * 2021-09-13 2021-11-23 中国海洋大学 一种基于自注意变换的图像和谐化系统
CN113689328B (zh) * 2021-09-13 2024-06-04 中国海洋大学 一种基于自注意变换的图像和谐化系统
CN114488358A (zh) * 2022-03-08 2022-05-13 中国科学院上海微系统与信息技术研究所 一种光子晶体滤波器及其制备方法
CN115334239A (zh) * 2022-08-10 2022-11-11 青岛海信移动通信技术股份有限公司 前后摄像头拍照融合的方法、终端设备和存储介质
CN115334239B (zh) * 2022-08-10 2023-12-15 青岛海信移动通信技术有限公司 前后摄像头拍照融合的方法、终端设备和存储介质
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116012258B (zh) * 2023-02-14 2023-10-13 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN117392283A (zh) * 2023-12-05 2024-01-12 北京交通大学 异常轨道图像合成方法、装置、设备及可读介质
CN117392283B (zh) * 2023-12-05 2024-04-05 北京交通大学 异常轨道图像合成方法、装置、设备及可读介质

Also Published As

Publication number Publication date
CN113192055B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN113192055B (zh) 一种合成图像的和谐化方法及模型
Zhuang et al. Underwater image enhancement with hyper-laplacian reflectance priors
Fan et al. Revisiting deep intrinsic image decompositions
CN104700109B (zh) 高光谱本征图像的分解方法及装置
Huang et al. Deep learning for image colorization: Current and future prospects
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
US20240037852A1 (en) Method and device for reconstructing three-dimensional faces and storage medium
CN110853119B (zh) 一种鲁棒的基于参考图片的妆容迁移方法
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
CN111275651B (zh) 一种基于对抗神经网络的人脸有光去除方法
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
CN111145290A (zh) 一种图像彩色化方法、系统和计算机可读存储介质
CN112967373B (zh) 一种基于非线性3dmm的人脸图像特征编码方法
CN113498526A (zh) 使用可解释变换参数的图像变换
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
JP2024503794A (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN114219976A (zh) 图像处理方法、装置、电子设备、存储介质及计算机产品
CN115471611A (zh) 一种提升3dmm人脸模型视觉效果的方法
Chen et al. DNNAM: Image Inpainting Algorithm via Deep Neural Networks and Attention Mechanism
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN113538662B (zh) 一种基于rgb数据的单视角三维物体重建方法及装置
CN111027433A (zh) 一种基于卷积神经网络的多重风格人脸特征点检测方法
Cui et al. Progressive dual-branch network for low-light image enhancement
Wang et al. Shedding light on images: multi-level image brightness enhancement guided by arbitrary references
CN114972619A (zh) 一种基于自对齐双重回归的单图像人脸三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant