CN113936182A - 一种基于深度本征分解的图像编辑方法及系统 - Google Patents

一种基于深度本征分解的图像编辑方法及系统 Download PDF

Info

Publication number
CN113936182A
CN113936182A CN202111034088.5A CN202111034088A CN113936182A CN 113936182 A CN113936182 A CN 113936182A CN 202111034088 A CN202111034088 A CN 202111034088A CN 113936182 A CN113936182 A CN 113936182A
Authority
CN
China
Prior art keywords
image
map
reflectivity
shadow
independent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111034088.5A
Other languages
English (en)
Inventor
刘越
沙浩
宋维涛
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202111034088.5A priority Critical patent/CN113936182A/zh
Publication of CN113936182A publication Critical patent/CN113936182A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于深度本征分解的图像编辑方法及系统，包括本征分解模块、本征编辑模块和重建模块，网络拟合效果更好，提高了本征分解的质量，在视觉上也更接近真实照片。将待编辑图像进行预处理，作为输入图像，构建本征图像分解模型，接收输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图。对本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对待编辑图像的自定义编辑结果。

Description

一种基于深度本征分解的图像编辑方法及系统
技术领域
本发明属于本征图像分解和图像编辑领域，涉及一种基于深度本征分解的图像编辑方法及系统。
背景技术
本征图像分解是计算机图形学和计算机视觉的固有问题，它在物理层面将图像分解，对场景理解等计算机视觉任务上有着很大帮助，同样在图像的重纹理，重光照等方面都有重要应用。本征图像分解首次在1978年提出，该技术基于常见的朗伯假设，将图像形成表示为反射率图和阴影图的逐像素乘积，其中，反射率图代表了场景中材质表面的反射率，决定了颜色纹理等信息，阴影图代表了光线作用场景后的外观效果，表现为几何，影子和光照等效果。
如今，存在一种应用一个端到端的网络结构和合成的本征数据集的现有技术。该技术在合成数据集和真实数据集上依次对网络进行训练，将训练好的模型用于真实图像的本征分解。他们的网络结构是一个编码器到解码器的结构的卷积神经网络，对于两个不同本征图像反射率图和阴影图，共享一个网络权重，只在最后一层对二者进行分离。该技术制作的数据集包含了合成彩色图像和对应的反射率图像，具有较好的真实性；该技术中，训练好的网络可以良好的分解出真实图像的反射率图和阴影图。而该技术中的网络结构没有考虑反射率图像和阴影图像在物理层面和像素层面的异同，只包含了共享的编码器和解码器，因此网络结构限制了它的分解能力。该技术制作的数据集虽然具有很好的渲染效果，但是只包含了对应的一个本征图像真实标签，按照本征图像分解假设制作出的另一个本征图像真实标签具有网络无法拟合的动态范围和噪音，止步于本征图像分解，并没有进行图像编辑应用，只停留在算法阶段。
本征图像分解的方法通常都是基于像素之间的关系，结合一些先验知识，设置局部和全局的约束，通过定制专门的滤波器或者能量优化器获得反射率图和阴影图。近年来，卷积神经网络在许多场景理解任务上展示出卓越的性能，出现了许多用卷积神经网络对本征图像进行分解的方法。但真实本征图像无法获得，所以一般都采用合成数据进行训练，而合成数据集的质量决定了网络在真实图像上测试时的表现。
因此，目前亟需一种能够结合卷积神经网络和本征图像分解技术的优点的方法和系统，达到增强图像真实感、三维感的技术效果。
发明内容
有鉴于此，本发明提供一种基于深度本征分解的图像编辑方法及系统，将本征分解应用到各个场景的不同图像编辑任务中去，与传统的图像编辑相比，我们发明的图像编辑方法增加了真实感，让图像编辑具有三维化的效果。
为达到上述目的，本发明的技术方案为：
一种基于深度本征分解的图像编辑方法，具体步骤包括：
将待编辑图像进行预处理，作为输入图像。
基于卷积神经网络，构建本征图像分解模型，本征图像分解模型接收输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图。
对本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对待编辑图像的自定义编辑结果。
进一步的，将待编辑图像进行预处理，具体方法为：
将待编辑图像的长和宽缩放成32的倍数。
进一步的，本征图像分解模型具体为：
本征图像分解模型中包含一个输入卷积层、阴影图编码器网络、阴影图解码器网络、反射率图编码器网络、反射率图解码器网络以及一个输出卷积层。
输入卷积层接收输入图像之后，对输入图像进行卷积扩充，扩充成为32个通道的图像，扩充后的图像复制为两份，一份进入到阴影图编码器网络，另一份进入到反射率图编码器网络。
阴影图编码器网络包含阴影图共享编码器、阴影图独立编码器以及阴影图独立解码器；其中阴影图共享编码器顺次包含五层相同的阴影图共享编码层，顺次针对扩充后的图像添加五层阴影图共享编码，添加阴影图共享编码的图像输入至阴影图独立编码器；阴影图独立编码器顺次包含四层阴影图独立编码层，顺次对添加阴影图共享编码的图像添加四层阴影图独立编码，添加阴影图独立编码的图像输入至阴影图解码器网络。
阴影图解码器网络包含阴影图独立解码器，阴影图独立解码器顺次包含四层阴影图独立解码层，针对添加阴影图独立编码的图像进行四层阴影图独立解码，阴影图独立解码的过程是通过卷积与反卷积将阴影图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到阴影图独立解码后的图像送入输出卷积层。
输出卷积层通过1*1的卷积将阴影图独立解码后的图像恢复为阴影图。
反射率图编码器网络包含反射率图共享编码器、反射率图独立编码器以及反射率图独立解码器；其中反射率图共享编码器顺次包含五层相同的反射率图共享编码层，顺次针对扩充后的图像添加五层反射率图共享编码，添加反射率图共享编码的图像输入至反射率图独立编码器；反射率图独立编码器顺次包含四层反射率图独立编码层，顺次对添加反射率图共享编码的图像添加四层反射率图独立编码，添加反射率图独立编码的图像输入至反射率图解码器网络。
反射率图解码器网络包含反射率图独立解码器，反射率图独立解码器顺次包含四层反射率图独立解码层，针对添加反射率图独立编码的图像进行四层反射率图独立解码，反射率图独立解码的过程是通过卷积与反卷积将反射率图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到反射率图独立解码后的图像送入输出卷积层。
输出卷积层通过1*1的卷积将反射率图独立解码后的图像恢复为反射率图。
进一步的，将自定义编辑后的阴影图和反射率图进行重建并输出，具体方法为：
自定义编辑后的阴影图和自定义编辑后的反射率对应像素位置进行逐像素相乘，获得编辑后的输入图像。
进一步的，在构建完本征图像分解模型后，还包括对本征图像分解模型进行训练，具体训练方式为：
采用CGI数据集和真实数据集进行训练。
对于CGI数据集，使用尺寸不变损失函数和重建损失函数对本征图像分解模型进行训练；对于真实数据集，使用铰链损失函数、重建损失函数和局部平滑损失函数对本征图像分解模型进行训练。
进一步的，在训练方式中，采用自适应梯度下降法进行训练，设置学习率为0.00005，小批量数目为4。
进一步的，针对CGI数据集进行如下改进，采用改进后的CGI数据集进行训练：
将原始CGI数据集的输入图像的强度作为其新的阴影图像，对反射率图像的每个像素进行γ校正，生成新的反射率图像，并用新的反射率图像和新的阴影图像重建出新的输入图像，构成改进后的CGI数据集。
一种基于深度本征分解的图像编辑系统，包括本征分解模块、自定义编辑模块和重建模块，用于分解、编辑并重建输入图像。
其中，本征分解模块包括训练好的本征图像分解模型，用于将输入图像分解为阴影图和反射率图并输出。
自定义编辑模块用于自定义编辑阴影图和反射率图并输出，自定义编辑接收自外部的用户输入。
重建模块用于将自定义编辑后的阴影图和反射率图进行重建并输出。
有益效果：本发明方法将待处理的原始图像进行预处理，得到输入图像，将输入图像输入训练好的本征图像分解模型，得到本征图像，对阴影图和反射率图分别进行自定义编辑，并根据自定义编辑后的阴影图和反射率图对本征图像进行重建并输出。本发明方法中使用的本征图像分解模型通过改进后的CGI数据集进行训练，网络拟合效果更好，满足本征图像假设，在视觉上也更接近真实照片。本发明方法采用包含独立和共享权重的编码器到解码器结构的卷积神经网络，即针对阴影图像和发射率图像有不同的独立解码器和编码器进行处理，设置了基于不同数据集的多个损失函数，提高了本征分解的质量。
附图说明
图1为本发明方法的流程图。
图2为卷积神经网络的整体结构图。
图3为卷积神经网络的具体参数图。
图4为基于深度本征分解的图像编辑框架图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如图1所示，本发明提出一种基于深度本征分解的图像编辑方法，具体步骤如下：
1、将待编辑图像进行预处理，作为输入图像；即，待编辑图像的长和宽缩放成32的倍数。
2、基于卷积神经网络，构建本征图像分解模型，本征图像分解模型接收输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图。
本发明实施例中，本征图像分解模型包含一个输入卷积层、阴影图编码器网络、阴影图解码器网络、反射率图编码器网络、反射率图解码器网络以及一个输出卷积层。
输入卷积层接收输入图像之后，对输入图像进行卷积扩充，扩充成为32个通道的图像，扩充后的图像复制为两份，一份进入到阴影图编码器网络，另一份进入到反射率图编码器网络。
阴影图编码器网络包含阴影图共享编码器、阴影图独立编码器以及阴影图独立解码器；其中阴影图共享编码器顺次包含五层相同的阴影图共享编码层，顺次针对扩充后的图像添加五层阴影图共享编码，添加阴影图共享编码的图像输入至阴影图独立编码器；阴影图独立编码器顺次包含四层阴影图独立编码层，顺次对添加阴影图共享编码的图像添加四层阴影图独立编码，添加阴影图独立编码的图像输入至阴影图解码器网络。
阴影图解码器网络包含阴影图独立解码器，阴影图独立解码器顺次包含四层阴影图独立解码层，针对添加阴影图独立编码的图像进行四层阴影图独立解码，阴影图独立解码的过程是通过卷积与反卷积将阴影图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到阴影图独立解码后的图像送入输出卷积层。
输出卷积层通过1*1的卷积将阴影图独立解码后的图像恢复为阴影图。
反射率图编码器网络包含反射率图共享编码器、反射率图独立编码器以及反射率图独立解码器；其中反射率图共享编码器顺次包含五层相同的反射率图共享编码层，顺次针对扩充后的图像添加五层反射率图共享编码，添加反射率图共享编码的图像输入至反射率图独立编码器；反射率图独立编码器顺次包含四层反射率图独立编码层，顺次对添加反射率图共享编码的图像添加四层反射率图独立编码，添加反射率图独立编码的图像输入至反射率图解码器网络。
反射率图解码器网络包含反射率图独立解码器，反射率图独立解码器顺次包含四层反射率图独立解码层，针对添加反射率图独立编码的图像进行四层反射率图独立解码，反射率图独立解码的过程是通过卷积与反卷积将反射率图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到反射率图独立解码后的图像送入输出卷积层。
输出卷积层通过1*1的卷积将反射率图独立解码后的图像恢复为反射率图。
本征图像分解模型的整体结构如图2所示，具体参数如图3所示。
3、对本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对待编辑图像的自定义编辑结果。
本发明实施例中，重建图像的方法为：自定义编辑后的阴影图和自定义编辑后的反射率对应像素位置进行逐像素相乘，获得编辑后的输入图像。
在构建完本征图像分解模型后，还包括对本征图像分解模型进行训练，具体训练方式为：采用CGI数据集和真实数据集进行训练。
对于CGI数据集，使用尺寸不变损失函数和重建损失函数对本征图像分解模型进行训练；对于真实数据集，使用铰链损失函数、重建损失函数和局部平滑损失函数对本征图像分解模型进行训练。
同时，本发明采用改进后的CGI数据集进行训练。将原始CGI数据集的输入图像的强度作为其新的阴影图像，对反射率图像的每个像素进行γ校正，生成新的反射率图像，并用新的反射率图像和新的阴影图像重建出新的输入图像，构成改进后的CGI数据集。
本发明实施例中，对本征图像分解模型采用改进后的CGI数据集和真实数据集进行训练，训练方式采用自适应梯度下降法，设置学习率为0.00005，小批量数目为4。对于改进后的CGI数据集，使用尺寸不变损失函数和重建损失函数对卷积神经网络进行训练；对于真实数据集，使用铰链损失函数、重建损失函数和局部平滑损失函数对本征图像分解模型进行训练。在训练本征图像分解模型时，合成数据集的质量决定了网络在真实图像上测试时的表现，因此对CGI数据集的改进很有必要。
CGI数据集虽然是一个高质量的合成本征数据集，但原始数据集中只包含了输入图像和其反射率，需要根据本征图像的关系求出输入图像的阴影图，但是利用本征图像假设求出的阴影图在转换成单通道后包含的彩色信息消失，导致重建图像与原始输入图像不一致。其次，求出的阴影图动态范围过大，整体偏暗的阴影图像导致了偏暗的重建图像，在增加了网络拟合难度的同时加大了合成数据与真实数据之间的差异。为了让网络拟合效果更好，我们首先对现有的CGI合成数据集作改进。
其中，改进CGI数据集的的方法为：为了让阴影图在输入的图像动态范围内，本发明求出输入图像的强度，将它作为新的阴影图像，再将反射率的动态范围降低，生成新的反射率图像，最后用处理后的反射率图像和阴影图像重建出新的输入图像。本发明新合成的数据集不仅满足本征图像假设，在视觉上也更加接近真实照片。本发明实施例中，用于训练的新CGI数据集一共包含1.8万对图像。
同时，本发明还提出了基于物理的网络结构(共享编码器、独立解码器和编码器)，区别于以往的神经网络。虽然反射率和阴影在光照层次不同，但它们都代表的是同一场景的本征信息，所以在场景理解方面，它们彼此依赖又彼此独立，于是本发明提出了一个包含独立和共享权重的编码器到解码器结构卷积神经网络，如图2所示，网络主要由共享编码器，独立编码器和独立解码器组成。输入图像首先经过一层卷积扩充特征，进而输入到编码器网络。因为反射率和阴影在图像内容方面相同，但在物理层面独立，所以编码器网络在每个共享编码层后会添加独立编码层，以连接到对称尺度的解码层上。
输入特征在经过编码器后，传入解码器，解码器通过卷积和反卷积将来自编码器的特征逐步上采样，最后恢复到输入图像大小。最后输出特征通过一层1*1的卷积将特征图恢复为反射率图像和阴影图像，网络每层的特征数如图2所示。如图3的第一行所示，共享编码层的头部是卷积层，然后输入残差块，尾部是最大池层，所有卷积层都由3*3的卷积到Leaky-Relu激活层到BN层组成。如图3的第二行所示，独立的编码层头部是卷积层，其次连接了特征数下降一半的卷积层，而尾部连接到具有特征增多一半的卷积层。卷积层的结构与之前的共享编码层相同。如图4的第三行所示，独立解码层的头部是具有与前两层相同结构的卷积层，并且尾部连接到由2*2的反卷积层到Relu激活层到BN层组成的上采样模块。
如图4所示，本发明提出一种基于深度本征分解的图像编辑系统，包括本征分解模块、本征编辑模块和重建模块，用于分解、编辑并重建输入图像。
其中，本征分解模块包括训练好的本征图像分解模型，用于将输入图像分解为本征图像并输出；本征编辑模块用于自定义编辑本征图像并输出；重建模块用于将本征图像进行重建后输出。输入彩色图像后，首先经过本征分解模块将输入图像分解成反射率图和阴影图，再经过本征编辑模块，将编辑后的本征图像传入重建模块，经过重建模块对编辑后的反射率和阴影图的像素乘积，得到最后的具有真实感编辑效果的彩色图像。
由上述方法和系统可知，本发明为了增强神经网络的分解性能，对现有的大型合成数据集进行改进，设计了基于物理的卷积神经网络结构，设置了基于数据集的多个损失函数，大大提高了本征分解的质量。其次，本发明设计了基于本征分解的图像编辑框架，与传统的图像编辑比，它更像是在三维层次上编辑图像，具有很强的真实感效果。同时，我们基于本征深度分解的图像编辑在具备增强现实效果的同时，不需要传统方法那样消耗巨量计算资源，重建图像的合成只是简单的矩阵乘积，因此是一个具有实时性潜力的应用系统。
在具体实施例中，本发明在自然图像下的泛化性很好，不拘束于特定场景的本征分解，因此图像编辑也适用于全场景的图像编辑。
在具体实施例中，本发明的图像编辑比直接在图像上编辑的效果更好，在图片中插入的文字被赋予了特定场景位置的纹理，光照和阴影等变化，像是直接附着在特定的垫子上一样。本发明在不同场景图像下的编辑效果也更好，在户外图像的编辑中，枯萎的树叶重新涂上了绿色，让图像中的季节仿佛从冬天变成了夏天；人脸图像的编辑中，照片中的女孩重新涂上了其他颜色的口红，可以看出新的口红具有非常真实立体的效果；室内场景的编辑中，将沙发的布料材质替换成了具有磨砂质感的棕色面料，还在右边沙发的垫子上叠加了卡通图案，这两个操作均具有和场景一致的视觉效果。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度本征分解的图像编辑方法，其特征在于，具体步骤包括：
将待编辑图像进行预处理，作为输入图像；
基于卷积神经网络，构建本征图像分解模型，所述本征图像分解模型接收所述输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到所述输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图；
对所述本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对所述待编辑图像的自定义编辑结果。
2.如权利要求1所述的方法，其特征在于，所述将待编辑图像进行预处理，具体方法为：
将所述待编辑图像的长和宽缩放成32的倍数。
3.如权利要求2所述的方法，其特征在于，所述本征图像分解模型具体为：
所述本征图像分解模型中包含一个输入卷积层、阴影图编码器网络、阴影图解码器网络、反射率图编码器网络、反射率图解码器网络以及一个输出卷积层；
所述输入卷积层接收所述输入图像之后，对所述输入图像进行卷积扩充，扩充成为32个通道的图像，扩充后的图像复制为两份，一份进入到阴影图编码器网络，另一份进入到反射率图编码器网络；
所述阴影图编码器网络包含阴影图共享编码器、阴影图独立编码器以及阴影图独立解码器；其中所述阴影图共享编码器顺次包含五层相同的阴影图共享编码层，顺次针对扩充后的图像添加五层阴影图共享编码，添加阴影图共享编码的图像输入至阴影图独立编码器；所述阴影图独立编码器顺次包含四层阴影图独立编码层，顺次对添加阴影图共享编码的图像添加四层阴影图独立编码，添加阴影图独立编码的图像输入至阴影图解码器网络；
所述阴影图解码器网络包含阴影图独立解码器，所述阴影图独立解码器顺次包含四层阴影图独立解码层，针对添加阴影图独立编码的图像进行四层阴影图独立解码，阴影图独立解码的过程是通过卷积与反卷积将阴影图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到阴影图独立解码后的图像送入所述输出卷积层；
所述输出卷积层通过1*1的卷积将阴影图独立解码后的图像恢复为阴影图；
所述反射率图编码器网络包含反射率图共享编码器、反射率图独立编码器以及反射率图独立解码器；其中所述反射率图共享编码器顺次包含五层相同的反射率图共享编码层，顺次针对扩充后的图像添加五层反射率图共享编码，添加反射率图共享编码的图像输入至反射率图独立编码器；所述反射率图独立编码器顺次包含四层反射率图独立编码层，顺次对添加反射率图共享编码的图像添加四层反射率图独立编码，添加反射率图独立编码的图像输入至反射率图解码器网络；
所述反射率图解码器网络包含反射率图独立解码器，所述反射率图独立解码器顺次包含四层反射率图独立解码层，针对添加反射率图独立编码的图像进行四层反射率图独立解码，反射率图独立解码的过程是通过卷积与反卷积将反射率图独立编码的图像的特征逐步上采样，直至恢复到输入图像大小，得到反射率图独立解码后的图像送入所述输出卷积层；
所述输出卷积层通过1*1的卷积将反射率图独立解码后的图像恢复为反射率图。
4.如权利要求3所述的方法，其特征在于，所述将自定义编辑后的阴影图和反射率图进行重建并输出，具体方法为：
自定义编辑后的阴影图和自定义编辑后的反射率对应像素位置进行逐像素相乘，获得编辑后的输入图像。
5.如权利要求1所述的方法，其特征在于，在构建完本征图像分解模型后，还包括对所述本征图像分解模型进行训练，具体训练方式为：
采用CGI数据集和真实数据集进行训练；
对于CGI数据集，使用尺寸不变损失函数和重建损失函数对所述本征图像分解模型进行训练；对于真实数据集，使用铰链损失函数、重建损失函数和局部平滑损失函数对所述本征图像分解模型进行训练。
6.如权利要求5所述的方法，其特征在于，在所述训练方式中，采用自适应梯度下降法进行训练，设置学习率为0.00005，小批量数目为4。
7.如权利要求5或6所述的方法，其特征在于，针对所述CGI数据集进行如下改进，采用改进后的CGI数据集进行训练：
将原始CGI数据集的输入图像的强度作为其新的阴影图像，对反射率图像的每个像素进行γ校正，生成新的反射率图像，并用新的反射率图像和新的阴影图像重建出新的输入图像，构成改进后的CGI数据集。
8.一种基于深度本征分解的图像编辑系统，其特征在于，包括本征分解模块、自定义编辑模块和重建模块，用于分解、编辑并重建输入图像；
其中，所述本征分解模块包括训练好的本征图像分解模型，用于将输入图像分解为阴影图和反射率图并输出；
所述自定义编辑模块用于自定义编辑阴影图和反射率图并输出，自定义编辑接收自外部的用户输入；
所述重建模块用于将自定义编辑后的阴影图和反射率图进行重建并输出。
CN202111034088.5A 2021-09-03 2021-09-03 一种基于深度本征分解的图像编辑方法及系统 Pending CN113936182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111034088.5A CN113936182A (zh) 2021-09-03 2021-09-03 一种基于深度本征分解的图像编辑方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111034088.5A CN113936182A (zh) 2021-09-03 2021-09-03 一种基于深度本征分解的图像编辑方法及系统

Publications (1)

Publication Number Publication Date
CN113936182A true CN113936182A (zh) 2022-01-14

Family

ID=79275153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111034088.5A Pending CN113936182A (zh) 2021-09-03 2021-09-03 一种基于深度本征分解的图像编辑方法及系统

Country Status (1)

Country Link
CN (1) CN113936182A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268897A (zh) * 2014-10-28 2015-01-07 天津大学 一种协同本征图像分解方法
CN110675381A (zh) * 2019-09-24 2020-01-10 西北工业大学 一种基于串行结构网络的本征图像分解方法
CN113077451A (zh) * 2021-04-13 2021-07-06 中山大学 基于无监督学习的单张图片本征图像分解方法、系统及介质
US20210251590A1 (en) * 2019-01-30 2021-08-19 Tencent Technology (Shenzhen) Company Limited Ct image generation method and apparatus, computer device, and computer-readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268897A (zh) * 2014-10-28 2015-01-07 天津大学 一种协同本征图像分解方法
US20210251590A1 (en) * 2019-01-30 2021-08-19 Tencent Technology (Shenzhen) Company Limited Ct image generation method and apparatus, computer device, and computer-readable storage medium
CN110675381A (zh) * 2019-09-24 2020-01-10 西北工业大学 一种基于串行结构网络的本征图像分解方法
CN113077451A (zh) * 2021-04-13 2021-07-06 中山大学 基于无监督学习的单张图片本征图像分解方法、系统及介质

Similar Documents

Publication Publication Date Title
US20200051303A1 (en) Real-time avatars using dynamic textures
US11222466B1 (en) Three-dimensional geometry-based models for changing facial identities in video frames and images
CN111292265A (zh) 一种基于生成式对抗神经网络的图像修复方法
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
US20050063596A1 (en) Encoding of geometric modeled images
CN111161405B (zh) 一种动物毛发三维重建方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN113034413B (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
US20230071559A1 (en) Neural opacity point cloud
Han et al. PIINET: A 360-degree panoramic image inpainting network using a cube map
CN106780363A (zh) 一种图片处理方法、装置及电子设备
CN115829876A (zh) 一种基于交叉注意力机制的真实退化图像盲修复方法
DE102021109050A1 (de) Durch ein neuronales generative adversarial netzwerk unterstützte videokompression und -übertragung
CN113077545A (zh) 一种基于图卷积的从图像中重建着装人体模型的方法
CN114157773B (zh) 基于卷积神经网络和频域注意力的图像隐写方法
CN113935916A (zh) 基于环境光感知的端到端水下图像复原方法
JPH09502586A (ja) データ分析方法及び装置
CN114067018A (zh) 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN113723174A (zh) 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
CN113936182A (zh) 一种基于深度本征分解的图像编辑方法及系统
CN110728726B (zh) 一种基于用户交互与深度神经网络的图像压缩方法
CN115953543A (zh) 一种逐像素含时序拟物一致性处理的方法及装置
CN110766117B (zh) 一种二维码的生成方法及系统
CN114581304A (zh) 一种基于循环网络的图像超分辨率和去雾融合方法及系统
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination