CN113240573A - 一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统 - Google Patents

一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统 Download PDF

Info

Publication number
CN113240573A
CN113240573A CN202011153645.0A CN202011153645A CN113240573A CN 113240573 A CN113240573 A CN 113240573A CN 202011153645 A CN202011153645 A CN 202011153645A CN 113240573 A CN113240573 A CN 113240573A
Authority
CN
China
Prior art keywords
training
global
sample set
local
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011153645.0A
Other languages
English (en)
Other versions
CN113240573B (zh
Inventor
郑进
梁栋荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huoshaoyun Technology Co ltd
Original Assignee
Hangzhou Huoshaoyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huoshaoyun Technology Co ltd filed Critical Hangzhou Huoshaoyun Technology Co ltd
Priority to CN202011153645.0A priority Critical patent/CN113240573B/zh
Publication of CN113240573A publication Critical patent/CN113240573A/zh
Application granted granted Critical
Publication of CN113240573B publication Critical patent/CN113240573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，包括以下步骤：S1、构造风格化模型训练样本集，包括原图样本集合、专业的修图师人工处理得到的对应修图样本集合、原图样本集合对应的语义分割图样本集合；S2、将原图样本集合和对应修图样本集合压缩，得到小尺寸下的小图训练样本集合；S3、训练得到小图风格化模型；S4、基于训练样本集，对原图样本集合裁剪得到对应的切片对，训练并记录坐标信息，获得切片风格化模型；S5、获得融合模型；S6、联合训练步骤S3‑S5中的三个网络。本发明还公开了一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统。本发明局部和全局并行学习，处理速度更快、效果更佳。

Description

一种针对千万级像素数字图像的基于局部和全局并行学习的 风格变换方法及系统
技术领域
本发明属于图像处理领域，尤其是涉及一种对数码单反相机成像的风格迁移技术，将通过数码单反相机获得的千万级像素图像，通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络，获得风格化图像，具体是涉及一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统。
背景技术
目前要解决的问题是需要将一些特定布局或场景下摄影师拍摄的照片进行风格化，得到相比原图而言在视觉上更具美感和风格感的照片，如图1所示展示了西湖景区下拍摄照片的一种常见的照片风格化处理，其中上图为原始照片，下图为风格化处理后的照片，目前通常还是需要通过专业的修图师操作 Photoshop等图像处理软件进行一系列繁琐的操作实现诸如此类的照片风格化。
本发明的方法要从计算机视觉的角度，通过深度学习技术，以期替代人工修图的方式，实现智能修图。因此，本发明的方法要解决的问题即是计算机视觉中典型的图像到图像的端对端问题(Image-to-lmage)，在计算机视觉的诸多领域中，图像修复、超分辨率和神经风格迁移都是典型的图像到图像问题，图像修复要解决的问题是自然地填补图像中被污染或者被遮挡的区域，超分辨任务则是将低像素的图像放大到更大像素，使得仍能保持较高的图像清晰度，而神经风格迁移则是与该应用场景更为相关的技术领域，其要实现的目的是通过一张指定的风格图(style image)作为引导，将其风格迁移至另一张图像(content image)，使得这张图像同时能具有它本身的内容和风格图的风格。虽然这些领域要解决的问题各不相同，但其使用的深度学习模型和损失计算方式通常存在一些共性，如模型上都有基于Unet、Vgg等经典结构的变式，损失上也通常基于Vgg的感知损失进行计算。考虑到诸如风格迁移技术这种非对称学习的设定就决定了其只能保证图像整体的风格感，而无法对图像细节进行更具体的调整。
尽管，通过借鉴和综合以上所述技术领域的方法，本发明可以轻松地达到目的，但是，在我们这一场景中，一个非常重要的问题此前并没有获得很多的关注，即进行变化的图像尺寸问题。现代常见的数码成像设备，如手机、数码相机等产生的图片像素往往达到了千万级，甚至某些专业的单反相机可以生成上亿级别像素的照片，而现有的图像到图像的计算机视觉技术往往针对的图像对象的像素往往没有超过百万级。Xide Xia(JointBilateral Learning for Real-time Universal Photorealistic Style Transfer)等人在2020年提出的联合双边学习技术，首次成功实现了在4K的百万级像素照片上进行将风格迁移，其提出了构造一个空间域和亮度域上的仿射双边网格，通过将原始图像的像素在这个仿射双边网格中通过插值获得自己的风格化仿射系数，再基于此风格化系数进行对图像进行线性变化，得到最终的风格化图像。该方法的问题在于其仿射双边网格的估计仍是一个近似估计，作者基于512的训练图片尺寸获得的16＊16＊8的仿射双边网格，推理百万级像素的图片时确实仍可以获得较好的效果，但是当待推理图片的尺寸达到更高的千万级像素时，训练图片的尺寸和仿射双边网格的大小则需要相应增大，那么带来的训练成本也随之提高，此外，该方法所设计的模型结构固定，该方法的设定迫使模型把大部分的参数拟合压力集中在仿射双边网格的生成部分，当模型效果不佳时，难以进行二次优化。
发明内容
为了克服现有技术的不足，本发明提供一种局部和全局并行学习的风格变化方法，处理速度更快，处理效果更佳的针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统。
本发明解决其技术问题所采用的技术方案是：一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，包括以下步骤：
S1、构造风格化模型的训练样本集 D＝{(xi，yi，mi)|xi∈XN，yi∈YN，i＝1，2，...N}，xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，mi为原图样本集合xi对应的语义分割图样本集合；
S2、将步骤S1中的原图样本集合和对应修图样本集合压缩至尺寸
Figure BDA0002742013170000031
得到小尺寸下的小图训练样本集合
Figure BDA0002742013170000032
S3、基于步骤S2中构建的小图训练样本集合
Figure BDA0002742013170000033
使用构建的全局处理网络进行训练，得到针对小尺寸图像的小图风格化模型Mlow；
S4、基于步骤S1中构建的训练样本集D，对原图样本集合进行随机裁剪得到对应的切片对
Figure BDA0002742013170000034
使用构建的局部处理网络进行训练，并记录模型每次训练样本切片的坐标信息(a，b，c，d)，其中a和b表示切片在原图中的左上角的横纵坐标，c和d表示切片在原图中的右下角的横纵坐标，由此获得切片风格化模型Mpatch；
S5、基于步骤S3中Mlow获得的风格化小图根据通过插值方法放大到原始图像的尺寸，并根据S4中记录的切片坐标信息，从中截取出对应的切片Plow，将Plow与Mpatch输出的风格化切片Phigh进行拼接，输入到全局与局部信息网络进行训练，获得融合模型Mfusion；
S6、基于小图感知损失、切片感知损失和融合小图全局信息后切片的一致性损失联合训练步骤S3-S5中的三个网络。
作为优选，所述S2中
Figure BDA0002742013170000041
为原先尺寸的1/10-1/6。
本发明还公开了一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统，包括有：
全局小图处理网络单元，用于训练原尺寸样本压缩后的小图样本；
局部切片处理网络单元，用于训练从原尺寸裁剪的切片样本；
全局与局部信息融合网络单元，用于将全局小图处理网络单元和局部切片处理网络单元输出的高维特征图进行融合，输出最终的风格化切片；
对上述三个网络单元联合训练完成后，将原尺寸图像从左上角开始裁剪输入切片获得风格化切片，再进行拼接即得到最终的原尺寸风格化图像。
进一步的，所述全局与局部信息融合网络单元，用于将全局小图处理网络单元中获得的图像全局信息，和局部切片处理网络单元中获得的细节纹理信息进行融合。
超大尺寸图像风格化的难点主要在于：1)如何通过有限的硬件限制，获得图像整体的上下文语义信息，即图像全局意义上的风格和语义信息；2)如何准确地捕获图片每一处细节的风格化，即图像中各局部区域细腻的色彩变化。
针对现有技术中并没有很好的能够对千万级以上的超大尺寸图像进行风格化的方法，为了获得更稳定、更细节化的风格化效果，本发明使用对称学习的方式进行，本发明给出了一种局部和全局并行学习的风格变化方法，构建了全局处理网络和局部处理网络两条支线，分别处理超大尺寸原始图像经过压缩后的整体小图和原始图像的局部切片，再将经独立处理的全局小图和局部切片经过一个全局与局部信息融合网络，获得最终风格化的图像切片。这样的设计使得全局网络能够从全局意义上感知目标切片上下文语义信息，而局部网络能精确地描述更细腻的图像纹理细节，两者相辅相成，使得获得更好的风格化图像。此外，这样的设计也实现了任意尺寸的超大图像风格化。
附图说明
图1为现有技术中的原图和经过修图师人工修图后的图像。
图2为本发明所提供的全局和局部并行学习网络的整体结构。
图3为本发明具体实施方式中海岛旅拍建模场景下的风格化示例中真实单反相机拍摄照片。
图4为本发明具体实施方式中海岛旅拍建模场景下的风格化示例中利用本发明方法处理后的照片。
图5-1为本发明具体实施方式中海岛旅拍第一组照片的原图。
图5-2为本发明具体实施方式中海岛旅拍第一组照片的现有方法修图结果。
图5-3为本发明具体实施方式中海岛旅拍第一组照片的本发明方法修图结果。
图6-1为本发明具体实施方式中海岛旅拍第二组照片的原图。
图6-2为本发明具体实施方式中海岛旅拍第二组照片的现有方法修图结果。
图6-3为本发明具体实施方式中海岛旅拍第二组照片的本发明方法修图结果。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，包括以下步骤：
S1、构造风格化模型的训练样本集，其包括原图样本集合，修图样本集合，及原图对应的语义分割样本集合；
具体的，收集海边、森系、街拍等二十余种常见场景下的图像，并制作对应的语义分割样本，基于HRNet(Deep High-Resolution Representation Learning for HumanPose Estimation)训练了适应本发明应用场景的语义分割模型，再由训练好的自定义语义分割模型获取相应的语义分割图样本集合；
定义训练样本集为D＝{(xi，yi，mi)|xi∈XN，yi∈YN，i＝1，2，...N}，其中xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，mi为原图样本集合xi对应的语义分割图样本集合；图像的尺寸为(Wi，Hi)；
S2、将步骤S1中的三个原尺寸的样本集合分别进行压缩形成小图训练集合，分别进行裁剪形成原尺寸切片训练集合；
具体的，将步骤S1中的原图样本集合和对应修图样本集合压缩至尺寸
Figure BDA0002742013170000061
得到小尺寸下的小图训练样本集合
Figure BDA0002742013170000062
以可以满足显卡显存的容量要求和所设计网络感受野的覆盖；其中
Figure BDA0002742013170000063
可以为原先尺寸(Wi，Hi)的1/10-1/6；
S3、基于全局处理网络训练小图，该网络输出小图风格图；
具体的，基于步骤S2中构建的小图训练样本集合
Figure BDA0002742013170000071
使用构建的全局处理网络进行训练，得到针对小尺寸图像的小图风格化模型Mlow；
具体的，本发明中基于Unet(U-Net：Convolutional Networks for Biomedicallmage Segmentation)为基础构建全局处理网络；
S4、基于局部处理网络训练原尺寸切片，该网络输出切片风格图；
具体的，基于步骤S1中构建的训练样本集D，对原图样本集合进行随机裁剪得到对应的切片对
Figure BDA0002742013170000072
使用构建的局部处理网络进行训练，并记录模型每次训练样本切片的坐标信息(a，b，c，d)，其中a和b表示切片在原图中的左上角的横纵坐标，c和d表示切片在原图中的右下角的横纵坐标，由此获得切片风格化模型Mpatch；
上述步骤S2、S3和步骤S4的顺序可以互换；
S5、将步骤S3和步骤S4中得到的结果在局部和全局信息融合网络下进行融合，得到最终的原尺寸风格化切片；
具体的，基于步骤S3中Mlow获得的风格化小图根据通过插值方法放大到原始图像的尺寸，并根据S4中记录的切片坐标信息，从中截取出对应的32维切片特征Plow，将Plow与Mpatch输出的风格化32维切片特征Phigh进行通道层面上的拼接，得到64维全局和局部联合特征，输入到全局与局部信息网络中进行训练，获得融合模型Mfusion；
S6、基于小图感知损失、切片感知损失和融合小图全局信息后切片的一致性损失联合训练步骤S3-S5中的三个网络。
一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统，包括有：
全局小图处理网络单元，用于训练原尺寸样本压缩后的小图样本；
全局小图处理网络单元基于Unet基本结构进行构建，将大尺寸的原图样本集合进行压缩到满足显卡显存容量和模型计算支持的范围内，本发明方法的实践中将原始图像压缩至800＊800的尺寸，作为全局网络的输入，网络输出为风格化后的3通道小图和32通道的全局小图特征图；
局部切片处理网络单元，用于训练从原尺寸裁剪的切片样本；
局部切片处理网络单元和全局小图处理网络单元具有相同的网络结构，不同的是，局部切片处理网络单元将原图样本集合的原始图像切片和对应的语义分割切片联合作为网络输入，以增强切片的语义信息，网络输出为风格化后的3通道切片和32通道的切片特征图；
全局与局部信息融合网络单元，用于将全局小图处理网络单元和局部切片处理网络单元输出的高维特征图进行融合，输出最终的风格化切片；
具体的，全局与局部信息融合网络单元，用于将全局小图处理网络单元中获得的图像全局信息，和局部切片处理网络单元中获得的细节纹理信息进行融合。
对上述三个网络单元联合训练完成后，将原尺寸图像从左上角开始裁剪输入切片获得风格化切片，再进行拼接即得到最终的原尺寸风格化图像；
本发明的损失由三部分组成，分别为局部切片处理网络单元的输出3通道切片和真实风格化切片的感知损失，全局与局部信息融合网络单元的输出与真实风格化切片的感知损失，全局与局部信息融合网络单元的输出与全局小图处理网络输出风格化后的3通道小图对应位置切片的感知损失。这里，感知损失基于 VGG-16网络构建，一致性损失指切片Plow和切片Phigh之间的感知损失，用于大图和小图之间粗粒度风格色彩上的约束。
以下为海岛旅拍建模场景下的风格化示例，图3为真实单反相机拍摄的 3840＊5760尺寸的两千万像素原始照片，图4为使用本发明方法得到的风格化照片，从中可以看到本发明方法获得的风格化图像和原始图具有几乎相同的清晰度，且风格化效果显著。
本发明通过引入全局小图学习网络使得模型获得准确的上下文语义信息，指导模型针对不同的语义区域作出相应不同的变化，更为具体的，如图5-1到图 5-3所示，如图6-1到图6-3所示，其展示了海岛旅拍风格场景下本发明方法和以往一般性切片训练方法的效果差异，图5-1和图6-1为原片，图5-2和图6-2 分别为完全基于切片训练和完全基于小图训练模型的预测结果，图5-3和图6-3 为本发明方法效果。图5.2和图6.2中红框部分出现明显的″缺色″，严重影响了图像的整体风格化效果，而本发明方法能更好地使图像风格化后扔保持原图整体的语义结构。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，其特征在于包括以下步骤：
S1、构造风格化模型的训练样本集D＝{(xi，yi，mi)|xi∈XN，yi∈YN，i＝1，2，...N}，xi为原图样本集合，yi为专业的修图师人工处理得到的对应修图样本集合，mi为原图样本集合xi对应的语义分割图样本集合；
S2、将步骤S1中的原图样本集合和对应修图样本集合压缩至尺寸
Figure FDA0002742013160000011
得到小尺寸下的小图训练样本集合
Figure FDA0002742013160000012
S3、基于步骤S2中构建的小图训练样本集合
Figure FDA0002742013160000013
使用构建的全局处理网络进行训练，得到针对小尺寸图像的小图风格化模型Mlow；
S4、基于步骤S1中构建的训练样本集D，对原图样本集合进行随机裁剪得到对应的切片对
Figure FDA0002742013160000014
使用构建的局部处理网络进行训练，并记录模型每次训练样本切片的坐标信息(a，b，c，d)，其中a和b表示切片在原图中的左上角的横纵坐标，c和d表示切片在原图中的右下角的横纵坐标，由此获得切片风格化模型Mpatch；
S5、基于步骤S3中Mlow获得的风格化小图根据通过插值方法放大到原始图像的尺寸，并根据S4中记录的切片坐标信息，从中截取出对应的切片Plow，将Plow与Mpatch输出的风格化切片Phigh进行拼接，输入到全局与局部信息网络进行训练，获得融合模型Mfusion；
S6、基于小图感知损失、切片感知损失和融合小图全局信息后切片的一致性损失联合训练步骤S3-S5中的三个网络。
2.根据权利要求1所述的针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，其特征在于：所述S2中
Figure FDA0002742013160000015
为原先尺寸的1/10-1/6。
3.一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统，其特征在于包括有：
全局小图处理网络单元，用于训练原尺寸样本压缩后的小图样本；
局部切片处理网络单元，用于训练从原尺寸裁剪的切片样本；
全局与局部信息融合网络单元，用于将全局小图处理网络单元和局部切片处理网络单元输出的高维特征图进行融合，输出最终的风格化切片；
对上述三个网络单元联合训练完成后，将原尺寸图像从左上角开始裁剪输入切片获得风格化切片，再进行拼接即得到最终的原尺寸风格化图像。
4.根据权利要求3所述的针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统，其特征在于：所述全局与局部信息融合网络单元，用于将全局小图处理网络单元中获得的图像全局信息和局部切片处理网络单元中获得的细节纹理信息进行融合。
CN202011153645.0A 2020-10-26 2020-10-26 局部和全局并行学习的高分辨率图像风格变换方法及系统 Active CN113240573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153645.0A CN113240573B (zh) 2020-10-26 2020-10-26 局部和全局并行学习的高分辨率图像风格变换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153645.0A CN113240573B (zh) 2020-10-26 2020-10-26 局部和全局并行学习的高分辨率图像风格变换方法及系统

Publications (2)

Publication Number Publication Date
CN113240573A true CN113240573A (zh) 2021-08-10
CN113240573B CN113240573B (zh) 2022-05-13

Family

ID=77130030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153645.0A Active CN113240573B (zh) 2020-10-26 2020-10-26 局部和全局并行学习的高分辨率图像风格变换方法及系统

Country Status (1)

Country Link
CN (1) CN113240573B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837933A (zh) * 2021-11-26 2021-12-24 北京市商汤科技开发有限公司 网络训练及图像生成方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统
CN110826609A (zh) * 2019-10-29 2020-02-21 华中科技大学 一种基于强化学习的双流特征融合图像识别方法
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
EP3678059A1 (en) * 2017-08-29 2020-07-08 Boe Technology Group Co. Ltd. Image processing method, image processing apparatus, and a neural network training method
US20200226724A1 (en) * 2019-01-11 2020-07-16 Adobe Inc. Transferring Image Style to Content of a Digital Image
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
EP3678059A1 (en) * 2017-08-29 2020-07-08 Boe Technology Group Co. Ltd. Image processing method, image processing apparatus, and a neural network training method
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统
US20200226724A1 (en) * 2019-01-11 2020-07-16 Adobe Inc. Transferring Image Style to Content of a Digital Image
CN110826609A (zh) * 2019-10-29 2020-02-21 华中科技大学 一种基于强化学习的双流特征融合图像识别方法
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
CN111626968A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于全局信息和局部信息的像素增强设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GHARBI M 等: "Deep bilateral learning for real-time image enhancement", 《ACM TRANSACTIONS ON GRAPHICS》 *
范林龙: "关键人脸轮廓区域卡通风格化生成算法", 《图学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837933A (zh) * 2021-11-26 2021-12-24 北京市商汤科技开发有限公司 网络训练及图像生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113240573B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Li et al. Low-light image and video enhancement using deep learning: A survey
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
WO2019101113A1 (zh) 一种图像融合方法及其设备、存储介质、终端
US6909806B2 (en) Image background replacement method
DE112018007721T5 (de) Aufnehmen und modifizieren von 3D-Gesichtern unter Verwendung neuronaler Bild-und Zeitverfolgungsnetze
US20030034977A1 (en) Method and apparatus for varying focus in a scene
CN112750201B (zh) 三维重建方法及相关装置、设备
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
KR101744141B1 (ko) 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及系统
Chang et al. Panoramic human structure maintenance based on invariant features of video frames
CN110519509A (zh) 构图评价方法、摄影方法、装置、电子设备、存储介质
US11620765B2 (en) Automatic detection of a calibration object for modifying image parameters
CN112132923A (zh) 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统
CN111010605B (zh) 一种视频画中画窗口的显示方法
CN114549373A (zh) Hdr图像生成方法、装置、电子设备及可读存储介质
CN111105350A (zh) 大视差场景下基于自身单应性变换的实时视频拼接方法
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
CN112215761A (zh) 图像处理方法、装置及设备
EP4150560B1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质
CN115049559A (zh) 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质
CN112446820A (zh) 一种景区照片无关人像去除的方法
CN117939100B (zh) 一种折幕视频处理方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant