CN112132923A - 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 - Google Patents
一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 Download PDFInfo
- Publication number
- CN112132923A CN112132923A CN202011017078.6A CN202011017078A CN112132923A CN 112132923 A CN112132923 A CN 112132923A CN 202011017078 A CN202011017078 A CN 202011017078A CN 112132923 A CN112132923 A CN 112132923A
- Authority
- CN
- China
- Prior art keywords
- sample set
- image
- definition
- model
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011426 transformation method Methods 0.000 title claims description 9
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012986 modification Methods 0.000 claims abstract description 4
- 230000004048 modification Effects 0.000 claims abstract description 4
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 24
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000276489 Merlangius merlangus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于风格小图高清化的两阶段数字图像风格变换方法,包括以下步骤:S1、构造原图样本集合,修图样本集合,及分割图样本集合;S2、构造小图风格化模型;S3、构造高清化网络模型的训练样本集;S4、构造高清化模型;S5、得到风格化小图;S6、得到最终的高清化风格大图。本发明还公开了一种基于风格小图高清化的两阶段数字图像风格变换系统。本发明在同样的模型迭代次数下,模型可以获得更精确的拟合效果,图片处理时长缩短。
Description
技术领域
本发明属于图像处理领域,尤其是涉及一种对数码单反相机成像的风格迁移技术,将通过数码单反相机获得的千万级像素图像,通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络,获得风格化图像,具体是涉及一种基于风格小图高清化的两阶段数字图像风格变换方法及系统。
背景技术
目前要解决的问题是需要将一些特定布局或场景的照片对应地变换到一个特定的风格,如森系、ins风、工笔画等,以满足数码修图的要求。在目前计算机视觉的诸多领域中,超分辨率和神经风格迁移是较为相关的领域,超分辨任务是将低像素的图像放大到更大像素,使得仍能保持较高的图像清晰度,而神经风格迁移则是与该应用场景更为相关的技术领域,Gatys(A neural algorithm of artistic style,2015)等人最早提出了利用卷积神经网络将自然照片转换为著名艺术家们的风格化图像,由此开启了基于深度学习进行风格迁移的新篇章。随后,Li(Universal Style Transfer via Feature Transforms,2017)和Artsiom(A Style-Aware Content Loss for Real-time HD Style Transfer,2018)等人陆续提出了新的方法来解决神经风格迁移问题,但是这些工作仍停留在产生更艺术化的图像,并不适用于解决现在所面临的问题。Li等人(A Closed-form Solution toPhotorealistic Image Stylization)于首次将神经风格迁移的思想引入解决相片级风格转换(Photorealistic image stylization),他们在Li(Universal Style Transfer viaFeature Transforms,2017)中提出的whitening and coloring transform(WCT)技术的基础上,进一步提出了PhotoWCT方法,在网络的特征解码过程中帮助重构丢失的细节信息。Yoo等人(Photorealistic Style Transfer via Wavelet Transforms,2019)进一步优化了Li的工作,在WCT中引入了小波变换,并且剔除了Li工作中的Smoothing环节,但使得风格迁移的结果真实度更高。这些工作全都基于WCT这一技术来实现从内容图和风格图中提取风格化特征。
目前,神经风格迁移仍客观存在一些难以解决的问题,其中包括:
1)以单张风格图指导内容图进行风格变化的形式,始终存在相同语义区域对应风格变化的问题,因此大多数的方法通常要求内容图和风格图需要保持空间上相似的语义布局。因此,目前改思路能够达到的风格变化效果更多的还是全局的、粗粒度的,而在商业数码修图场景中,往往需要对图片的细节进行处理,如图像中的人像和背景可能存在相反的变化,如人像提亮美白,但是背景却需要压暗。目前照片级风格迁移中则需要依赖语义分割来实现这样的目的,但是语义分割作为一个硬性的信息引入,当不同语义对象的边界不准确时,则容易使风格化后的图像出现非常不自然的边界过度。
2)目前神经风格迁移训练模型时所使用的训练集尺寸往往非常小,甚至达不到百万级像素,因此一方面去预测尺寸更大的图像需要更高显存的GPU,硬件上的约束将给模型的使用和推广造成一定的困难,另一方面神经风格迁移基于小尺寸样本集训练好的模型去预测尺寸大得多的图像,由于模型感受野的问题,将得不到较好的效果。
在婚纱摄影行业,对客人的婚纱照导入到电脑上由专业的修图师借助Photoshop等工具进行后期修图是必不可少的环节。传统的人工修图方式存在诸多缺陷,如人工成本逐渐攀升、人工修图效率低下、市场需求的快速变化使得修图风格多种多样,修图师往往难以快速反应来调整自身固有的修图手法等,此外,不同修图师的修图习惯和手法不同,导致修图效果难以保证和前期销售环节所展示的样片完全一致,由此招来客诉也是难以解决的问题。
发明内容
为了克服现有的照片风格化技术只能对相对较小尺寸的图片进行风格化,没有考虑到真实场景下千万级像素的数码成像的不足,本发明提供一种可以对任意尺寸的图像进行风格化处理,最终生成的风格化图像仍保持原始图像的尺寸大小,训练时间缩短的基于风格小图高清化的两阶段数字图像风格变换方法及系统。
本发明解决其技术问题所采用的技术方案是:一种基于风格小图高清化的两阶段数字图像风格变换方法,其特征在于包括以下步骤:
S1、构造风格化模型的训练样本集,其包括原图样本集合,修图样本集合,及将原图样本集合对应不同区域进行分割后的分割图样本集合;
S2、利用小图风格化网络模型,构造小图风格化模型;
S3、构造高清化网络模型的训练样本集,其包括原图样本集合,修图样本集合;
S4、利用高清化网络模型,构造高清化模型;
S5、基于步骤S2中的小图风格化模型,对缩小尺寸后的图像进行预测,得到风格化小图;
S6、基于步骤S4中的高清化模型,对S5得到的风格化小图进行预测,得到最终的高清化风格大图。
作为优选,包括以下步骤:
S1、构造风格化模型的训练样本集D={(xi,yi,mi)|xi∈XN,yi∈YN,i=1,2,...N},xi为原图样本集合,yi为专业的修图师人工处理得到的对应修图样本集合,mi为原图样本集合xi对应的人体和背景的分割图样本集合;
S2、将步骤S1中三个样本集合的尺寸(Wo,Ho)通过插值统一规范化到特定的尺寸(W,H),得到(W,H)尺寸下的训练样本集合考虑到显卡的容量和所设计网络感受野等因素,将原图样本集合通过插值统一规范化到特定的尺寸(W′,H′),得到全局信息样本集Z={zi|zi∈ZN,i=1,2,...,N};
S5、基于步骤S4中构建的训练集Dsr,使用构建的高清化网络进行训练,得到高清化模型Msr;
作为优选,所述步骤S3中,构建多个小图风格化模型Mstyte,不同风格的处理在不同的小图风格化模型中进行。
本发明还公开了一种基于风格小图高清化的两阶段数字图像风格变换系统,包括有:
压缩模型,用于将原图样本集合,修图样本集合,及将原图样本集合对应不同区域进行分割后的分割图样本集合,压缩至较小尺寸;
小图风格化模型,结合缩小尺寸后的分割图样本集合、基于原图样本集合规范至特定尺寸得到的全局信息样本,对缩小尺寸后的原图样本集合进行预测,得到风格化小图;
高清化模型,结合原图样本集合,对得到的风格化小图进行预测,得到最终的高清化风格大图。
本发明基于深度卷积神经网络这一技术设计并构建了婚纱摄影场景下的风格变换模型和一整套的基于深度学习的商业修图系统,以解决目前传统修图方式的缺陷。
不同于风格迁移的非对称图像学习,婚纱摄影场景下的风格变化更适合做如超分辨率、图像增强等任务那样保持图像内容不变的对称学习,这样对称的学习更能保证稳定的风格效果输出。因此,本发明方法采用图像对称学习的方式进行,即训练样本的原图和修图具有相同的内容,不同的风格。
本发明方法包括以下特点:1)基于HRNet的风格变化模型。考虑到在商业数码修图场景中往往需要对图片的细节对象(如人像、树木、局部天空等)进行处理,因此要求所设计的模型需要较强的语义识别能力,因此我们基本目前语义分割领域中表现优异的高分辨率多尺度特征融合网络HRNet构建风格变化模型,HRNet的网络结构如图1所示。特别地,在婚纱摄影场景中,人物是会被重点关注的对象,人像风格化的效果直接决定了照片是否可用,因此为了更显著地帮助人物的风格化,我们在模型中加入了人体和背景的分割图。
2)风格化小图高清化。由于本发明中高清化任务相较于传统的高清化任务,拥有更多的细节图,如何将高清原图的细节补充到风格化图并不改变风格化图的色温色调成为本文需要主要解决的问题。基于此问题,本发明把风格小图通过传统方法插值放大到目标尺寸,将细节原图经过去色模块获得细节纹理图。再把俩者结合输入到后续的高清化网络,得到最终的风格大图。
3)将高分辨率的风格变换任务拆解为低分辨率的风格变换任务和高清化任务。使得系统不受硬件的限制,能够实现任意尺寸的图像风格化。
本发明的有益效果是,1)由于最终生成的风格化图像仍需要保持原始图像的尺寸大小,本发明提供的照片风格化方法虽然不能降低单张图像的生成时间,但是该方式使得单个风格模型的训练时间大大减少。本发明方法中的高清化模型是针对全局所有风格模型的,因此该模型只需要一次训练即可,对于后续单个小图风格化模型的训练由于采用1/4的小尺寸训练,因此训练时间也相应减少为原来的1/4;2)采用小图的训练方式也使得同样参数量的模型所需要进行的像素差异拟合量大幅减少,在同样的模型迭代次数下,模型可以获得更精确的拟合效果,具体地,在PSNR衡量指标下,本发明方法从原来的28.45上升到31.32;3)图片处理时长缩短,相比于人工修图的10分钟一张,本发明方法可以在10秒左右内处理完成一张图片。
附图说明
图1为本发明的HRNet的网络结构图。
图2为本发明的系统结构图。
图3为本发明海边模型示意图,图左为缩略图,图右为风格小图。
图4为本发明高清化模型示意图。图左为风格小图,图右为原尺寸风格大图。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案,下面将结合本发明实施例中的附图,对发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
一种基于风格小图高清化的两阶段数字图像风格变换方法,包括以下步骤:
S1、构造风格化模型的训练样本集D={(xi,yi,mi)|xi∈XN,yi∈YN,i=1,2,...N},xi为原图,yi为专业的修图师人工处理得到的对应修图,mi为xi对应的人体和背景的分割图;
S2、将修图师人工构造的样本集(包括原图和修图)的尺寸(Wo,Ho)通过插值统一规范化到特定的尺寸(W,H),得到小尺寸下的训练样本集合考虑到显卡的容量和所设计网络感受野等因素,将样本集的原图通过插值统一规范化到特定的尺寸(W′,H′)得到全局信息样本集Z={zi|zi∈ZN,i=1,2,...,N},试验得出,的尺寸设置可以得到相对更好的效果;
S5、基于步骤S4中构建的训练集Dsr,使用本发明方法构建的高清化网络进行训练,得到高清化模型Msr;
具体的,如图3所示,小图风格化模型的训练流程为:
S0:用户相机输出原图,如输出尺寸为5760*3840;
S1:压缩原图,得到左侧尺寸缩小的原图压缩图1和右侧尺寸缩小的原图压缩图2,如压缩图1的尺寸为1440*960,压缩图2的尺寸为720*480;
S2:将压缩原图经过自训练的语义分割网络,得到人景分割图;
S3:修图师通过Photoshop等修图软件,将用户原图调整为适合该场景的风格图,比如海边风格;
S4:重复上述步骤,获取模型训练样本,以50组为例;
S5:将原图压缩图1、原图压缩图2、人景分割图输入到风格模型,得到模型输出图,与人工修图进行比对,计算损失,然后更新风格模型参数;
S6:重复S5操作,大约训练10小时,得到与人工修图风格一致的风格模型,称之为海边模型。
如图4所示,高清化网络模型的训练流程为:
S0:用户相机输出原图,如输出尺寸为5760*3840;
S1:修图师通过Photoshop等修图软件,将用户原图调整为适合该场景的精修图;
S2:将修图师的修图随机压缩整数倍得到压缩图,如尺寸以1440*960为主;
S3:重复上述步骤,获取模型训练样本,以500组为例;
S4:将原图和修图压缩图输入到高清化网络模型,得到原尺寸模型输出图,与人工修图进行比对,计算损失,然后更新高清化模型参数;
S5:重复S4操作,大约训练一周,得到通用高清化模型。
二阶段预测流程
S0:用户相机输出原图,如输出尺寸为5760*3840;
S1:压缩原图,得到缩小尺寸的原图压缩图1和缩小尺寸的原图压缩图2,如压缩图1的尺寸为1440*960,压缩图2的尺寸为720*480;
S2:将压缩图经过自训练的语义分割网络,得到人景分割图;
S3:将原图压缩图1、原图压缩图2、人景分割图输入到训练好的小图风格化模型,得到模型输出图,称之为风格小图;
S4:将原图和风格小图输入到训练好的高清化网络模型,得到原尺寸风格大图。
一种基于风格小图高清化的两阶段数字图像风格变换系统,包括有:
压缩模型,用于将原图样本集合,修图样本集合,及将原图样本集合对应不同区域进行分割后的分割图样本集合,压缩至较小尺寸;
小图风格化模型,结合缩小尺寸后的分割图样本集合、基于原图样本集合规范至特定尺寸得到的全局信息样本,对缩小尺寸后的原图样本集合,进行预测,得到风格化小图;
高清化模型,结合原图样本集合,对得到的风格化小图进行预测,得到最终的高清化风格大图。
上述具体实施方式用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (5)
1.一种基于风格小图高清化的两阶段数字图像风格变换方法,其特征在于包括以下步骤:
S1、构造风格化模型的训练样本集,其包括原图样本集合,修图样本集合,及将原图样本集合对应不同区域进行分割后的分割图样本集合;
S2、利用小图风格化网络模型,构造小图风格化模型;
S3、构造高清化网络模型的训练样本集,其包括原图样本集合,修图样本集合;
S4、利用高清化网络模型,构造高清化模型;
S5、基于步骤S2中的小图风格化模型,对缩小尺寸后的图像进行预测,得到风格化小图;
S6、基于步骤S4中的高清化模型,对S5得到的风格化小图进行预测,得到最终的高清化风格大图。
2.根据权利要求1所述的基于风格小图高清化的两阶段数字图像风格变换方法,其特征在于包括以下步骤:
S1、构造风格化模型的训练样本集D={(xi,yi,mi)|xi∈XN,yi∈YN,i=1,2,...N},xi为原图样本集合,yi为专业的修图师人工处理得到的对应修图样本集合,mi为原图样本集合xi对应的人体和背景的分割图样本集合;
S2、将步骤S1中三个样本集合的尺寸(Wo,Ho)通过插值统一规范化到特定的尺寸(W,H),得到(W,H)尺寸下的训练样本集合考虑到显卡的容量和所设计网络感受野等因素,将原图样本集合通过插值统一规范化到特定的尺寸(W′,H′),得到全局信息样本集Z={zi|zi∈ZN,i=1,2,...,N};
S5、基于步骤S4中构建的训练集Dsr,使用构建的高清化网络进行训练,得到高清化模型Msr;
4.根据权利要求2所述的基于风格小图高清化的两阶段数字图像风格变换方法,其特征在于:所述步骤S3中,构建多个小图风格化模型Mstyle,不同风格的处理在不同的小图风格化模型中进行。
5.一种基于风格小图高清化的两阶段数字图像风格变换系统,其特征在于包括有:
压缩模型,用于将原图样本集合,修图样本集合,及将原图样本集合对应不同区域进行分割后的分割图样本集合,压缩至较小尺寸;
小图风格化模型,结合缩小尺寸后的分割图样本集合、基于原图样本集合规范至特定尺寸得到的全局信息样本,对缩小尺寸后的原图样本集合进行预测,得到风格化小图;
高清化模型,结合原图样本集合,对得到的风格化小图进行预测,得到最终的高清化风格大图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011017078.6A CN112132923A (zh) | 2020-09-24 | 2020-09-24 | 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011017078.6A CN112132923A (zh) | 2020-09-24 | 2020-09-24 | 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112132923A true CN112132923A (zh) | 2020-12-25 |
Family
ID=73839991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011017078.6A Pending CN112132923A (zh) | 2020-09-24 | 2020-09-24 | 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132923A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436062A (zh) * | 2021-07-28 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-24 CN CN202011017078.6A patent/CN112132923A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436062A (zh) * | 2021-07-28 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Low-light image and video enhancement using deep learning: A survey | |
Li et al. | Low-light image enhancement via progressive-recursive network | |
Endo et al. | Deep reverse tone mapping. | |
Ma et al. | Deep guided learning for fast multi-exposure image fusion | |
Rudnev et al. | Nerf for outdoor scene relighting | |
US20200364910A1 (en) | Line drawing generation | |
US9111378B2 (en) | Virtualizing content | |
Bianco et al. | Personalized image enhancement using neural spline color transforms | |
CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
Capece et al. | Deepflash: Turning a flash selfie into a studio portrait | |
KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
JP7462120B2 (ja) | 2次元(2d)顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
US11138693B2 (en) | Attention-driven image manipulation | |
Xu et al. | Exploiting raw images for real-scene super-resolution | |
CN114663603B (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
Zhang et al. | A real-time semi-supervised deep tone mapping network | |
Ji et al. | Geometry-aware single-image full-body human relighting | |
Xiao et al. | Image hazing algorithm based on generative adversarial networks | |
Song et al. | Multi-scale joint network based on Retinex theory for low-light enhancement | |
Liu et al. | Progressive complex illumination image appearance transfer based on CNN | |
Ho et al. | Deep preset: Blending and retouching photos with color style transfer | |
Zhao et al. | Cartoon image processing: a survey | |
Li et al. | A large-scale film style dataset for learning multi-frequency driven film enhancement | |
KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Liang Dongrong Inventor after: Jiang Chengkai Inventor before: Liang Dongrong Inventor before: Zheng Jin |
|
CB03 | Change of inventor or designer information |