CN110830706A - 图像处理方法和装置、存储介质、电子设备 - Google Patents

图像处理方法和装置、存储介质、电子设备 Download PDF

Info

Publication number
CN110830706A
CN110830706A CN201810898093.2A CN201810898093A CN110830706A CN 110830706 A CN110830706 A CN 110830706A CN 201810898093 A CN201810898093 A CN 201810898093A CN 110830706 A CN110830706 A CN 110830706A
Authority
CN
China
Prior art keywords
image
processed
style
style migration
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810898093.2A
Other languages
English (en)
Inventor
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810898093.2A priority Critical patent/CN110830706A/zh
Publication of CN110830706A publication Critical patent/CN110830706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质,获取待处理图像,从待处理图像中确定待处理区域,根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理得到风格迁移处理后的图像。其中,风格迁移模型部署在电子设备的相机中。输出风格迁移处理后的图像。首先确定了待处理图像中的待处理区域,从而可以针对性地对待处理区域进行风格迁移处理,不需要对整个图像都进行风格迁移处理,所以大大提高了处理速度。其次因为风格迁移模型部署在电子设备的相机中,因此可以实时对电子设备的相机预览界面中的待处理区域进行风格迁移处理,更加快捷高效,减少图像处理的等待时间。

Description

图像处理方法和装置、存储介质、电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、存储介质、电子设备。
背景技术
随着移动终端的普及和移动互联网的迅速发展,移动终端的用户使用量越来越大。移动终端中的拍照功能已经成为用户常用功能之一。且用户对拍照功能的需求越来越多,基本的拍照功能已经不能够满足用户日益增加的需求。
发明内容
本申请实施例提供一种图像处理方法和装置、存储介质、电子设备,可以对图像进行各种各样风格的转换。
一种图像处理方法,包括:
获取待处理图像;
从所述待处理图像中确定待处理区域;
根据风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,所述风格迁移模型部署在电子设备的相机中;
输出所述风格迁移处理后的图像。
一种图像处理装置,所述装置包括:
待处理图像获取模块,用于获取待处理图像;
待处理区域确定模块,用于从所述待处理图像中确定待处理区域;
风格迁移处理模块,用于根据风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,所述风格迁移模型部署在电子设备的相机中;
图像输出模块,用于输出所述风格迁移处理后的图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时执行如上所述的图像处理方法的步骤。
上述图像处理方法和装置、存储介质、电子设备,获取待处理图像,从待处理图像中确定待处理区域,根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理得到风格迁移处理后的图像。其中,风格迁移模型部署在电子设备的相机中。输出风格迁移处理后的图像。首先确定了待处理图像中的待处理区域,从而可以针对性地对待处理区域进行风格迁移处理,不需要对整个图像都进行风格迁移处理。如此可以满足用户的个性化需求,且因为只是对待处理图像的局部进行风格迁移处理,所以大大提高了处理速度。其次因为风格迁移模型部署在电子设备的相机中,因此可以实时对电子设备的相机预览界面中的待处理区域进行风格迁移处理,从而在预览界面就可以实时显示风格迁移后的图像以供用户选用。相比于传统技术在应用程序中才能实现对待处理图像进行风格迁移处理来说,更加快捷高效,减少图像处理的等待时间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构图;
图2为一个实施例中图像处理方法的流程图;
图3为图2中对从待处理图像中确定待处理区域方法的流程图;
图4为一个实施例中风格迁移模型的训练过程的示意图;
图5为一个实施例中风格迁移模型的示意图;
图6为图2中根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理方法的流程图;
图7为一个实施例中图像处理装置的结构示意图;
图8为又一个实施例中图像处理装置的结构示意图;
图9为一个实施例中提供的电子设备相关的手机的部分结构的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的场景识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
在一个实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的电子设备为例进行说明,包括:
步骤220,获取待处理图像。
用户使用电子设备(具有拍照功能)进行拍照,获取待处理图像。待处理图像可以是拍照预览画面,也可以是拍照后保存到电子设备中的照片。
步骤240,从待处理图像中确定待处理区域。
待处理图像可以是包含人像、风景、静物等内容的图像。因此,在对待处理图像进行风格迁移处理之前,可以对待处理图像进行预处理,具体即为对待处理图像进行图像分割,分割出不同的内容所在的区域。
图像分割(Segmentation)指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程,就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割的目的是简化或改变图像的表示形式,使得图像更容易理解和分析。图像分割通常用于定位图像中的物体和边界(线,曲线等)。
在对待处理图像进行图像分割之后,得到了包含不同内容的区域,从这些区域中确定待处理区域。例如,可以是包含了用户需要对之针对性的进行风格迁移处理的区域。其中待处理区域可以是待处理图像中的某一部分或某几部分。
步骤260,根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,风格迁移模型部署在电子设备的相机中。
图像风格迁移指的是将图像A的风格转换到图像B中去,得到新的图像,为所得到的新的图像命名为new B,其中new B中既包含图像B的内容,也包含图像A的风格。风格迁移模型为预先经过不同类型的风格图及大量的包括各种风景、人像、静物的训练图进行风格迁移训练所得到的模型。当采用风格图为素描风格图进行训练,则根据素描风格图经过训练得到的风格迁移模型为素描风格迁移模型;当采用风格图为动漫风格图进行训练,则根据动漫风格图经过训练得到的风格迁移模型为动漫风格迁移模型。且训练所得到的风格迁移模型部署在电子设备的相机中,即用户可以在打开电子设备的相机功能时,就可以对拍照预览画面中的待处理区域进行风格迁移,或者对相机拍摄所得的图像中的待处理区域进行风格迁移。待处理区域为通过图像分割技术所确定的需要进行风格迁移处理的区域。
步骤280,输出风格迁移处理后的图像。
在根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像之后,将风格迁移处理后的图像进行输出。可以将输出的图像保存至电子设备的相册中。
本申请实施例中,获取待处理图像,从待处理图像中确定待处理区域,根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理得到风格迁移处理后的图像。其中,风格迁移模型部署在电子设备的相机中。输出风格迁移处理后的图像。首先确定了待处理图像中的待处理区域,从而可以针对性地对待处理区域进行风格迁移处理,不需要对整个图像都进行风格迁移处理。如此可以满足用户的个性化需求,且因为只是对待处理图像的局部进行风格迁移处理,所以大大提高了处理速度。其次因为风格迁移模型部署在电子设备的相机中,因此可以实时对电子设备的相机预览界面中的待处理区域进行风格迁移处理,从而在预览界面就可以实时显示风格迁移后的图像以供用户选用。相比于传统技术在应用程序中才能实现对待处理图像进行风格迁移处理来说,更加快捷高效,减少图像处理的等待时间。
在一个实施例中,如图3所示,从待处理图像中确定待处理区域,包括:
步骤242,对待处理图像进行人像分割得到人像区域;
步骤244,将待处理图像中的人像区域确定为待处理区域。
具体地,对待处理图像进行图像分割从而确定待处理区域,可以采用人像分割模型对待处理图像进行人像分割得到人像区域,将人像区域确定为待处理区域。其中,人像分割模型可以是预先通过图像集进行人像分割训练,所得到的人像分割模型,图像集中为包含人像的图像。训练人像分割模型多采用以下几种分割方法,基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法及基于神经网络的分割方法。当然,也可以直接将从外界直接获取的人像分割模型部署在电子设备的相机中,从而实现通过人像分割模型对待处理图像进行人像分割。
在经过人像分割模型对待处理图像进行人像分割,从待处理图像中得到了待处理区域之后,将待处理图像中的人像区域确定为待处理区域。进一步就可以对待处理区域针对性地进行风格迁移处理。
本申请实施例中,对于很多种风格迁移模型来说,其主要是针对人像区域的处理,且对于人像区域处理的效果也会比较好。例如,动漫风格迁移模型、素描风格迁移模型等,其针对人像区域进行处理,所得到的图像效果将会很好的体系动漫或素描的风格。如此可以满足用户个性化的需求。
在一个实施例中,从待处理图像中确定待处理区域,包括:
对待处理图像进行人像分割得到人像区域;
根据人像区域得到待处理图像中的背景区域;
将待处理图像中的背景区域确定为待处理区域。
具体地,可以采用人像分割模型对待处理图像进行人像分割得到人像区域,对于待处理图像除去人像区域就得到了背景区域。也可以不针对人像区域进行风格迁移处理,而是仅对背景区域进行风格迁移处理。即将待处理图像中的背景区域确定为待处理区域。
当然,在对待处理图像进行人像分割之后,也可以对待处理图像的人像区域采用一种风格迁移模型进行处理,而对待处理图像的背景区域采用另外一种风格迁移模型进行处理。最后,再将两者处理之后得到的图像进行融合,得到最终的风格迁移之后的图像。
本申请实施例中,在对待处理图像进行人像分割得到人像区域和背景区域之后,提供了多种多样的风格迁移处理方式,既可以只对背景区域进行风格迁移处理,也可以对人像区域和背景区域分别采用不同的风格迁移模型进行处理。从而,提供给用户更多处理方式的选择,使得处理之后的图像呈现出更加丰富的效果。
在一个实施例中,如图4所示,风格迁移模型的训练过程,包括:
步骤410,获取风格图和训练图;
风格图可以包含多个比较典型风格的图像,例如,风格图可以是素描图、动漫图、油画、毕加索的画等。训练图可以是包含各种风景、人像、静物的图像所构成的图像集,图形集中的图像数量为N。获取当前训练所对应的特定的风格图,例如,选择素描图作为本次训练的风格图。
步骤420,将训练图输入图像转换网络得到生成图;
步骤430,将训练图、风格图及生成图输入损失计算网络对图像转换网络进行修正,损失计算网络为resnet-101网络;
步骤440,判断图像转换网络是否收敛;
步骤450,若是,则得到风格迁移模型。
若否,则循环执行上述步骤410、420、430、440直到图像转换网络收敛,得到风格迁移模型。
具体地,风格迁移的网络结构包含两个部分。一个是“生成网络”(ImageTransform Net),一个是“损失网络”(Loss Network)。生成网络输入层接收一个输入图片,最终输出层输出也是一张图片(即风格转换后的结果)。模型总体分为两个阶段,训练阶段和执行阶段。模型如图5所示,其中左侧是生成网络,右侧为损失网络。训练阶段:选定一张风格图片,训练过程中将数据集中的图片输入网络,生成网络生成结果图片y,损失网络提取图像的特征图,将生成图片y分别与目标风格图片ys和目标输入图片(内容图片)yc做损失计算,根据损失值来调整生成网络的权值,通过最小化损失值来达到目标效果。
执行阶段:给定一张图片,将其输入已经训练好的生成网络,输出这张图片风格转换后的结果。
对于生成网络,本质上是一个卷积神经网络,这里的生成网络是一个深度残差网络,不用任何的池化层,取而代之的是用步幅卷积或微步幅卷积做网络内的上采样或者下采样。这里的神经网络有五个残差块组成。除了最末的输出层以外,所有的非残差卷积层都跟着一个空间性的instance-normalization,和RELU的非线性层,instance-normalization正则化是用来防止过拟合的。最末层使用一个缩放的Tanh来确保输出图像的像素在[0,255]之间。除开第一个和最后一个层用9x9的卷积核(kernel),其他所有卷积层都用3x3的卷积核。
损失网络φ是能定义一个内容损失(content loss)和一个风格损失(styleloss),分别衡量内容和风格上的差距。对于每一张输入的图片x我们有一个内容目标yc一个风格目标ys,对于风格转换,内容目标yc是输入图像x,输出图像y,应该把风格ys结合到内容x=yc上。系统为每一个目标风格训练一个网络。
为了明确逐像素损失函数的缺点,并确保所用到的损失函数能更好的衡量图片感知及语义上的差距,需要使用一个预先训练好用于图像分类的CNN,这个CNN已经学会感知和语义信息编码,这正是图像风格转换系统的损失函数中需要做的。所以使用了一个预训练好用于图像分类的网络φ,来定义系统的损失函数。之后使用同样是深度卷积网络的损失函数来训练我们的深度卷积转换网络。
这里的损失网络虽然也是卷积神经网络(CNN),但是参数不做更新,只用来做内容损失和风格损失的计算,训练更新的是前面的生成网络的权值参数。所以从整个网络结构上来看输入图像通过生成网络得到转换的图像,然后计算对应的损失,整个网络通过使得损失最小化去不断更新前面的生成网络权值。损失计算网络考虑到更精确的提取特征,采用resnet-101网络。
本申请实施例中,预先根据风格图和训练图,经过训练得到风格迁移模型。并将训练所得的风格迁移模型部署在电子设备的相机或电子设备的相册中,以便用户随时进行使用。
在一个实施例中,风格迁移模型部署在电子设备的相册中。
具体地,电子设备的相册中一般用于存放图片,图片可以是电子设备的相机拍摄所得的图片,也可以是下载保存的图片。电子设备的相册一般具有很多个功能,例如对图片进行分类、对图片制作短视频等功能。当然,将风格迁移模型部署在电子设备的相册中,使得用户可以直接在电子设备的相册中就可以对图片进行风格迁移处理。相比较于传统的在应用程序中实现风格迁移处理,本实施例中为了将风格迁移模型部署在电子设备的相册中,就需要对风格迁移模型进行适当的量化压缩,从而实现部署在电子设备的相册中。
本申请实施例中,首先获取待处理图像,根据风格迁移模型对待处理图像进行风格迁移处理得到风格迁移处理后的图像。其中,风格迁移模型部署在电子设备的相册中。输出风格迁移处理后的图像。因为风格迁移模型部署在电子设备的相册中,因此用户可以直接对电子设备相册中的图片进行风格迁移处理,从而提高手机本身的艺术趣味性。相比于传统技术在应用程序中才能实现对待处理图像进行风格迁移处理来说,避免了一些应用程序不兼容的问题,且在电子设备的相册中进行处理,更加快捷高效,减少图像处理的等待时间。
在一个实施例中,如图6所示,根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理,包括:
步骤620,获取用户所选的风格处理程度;
步骤640,根据风格处理程度对风格迁移模型进行调整;
步骤660,根据调整之后的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。
具体地,风格处理程度是指对图像进行风格迁移处理后的处理程度。经过上述的训练过程所得到的风格迁移模型,一般是标准的风格迁移模型。即经过上述某一种风格对应的风格迁移模型进行处理所得的图像的风格处理程度是一致的,并不能根据用户习惯或选择形成个性化差异。将经过上述标准的风格迁移模型所处理的图像的风格处理程度定义为正常处理,那么就可以以此为基准,设置风格处理程度为过处理和浅处理,其中过处理指的是采用对标准的风格迁移模型调整之后的模型进行风格迁移处理,使得处理之后的图像效果比正常处理之后的效果更加夸张。与过处理相对的,浅处理指的是采用对标准的风格迁移模型调整之后的模型进行风格迁移处理,使得处理之后的图像效果比正常处理之后的效果较为保守。
因此,在本实施例中,为了满足用户的个性化需求,可以为用户提供不同的风格处理程度选项,例如,过处理、正常处理、浅处理等选项。获取用户所选的风格处理程度,根据风格处理程度对风格迁移模型进行调整。例如,若用户选择了过处理,则说明用户需要对图像采用比一般标准的风格迁移模型更夸张的处理方式;若用户选择了正常处理,则说明用户需要对图像采用一般标准的风格迁移模型进行处理即可;若用户选择了浅处理,则说明用户需要对图像采用比一般标准的风格迁移模型更保守的处理方式。
根据风格处理程度对风格迁移模型进行调整,具体为风格迁移模型中一般包含了很多参数,这些参数将影响处理效果。当用户所选的风格处理程度为过处理时,则调整风格迁移模型的参数,使经过调整后的风格迁移模型处理后的图像比标准的风格迁移模型处理的图像的效果更加夸张。当用户所选的风格处理程度为正常处理时,则就无需对风格迁移模型进行调整。当用户所选的风格处理程度为浅处理时,则调整风格迁移模型的参数,使经过调整后的风格迁移模型处理后的图像比标准的风格迁移模型处理的图像的效果较为保守。
最后,根据调整之后的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。使得所得的图像能够满足不同用户的个性化需求。其中,待处理区域可以是人像区域或背景区域。
本申请实施例中,在用户采用某种风格迁移模型对图像进行处理之后,增加了风格处理程度这个选项,使得用户在使用每一种风格迁移模型的时候,还可以选择何种风格处理程度,例如是过处理、正常处理还是浅处理,或者更多个性化选项。如此一来,使得经过一种风格迁移模型不同风格处理程度处理所得的图像也可以呈现出不同的效果,使得处理效果更加多姿多彩,避免单调。同时,可以满足用户的不同处理需求,使得用户可以在不同的风格处理程度所达到的风格处理效果中进行筛选出最佳效果。
在一个实施例中,风格迁移模型的数量至少为两个;
根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理,包括:
根据用户的风格选择结果获取对应的风格迁移模型;
根据与用户的风格选择结果对应的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。
具体地,不论是部署在电子设备相机中,还是部署在电子设备的相册中的风格迁移模型的数量至少为两个,当然,也可以是超过两个的任意数目。例如,包括素描风格迁移模型、动漫风格迁移模型、油画风格迁移模型等。当然,以上并不是穷举,当使用何种风格的风格图进行训练就会得到哪种类型的风格迁移模型。
在根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理的时候,用户可以在多个风格迁移模型中进行选择,根据用户的风格选择结果获取对应的风格迁移模型,再根据所选的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。例如,用户选择素描风格迁移模型对待处理图像中的人像区域进行风格迁移处理,而选择油画风格迁移模型对待处理图像中的背景区域进行风格迁移处理。最后,将两者处理之后的图像进行融合,得到最终的图像。
当然,在这个过程中,当用户选择了所需的风格迁移模型之后,还可以提供不同的风格处理程度选项,例如,过处理、正常处理、浅处理等选项。获取用户所选的风格处理程度,根据风格处理程度对风格迁移模型进行调整。当用户所选的风格处理程度为过处理时,则调整风格迁移模型的参数,使经过调整后的风格迁移模型处理后的图像比标准的风格迁移模型处理的图像的效果更加夸张。当用户所选的风格处理程度为正常处理时,则就无需对风格迁移模型进行调整。当用户所选的风格处理程度为浅处理时,则调整风格迁移模型的参数,使经过调整后的风格迁移模型处理后的图像比标准的风格迁移模型处理的图像的效果较为保守。
最后,根据调整之后的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。使得所得的图像能够满足不同用户的个性化需求。
本实施例中,当不论是部署在电子设备相机中,还是部署在电子设备的相册中的风格迁移模型的数量至少为两个的时候,用户在对待处理图像进行风格迁移处理的时候,就可以在众多的风格迁移模型中进行选择。多种多样的风格迁移模型可以满足不同用户的需求。
在一个实施例中,如图7所示,提供了一种图像处理装置700包括:待处理图像获取模块720、待处理区域确定模块740、风格迁移处理模块760及图像输出模块780。其中,
待处理图像获取模块720,用于获取待处理图像;
待处理区域确定模块740,用于从待处理图像中确定待处理区域;
风格迁移处理模块760,用于根据风格迁移模型对待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,风格迁移模型部署在电子设备的相机中;
图像输出模块780,用于输出风格迁移处理后的图像。
在一个实施例中,待处理区域确定模块740,还用于对待处理图像进行人像分割得到人像区域;将待处理图像中的人像区域确定为待处理区域。
在一个实施例中,待处理区域确定模块740,还用于对待处理图像进行人像分割得到人像区域;根据人像区域得到待处理图像中的背景区域;将待处理图像中的背景区域确定为待处理区域。
在一个实施例中,如图8所示,提供了一种图像处理装置700还包括:风格迁移模型训练模块790,用于执行步骤A,获取风格图和训练图;步骤B,将训练图输入图像转换网络得到生成图;步骤C,将训练图、风格图及生成图输入损失计算网络对图像转换网络进行修正,损失计算网络为resnet-101网络;循环执行上述步骤A、B、C直到图像转换网络收敛,得到风格迁移模型。
在一个实施例中,风格迁移处理模块760,还用于获取用户所选的风格处理程度;根据风格处理程度对风格迁移模型进行调整;根据调整之后的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。
在一个实施例中,风格迁移处理模块760,还用于根据用户的风格选择结果获取对应的风格迁移模型;根据与用户的风格选择结果对应的风格迁移模型对待处理图像中的待处理区域进行风格迁移处理。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。
在一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。
本申请实施例还提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例所提供的图像处理方法的步骤。
图9为与本申请实施例提供的电子设备相关的手机的部分结构的框图。参考图9,手机包括:射频(Radio Frequency,RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路990、无线保真(wireless fidelity,WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解,图9所示的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,RF电路910可用于收发信息或通话过程中,信号的接收和发送,可将基站的下行信息接收后,给处理器980处理;也可以将上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System ofMobile communication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器920可用于存储软件程序以及模块,处理器980通过运行存储在存储器920的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器920可主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等;数据存储区可存储根据手机的使用所创建的数据(比如音频数据、通讯录等)等。此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元930可用于接收输入的数字或字符信息,以及产生与手机900的用户设置以及功能控制有关的键信号输入。具体地,输入单元930可包括触控面板931以及其他输入设备932。触控面板931,也可称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作),并根据预先设定的程式驱动相应的连接装置。在一个实施例中,触控面板931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器980,并能接收处理器980发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931,输入单元930还可以包括其他输入设备932。具体地,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941。在一个实施例中,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板941。在一个实施例中,触控面板931可覆盖显示面板941,当触控面板931检测到在其上或附近的触摸操作后,传送给处理器980以确定触摸事件的类型,随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图9中,触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。
手机900还可包括至少一种传感器950,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板941的亮度,接近传感器可在手机移动到耳边时,关闭显示面板941和/或背光。运动传感器可包括加速度传感器,通过加速度传感器可检测各个方向上加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等;此外,手机还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路990、扬声器991和传声器992可提供用户与手机之间的音频接口。音频电路990可将接收到的音频数据转换后的电信号,传输到扬声器991,由扬声器991转换为声音信号输出;另一方面,传声器992将收集的声音信号转换为电信号,由音频电路990接收后转换为音频数据,再将音频数据输出处理器980处理后,经RF电路910可以发送给另一手机,或者将音频数据输出至存储器920以便后续处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块970,但是可以理解的是,其并不属于手机900的必须构成,可以根据需要而省略。
处理器980是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。在一个实施例中,处理器980可包括一个或多个处理单元。在一个实施例中,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等;调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器980中。
手机900还包括给各个部件供电的电源990(比如电池),优选的,电源可以通过电源管理系统与处理器980逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中,手机900还可以包括摄像头、蓝牙模块等。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像;
从所述待处理图像中确定待处理区域;
根据风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,所述风格迁移模型部署在电子设备的相机中;
输出所述风格迁移处理后的图像。
2.根据权利要求1所述的方法,其特征在于,从所述待处理图像中确定待处理区域,包括:
对所述待处理图像进行人像分割得到人像区域;
将所述待处理图像中的人像区域确定为待处理区域。
3.根据权利要求1所述的方法,其特征在于,从所述待处理图像中确定待处理区域,包括:
对所述待处理图像进行人像分割得到人像区域;
根据所述人像区域得到所述待处理图像中的背景区域;
将所述待处理图像中的背景区域确定为待处理区域。
4.根据权利要求1所述的方法,其特征在于,所述风格迁移模型的生成方式,包括:
步骤A,获取风格图和训练图;
步骤B,将所述训练图输入图像转换网络得到生成图;
步骤C,将所述训练图、风格图及生成图输入损失计算网络对所述图像转换网络进行修正,所述损失计算网络为resnet-101网络;
循环执行上述步骤A、B、C直到所述图像转换网络收敛,得到风格迁移模型。
5.根据权利要求4所述的方法,其特征在于,所述风格图为素描风格图,则根据所述素描风格图经过训练得到的风格迁移模型为素描风格迁移模型;所述风格图为动漫风格图,则根据所述动漫风格图经过训练得到的风格迁移模型为动漫风格迁移模型。
6.根据权利要求1所述的方法,其特征在于,所述风格迁移模型部署在电子设备的相册中。
7.根据权利要求1所述的方法,其特征在于,根据风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理,包括:
获取用户所选的风格处理程度;
根据所述风格处理程度对所述风格迁移模型进行调整;
根据调整之后的风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理。
8.一种图像处理装置,其特征在于,所述装置包括:
待处理图像获取模块,用于获取待处理图像;
待处理区域确定模块,用于从所述待处理图像中确定待处理区域;
风格迁移处理模块,用于根据风格迁移模型对所述待处理图像中的待处理区域进行风格迁移处理,得到风格迁移处理后的图像,其中,所述风格迁移模型部署在电子设备的相机中;
图像输出模块,用于输出所述风格迁移处理后的图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的图像处理方法的步骤。
CN201810898093.2A 2018-08-08 2018-08-08 图像处理方法和装置、存储介质、电子设备 Pending CN110830706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810898093.2A CN110830706A (zh) 2018-08-08 2018-08-08 图像处理方法和装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810898093.2A CN110830706A (zh) 2018-08-08 2018-08-08 图像处理方法和装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN110830706A true CN110830706A (zh) 2020-02-21

Family

ID=69540776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810898093.2A Pending CN110830706A (zh) 2018-08-08 2018-08-08 图像处理方法和装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN110830706A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401477A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111787227A (zh) * 2020-07-22 2020-10-16 苏州臻迪智能科技有限公司 基于跟踪拍摄的风格迁移方法及装置
CN112348737A (zh) * 2020-10-28 2021-02-09 达闼机器人有限公司 模拟图像生成的方法、电子设备及存储介质
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN113194245A (zh) * 2021-03-25 2021-07-30 上海闻泰电子科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113469876A (zh) * 2021-07-28 2021-10-01 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN113763233A (zh) * 2021-08-04 2021-12-07 深圳盈天下视觉科技有限公司 一种图像处理方法、服务器及拍照设备
CN114331820A (zh) * 2021-12-29 2022-04-12 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112581355B (zh) * 2020-11-02 2024-08-02 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170527A (zh) * 2010-02-16 2011-08-31 卡西欧计算机株式会社 图像处理装置
CN105279186A (zh) * 2014-07-17 2016-01-27 腾讯科技(深圳)有限公司 一种图像处理方法和系统
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
CN108205813A (zh) * 2016-12-16 2018-06-26 微软技术许可有限责任公司 基于学习网络的图像风格化

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170527A (zh) * 2010-02-16 2011-08-31 卡西欧计算机株式会社 图像处理装置
CN105279186A (zh) * 2014-07-17 2016-01-27 腾讯科技(深圳)有限公司 一种图像处理方法和系统
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
CN108205813A (zh) * 2016-12-16 2018-06-26 微软技术许可有限责任公司 基于学习网络的图像风格化

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111401477A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111401477B (zh) * 2020-04-17 2023-11-14 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111787227A (zh) * 2020-07-22 2020-10-16 苏州臻迪智能科技有限公司 基于跟踪拍摄的风格迁移方法及装置
CN112348737A (zh) * 2020-10-28 2021-02-09 达闼机器人有限公司 模拟图像生成的方法、电子设备及存储介质
CN112348737B (zh) * 2020-10-28 2023-03-24 达闼机器人股份有限公司 模拟图像生成的方法、电子设备及存储介质
CN112581355B (zh) * 2020-11-02 2024-08-02 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN113194245A (zh) * 2021-03-25 2021-07-30 上海闻泰电子科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113469876A (zh) * 2021-07-28 2021-10-01 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN113469876B (zh) * 2021-07-28 2024-01-09 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN113763233A (zh) * 2021-08-04 2021-12-07 深圳盈天下视觉科技有限公司 一种图像处理方法、服务器及拍照设备
CN114331820A (zh) * 2021-12-29 2022-04-12 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110830706A (zh) 图像处理方法和装置、存储介质、电子设备
CN108629747B (zh) 图像增强方法、装置、电子设备及存储介质
KR102635373B1 (ko) 이미지 처리 방법 및 장치, 단말 및 컴퓨터 판독 가능 저장 매체
CN107729889B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN109002787B (zh) 图像处理方法和装置、存储介质、电子设备
CN109688322B (zh) 一种生成高动态范围图像的方法、装置及移动终端
CN109409235B (zh) 图像识别方法和装置、电子设备、计算机可读存储介质
CN108229574B (zh) 一种图片筛选的方法、装置和移动终端
CN107948530B (zh) 一种图像处理方法、终端及计算机可读存储介质
CN107566742B (zh) 拍摄方法、装置、存储介质和电子设备
CN108921941A (zh) 图像处理方法、装置、存储介质和电子设备
CN107644396B (zh) 一种唇色调整方法和装置
CN111800569B (zh) 拍照处理方法、装置、存储介质及电子设备
CN114037692A (zh) 图像处理方法、移动终端及存储介质
CN111383198B (zh) 图像处理方法及相关产品
CN107341190B (zh) 图片筛选方法、终端及计算机可读存储介质
CN113793407B (zh) 动态图像制作方法、移动终端及存储介质
CN111353946B (zh) 图像修复方法、装置、设备及存储介质
CN109561255B (zh) 终端拍照方法、装置及存储介质
CN114298883A (zh) 图像处理方法、智能终端及存储介质
CN116916149A (zh) 视频处理方法、电子设备及可读介质
CN107798662B (zh) 一种图像处理方法及移动终端
CN110490953B (zh) 基于文本的图像生成方法、终端设备及介质
CN111028192A (zh) 一种图像合成方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication