CN113259583A - 一种图像处理方法、装置、终端及存储介质 - Google Patents

一种图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113259583A
CN113259583A CN202010091232.8A CN202010091232A CN113259583A CN 113259583 A CN113259583 A CN 113259583A CN 202010091232 A CN202010091232 A CN 202010091232A CN 113259583 A CN113259583 A CN 113259583A
Authority
CN
China
Prior art keywords
image
style
sample
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010091232.8A
Other languages
English (en)
Other versions
CN113259583B (zh
Inventor
雷磊
冯超禹
姬世龙
张玉倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010091232.8A priority Critical patent/CN113259583B/zh
Publication of CN113259583A publication Critical patent/CN113259583A/zh
Application granted granted Critical
Publication of CN113259583B publication Critical patent/CN113259583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开是关于一种图像处理方法、装置、计算机设备及存储介质,所述方法应用于终端,包括:确定待转换图像的原始风格和目标风格;利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。从而在兼顾了终端的图像隐私,同时又不需要用户具有修图技能的前提下,有效地实现图像风格迁移。

Description

一种图像处理方法、装置、终端及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及图像处理方法、装置、终端及存储介质。
背景技术
随着图像处理技术和计算机技术的快速发展,由于人们不满足对所拍摄的图像的风格,出现了越来越多的图像风格的迁移。相关技术中,图像风格迁移的方法通常是将原始风格的图像上传到网络,由网络对原始风格的图像进行处理得到目标图像后下发给终端,这显然不利于终端对图像的隐私保护;为了不将待转换的图像传送至网络,用户可以通过终端本地的图像图例软件等手动将原始风格的图像修成目标风格的图像,但这显然需要用户具备熟练的修图技能。因此,如何在兼顾了终端的图像隐私,同时又不需要用户具有修图技能的前提下,有效地实现图像风格迁移成为亟需解决的技术问题。
发明内容
根据本公开实施例的第一方面,提供一种图像处理方法,应用于终端,包括:
确定待转换图像的原始风格和目标风格;
利用所述第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
可选地,所述方法还包括:
基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的所述第一图像转换模型的模型信息。
可选地,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
可选地,与所述原始风格的第一图像样本对应的具有相同的图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
根据本公开实施例的第二方面,提供一种图像处理方法,应用于服务器,包括:
确定待转换图像的原始风格和目标风格;
利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供所述终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
可选地,所述方法还包括:
接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
可选地,所述原始风格的第一图像样本与对应所述目标风格的第二图像样本具有相同的图像内容。
可选地,所述方法还包括:
利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的所述第二图像样本。
可选地,所述方法还包括:
利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同内容的所述目标风格的所述第二图像样本。
可选地,所述利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型,包括:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
可选地,所述生成对抗网络包括:生成网络与判别网络;
所述基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二网络转换模型,包括:
将所述原始风格的第三图像样本输入到所述生成网络中,通过所述生成网络生成风格变换后的第一转换图像;
将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
若一致,确定所述生成网络收敛;
在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
可选地,所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致,包括:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异,和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值,确定所述生成网络收敛。
根据本公开实施例的第三方面,提供一种图像处理装置,应用于终端,包括:
第一确定模块,被配置为确定待转换图像的原始风格和目标风格;
转换模块,被配置为利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
可选地,所述装置还包括:
发起模块,被配置为基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
获取模块,被配置为基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的第一图像转换模型的模型信息。
可选地,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
可选地,与所述原始风格的第一图像样本对应的具有相同的图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
根据本公开实施例的第四方面,提供一种图像处理装置,应用于服务器,包括:
第二确定模块,被配置为确定待转换图像的原始风格和目标风格;
第一模型训练模块,被配置为利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
可选地,所述装置还包括:
接收模块,被配置为接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
下发模块,被配置为基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
可选地,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
可选地,所述装置还包括:
第二模型训练模块,被配置为利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
输入模块,被配置为将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的所述第二图像样本。
可选地,所述第二模型训练模块,还被配置为:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
可选地,所述生成对抗网络包括:生成网络和判别网络;
所述第二模型训练模块,具体包括:
生成子模块,被配置为将所述原始风格的第三图像样本输入至所述生成网络中,通过所述生成网络生成风格变换后的第一转换图像;
输入子模块,被配置为将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
调整子模块,被配置为若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
确定子模块,被配置为若一致,确定所述生成网络收敛;
得到子模块,被配置为在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
可选地,所述输入子模块,还被配置为:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异、和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值时,确定所述生成网络满足收敛条件。
根据本公开实施例的第五方面,提供一种计算机设备,包括:
处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,实现上述任意应用于终端的所述方法步骤,或者上述任意应用于服务器的所述方法步骤。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行实现上述任意应用于终端的所述方法步骤,或者,上述任意应用于服务器的所述方法步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的实施例中,终端通过确定待转换图像的原始风格和目标风格;利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。如此一来,由于用于进行图像风格转换的模型已经被部署在了终端,这里的服务器提供给终端的是利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的第一图像转换模型,而不需要终端将所述原始风格的待转换图像发送给服务器,再由服务器对待转换图像进行处理得到目标风格的目标图像,保护了终端中待转换图像的隐私。同时由于第一图像模型是根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到,不需要用户掌握对所述原始风格的图像转换成所述目标风格的图像的修图技能,利用训练好的所述第一图像转换模型即可实现图像风格的迁移。因此,本实施例在兼顾了终端的图像隐私,同时又不需要用户具有修图技能的前提下,有效地实现了图像风格迁移。
另一方面,由于本实施例中,第一图像转换模型是基于当前待转换图像的原始风格和目标风格的图片训练得到的,因此,第一图像转换模型在训练时由于学习指向性强,所需要的网络架构相对简单,且所需要的参数也相对较少,故利用第一图像转换模型的计算效率高。且该第一图像转换模型针对的只是当前的所述原始风格和所述目标风格,相比相关技术中利用各种原始风格和各种目标风格所确定的通用的图像转换模型而言,利用本实施例所述第一图像转换模型来转换当前待转换图像能够使得转换后的图像的风格更加逼近目标风格,转换准确性更高,转换效果更佳。
此外,需要补充的是,由于第一图像样本和第二图像样本也可以由终端上传给服务器,如此,用户可以选择自己想要的目标风格的图像作为学习训练样本,从而可以在进行图像转换时得到自己想要的目标风格的图像,实现目标风格的个性化需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图;
图2是根据一示例性实施例示出的一种图像处理方法的用户界面场景图;
图3是根据一示例性实施例示出的一种图像处理方法的另一流程图;
图4是根据一示例性实施例示出的一种图像处理方法的又一流程图;
图5是根据一示例性实施例示出的一种图像处理的系统框架图;
图6是根据一示例性实施例示出的一种图像处理装置的框图;
图7是根据一示例性实施例示出的一种图像处理装置的另一框图;
图8是根据一示例性实施例示出的一种终端的框图;
图9是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例涉及服务器与终端,且由服务器与终端构成的图像处理系统来实现图像风格的迁移,也就是通过图像处理系统能够将原始风格的待转换图像转换成目标风格的目标图像。可以理解的是,图像的风格是指一张图像引起的视觉上的效果,包括图像的颜色、亮度或者图像的纹理等细节等构成的整体的图像效果。例如,常见的风格有,梵高风格、毕加索风或者动漫风格等。不同的风格给人的视觉效果不同,例如动漫风格的图像使得图像看起来像是动漫画。具体地,原始风格的待转换图像可以由终端的相机获得,或者是终端所存储的图像;而目标风格的目标图像则可以是具有与原始风格的待转换图像的图像内容相同但风格表达形式不同的图像。可以理解的是,所述图像内容包括:图像中包含的对象,例如,人脸图像中,所述图像内容包括的是人脸的轮廓及人脸特征信息等,人脸特征信息包括:人脸的五官等。实际上,所述图像内容,可以包括:图像在拍摄时所采集的所有对象。
这里,所述终端可以为移动终端或固定终端,其中,所述移动终端可以包括:手机、平板电脑、笔记本电脑、智能相机以及智能家居设备中的任意一种;所述固定终端可以包括:台式电脑或一体机等。总之,任何可以与服务器连接并具有能够显示图像的显示功能的终端均可。所述服务器可以是独立的服务器或者多个服务器组成的服务器集群,或者云端。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,所述方法应用于终端,包括以下步骤:
步骤101:确定待转换图像的原始风格和目标风格。
这里,所述确定待转换图像的原始风格和目标风格,可以通过终端在针对图像转换时的输入操作来确定。实际上,终端会接收基于图像转换接收到用户输入,基于用户输入,确定待转换图像的原始风格和目标风格。
具体地,所述基于用户输入,确定待转换图像的原始风格和目标风格,包括:
基于用户输入,确定待转换图像中用于表征原始风格的第一信息以及用于表征所要转换的目标风格的第二信息。
这里,用于表征原始风格的第一信息,可以包括:原始风格的名称或标识;用于表征目标风格的第二信息,可以包括:目标风格的名称或标识。
需要理解的是,终端可以根据当前待转换图像的图像特征,分析确定出所述待转换图像的原始风格,并得到用于表征原始风格的第一信息。
需要说明的是,这里的图像特征不取决于图像内容,而是取决于图像的是整体呈现的特点或面貌。例如,根据图像中内容所对应线条或纹理信息和/或色彩信息,可以确定图像的原始风格和目标风格。
具体地,所述终端根据当前待转换图像的图像特征中,分析确定出所述待转换图像的原始风格,可以包括:所述终端根据当前待转换的图像的图像特征中包含的图像颜色特征、图像亮度特征以及图像中各拍摄对象的轮廓特征中的至少之一,分析确定出所述待转换图像的原始风格。
例如,如果当前待转换图像的图像颜色特征在第一预设颜色范围内,确定待转换图像的原始风格为原始风格1。需要补充的是,所述第一预设颜色范围可为终端相机所拍摄的颜色范围,如此,原始风格1可以是终端所拍摄且未经任何处理的图像对应的风格。
当然,在其他实施例中,所述原始风格还可以是其他型号的终端所拍摄的图像对应的风格。可以理解的是,不同的终端由于相机的像素有不同,所拍摄的图像会有所差异。
这里,终端可以根据用户针对待转换图像的转换目标,即用户输入的目标风格,确定出待转换图像的目标风格,并得到用于表征目标风格的第二信息。
具体地,请参阅图2,图2是根据一示例性实施例示出的一种图像处理方法的用户界面场景图,如图2所示,当需要将终端的原始风格的图像转换成目标风格的图像的情况下,终端会接收到用户针对图像转换的用户输入,根据所述用户输入,确定出所要转换的目标风格。例如,用户选择“目标风格1”则可以确定待转换图像将要转换的目标风格为目标风格1。
需要说明的是,这里的用户输入,可以是针对目标风格的选择控件的输入,还可以是通过输入框进行输入,其中,所述输入框中可以输入目标风格的名称或标识等。以此来确定出请求信息中包含的目标风格。在其他实施例中,所述用户输入还可以包括语音输入。在此不做任何限定。
步骤102:利用所述第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
这里,所述第一图像转换模型是根据待转换图像的原始风格和目标风格的图像训练得到的。
上述实施例中,由于用于进行图像风格转换的模型已经被部署在了终端,这里的服务器提供给终端的是利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的第一图像转换模型,而不需要终端将所述原始风格的待转换图像发送给服务器,再由服务器对待转换图像进行处理得到目标风格的目标图像,保护了终端中待转换图像的隐私,同时同时由于第一图像模型是根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到,不需要用户掌握对所述原始风格的图像转换成所述目标风格的图像的修图技能,利用训练好的所述第一图像转换模型即可实现图像风格的迁移。因此,本实施例在兼顾了终端的图像隐私,同时又不需要用户具有修图技能的前提下,有效地实现了图像风格迁移。
另一方面,由于本实施例中,第一图像转换模型是基于当前待转换图像的原始风格和目标风格的图片训练得到的,因此,第一图像转换模型在训练时由于学习指向性强,所需要的网络架构相对简单,且所需要的参数也相对较少,故利用第一图像转换模型的计算效率高。且该第一图像转换模型针对的只是当前的所述原始风格和所述目标风格,相比相关技术中利用各种原始风格和各种目标风格所确定的通用的图像转换模型而言,利用本实施例所述第一图像转换模型来转换当前待转换图像能够使得转换后的图像的风格更加逼近目标风格,转换准确性更高,转换效果更佳。
此外,由于第一图像样本和第二图像样本也可以由终端上传给服务器,如此,用户可以选择自己想要的目标风格的图像作为学习训练样本,从而可以在进行图像转换时得到自己想要的目标风格的图像,实现目标风格的个性化需求。
在一些实施例中,所述方法还包括:
基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的所述第一图像转换模型的模型信息。
这里,所述请求包括所述原始风格的标识或名称,以及所述目标风格的标识或名称。
在一些实施例中,当所述服务器确定出待转换图像的原始风格和目标风格后,会触发服务器从大量的图像样本中找到所述原始风格的第一图像样本和所述目标风格的第二图像样本,利用所述原始风格的图像样本和所述目标风格的图像样本训练得到第一图像转换模型。如此,可以根据最新训练得到的第一图像转换模型进行图像转换,提高图像转换的转换效果。
需要说明的是,为了提高图像转换的效率,在另一些实施例中,所述方法可以包括:在接收所述请求之前已经将所述第一图像转换模型训练好,当服务器接收到所述请求后,确定出待转换图像的原始风格和目标风格后,可以直接选择出由利用该原始风格的第一图像样本和该目标风格的第二图像样本训练得到的第一图像转换模型。如此,提高所述第一图像转换模型的在线获取效率。
这里,所述模型信息包括但不限于:模型的架构信息和模型中各节点的参数等。总之,利用所述模型信息能够在终端本地构建出该第一图像转换模型,以便于终端在本地进行待转换图像的风格转换。
上述实施例中,通过终端向服务器发起所述第一图像转换模型的请求来获得所述第一图像转换模型,可以不需要终端存储图像转换模型,节省终端的存储空间;同时由于是根据当前的需求实时得到的第一图像转换模型,因此,可以实现终端的在线图像风格迁移的同时,也不影响终端对待转换图像的隐私保护。
在另一些实施例中,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
这里,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容,可以理解为,作为成对训练的第一图像样本的图像内容与第二图像的图像内容相同,例如,都是蓝天,或者都是草地,或者都是人物。
进一步地,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容,还可以理解为,作为成对训练的第一图像样本与第二图像样本是不同风格的同一图像。例如所述第一图像样本为张三的自拍照原图,而第二图像样本为张三的漫画风格的自拍照。
如此,由于所述原始风格的第一图像样本与所述目标风格的第二图像样本的图像内容相同,或者说用于训练的第一图像样本的图像与第二图像样本的图像仅存在风格上的不同,因此,用具有相同图像内容的第一图像样本与第二图像样本来对所述第一图像模型进行训练时所需要学习的参量较少,无需对图像内容进行分析,如此,所述第一图像模型所需要的网络框架也相对简单,因此,获得所述第一图像转换模型所需要计算量少,计算效率高。
在另一些实施例中,与所述原始风格的第一图像样本对应的具有相同图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
这里,需要说明的是,这里所述原始风格的第三图像样本与所述目标风格的第四图像样本的图像内容至少部分不同。
所述第三图像样本和所述第四图像样本可以由终端上传给服务器,这里,终端用户可以首先从网络上下载一些自己喜好的风格作为样本上传给服务器,如此一来可以丰富第二图像转换模型可转换的目标风格,从而满足用户对目标风格的个性化需求。
当然,所述第三图像样本和所述第四图像样本也可以由是由其他终端上传给服务器的,或者从其他服务器中获取得到的。总之,这些第三图像样本和第四图像样本均可用于训练所述第二图像转换模型使得所述第二图像转换模型能够转换的图像风格更加多样化。
在一些实施例中,所述第三图像样本的图像内容与所述第四图像样本的图像内容不同,也就是说第三图像样本的图像内容可以为青草,而第四图像样本的图像内容可以为蓝天。如此,在对所述第二图像转换模型进行训练过程中对于样本的选取而言,不需要找到与第三图像样本具有相同内容的第四图像样本才能进行学习,因此,终端在上传图像样本时无需考虑图像样本的图像内容是否一致,如此可以更加方便地获得更多的图像样本素材,提高目标风格的多样性,从而满足用户对目标风格的个性化需求。
进一步地,利用这一能够转换更丰富的风格的第二图像转换模型将第一图像样本转换成第二图像样本,能够使得第一图像转换模型所能学习的风格也更加丰富。
需要补充的是,在另一些实施例中,所述第三图像样本在用于第二图像转换模型进行训练后,同样可以作为第一图像转换模型的第一图像样本,也就是说,服务器可以直接利用所述原始风格的第三图像样本作为所述第一图像样本以及将所述第三图像样本通过第二图像转换模型转换得到的生成图像,也就是所述第二图像样本来训练所述第一图像转换模型,如此,不需要多次进行图像样本的获取,提升了两个模型之间训练的智能性。
此外,在本实施例中,所述第二图像样本是由第二图像转换模型对第一图像样本转换得到的,因此,同样地,在所述第一图像转换模型进行训练过程中对于样本的选取而言,也不需要从海量图库样本中找到与第一图像样本具有相同内容的第二图像样本才能进行学习。故通过所述第二图像转换模型来获得第二图像样本,能够提高获得第二图像样本的效率,从而提高第一图像转换模型的学习效率,最终提高终端对图像的转换效率。
图3是根据一示例性实施例示出的一种图像处理方法的另一流程图,如图所示,所述方法应用于服务器,包括以下步骤:
步骤301:确定待转换图像的原始风格和目标风格。
这里,所述确定待转换图像的原始风格和所述目标风格,可以包括:接收到终端发起的第一图像转换模型的请求后,通过解析所述请求,确定出所述待转换图像的原始风格和所述目标风格。这里,所述请求包括所述原始风格的标识或名称,以及所述目标风格的标识或名称。
步骤302:利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供所述终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
在一些实施例中,当所述服务器确定出待转换图像的原始风格和目标风格后,会触发服务器从大量的图像样本中找到所述原始风格的第一图像样本和所述目标风格的第二图像样本,利用所述原始风格的图像样本和所述目标风格的图像样本训练得到第一图像转换模型。如此,可以根据最新训练得到的第一图像转换模型进行图像转换,提高图像转换的转换效果。
需要说明的是,为了提高图像转换的效率,在另一些实施例中,所述方法可以包括:在接收所述请求之前已经将所述第一图像转换模型训练好,当服务器接收到所述请求后,确定出待转换图像的原始风格和目标风格后,可以直接选择出由利用该原始风格的第一图像样本和该目标风格的第二图像样本训练得到的第一图像转换模型。如此,提高所述第一图像转换模型的在线获取效率。
上述实施例中,由于服务器端只是进行的第一图像转换模型的训练,不需要终端将原始风格的待转换图像发送给服务器,如此服务器是无法获得终端的待转换图像的图像内容的,因此,保护了终端中待转换图像的隐私。同时,由于第一图像模型自动将能将所述原始风格的待转换图像转换成目标风格的目标图像,不需要用户对待转换图像进行修图处理等,因此,不需要用户掌握任何的修图技能也能获得用户想要的目标风格的图像。因此,本实施例在兼顾了终端的图像隐私,同时又不需要用户具有修图技能的前提下,有效地实现了图像风格迁移。
另一方面,由于上述实施例中,第一图像转换模型是基于当前待转换图像的原始风格和目标风格的图片训练得到的,因此,第一图像转换模型在训练时由于学习指向性强,所需要的网络架构相对简单,且所需要的参数也相对较少,故利用第一图像转换模型进行图像转换时的计算效率高。且该第一图像转换模型针对的只是当前的所述原始风格和所述目标风格,相比相关技术中利用各种原始风格和各种目标风格所确定的通用的图像转换模型而言,利用本实施例所述第一图像转换模型来转换当前待转换图像能够使得转换后的图像的风格更加逼近目标风格,转换准确性更高,转换效果更佳。
此外,由于第一图像样本和第二图像样本也可以由终端上传给服务器,如此,用户可以选择自己想要的目标风格的图像,实现目标风格的个性化需求。
在一些实施例中,所述方法还包括:
接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
这里,所述模型信息包括但不限于:模型的架构信息和模型中各节点的参数等。总之,利用所述模型信息能够在终端本地构建出该第一图像转换模型,以便于终端在本地进行待转换图像的风格转换。
上述实施例中,服务器在接收到终端发起的所述第一图像转换模型的请求后再将所述第一图像转换模型的模型信息下发给所述终端,可以不需要终端存储图像转换模型,节省终端的存储空间;同时由于是根据当前的需求实时得到的第一图像转换模型,因此,可以实现终端的在线图像风格迁移的同时,也不影响终端对待转换图像的隐私保护。
在一些实施例中,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
这里,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。,可以理解为,作为成对训练的第一图像样本的图像内容与第二图像的图像内容相同,例如,都是蓝天,或者都是草地,或者都是人物。
进一步地,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容,还可以理解为,作为成对训练的第一图像样本与第二图像样本是不同风格的同一图像。例如所述第一图像样本为张三的自拍照原图,而第二图像样本为张三的漫画风格的自拍照。
如此,由于所述原始风格的第一图像样本与所述目标风格的第二图像样本的内容相同,甚至用于训练的第一图像样本的图像与第二图像样本的图像仅存在风格上的不同,因此,用具有内容相同的第一图像样本与第二图像样本来对所述第一图像模型进行训练时所需要学习的参量较少,无需对图像内容进行分析,如此,所述第一图像模型所需要的网络框架也相对简单,因此,获得所述第一图像转换模型所需要计算量少,计算效率高。
在另一些实施例中,请参阅图4,图4是根据一示例性实施例示出的一种图像处理方法的又一流程图,如图4所示,所述方法还包括:
步骤401:利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
步骤402:将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的第二图像样本。
需要说明的是,这里所述原始风格的第三图像样本与所述目标风格的第四图像样本的图像内容至少部分不同。
所述第三图像样本和所述第四图像样本可以由终端上传给服务器,这里,终端用户可以首先从网络上下载一些自己喜好的风格作为样本上传给服务器,如此一来可以丰富第二图像转换模型可转换的目标风格,从而满足用户对目标风格的个性化需求。
当然,所述第三图像样本和所述第四图像样本也可以由是由其他终端上传给服务器的,或者从其他服务器中获取得到的。总之,这些第三图像样本和第四图像样本均可用于训练所述第二图像转换模型使得所述第二图像转换模型能够转换的图像风格更加多样化。
在一些实施例中,所述第三图像样本的图像内容与所述第四图像样本的图像内容不同,也就是说第三图像样本的图像内容可以为青草,而第四图像样本的图像内容可以为蓝天。如此,在对所述第二图像转换模型进行训练过程中对于样本的选取而言,不需要找到与第三图像样本具有相同内容的第四图像样本才能进行学习,因此,终端在上传图像样本时无需考虑图像样本的图像内容是否一致,如此可以更加方便地获得更多的图像样本素材,提高目标风格的多样性,从而满足用户对目标风格的个性化需求。
进一步地,利用这一能够转换更丰富的风格的第二图像转换模型将第一图像样本转换成第二图像样本,能够使得第一图像转换模型所能学习的风格也更加丰富。
需要补充的是,在另一些实施例中,所述第三图像样本在用于第二图像转换模型进行训练后,同样可以作为第一图像转换模型的第一图像样本,也就是说,服务器可以直接利用所述原始风格的第三图像样本作为所述第一图像样本以及将所述第三图像样本通过第二图像转换模型转换得到的生成图像,也就是所述第二图像样本来训练所述第一图像转换模型,如此,不需要多次进行图像样本的获取,提升了两个模型之间训练的智能性。
此外,在本实施例中,所述第二图像样本是由第二图像转换模型对第一图像样本转换得到的,因此,同样地,在所述第一图像转换模型进行训练过程中对于样本的选取而言,也不需要从海量图库样本中找到与第一图像样本具有相同内容的第二图像样本才能进行学习。故通过所述第二图像转换模型来获得第二图像样本,能够提高获得第二图像样本的效率,从而提高第一图像转换模型的学习效率,最终提高终端对图像的转换效率。
需要补充的是,这里的第一图像转换模型实际上采用的是一种监督学习的方式进行学习的。其中,监督学习是指:利用一组已知类别的样本调整分类器的参数,使其达到所要求的性能的过程。监督学习是从标记的训练数据来推断一个功能的机器学习任务。监督学习需要给出不同环境状态下的期望输出(即导师信号),完成的是与环境没有交互的记忆和知识重组的功能。
实际上,在第一图像转换模型进行监督学习的过程中是以第二图像样本作为期望输出的。具体地,所述利用所述原始风格的第一图像样本与所述目标风格的第二图像样本训练得到第一图像转换模型,包括:
将所述第一图像样本和所述第二图像样本输入到所述第一图像转换模型中,通过所述第一图像转换模型将所述第一图像样本转换成输出图像;
比对所述第二图像样本与所述输出图像,得到比对结果;
根据所述比对结果,调整所述第一图像转换模型的模型参数,以得到训练后的所述第一图像转换模型。
这里,若所述比对结果表明所述输出图像与所述第二图像样本之间的损失值大于预定损失值,可以确定所述第一图像转换模型学习的还不够,需要对第一转换模型进行模型参数的调整以继续进行训练,直到所述比对结果表明所述输出图像与所述第二图像样本之间的损失值小于或等于上述预定损失值,则可以基于最后一次调整的模型参数,得到训练后的所述第一图像转换模型。
本实施例中,通过监督学习的方式对第一图像转换模型进行学习,由于学习的目标明确,具有导师信号,也就是将第二图像样本作为导师信号,可以提高模型转换的准确性。且,由于学习的目标明确,学习指向性强,因此所需要的网络架构相对简单,且所需要的参数也相对较少,故利用第一图像转换模型进行图像转换时的计算效率也更高。
在一些实施例中,所述利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型,包括:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
这里,在训练得到第二图像转换模型时,可以构建生成对抗网络。所述生成对抗网络(GAN,Generative Adversarial Networks)是一种非监督学习的深度学习模型,生成对抗网络至少包括生成网络和判别网络,生成对抗网络利用生成网络与判别网络的相互博弈学习产生较好的输出。生成网络和判别网络可以为深度神经网络,也可以为其他模型,在此不做任何限定。
可以理解的是,非监督学习是指根据类别未知或者没有被标记的训练样本解决模式识别中的各种问题。从而,利用非监督学习能够不需要对样本进行类别标注,计算机能够根据输入的样本通过学习后得以识别。
这里采用非监督学习的方式可以不需要第三图像样本和第四图像样本具有相同的内容,也就是说,学习时只关心第三图像样本的风格和第四图像样本的风格即可。如此,用户看到自己喜欢的任何一种风格的图像都可以作为样本上传给服务器,供所述对抗生成网络进行学习,从而可以使得用户能够在对待转换图像进行转换时获得自己喜欢的目标风格的图像,进一步提高了目标风格的丰富性。
具体地,所述生成对抗网络包括:生成网络与判别网络;
所述基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型,包括:
将所述原始风格的第三图像样本输入到所述生成网络中,通过所述生成网络生成风格变换后的第一转换图像;
将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
若一致,确定所述生成网络收敛;
在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
这里,所述第一转换图像是在生成对抗网络的学习过程中产生的用于验证生成对抗网络是否已经训练好的中间结果。
在本实施例中,所述判别网络只会对所述第一转换图像的风格与目标风格进行判别,不涉及图像内容的判别,因此,所需要学习的参量少,学习速度快。
进一步地,当判别的结果是第一转换图像的风格与目标风格不一致时,则会对生成网络的网络参数进行调整,指导第一转换图像的风格与目标风格一致为止。也就是说,只有当第一转换图像的风格与所述目标风格一致的时候对应的生成网络才是训练好的第二图像转换模型,这时的第二图像转换模型所转换的图像的风格才更逼近目标风格。通过这种学习训练方式,所得到的第二图像转换模型能够转换成更为精确的目标风格的图像,从而能够为第一图像转换模型提供更加准确的样本素材。
进一步地,所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致,包括:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异、和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值时,确定所述生成网络满足收敛条件。
这里,所述将所述第一转换图像反向转换得到第二转换图像,可以包括:利用当前网络参数对应的生成网络,将第一转换图像反向转换得到第二转换图像。
可以理解的是,如果第一转换图像的图像特征与目标风格的第三图像样本的图像特征的差异在第一范围内,则表明这个生成网络是一个较好的生成网络,能够在图像转换过程中至少保证图像内容不丢失。相反,如果第一转换图像的图像特征与目标风格的第三图像样本的图像特征的差异在第一范围外,则表明这个生成网络还需要调整和学习。
可以理解的是,如果第一转换图像反向转换后得到的第二转换图像的图像特征能够与原始风格的第三图像样本的图像特征的差异在第二范围内,则表明这个生成网络是一个较好的生成网络,能够在图像反转换过程中至少保证图像内容不丢失等。相反,如果第一转换图像反向转换后得到的第二转换图像的图像特征与原始风格的第三图像样本的图像特征的差异在第二范围外,则表明这个生成网络无法转换后的图像进行反转换还原,故这个生成网络还需要调整和学习。
需要说明的是,损失值是神经网络优化的目标值,神经网络训练或者优化过程就是最小化损失值的过程,损失值越小,对应的输出结果与真实结果的值也就越接近。因此,本实施例通过引入损失值,当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值,来确定所述生成网络满足收敛条件,从而确定所述生成网络收敛,如此来确定所述生成网络是上述所述的一个较好的生成网络,可以不需要再进行调整和学习。
需要补充的是,所述预设阈值可以为能够满足收敛条件的最小损失值,该预设阈值可以依据模型训练的历史收敛情况来给出。所述多次迭代训练的最小损失值在预设区间内,该预设区间能够满足所述生成网络满足收敛条件。
本实施例,通过引入图像转换和反转的双向特征验证,来提高生成网络的图像转换的准确性,从而使得所得到的第二图像转换模型转换得到的图像的风格更逼近目标风格。
在另一些实施例中,第一图像特征、第二图像特征、第三图像特以及第四图像特征中的图像特征可以包括:图像的颜色、图像的亮度以及图像的轮廓特征的至少之一。通过多个图像特征的验证使得所述生成网络的图像转换准确性更高。
进一步地,本公开还提供了一个具体实施例,以进一步理解本公开实施例所提供的图像处理方法。
请参阅图5,图5是根据一示例性实施例示出的一种图像处理的系统框架图,如图所示,所述图像处理系统包括:服务器和终端。
这里,所述服务器可以是云端,其中,云端包括非监督训练单元、非监督生成单元和监督训练单元。其中,非监督训练单元用于采用的是非监督训练学习的方法来训练所述第一图像转换模型;所述非监督生成单元用于利用所述第一图像转换模型将原始风格的图像样本生成目标风格图像。这里,通过构建生成对抗网络来进行非监督训练学习,从而获得所述第一图像转换模型。需要说明的是,这里的原始风格的图像样本和目标风格的图像样本分别可以理解为上述实施例所述原始风格的第三图像样本和所述目标风格的第四图像样本。
获得所述第二图像转换模型后,非监督生成单元利用所述第二图像转换模型对上传的原始风格的图像样本进行处理,从而可以获得大量与原始风格的图像样本的图像内容相同但是风格为目标风格的生成图像。这里的生成图像可以理解为上述实施例所述的目标风格的第二图像样本。
需要补充的是,为了保证第二图像转换模型所生成的生成图像更逼近目标风格,视觉效果更好,本实施例会将原始风格与目标风格进行双向特征变换,并在损失函数中增加对颜色、亮度以及轮廓信息的约束。这里,将原始风格与目标风格进行双向特征变换,并在损失函数中增加对颜色、亮度以及轮廓信息的约束可以理解为上述实施例中判别网络判别所述第一转换图像的风格与目标风格是否一致。
进一步地,监督训练单元利用监督学习的方法对第一图像转换模型进行训练。这里,原始风格的图像样本和由上述非监督生成单元所获得的生成图像作为所述监督训练单元的样本训练得到第一图像转换模型。相比非监督学习的方法而言,监督学习方法可以兼顾生成图像风格效果和算法效率,通过构建轻量级深度学习网络来获得第一图像转换模型。
终端会将云端上的第一图像转换模型下载到本地。终端包括:获得单元、监督生成单元和输出单元,其中,所述获得单元用于获得原始风格图像,也就是终端的待转换图像;所述监督生成单元利用第一图像转换模型将所述待转换图像转换成目标风格的目标图像;所述输出单元用于将目标图像进行输出,例如输出至显示界面上。这里,由于监督生成单元采用的第一图像转换模型计算量小、执行速度快,可以实时输出图像处理,生成风格迁移后的图像,因此,能够实现终端本地的快速图像风格迁移。
通过上述实施例,采用端云结合的方式,在云端部署深度学习网络,进行模型训练,将训练生成的第一图像转换模型部署到终端本地,如此,可以在终端本地输入待转换图像,并利用所述第一图像转换模型将原始风格的待转换图像转换成目标风格的目标图像,以保护终端的待转换图像的隐私信息。
且,该图像处理系统,可以应用到各种目标风格,对于内容和场景无特殊限制,结合非监督学习和监督学习的方法对原始风格的图像进行风格迁移处理,生成的目标图像可以更好的逼近目标风格。
图6是根据一示例性实施例示出的一种图像处理装置框图。参照图6,该装置应用于终端,包括:第一确定模块61和转换模块62;其中,
所述第一确定模块61,被配置为确定待转换图像的原始风格和目标风格;
所述转换模块62,被配置为利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
作为一个可选的实施例,所述装置还包括:
发起模块,被配置为基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
获取模块,被配置为基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的第一图像转换模型的模型信息。
作为一个可选的实施例,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
作为一个可选的实施例,与所述原始风格的第一图像样本对应的具有相同的图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
图7是根据一示例性实施例示出的一种图像处理装置另一框图。参照图7,该装置应用于服务器,包括:第二确定模块71以及第一模型训练模块73;其中,
所述第二确定模块71,被配置为确定待转换图像的原始风格和目标风格;
所述第一模型训练模块72,被配置为利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供所述终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
作为一个可选的实施例,所述装置还包括:
接收模块,被配置为接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
下发模块,被配置为基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
作为一个可选的实施例,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
作为一个可选的实施例,所述装置还包括:
第二模型训练模块,被配置为利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
输入模块,被配置为将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的所述第二图像样本。
作为一个可选的实施例,所述第二模型训练模块,还被配置为:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
作为一个可选的实施例,所述生成对抗网络包括:生成网络与判别网络;
所述第二模型训练模块,具体包括:
生成子模块,被配置为将所述原始风格的第三图像样本输入至所述生成网络中,通过所述生成网络生成风格变化后的第一转换图像;
输入子模块,被配置为将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
调整子模块,被配置为若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
确定子模块,被配置为若一致,确定所述生成网络收敛;
得到子模块,被配置为在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
作为一个可选的实施例,所述输入子模块,还被配置为:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异、和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值时,确定所述生成网络满足收敛条件。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种终端800的框图。例如,终端800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,终端800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制终端800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端800的操作。这些数据的示例包括用于在终端800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为终端800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为终端800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述终端800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当终端800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为终端800提供各个方面的状态评估。例如,传感器组件814可以检测到终端800的打开/关闭状态,组件的相对定位,例如所述组件为终端800的显示器和小键盘,传感器组件814还可以检测终端800或终端800一个组件的位置改变,用户与终端800接触的存在或不存在,终端800方位或加速/减速和终端800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于终端800和其他设备之间有线或无线方式的通信。终端800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由终端800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行上述各实施例所述的图像处理方法。
图9是根据一示例性实施例示出的一种用于服务器900的框图。参照图9,服务器900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序,这里,例如可以是打车软件。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述任意所述的信息处理方法。
服务器900还可以包括一个电源组件926被配置为服务器900的电源管理,一个有线或无线网络接口950被配置为将服务器900连接到网络,和一个输入输出(I/O)接口658。服务器900可以操作基于存储在存储器932的操作系统,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM,FreeBSDTM或类似。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述各实施例所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (24)

1.一种图像处理方法,其特征在于,应用于终端,包括:
确定待转换图像的原始风格和目标风格;
利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的所述第一图像转换模型的模型信息。
3.根据权利要求1或2所述的方法,其特征在于,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
4.根据权利要求3所述的方法,其特征在于,与所述原始风格的第一图像样本对应的具有相同的图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
5.一种图像处理方法,其特征在于,应用于服务器,包括:
确定待转换图像的原始风格和目标风格;
利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供所述终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
7.根据权利要求5或6所述的方法,其特征在于,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的所述第二图像样本。
9.根据权利要求8所述的方法,其特征在于,所述利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型,包括:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
10.根据权利要求9所述的方法,其特征在于,所述生成对抗网络包括:生成网络与判别网络;
所述基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型,包括:
将所述原始风格的第三图像样本输入到所述生成网络中,通过所述生成网络生成风格变化后的第一转换图像;
将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
若一致,确定所述生成网络收敛;
在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
11.根据权利要求10所述的方法,其特征在于,所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致,包括:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异、和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值时,确定所述生成网络满足所述收敛条件。
12.一种图像处理装置,其特征在于,应用于终端,包括:
第一确定模块,被配置为确定待转换图像的原始风格和目标风格;
转换模块,被配置为利用第一图像转换模型,将所述原始风格的所述待转换图像转换成所述目标风格的目标图像,其中,所述第一图像转换模型是由服务器利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
发起模块,被配置为基于所述原始风格和所述目标风格,向所述服务器发起所述第一图像转换模型的请求;
获取模块,被配置为基于所述请求,从所述服务器获取所述服务器根据所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到的第一图像转换模型的模型信息。
14.根据权利要求12或13所述的装置,其特征在于,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
15.根据权利要求14所述的装置,其特征在于,与所述原始风格的第一图像样本对应的具有相同的图像内容的所述目标风格的第二图像样本是所述服务器基于所述原始风格的第一图像样本利用所述第二图像转换模型转换得到的,其中,所述第二图像转换模型是所述服务器利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到的。
16.一种图像处理装置,其特征在于,应用于服务器,包括:
第二确定模块,被配置为确定待转换图像的原始风格和目标风格;
第一模型训练模块,被配置为利用所述原始风格的第一图像样本和所述目标风格的第二图像样本训练得到第一图像转换模型,其中,所述第一图像转换模型用于供所述终端将所述原始风格的所述待转换图像转换成所述目标风格的目标图像。
17.根据权利要求16所述的装置,其特征在于,所述装置还包括:
接收模块,被配置为接收所述终端基于所述原始风格和所述目标风格,发起的所述第一图像转换模型的请求;
下发模块,被配置为基于所述请求,将所述第一图像转换模型的模型信息下发给所述终端。
18.根据权利要求16或17所述的装置,其特征在于,所述原始风格的第一图像样本与对应的所述目标风格的第二图像样本具有相同的图像内容。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第二模型训练模块,被配置为利用所述原始风格的第三图像样本与所述目标风格的第四图像样本训练得到第二图像转换模型;
输入模块,被配置为将所述原始风格的第一图像样本输入到所述第二图像转换模型,得到与所述第一图像样本具有相同的图像内容的所述目标风格的所述第二图像样本。
20.根据权利要求19所述的装置,其特征在于,所述第二模型训练模块,还被配置为:
基于所述原始风格的第三图像样本与所述目标风格的第四图像样本,对生成对抗网络进行迭代训练,直至所述生成对抗网络收敛获得所述第二图像转换模型。
21.根据权利要求20所述的装置,其特征在于,所述生成对抗网络包括:生成网络与判别网络;
所述第二模型训练模块,具体包括:
生成子模块,被配置为将所述原始风格的第三图像样本输入至所述生成网络中,通过所述生成网络生成风格变化后的第一转换图像;
输入子模块,被配置为将所述第一转换图像与所述第四图像样本,输入至所述判别网络,通过所述判别网络判别所述第一转换图像的风格与所述目标风格是否一致;
调整子模块,被配置为若不一致,则调整所述生成网络的网络参数,并继续训练所述生成网络;
确定子模块,被配置为若一致,确定所述生成网络收敛;
得到子模块,被配置为在所述生成网络收敛后停止训练,且将最后一次调整得到的所述生成网络作为所述第二图像转换模型。
22.根据权利要求13所述装置,其特征在于,所述输入子模块,还被配置为:
将所述第一转换图像反向转换得到第二转换图像;
获取所述原始风格的第三图像样本的第一图像特征,及所述第二转换图像的第二图像特征;
获取所述目标风格的第四图像样本的第三图像特征,及所述生成网络输出的所述第一转换图像的第四图像特征;
根据所述第一图像特征及所述第二图像特征之间的差异、和所述第三图像特征及所述第四图像特征的差异,确定损失值;
当所述损失值小于预设阈值或者当前损失值为多次迭代训练的最小损失值时,确定所述生成网络满足所述收敛条件。
23.一种计算机设备,其特征在于,包括:
处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,实现权利要求1至4任一项所述的方法步骤,或者,实现权利要求5至11任一项所述的方法步骤。
24.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现权利要求1至4中任一项所述的方法步骤,或者,实现权利要求5至11任一项所述的方法步骤。
CN202010091232.8A 2020-02-13 2020-02-13 一种图像处理方法、装置、终端及存储介质 Active CN113259583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091232.8A CN113259583B (zh) 2020-02-13 2020-02-13 一种图像处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091232.8A CN113259583B (zh) 2020-02-13 2020-02-13 一种图像处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113259583A true CN113259583A (zh) 2021-08-13
CN113259583B CN113259583B (zh) 2023-05-12

Family

ID=77220075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091232.8A Active CN113259583B (zh) 2020-02-13 2020-02-13 一种图像处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113259583B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793258A (zh) * 2021-09-18 2021-12-14 超级视线科技有限公司 监控视频图像的隐私保护方法及其装置
CN113850712A (zh) * 2021-09-03 2021-12-28 北京达佳互联信息技术有限公司 图像风格转换模型的训练方法、图像风格转换方法及装置
CN113901997A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像风格转换方法、装置、设备、存储介质及程序产品
CN115408710A (zh) * 2022-08-30 2022-11-29 腾讯科技(深圳)有限公司 一种图像脱敏方法和相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN109829849A (zh) * 2019-01-29 2019-05-31 深圳前海达闼云端智能科技有限公司 一种训练数据的生成方法、装置和终端
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110688928A (zh) * 2019-09-20 2020-01-14 北京海益同展信息科技有限公司 模型训练方法、装置、电子设备及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN109829849A (zh) * 2019-01-29 2019-05-31 深圳前海达闼云端智能科技有限公司 一种训练数据的生成方法、装置和终端
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110688928A (zh) * 2019-09-20 2020-01-14 北京海益同展信息科技有限公司 模型训练方法、装置、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850712A (zh) * 2021-09-03 2021-12-28 北京达佳互联信息技术有限公司 图像风格转换模型的训练方法、图像风格转换方法及装置
CN113793258A (zh) * 2021-09-18 2021-12-14 超级视线科技有限公司 监控视频图像的隐私保护方法及其装置
CN113901997A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像风格转换方法、装置、设备、存储介质及程序产品
CN115408710A (zh) * 2022-08-30 2022-11-29 腾讯科技(深圳)有限公司 一种图像脱敏方法和相关装置

Also Published As

Publication number Publication date
CN113259583B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
WO2021196401A1 (zh) 图像重建方法及装置、电子设备和存储介质
US20210097715A1 (en) Image generation method and device, electronic device and storage medium
CN113259583B (zh) 一种图像处理方法、装置、终端及存储介质
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
WO2020093837A1 (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
US20210058595A1 (en) Method, Device, and Storage Medium for Converting Image
US9959484B2 (en) Method and apparatus for generating image filter
CN109360261B (zh) 图像处理方法、装置、电子设备及存储介质
CN110399841B (zh) 一种视频分类方法、装置及电子设备
EP3379805B1 (en) Method, apparatus for controlling a smart device and computer storage medium
US11961278B2 (en) Method and apparatus for detecting occluded image and medium
CN110619350A (zh) 图像检测方法、装置及存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
CN115525140A (zh) 手势识别方法、手势识别装置及存储介质
CN114727004A (zh) 图像获取方法及装置、电子设备、存储介质
CN110135349A (zh) 识别方法、装置、设备及存储介质
CN110086998B (zh) 一种拍摄方法及终端
CN110619325A (zh) 一种文本识别方法及装置
CN109145878B (zh) 图像提取方法及装置
CN107480773B (zh) 训练卷积神经网络模型的方法、装置及存储介质
CN107292901B (zh) 边缘检测方法及装置
CN108182658B (zh) 图像美化方法及装置
CN114268802A (zh) 虚拟空间展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant