CN109285114B - 一种图片处理方法及设备 - Google Patents

一种图片处理方法及设备 Download PDF

Info

Publication number
CN109285114B
CN109285114B CN201710602208.4A CN201710602208A CN109285114B CN 109285114 B CN109285114 B CN 109285114B CN 201710602208 A CN201710602208 A CN 201710602208A CN 109285114 B CN109285114 B CN 109285114B
Authority
CN
China
Prior art keywords
picture
loss
image
image processing
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710602208.4A
Other languages
English (en)
Other versions
CN109285114A (zh
Inventor
程明明
刘笑畅
白蔚
苗磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Nankai University
Original Assignee
Huawei Technologies Co Ltd
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Nankai University filed Critical Huawei Technologies Co Ltd
Priority to CN201710602208.4A priority Critical patent/CN109285114B/zh
Priority to PCT/CN2018/079367 priority patent/WO2019015348A1/zh
Publication of CN109285114A publication Critical patent/CN109285114A/zh
Application granted granted Critical
Publication of CN109285114B publication Critical patent/CN109285114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图片处理方法及设备，涉及图像处理领域，解决了图像处理模型对待处理图片进行图像处理过程中，图片整体布局被破坏、前景背景不分明的问题。具体方案为：获取待处理图片；根据图像处理模型对待处理图片进行图像处理；其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，损失函数的输入参数包括深度损失，深度损失用于表征经过图像处理的图片的深度信息的变化。本发明实施例用于图像风格变换处理或图像超分辨率重建处理的过程。

Description

一种图片处理方法及设备
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图片处理方法及设备。
背景技术
如何在保持图片的内容不变的情况下，对该图片的风格进行变换是图像处理领域的备受关注的问题。目前，可以基于神经网络的特征提取能力，对图片的特征进行提取，用以对图片的内容和风格进行描述。
其中，神经网络的结构可以包括变换网络(如图像风格变换模型)和损失网络(如图像分类模型)。变换网络可以对图片进行风格变换，生成风格变换后的图片；损失网络可以计算输入的图片的损失函数。
具体的，可以采用训练生成的图像风格变换模型，对待处理图片进行风格变换。训练生成图像风格变换模型的过程为：图像风格变换模型对输入的目标训练图片进行风格变换处理，得到风格变换后的训练图片；图像分类模型对输入的目标训练图片、目标风格图片和风格变换后的训练图片进行特征提取，作为图片的内容和风格，并根据这些特征得到两种损失，即风格变换后的训练图片和目标训练图片在内容上的损失(即第一内容损失)，以及风格变换后的训练图片和目标风格图片在风格上的损失(即第二内容损失)，然后计算两种损失的加权和，得到损失函数，并向图像风格变换模型反馈损失值，以使图像风格变换模型调整自身的参数，完成损失函数的优化，直至损失值小于预设阈值，损失函数的优化结束，图像风格变换模型结束调整自身的参数，得到图像风格变换模型。
但是，由于上述训练过程中采用的损失函数只包括第一内容损失和第二内容损失；并且，由于图像分类模型对图片进行特征提取时，其提取的高层次特征会强调关注主要目标而忽略了背景等其他信息；因此在采用上述方法训练生成的图像风格变换模型，对待处理图片进行风格变换时，会导致风格变换的图片整体布局被破坏、前景背景不分明的问题。
发明内容
本申请提供一种图片处理方法及设备，解决了图像处理模型对待处理图片进行图像处理过程中，图片整体布局被破坏、前景背景不分明的问题。
为达到上述目的，本申请采用如下技术方案：
本申请的第一方面，提供一种图片处理方法，该方法包括：获取待处理图片；根据图像处理模型对待处理图片进行图像处理；其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，损失函数的输入参数包括深度损失，深度损失用于表征经过图像处理的图片的深度信息的变化。
本申请中，由于图像处理模型为由对一个正样本图片和至少两个负样本图片根据损失函数进行训练得到；并且损失函数的参数包括深度损失，则在训练生成图像处理模型的过程中，考虑了图片的深度(图片的空间分布)变化引起的损失；因此在根据图像处理模型对待处理图片进行图像处理时，可以最大程度的保持待处理图片的整体布局和空间分布，提升了用户的体验。
结合第一方面，在本申请的一种可能的实现方式中，上述损失函数的输入参数还可以包括内容损失，该内容损失用于表征经过图像处理的图片的像素信息的变化。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，深度损失由如下公式表示：
Figure GDA0002485907790000021
其中，ld为深度损失，x为负样本图片，
Figure GDA0002485907790000022
为x经过图像处理的图片，
Figure GDA0002485907790000023
和φ1(x)分别为
Figure GDA0002485907790000024
和x经过预设的深度预测模型输出的深度信息，
Figure GDA0002485907790000025
为
Figure GDA0002485907790000026
和φ1(x)之间的归一化平方欧氏距离，C×H×W为深度预测模型输出的
Figure GDA0002485907790000027
的图片大小，C为深度预测模型输出的
Figure GDA0002485907790000028
的通道数，H为深度预测模型输出的
Figure GDA0002485907790000029
的高度，W为深度预测模型输出的
Figure GDA00024859077900000210
的宽度。其中，
Figure GDA00024859077900000211
和φ1(x)之间的归一化平方欧氏距离越小，经过图像处理的图片和负样本图片的深度相似度越高，深度损失越小。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，内容损失包括第一内容损失和/或第二内容损失，第一内容损失由如下公式表示：
Figure GDA00024859077900000212
其中，lc为第一内容损失，
Figure GDA00024859077900000213
和
Figure GDA00024859077900000214
分别为
Figure GDA00024859077900000215
和x经过预设的图像分类模型选中的j层输出的像素信息，
Figure GDA00024859077900000216
为
Figure GDA00024859077900000217
和
Figure GDA00024859077900000218
之间的归一化平方欧氏距离，Cj×Hj×Wj为j层输出的
Figure GDA00024859077900000219
的图片大小，Cj为j层输出的
Figure GDA00024859077900000220
的通道数，Hj为j层输出的
Figure GDA00024859077900000221
的高度，Wj为j层输出的
Figure GDA00024859077900000222
的宽度。其中，
Figure GDA00024859077900000223
和
Figure GDA00024859077900000224
之间的归一化平方欧氏距离越小，经过图像处理的图片和负样本图片的内容相似度越高，第一内容损失越小。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，第二内容损失由如下公式表示：
Figure GDA00024859077900000225
其中，ls为第二内容损失，ys为正样本图片，
Figure GDA00024859077900000226
和
Figure GDA00024859077900000227
分别为
Figure GDA00024859077900000228
和ys经过图像分类模型选中的j层输出的像素信息，J为图像分类模型选中的j层的集合，
Figure GDA00024859077900000229
为
Figure GDA00024859077900000230
和
Figure GDA00024859077900000231
之间的弗罗贝尼乌斯的平方。其中，弗罗贝尼乌斯的平方越小，经过图像处理的图片和正样本图片的风格相似度越高，第二内容损失越小。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述损失函数由深度损失、第一内容损失、第二内容损失中的一者或多者的线性相加获得。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，当损失函数的输入参数包括深度损失、第一内容损失以及第二内容损失时，损失函数由如下公式表示：lt＝αld+βlc+γls；其中，lt为损失函数，α、β和γ分别为ld、lc和ls的权重。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述图像处理可以包括：图像超分辨率重建处理。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述图像处理可以包括：图像风格变换处理，图像风格用于表征图像的纹理信息。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，在上述“根据图像处理模型对待处理图片进行图像处理”之前，本申请的方法包括生成图像处理模型的过程，具体可以包括：获取正样本图片和至少两个负样本图片；设置初始图像处理模型的结构和初始参数；根据预设的深度预测模型和图像分类模型确定损失函数；利用正样本图片和至少两个负样本图片根据损失函数对初始图像处理模型的参数进行优化训练，得到图像处理模型。其中，由于损失函数包括内容损失和深度损失，因此在训练生成图像处理模型的过程中，不仅仅考虑了图片的像素信息的变化引起的损失，还考虑了图片的深度(图片的空间分布)变化引起的损失，因此，在根据得到的图像处理模型对待处理的图片进行图像处理时，可以达到很好的视觉效果，提升用户体验。
结合第一方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述“设置初始图像处理模型的结构和初始参数”的方法具体可以包括：采用预设的第一图像处理模型，设置初始图像处理模型的结构和初始参数，该初始图像风格变换模型的结构可以包括反射填充层和至少两个残差模块。其中，反射填充层可以对输入图像风格变换模型的图片进行像素的加和处理，以避免图片的边缘假影现象。残差模块可以使得经过图像处理的图片具有与负样本图片相似的结构。
本申请的第二方面，提供一种图片处理设备，该图片处理设备包括：获取单元和图像处理单元。其中，获取单元，用于获取待处理图片。图像处理单元，用于根据图像处理模型对所述待处理图片进行图像处理；其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，所述损失函数的输入参数包括深度损失，所述深度损失用于表征经过所述图像处理的图片的深度信息的变化。
结合第二方面，在本申请的一种可能的实现方式中，上述损失函数的输入参数还可以包括内容损失，该内容损失用于表征经过图像处理的图片的像素信息的变化。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，深度损失由如下公式表示：
Figure GDA0002485907790000031
其中，ld为深度损失，x为负样本图片，
Figure GDA0002485907790000032
为x经过图像处理的图片，
Figure GDA0002485907790000033
和φ1(x)分别为
Figure GDA0002485907790000034
和x经过预设的深度预测模型输出的深度信息，
Figure GDA0002485907790000035
为
Figure GDA0002485907790000036
和φ1(x)之间的归一化平方欧氏距离，C×H×W为深度预测模型输出的
Figure GDA0002485907790000037
的图片大小，C为深度预测模型输出的
Figure GDA0002485907790000038
的通道数，H为深度预测模型输出的
Figure GDA0002485907790000039
的高度，W为深度预测模型输出的
Figure GDA00024859077900000310
的宽度。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，内容损失包括第一内容损失和/或第二内容损失，第一内容损失由如下公式表示：
Figure GDA00024859077900000311
其中，lc为第一内容损失，
Figure GDA00024859077900000312
和
Figure GDA00024859077900000313
分别为
Figure GDA00024859077900000314
和x经过预设的图像分类模型选中的j层输出的像素信息，
Figure GDA00024859077900000315
为
Figure GDA00024859077900000316
和
Figure GDA00024859077900000317
之间的归一化平方欧氏距离，Cj×Hj×Wj为j层输出的
Figure GDA00024859077900000318
的图片大小，Cj为j层输出的
Figure GDA00024859077900000319
的通道数，Hj为j层输出的
Figure GDA00024859077900000320
的高度，Wj为j层输出的
Figure GDA00024859077900000321
的宽度。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，第二内容损失由如下公式表示：
Figure GDA00024859077900000322
其中，ls为第二内容损失，ys为正样本图片，
Figure GDA00024859077900000323
和
Figure GDA00024859077900000324
分别为
Figure GDA00024859077900000325
和ys经过图像分类模型选中的j层输出的像素信息，J为图像分类模型选中的j层的集合，
Figure GDA0002485907790000041
为
Figure GDA0002485907790000042
和
Figure GDA0002485907790000043
之间的弗罗贝尼乌斯的平方。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述损失函数由深度损失、第一内容损失、第二内容损失中的一者或多者的线性相加获得。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，当损失函数的输入参数包括深度损失、第一内容损失以及第二内容损失时，损失函数由如下公式表示：lt＝αld+βlc+γls；其中，lt为损失函数，α、β和γ分别为ld、lc和ls的权重。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述图像处理可以包括：图像超分辨率重建处理。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述图像处理可以包括：图像风格变换处理。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，本申请的图片处理设备还可以包括：生成单元。其中，生成单元，用于在图像处理单元根据图像处理模型对待处理图片进行图像处理之前，生成图像处理模型。生成单元，具体可以用于：获取正样本图片和至少两个负样本图片；设置初始图像处理模型的结构和初始参数；根据预设的深度预测模型和图像分类模型确定损失函数；利用正样本图片和至少两个负样本图片根据损失函数对初始图像处理模型的参数进行优化训练，得到图像处理模型。
结合第二方面和上述可能的实现方式，在本申请的另一种可能的实现方式中，上述生成单元，具体可以用于：采用预设的第一图像处理模型，设置初始图像处理模型的结构和初始参数，该初始图像风格变换模型的结构可以包括反射填充层和至少两个残差模块。
需要说明的是，本发明实施例的第二方面及其各种可能的实现方式的各个功能单元，是为了执行上述第一方面以及第一方面的各种可选方式的图片处理方法，而对图片处理设备进行的逻辑上的划分。第二方面及其各种可能的实现方式的各个功能单元的详细描述以及有益效果分析可以参考上述第一方面及其各种可能的实现方式中的对应描述及技术效果，此处不再赘述。
本申请的第三方面，提供一种图片处理设备，该图片处理设备可以包括：处理器、存储器和显示器。其中，存储器用于存储计算机执行指令，处理器、显示器与存储器通过总线连接，当图片处理设备运行时，处理器执行存储器存储的计算机执行指令，以使图片处理设备执行如第一方面以及第一方面的各种可选方式所述的图片处理方法。
本申请的第四方面，提供一种计算机存储介质，该计算机存储介质中存储有一个或多个程序代码，当第三方面中的图片处理设备的处理器执行该程序代码时，图片处理设备执行如第一方面以及第一方面的各种可选方式所述的图片处理方法。
本申请的第五方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面以及第一方面的各种可选方式所述的图片处理方法。
上述第三方面中图片处理设备的各个模块的详细描述和相应技术效果分析可参见上述第一方面及其各种可能的实现方式中的详细描述，本发明实施例这里不再赘述。
附图说明
图1为本发明实施例提供的一种手机的结构示意图；
图2为本发明实施例提供的一种图片处理方法的流程图一；
图3为本发明实施例提供的一种神经网络的网络架构图；
图4为本发明实施例提供的一种VGG网络的网络结构示意图；
图5为本发明实施例提供的一种图片处理方法的流程图二；
图6为本发明实施例提供的一种图片处理方法进行风格变换的实例示意图；
图7为本发明实施例提供的一种图像风格变换模型的训练生成过程示意图；
图8为本发明实施例提供的一种残差模块的示意图；
图9为采用现有技术的方法与采用本发明实施例提供的方法得到的图片的效果对比示意图一；
图10为采用现有技术的方法与采用本发明实施例提供的方法得到的图片的效果对比示意图二；
图11为本发明实施例提供的一种图片处理方法的流程图三；
图12为本发明实施例提供的一种图片处理方法的流程图四；
图13为本发明实施例提供的一种图片处理方法的流程图五；
图14为本发明实施例提供的一种图片处理方法的流程图六；
图15为本发明实施例提供的一种图片处理设备的结构示意图一；
图16为本发明实施例提供的一种图片处理设备的结构示意图二；
图17为本发明实施例提供的一种图片处理设备的结构示意图三。
具体实施方式
本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一图片和第二图片等是用于区别不同的图片，而不是用于描述图片的特定顺序。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
为了解决背景技术中，由于训练过程中采用的损失函数只包括两部分：第二内容损失和内容损失，且提取的高层次特征会强调关注主要目标而忽略了背景等其他信息，导致的图片整体布局被破坏、前景背景不分明的问题，本发明实施例提供一种图片处理方法及设备。
本发明实施例提供的图片处理方法及设备可以应用于图像处理的过程中，具体的，可以应用于图像风格变换以及图像超分辨率重建的过程中。本发明实施例提供的图片处理方法，其基本原理是：基于优化训练得到的图像处理模型，对待处理图片进行处理。
示例性的，本发明实施例中的图片处理设备可以为具有图片处理功能的设备。例如，该设备可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-mobilePersonal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等等，本发明实施例对此不作限制。
为了便于理解，本发明实施例中仅以图片处理设备为手机为例，介绍图片处理设备的硬件结构。下面结合图1具体介绍本发明实施例提供的手机的各个构成部件。
图1示出的是本发明实施例提供的手机的结构示意图。如图1所示，该手机10可以包括：射频(Radio Frequency，RF)电路101、输入单元102、处理器103、存储器104、显示单元105以及电源106等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面对图1的手机10的各个构成部件进行具体的介绍：
RF电路101可以用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器103处理；另外，将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路101还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of MobileCommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
输入单元102可以用于接收输入的数字或字符信息，以及产生与手机10的用户设置以及功能控制有关的键信号输入。具体地，输入单元102可包括触摸屏1021以及其他输入设备1022。触摸屏1021，也称为触摸面板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触摸屏1021上或在触摸屏1021附近的操作)，并根据预先设定的程式驱动相应的连接装置。
可选的，触摸屏1021可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器103，并能接收处理器103发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏1021。其他输入设备1022可以包括但不限于物理键盘、功能键(比如音量控制按键、电源开关按键等)、轨迹球、鼠标以及操作杆等中的一种或多种。
处理器103是手机10的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器103是一个中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
其中，处理器103可以利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器104内的软件程序和/或模块，以及调用存储在存储器104内的数据，执行手机10的各种功能和处理数据，从而对手机进行整体监控。
可选的，在具体的实现中，作为一种实施例，处理器103可以包括一个或多个CPU。
可选的，在具体实现中，作为一种实施例，手机10可以包括多个处理器，即手机10可以包括多核处理器。这些处理器中的每一个可以是一个单核处理器(Single-CPU)，也可以是一个多核处理器(Multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器104可以用于存储软件程序以及模块，处理器103通过运行存储在存储器104的软件程序以及模块，从而执行手机10的各种功能应用以及数据处理。存储器104可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机10的使用所创建的数据(比如音频数据、图像数据、电话本等)等。此外，存储器104可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
显示单元105可以用于显示由用户输入的信息或提供给用户的信息以及手机10的各种菜单。显示单元105可包括显示面板1051。可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1051。
进一步的，触摸屏1021可覆盖显示面板1051，当触摸屏1021检测到在其上或附近的触摸操作后，传送给处理器103以确定触摸事件的类型，随后处理器103根据触摸事件的类型在显示面板1051上提供相应的视觉输出。虽然在图1中，触摸屏1021与显示面板1051是作为两个独立的部件来实现手机的输入和输出功能，但是在某些实施例中，可以将触摸屏1021与显示面板1051集成而实现手机的输入和输出功能。
在另外的一些实施例中，上述触摸屏1021还可以设置有压力感应传感器，这样用户在上述触摸屏1021上进行触摸操作时，触摸屏1021还能检测到该触摸操作的压力，进而手机10能够更准确地检测该触摸操作。
进一步的，手机10还可以包括至少一种传感器，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近光传感器。其中，环境光传感器可根据环境光线的明暗来调节显示面板1051的亮度；接近光传感器可以检测是否有物体靠近或接触手机，可在手机10移动到耳边时，关闭显示面板1051和/或背光，这样手机10可以进一步节省电量。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。手机10还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
手机10还包括给各个部件供电的电源106(比如电池)，优选的，电源106可以通过电源管理系统与处理器103逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机10还可以包括无线保真(Wireless Fidelity，WiFi)模块、摄像头、蓝牙模块、全球定位系统(Global Positioning System，GPS)模块等等，在此不再赘述。
基于图1所示的手机的各模块或组成部分，如图2所示，本发明实施例提供一种图片处理方法，该方法对图像处理的具体过程，进行了详细的介绍。具体的，如图2所示，该图片处理方法可以包括S201-S202：
S201、图片处理设备获取待处理图片。
其中，当用户对图片处理设备的触摸屏进行触摸操作时，图片处理设备的触摸屏可以检测到用户对触摸屏的触摸操作，并将根据触摸操作产生的相关参数发送至图片处理设备的处理器。处理器在接收到参数之后，根据该参数将处于触摸操作对应区域中的对象确定为触摸对象。
示例性的，当用户对手机10中的图片A进行按压操作时，手机10的触摸屏1021可以检测到该按压操作，并将根据该按压操作所产生的参数发送至手机10的处理器103。处理器103在接收到该参数之后，可以根据该参数确定用户进行按压操作的对象为图片A；然后处理器103将图片A确定为待处理图片，并控制显示面板1051显示图片A，使得用户可以在当前显示界面上看到图片A。
S202、图片处理设备根据图像处理模型对待处理图片进行图像处理。
其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，损失函数的输入参数包括深度损失，深度损失用于表征经过图像处理的图片的深度信息的变化。
其中，本发明实施例中，图片处理设备对待处理图片进行图像处理，包括：图像风格变换处理和图像超分辨率重建处理。
其中，图片处理设备可以采用图像风格变换模型对待处理图片进行图像风格变换处理；图片处理设备可以采用图像超分辨率模型对待处理图片进行图像超分辨率重建处理。图像风格变换模型和图像超分辨率模型均属于图像处理模型。
需要说明的是，本发明实施例中，图片处理设备对待处理图片进行图像风格变换处理时，正样本图片为目标风格图片(目标风格图片的风格为第一风格)，至少两个负样本图片为第一目标训练图片集，该第一目标训练图片集包括n张非第一风格的图片，n为大于或者等于2的正整数。图片处理设备对待处理图片进行图像超分辨率重建处理时，正样本图片为第一训练图片的低分辨率图片，至少两个负样本图片为第二目标训练图片集，该第二目标训练图片集包括n张第一训练图片的高分辨率图片。
下面将结合附图分别图像风格变换处理的具体实现方式，以及对图像超分辨率重建处理的具体实现方式，进行详细描述。
如图3所示，为本发明实施例提供的一种可以应用于图像风格变换处理的神经网络的网络架构图，该神经网络可以包括变换网络01和损失网络02。
其中，变换网络可以对输入的图片进行图像风格变换。损失网络可以计算输入的图片的损失函数。具体的，输入的第一图片经过变换网络01后，得到第二图片(经过图像风格变换处理后的图片)，并输出至损失网络02；损失网络02对输入的目标风格图片、第一图片以及第二图片进行特征提取，确定目标风格图片的风格、第一图片的内容、第一图片的深度，以及第二图片的内容、风格(图像的纹理信息)和深度，并根据上述的各个图片的内容、风格和深度得到损失函数的参数，即第一内容损失、第二内容损失和深度损失。
示例性的，本发明实施例的损失网络02可以为图4所示的VGG网络。此处仅以损失网络为VGG网络，对损失网络02的网络结构进行介绍，本发明实施例中的损失网络02可以是任一种神经网络，并不局限于VGG网络。
基于图3所示的网络结构以及图1所示的手机的各模块或组成部分，本发明实施例提供一种图片处理方法，该方法对图像风格变换处理的具体过程，进行了详细的介绍。具体的，如图5所示，该图片处理方法可以包括S501-S502：
S501、图片处理设备获取待处理图片。
S502、图片处理设备根据图像风格变换模型对待处理图片进行图像风格变换。
其中，图像风格变换模型由对目标风格图片和第一目标训练图片集，根据损失函数进行训练得到。图像风格用于表征图像的纹理信息，纹理信息一种反映图像中同质现象的视觉特征，其体现了图像表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。
其中，目标风格图片的图片风格为第一风格，第一目标训练图片集包括n张非第一风格的图片，n为大于或者等于2的正整数。
示例性的，图片处理设备可以利用目标风格图片和第一目标训练图片集根据损失函数对初始图像处理模型的参数进行优化训练，得到图像风格变换模型。初始图像风格变换模型为预设的图像风格变换模型，将第一图片输入初始图像风格变换模型经过变换后输出第二图片。
示例性的，损失函数的参数可以包括深度损失和内容损失，深度损失用于表征经过图像风格变换处理的图片的深度信息的变化，内容损失用于表征经过图像风格变换处理的图片的像素信息的变化。
其中，内容损失包括第一内容损失和第二内容损失，第一内容损失为第二图片相对于第一图片在内容上的差别，第二内容损失为第二图片相对于目标风格图片在第一风格上的差别，深度损失为第二图片相对于第一图片在空间分布上的差别。损失函数可以由深度损失、第一内容损失和第二内容损失线性相加得到。
可选的，本发明实施例中的损失函数可以由第一内容损失、第二内容损失和深度损失中的一者或多者的线性相加获得。
示例性的，本发明实施例可以基于图3所示的网络架构，使用三种损失得到的损失函数，对图片进行风格变换。图片处理设备的处理器可以将获取的待处理图片，通过图3所示的变换网络01对图片进行风格变换。
例如，如图6所示，假设用户选择的目标风格图片为图片A，待处理图片为图片B(图片B的风格与图片A的风格不同)，手机10的处理器103可以加载与图片A对应的图像风格变换模型1，将图片B输入至图像风格变换模型1中进行图片处理，得到图片C(即为风格变换后的图片)。
示例性的，本发明实施例中，图片处理设备的处理器可以在通过变换网络01对图片进行风格变换之前，预先生成图像风格变换模型。如图7所示，为本发明实施例提供的一种图像风格变换模型的训练生成过程示意图。图像风格变换模型(如初始图像风格变换模型)可以对输入的目标训练图片进行风格变换，得到风格变换后的训练图片，并分别向图像分类模型和深度预测模型输出该风格变换后的训练图片；图像分类模型根据输入的目标风格图片、目标训练图片以及风格变换后的训练图片，计算得到图片的第一内容损失(即风格变换后的训练图片相对于目标训练图片在内容上的损失)和第二内容损失(即风格变换后的训练图片相对于目标风格图片在风格上的损失)；深度预测模型根据输入的目标训练图片和风格变换后的训练图片，计算得到图片的深度损失(即风格变换后的训练图片相对于目标训练图片在空间分布上的损失)；根据得到的第一内容损失、第二内容损失以及深度损失，得到损失函数，并向图像风格变换模型反馈损失值(损失函数求导得到)，以使图像风格变换模型调整自身的参数，完成损失函数的优化，直至损失值小于预设阈值，损失函数的优化结束，图像风格变换模型结束调整自身的参数，得到图像风格变换模型。
需要说明的是，本发明实施例仅以根据一种目标风格图片，训练生成一种图像风格变换模型为例，对图片处理的过程进行说明。图片处理设备可以针对不同风格的目标风格图片，训练生成不同的图像风格变换模型。
示例性的，如表1所示，为本发明实施例提供的一种图像风格变换模型的结构。该图像风格变换模型的结构包括输入层、反射填充层、多个卷积层、至少两个残差模块，以及每层输出的图片大小。如表1，输入层的输出为3×256×256，反射填充层的输出图片大小3×336×336。
表1
层 输出的图片大小
输入 3×256×256
反射填充(40×40) 3×336×336
32×9×9卷积 32×336×336
64×3×3卷积 64×168×168
128×3×3卷积 128×84×84
残差模块，128滤波器 128×80×80
残差模块，128滤波器 128×76×76
残差模块，128滤波器 128×72×72
残差模块，128滤波器 128×68×68
残差模块，128滤波器 128×64×64
64×3×3卷积 64×128×128
32×3×3卷积 32×256×256
3×9×9卷积 3×256×256
其中，反射填充层可以对输入图像风格变换模型的图片进行像素的加和处理，以避免图片的边缘假影现象。表1中，反射填充层对输入的3×256×256大小的图片的上、下、左、右各个边各加20个像素，得到3×336×336大小的图片，并向32×9×9的卷积层输出该3×336×336大小的图片。
如图8所示，为表1中的残差模块的示意图。每个残差模块包含两条路径，其中一条路径是输入特征的直连通路，另一条路径对该特征进行两次或者三次的卷积操作得到该特征的残差，最后再将上述两条路径上的特征相加。
本领域技术人员可以理解，表1中示出的图像风格变换模型的结构并不构成对图像风格变换模型的结构的限定，在不脱离本发明实施例提供的技术方案的前提下，可以包括比表1所示更多或更少的组成部分/模块，或者不同的组成/模块布置。
本发明实施例中，由于训练生成的图像风格变换模型为由对目标风格图片和第一目标训练图片集根据损失函数进行训练得到；并且损失函数的参数包括通过预设的深度预测模型得到的深度损失，即在训练的过程中提取的图片的特征考虑了图片的深度(图片的空间分布)变化引起的损失；因此在根据图像风格变换模型对待处理图片进行风格变换处理时，可以最大程度的保持待处理图片的整体布局和空间分布。
示例性的，如图9所示，为采用现有技术的方法对待处理图片进行风格变换得到的图片，与采用本发明实施例提供的方法对待处理图片进行风格变换得到的图片的效果示意图。其中，图9中，图片(1)为目标风格图片，图片(2)为待处理图片，图片(3)为现有技术的方法得到的风格变换后的图片，图片(4)为本发明实施例的方法得到的风格变换后的图片。
示例性的，如图10所示，为采用现有技术的方法对待处理图片进行风格变换得到的图片，与采用本发明实施例提供的方法对待处理图片进行风格变换得到的图片的效果示意图。其中，图10中，图片(1)为目标风格图片，图片(5)为待处理图片，图片(6)为现有技术的方法得到的风格变换后的图片，图片(7)为本发明实施例的方法得到的风格变换后的图片。
本发明实施例提供一种图片处理方法，图片处理设备可以根据图像风格变换模型对待处理图片进行风格变换，得到风格变换后的图片。由于该图像风格变换模型为由对目标风格图片和第一目标训练图片集根据损失函数进行训练得到；并且损失函数的参数包括深度损失，则在训练生成图像风格变换模型的过程中，考虑了图片的深度(图片的空间分布)变化引起的损失；因此图片处理设备在根据图像风格变换模型对待处理图片进行风格变换时，可以最大程度的保持待处理图片的整体布局和空间分布，提升了用户的体验。
进一步的，本发明实施例中，图片处理设备可以在根据图像风格变换模型对待处理图片进行风格变换之前，预先生成图像风格变换模型。具体的，如图11所示，其示出了本发明实施例提供的另一种图片处理方法，与图5所示的图片处理方法相比，主要是在S502之前增加了S701-S704，在此只对不同的地方进行详细说明，参见图11，该图片处理方法包括：
S501、图片处理设备获取待处理图片。
S701、图片处理设备获取目标风格图片和第一目标训练图片集。
其中，图片处理设备获取的目标风格图片和第一目标训练图片集可以是任何图片，本发明实施例对此不作任何限制。例如，目标风格图片可以为水墨图、素描图等；第一目标训练图片集包含的多张图片为非第一风格的任何图片。
需要说明的是，图片处理设备获取目标风格图片和第一目标训练图片集的方法可以参见上述实施例，此处不再赘述。
S702、图片处理设备设置初始图像风格变换模型的结构和初始参数。
其中，图片处理设备设置可以根据预设的第一图像风格变换模型，设置初始图像风格变换模型的结构。图片处理设备可以设置初始图像风格变换模型中的每个网络层的参数。
示例性的，图片处理设备可以将预设的第一图像风格变换模型的结构中的多个卷积层替换为反射填充层和至少两个残差模块，并输入相应的初始参数。图片处理设备设置的初始图像风格变换模型的结构可以参考表1。图片处理设备的处理器可以给第I层卷积层的滤波器设置一个初始值。
S703、图片处理设备根据预设的深度预测模型和图像分类模型确定损失函数。
其中，图片处理设备的处理器可以根据预设的图像分类模型获取第一内容损失和第二内容损失，以及根据深度预测模型确定深度损失。
示例性的，本发明实施例中，结合图11，如图12所示，上述S703具体可以通过S703a-S703c实现：
S703a、图片处理设备根据图像分类模型获取第一内容损失lc和第二内容损失ls。
其中，图片处理设备可以基于图像分类模型对输入的目标风格图片、目标训练图片(如第一图片)以及风格变换后的训练图片(如第二图片)进行特征提取，确定第一图片和第二图片的内容以及第二图片和目标风格图片的风格，并计算第一图片和第二图片在内容上的损失，以及第二图片和目标风格图片在风格上的损失。
示例性的，本发明实施例中，图片处理设备的处理器可以采用公式
Figure GDA0002485907790000121
计算得到lc；其中，lc为第一内容损失，x为第一图片，
Figure GDA0002485907790000122
为x经过图像风格变换处理后的第二图片，
Figure GDA0002485907790000123
和
Figure GDA0002485907790000124
分别为
Figure GDA0002485907790000125
和x经过图像分类模型选中的j层输出的像素信息，
Figure GDA0002485907790000126
为
Figure GDA0002485907790000127
和
Figure GDA0002485907790000128
之间的归一化平方欧氏距离，Cj×Hj×Wj为j层输出的
Figure GDA0002485907790000129
的图片大小，Cj为j层输出的
Figure GDA00024859077900001210
的通道数，Hj为j层输出的
Figure GDA00024859077900001211
的高度，Wj为j层输出的
Figure GDA00024859077900001212
的宽度。其中，
Figure GDA00024859077900001213
和
Figure GDA00024859077900001214
之间的归一化平方欧氏距离越小，第二图片和第一图片的内容相似度越高，第一内容损失越小。
示例性的，本发明实施例可以采用公式
Figure GDA00024859077900001215
计算得到ls；其中，ls为第二内容损失，ys为目标风格图片，
Figure GDA00024859077900001216
和
Figure GDA00024859077900001217
分别为
Figure GDA00024859077900001218
和ys经过图像分类模型选中的j层输出的像素信息，J为图像分类模型选中的j层的集合，
Figure GDA00024859077900001219
为
Figure GDA00024859077900001220
和
Figure GDA00024859077900001221
之间的弗罗贝尼乌斯的平方。其中，弗罗贝尼乌斯的平方越小，第二图片和目标风格图片的风格相似度越高，第二内容损失越小。
S703b、图片处理设备根据深度预测模型获取深度损失ld。
其中，图片处理设备可以基于深度预测模型对输入的第一图片和第二图片进行特征提取，确定第一图片和第二图片的深度，并计算第一图片和第二图片在空间分布上的损失。
示例性的，本发明实施例中，图片处理设备的处理器可以采用公式
Figure GDA0002485907790000131
计算得到ld；其中，ld为深度损失，x为第一图片，
Figure GDA0002485907790000132
为x经过图像风格变换处理后的第二图片，
Figure GDA0002485907790000133
和φ1(x)分别为
Figure GDA0002485907790000134
和x经过深度预测模型输出的深度信息，
Figure GDA0002485907790000135
为
Figure GDA0002485907790000136
和φ1(x)之间的归一化平方欧氏距离，C×H×W为深度预测模型输出的
Figure GDA0002485907790000137
的图片大小，C为深度预测模型输出的
Figure GDA0002485907790000138
的通道数，H为深度预测模型输出的
Figure GDA0002485907790000139
的高度，W为深度预测模型输出的
Figure GDA00024859077900001310
的宽度。其中，
Figure GDA00024859077900001311
和φ1(x)之间的归一化平方欧氏距离越小，第二图片和第一图片的深度相似度越高，深度损失越小。
S703c、图片处理设备将lc、ls和ld线性相加，得到损失函数lt＝αld+βlc+γls。
其中，α、β和γ分别为ld、lc和ls的权重。
其中，图片处理设备的处理器可以通过改变α、β和γ的值，调整图片风格变换的程度。例如，当β较大时，经过风格变换后的图片更加写实，即第二图片强调第一图片的内容；当γ较大时，经过风格变换后的图片更加抽象，即第二图片强调目标风格图片的风格。
S704、图片处理设备利用目标风格图片和第一目标训练图片集，根据损失函数对初始图像风格变换模型的参数进行优化训练，得到图像风格变换模型。
其中，图片处理设备可以对损失函数进行优化训练得到损失值，并向初始图像风格变换模型反馈损失值，以使初始图像风格变换模型调整自身的参数，直至损失值小于预设阈值，图片处理设备则结束调整图像风格变换模型的参数，得到图像风格变换模型。
示例性的，本发明实施例中，图片处理设备得到图像风格变换模型的具体实现过程为：图片处理设备将第一目标训练图片集中的第i张图片输入初始图像风格变换模型，得到变换后的第i张图片，其中，1≤i≤n，且i为正整数；图片处理设备根据第i张图片、变换后的第i张图片以及目标风格图片对损失函数进行优化训练，得到第i损失值；若第i损失值大于或者等于预设阈值，图片处理设备则根据第i损失值调整初始图像风格变换模型的参数；若第i损失值小于预设阈值，图片处理设备则结束调整初始图像风格变换模型的参数，得到图像风格变换模型。
当然，若第i损失值大于或者等于预设阈值，图片处理设备则在根据第i损失值调整初始图像风格变换模型的参数之后，可以将第一目标训练图片集中的第i+1张图片输入初始图像风格变换模型，得到变换后的第i+1张图片；图片处理设备根据第i+1张图片、变换后的第i+1张图片以及目标风格图片对损失函数进行优化训练，得到第i+1损失值；若第i+1损失值大于或者等于预设阈值，图片处理设备则根据第i+1损失值调整初始图像风格变换模型的参数；若第i+1损失值小于预设阈值，图片处理设备则结束调整初始图像风格变换模型的参数，得到图像风格变换模型。
S502、图片处理设备根据图像风格变换模型对待处理图片进行图像风格变换。
需要说明的是，本发明实施例中可以先执行S501，再执行S701-S704；也可以先执行S701-S704，再执行S501；还可以同时执行S501和S701-S704。本发明实施例对于S501和S701-S704执行的先后顺序不做限制。
相应的，基于图1所示的手机的各模块或组成部分，本发明实施例还提供一种图片处理方法，该方法对图像超分辨率重建的具体过程，进行了详细的介绍。具体的，如图13所示，该方法包括S1301-S1302：
S1301、图片处理设备获取待处理图片。
S1302、图片处理设备根据图像超分辨率模型对待处理图片进行图像超分辨率重建。
其中，图像超分辨率模型由对第一训练图片的低分辨率图片和第二目标训练图片集，根据损失函数进行训练得到。其中，第二目标训练图片集包括n张第一训练图片的高分辨率图片，第一训练图片的低分辨率图片的图片分辨率为第一分辨率，第一训练图片的高分辨率图片的图片分辨率为第二分辨率，第二分辨率大于第一分辨率。
示例性的，图片处理设备可以利用第一训练图片的低分辨率图片和第一训练图片的高分辨率图片，根据损失函数对初始图像超分辨率模型的参数进行优化训练得到。初始图像超分辨率模型为预设的图像超分辨率模型，将第一图片输入初始图像超分辨率模型经过变换后输出第二图片。
示例性的，图像超分辨率模型的结构可以包括输入层、反射填充层、多个卷积层、至少两个残差模块。图像超分辨率模型的结构可以参考表1，残差模块的示意图可以参考图8。本领域技术人员可以理解，图像超分辨率模型的结构并不构成对图像超分辨率模型的限定，在不脱离本发明实施例提供的技术方案的前提下，可以包括比图示更多或更少的组成部分/模块，或者不同的组成/模块布置。
示例性的，损失函数的参数可以包括深度损失和第一内容损失，损失函数可以由深度损失和第一内容损失线性相加得到。第一内容损失为第二图片相对于第一图片在内容上的差别，深度损失为第二图片相对于第一图片在空间分布上的差别。
可选的，本发明实施例中的损失函数可以由第一内容损失和深度损失中的一者或两者的线性相加获得。
示例性的，假设用户选择图片A的低分辨率图片A1和图片A的高分辨率图片A2，手机10的处理器103可以加载与图片A对应的图像超分辨率模型1，将图片A1和图片A2输入至图像超分辨率模型1中进行图片处理，得到图片A3(即为超分辨率重建后的图片)。
本发明实施例提供一种图片处理方法，图片处理设备可以根据图像超分辨率模型对待处理图片进行超分辨率重建，得到超分辨率重建后的图片，增强了待处理图片的分辨率。并且，由于图像超分辨率模型为由对第一训练图片的低分辨率图片和第二目标训练图片集，根据损失函数进行训练得到；损失函数的输入参数包括深度损失，则在训练生成图像超分辨率模型的过程中，考虑了图片的深度(图片的空间分布)变化引起的损失；因此图片处理设备在根据图像超分辨率模型对待处理图片进行超分辨率重建时，可以最大程度的保持待处理图片的整体布局和空间分布，改善边缘的重建质量。
示例性的，本发明实施例中，图片处理设备可以在通过图像超分辨率模型对图片进行超分辨率重建之前，预先生成图像超分辨率模型。具体的，如图14所示，与图13所示的图片处理方法相比，主要是在S1302之前增加了S1401-S1404，在此只对不同的地方进行详细说明，参见图14，该图片处理方法包括：
S1301、图片处理设备获取待处理图片。
S1401、图片处理设备获取第一训练图片的低分辨率图片和第一训练图片的高分辨率图片。
S1402、图片处理设备设置初始图像超分辨率模型的结构和初始参数。
S1403、图片处理设备根据预设的深度预测模型和图像分类模型确定损失函数。
S1404、图片处理设备利用第一训练图片的低分辨率图片和第一训练图片的高分辨率图片，根据损失函数对初始图像超分辨率模型的参数进行优化训练，得到图像超分辨率模型。
S1302、图片处理设备根据图像超分辨率模型对待处理图片进行图像超分辨率重建。
需要说明的是，本发明实施例S1401-S1404的具体描述请参考S701-S704的对应描述，此处不再赘述。
进一步的，本发明实施例中，上述S1403具体可以通过S1403a-S1403c实现：
S1403a、图片处理设备根据图像分类模型获取第一内容损失lc。
S1403b、图片处理设备根据深度预测模型获取深度损失ld。
S1403c、图片处理设备将lc和ld线性相加，得到损失函数lt＝αld+βlc；其中，α和β分别为ld和lc的权重。
需要说明的是，本发明实施例S1403a-S1403c的具体描述请参考S703a-S703c的对应描述，此处不再赘述。
进一步的，本发明实施例中，上述S1404具体实现过程如下：图片处理设备将第二目标训练图片集中的第i张图片输入初始图像超分辨率模型，得到变换后的第i张图片，其中，1≤i≤n，且i为正整数；图片处理设备根据第i张图片、变换后的第i张图片以及第一训练图片的低分辨率图片对损失函数进行优化训练，得到第i损失值；若第i损失值大于或者等于预设阈值，图片处理设备则根据第i损失值调整初始图像超分辨率模型的参数；若第i损失值小于预设阈值，图片处理设备则结束调整初始图像超分辨率模型的参数，得到图像超分辨率模型。
当然，若第i损失值大于或者等于预设阈值，图片处理设备则在根据第i损失值调整初始图像超分辨率模型的参数之后，可以将第一目标训练图片集中的第i+1张图片输入初始图像超分辨率模型，得到变换后的第i+1张图片；图片处理设备根据第i+1张图片、变换后的第i+1张图片以及第一训练图片的低分辨率图片对损失函数进行优化训练，得到第i+1损失值；若第i+1损失值大于或者等于预设阈值，图片处理设备则根据第i+1损失值调整初始图像超分辨率模型的参数；若第i+1损失值小于预设阈值，图片处理设备则结束调整初始图像超分辨率模型的参数，得到图像超分辨率模型。
上述主要从图片处理设备的角度对本发明实施例提供的方案进行了介绍。可以理解的是，图片处理设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的图片处理设备及算法步骤，本发明能够以硬件，或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例对图片处理设备进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本发明实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图15示出了上述和实施例中涉及的图片处理设备的一种可能的结构示意图，如图15所示，该图片处理设备1500可以包括：获取单元1501和图像处理单元1502。
其中，获取模块1501用于支持上述实施例中的S201、S501和S1301，和/或用于本文所描述的技术的其它过程。图像处理单元1502用于支持上述实施例中的S202、S502和S1302，和/或用于本文所描述的技术的其它过程。
进一步的，如图16所示，图15所示的图片处理设备1500还可以包括：生成单元1503。
其中，生成单元1503用于支持上述实施例中的S701-S704、S703a-S703c、S1401-S1404和S1403a-S1403c，和/或用于本文所描述的技术的其它过程。
当然，本发明实施例提供的图片处理设备1500包括但不限于上述所述的模块，例如图片处理设备1500中还可以包括显示单元以及存储单元。例如，存储单元用于存储正样本图片。显示单元，用于显示待处理图片。
在采用集成的单元的情况下，上述获取单元1501、图像处理单元1502和生成单元1503等可以集成在一个处理模块中实现，该处理模块可以是处理器或控制器，例如可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种举例说明逻辑方框，模块和电路。处理模块也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。上述存储单元可以是存储器。上述显示单元可以是显示器。
当上述处理模块为处理器，存储单元为存储器，显示单元为显示器时，本发明实施例所涉及的图片处理设备1500可以为图17所示的图片处理设备1700。如图17所示，图片处理设备1700包括：处理器1701、存储器1702和显示器1703。其中，处理器1701、存储器1702和显示器1703通过总线1704相互连接。
其中，总线1704可以是外设部件互连标准(英文：Peripheral ComponentInterconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended Industry StandardArchitecture，简称：EISA)总线等。上述总线1704可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
图片处理设备1700可以包括一个或多个处理器1701，即图片处理设备1700可以包括多核处理器。
本发明实施例还提供一种计算机存储介质，该计算机存储介质中存储有一个或多个程序代码，当图片处理设备1700的处理器1701执行该程序代码时，该处理器1701执行图2、图5和图11-图14中任一附图中的相关方法步骤。
其中，本发明实施例提供的图片处理设备1700中各个模块的详细描述以及各个模块或单元执行图2、图5和图11-图14中任一附图中的相关方法步骤后所带来的技术效果可以参考本发明方法实施例中的相关描述，此处不再赘述。
本发明实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行图2、图5和图11-图14中任一附图中的相关方法步骤。
其中，本发明实施例提供的图片处理设备1500、图片处理设备1700、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图片处理方法，其特征在于，所述方法包括：
获取待处理图片；
根据图像处理模型对所述待处理图片进行图像处理；其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，所述损失函数的输入参数包括深度损失，所述深度损失用于表征经过所述图像处理的图片的深度信息的变化；
所述损失函数的输入参数还包括内容损失，所述内容损失包括第一内容损失和/或第二内容损失；所述损失函数由所述深度损失、所述第一内容损失、所述第二内容损失中的一者或多者的线性相加获得；所述深度损失由如下公式表示：
Figure FDA0002679745790000011
其中，ld为所述深度损失，x为负样本图片，
Figure FDA0002679745790000012
为x经过所述图像处理的图片，
Figure FDA0002679745790000013
和φ1(x)分别为
Figure FDA0002679745790000014
和x经过预设的深度预测模型输出的深度信息，
Figure FDA0002679745790000015
为
Figure FDA0002679745790000016
和φ1(x)之间的归一化平方欧氏距离，C×H×W为所述深度预测模型输出的
Figure FDA0002679745790000017
的图片大小，C为所述深度预测模型输出的
Figure FDA0002679745790000018
的通道数，H为所述深度预测模型输出的
Figure FDA0002679745790000019
的高度，W为所述深度预测模型输出的
Figure FDA00026797457900000110
的宽度。
2.根据权利要求1所述的方法，其特征在于，所述内容损失用于表征经过所述图像处理的图片的像素信息的变化。
3.根据权利要求1或2所述的方法，其特征在于，所述第一内容损失由如下公式表示：
Figure FDA00026797457900000111
其中，lc为所述第一内容损失，
Figure FDA00026797457900000112
和φ0 j(x)分别为
Figure FDA00026797457900000113
和x经过预设的图像分类模型选中的j层输出的像素信息，
Figure FDA00026797457900000114
为
Figure FDA00026797457900000115
和
Figure FDA00026797457900000116
之间的归一化平方欧氏距离，Cj×Hj×Wj为j层输出的
Figure FDA00026797457900000117
的图片大小，Cj为j层输出的
Figure FDA00026797457900000118
的通道数，Hj为j层输出的
Figure FDA00026797457900000119
的高度，Wj为j层输出的
Figure FDA00026797457900000120
的宽度；
所述第二内容损失由如下公式表示：
Figure FDA00026797457900000121
其中，ls为所述第二内容损失，ys为所述正样本图片，
Figure FDA00026797457900000122
和
Figure FDA00026797457900000123
分别为
Figure FDA00026797457900000124
和ys经过所述图像分类模型选中的j层输出的像素信息，J为所述图像分类模型选中的j层的集合，
Figure FDA0002679745790000021
为
Figure FDA0002679745790000022
和
Figure FDA0002679745790000023
之间的弗罗贝尼乌斯的平方。
4.根据权利要求1所述的方法，其特征在于，当所述损失函数的输入参数包括所述深度损失、所述第一内容损失以及所述第二内容损失时，所述损失函数由如下公式表示：lt＝αld+βlc+γls；其中，lt为所述损失函数，α、β和γ分别为ld、lc和ls的权重，lc为所述第一内容损失，ls为所述第二内容损失。
5.根据权利要求1-2或4任一项所述的方法，其特征在于，所述图像处理，包括：图像超分辨率重建处理。
6.根据权利要求1-2或4任一项所述的方法，其特征在于，所述图像处理，包括：图像风格变换处理，图像风格用于表征图像的纹理信息。
7.根据权利要求1-2或4任一项所述的方法，其特征在于，在所述根据图像处理模型对所述待处理图片进行图像处理之前，所述方法包括生成所述图像处理模型的过程，具体包括：
获取所述正样本图片和所述至少两个负样本图片；
设置初始图像处理模型的结构和初始参数；
根据预设的深度预测模型和图像分类模型确定所述损失函数；
利用所述正样本图片和至少两个负样本图片根据所述损失函数对所述初始图像处理模型的参数进行优化训练，得到所述图像处理模型。
8.根据权利要求7所述的方法，其特征在于，所述设置所述初始图像处理模型的结构和初始参数，包括：
采用预设的第一图像处理模型，设置所述初始图像处理模型的结构和初始参数，所述初始图像处理模型的结构包括反射填充层和至少两个残差模块。
9.一种图片处理设备，其特征在于，包括：获取单元和图像处理单元；
所述获取单元，用于获取待处理图片；
所述处理单元，用于根据图像处理模型对所述待处理图片进行图像处理；其中，图像处理模型由对一个正样本图片和至少两个负样本图片根据损失函数进行训练获得，所述损失函数的输入参数包括深度损失，所述深度损失用于表征经过所述图像处理的图片的深度信息的变化；
所述损失函数的输入参数还包括内容损失，所述内容损失包括第一内容损失和/或第二内容损失；所述损失函数由所述深度损失、所述第一内容损失、所述第二内容损失中的一者或多者的线性相加获得；
其特征在于，所述深度损失由如下公式表示：
Figure FDA0002679745790000024
其中，ld为所述深度损失，x为负样本图片，
Figure FDA0002679745790000025
为x经过所述图像处理的图片，
Figure FDA0002679745790000026
和φ1(x)分别为
Figure FDA0002679745790000027
和x经过预设的深度预测模型输出的深度信息，
Figure FDA0002679745790000031
为
Figure FDA0002679745790000032
和φ1(x)之间的归一化平方欧氏距离，C×H×W为所述深度预测模型输出的
Figure FDA0002679745790000033
的图片大小，C为所述深度预测模型输出的
Figure FDA0002679745790000034
的通道数，H为所述深度预测模型输出的
Figure FDA0002679745790000035
的高度，W为所述深度预测模型输出的
Figure FDA0002679745790000036
的宽度。
10.根据权利要求9所述的图片处理设备，其特征在于，所述内容损失用于表征经过所述图像处理的图片的像素信息的变化。
11.根据权利要求9或10所述的图片处理设备，其特征在于，所述第一内容损失由如下公式表示：
Figure FDA0002679745790000037
其中，lc为所述第一内容损失，
Figure FDA0002679745790000038
和
Figure FDA0002679745790000039
分别为
Figure FDA00026797457900000310
和x经过预设的图像分类模型选中的j层输出的像素信息，
Figure FDA00026797457900000311
为
Figure FDA00026797457900000312
和
Figure FDA00026797457900000313
之间的归一化平方欧氏距离，Cj×Hj×Wj为j层输出的
Figure FDA00026797457900000314
的图片大小，Cj为j层输出的
Figure FDA00026797457900000315
的通道数，Hj为j层输出的
Figure FDA00026797457900000316
的高度，Wj为j层输出的
Figure FDA00026797457900000317
的宽度；
所述第二内容损失由如下公式表示：
Figure FDA00026797457900000318
其中，ls为所述第二内容损失，ys为所述正样本图片，
Figure FDA00026797457900000319
和
Figure FDA00026797457900000320
分别为
Figure FDA00026797457900000321
和ys经过所述图像分类模型选中的j层输出的像素信息，J为所述图像分类模型选中的j层的集合，
Figure FDA00026797457900000322
为
Figure FDA00026797457900000323
和
Figure FDA00026797457900000324
之间的弗罗贝尼乌斯的平方。
12.根据权利要求9所述的图片处理设备，其特征在于，当所述损失函数的输入参数包括所述深度损失、所述第一内容损失以及所述第二内容损失时，所述损失函数由如下公式表示：lt＝αld+βlc+γls；其中，lt为所述损失函数，α、β和γ分别为ld、lc和ls的权重，lc为所述第一内容损失，ls为所述第二内容损失。
13.根据权利要求9-10或12任一项所述的图片处理设备，其特征在于，所述图像处理，包括：图像超分辨率重建处理。
14.根据权利要求9-10或12任一项所述的图片处理设备，其特征在于，所述图像处理，包括：图像风格变换处理，图像风格用于表征图像的纹理信息。
15.根据权利要求9-10或12任一项所述的图片处理设备，其特征在于，所述图片处理设备，还包括：生成单元；
所述生成单元，用于在所述图像处理单元根据所述图像处理模型对所述待处理图片进行图像处理之前，生成所述图像处理模型；
所述生成单元，具体用于：
获取所述正样本图片和所述至少两个负样本图片；
设置初始图像处理模型的结构和初始参数；
根据预设的深度预测模型和图像分类模型确定所述损失函数；
利用所述正样本图片和至少两个负样本图片根据所述损失函数对所述初始图像处理模型的参数进行优化训练，得到所述图像处理模型。
16.根据权利要求15所述的图片处理设备，其特征在于，所述生成单元，具体用于：
采用预设的第一图像处理模型，设置所述初始图像处理模型的结构和初始参数，所述初始图像处理模型的结构包括反射填充层和至少两个残差模块。
17.一种图片处理设备，其特征在于，所述图片处理设备包括：处理器、存储器和显示器；
所述存储器用于存储计算机执行指令，所述处理器、所述显示器与所述存储器通过总线连接，当所述图片处理设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述图片处理设备执行如权利要求1-8中任一项所述的图片处理方法。
18.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在一个图片处理设备上运行时，使得所述图片处理设备执行如权利要求1-8中任一项所述的图片处理方法。
CN201710602208.4A 2017-07-21 2017-07-21 一种图片处理方法及设备 Active CN109285114B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710602208.4A CN109285114B (zh) 2017-07-21 2017-07-21 一种图片处理方法及设备
PCT/CN2018/079367 WO2019015348A1 (zh) 2017-07-21 2018-03-16 一种图片处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710602208.4A CN109285114B (zh) 2017-07-21 2017-07-21 一种图片处理方法及设备

Publications (2)

Publication Number Publication Date
CN109285114A CN109285114A (zh) 2019-01-29
CN109285114B true CN109285114B (zh) 2020-12-15

Family

ID=65015804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710602208.4A Active CN109285114B (zh) 2017-07-21 2017-07-21 一种图片处理方法及设备

Country Status (2)

Country Link
CN (1) CN109285114B (zh)
WO (1) WO2019015348A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484867A (zh) * 2014-12-30 2015-04-01 小米科技有限责任公司 图片处理方法及装置
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467601B2 (en) * 2010-09-15 2013-06-18 Kyran Daisy Systems, methods, and media for creating multiple layers from an image
US9792492B2 (en) * 2015-07-07 2017-10-17 Xerox Corporation Extracting gradient features from neural networks
CN106886975B (zh) * 2016-11-29 2019-07-02 华南理工大学 一种可实时运行的图像风格化方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN106847294B (zh) * 2017-01-17 2018-11-30 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN106951484B (zh) * 2017-03-10 2020-10-30 百度在线网络技术（北京）有限公司 图片检索方法及装置、计算机设备及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484867A (zh) * 2014-12-30 2015-04-01 小米科技有限责任公司 图片处理方法及装置
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备

Also Published As

Publication number Publication date
WO2019015348A1 (zh) 2019-01-24
CN109285114A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN106504185B (zh) 一种渲染优化方法和装置
CN110324489B (zh) 一种移动终端显示多个应用窗口的方法及移动终端
CN107818288A (zh) 标志牌信息获取方法及装置
CN107833178A (zh) 一种图像处理方法、装置及移动终端
WO2016184276A1 (zh) 一种人脸关键点位定位结果的评估方法，及评估装置
WO2016173350A1 (zh) 图片处理方法及装置
CN107862660B (zh) 数据优化方法、装置及超声平台
CN108271012A (zh) 一种深度信息的获取方法、装置以及移动终端
CN107734260A (zh) 一种图像处理方法及移动终端
US10019464B2 (en) Apparatus and method for searching for image
CN108702661A (zh) 一种调整手机选网参数的方法和装置
CN104915625B (zh) 一种人脸识别的方法及装置
US10324134B2 (en) Method and device for ascertaining required charging time
WO2022194258A1 (zh) 一种训练牙模形变模型的方法及装置
CN105992001B (zh) 一种对图片进行量化处理的方法及装置
CN110991445B (zh) 竖排文字识别方法、装置、设备及介质
CN107330867B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN109195191A (zh) 一种小区重选控制方法及终端
CN108225278A (zh) 一种测距方法、移动终端
CN109285114B (zh) 一种图片处理方法及设备
CN109274957A (zh) 一种深度图像拍摄方法及移动终端
CN112166441A (zh) 数据处理方法、装置及计算机可读存储介质
CN109579752A (zh) 一种测量方法及终端设备
CN107895389A (zh) 一种图片显示方法、装置、移动终端及存储介质
CN107291453A (zh) 组件显示方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant