CN113450282B - 美化图像的方法和系统 - Google Patents

美化图像的方法和系统 Download PDF

Info

Publication number
CN113450282B
CN113450282B CN202110785999.5A CN202110785999A CN113450282B CN 113450282 B CN113450282 B CN 113450282B CN 202110785999 A CN202110785999 A CN 202110785999A CN 113450282 B CN113450282 B CN 113450282B
Authority
CN
China
Prior art keywords
image
pixel
pixels
modification
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110785999.5A
Other languages
English (en)
Other versions
CN113450282A (zh
Inventor
张拳石
程煦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110785999.5A priority Critical patent/CN113450282B/zh
Publication of CN113450282A publication Critical patent/CN113450282A/zh
Priority to PCT/CN2022/105200 priority patent/WO2023284738A1/zh
Application granted granted Critical
Publication of CN113450282B publication Critical patent/CN113450282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及计算机视觉领域、机器学习技术领域，公开了一种美化图像的方法和系统，在无需借助任何额外的人为的审美信息标注的情况下，可实现自动提升任意图像的美感。该方法包括：提供一待美化图像；将该待美化图像输入一神经网络，该神经网络为面向视觉应用的预训练好的深度神经网络；基于该神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，基于该边际效用确定该图像中的显著信号和噪声信号；对该噪声信号进行抑制和/或对该显著信号进行增强，以得到经美化的图像。

Description

美化图像的方法和系统
技术领域
本申请涉及计算机视觉领域、机器学习技术领域，特别涉及一种美化图像的方法和系统技术。
背景技术
目前，图像质量提升技术通常是以有监督学习的方式，利用大量人为标注的审美信息，学习一个神经网络(neural network)去模仿人们的审美。但是，这些技术基本上都是人为定义的工具，无法自动提升任意场景或任意图像/图片的美感，即现有的技术无法定义任意图像中“美”的概念。
因此，通过定义图像中的“美”的概念，并依托于此实现自动提升任意图像的美感是一个亟待解决的问题。
发明内容
本申请的目的在于提供一种美化图像的方法和系统，在无需借助任何额外的人为的审美信息标注的情况下，可实现自动提升任意图像的美感。
本申请公开了一种美化图像的方法，包括以下步骤：
(a)提供一待美化图像；
(b)将所述待美化图像输入一神经网络，该神经网络为计算机视觉领域的相关数据集上预训练好的深度神经网络；
(c)基于所述神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，基于所述边际效用确定所述图像中的显著信号和噪声信号；
(d)对所述噪声信号进行抑制和/或对所述显著信号进行增强，以得到经美化的图像。
在一个优选例中，所述步骤(c)进一步包括以下步骤：
基于所述神经网络f的一中间层输出，给定像素或超像素上下文L，计算像素或超像素i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)；
基于所述边际效用的强度|Δf(i,L)|，确定包含噪声信号的像素或超像素 (i,L)的集合中边际效用的强度最小的百分之m1为所述噪声信号以及包含显著信号的像素或超像素(i,L)的集合中边际效用的强度最大的百分之m2为所述显著信号，m1＞0、m2＞0。
在一个优选例中，m1取值为50-70，m2取值为5-15。
在一个优选例中，所述步骤(c)进一步包括以下子步骤：
基于所述神经网络的一中间层输出计算所述图像上各像素或超像素的沙普利值中的所述边际效用；
基于所计算的边际效用确定所述图像中的所述显著信号和所述噪声信号，所述显著信号的边际效用的强度显著大于所述噪声信号的边际效用的强度。
在一个优选例中，所述显著信号的边际效用的强度≥Z1,所述噪声信号的边际效用的强度≤Z2，
Figure BDA0003159230890000021
在一个优选例中，所述中间层为任一卷积层，或任一全连接层。
在一个优选例中，所述计算机视觉领域的相关数据集为图像数据集。
在一个优选例中，所述步骤(d)进一步包括以下步骤：
通过图像修改函数来抑制所述噪声信号和/或增强所述显著信号，以修改所述图像的各美化参数，得到经美化的图像；其中，所述图像修改损失函数为：
Figure BDA0003159230890000022
其中i1∈N\L1,i2∈N\L2；Ω1表示的是大量的联盟，每个联盟表示的是包含噪声信号的像素或超像素(i,L)的集合，从而产生较小的|Δf(i,L)|值；Ω2表示的是大量的联盟，每个联盟表示的是包含显著信号的像素或超像素或超像素或超像素(i,L)的集合，从而产生较大的|Δf(i,L)|值；r表示的是上下文L中所包含的像素或超像素个数且1≤r≤0.5n；n表示所述图像的像素或超像素总数；α为与神经网络相关的用于平衡抑制噪声信号的作用和增强显著信号的作用的超参数；Er[·表示对所有的上下文L中所包含的像素或超像素个数求均值；
Figure BDA0003159230890000031
表示对所有包含噪声信号的像素或超像素(i,L)的集合求均值；
Figure BDA0003159230890000032
表示对所有包含显著信号的像素或超像素(i,L)的集合求均值。
在一个优选例中，所述方法还包括以下步骤：
重复T1次步骤(d)，或者重复多次步骤(d)直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算所述图像修改函数，并基于重新计算的所述图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改所述图像的各美化参数；其中，所述优化函数为：
Figure BDA0003159230890000033
其中θ＝{k(c,hue),k(c,sat),k(c,bright),k(c,blur/sharp)|c∈Ncenter}，Ncenter代表所述图像中预先划分的各子区域的中心点的集合。
在一个优选例中，所述基于更新得到的各美化参数修改量修改所述图像的各美化参数，进一步包括以下子步骤：
预先将所述图像划分为多个子区域；
对于每个子区域，利用二元掩膜计算所有被边缘或物体轮廓阻挡的不可修改的像素或超像素边界Mc，并利用圆锥型模版根据公式 Gij＝max(1-λ·||pij-c||2，0)计算感受野中每个像素或超像素的修改强度 G，其中，c表示该子区域的中心点，||pij-c||2表示该子区域中另一个像素或超像素(i,j)与该子区域的中心点c的欧几里德距离，λ表示控制感受野范围的超参数且λ可取0-1中的任意常数；
基于所计算的所述不可修改的像素或超像素边界Mc、所述感受野中每个像素或超像素的修改强度G以及该子区域的各美化参数修改量k(c,x)，利用公式
Figure BDA0003159230890000041
计算该子区域中所有像素或超像素的美化参数的修改效应；
计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以实现平滑地修改所述图像的各美化参数。
在一个优选例中，所述美化参数包括色度、饱和度、亮度和锐化程度中的一者或多者。
在一个优选例中，所述美化参数包括色度、饱和度、亮度和锐化程度；
所述计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以平滑地修改所述图像的各美化参数，进一步包括以下子步骤：
对于色度hue，根据公式
Figure BDA0003159230890000042
和
Figure BDA0003159230890000043
计算每个像素或超像素(i,j)的修改后的色度值，其中Nij表示周围所有像素或超像素，
Figure BDA0003159230890000044
和
Figure BDA0003159230890000045
分别表示所述图像中像素或超像素(i,j)的原始色度值和修改后的色度值且
Figure BDA0003159230890000046
β(hue)表示超参数，tanh(·)函数用于控制图像修改的值阈范围且最大值被超参数β(hue)所决定，
Figure BDA0003159230890000047
表示每个像素或超像素(i,j)的色度的修改总效应；
对于饱和度sat，根据公式
Figure BDA0003159230890000048
和
Figure BDA0003159230890000051
计算每个像素或超像素(i,j)的修改后的饱和度值，其中
Figure BDA0003159230890000052
和
Figure BDA0003159230890000053
分别表示所述图像中像素或超像素(i,j) 的原始饱和度值和修改后的饱和度值且
Figure BDA0003159230890000054
β(sat)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(sat)所决定，
Figure BDA0003159230890000055
表示每个像素或超像素(i,j)的饱和度的修改总效应；
对于亮度bright，根据
Figure BDA0003159230890000056
和
Figure BDA0003159230890000057
计算每个像素或超像素(i,j)的修改后的亮度值，其中
Figure BDA0003159230890000058
和
Figure BDA0003159230890000059
分别表示所述图像中像素或超像素(i,j)的原始亮度值和修改后的亮度值且
Figure BDA00031592308900000510
β(bright)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(bright)所决定，
Figure BDA00031592308900000511
表示每个像素或超像素(i,j)的亮度的修改总效应；
对于锐化程度blur/sharp，根据公式
Figure BDA00031592308900000512
和
Figure BDA00031592308900000513
计算每个像素或超像素(i,j)的修改后的锐化程度值，其中，
Figure BDA00031592308900000514
表示像素或超像素层面的图像模糊，x(blur)表示用高斯模糊操作模糊后的图像，-Δxij表示像素或超像素层面的图像锐化，
Figure BDA00031592308900000515
指示像素或超像素(i,j)是被模糊还是被锐化且∈[-1,1]，如果
Figure BDA00031592308900000516
则该像素或超像素被模糊，否则被锐化。
在一个优选例中，所述方法还包括以下步骤：
以迭代的方式重复T2次步骤(b)至(d)，或者重复多次步骤(b)至(d) 直至最新计算的经美化的图像的修改损失值下降并收敛，其中，将每次迭代得到的所述经美化的图像作为下次迭代的输入图像。
本申请公开了一种美化图像的系统，该系统包括：
输入模块，被配置为提供一待美化图像；
显著和噪声信号处理模块，其配置有神经网络且该神经网络为计算机视觉领域的相关数据集上预训练好的深度神经网络，所述图像修改模块被配置为将所述图像输入一神经网络，基于所述神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，并基于所述边际效用确定所述图像中的显著信号和噪声信号；
图像美化模块，被配置为对所述噪声信号进行抑制和/或对所述显著信号进行增强，以得到经美化的图像。
在一个优选例中，所述显著和噪声信号处理模块还被配置为：基于所述神经网络f的一中间层输出，给定像素或超像素上下文L，计算像素或超像素 i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)；基于所述边际效用的强度|Δf(i,L)|，确定包含噪声信号的像素或超像素(i,L)的集合中边际效用的强度最小的百分之m1为所述噪声信号以及包含显著信号的像素或超像素 (i,L)的集合中边际效用的强度最大的百分之m2为所述显著信号，m1＞ 0、m2＞0。
在一个优选例中，m1取值为50-70，m2取值为5-15。
在一个优选例中，所述显著和噪声信号处理模块还被配置为：基于所述神经网络的一中间层输出计算所述图像上各像素或超像素的沙普利值中的所述边际效用；基于所计算的边际效用确定所述图像中的所述显著信号和所述噪声信号，所述显著信号的边际效用的强度显著大于所述噪声信号的边际效用的强度。
在一个优选例中，所述显著信号的边际效用的强度≥Z1,所述噪声信号的边际效用的强度≤Z2，
Figure BDA0003159230890000061
在一个优选例中，所述中间层为任一卷积层，或任一全连接层。
在一个优选例中，所述计算机视觉领域的相关数据集为图像数据集。
在一个优选例中，所述图像美化模块还被配置为：通过图像修改函数来抑制所述噪声信号和/或增强所述显著信号，以修改所述图像的各美化参数，得到经美化的图像；其中，所述图像修改损失函数为：
Figure BDA0003159230890000071
其中， i1∈N\L1,i2∈N\L2；Ω1表示的是大量的联盟，每个联盟表示的是包含噪声信号的像素或超像素(i,L)的集合，从而产生较小的|Δf(i,L)|值；Ω2表示的是大量的联盟，每个联盟表示的是包含显著信号的像素或超像素或超像素或超像素(i,L)的集合，从而产生较大的|Δf(i,L)|值；r表示的是上下文L中所包含的像素或超像素个数且1≤r≤0.5n；n表示所述图像的像素或超像素总数；α为与神经网络相关的用于平衡抑制噪声信号的作用和增强显著信号的作用的超参数；Er[·表示对所有的上下文L中所包含的像素或超像素个数求均值；
Figure BDA0003159230890000072
表示对所有包含噪声信号的像素或超像素(i,L)的集合求均值；
Figure BDA0003159230890000073
表示对所有包含显著信号的像素或超像素(i,L)的集合求均值。
在一个优选例中，所述图像美化模块还被配置为：重复T1次步骤(d)，或者重复多次步骤(d)直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算所述图像修改函数，并基于重新计算的所述图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改所述图像的各美化参数；其中，所述优化函数为：
Figure BDA0003159230890000074
其中，θ＝{k(c,hue),k(c,sat),k(c,bright),k(c,blur/sharp)|c∈Ncenter}，Ncenter代表所述图像中预先划分的各子区域的中心点的集合。
在一个优选例中，所述图像美化模块还被配置为：预先将所述图像划分为多个子区域；对于每个子区域，利用二元掩膜计算所有被边缘或物体轮廓阻挡的不可修改的像素或超像素边界Mc，并利用圆锥型模版根据公式 Gij＝max(1-λ·||pij-c||2，0)计算感受野中每个像素或超像素的修改强度 G，其中，c表示该子区域的中心点，||pij-c||2表示该子区域中另一个像素或超像素(i,j)与该子区域的中心点c的欧几里德距离，λ表示控制感受野范围的超参数且λ可取0-1中的任意常数；基于所计算的所述不可修改的像素或超像素边界Mc、所述感受野中每个像素或超像素的修改强度G以及该子区域的各美化参数修改量k(c,x)，利用公式
Figure BDA0003159230890000081
计算该子区域中所有像素或超像素的美化参数的修改效应；计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以实现平滑地修改所述图像的各美化参数。
在一个优选例中，所述美化参数包括色度、饱和度、亮度和锐化程度中的一者或多者。
在一个优选例中，所述美化参数包括色度、饱和度、亮度和锐化程度；
所述图像美化模块还被配置为：对于色度hue，根据公式
Figure BDA0003159230890000082
和
Figure BDA0003159230890000083
计算每个像素或超像素(i,j)的修改后的色度值，其中Nij表示周围所有像素或超像素，
Figure BDA0003159230890000084
和
Figure BDA0003159230890000085
分别表示所述图像中像素或超像素(i,j)的原始色度值和修改后的色度值且
Figure BDA0003159230890000086
β(hue)表示超参数，tanh(·)函数用于控制图像修改的值阈范围且最大值被超参数β(hue)所决定，
Figure BDA0003159230890000087
表示每个像素或超像素(i,j)的色度的修改总效应；对于饱和度sat，根据公式
Figure BDA0003159230890000088
和
Figure BDA0003159230890000089
计算每个像素或超像素(i,j)的修改后的饱和度值，其中
Figure BDA00031592308900000810
和
Figure BDA00031592308900000811
分别表示所述图像中像素或超像素(i,j) 的原始饱和度值和修改后的饱和度值且
Figure BDA00031592308900000812
β(sat)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(sat)所决定，
Figure BDA00031592308900000813
表示每个像素或超像素(i,j)的饱和度的修改总效应；对于亮度bright，根据
Figure BDA0003159230890000091
和
Figure BDA0003159230890000092
计算每个像素或超像素(i,j)的修改后的亮度值，其中
Figure BDA0003159230890000093
和
Figure BDA0003159230890000094
分别表示所述图像中像素或超像素(i,j)的原始亮度值和修改后的亮度值且
Figure BDA0003159230890000095
β(bright)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(bright)所决定，
Figure BDA0003159230890000096
表示每个像素或超像素(i,j)的亮度的修改总效应；对于锐化程度blur/sharp，根据公式
Figure BDA0003159230890000097
和
Figure BDA0003159230890000098
计算每个像素或超像素(i,j)的修改后的锐化程度值，其中，
Figure BDA0003159230890000099
表示像素或超像素层面的图像模糊， x(blur)表示用高斯模糊操作模糊后的图像，-Δxij表示像素或超像素层面的图像锐化，
Figure BDA00031592308900000910
指示像素或超像素(i,j)是被模糊还是被锐化且∈[-1,1]，如果
Figure BDA00031592308900000911
则该像素或超像素被模糊，否则被锐化。
在一个优选例中，所述系统还包括迭代模块，被配置为：以迭代的方式重复T2次步骤(b)至(d)，或者重复多次步骤(b)至(d)直至最新计算的经美化的图像的修改损失值下降并收敛，其中，将每次迭代得到的所述经美化的图像作为下次迭代的输入图像。
本申请还公开了一种美化图像的设备，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
与现有技术相比，本申请的实施方式的有益效果在于：
构建了模拟人类神经网络对美感的系统，所述系统脱离现有的有监督学习方式，无需人为标注图片审美信息，就能够实现任意图像的机器自动提升美感。
基于所述神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，进而实现图像中噪声信号和显著信号的确定，基于抑制所述噪声信号和/或增强所述显著信号以修改所述图像的原则来修改图像，实现图像的美化。
设计图像修改损失函数并利用该图像修改损失函数精确控制抑制噪声信号和/或增强显著信号的过程，实现图像的自动精准美化。
在进行图像美化参数的修改过程中，分别为各美化参数设计对应的图像参数修改公式，进一步实现图像的自动美化精准过程。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E 的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的美化图像的方法流程示意图；
图2根据本申请的修改图像色度、饱和度、亮度和锐化程度的示意图；
图3是根据本申请的修改后的图片和原始图片的对比图；
图4是根据本申请的一个实施例的美化方法流程示意图；
图5是根据本申请的一个示例修改图片的迭代过程示意图；
图6是根据本申请第二实施方式的美化图像的系统结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
术语解释：
神经美学假设：是指美的图像会让神经网络增强显著信号，并削弱噪声信号。
超像素：在计算机视觉领域，图像分割(Segmentation)指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。
边际效用：是指某个像素或超像素的存在对神经网络的输出所带来的贡献。
显著信号，噪声信号：给定一个训练好的神经网络f，对网络输出具有显著影响|Δf(i,L)|的上下文L认为是显著信号，而对网络输出具有可忽略影响 |Δf(i,L)|的上下文L则被认为是噪声信号。即，具有较大|Δf(i,L)|的值的上下文L被认为显著信号，而具有极小|Δf(i,L)|的值的上下文L被认为噪声信号。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种美化图像的方法，其流程如图1所示，该方法包括以下步骤：
在步骤101中：提供一待美化图像。
任意风格的图像均可以作为本申请的待美化的输入原始图像，例如但不限于包括物体图像、场景图像、人物图像等。本申请的图像可以但不限于是图片或视频帧。
之后，进入步骤102：将该待美化图像输入一神经网络，该神经网络为计算机视觉领域的图像数据集上或面向视觉应用的预训练好的深度神经网络。
可选地，该计算机视觉领域的数据集为图像数据集。
对于该深度神经网络，例如在ImageNet数据集上已经训练好的1000类物体分类模型。例如图3是利用了ImageNet数据集上已经训练好的1000类物体分类的VGG-16网络模型去修改ImageNet数据集中的图片的示例。需要指出，本申请预先训练好的深度神经网络不限于分类模型。本申请不对所采用神经网络的网络结构作限制，即本申请的神经网络可以采用各种网络结构。
之后，进入步骤103：基于该神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，基于该边际效用确定该图像中的显著信号和噪声信号。
可选地，改步骤103可以进一步实现为：基于该神经网络f的中间层输出，给定像素或超像素上下文L，计算像素或超像素i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)；基于所计算的边际效用Δf(i,L)，划分出包含噪声信号的像素或超像素(i,L)的集合中边际效用的强度最小的百分之m1为该噪声信号以及包含显著信号的像素或超像素(i,L)的集合中边际效用的强度最大的百分之m2为该显著信号。优选地，m1取值为50-70，m2取值为5-15。
本申请步骤103计算边际效用的方法多种多样。例如步骤103可以利用梯度计算输入图片中的哪些像素或者超像素对神经网络输出具有显著影响，例如Grad-CAM，梯度大的像素被认为对网络输出具有显著作用。例如步骤103 还可以通过对输入图片x加入噪声δ，观察输入图片上哪些像素或者超像素对神经网络f(·)输出的影响有较大的改变，若这些像素改变量f(x+δ)-f(x)较大，则可以认为像素较为重要。在一个具体实施例中，步骤103可以采用沙普利值法(Shapley value)计算图像中各像素或超像素对网络输出产生的边际效用，即：基于该神经网络的一中间层输出计算该图像上各像素或超像素的沙普利值中的该边际效用；基于所计算的边际效用划分出该图像中的该显著信号和该噪声信号，该显著信号的边际效用的强度大于该噪声信号的边际效用的强度。优选地，该显著信号的边际效用的强度显著大于该噪声信号的边际效用的强度，该显著信号的边际效用的强度≥Z1,该噪声信号的边际效用的强度≤Z2，可选地，
Figure BDA0003159230890000131
在该实施例中该的沙普利值法是博弈论中一种公平无偏测量每个像素对网络输出的效用(utility)的方法。给定一个训练好的神经网络f，和一张包含n个像素的原始图片x，有些像素互相配合形成一个上下文(context)L去影响网络的输出，沙普利值φ(i|N)测量了某个像素i对网络输出的效用，公式如下：
Figure BDA0003159230890000132
上式中，N＝{1,2,…,n}表示所有像素的集合，|L|表示上下文L所包含的像素个数。Δf(i,L)＝f(i∪L)-f(L)表示的是，给定某个上下文L，像素i对网络输出所产生的边际效用(marginal utility)。
可选地，该步骤103中该的中间层可以是其神经网络的任一中间层，例如但不限于任一卷积层或全连接层等，所得到的边际效用Δf(i,L)∈Rd是一个向量。例如，在图3所示示例中的边际效用Δf(i,L)是利用VGG-16网络的第二个全连接层的输出进行计算的。
之后，进入步骤104：对该噪声信号进行抑制和/或对该显著信号进行增强，以得到经美化的图像。
可选地，该步骤104进一步实现为：基于神经美学假设，通过图像修改函数来抑制该噪声信号和/或增强该显著信号，以修改该图像的各美化参数，得到经美化的图像。具体的，本申请提出的神经美学假设是指美的图像会让神经网络增强显著信号并削弱噪声信号。本申请可以基于神经美学假设，通过图像修改损失函数来惩罚、抑制对网络输出具有可忽略影响|Δf(i,L)|的噪声信号并加强对网络输出具有显著影响|Δf(i,L)|的显著信号来提升图片的美感。
可选地，图像修改损失函数表示为：
Figure BDA0003159230890000141
上式中，i1∈N\L1,i2∈N\L2；Ω1代表的是大量的联盟(coalition)，每个联盟表示的是包含噪声信号的像素(i,L)的集合，从而产生较小的 |Δf(i,L)|值；Ω2代表的是大量的联盟(coalition)，每个联盟表示的是包含显著信号的像素(i,L)的集合，从而产生较大的|Δf(i,L)|值；r(1≤r≤0.5n) 代表的是上下文L中所包含的像素个数，α(α一般取在10左右)是一个用于平衡抑制噪声信号的作用和增强显著信号的作用的正数，不同网络一般不同； E[·]代表求均值操作；Er[·]代表对所有的上下文L中所包含的像素个数求均值；
Figure BDA0003159230890000142
代表对所有包含噪声信号的像素(i,L)的集合求均值；类似地，
Figure BDA0003159230890000143
代表对所有包含显著信号的像素(i,L)的集合求均值。
为了更加有效地抑制噪声信号和/或增强显著信号，在本发明的一个可选实施例，用神经网络特征层的输出值为输入上下文L所获得的效用f(L)∈Rd，例如某个卷积层或全连接层的输出，(i,L)∈Ω1中‖Δf(i,L)‖2值最小的百分之 m1被认为是噪声信号，(i,L)∈Ω2中‖Δf(i,L)‖2值最大的百分之m2被认为是显著信号。
由于‖Δf(i,L)‖2是重尾分布，在本发明的实施例中，可选地，m1取值为 50-70，m2取值为5-15，例如在图3的例子中，m1＝60，m1＝15。可选地， m1取值为10-90，m2取值为3-50。需要说明的是，本申请中m1和m2取值可以根据需要设置，不限于这些可选项。
可选地，该方法还包括以下步骤：
重复T1次步骤104，或者重复多次步骤104直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算该图像修改函数，并基于重新计算的该图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改该图像的各美化参数；其中，该优化函数为：
Figure BDA0003159230890000151
上式中，θ＝{k(c,hue),k(c,sat),k(c,bright),k(c,blur/sharp)|c∈Ncenter}，Ncenter代表该图像中预先划分的各子区域的中心点的集合。
为了减轻计算复杂度，在本发明的一个可选实施例中，预先将原始输入图片x划分成L1×L2个格子，L1可以等于或不等于L2。例如在图3的示例中，取L1＝L2＝28。并且，为了进一步减轻计算复杂度，每个格子可以被看成一个超像素i，即每个格子内部对网络的边际效用是相同的。为了进一步减轻计算复杂度，对于每个i，随机采样s次包含r个超像素的上下文L来计算图像修改损失函数并修改图片。考虑到计算复杂度，s可以在5～20范围内取值，例如在图3的例子中，s＝10。
可选地，步骤104可以进一步实现为：通过上述图像修改函数来抑制该噪声信号和/或增强该显著信号计算图像修改损失值，基于图像修改损失值更新各美化参数修改量，并且基于更新得到的各美化参数修改量修改该图像的各美化参数，得到修改后的图像。
本申请涉及的美化参数例如但不限于包括色度、饱和度、亮度和锐化程度中的一者或多者。
在一个实施例中，通过优化图像修改损失函数，平滑地修改图像的美化参数“色度(hue)、饱和度(saturation)、亮度(brightness)和锐化程度(sharpness)”，从而实现在不损坏已有边缘信息和不引入额外新的视觉概念的原则下，提升图像的美感。下面对各美化参数的平滑修改的实现方式进行具体描述：
(1)修改图像色度的实现方式如下：
给定一个原始图片中的图像修改区域(例如，预先将图片划分为多个子区域，每个子区域对应一个修改区域)，其中心点表示为c。为实现平滑地图像修改，如图2(b)所示，利用一个圆椎型的模版G∈Rd′×d′去控制感受野中每个像素的修改强度，即：
Gij＝max(1-λ·||pij-c||2，0)
上式中，||pij-c||2表示区域中另一个像素(i,j)与中心点c的欧几里德距离(Euclidean distance)；λ是一个控制感受野范围的超参数，在本发明的实施例中λ可取0-1中的任意常数，其中λ越大，感受野的范围越小。同时为保护原始图像中的原有边缘信息，如图2(c)所示，利用二元掩膜(binary mask) M(c)∈{0,1}d′×d′控制所有被边缘或物体轮廓阻挡的像素不可以被修改。从而，修改区域中所有像素的色度的修改效应Z(c,hue)可表示为：
Figure BDA0003159230890000161
上式中，
Figure BDA0003159230890000162
代表矩阵对应元素相乘(element-wise production)。k(c,hue)表示控制这个修改区域色度修改量的强度，其可以通过图像修改损失函数来更新。
更进一步，对于每个像素(i,j)的色度的修改总效应
Figure BDA0003159230890000163
是周围所有像素 Nij色度修改效应的混合叠加，即：
Figure BDA0003159230890000164
上式中，
Figure BDA0003159230890000165
代表原始图片x中像素(i,j)的原始色度值；tanh(·) 函数用来控制图像修改的值阈范围且最大值被超参数β(hue)∈[0,1]所决定。例如在图3所示示例中，β(hue)取值为0.35。由于色度空间是可循环的，修改后的色度值
Figure BDA0003159230890000166
超出值阈范围的可直接调整到[0,1]。
(2)修改图像饱和度的实现方式如下：
与修改色度的实现方式不同在于，由于饱和度空间并非是可循环的，在本发明的实施例中利用sigmoid(·)函数来控制饱和度修改的值阈范围落在 [0,1]中，即：
Figure BDA0003159230890000171
Figure BDA0003159230890000172
上式中，
Figure BDA0003159230890000173
代表原始图片x中像素(i,j)的原始饱和度值。tanh(·) 函数用来控制图像修改的值阈范围，且最大值被β(sat)所决定。为保证图片的修改是平滑的、没有突变，正常数β(sat)的取值范围可以在1-5之内(但不仅限于此，可根据经验设置)。在图3中，β(sat)取值为3。
Figure BDA0003159230890000174
代表每个像素 (i,j)的饱和度的修改总效应，Z(c,sat)代表中心点为c的区域中所有像素的饱和度的修改量。
(3)修改图像亮度的实现方式如下：
修改图像亮度的实现方式与修改图像饱和度的实现方式类似，具体如下：
Figure BDA0003159230890000175
Figure BDA0003159230890000176
上式中，
Figure BDA0003159230890000177
代表原始图片x中像素(i,j)的原始亮度值。tanh(·) 函数用来控制图像修改的值阈范围，且最大值被β(bright)所决定；为保证图片的修改是平滑的、没有突变，正常数β(bright)的取值范围可以在1-5之内(但不仅限于此)，例如图3所示的示例中，β(bright)取值为1.5；
Figure BDA0003159230890000178
代表每个像素(i,j)的亮度的修改总效应，Z(c,bright)代表中心点为c的区域中所有像素的亮度的修改量。
(4)在RGB空间修改图像的锐化程度的实现方式如下：
修改图像的锐化程度的实现方式与修改色度的实现方式类似，具体如下：
Figure BDA0003159230890000181
上式中，
Figure BDA0003159230890000182
代表像素层面的图像模糊；x(blur)代表用高斯模糊操作模糊后的图片；相应地，-Δxij代表像素层面的图像锐化；参考图 3中热力图所示，
Figure BDA0003159230890000183
指示像素(i,j)是被模糊还是被锐化，若
Figure BDA0003159230890000184
则该像素被模糊(比如图3的热力图中的红色部分所代表的图像区域)，否则该像素被锐化(比如图3的热力图中的蓝色部分所代表的图像区域)。
可选地，该方法还包括以下步骤：
以迭代的方式重复T2次步骤102至步骤104，或者重复多次步骤102至步骤104直至最新计算的经美化的图像的修改损失值下降并收敛，其中，将每次迭代得到的该经美化的图像作为下次迭代的输入图像。
可选地，本实施方式中T1、T2的设置标准可以为：1)修改后的图片应该不过分失真，即不引入新的视觉概念或破坏原有的视觉概念；2)Loss下降并收敛。可选地，T1取值在50-100次。
图3是根据本实施方式的美化方法修改后的图片与原始图片样本的对比图，可以发现：本申请的实施方式可以在以下两方面提升图片的美感：1) 修改后的图片的颜色层次更加丰富；2)修改后的图片会更加突出前景信息，同时模糊背景信息。这在一定程度上验证了根据本申请的实施方式对图像具有美化效果。
如图4所示为本实施方式的一个实施例的美化方法流程示意图，图5是基于图4的实施例的美化方法进行图3的海螺原始图像的美化过程和结果示意图，从图5中可以看出：显著信号在增强并且噪声信号被抑制，最终得到的图片的颜色层次更加丰富，并且更加突出前景信息，同时模糊背景信息，验证了美化效果。
本申请的第二实施方式涉及一种美化图像的系统，其结构如图6所示，该美化图像的系统包括输入模块、显著和噪声信号处理模块、图像美化模块和输出模块。
具体的，输入模块被配置为提供一待美化图像；显著和噪声信号处理模块被配置有神经网络且该神经网络为计算机视觉领域的相关数据集上预训练好的深度神经网络，该图像修改模块被配置为将该图像输入一神经网络，基于该神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，并基于该边际效用确定该图像中的显著信号和噪声信号；图像美化模块被配置为对该噪声信号进行抑制和/或对该显著信号进行增强，以得到经美化的图像；输出模块被配置为输出该经美化的图像。
可选地，该显著和噪声信号处理模块还被配置为基于该神经网络f的一中间层输出，给定像素或超像素上下文L，计算像素或超像素i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)，以及基于所计算的边际效用Δf(i,L) 确定包含噪声信号的像素或超像素(i,L)的集合中边际效用的强度最小的百分之m1为该噪声信号和包含显著信号的像素或超像素(i,L)的集合中边际效用的强度最大的百分之m2为该显著信号。优选地，m1取值为50-70，m2取值为 5-15。
可选地，该中间层为任一卷积层，或任一全连接层。
可选地，该显著和噪声信号处理模块还被配置为基于该神经网络的一中间层输出计算该图像上各像素或超像素的沙普利值中的该边际效用，并且基于该边际效用值确定该图像中的该显著信号和该噪声信号，该显著信号的边际效用值大于该噪声信号的边际效用值。
可选地，该显著和噪声信号处理模块还被配置为通过图像修改函数来抑制该噪声信号和/或增强该显著信号，以修改该待美化图像的各美化参数，得到经美化的图像，其中，该图像修改损失函数为：
Figure BDA0003159230890000191
上式中，i1∈N\L1,i2∈N\L2；Ω1表示的是大量的联盟，每个联盟表示的是包含噪声信号的像素或超像素(i,L)的集合，从而产生较小的|Δf(i,L)|值；Ω2表示的是大量的联盟，每个联盟表示的是包含显著信号的像素或超像素 (i,L)的集合，从而产生较大的|Δf(i,L)|值；r表示的是上下文L中所包含的像素或超像素个数且1≤r≤0.5n，n表示该图像的像素或超像素总数；α为与神经网络相关的用于平衡抑制噪声信号的作用和增强显著信号的作用的超参数； Er[·]表示对所有的上下文L中所包含的像素或超像素个数求均值；
Figure BDA0003159230890000201
表示对所有包含噪声信号的像素或超像素(i,L)的集合求均值；
Figure BDA0003159230890000202
表示对所有包含显著信号的像素或超像素(i,L)的集合求均值。
可选地，该图像美化模块还被配置为：重复T1次步骤104，或者重复多次步骤104直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算该图像修改函数，并基于重新计算的该图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改该图像的各美化参数；其中，该优化函数为：
Figure BDA0003159230890000203
上式中，θ＝{k(c,hue),k(c,sat),k(c,bright),k(c,blur/sharp)|c∈Ncenter}，Ncenter代表该图像中预先划分的各子区域的中心点的集合。
可选地，该图像美化模块还被配置为：预先将该图像划分为多个子区域；对于每个子区域，利用二元掩膜计算所有被边缘或物体轮廓阻挡的不可修改的像素或超像素边界Mc，并利用圆锥型模版根据公式 Gij＝max(1-λ·||pij-c||2，0)计算感受野中每个像素或超像素的修改强度 G，其中，c表示该子区域的中心点，||pij-c||2表示该子区域中另一个像素或超像素(i,j)与该子区域的中心点c的欧几里德距离，λ表示控制感受野范围的超参数且λ可取0-1中的任意常数；基于所计算的不可修改的像素或超像素边界Mc和感受野中每个像素或超像素的修改强度G以及该子区域的各美化参数修改量k(c,x)，利用公式
Figure BDA0003159230890000204
计算该子区域中所有像素或超像素的该美化参数的修改效应；计算每一美化参数对应的每个像素或超像素的修改总效应，该修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以实现平滑地修改该图像的各美化参数。
可选地，该美化参数包括色度、饱和度、亮度和锐化程度中的一者或多者。在一个实施例中，该美化参数包括色度、饱和度、亮度和锐化程度，在该实施例中，该图像修改模块还被配置为：对于色度hue，根据公式
Figure BDA0003159230890000211
和
Figure BDA0003159230890000212
计算每个像素或超像素(i,j)的修改后的色度值，其中Nij表示周围所有像素或超像素，
Figure BDA0003159230890000213
和
Figure BDA0003159230890000214
分别表示该图像中像素或超像素(i,j)的原始色度值和修改后的色度值且
Figure BDA0003159230890000215
β(hue)表示超参数且∈[0,1]，tanh(·)函数用于控制图像修改的值阈范围且最大值被超参数β(hue)所决定，
Figure BDA0003159230890000216
表示每个像素或超像素(i,j)的色度的修改总效应；对于饱和度sat，根据公式
Figure BDA0003159230890000217
和
Figure BDA0003159230890000218
计算每个像素或超像素(i,j)的修改后的饱和度值，其中
Figure BDA0003159230890000219
和
Figure BDA00031592308900002110
分别表示该图像中像素或超像素(i,j)的原始饱和度值和修改后的饱和度值且
Figure BDA00031592308900002111
Figure BDA00031592308900002112
β(sat)表示超参数且取值可以为1-5范围之内的正常数 (但不仅限于此，可根据经验设置)，tanh(·函数用于控制图像修改的值阈范围，且最大值被β(sat)所决定，
Figure BDA00031592308900002113
表示每个像素或超像素(i,j)的饱和度的修改总效应；对于亮度bright，根据
Figure BDA00031592308900002114
和
Figure BDA00031592308900002115
计算每个像素或超像素(i,j) 的修改后的亮度值，其中
Figure BDA00031592308900002116
和
Figure BDA00031592308900002117
分别表示该图像中像素或超像素(i,j)的原始亮度值和修改后的亮度值且
Figure BDA00031592308900002118
β(bright)表示超参数且取值为1-5范围之内的正常数(但不仅限于此，可根据经验设置)，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(bright)所决定，
Figure BDA0003159230890000221
表示每个像素或超像素(i,j)的亮度的修改总效应；对于锐化程度blur/sharp，根据公式
Figure BDA0003159230890000222
和
Figure BDA0003159230890000223
计算每个像素或超像素(i,j)的修改后的锐化程度值，其中，
Figure BDA0003159230890000224
表示像素或超像素层面的图像模糊， x(blur)表示用高斯模糊操作模糊后的图像，-Δxij表示像素或超像素层面的图像锐化，
Figure BDA0003159230890000225
指示像素或超像素(i,j)是被模糊还是被锐化且∈[-1,1]，如果
Figure BDA0003159230890000226
则该像素或超像素被模糊，否则被锐化。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述美化图像的系统的实施方式中所示的各模块的实现功能可参照前述美化图像的方法的相关描述而理解。上述美化图像的系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述美化图像的系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例该方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
此外，本申请实施方式还提供一种美化图像的系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(CentralProcessing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，简称“DSP”)、专用集成电路(Application Specific IntegratedCircuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-only memory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上该仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (24)

1.一种美化图像的方法，其特征在于，包括以下步骤：
(a)提供一待美化图像；
(b)将所述待美化图像输入一神经网络，该神经网络为计算机视觉领域的相关数据集上预训练好的深度神经网络；
(c)基于所述神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，基于所述边际效用确定所述图像中的显著信号和噪声信号,本步骤进一步包括以下子步骤：基于所述神经网络f的一中间层输出，给定像素或超像素上下文L，计算像素或超像素i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)，基于所述边际效用的强度|Δf(i,L)|，确定包含噪声信号的像素或超像素(i,L)的集合中边际效用的强度最小的百分之m1为所述噪声信号以及包含显著信号的像素或超像素(i,L)的集合中边际效用的强度最大的百分之m2为所述显著信号，m1取值为50-70，m2取值为5-15；
(d)对所述噪声信号进行抑制和/或对所述显著信号进行增强，以得到经美化的图像。
2.如权利要求1所述的方法，其特征在于，所述步骤(c)进一步包括以下子步骤：
基于所述神经网络的一中间层输出计算所述图像上各像素或超像素的沙普利值中的所述边际效用；
基于所计算的边际效用确定所述图像中的所述显著信号和所述噪声信号，所述显著信号的边际效用的强度显著大于所述噪声信号的边际效用的强度。
3.如权利要求2所述的方法，其特征在于，所述显著信号的边际效用的强度≥Z1,所述噪声信号的边际效用的强度≤Z2，
Figure FDA0003869851570000011
4.如权利要求1所述的方法，其特征在于，所述中间层为任一卷积层，或任一全连接层。
5.如权利要求1所述的方法，其特征在于，所述计算机视觉领域的相关数据集为图像数据集。
6.如权利要求1所述的方法，其特征在于，所述步骤(d)进一步包括以下步骤：
通过图像修改函数来抑制所述噪声信号和/或增强所述显著信号，以修改所述图像的各美化参数，得到经美化的图像；其中，所述图像修改函数为：
Figure FDA0003869851570000021
其中i1∈N\L1,i2∈N\L2；Ω1表示的是大量的联盟，每个联盟表示的是包含噪声信号的像素或超像素(i,L)的集合，从而产生较小的|Δf(i,L)|值；Ω2表示的是大量的联盟，每个联盟表示的是包含显著信号的像素或超像素或超像素或超像素(i,L)的集合，从而产生较大的|Δf(i,L)|值；r表示的是上下文L中所包含的像素或超像素个数且1≤r≤0.5n；n表示所述图像的像素或超像素总数；α为与神经网络相关的用于平衡抑制噪声信号的作用和增强显著信号的作用的超参数；Er[·]表示对所有的上下文L中所包含的像素或超像素个数求均值；
Figure FDA0003869851570000022
表示对所有包含噪声信号的像素或超像素(i,L)的集合求均值；
Figure FDA0003869851570000023
表示对所有包含显著信号的像素或超像素(i,L)的集合求均值。
7.如权利要求6所述的方法，其特征在于，所述方法还包括以下步骤：
重复T1次步骤(d)，或者重复多次步骤(d)直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算所述图像修改函数，并基于重新计算的所述图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改所述图像的各美化参数；其中，所述优化函数为：
Figure FDA0003869851570000024
其中θ＝{k(c，hue)，k(c，sat)，k(c，bright)，k(c，blur/sharp)|c∈Ncenter}，Ncenter代表所述图像中预先划分的各子区域的中心点的集合。
8.如权利要求7所述的方法，其特征在于，所述基于更新得到的各美化参数修改量修改所述图像的各美化参数，进一步包括以下子步骤：
预先将所述图像划分为多个子区域；
对于每个子区域，利用二元掩膜计算所有被边缘或物体轮廓阻挡的不可修改的像素或超像素边界Mc，并利用圆锥型模版根据公式Gij＝max(1-λ·||pij-c||2，0)计算感受野中每个像素或超像素的修改强度G，其中，c表示该子区域的中心点，||pij-c||2表示该子区域中另一个像素或超像素(i，j)与该子区域的中心点c的欧几里德距离，λ表示控制感受野范围的超参数且λ可取0-1中的任意常数；
基于所计算的所述不可修改的像素或超像素边界Mc、所述感受野中每个像素或超像素的修改强度G以及该子区域的各美化参数修改量k(c，x)，利用公式
Figure FDA0003869851570000031
计算该子区域中所有像素或超像素的美化参数的修改效应；
计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以实现平滑地修改所述图像的各美化参数。
9.如权利要求8所述的方法，其特征在于，所述美化参数包括色度、饱和度、亮度和锐化程度中的一者或多者。
10.如权利要求8所述的方法，其特征在于，所述美化参数包括色度、饱和度、亮度和锐化程度；
所述计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以平滑地修改所述图像的各美化参数，进一步包括以下子步骤：
对于色度hue，根据公式
Figure FDA0003869851570000041
和
Figure FDA0003869851570000042
计算每个像素或超像素(i,j)的修改后的色度值，其中Nij表示周围所有像素或超像素，
Figure FDA0003869851570000043
和
Figure FDA0003869851570000044
分别表示所述图像中像素或超像素(i,j)的原始色度值和修改后的色度值且
Figure FDA0003869851570000045
β(hue)表示超参数，tanh(·)函数用于控制图像修改的值阈范围且最大值被超参数β(hue)所决定，
Figure FDA0003869851570000046
表示每个像素或超像素(i,j)的色度的修改总效应；
对于饱和度sat，根据公式
Figure FDA0003869851570000047
和
Figure FDA0003869851570000048
计算每个像素或超像素(i,j)的修改后的饱和度值，其中
Figure FDA0003869851570000049
和
Figure FDA00038698515700000410
分别表示所述图像中像素或超像素(i,j)的原始饱和度值和修改后的饱和度值且
Figure FDA00038698515700000411
β(sat)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(sat)所决定，
Figure FDA00038698515700000412
表示每个像素或超像素(i,j)的饱和度的修改总效应；
对于亮度bright，根据
Figure FDA00038698515700000413
和
Figure FDA00038698515700000414
计算每个像素或超像素(i,j)的修改后的亮度值，其中
Figure FDA00038698515700000415
和
Figure FDA00038698515700000416
分别表示所述图像中像素或超像素(i,j)的原始亮度值和修改后的亮度值且
Figure FDA00038698515700000417
β(bright)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(bright)所决定，
Figure FDA00038698515700000418
表示每个像素或超像素(i,j)的亮度的修改总效应；
对于锐化程度blur/sharp，根据公式
Figure FDA00038698515700000419
和
Figure FDA0003869851570000051
计算每个像素或超像素(i,j)的修改后的锐化程度值，其中，
Figure FDA0003869851570000052
表示像素或超像素层面的图像模糊，x(blur)表示用高斯模糊操作模糊后的图像，-Δxij表示像素或超像素层面的图像锐化，
Figure FDA0003869851570000053
指示像素或超像素(i,j)是被模糊还是被锐化且∈[-1,1]，如果
Figure FDA0003869851570000054
则该像素或超像素被模糊，否则被锐化。
11.如权利要求1-10中任意一项所述的方法，其特征在于，所述方法还包括以下步骤：
以迭代的方式重复T2次步骤(b)至(d)，或者重复多次步骤(b)至(d)直至最新计算的经美化的图像的修改损失值下降并收敛，其中，将每次迭代得到的所述经美化的图像作为下次迭代的输入图像。
12.一种美化图像的系统，其特征在于，包括：
输入模块，被配置为提供一待美化图像；
显著和噪声信号处理模块，其配置有神经网络且该神经网络为计算机视觉领域的相关数据集上预训练好的深度神经网络，所述图像修改模块被配置为将所述图像输入一神经网络，基于所述神经网络的一中间层输出计算图像中各像素或超像素对网络输出产生的边际效用，并基于所述边际效用确定所述图像中的显著信号和噪声信号，所述显著和噪声信号处理模块还被配置为：基于所述神经网络f的一中间层输出，给定像素或超像素上下文L，计算像素或超像素i对网络输出产生的边际效用Δf(i,L)＝f(i∪L)-f(L)；基于所述边际效用的强度|Δf(i,L)|，确定包含噪声信号的像素或超像素(i,L)的集合中边际效用的强度最小的百分之m1为所述噪声信号以及包含显著信号的像素或超像素(i,L)的集合中边际效用的强度最大的百分之m2为所述显著信号，m1＞0、m2＞0，m1取值为50-70，m2取值为5-15；
图像美化模块，被配置为对所述噪声信号进行抑制和/或对所述显著信号进行增强，以得到经美化的图像。
13.如权利要求12所述的系统，其特征在于，所述显著和噪声信号处理模块还被配置为：基于所述神经网络的一中间层输出计算所述图像上各像素或超像素的沙普利值中的所述边际效用；基于所计算的边际效用确定所述图像中的所述显著信号和所述噪声信号，所述显著信号的边际效用的强度显著大于所述噪声信号的边际效用的强度。
14.如权利要求13所述的系统，其特征在于，所述显著信号的边际效用的强度≥Z1,所述噪声信号的边际效用的强度≤Z2，
Figure FDA0003869851570000061
15.如权利要求12所述的系统，其特征在于，所述中间层为任一卷积层，或任一全连接层。
16.如权利要求12所述的系统，其特征在于，所述计算机视觉领域的相关数据集为图像数据集。
17.如权利要求12所述的系统，其特征在于，所述图像美化模块还被配置为：通过图像修改函数来抑制所述噪声信号和/或增强所述显著信号，以修改所述图像的各美化参数，得到经美化的图像；其中，所述图像修改函数为：
Figure FDA0003869851570000062
其中，i1∈N\L1,i2∈N\L2；Ω1表示的是大量的联盟，每个联盟表示的是包含噪声信号的像素或超像素(i,L)的集合，从而产生较小的|Δf(i,L)|值；Ω2表示的是大量的联盟，每个联盟表示的是包含显著信号的像素或超像素或超像素或超像素(i,L)的集合，从而产生较大的|Δf(i,L)|值；r表示的是上下文L中所包含的像素或超像素个数且1≤r≤0.5n；n表示所述图像的像素或超像素总数；α为与神经网络相关的用于平衡抑制噪声信号的作用和增强显著信号的作用的超参数；Er[·表示对所有的上下文L中所包含的像素或超像素个数求均值；
Figure FDA0003869851570000063
表示对所有包含噪声信号的像素或超像素)i,L)的集合求均值；
Figure FDA0003869851570000064
表示对所有包含显著信号的像素或超像素(i,L)的集合求均值。
18.如权利要求17所述的系统，其特征在于，所述图像美化模块还被配置为：重复T1次步骤(d)，或者重复多次步骤(d)直至最新计算的经美化的图像的修改损失值下降并收敛；其中，对于每次重复，根据优化函数重新计算所述图像修改函数，并基于重新计算的所述图像修改函数的梯度更新各美化参数修改量，以及基于更新得到的各美化参数修改量修改所述图像的各美化参数；其中，所述优化函数为：
Figure FDA0003869851570000071
Figure FDA0003869851570000072
其中，θ＝{k(c,hue),k(c,sat),k(c,bright),k(c，blur/sharP)|c∈Ncenter},Ncenter代表所述图像中预先划分的各子区域的中心点的集合。
19.如权利要求18所述的系统，其特征在于，所述图像美化模块还被配置为：预先将所述图像划分为多个子区域；对于每个子区域，利用二元掩膜计算所有被边缘或物体轮廓阻挡的不可修改的像素或超像素边界Mc，并利用圆锥型模版根据公式Gij＝max(1-λ·||pij-c||2，0)计算感受野中每个像素或超像素的修改强度G，其中，c表示该子区域的中心点，||pij-c||2表示该子区域中另一个像素或超像素(i,j)与该子区域的中心点c的欧几里德距离，λ表示控制感受野范围的超参数且λ可取0-1中的任意常数；基于所计算的所述不可修改的像素或超像素边界Mc、所述感受野中每个像素或超像素的修改强度G以及该子区域的各美化参数修改量k(c,x)，利用公式
Figure FDA0003869851570000073
计算该子区域中所有像素或超像素的美化参数的修改效应；计算每一美化参数对应的每个像素或超像素的修改总效应，所述修改总效应等于周围所有像素或超像素的该美化参数的修改效应的混合叠加，并基于所计算的每一美化参数对应的每个像素或超像素的修改总效应计算每个像素或超像素修改后的各美化参数的值，以实现平滑地修改所述图像的各美化参数。
20.如权利要求19所述的系统，其特征在于，所述美化参数包括色度、饱和度、亮度和锐化程度中的一者或多者。
21.如权利要求19所述的系统，其特征在于，所述美化参数包括色度、饱和度、亮度和锐化程度；
所述图像美化模块还被配置为：对于色度hue，根据公式
Figure FDA0003869851570000081
和
Figure FDA0003869851570000082
计算每个像素或超像素(i,j)的修改后的色度值，其中Nij表示周围所有像素或超像素，
Figure FDA0003869851570000083
和
Figure FDA0003869851570000084
分别表示所述图像中像素或超像素(i,j)的原始色度值和修改后的色度值且
Figure FDA0003869851570000085
β(hue)表示超参数，tanh(·)函数用于控制图像修改的值阈范围且最大值被超参数β(gue)所决定，
Figure FDA0003869851570000086
表示每个像素或超像素(i,j)的色度的修改总效应；对于饱和度sat，根据公式
Figure FDA0003869851570000087
和
Figure FDA0003869851570000088
计算每个像素或超像素(i,j)的修改后的饱和度值，其中
Figure FDA0003869851570000089
和
Figure FDA00038698515700000810
分别表示所述图像中像素或超像素(i,j)的原始饱和度值和修改后的饱和度值且
Figure FDA00038698515700000811
β(sat)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(sat)所决定，
Figure FDA00038698515700000812
表示每个像素或超像素(i,j)的饱和度的修改总效应；对于亮度bright，根据
Figure FDA00038698515700000813
和
Figure FDA00038698515700000814
计算每个像素或超像素(i,j)的修改后的亮度值，其中
Figure FDA00038698515700000815
和
Figure FDA00038698515700000816
分别表示所述图像中像素或超像素(i,j)的原始亮度值和修改后的亮度值且
Figure FDA00038698515700000817
β(bright)表示超参数，tanh(·)函数用于控制图像修改的值阈范围，且最大值被β(bright)所决定，
Figure FDA00038698515700000818
表示每个像素或超像素(i,j)的亮度的修改总效应；对于锐化程度blur/sharp，根据公式
Figure FDA00038698515700000819
和
Figure FDA00038698515700000820
计算每个像素或超像素(i,j)的修改后的锐化程度值，其中，
Figure FDA00038698515700000821
表示像素或超像素层面的图像模糊，x(blur)表示用高斯模糊操作模糊后的图像，-Δxij表示像素或超像素层面的图像锐化，
Figure FDA00038698515700000822
指示像素或超像素(i,j)是被模糊还是被锐化且∈[-1,1]，如果
Figure FDA0003869851570000091
则该像素或超像素被模糊，否则被锐化。
22.如权利要求12-21中任意一项所述的系统，其特征在于，所述系统还包括迭代模块，该迭代模块被配置为：以迭代的方式重复T2次步骤(b)至(d)，或者重复多次步骤(b)至(d)直至最新计算的经美化的图像的修改损失值下降并收敛，其中，将每次迭代得到的所述经美化的图像作为下次迭代的输入图像。
23.一种美化图像的设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至11中任意一项所述的方法中的步骤。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至11中任意一项所述的方法中的步骤。
CN202110785999.5A 2021-07-12 2021-07-12 美化图像的方法和系统 Active CN113450282B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110785999.5A CN113450282B (zh) 2021-07-12 2021-07-12 美化图像的方法和系统
PCT/CN2022/105200 WO2023284738A1 (zh) 2021-07-12 2022-07-12 美化图像的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110785999.5A CN113450282B (zh) 2021-07-12 2021-07-12 美化图像的方法和系统

Publications (2)

Publication Number Publication Date
CN113450282A CN113450282A (zh) 2021-09-28
CN113450282B true CN113450282B (zh) 2023-01-06

Family

ID=77815938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110785999.5A Active CN113450282B (zh) 2021-07-12 2021-07-12 美化图像的方法和系统

Country Status (2)

Country Link
CN (1) CN113450282B (zh)
WO (1) WO2023284738A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450282B (zh) * 2021-07-12 2023-01-06 上海交通大学 美化图像的方法和系统
CN117522760A (zh) * 2023-11-13 2024-02-06 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
CN105700555B (zh) * 2016-03-14 2018-04-27 北京航空航天大学 一种基于势博弈的多无人机协同搜索方法
CN109035252B (zh) * 2018-06-29 2019-09-24 山东财经大学 一种面向医学图像分割的超像素方法
WO2020018431A1 (en) * 2018-07-15 2020-01-23 Magical Technologies, Llc Systems and methods to administer a chat session in an augmented reality environment
CN109816608B (zh) * 2019-01-22 2020-09-18 北京理工大学 一种基于噪声抑制的低照度图像自适应亮度增强方法
US11568212B2 (en) * 2019-08-06 2023-01-31 Disney Enterprises, Inc. Techniques for understanding how trained neural networks operate
CN110544218B (zh) * 2019-09-03 2024-02-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN112668638A (zh) * 2020-12-25 2021-04-16 山东大学 一种图像美学质量评估和语义识别联合分类方法及系统
CN113450282B (zh) * 2021-07-12 2023-01-06 上海交通大学 美化图像的方法和系统

Also Published As

Publication number Publication date
CN113450282A (zh) 2021-09-28
WO2023284738A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
Gharbi et al. Deep bilateral learning for real-time image enhancement
Fan et al. Image smoothing via unsupervised learning
CN107527332B (zh) 基于改进Retinex的低照度图像色彩保持增强方法
EP1318475B1 (en) A method and system for selectively applying enhancement to an image
JP4323791B2 (ja) デジタルカラー画像処理方法
CN113450282B (zh) 美化图像的方法和系统
US10198801B2 (en) Image enhancement using self-examples and external examples
Gerstner et al. Pixelated image abstraction
US10992845B1 (en) Highlight recovery techniques for shallow depth of field rendering
Grundland et al. Cross dissolve without cross fade: Preserving contrast, color and salience in image compositing
JP4490430B2 (ja) 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子
CN107194869A (zh) 一种图像处理方法及终端、计算机存储介质、计算机设备
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN113012188A (zh) 图像融合方法、装置、计算机设备和存储介质
US9305338B1 (en) Image detail enhancement and edge sharpening without overshooting
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116993616A (zh) 一种单幅低照度场景图像增强方法及增强系统
US20220188991A1 (en) Method and electronic device for managing artifacts of image
Lin et al. Tri-histogram equalization based on first order statistics
Jasper et al. Natural image enhancement using a biogeography based optimization enhanced with blended migration operator
Gasparyan et al. Iterative Retinex-Based Decomposition Framework for Low Light Visibility Restoration
AU2011200830B2 (en) Method, apparatus and system for modifying quality of an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant