CN112233041A - 图像美颜处理方法、装置、存储介质与电子设备 - Google Patents

图像美颜处理方法、装置、存储介质与电子设备 Download PDF

Info

Publication number
CN112233041A
CN112233041A CN202011225694.0A CN202011225694A CN112233041A CN 112233041 A CN112233041 A CN 112233041A CN 202011225694 A CN202011225694 A CN 202011225694A CN 112233041 A CN112233041 A CN 112233041A
Authority
CN
China
Prior art keywords
image
processed
beauty
processing
beautifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011225694.0A
Other languages
English (en)
Inventor
朱家成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011225694.0A priority Critical patent/CN112233041A/zh
Publication of CN112233041A publication Critical patent/CN112233041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像美颜处理方法、图像美颜处理装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。所述图像美颜处理方法包括：获取待处理图像；对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像。本公开简化了图像美颜处理的流程与用户操作，提高了美颜质量。

Description

图像美颜处理方法、装置、存储介质与电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像美颜处理方法、图像美颜处理装置、计算机可读存储介质与电子设备。
背景技术
美颜是指利用图像处理技术对图像或视频中的人像进行美化处理，包括去瑕疵、磨皮、形变、肤色调整等，以更好地满足用户的审美需求。
相关技术中，图像美颜处理通常由多个单独的模块组成，例如上述去瑕疵、磨皮、形变等处理均对应于不同的算法模块，系统在进行处理时，需要依次调用各个模块，导致整体流程较为复杂，且用户需要依次在不同的页面中进行上述各步骤的操作，不够便捷。
发明内容
本公开提供一种图像美颜处理方法、图像美颜处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术中图像美颜处理流程复杂、用户操作不便的问题。
根据本公开的第一方面，提供一种图像美颜处理方法，包括：获取待处理图像；对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像。
根据本公开的第二方面，提供一种图像美颜处理装置，包括：图像获取模块，用于获取待处理图像；图像处理模块，用于对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像美颜处理方法及其可能的实现方式。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像美颜处理方法及其可能的实现方式。
本公开的技术方案具有以下有益效果：
一方面，将图像美颜处理中的一部分环节合并为通用化美颜处理，并基于卷积神经网络的处理以替代其中每个环节原本的处理过程，无需单独执行每个环节的算法，从而简化了图像美颜处理流程，且卷积神经网络能够实现通用化美颜处理的监督学习，有利于提高美颜质量。另一方面，无需用户在相应的页面中进行上述各环节的操作，简化了用户操作过程。再一方面，通用化美颜处理对应于图像美颜处理中通用性较高的环节，对于个性化较高的环节，则通过个性化美颜处理的方式实现，有利于实现通用化美颜处理所用的卷积神经网络的轻量化，使得本方案易于部署到移动终端等轻量化场景中，实用性较高。
附图说明
图1示出本示例性实施方式中一种电子设备的结构示意图；
图2示出本示例性实施方式中一种图像美颜处理方法的流程图；
图3示出本示例性实施方式中另一种图像美颜处理方法的流程图；
图4示出本示例性实施方式中一种卷积神经网络的结构示意图；
图5示出本示例性实施方式中一种利用卷积神经网络处理图像的流程图；
图6示出本示例性实施方式中一种生成中间图像方法的流程图；
图7示出本示例性实施方式中另一种生成中间图像方法的流程图；
图8示出本示例性实施方式中一种获取高频特征图形方法的流程图；
图9示出本示例性实施方式中一种边缘区域渐变处理的示意图；
图10示出本示例性实施方式中一种通用化美颜处理方法的流程图；
图11示出本示例性实施方式中一种个性化美颜处理方法的流程图；
图12示出本示例性实施方式中一种图像美颜处理装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开的示例性实施方式首先提供一种图像美颜处理方法，其应用场景包括但不限于：终端设备安装有图像美颜App(Application，应用程序)，用户在App中选择本地相册中的图像进行美颜处理，或者对当前拍摄的图像进行美颜处理；终端设备对视频进行美颜处理，具体为对视频中包含人像的帧进行美颜处理；服务器接收终端设备发送的需要美颜处理的图像或视频，对其进行美颜处理，或者在直播场景中，对实时的视频流进行美颜处理。
本公开的示例性实施方式还提供一种电子设备，用于执行上述图像美颜处理方法。该电子设备可以是上述终端设备或服务器，包括但不限于智能手机、平板电脑、可穿戴设备、计算机等。一般的，电子设备包括处理器和存储器。存储器用于存储处理器的可执行指令，也可以存储应用数据，如图像数据、游戏数据等；处理器配置为经由执行可执行指令来执行本示例性实施方式中的图像美颜处理方法。
下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。
如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB(Universal Serial Bus，通用串行总线)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及SIM(Subscriber Identification Module，用户标识模块)卡接口195等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频数据进行编码(即压缩)，例如对美颜处理后得到的美颜图像进行编码，形成对应的码流数据，以减少数据传输所占的带宽；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，例如对待美颜的视频进行解码，以得到视频中每一帧的图像数据，提取其中的一帧或多帧进行美颜处理。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。
在一些实施方式中，处理器110可以包括一个或多个接口，通过不同的接口和移动终端100的其他部件形成连接。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括易失性存储器与非易失性存储器。处理器110通过运行存储在内部存储器121的指令，执行移动终端100的各种功能应用以及数据处理。
外部存储器接口122可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端100的存储能力。外部存储器通过外部存储器接口122与处理器110通信，实现数据存储功能，例如存储图像，视频等文件。
USB接口130是符合USB标准规范的接口，可以用于连接充电器为移动终端100充电，也可以连接耳机或其他电子设备。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电；电源管理模块141还可以监测电池的状态。
移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在移动终端100上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。
移动终端100可以通过GPU、显示屏190及AP等实现显示功能，显示用户界面。例如，移动终端100可以在显示屏190中显示图像美颜App的界面，用户可以在其中选择待处理图像，进行美颜的相关设置等。
移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及AP等实现拍摄功能。例如，用户可以在图像美颜App启动拍照功能，触发开启摄像模组191进行拍照，并对拍摄的图像进行美颜处理。
移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及AP等实现音频功能。
传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等，以实现不同的感应检测功能。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达193可以产生振动提示，也可以用于触摸振动反馈等。按键194包括开机键，音量键等。
移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，以实现通话以及数据通信等功能。
下面对图像美颜处理方法进行具体说明，图2示出了图像美颜处理方法的示例性流程，可以包括：
步骤S210，获取待处理图像；
步骤S220，对待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成待处理图像对应的美颜图像。
其中，待处理图像可以是用户选择的图像，如用户在相册中选择的图像，也可以是系统自动指定的图像，如当前拍摄的图像等。
本示例性实施方式将图像美颜处理过程分为通用化美颜处理和个性化美颜处理两个部分。通用化美颜处理是指整个美颜处理过程中较为固定化、统一化的环节，例如去瑕疵、磨皮、胡须与眉毛锐化、亮眼等，对于绝大多数用户来说这些环节是必需的，除了可能需要设置相关的美颜参数(如磨皮度、锐化度)外，无需进行更多的个性化设置；个性化美颜处理是指整个美颜处理过程中因人而异程度较高、难以统一处理的环节，例如形变、肤色调整、光影调整等，对于绝大多数用户来说这些环节并非必须，且需要用户进行个性化设置，如选择脸部形变的区域与形变力度等。
在一种可选的实施方式中，通用化美颜处理可以包括上述去瑕疵、磨皮、胡须与眉毛锐化、亮眼中的至少一种，还可以包括去除细纹、保留雀斑、保留吉祥痣等；个性化美颜处理可以包括上述形变、肤色调整、光影调整中的至少一种。
在一种可选的实施方式中，可以根据场景需求与用户使用情况进行划分，例如获取用户进行图像美颜的大数据，统计用户选择了哪些美颜功能，将其中用户选择率较高(如超过80％等设定的阈值)的美颜功能对应的处理环节划分到通用化美颜处理中，将其他功能对应的处理环节划分到个性化美颜处理中。
对于通用化美颜处理来说，由于其处理过程较为固定、统一，本示例性实施方式可以采用卷积神经网络来实现这部分处理。对于个性化美颜处理来说，由于其处理过程不固定、因人而异，需要获取具体的美颜设置信息，例如系统默认的美颜设置信息、用户上一次选择的美颜设置信息、用户当前选择的美颜设置信息等，并基于美颜设置信息来进行相应的处理。
通过上述图像美颜处理方法，一方面，将图像美颜处理中的一部分环节合并为通用化美颜处理，并基于卷积神经网络的处理以替代其中每个环节原本的处理过程，无需单独执行每个环节的算法，从而简化了图像美颜处理流程，且卷积神经网络能够实现通用化美颜处理的监督学习，有利于提高美颜质量。另一方面，无需用户在相应的页面中进行上述各环节的操作，简化了用户操作过程。再一方面，通用化美颜处理对应于图像美颜处理中通用性较高的环节，对于个性化较高的环节，则通过个性化美颜处理的方式实现，有利于实现通用化美颜处理所用的卷积神经网络的轻量化，使得本方案易于部署到移动终端等轻量化场景中，实用性较高。
需要说明的是，本公开对于通用化美颜处理与个性化美颜处理的先后顺序不做限定，如可以先对待处理图像进行通用化美颜处理，再进行个性化美颜处理，也可以以相反的顺序进行。并且，本公开对于通用化美颜处理与个性化美颜处理的具体区域也不做限定，如可以对待处理图像中的人脸区域进行通用化美颜处理，对整个待处理图像进行个性化美颜处理，或者对待处理图像中的皮肤部分区域进行通用化美颜处理，对人脸区域进行个性化美颜处理，等等。
图3示出了先进行通用化美颜处理，再进行个性化美颜处理的示例性流程。下面将结合图3中的每个步骤，对本示例性实施方式中的图像美颜处理方法做具体说明。对于先进行个性化美颜处理，再进行通用化美颜处理的情况来说，其实现原理与细节均可参考图3的相关内容，因此下文不再赘述。
步骤S310中，获取待处理图像。
本公开对于待处理图像的来源不做限定，如可以是本设备中存储的图像，本设备当前拍摄的图像，从客户端获取的图像，从其他设备获取的图像等。
继续参考图3，步骤S320中，利用预先训练的卷积神经网络对待处理图像进行通用化美颜处理，得到中间图像。
图4示出了卷积神经网络的示例性结构。如图4所示，卷积神经网络可以包括：第一像素重排层、至少一个卷积层、至少一个转置卷积层、第二像素重排层。基于该卷积神经网络，步骤S320可以通过图5中的步骤S510至S540实现：
步骤S510，利用第一像素重排层对待处理图像进行由单通道到多通道的像素重排处理，得到第一特征图像。
需要说明的是，待处理图像可以是单通道图像(如灰度图像)，也可以是多通道图像(如RGB图像)。第一像素重排层可以将待处理图像的每个通道重排为多个通道。在一种可选的实施方式中，步骤S510包括：
将通道数为a的待处理图像输入第一像素重排层；
将待处理图像的每个通道中每n*n邻域的像素点分别重排至n*n个通道中的相同位置，输出通道数为a*n*n的第一特征图像。
其中，a表示待处理图像的通道数，为正整数，n表示像素重排的参数，为不小于2的正整数。以n＝2为例，遍历待处理图像的第一通道，通常从左上角开始，将每2*2格子的像素点提取出来，分别重排到4个通道中的相同位置，由此将一个通道变为四个通道，同时图像的宽度和高度降低到一半，将重排后的图像记为第一特征图像；采用同样的方式处理其他通道。如果待处理图像为单通道图像，则像素重排后得到四通道的第一特征图像；如果待处理图像为三通道图像，则像素重排后得到十二通道的第一特征图像。
第一像素重排层可以采用TensorFlow(一种机器学习的实现框架)中的space_to_depth函数实现，将待处理图像中的空间特征转换为深度特征，也可用采用步长为n的卷积操作实现，此时第一像素重排层可视为特殊的卷积层。
步骤S520，利用卷积层对第一特征图像进行卷积处理，得到第二特征图像。
本公开对于卷积层的数量、卷积核尺寸、卷积层的具体结构等不做限定。卷积层用于从不同尺度上提取图像特征并学习深度信息。卷积层可以包括配套的池化层，用于对卷积后的图像进行下采样，以实现信息抽象，增大感受野，同时降低参数复杂度。
当设置多个卷积层时，可以采用逐步卷积与下采样的方式，例如可以使图像按照2倍率下降，直到最后一个卷积层输出第二特征图像，第二特征图像可以是卷积神经网络处理过程中尺寸最小的特征图像。
步骤S530，利用转置卷积层对第二特征图像进行转置卷积处理，得到第三特征图像。
本公开对于转置卷积层的数量、转置卷积核尺寸、转置卷积层的具体结构等不做限定。转置卷积层用于对第二特征图像进行上采样，可视为卷积的相反过程，由此恢复图像的尺寸。
当设置多个转置卷积层时，可以采用逐步上采样的方式，例如可以使图像按照2倍率上升，直到最后一个转置卷积层输出第三特征图像。
在一种可选的实施方式中，卷积层与转置卷积层为完全对称的结构，则第三特征图像与第一特征图像的尺寸、通道数相同。
在一种可选的实施方式中，可以在卷积层与转置卷积层之间建立直连，如图4所示，在对应于相同尺寸的特征图像的卷积层与转置卷积层之间建立直连，由此实现卷积环节的特征图像信息直接连接到转置卷积环节中的特征图像，有利于得到信息更为全面的第三特征图像。
步骤S540，利用第二像素重排层对第三特征图像进行由多通道到单通道的像素重排处理，得到中间图像。
需要说明的是，待处理图像可以是单通道图像(如灰度图像)，也可以是多通道图像(如RGB图像)。第二像素重排层可以将待处理图像的每个通道重排为多个通道。在一种可选的实施方式中，步骤S540包括：
将通道数为b*n*n的第三特征图像输入第二像素重排层；
将第三特征图像的每n*n个通道中相同位置的像素点重排至单通道中的n*n邻域内，输出通道数为b的中间图像；
其中，b为正整数。
第二像素重排层可以采用TensorFlow中的depth_to_space函数实现，将第三特征图像中的深度特征转换为空间特征，也可用采用步长为n的转置卷积操作实现，此时第二像素重排层可视为特殊的转置卷积层。
如果卷积层与转置卷积层为完全对称的结构，即第三特征图像与第一特征图像的尺寸、通道数相同，则有a＝b。进而，中间图像与待处理图像的通道数也相同，即卷积神经网络的处理过程不改变图像尺寸与通道数。
需要说明的是，图4中的卷积神经网络结构仅仅是示例性的。本公开也可以采用其他结构的卷积神经网络，例如包含FC(Fully Convolution，全卷积)层的网络，采用局部直连和全局直连相结合的网络，MobileNet或其变体网络等。
此外，本示例性实施方式也可以设置多个卷积神经网络，分别对应于不同的通用化美颜处理方式。例如，将“去瑕疵+磨皮”作为通用化美颜处理方式一，对应设置并训练卷积神经网络一；将“磨皮+亮眼”作为通用化美颜处理方式二，对应设置并训练卷积神经网络二；将“去瑕疵+磨皮+胡须与眉毛锐化+亮眼”作为通用化美颜处理方式三，对应设置并训练卷积神经网络三，等等。由此，在图像美颜App中，可以提供用户多种通用化美颜处理的选择，根据用户选择的结果，调用对应的卷积神经网络进行处理。
本示例性实施方式中，对于卷积神经网络的训练过程包括：获取大量的样本图像，以人像为主；对于每张样本图像，通过人工美颜修图的方式获取对应的标签图像，人工美颜修图包括但不限于去瑕疵、磨皮、胡须与眉毛锐化、亮眼等，与确定的通用化美颜处理方式相对应；将样本图像与标签图像形成数据集，并划分为训练集与验证集；采用训练集训练初始的卷积神经网络，通过监督学习的方式调整网络参数；采用验证集验证卷积神经网络的准确率，若达到设定的阈值，则确定训练完成，得到可用的卷积神经网络。
在一种可选的实施方式中，如果设置多个卷积神经网络，对应于多种通用化美颜处理方式，则可以将不同卷积神经网络的局部结构共享，例如将一部分卷积层共享。由此，可以实现不同卷积神经网络的共享训练，提高训练效率。
在一种可选的实施方式中，卷积神经网络可以包括m个输出层，分别对应于m个基准美颜参数。例如，基于图4中的卷积神经网络，可以设置m个卷积层与转置卷积层的支路，每个支路对应于一个输出层，从而在输入一张图像时，可以输出m张图像。基准美颜参数是指对于特定的某种可调的美颜参数，如磨皮度、锐化度等，设置的基准点。以磨皮度为例，可以根据经验预先设置3个基准点，如磨皮度s＝0(表示不进行磨皮)、磨皮度s＝30(表示进行适度的磨皮，为大部分用户常用的数值)、磨皮度s＝100(表示过度磨皮，是比较极端的情况)，并以此建立数据集，每张样本图像对应于三张不同磨皮度的标签图像，采用数据集训练卷积神经网络，可以得到包括3个输出层的网络。
基于上述卷积神经网络，参考图6所示，步骤S320可以包括：
步骤S610，将待处理图像输入卷积神经网络，并根据用户选择的美颜参数，获取由至少两个输出层所输出的基准图像；
步骤S620，根据上述美颜参数对基准图像进行融合，得到中间图像。
其中，每个输出层所输出的图像为基准图像，对应于不同的基准美颜参数。以上述磨皮度为例，在卷积神经网络中输入待处理图像后，输出三张基准图像Is0、Is30、Is100，分别对应于磨皮度s＝0、s＝30、s＝100，通过基准图像的融合，可以得到各种磨皮度对应的图像，如可以参考以下公式：
Figure BDA0002763583710000111
其中，Imid表示中间图像。可见，实质上是根据用户选择的美颜参数，对基准图像进行加权。在加权时，可能无需所有的基准图像，例如上式中，仅需要两张基准图像。由此，在进行处理前，可以先确定用户选择的美颜参数处于哪个数值区间，然后确定需要该数值区间两端的基准图像，进而，在通过卷积神经网络处理时，无需调用每个输出层对应的支路，可以减少数据处理量。
在一种可选的实施方式中，参考图7所示，步骤S320可以包括：
步骤S710，对待处理图像进行预处理，得到预处理图像；
步骤S720，利用卷积神经网络对上述预处理图像进行通用化美颜处理，得到中间图像。
本公开对于预处理的具体方式不做限定，下面提供两种具体示例：
(1)对待处理图像进行下采样。例如，按照卷积神经网络输入层所需的图像尺寸，将待处理图像下采样到该尺寸，便于卷积神经网络的处理，同时降低了数据处理量。
在一种可选的实施方式中，步骤S720可以包括：
将预处理图像输入卷积神经网络，并将输出图像与待处理图像的高频特征图像融合，得到中间图像。
其中，高频特征图像是指待处理图像中的高频信息所形成的特征图像。待处理图像在进行下采样时，清晰度降低。在通过卷积神经网络对预处理图像进行处理时，将输出图像与高频特征图像进行融合，可以得到与待处理图像清晰度一致的中间图像。
在一种可选的实施方式中，参考图8所示，上述待处理图像的高频特征图像融合，可以通过以下步骤S810和S820获取：
步骤S810，对预处理图像进行上采样，得到上采样图像，上采样图像与待处理图像的分辨率相同；
步骤S820，根据待处理图像与上采样图像的差别，生成高频特征图像。
预处理图像是待处理图像进行下采样后的图像，因此其分辨率低于待处理图像。对预处理图像进行上采样，如可以通过线性插值法、最邻近元法进行上采样，得到与待处理图像的分辨率相同的上采样图像。虽然上采样图像与待处理图像的分辨率相同，但是通过上采样所增加的像素属于伪信息，上采样图像实际并不包含待处理图像中的高频信息。确定待处理图像与上采样图像的差别，如可以将待处理图像减去上采样图像，得到的结果为待处理图像的高频信息，即上述高频特征图像。
由上可知，高频特征图像与待处理图像的分辨率相同。而卷积神经网络的输出图像的分辨率可能低于待处理图像，即低于高频特征图像。可以将输出图像上采样到与待处理图像分辨率相同，再与高频特征图像进行融合，如可以将两图像相加，得到中间图像。由此，在中间图像中增加了原待处理图像中的部分高频信息，保证中间图像与待处理图像的清晰度一致，改善了美颜处理中普遍存在的图像模糊化的问题，有利于提高美颜图像的视觉效果。
(2)由于待处理图像中包含的内容可能较多，并非所有内容都需要进行美颜处理。因此，可以根据待处理图像中的人像关键信息，从待处理图像中裁剪出人像区域子图像。人像区域子图像是需要进行通用化美颜处理的图像，包括但不限于人脸区域、脖子皮肤、肩膀或手臂皮肤等。待处理图像中的其余部分(记为非人像区域子图像)则无需进行通用化美颜处理。由此降低了数据处理量，并有利于提高人像区域的美颜质量。
人像关键信息包括人脸关键点、人脸框、人像分割信息、皮肤蒙版中的至少一种，可以通过对待处理图像进行识别处理而得到。根据人脸关键点可以确定人脸所在区域，截取该区域，即得到上述人像区域子图像；根据其他种类的人像关键信息也可以进行类似的处理，在此不再赘述。
需要说明的是，待处理图像中可能存在不止一个人像区域，例如包含多张人脸，或者包含同一个人的人脸区域与身体区域。对此，本示例性实施方式可以裁剪一个矩形区域，将所有的人像区域包含在其中，也可以裁剪多个矩形区域，分别包含不同的人像区域。
在一种可选的实施方式中，步骤S720可以包括：
将预处理图像输入卷积神经网络，并将输出图像与待处理图像的非人像区域子图像融合，得到中间图像。
其中，输出图像对应于人像区域图像，其与非人像区域图像是待处理图像中的不同部分，将输出图像与待处理图像融合后，可以得到对应于整个待处理图像的中间图像。由此，通用化美颜处理仅针对经过预处理的人像区域图像，而中间图像是包含全部区域的图像，后续的个性化美颜处理针对中间图像，可以实现更加完整的美颜效果。
在一种可选的实施方式中，在将输出图像与待处理图像的非人像区域子图像融合时，可以对输出图像与非人像区域子图像中至少一个的边缘区域进行渐变处理，使输出图像与非人像区域子图像的边界形成平滑过渡。例如，可以仅对输出图像的边缘区域进行渐变处理。参考图9所示，首先在输出图像中确定边缘区域，如可以根据输出图像的尺寸确定一定比例(如10％)的边缘区域，其从输出图像的边缘向内延伸，需要注意的是，边缘区域通常需要避开人像主体部分，以避免渐变处理中改变人像主体部分的颜色；确定边缘区域的内边缘颜色，记为第一颜色；然后获取非人像区域子图像的边界位置的颜色，记为第二颜色；再对上述边缘区域进行第一颜色与第二颜色的渐变处理。由此，当输出图像与非人像区域子图像拼接时，其边界处为渐变色区域(图9中的斜线区域)，形成平滑过渡，防止产生颜色突变，导致视觉不和谐。
上述两种预处理方式仅是示例性说明，实际应用中可以采用其他预处理方式，也可以结合多种预处理方式。例如，可以结合上述两种预处理方式，则通用化美颜处理过程可以参考图10所示，包括：
步骤S1001，识别待处理图像的人像关键点，根据人像关键点进行待处理图像的裁剪，得到人像区域子图像和非人像区域子图像；
步骤S1002，按照卷积神经网络输入图像尺寸，对人像区域子图像进行下采样，得到下采样预处理图像；
步骤S1003，将下采样预处理图像输入卷积神经网络，输出3张基准磨皮图像，分别对应于磨皮度0、30、100；
步骤S1004，根据用户选择的磨皮度，对基准磨皮图像进行加权融合，得到磨皮图像；
步骤S1005，将磨皮图像上采样至与待处理图像相同的分辨率(原分辨率)，得到上采样磨皮图像；
步骤S1006，将下采样预处理图像上采样至原分辨率，得到上采样预处理图像；
步骤S1007，将人像区域子图像减去上采样预处理图像，得到高频特征图像；
步骤S1008，将上采样磨皮图像与高频特征图像融合，得到高频磨皮图像；
步骤S1009，根据人像区域子图像对高频磨皮图像的边缘区域进行渐变处理，得到边缘平滑图像；
步骤S1010，将边缘平滑图像与非人像区域子图像进行拼接，得到中间图像。
继续参考图3，步骤S330中，根据美颜设置信息对中间图像进行个性化美颜处理，生成美颜图像。
其中，美颜设置信息包括：美颜功能选择信息与所选的每种美颜功能的设置信息。美颜设置信息的来源可以包括：默认的美颜设置信息，用户上一次选择的美颜设置信息；用户当前选择的美颜设置信息；也可以结合多种来源，例如采用用户当前选择的美颜设置信息，如果用户未做选择，则采用默认的美颜设置信息，等等。本公开对此不做限定。
在一种可选的实施方式中，参考图11所示，步骤S330可以包括：
步骤S1110，通过美颜功能选择信息确定针对中间图像的目标美颜功能；
步骤S1120，根据每种目标美颜功能的设置信息，依次对中间图像进行每种目标美颜功能的处理，生成美颜图像。
举例来说，用户选择了形变与肤色调整两种个性化美颜功能，即为针对中间图像的目标美颜功能，并且用户在每种个性化美颜功能中设置了具体的美颜信息，如形变功能中的形变区域、形变力度，肤色调整功能中的肤色偏好、肤色调整力度等。根据每种目标美颜功能的设置信息，依次对中间图像进行相应的处理，生成最终的美颜图像。
个性化美颜处理支持不同美颜功能的自由组合，并支持用户在每种美颜功能中设置具体的参数信息，从而实现多样化的美颜效果，满足用户的个性化需求。
本公开的示例性实施方式还提供一种图像美颜处理装置。参考图12所示，该图像美颜处理装置1200可以包括：
图像获取模块1210，用于获取待处理图像；
图像处理模块1220，用于对待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成待处理图像对应的美颜图像。
在一种可选的实施方式中，图像处理模块1220可以包括：
通用化美颜处理子模块1221，用于利用预先训练的卷积神经网络对待处理图像进行通用化美颜处理，得到中间图像；
个性化美颜处理子模块1222，用于根据美颜设置信息对中间图像进行个性化美颜处理，生成美颜图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
对待处理图像进行预处理，得到预处理图像；
利用卷积神经网络对预处理图像进行通用化美颜处理，得到中间图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
对待处理图像进行下采样。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
将预处理图像输入卷积神经网络，并将输出图像与待处理图像的高频特征图像融合，得到中间图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为通过以下方式获取待处理图像的高频特征图像：
对预处理图像进行上采样，得到上采样图像，上采样图像与待处理图像的分辨率相同；
根据待处理图像与上采样图像的差别，生成高频特征图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
根据待处理图像中的人像关键信息，从待处理图像中裁剪出人像区域子图像；人像关键信息包括人脸关键点、人脸框、人像分割信息、皮肤蒙版中的至少一种。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
将预处理图像输入卷积神经网络，并将输出图像与待处理图像的非人像区域子图像融合，得到中间图像；非人像区域子图像为待处理图像中除人像区域子图像以外的部分区域图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
对输出图像与非人像区域子图像中至少一个的边缘区域进行渐变处理，使输出图像与非人像区域子图像的边界形成平滑过渡。
在一种可选的实施方式中，卷积神经网络包括：第一像素重排层、至少一个卷积层、至少一个转置卷积层、第二像素重排层。
通用化美颜处理子模块1221，被配置为：
利用第一像素重排层对待处理图像进行由单通道到多通道的像素重排处理，得到第一特征图像；
利用卷积层对第一特征图像进行卷积处理，得到第二特征图像；
利用转置卷积层对第二特征图像进行转置卷积处理，得到第三特征图像；
利用第二像素重排层对第三特征图像进行由多通道到单通道的像素重排处理，得到中间图像。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
将通道数为a的待处理图像输入第一像素重排层；
将待处理图像的每个通道中每n*n邻域的像素点分别重排至n*n个通道中的相同位置，输出通道数为a*n*n的第一特征图像；
其中，a为正整数，n为不小于2的正整数。
在一种可选的实施方式中，通用化美颜处理子模块1221，被配置为：
将通道数为b*n*n的第三特征图像输入第二像素重排层；
将第三特征图像的每n*n个通道中相同位置的像素点重排至单通道中的n*n邻域内，输出通道数为b的中间图像；
其中，b为正整数，n为不小于2的正整数。
在一种可选的实施方式中，卷积神经网络包括m个输出层，分别对应于m个基准美颜参数。
通用化美颜处理子模块1221，被配置为：
将待处理图像输入卷积神经网络，并根据用户选择的美颜参数，获取由至少两个输出层所输出的基准图像；
根据美颜参数对基准图像进行融合，得到中间图像。
在一种可选的实施方式中，上述美颜参数包括磨皮度。
在一种可选的实施方式中，美颜设置信息包括：美颜功能选择信息与所选的每种美颜功能的设置信息。
个性化美颜处理子模块1222，被配置为：
通过美颜功能选择信息确定针对中间图像的目标美颜功能；
根据每种目标美颜功能的设置信息，依次对中间图像进行每种目标美颜功能的处理，生成美颜图像。
在一种可选的实施方式中，美颜设置信息包括：默认的美颜设置信息；用户上一次选择的美颜设置信息；或者用户当前选择的美颜设置信息。
在一种可选的实施方式中，通用化美颜处理包括去瑕疵、磨皮、胡须与眉毛锐化、亮眼中的至少一种；个性化美颜处理包括形变、肤色调整、光影调整中的至少一种。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (20)

1.一种图像美颜处理方法，其特征在于，包括：
获取待处理图像；
对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像，包括：
利用预先训练的所述卷积神经网络对所述待处理图像进行通用化美颜处理，得到中间图像；
根据所述美颜设置信息对所述中间图像进行个性化美颜处理，生成所述美颜图像。
3.根据权利要求2所述的方法，其特征在于，所述利用预先训练的所述卷积神经网络对所述待处理图像进行通用化美颜处理，得到中间图像，包括：
对所述待处理图像进行预处理，得到预处理图像；
利用所述卷积神经网络对所述预处理图像进行通用化美颜处理，得到所述中间图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行预处理，包括：
对所述待处理图像进行下采样。
5.根据权利要求4所述的方法，其特征在于，所述利用所述卷积神经网络对所述预处理图像进行通用化美颜处理，得到所述中间图像，包括：
将所述预处理图像输入所述卷积神经网络，并将输出图像与所述待处理图像的高频特征图像融合，得到所述中间图像。
6.根据权利要求5所述的方法，其特征在于，所述待处理图像的高频特征图像，通过以下方式获取：
对所述预处理图像进行上采样，得到上采样图像，所述上采样图像与所述待处理图像的分辨率相同；
根据所述待处理图像与所述上采样图像的差别，生成所述高频特征图像。
7.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行预处理，包括：
根据所述待处理图像中的人像关键信息，从所述待处理图像中裁剪出人像区域子图像；
所述人像关键信息包括人脸关键点、人脸框、人像分割信息、皮肤蒙版中的至少一种。
8.根据权利要求7所述的方法，其特征在于，所述利用所述卷积神经网络对所述预处理图像进行通用化美颜处理，得到所述中间图像，包括：
将所述预处理图像输入所述卷积神经网络，并将输出图像与所述待处理图像的非人像区域子图像融合，得到所述中间图像；
所述非人像区域子图像为所述待处理图像中除所述人像区域子图像以外的部分区域图像。
9.根据权利要求8所述的方法，其特征在于，在将输出图像与所述待处理图像的非人像区域子图像融合时，所述方法还包括：
对所述输出图像与所述非人像区域子图像中至少一个的边缘区域进行渐变处理，使所述输出图像与所述非人像区域子图像的边界形成平滑过渡。
10.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括：第一像素重排层、至少一个卷积层、至少一个转置卷积层、第二像素重排层；
所述利用预先训练的所述卷积神经网络对所述待处理图像进行通用化美颜处理，得到中间图像，包括：
利用所述第一像素重排层对所述待处理图像进行由单通道到多通道的像素重排处理，得到第一特征图像；
利用所述卷积层对所述第一特征图像进行卷积处理，得到第二特征图像；
利用所述转置卷积层对所述第二特征图像进行转置卷积处理，得到第三特征图像；
利用所述第二像素重排层对所述第三特征图像进行由多通道到单通道的像素重排处理，得到所述中间图像。
11.根据权利要求10所述的方法，其特征在于，所述利用所述第一像素重排层对所述待处理图像进行由单通道到多通道的像素重排处理，得到第一特征图像，包括：
将通道数为a的所述待处理图像输入所述第一像素重排层；
将所述待处理图像的每个通道中每n*n邻域的像素点分别重排至n*n个通道中的相同位置，输出通道数为a*n*n的所述第一特征图像；
其中，a为正整数，n为不小于2的正整数。
12.根据权利要求10所述的方法，其特征在于，所述利用所述第二像素重排层对所述第三特征图像进行由多通道到单通道的像素重排处理，得到所述中间图像，包括：
将通道数为b*n*n的所述第三特征图像输入所述第二像素重排层；
将所述第三特征图像的每n*n个通道中相同位置的像素点重排至单通道中的n*n邻域内，输出通道数为b的所述中间图像；
其中，b为正整数，n为不小于2的正整数。
13.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括m个输出层，分别对应于m个基准美颜参数；
所述利用预先训练的所述卷积神经网络对所述待处理图像进行通用化美颜处理，得到中间图像，包括：
将所述待处理图像输入所述卷积神经网络，并根据用户选择的美颜参数，获取由至少两个所述输出层所输出的基准图像；
根据所述美颜参数对所述基准图像进行融合，得到所述中间图像。
14.根据权利要求13所述的方法，其特征在于，所述美颜参数包括磨皮度。
15.根据权利要求2所述的方法，其特征在于，所述美颜设置信息包括：美颜功能选择信息与所选的每种美颜功能的设置信息；
所述根据所述美颜设置信息对所述中间图像进行个性化美颜处理，生成所述美颜图像，包括：
通过所述美颜功能选择信息确定针对所述中间图像的目标美颜功能；
根据每种所述目标美颜功能的设置信息，依次对所述中间图像进行每种所述目标美颜功能的处理，生成所述美颜图像。
16.根据权利要求1至15任一项所述的方法，其特征在于，所述美颜设置信息包括：
默认的美颜设置信息；
用户上一次选择的美颜设置信息；或者
用户当前选择的美颜设置信息。
17.根据权利要求1至15任一项所述的方法，其特征在于，所述通用化美颜处理包括去瑕疵、磨皮、胡须与眉毛锐化、亮眼中的至少一种；所述个性化美颜处理包括形变、肤色调整、光影调整中的至少一种。
18.一种图像美颜处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
图像处理模块，用于对所述待处理图像进行基于卷积神经网络的通用化美颜处理和基于美颜设置信息的个性化美颜处理，生成所述待处理图像对应的美颜图像。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至17任一项所述的方法。
20.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至17任一项所述的方法。
CN202011225694.0A 2020-11-05 2020-11-05 图像美颜处理方法、装置、存储介质与电子设备 Pending CN112233041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011225694.0A CN112233041A (zh) 2020-11-05 2020-11-05 图像美颜处理方法、装置、存储介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011225694.0A CN112233041A (zh) 2020-11-05 2020-11-05 图像美颜处理方法、装置、存储介质与电子设备

Publications (1)

Publication Number Publication Date
CN112233041A true CN112233041A (zh) 2021-01-15

Family

ID=74123311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011225694.0A Pending CN112233041A (zh) 2020-11-05 2020-11-05 图像美颜处理方法、装置、存储介质与电子设备

Country Status (1)

Country Link
CN (1) CN112233041A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077397A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
WO2023284401A1 (zh) * 2021-07-14 2023-01-19 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876751A (zh) * 2018-07-05 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
CN109308679A (zh) * 2018-08-13 2019-02-05 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
CN109544457A (zh) * 2018-12-04 2019-03-29 电子科技大学 基于致密链接神经网络的图像超分辨率方法、存储介质和终端
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN111031239A (zh) * 2019-12-05 2020-04-17 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
JP2020064557A (ja) * 2018-10-19 2020-04-23 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、および、プログラム
WO2020093782A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN111784571A (zh) * 2020-04-13 2020-10-16 北京京东尚科信息技术有限公司 一种提高图像分辨率的方法、装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876751A (zh) * 2018-07-05 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
CN109308679A (zh) * 2018-08-13 2019-02-05 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
JP2020064557A (ja) * 2018-10-19 2020-04-23 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、および、プログラム
WO2020093782A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN109544457A (zh) * 2018-12-04 2019-03-29 电子科技大学 基于致密链接神经网络的图像超分辨率方法、存储介质和终端
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN111031239A (zh) * 2019-12-05 2020-04-17 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
CN111784571A (zh) * 2020-04-13 2020-10-16 北京京东尚科信息技术有限公司 一种提高图像分辨率的方法、装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077397A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
WO2022206202A1 (zh) * 2021-03-29 2022-10-06 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN113077397B (zh) * 2021-03-29 2024-05-17 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
WO2023284401A1 (zh) * 2021-07-14 2023-01-19 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN113077397B (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN112233041A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN111598776B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN110428378A (zh) 图像的处理方法、装置及存储介质
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN111696039B (zh) 图像处理方法及装置、存储介质和电子设备
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN113313776A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN114913061A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN114049278A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN113343895B (zh) 目标检测方法、目标检测装置、存储介质与电子设备
CN113902611A (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN112348739B (zh) 图像处理方法、装置、设备及存储介质
CN113409203A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN114972096A (zh) 人脸图像优化方法及装置、存储介质及电子设备
CN116824004A (zh) 图标生成方法及装置、存储介质、电子设备
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN113542739B (zh) 图像编码方法及装置、图像解码方法及装置、介质、设备
CN115205164A (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN114565532A (zh) 视频美颜处理方法、装置、存储介质与电子设备
CN114418835A (zh) 图像处理方法、装置、设备及介质
CN114240750A (zh) 视频分辨率提升方法及装置、存储介质及电子设备
CN114419517A (zh) 视频帧处理方法、装置、计算机设备及存储介质
CN113240599A (zh) 图像调色方法及装置、计算机可读存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination