CN107492067B - 一种图像美化方法及移动终端 - Google Patents

一种图像美化方法及移动终端 Download PDF

Info

Publication number
CN107492067B
CN107492067B CN201710802233.7A CN201710802233A CN107492067B CN 107492067 B CN107492067 B CN 107492067B CN 201710802233 A CN201710802233 A CN 201710802233A CN 107492067 B CN107492067 B CN 107492067B
Authority
CN
China
Prior art keywords
regression model
image
parameter
group
penalty values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710802233.7A
Other languages
English (en)
Other versions
CN107492067A (zh
Inventor
李剑锋
王国刚
张华琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710802233.7A priority Critical patent/CN107492067B/zh
Publication of CN107492067A publication Critical patent/CN107492067A/zh
Application granted granted Critical
Publication of CN107492067B publication Critical patent/CN107492067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像美化方法及移动终端,其中,所述方法包括:获取原始图像中的人脸特征点;通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;根据所述最优参数组,对所述原始图像进行美化。本发明通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。

Description

一种图像美化方法及移动终端
技术领域
本发明涉及移动终端技术领域,尤其涉及一种图像美化方法及移动终端。
背景技术
随着智能移动终端摄像头的分辨率和质量越来越高,人们使用智能移动终端拍照成为普遍现象。由于人们对照片的美观程度要求越来越高,从而对照片进行美化越来越重要。
在先技术中,对照片进行美化主要包括磨皮、祛斑、去眼袋、美白、肤色调整、瘦脸、大眼、亮眼、美唇、眼妆、腮红等操作。用户可以根据具体照片以及个人喜好,手动选择一种或多种或所有操作对照片进行处理。例如,当用户仅对照片中皮肤状态不满意时,可以仅选择磨皮操作处理照片;当用户对照片中的皮肤状态、斑点、眼袋、眼睛大小不满意时,选择磨皮、祛斑、去眼袋、大眼操作处理照片。
由此可见,现有的照片美化方法,操作复杂,效率较低,美化效果较差。
发明内容
为了解决现有的照片美化方法美化操作复杂、效率较低、美化效果较差的问题,提出了本发明以便提供一种克服上述问题的图像美化方法及移动终端。
一方面,本发明实施例公开了一种图像美化方法,应用于移动终端,包括:
获取原始图像中的人脸特征点;
通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;
根据所述最优参数组,对所述原始图像进行美化。
另一方面,本发明实施例还公开了一种移动终端,包括:
人脸特征点获取模块,用于获取原始图像中的人脸特征点;
参数组获取模块,用于通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;
图像调整模块,用于根据所述参数组获取模块获取的最优参数组,对所述原始图像进行美化。
再一方面,本发明实施例还公开了一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上任一项所述的图像美化方法的步骤。
本发明实施例通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例一中的一种图像美化方法的步骤流程图;
图2示出了本发明实施例二中的一种图像美化方法的步骤流程图;
图3示出了本发明实施例三中的一种移动终端的结构框图;
图4示出了本发明实施例四中的一种移动终端的结构框图;
图5示出了本发明实施例五中的一种移动终端的结构框图;
图6示出了本发明实施例六中的一种移动终端的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面通过列举几个具体的实施例详细介绍本发明提供的一种图像美化方法及移动终端。
实施例一
参照图1,示出了本发明实施例一的一种图像美化方法的步骤流程图,具体可以包括如下步骤:
步骤101,获取原始图像中的人脸特征点。
其中,原始图像为用户导入的自拍或其他人拍摄的包含人脸图像的图片,该图像待美化处理;原始图像中的人脸特征点包括:五官(眼睛、眉毛、鼻子、嘴巴、耳朵)的位置和轮廓点位置。
检测人脸特征点的技术已经非常成熟,比较经典的算法包括ASM (Active ShapeModel,主动形状模型)和AAM(Active Appearance Model,主动外观模型)。ASM是一种点分布模型,通过关键点的坐标依次串联得到形状向量,例如眼睛、嘴唇、耳朵、鼻子、眉毛的形状向量等。AAM是在 ASM基础上进一步对纹理进行统计建模,并将形状和纹理两个统计模型进一步融合为表观模型。在实际应用中,将图像的像素点数据输入到ASM或 AAM模型中即可检测到人脸面部特征。
可以理解,本发明实施例对检测人脸特征点的手段不加以限制。
步骤102,通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型。
其中,回归模型为最优参数组与原始图像的函数模型,对于指定的原始图像,回归模型可以计算得到最优参数组。针对步骤101通过大量图像及对应的最优参数组训练确定回归模型,步骤103使用回归模型获取待美化图像的参数组。
图像样本集可以通过收集大量用户的照片得到;最优美化效果可以通过大量用户根据个人审美,调整所有参数对拍摄的图像进行美化得到,还可以通过美颜美妆专家根据大众审美,调整所有参数对大量图像进行美化得到。可以理解,图像样本集中图像数量越大,训练效果越好,本发明实施例对图像的数量不加以限制。
美化的参数组由磨皮强度、祛斑强度、去眼袋强度、美白强度、亮眼强度、大眼强度、肤色强度、肤色类型、瘦脸强度、瘦脸类型、美唇强度、美唇颜色、眼妆强度、眼妆颜色、眼妆形状、腮红强度、腮红颜色、腮红形状中一种或多种组成。
在实际应用中,训练框架包括:Caffe框架、TensorFlow框架等。训练框架可以通过指定图像样本集训练得到目标参数与图像数据的函数关系,即回归模型。从而将图像数据输入到回归模型中,可以计算得到目标参数。可以理解,目标参数为最优参数。
本发明实施例适用于各种具有美颜美妆功能的移动终端。
步骤103,根据所述最优参数组,对所述原始图像进行美化。
在实际应用中,根据参数组中的每个参数对原始图像进行相应的处理。例如,参数组中的磨皮强度为80时,对原始图像进行强度为80的磨皮,当祛斑强度90时,对原始图像进行强度为90的祛斑。
可以理解,当参数组包含不止一个参数时,可以根据参数对应处理的关联性进行处理,无关联的处理不存在先后顺序。
本发明实施例通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。
实施例二
参照图2,示出了本发明实施例二的一种图像美化方法的步骤流程图,具体可以包括如下步骤:
步骤201,获取原始图像中的人脸特征点。
该步骤可以参照步骤101的详细说明,在此不再赘述。
步骤202,通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型。
从步骤102的详细说明中可知,各图像的目标参数组为各图像的最优参数组。
在本发明实施例中,为了保证回归模型获取的参数组为最优参数组,通过与各图像的目标参数组的损失值来判定回归模型是否最优。当回归模型对应各图像的参数组与各图像的目标参数组的损失值最小时,认为回归模型最优。
可以理解,目标参数组对应图像达到最优美化效果时的美化参数,最优美化效果通过人工调整得到。
在实际应用中,可以通过大量用户自拍得到的图像并根据个人的审美对图像进行美化,各用户调整后的各图像均达到最优美化效果;还可以通过美颜美妆专家美化大量图像,美化之后的各图像均达到最优美化效果。可以理解,还可以将两种方式混合使用,本发明实施例对其不加以限制。在此,美化图像时需要开放全部参数。
可选地,在本发明的另一种实施例中,步骤202包括子步骤2021至2026:
子步骤2021,针对多个图像样本中的各图像,检测人脸特征点。
检测人脸特征点的算法可以参照步骤101的详细说明。
子步骤2022,初始化回归模型。
本发明实施例通过不断调整回归模型的参数,使得回归模型达到最优。从而在第一次使用时建立一个初始模型。
子步骤2023,将所述各图像的所有像素值以及人脸特征点,输入到回归模型中,得到各图像的当前参数组。
其中,当前参数组为训练最优参数组的过程变量,通过当前参数组与目标参数组之间的损失值来确定是否结束训练。
子步骤2024,按照类别计算各图像的当前参数组和对应的目标参数组的损失值。
其中,损失值衡量了当前参数组合目标参数组之间的差值。差值越小,损失值越小,当前参数越接近目标参数;反之,插值越大,损失值越大,当前参数越偏离目标参数。
可选地,在本发明的另一种实施例中,子步骤2024包括子步骤20241 至20244:
子步骤20241,针对各图像,将参数组中的各参数按照类别划分为强度、类型。
在实际应用中,强度和类型的参数分别需要按照不同方式计算损失值。例如,对于强度类型,通过欧氏距离计算损失值,对于类型,通过损失损失函数计算损失值。可以理解,参数组之间的损失值为参数组中各参数损失值之和。
其中,强度类型包括:磨皮强度、祛斑强度、去眼袋强度、美白强度、亮眼强度、大眼强度、肤色强度、瘦脸强度、美唇强度、眼妆强度、腮红强度等;类型类别包括:肤色类型、瘦脸类型、美唇颜色、眼妆颜色、眼妆形状、腮红颜色、腮红形状等。
子步骤20242,计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值。
在实际应用中,对于M个强度类别的参数,第一损失值的公式如下:
在本发明实施例中,x1,k为强度类别的当前参数,x2,k为强度类别的目标参数。可以理解,还可以将顺序互换,x1,k为强度类别的目标参数,x2,k为强度类别的当前参数。
子步骤20243,计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值。
在实际应用中,对于N个类型类别的参数,第二损失值的公式如下:
其中,Zi为第i个类型类别的参数的取值总数,si,j为第i个类型类别的参数的第j个取值,y1,i为类型类别的当前参数,y2,i为类型类别的目标参数。当然,还可以将顺序互换,y1,i为类型类别的目标参数,y2,i为类型类别的当前参数。
子步骤20244,对所述第一损失值和第二损失值求和,得到所述当前参数组和目标参数组的损失值。
根据子步骤20242和20243得到损失值L的计算公式如下:
子步骤2025,若所述损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型。
其中,预设范围可以根据实际应用场景和实际需求设定,本发明实施例对其不加以限制。
本发明实施例选择最接近各图像的目标参数组的回归模型,作为最优回归模型。
子步骤2026,否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练。
可以理解,训练最优回归模型是一个递归过程,通过修改训练参数,使得下一次训练模型更加接近最优参数。
步骤203,根据所述最优参数组对所述原始图像进行美化。
该步骤可以参照步骤103的详细说明,在此不再赘述。
在本发明实施例中,通过获取原始图像中的人脸特征点;通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;根据所述最优参数组,对所述原始图像进行美化。从而可以解决当用户选择全部操作时,会导致美化操作复杂,效率较低;当用户选择的操作比较少时,会导致美化效果较差的问题,取得了提高美化效率及美化效果的有益效果。此外,还可以通过调用训练框架并通过损失值训练回归模型,从而可以进一步提高美化效果。
实施例三
参照图3 ,示出了本发明实施例三的一种移动终端的结构框图。
所述移动终端300包括:人脸特征点获取模块301、参数组获取模块302、图像调整模块303。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
人脸特征点获取模块301,用于获取原始图像中的人脸特征点。
参数组获取模块302,用于通过预设的回归模型对所述原始图像及所述人脸特征点获取模块获取的人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型。
图像调整模块303,用于根据所述参数组获取模块获取的最优参数组,对所述图像进行美化。
在本发明实施例中,通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。
实施例三是方法实施例一对应的装置实施例,详细说明可以参照实施例一,在此不再赘述。
实施例四
参照图4,示出了本发明实施例四的一种移动终端的结构框图。
所述移动终端400包括:人脸特征点获取模块401、参数组获取模块402、图像调整模块403。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
人脸特征点获取模块401,用于获取原始图像中的人脸特征点。
参数组获取模块402,用于通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型。在本发明实施例中,上述参数组获取模块402包括:回归模型获取子模块4021,用于将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型。
图像调整模块403,用于根据所述参数组获取模块获取的最优参数组,对所述原始图像进行美化。
可选地,在本发明的另一种实施例中,上述回归模型获取子模块4021,包括:
人脸特征点检测单元,用于多个图像样本中的各图像,检测人脸特征点。
回归模型初始化单元,用于初始化回归模型。
当前参数组获取单元,用于将所述各图像的所有像素值以及人脸特征点检测单元检测的人脸特征点,输入到回归模型中,得到各图像的当前参数组。
损失值计算单元,用于按照类别计算当前参数组获取单元获取的各图像的当前参数组和目标参数组的损失值。
回归模型获取单元,用于若所述损失值计算单元计算的损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型。
继续训练单元,用于否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练。
可选地,在本发明的另一种实施例中,上述损失值计算单元,包括:
类别划分子单元,用于针对各图像,将参数组中的各参数按照类别划分为强度、类型。
第一损失值计算子单元,用于计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值。
第二损失值计算子单元,用于计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值。
损失值计算子单元,用于对所述第一损失值计算子单元计算的第一损失值和第二损失值计算子单元计算的第二损失值求和,得到所述当前参数组和目标参数组的损失值。
在本发明实施例中,通过获取原始图像中的人脸特征点;通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;根据所述最优参数组,对所述原始图像进行美化。从而可以解决当用户选择全部操作时,会导致美化操作复杂,效率较低;当用户选择的操作比较少时,会导致美化效果较差的问题,取得了提高美化效率及美化效果的有益效果。此外,还可以通过调用训练框架并通过损失值训练回归模型,从而可以进一步提高美化效果。
实施例四是方法实施例二对应的装置实施例,详细说明可以参照实施例二,在此不再赘述。
实施例五
参照图5,示出了本发明实施例五的一种移动终端的结构框图。
图5所示的移动终端500包括:至少一个处理器501、存储器502、至少一个网络接口504和用户接口503。移动终端500中的各个组件通过总线系统505耦合在一起。可理解,总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统 505。
其中,用户接口503可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器502可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器 (Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM, EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器 (Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM, SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM, DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM,SLDRAM) 和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本发明实施例描述的系统和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器502存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统5021和应用程序 5022。
其中,操作系统5021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序5022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序 5022中。
在本发明实施例中,通过调用存储器502存储的程序或指令,具体的,可以是应用程序5022中存储的程序或指令,处理器501用于获取原始图像中的人脸特征点;通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;根据所述最优参数组,对所述原始图像进行美化。上述本发明实施例揭示的方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device, DSPD)、可编程逻辑设备(Programmable Logic Device,PLD)、现场可编程门阵列(Field-Programmable GateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器501在根据多个图像样本及各图像样本对应的目标参数组训练得到回归模型时,包括:将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型。
可选地,处理器501在将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型时,包括:针对多个图像样本中的各图像,检测人脸特征点;初始化回归模型;将所述各图像的所有像素值以及人脸特征点,输入到回归模型中,得到各图像的当前参数组;按照类别计算各图像的当前参数组和对应的目标参数组的损失值;若所述损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型;否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练。
可选地,处理器501在按照类别计算各图像的当前参数组和对应的目标参数组的损失值时,包括:针对各图像,将参数组中的各参数按照类别划分为强度、类型;计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值;计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值;对所述第一损失值和第二损失值求和,得到所述当前参数组和目标参数组的损失值。
可见,在本发明实施例中,通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。
实施例六
图6示出了本发明实施例六的移动终端的结构示意图。
本发明实施例的移动终端可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、或车载电脑等。
图6中的移动终端包括射频(Radio Frequency,RF)电路610、存储器620、输入单元630、显示单元640、处理器660、音频电路670、Wi-Fi(Wireless Fidelity)模块680、电源690。
其中,输入单元630可用于接收用户输入的数字或字符信息,以及产生与移动终端600的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元630可以包括触控面板631。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器660,并能接收处理器660发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元640可用于显示由用户输入的信息或提供给用户的信息以及移动终端600的各种菜单界面。显示单元640可包括显示面板641,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED) 等形式来配置显示面板641。
应注意,触控面板631可以覆盖显示面板641,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器660以确定触摸事件的类型,随后处理器660根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或 widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器660是移动终端600的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器621内的软件程序和/或模块,以及调用存储在第二存储器622内的数据,执行移动终端600 的各种功能和处理数据,从而对移动终端600进行整体监控。可选的,处理器660可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器621内的软件程序和/ 或模块和/或该第二存储器622内的数据,处理器660用于获取原始图像中的人脸特征点;通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;根据所述最优参数组,对所述原始图像进行美化。
可选地,处理器660在根据多个图像样本及各图像样本对应的目标参数组训练得到回归模型时,包括:将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型。
可选地,处理器660在将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型时,包括:针对多个图像样本中的各图像,检测人脸特征点;初始化回归模型;将所述各图像的所有像素值以及人脸特征点,输入到回归模型中,得到各图像的当前参数组;按照类别计算各图像的当前参数组和对应的目标参数组的损失值;若所述损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型;否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练。
可选地,处理器660在按照类别计算各图像的当前参数组和对应的目标参数组的损失值时,包括:针对各图像,将参数组中的各参数按照类别划分为强度、类型;计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值;计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值;对所述第一损失值和第二损失值求和,得到所述当前参数组和目标参数组的损失值。
可见,在本发明实施例中,通过预先训练得到的回归模型得到最优参数组,并使用最优参数组进行图像美化,能够减少用户的手动操作,提高图像美化效率及美化效果,且适用于对各种肤色、肤质、姿势、环境和光线,具有较强的鲁棒性。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的移动终端设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种图像美化方法,应用于移动终端,其特征在于,所述方法包括:
获取原始图像中的人脸特征点;
通过预设的回归模型对所述原始图像及所述人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;
根据所述最优参数组,对所述原始图像进行美化;
其中,所述预设的回归模型是将多个图像样本作为输入训练得到的、与各图像样本对应的目标参数组的损失值均最小的回归模型;
其中,所述将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型的步骤,包括:
针对多个图像样本中的各图像,检测人脸特征点;
初始化回归模型;
将所述各图像的所有像素值以及人脸特征点,输入到回归模型中,得到各图像的当前参数组;
按照类别计算各图像的当前参数组和对应的目标参数组的损失值;
若所述损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型;
否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练;
所述按照类别计算各图像的当前参数组和对应的目标参数组的损失值的步骤,包括:
针对各图像,将参数组中的各参数按照类别划分为强度、类型;
计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值;
计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值;
对所述第一损失值和第二损失值求和,得到所述当前参数组和目标参数组的损失值;
其中,所述第一损失值的公式为:其中M为所述强度类别的个数,x1,k为强度类别的当前参数,x2,k为强度类别的目标参数;
所述第二损失值的公式为:其中,N为类型类别的个数;Zi为第i个类型类别的参数的取值总数,si,j为第i个类型类别的参数的第j个取值,y1,i为类型类别的当前参数,y2,i为类型类别的目标参数。
2.一种移动终端,其特征在于,包括:
人脸特征点获取模块,用于获取原始图像中的人脸特征点;
参数组获取模块,用于通过预设的回归模型对所述原始图像及所述人脸特征点获取模块获取的人脸特征点输入回归模型进行处理,得到最优参数组;其中,所述预设的回归模型是根据多个图像样本及各图像样本对应的目标参数组训练得到的回归模型;
图像调整模块,用于根据所述参数组获取模块获取的最优参数组,对所述原始图像进行美化;
其中,所述参数组获取模块,包括:
回归模型获取子模块,用于将多个图像样本作为输入,训练得到与各图像样本对应的目标参数组的损失值均最小的回归模型;
其中,所述回归模型获取子模块,包括:
人脸特征点检测单元,用于针对多个图像样本中的各图像,检测人脸特征点;
回归模型初始化单元,用于初始化回归模型;
当前参数组获取单元,用于将所述各图像的所有像素值以及人脸特征点检测单元检测的人脸特征点,输入到回归模型中,得到各图像的当前参数组;
损失值计算单元,用于按照类别计算当前参数组获取单元获取的各图像的当前参数组和目标参数组的损失值;
回归模型获取单元,用于若所述损失值计算单元计算的损失值在预设范围内,则结束训练,当前回归模型为与各图像的目标参数组的损失值均最小的回归模型;
继续训练单元,用于否则,调整回归模型的训练参数得到新的回归模型,并将所述各图像的所有像素值以及人脸特征点,输入到所述新的回归模型中继续训练;
所述损失值计算单元,包括:
类别划分子单元,用于针对各图像,将参数组中的各参数按照类别划分为强度、类型;
第一损失值计算子单元,用于计算各强度类别的当前参数和目标参数之间的欧氏距离,得到第一损失值;
第二损失值计算子单元,用于计算各类型通过损失函数转换之后的当前参数和目标参数之间的差值,并求和得到第二损失值;
损失值计算子单元,用于对所述第一损失值计算子单元计算的第一损失值和第二损失值计算子单元计算的第二损失值求和,得到所述当前参数组和目标参数组的损失值;
其中,所述第一损失值的公式为:其中M为所述强度类别的个数,x1,k为强度类别的当前参数,x2,k为强度类别的目标参数;
所述第二损失值的公式为:其中,N为类型类别的个数;Zi为第i个类型类别的参数的取值总数,si,j为第i个类型类别的参数的第j个取值,y1,i为类型类别的当前参数,y2,i为类型类别的目标参数。
3.一种移动终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1所述的图像美化方法的步骤。
4.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1所述的图像美化方法的步骤。
CN201710802233.7A 2017-09-07 2017-09-07 一种图像美化方法及移动终端 Active CN107492067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710802233.7A CN107492067B (zh) 2017-09-07 2017-09-07 一种图像美化方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710802233.7A CN107492067B (zh) 2017-09-07 2017-09-07 一种图像美化方法及移动终端

Publications (2)

Publication Number Publication Date
CN107492067A CN107492067A (zh) 2017-12-19
CN107492067B true CN107492067B (zh) 2019-06-07

Family

ID=60651257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710802233.7A Active CN107492067B (zh) 2017-09-07 2017-09-07 一种图像美化方法及移动终端

Country Status (1)

Country Link
CN (1) CN107492067B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995428B (zh) * 2017-12-21 2020-02-07 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质和移动终端
CN108198144A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108564545A (zh) * 2018-04-18 2018-09-21 国云科技股份有限公司 一种基于深度学习的照片智能优化系统及其方法
CN109544503B (zh) * 2018-10-15 2020-12-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN109165700B (zh) * 2018-10-18 2022-09-06 广州智颜科技有限公司 一种美容液的挤出控制方法、装置及系统
CN110516545A (zh) * 2019-07-22 2019-11-29 北京迈格威科技有限公司 模型训练、图像处理方法和设备、图像处理器及介质
CN111523452B (zh) * 2020-04-22 2023-08-25 北京百度网讯科技有限公司 用于检测图像中人体位置的方法和装置
CN112837213A (zh) * 2021-02-07 2021-05-25 北京字跳网络技术有限公司 脸型调整图像生成方法、模型训练方法、装置和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN106845327A (zh) * 2015-12-07 2017-06-13 展讯通信(天津)有限公司 人脸对齐模型的训练方法、人脸对齐方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472754B1 (en) * 2010-11-11 2013-06-25 Amazon Technologies, Inc. Image artifact prevention
CN107025629B (zh) * 2017-04-27 2021-03-26 维沃移动通信有限公司 一种图像处理方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN106845327A (zh) * 2015-12-07 2017-06-13 展讯通信(天津)有限公司 人脸对齐模型的训练方法、人脸对齐方法和装置

Also Published As

Publication number Publication date
CN107492067A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107492067B (zh) 一种图像美化方法及移动终端
CN107527034B (zh) 一种面部轮廓调整方法及移动终端
CN106777329B (zh) 一种图像信息的处理方法及移动终端
CN107610042B (zh) 一种图像美化方法及移动终端
CN107277481A (zh) 一种图像处理方法及移动终端
CN107368150A (zh) 一种拍照方法及移动终端
CN109583385A (zh) 人脸图像处理方法、装置、电子设备及计算机存储介质
CN105354792B (zh) 一种虚拟眼镜试戴方法及移动终端
CN107197170A (zh) 一种曝光控制方法及移动终端
CN106575160A (zh) 根据用户视点识别动作的界面提供方法及提供装置
CN110139033A (zh) 拍照控制方法及相关产品
CN107404577B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN107317993A (zh) 一种视频通话方法及移动终端
CN107392933A (zh) 一种图像分割的方法及移动终端
CN106973222A (zh) 一种数码变焦的控制方法和移动终端
CN106096043B (zh) 一种拍照方法和移动终端
CN111767817B (zh) 一种服饰搭配方法、装置、电子设备及存储介质
CN106780401A (zh) 一种图片处理的方法及移动终端
CN110443769A (zh) 图像处理方法、图像处理装置及终端设备
CN107492079A (zh) 一种图像磨皮方法及移动终端
CN106855744B (zh) 一种屏幕显示方法及移动终端
CN111882380A (zh) 一种虚拟试衣的方法、装置、系统及电子设备
CN106503625B (zh) 一种检测头发分布情况的方法及移动终端
CN110363702A (zh) 图像处理方法及相关产品
CN107580182A (zh) 一种抓拍方法、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant