CN107025629B - 一种图像处理方法及移动终端 - Google Patents
一种图像处理方法及移动终端 Download PDFInfo
- Publication number
- CN107025629B CN107025629B CN201710288069.2A CN201710288069A CN107025629B CN 107025629 B CN107025629 B CN 107025629B CN 201710288069 A CN201710288069 A CN 201710288069A CN 107025629 B CN107025629 B CN 107025629B
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- preset
- face
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 77
- 230000003796 beauty Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 40
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 210000000056 organ Anatomy 0.000 claims description 9
- 239000011148 porous material Substances 0.000 claims description 9
- 230000037303 wrinkles Effects 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 239000010410 layer Substances 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明提供了一种图像处理方法及移动终端，该方法包括：获取样本图像数据和所述样本图像数据对应的特征图像数据；根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；获取待处理的初始图像；将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像。本发明提供的一种图像处理方法，通过将获取的样本图像数据和所述样本图像数据对应的特征图像数据来构建美颜预测模型，从而通过该模型来对待处理人脸图像进行美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
Description
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种图像处理方法及移动终端。
背景技术
现在的手机对自拍技术的要求越来越高，例如自拍清晰度、对焦、美白、磨皮、图像增强等成为当前手机自拍技术的关键因数。然而，目前的手机需要用户手动对图像进行美颜处理，或者需要预先设定美颜处理的一些过程，才能达到美颜的效果，这样增加了用户手动设置的繁琐操作。
发明内容
本发明实施例提供一种基于深度神经网络的美颜方法，以解决现有的图像的美颜处理，需用用户手动操作，导致增加了用户手动设置的繁琐操作的问题。
一方面，提供了一种图像处理方法，应用于移动终端，所述方法包括：
获取样本图像数据和所述样本图像数据对应的特征图像数据；
根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；
获取待处理的初始图像；
将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。
另一方面，提供一种移动终端，该移动终端包括：
第一获取模块，用于获取样本图像数据和所述样本图像数据对应的特征图像数据；
建立模块，用于根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；
第二获取模块，用于获取待处理的初始图像；
输出模块，用于将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。
本发明实施例提供的一种图像处理方法，通过将获取的样本图像数据和所述样本图像数据对应的特征图像数据来构建美颜预测模型，从而通过该模型来对待处理人脸图像进行美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种图像处理方法实施例的流程图；
图2是本发明的一种图像处理方法实施例另一的流程图；
图3是本发明的一种移动终端的结构图；
图3a是本发明的一种移动终端的另一结构图；
图4是本发明的一种移动终端的又一结构图；
图5是本发明的一种移动终端的又一结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例提供的一种图像处理方法实施例的流程图，该方法包括：
步骤101，获取样本图像数据和所述样本图像数据对应的特征图像数据。
本步骤中，该样本图像数据为用户的拍摄的人脸图像。该特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。该预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。该预设图像处理为用户根据样本图像中的人脸的某项特征进行的美颜处理。如对人脸的肤色进行美白处理，对人的眉毛进行增粗处理。本发明实施例通过获取样本图像数据和所述样本图像数据对应的特征图像数据，利用神经网络来学习用户对人脸的某项特征的美颜方法，从而实现自动美颜的功能，更个性化且避免用户手动设置美颜的繁琐。
步骤102，根据所述样本图像数据和所述特征图像数据，构建美颜预测模型。
本步骤中，在获取到样本图像数据和特征图像数据后，根据两者的特征差异，学习同一人脸的某项特征在样本图像与特征图像的差异变化情况，得到美颜预测模型，从而利用该训练好的模型对用户的拍摄的人脸图像进行实时美颜调整，避免用户手动设置美颜的繁琐。
步骤103，获取待处理的初始图像。
本步骤中，该初始图像为用户拍摄的需要进行美颜处理的人脸图像。
步骤104，将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像。
本步骤中，该美颜预测模型通过学习具备对样本图像在不同分类条件下的美颜方法，当输入待美颜处理的初始图像时，该美颜预测模型对该初始图像进行分类识别，并通过学习得到的对不同的类别的人脸特征的美颜方法对该待处理图像执行实时美颜处理，得到美颜图像数据。
本发明实施例提供的一种图像处理方法，通过将获取的样本图像数据和所述样本图像数据对应的特征图像数据来构建美颜预测模型，从而通过该模型来对待处理人脸图像进行美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
如图2所示，为本发明实施例提供的一种图像处理方法实施例的另一流程图。该图像处理方法，包括：
步骤201，获取样本图像数据和所述样本图像数据对应的特征图像数据。
本步骤中，该样本图像数据为用户的拍摄的人脸图像。该特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。该预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。该预设图像处理为用户根据样本图像中的预设的人脸特征进行的美颜处理。即对人脸特征中的性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项做美颜处理。本发明实施例通过获取样本图像数据和所述样本图像数据对应的特征图像数据，利用神经网络来学习用户对该预设人脸特征的美颜方法，从而实现自动美颜的功能，更个性化且避免用户手动设置美颜的繁琐。
具体的，步骤201，包括：
步骤2011，获取N张图像，所述N张图像分别包括不同人脸特征。
本步骤中，N为大于1的整数。该不同人脸特征可以包括性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
步骤2012，将所述N张图像确定为所述样本图像数据。
本步骤中，将该包含不同人脸特征的图像确定为样本图像，提供给神经网络学习不同人脸特征的美颜方法。
步骤2013，通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型。
本步骤中，该卷积神经网络用于按照预设的人脸特征对样本图像进行分类，训练识别人脸的某项特征。如训练识别人脸的肤色，人脸的眉毛，在得到人脸特征训练模型后，将样本图像输入该模型，该模型自动识别出人脸的肤色，人脸的眉毛。该人脸特征训练模型在于确定人脸的某项特征，如确定人脸的肤色，人脸的眉毛特征。
步骤2014，根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据。
本步骤中，根据人脸特征训练模型和预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到特征图像数据。如该预设人脸特征为肤色时，根据人脸特征训练模型识别人脸的肤色，从而对该肤色根据美颜算法进行美白的美颜处理，如该预设人脸特征为眉毛时，根据人脸特征训练模型识别到眉毛，从而对该眉毛根据美颜算法进行加粗的美颜处理，在对样本图像的人脸特征处理完成后得到与样本图像数据对应的特征图像数据。该特征图像数据用于与样本图像数据对比，进行人脸特征差异化分析。
步骤202，根据所述样本图像数据和所述特征图像数据，构建美颜预测模型。
本步骤中，在获取到样本图像数据和特征图像数据后，根据两者的特征差异，学习对相同类别的人脸特征差异的美颜方法，得到美颜预测模型。利用该训练好的模型对用户的拍摄的人脸图像进行实时美颜，避免用户手动设置美颜的繁琐。
具体的，步骤202，包括：
步骤2021，根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据。
本步骤中，该样本图像数据为用户的拍摄的原始人脸图像。该特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。该人脸差异特征数据满足一定的量化关系。具体的，如人脸的肤色特征，该人脸差异特征数据为样本图像中的肤色特征与特征图像中的肤色特征的差异数据。通过计算该人脸差异特征数据来获得对该肤色特征进行美白处理的美颜处理方法。
步骤2022，基于所述人脸差异特征数据，构建反馈网络数据。
本步骤中，该反馈网络用于对计算出的人脸差异特征数据进行优化调整，获得最终的差异特征数据。
步骤2023，将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型。
本步骤中，该Faster RCNN网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学网络模型，具有自学习和自适应的能力。它本质上是一种输入到输出的映射，它能够学习大量的输入与输出的映射关系，而不需要任何输人和输出之间的精确的表达式，只要用已知的模式对网络加以训练，网络就具有输入输出之间的映射能力。
将调整好的人脸差异特征数据构成的反馈网络输入Faster RCNN进行训练，学习人脸特征在样本图像和特征图像的差异变化情况，即学习如何对某项人脸特征的美颜处理方法，根据该学习到美颜处理方法，得到美颜预测模型。如人脸的肤色特征，在样本图像中的亮度为A，在特征图像的亮度为B，则学习由A到B的美颜处理方法。
步骤203，获取待处理的初始图像。
本步骤中，该初始图像为用户拍摄的需要进行美颜处理的人脸图像。
步骤204，将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像。
本步骤中，该美颜预测模型通过学习具备对初始图像在不同分类条件下不同的人脸特征的美颜方法，当输入待美颜处理的初始图像时，该美颜预测模型对该原始图像进行分类识别，并通过学习得到的对不同的类别的预设人脸特征的美颜方法对该待处理图像执行实时美颜处理，得到美颜图像数据。如将人脸肤色的亮度提高，将眉毛加粗，将鼻子增高。
具体的，步骤204，包括：
步骤2041，将所述初始图像输入至所述美颜预测模型。
本步骤中，该初始图像为用户需美颜处理的原图；该美颜预测模型包含了对人脸各个特征的美颜处理方法。
步骤2042，基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
本步骤中，该美颜预测模型对输入的原始图形进行美颜处理，对该原始图像的各特征实时调整，最后输出美颜处理后的目标图像。如将人脸肤色的亮度提高，将眉毛加粗，将鼻子增高。
本发明实施例提供的一种图像处理方法，通过卷积神经网络样模型对样本图像分类训练，并将训练得到的该不同类别的人脸特征进行美颜处理后得到特征图像数据，再计算该特征图像数据与样本图像数据的人脸差异特征数据，从而将该得到的人脸差异特征数据输入到Faster RCNN网络进行学习训练，得到包含美颜方法的美颜预测模型，通过该模型对待处理的图像进行实时的美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
如图3所示，为本发明实施例的一种移动终端的结构图。该移动终端300，包括：
第一获取模块301，用于获取样本图像数据和所述样本图像数据对应的特征图像数据；
建立模块302，用于根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；
第二获取模块303，用于获取待处理的初始图像；
输出模块304，用于将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。
进一步的，在图3的基础上，如图3a所示，该移动终端300还包括：
所述第一获取模块301，包括：
获取单元3011，用于获取N张图像，所述N张图像分别包括不同人脸特征；
确定单元3012，用于将所述N张图像确定为所述样本图像数据；
卷积单元3013，用于通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型；
图像处理单元3014，根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据；
其中，N为大于1的整数。
所述预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
所述建立模块302，包括：
计算单元3023，用于根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据；
建立单元3024，用于基于所述人脸差异特征数据，构建反馈网络数据；
训练单元3025，用于将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型。
所述输出模块304，包括：
输入单元3041，用于将所述初始图像输入至所述美颜预测模型；
输出单元3042，用于基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
本发明实施例提供的一种移动终端，通过上述模块，通过卷积神经网络样模型对样本图像分类训练，并将训练得到的不同类别的人脸特征进行美颜处理后得到特征图像数据，再计算该特征图像数据与样本图像数据的人脸差异特征数据，从而将该得到的人脸差异特征数据输入到Faster RCNN网络进行学习训练，得到包含美颜方法的美颜预测模型，通过该模型对待处理的图像进行实时的美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
参照图4，为本发明的一种移动终端的装置结构图，该移动终端400包括：
至少一个处理器401、存储器402、至少一个网络接口404和用户接口403。移动终端400中的各个组件通过总线系统405耦合在一起。可理解，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统405。
其中，用户接口403可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统4021和应用程序4022。
其中，操作系统4021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序4022中。
在本发明实施例中，通过调用存储器402存储的程序或指令，具体的，可以是应用程序4022中存储的程序或指令，处理器401用于：获取样本图像数据和所述样本图像数据对应的特征图像数据；根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；获取待处理的初始图像；将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本发明实施例的所述预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
可选地，处理器401用于：获取N张图像，所述N张图像分别包括不同人脸特征；将所述N张图像确定为所述样本图像数据；通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型；根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据；其中，N为大于1的整数。
可选地，处理器401用于：根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据；基于所述人脸差异特征数据，构建反馈网络数据；将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型。
可选地，处理器401还用于：将所述初始图像输入至所述美颜预测模型；基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
移动终端400能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例提供的一种移动终端，通过上述模块，通过卷积神经网络样模型对样本图像分类训练，并将训练得到的不同类别的人脸特征进行美颜处理后得到特征图像数据，再计算该特征图像数据与样本图像数据的人脸差异特征数据，从而将该得到的人脸差异特征数据输入到Faster RCNN网络进行学习训练，得到包含美颜方法的美颜预测模型，通过该模型对待处理的图像进行实时的美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
参照图5，为本发明实施例的一种移动终端又一结构图。
具体地，图5中的移动终端500可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。
图5中的移动终端500包括射频(RadioFrequency，RF)电路510、存储器520、输入单元530、显示单元540、处理器560、音频电路570、WiFi(WirelessFidelity)模块580和电源590。
其中，输入单元530可用于接收用户输入的数字或字符信息，以及产生与移动终端500的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元530可以包括触控面板531。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器560，并能接收处理器560发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。音频电路570接收处理器的播放信号，用于播放各种音频数据。
其中，显示单元540可用于显示由用户输入的信息或提供给用户的信息以及移动终端500的各种菜单界面。显示单元540可包括显示面板541，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板541。
其中处理器560是移动终端500的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器521内的软件程序和/或模块，以及调用存储在第二存储器522内的数据，执行移动终端500的各种功能和处理数据，从而对移动终端500进行整体监控。可选的，处理器560可包括一个或多个处理单元。
在本发明实施例中，通过调用存储该第一存储器521内的软件程序和/或模块和/或该第二存储器522内的数据，处理器560用于：获取样本图像数据和所述样本图像数据对应的特征图像数据；根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；获取待处理的初始图像；将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据。
本发明实施例的所述预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
可选地，处理器560用于：获取N张图像，所述N张图像分别包括不同人脸特征；将所述N张图像确定为所述样本图像数据；通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型；根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据；其中，N为大于1的整数。
可选地，处理器560用于：根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据；基于所述人脸差异特征数据，构建反馈网络数据；将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型。
可选地，处理器560还用于：将所述初始图像输入至所述美颜预测模型；基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
移动终端500能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
本发明实施例提供的一种移动终端，通过上述模块，通过卷积神经网络样模型对样本图像分类训练，并将训练得到的不同类别的人脸特征进行美颜处理后得到特征图像数据，再计算该特征图像数据与样本图像数据的人脸差异特征数据，从而将该得到的人脸差异特征数据输入到Faster RCNN网络进行学习训练，得到包含美颜方法的美颜预测模型，通过该模型对待处理的图像进行实时的美颜处理，自动获得美颜处理图像，避免了用户手动设置美颜的繁琐操作。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种图像处理方法，应用于移动终端，其特征在于，包括：
获取样本图像数据和所述样本图像数据对应的特征图像数据；
根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；
获取待处理的初始图像；
将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
所述根据所述样本图像数据和所述特征图像数据，构建美颜预测模型的步骤，包括：
根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据；
基于所述人脸差异特征数据，构建反馈网络数据；
将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据；所述预设图像处理为用户根据样本图像中的预设的人脸特征进行的美颜处理；所述美颜预测模型用于对待处理人脸图像进行美颜处理。
2.根据权利要求1所述的方法，其特征在于，所述获取样本图像数据和所述样本图像数据对应的特征图像数据的步骤，包括：
获取N张图像，所述N张图像分别包括不同人脸特征；
将所述N张图像确定为所述样本图像数据；
通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型；
根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据；
其中，N为大于1的整数。
3.根据权利要求1所述的方法，其特征在于，所述预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
4.根据权利要求1所述的方法，其特征在于，所述将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像的步骤，包括：
将所述初始图像输入至所述美颜预测模型；
基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
5.一种移动终端，其特征在于，包括：
第一获取模块，用于获取样本图像数据和所述样本图像数据对应的特征图像数据；
建立模块，用于根据所述样本图像数据和所述特征图像数据，构建美颜预测模型；
第二获取模块，用于获取待处理的初始图像；
输出模块，用于将所述初始图像输入至所述美颜预测模型，输出经过图像处理后的目标图像；
所述建立模块，包括：
计算单元，用于根据所述样本图像数据和所述特征图像数据，计算人脸差异特征数据；
建立单元，用于基于所述人脸差异特征数据，构建反馈网络数据；
训练单元，用于将所述反馈网络数据输入至预设的Faster RCNN网络中进行分类训练，得到所述美颜预测模型；
其中，所述特征图像数据为：根据预设人脸特征，对所述样本图像数据进行预设图像处理后的图像数据；所述预设图像处理为用户根据样本图像中的预设的人脸特征进行的美颜处理；所述美颜预测模型用于对待处理人脸图像进行美颜处理。
6.根据权利要求5所述的移动终端，其特征在于，所述第一获取模块，包括：
获取单元，用于获取N张图像，所述N张图像分别包括不同人脸特征；
确定单元，用于将所述N张图像确定为所述样本图像数据；
卷积单元，用于通过卷积神经网络模型，按照预设人脸特征，对所述样本图像数据进行分类训练，得到人脸特征训练模型；
图像处理单元，根据所述人脸特征训练模型和所述预设人脸特征，对所述样本图像数据分别进行预设图像处理，得到所述特征图像数据；
其中，N为大于1的整数。
7.根据权利要求5所述的移动终端，其特征在于，所述预设人脸特征包括：性别、年龄、肤色、人脸朝向、人脸各器官的三维结构、皮肤透明度、皮肤光滑度、皮肤表层毛孔、皮肤表层皱纹中的至少一项。
8.根据权利要求5所述的移动终端，其特征在于，所述输出模块，包括：
输入单元，用于将所述初始图像输入至所述美颜预测模型；输出单元，用于基于美颜预测模型，实时调整所述初始图像的预设美颜图像参数，输出经过图像处理后的目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710288069.2A CN107025629B (zh) | 2017-04-27 | 2017-04-27 | 一种图像处理方法及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710288069.2A CN107025629B (zh) | 2017-04-27 | 2017-04-27 | 一种图像处理方法及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107025629A CN107025629A (zh) | 2017-08-08 |
| CN107025629B true CN107025629B (zh) | 2021-03-26 |
Family
ID=59528121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710288069.2A Active CN107025629B (zh) | 2017-04-27 | 2017-04-27 | 一种图像处理方法及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107025629B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610042B (zh) * | 2017-08-23 | 2019-06-07 | 维沃移动通信有限公司 | 一种图像美化方法及移动终端 |
| CN107492067B (zh) * | 2017-09-07 | 2019-06-07 | 维沃移动通信有限公司 | 一种图像美化方法及移动终端 |
| US11450319B2 (en) | 2017-09-29 | 2022-09-20 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Image processing apparatus and method |
| US11437032B2 (en) | 2017-09-29 | 2022-09-06 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
| EP3667488B1 (en) * | 2017-09-29 | 2023-06-28 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
| CN108496198B (zh) * | 2017-10-09 | 2021-08-20 | 华为技术有限公司 | 一种图像处理方法及设备 |
| EP3671627A4 (en) | 2017-10-09 | 2020-10-21 | Huawei Technologies Co., Ltd. | IMAGE PROCESSING METHOD AND DEVICE |
| CN108022207A (zh) * | 2017-11-30 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN107911609B (zh) * | 2017-11-30 | 2020-09-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN108876726A (zh) * | 2017-12-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
| CN107995428B (zh) * | 2017-12-21 | 2020-02-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置及存储介质和移动终端 |
| US11630666B2 (en) | 2018-02-13 | 2023-04-18 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
| US11169803B2 (en) | 2018-02-13 | 2021-11-09 | Shanghai Cambricon Information Technology Co., Ltd. | Computing device and method |
| EP3651070B1 (en) | 2018-02-13 | 2021-07-28 | Shanghai Cambricon Information Technology Co., Ltd | Computation device and method |
| CN116991226A (zh) | 2018-02-14 | 2023-11-03 | 上海寒武纪信息科技有限公司 | 处理器的控制装置、方法及设备 |
| CN108566487B (zh) * | 2018-03-27 | 2020-08-14 | Oppo广东移动通信有限公司 | 照片处理方法、装置及移动终端 |
| WO2019218896A1 (zh) | 2018-05-18 | 2019-11-21 | 上海寒武纪信息科技有限公司 | 计算方法以及相关产品 |
| CN108898587A (zh) * | 2018-06-19 | 2018-11-27 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
| WO2020001438A1 (zh) | 2018-06-27 | 2020-01-02 | 上海寒武纪信息科技有限公司 | 片上代码断点调试方法、片上处理器及芯片断点调试系统 |
| CN108876751A (zh) * | 2018-07-05 | 2018-11-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及终端 |
| WO2020042739A1 (zh) | 2018-08-28 | 2020-03-05 | 中科寒武纪科技股份有限公司 | 数据预处理方法、装置、计算机设备和存储介质 |
| CN109255814A (zh) * | 2018-09-20 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| EP3859488A4 (en) | 2018-09-28 | 2022-06-29 | Shanghai Cambricon Information Technology Co., Ltd | Signal processing device, signal processing method and related product |
| CN109165700B (zh) * | 2018-10-18 | 2022-09-06 | 广州智颜科技有限公司 | 一种美容液的挤出控制方法、装置及系统 |
| CN109493294A (zh) * | 2018-10-30 | 2019-03-19 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN111383638A (zh) | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
| CN111831543A (zh) | 2019-04-18 | 2020-10-27 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
| US11934940B2 (en) | 2019-04-18 | 2024-03-19 | Cambricon Technologies Corporation Limited | AI processor simulation |
| WO2020248423A1 (zh) | 2019-06-12 | 2020-12-17 | 上海寒武纪信息科技有限公司 | 一种神经网络的量化参数确定方法及相关产品 |
| US11676029B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
| CN111083369A (zh) * | 2019-12-26 | 2020-04-28 | 上海传英信息技术有限公司 | 一种人脸对焦方法、装置、移动终端及存储介质 |
| CN111368763A (zh) * | 2020-03-09 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 基于头像的图像处理方法、装置及计算机可读存储介质 |
| CN111652798B (zh) * | 2020-05-26 | 2023-09-29 | 浙江大华技术股份有限公司 | 人脸姿态迁移方法和计算机存储介质 |
| CN112132744A (zh) * | 2020-11-24 | 2020-12-25 | 北京蜜莱坞网络科技有限公司 | 一种美颜参数调整方法、装置、电子设备及存储介质 |
| CN115841432B (zh) * | 2023-02-09 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 美颜特效数据确定和模型训练方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN105825486A (zh) * | 2016-04-05 | 2016-08-03 | 北京小米移动软件有限公司 | 美颜处理的方法及装置 |
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
| CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学（武汉） | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
| CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
-
2017
- 2017-04-27 CN CN201710288069.2A patent/CN107025629B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654420A (zh) * | 2015-12-21 | 2016-06-08 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
| CN105825486A (zh) * | 2016-04-05 | 2016-08-03 | 北京小米移动软件有限公司 | 美颜处理的方法及装置 |
| CN106022221A (zh) * | 2016-05-09 | 2016-10-12 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理系统 |
| CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
| CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学（武汉） | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Android平台美颜相机/Camera实时滤镜/视频编解码/影像后期/人脸技术探索——参考资料;Martin20150405;《https://blog.csdn.net/martin20150405/article/details/54766660》;20170128;第1-9页 * |
| DeepSentiBank: Visual Sentiment Concept Classification with Deep Convolutional Neural Networks;Tao Chen 等;《arXiv》;20141030;第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107025629A (zh) | 2017-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107025629B (zh) | 一种图像处理方法及移动终端 | |
| CN105654952B (zh) | 用于输出语音的电子设备、服务器和方法 | |
| JP2019535055A (ja) | ジェスチャに基づく操作の実施 | |
| CN108805058B (zh) | 目标对象变化姿态识别方法、装置及计算机设备 | |
| US10572072B2 (en) | Depth-based touch detection | |
| CN107528972B (zh) | 一种显示方法及移动终端 | |
| CN106293074B (zh) | 一种情绪识别方法和移动终端 | |
| CN111047526B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| JP2021502627A (ja) | 深層ニューラルネットワークを用いた画像処理システム及び処理方法 | |
| CN110544272B (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
| US10970523B2 (en) | Terminal and server for providing video call service | |
| CN108197602A (zh) | 一种卷积神经网络生成方法及表情识别方法 | |
| KR20190099914A (ko) | 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN110443769A (zh) | 图像处理方法、图像处理装置及终端设备 | |
| CN110427849B (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| CN111950570B (zh) | 目标图像提取方法、神经网络训练方法及装置 | |
| CN109697446B (zh) | 图像关键点提取方法、装置、可读存储介质及电子设备 | |
| KR20200008845A (ko) | 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN110765924A (zh) | 一种活体检测方法、装置以及计算机可读存储介质 | |
| CN112364799A (zh) | 一种手势识别方法及装置 | |
| US10936140B2 (en) | Method and device for displaying response | |
| CN110568770B (zh) | 一种控制智能家居设备的方法及控制设备 | |
| CN111160308B (zh) | 手势动作识别方法、装置、设备及可读存储介质 | |
| KR102147930B1 (ko) | 포즈 인식 방법 및 장치 | |
| CN111722717B (zh) | 手势识别方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |