CN107995428A - 图像处理方法、装置及存储介质和移动终端 - Google Patents

图像处理方法、装置及存储介质和移动终端 Download PDF

Info

Publication number
CN107995428A
CN107995428A CN201711394658.5A CN201711394658A CN107995428A CN 107995428 A CN107995428 A CN 107995428A CN 201711394658 A CN201711394658 A CN 201711394658A CN 107995428 A CN107995428 A CN 107995428A
Authority
CN
China
Prior art keywords
feedback model
shooting image
shooting
default feedback
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711394658.5A
Other languages
English (en)
Other versions
CN107995428B (zh
Inventor
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711394658.5A priority Critical patent/CN107995428B/zh
Publication of CN107995428A publication Critical patent/CN107995428A/zh
Application granted granted Critical
Publication of CN107995428B publication Critical patent/CN107995428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置及存储介质和移动终端,所述方法包括:获取拍摄生成的拍摄图像;获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;将拍摄图像输入至预设反馈模型中,获取预设反馈模型输出的目标美化图像。本申请实施例提供的技术方案,预先对经过美化处理的拍摄图像基于机器学习方法进行训练,生成一个预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,其中,预设反馈模型是基于机器学习的模型,能够提升拍摄图像的美化精度。

Description

图像处理方法、装置及存储介质和移动终端
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及存储介质和移动终端。
背景技术
随着电子技术的不断发展,数码拍照设备(例如,数码相机或者具有数码摄像头的手机等)已经深入千家万户,成为大家记录美丽自然风光、铭刻生活精彩瞬间的必备工具。用户在利用数码拍照设备拍摄图像后,往往会对拍摄图像进一步美化处理,得到满足用户审美和需求的最终图像。一般用户在对拍摄图像进行美化处理时,要么是用户手动处理,要么是进行机械的不贴合用户实际需求的一键美化处理,已不能满足人们日益增长的个性化、便捷化的图像处理需求,需要改进。
发明内容
本申请实施例提供一种图像处理方法、装置及存储介质和移动终端,可以优化移动终端的图像处理方案。
在第一方面,本申请实施例提供了一种图像处理方法,包括:
获取拍摄生成的拍摄图像;
获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
在第二方面,本申请实施例提供了一种图像处理装置,包括:
拍摄图像获取模块,用于获取拍摄生成的拍摄图像;
预设反馈模型获取模块,用于获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
目标美化图像获取模块,用于将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
在第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所提供的图像处理方法。
在第四方面,本申请实施例提供了一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如第一方面所提供的图像处理方法。
本申请实施例提供的图像处理方案,预先对经过美化处理的拍摄图像基于机器学习方法进行训练,生成一个预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,其中,预设反馈模型是基于机器学习的模型,能够提升拍摄图像的美化精度。
附图说明
图1是本申请实施例提供的一种图像处理方法的流程图;
图2是本申请实施例提供的另一种图像处理方法的流程图;
图3是本申请实施例提供的另一种图像处理方法的流程图;
图4是本申请实施例提供的另一种图像处理方法的流程图;
图5是本申请实施例提供的一种图像处理装置的结构示意图;
图6是本申请实施例提供的一种移动终端的结构示意图;
图7是本申请实施例提供的另一种移动终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种图像处理方法的流程图,本实施例的方法可以由图像处理装置来执行,该装置可通过硬件和/或软件的方式实现,所述装置可作为移动终端一部分设置在所述移动终端的内部。本申请实施例中所述的移动终端包括但不限定于智能手机、平板电脑、笔记本和数码相机等设备。
如图1所示,本实施例提供的图像处理方法包括以下步骤:
步骤101、获取拍摄生成的拍摄图像。
用户在按下拍摄按键(虚拟按键或者实体按键)拍摄后,移动终端中生成拍摄图像,所述拍摄图像中的拍摄对象可以包含人物、风景、动物或者物品等,本实施例对此并不进行限制。
步骤102、获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理。
该基于机器学习方法生成的预设反馈模型的训练生成及更新过程可以在移动终端本地进行,也可以在预设服务器中进行,当预设反馈模型训练生成完毕或者更新完毕后,可以直接发送到移动终端进行存储,或者在预设服务器进行存储,等待移动终端主动获取。相应的,该步骤102可以包括:从预设服务器中或者移动终端本地获取基于机器学习方法生成的预设反馈模型。
其中,机器学习方法包括神经网络方法、支持向量机方法、决策树方法、逻辑回归方法、贝叶斯方法、和随机森林方法。其中,神经网络(Neural Networks,简写为NNs)系统指的是人工神经网络,启发自人类大脑处理信息的生物神经网络,它包括输入层、隐藏层和输出层,相应的包括三种节点(神经网络的基本单元):输入节点、隐藏节点和输出节点,输入节点从外部世界获取信息;隐藏节点和外部世界没有直接联系,这些节点利用激活函数进行计算,并将信息从输入节点传递到输出节点;输出节点用于向外部世界传递信息。
在本实施例中,对拍摄图像样本的来源和数量不做限定,该拍摄图像样本由大量拍摄图像组成,每个拍摄图像包括用户按下拍摄按键后生成的原始拍摄图像和对原始拍摄图像手动美化处理或者图像美化应用软件美化处理后生成的美化图像。例如,拍摄图像可以是该移动终端用户的历史拍摄图像,也可以是目标用户群组的历史拍摄图像,也可以是两者的结合。该目标用户群组可以为移动终端用户具有相同用户属性的多个用户,用户属性可以包括年龄、性别、拍摄习惯和拍摄水平中的至少一项。本实施例以移动终端用户或者与移动终端用户具有相同用户属性的目标用户群体的历史拍摄图像,作为样本进行训练,生成预设反馈模型,可以在后续将用户拍摄的拍摄图像基于预设反馈模型进行符合用户习惯和需求的图像美化处理,可以自动的进行贴合用户需求的图像美化处理操作。
将拍摄图像样本基于机器学习方法进行训练,得到预设反馈模型,该预设反馈模型的输入为拍摄生成的拍摄图像,输出为对所述拍摄图像美化处理后的目标美化图像。
可选的,拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业中的至少一项。示例性的,拍摄对象为两个人,若一个人为正脸面向镜头,一个人为侧脸面向镜头,那么两个人的拍摄角度是不同的,相应的在对该两个拍摄对象进行美化处理时,采用的美化参数和设置的美化参数值是不同的(同一美化参数不同拍摄角度参数值不同);若一个人是移动终端用户,另一个人是其他人,而移动终端用户的美化等级高于其他人,相应的采用的美化参数和设置的美化参数值是不同的(同一美化参数不同美化程度参数值不同);若两个人的脸型不同,相应采用不同的美化参数和美化参数值;根据两个人各自的面部器官类型,相应采用不同的美化参数和参数值,例如,对于方脸脸型进行较大幅度调整,调整为瓜子脸型,而对于接近瓜子脸的脸型进行微调,对于小眼睛进行大幅调整,调整为大眼睛;根据两个人各自的皮肤状况,相应的采用不同的美化参数和参数值,例如对于脸上有痘痘的那个人进行祛痘美化,对于肤色暗黄的那个人进行肤色提亮;根据两个人的年龄相应采用不同的美化参数和参数值;根据两个人的性别相应采用不同的美化参数和参数值;根据两个人的职业相应采用不同的美化参数和参数值。其中移动终端的类型、拍摄图像采用的拍摄应用软件和图像美化应用软件不同,所对应的美化参数也不同。
上述举例内容只是示例性的说明并不用于对本申请实施例进行限制,拍摄对象不限于人物,相应的美化处理也不限于上述操作。上述的拍摄对象可以为历史拍摄图像,相应的美化操作可以为用户的手动执行或者图像美化应用软件执行的,通过对用户手动执行或者拍摄应用软件执行的图像美化操作进行学习,生成预设反馈模型后,移动终端后续可以自动执行相应的图像美化操作。
步骤103、将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
将所述拍摄图像输入至预设反馈模型中,预设反馈模型基于拍摄对象属性对拍摄图像中的拍摄对象进行美化处理,输出目标美化图像。
进一步的,还可以包括以下步骤:将所述目标美化图像向用户进行显示并存储。
进一步的,在步骤103之后还可以包括以下步骤:接收用户对目标美化图像的修正指令,获取修正后的目标美化图像;将拍摄图像和修正后的目标美化图像反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。这样设置的作用是:在根据拍摄图像和用户输入的修正信息对预设反馈模型进行训练及更新后,预设反馈模型能够更加贴合终端用户的图像美化习惯,使图像美化更加智能化和准确。
本实施例提供的图像处理方法,预先对经过美化处理的拍摄图像基于机器学习方法进行训练,生成一个预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,其中,预设反馈模型是基于机器学习的模型,能够提升拍摄图像的美化精度。
图2给出了本申请实施例提供的另一种图像处理方法的流程图。如图2所示,本实施例提供的图像处理方法包括以下步骤:
步骤201、按照拍摄对象属性类型,分别对拍摄图像样本基于机器学习方法进行训练建立多个预设反馈子模型,所述拍摄对象属性类型有多个,每个拍摄对象属性类型包括至少一个拍摄对象属性;所述拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业。
对拍摄对象属性进行分类,每个拍摄对象属性类型包括至少一个拍摄对象属性。示例性的,可将脸型和各个面部器官类型分为一类,其他拍摄对象属性各为一类。将拍摄图像样本基于机器学习方法对一个拍摄对象属性类型中的拍摄对象属性进行训练,建立一个预设反馈子模型,每一个拍摄对象属性类别对应建立一个预设反馈子模型。
步骤202、将所述多个预设反馈子模型,利用决策树算法进行决策融合形成预设反馈模型。
可选的,将所述多个预设反馈子模型,基于加权或者简单投票的多分类器集成算法,进行决策融合形成预设反馈模型。
步骤203、获取拍摄生成的拍摄图像。
步骤204、将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
本实施例提供的图像处理方法,通过按照拍摄对象属性类型,分别对拍摄图像样本基于机器学习方法进行训练建立多个预设反馈子模型,将所述多个预设反馈子模型,利用决策树算法进行决策融合形成预设反馈模型,可以精准的根据不同拍摄对象属性建立相应的预设反馈子模型,最终融合形成预设反馈模型,提供了一个准确度高的图像美化模型。
下面以机器学习方法为神经网络方法为例,对利用神经网络方法生成的预设反馈模型,进行拍摄图像美化处理的方法进行简要描述。图3给出了本申请实施例提供的另一种图像处理方法的流程图。如图3所示,本实施例提供的图像处理方法包括以下步骤:
步骤301、从移动终端本地获取移动终端用户的历史拍摄图像信息或者从预设服务器中获取目标用户群体的拍摄图像信息,所述拍摄图像信息包括原始拍摄图像,以及对原始拍摄图像美化处理后的美化图像。
步骤302、将所述原始拍摄图像输入所述输入层,并经过与所述隐藏层各节点对应的激活函数的计算,输出中间美化图像。
其中,所述激活函数是指为神经网络系统提供非线性建模能力,一般而言是非线性函数。激活函数可以包括relu函数、sigmoid函数、tanh函数或者maxout函数。
sigmoid是常用的非线性的激活函数,它的数学形式如下:它的输出为0-1之间的值。tanh跟sigmoid还是很像的,实际上,tanh是sigmoid的变形:tanh(x)=2sigmoid(2x)-1,与sigmoid不同的是,tanh是0均值的。近年来,relu变的越来越受欢迎。它的数学表达式如下:f(x)=max(0,x),其中,输入信号<0时,输出都是0,输入信号>0的情况下,输出等于输入。maxout函数的表达式如下:fi(x)=maxj∈[1,k]Zij。假设输入节点包括x1和x2,对应的权重分别为w1和w2,还包括权重b,那么输出节点Y=f(w1*x1+w2*x2+b),其中f为激活函数。另外,输入层和输出层的个数通常均为一个,隐藏层可以由多层构成。
步骤303、利用所述中间美化图像与所述美化图像之间的差值,以及优化算法对所述激活函数中的权重进行反复修正,直到所述中间美化图像与所述美化图像之间的差值在预设误差范围内,生成预设反馈模型。
所述优化算法包括随机梯度下降(Stochastic Gradient Descent,SGD)算法、适应性矩估计(adaptive moment estimation,adam)算法或者Momentum算法。
步骤304、获取拍摄生成的拍摄图像。
步骤305、将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
本实施例提供的图像处理方法,通过利用神经网络方法在移动终端建立预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,提升了拍摄图像的美化精度,由于预设反馈模型在移动终端上,也提升了拍摄图像的美化速度和模型的更新速度。
图4给出了本申请实施例提供的另一种图像处理方法的流程示意图。如图4所示,本实施提供的图像处理方法包括以下步骤:
步骤401、采用不同的机器学习方法分别生成候选反馈模型。
在本实施例中,对拍摄图像样本采用不同的机器学习方法进行训练,生成多个候选反馈模型。
可选的,该步骤可以包括:按照拍摄对象属性类型,分别对拍摄图像基于第一机器学习方法进行训练建立多个候选反馈子模型,所述拍摄对象属性类型有多个,每个拍摄对象属性类型包括至少一个拍摄对象属性;将所述多个候选反馈子模型,利用决策树算法进行决策融合形成候选反馈模型。
其中,通过采用不同的第一机器学习方法,建立不同的候选反馈模型。
步骤402、将准确度最高的候选反馈模型作为所述预设反馈模型。
步骤403、获取拍摄生成的拍摄图像。
步骤404、将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
本实施例提供的图像处理方法,通过采用不同的机器学习方法分别生成候选反馈模型,将准确度最高的候选反馈模型作为所述预设反馈模型,可以提供一个准确度更高的预设反馈模型,进一步提升了移动终端对拍摄图像进行美化处理的精度。
图5为本申请实施例提供的一种图像处理装置的结构示意图,该装置可由软件和/或硬件实现,集成在移动终端中。如图5所示,该装置包括拍摄图像获取模块51、预设反馈模型获取模块52和目标美化图像获取模块53。
所述拍摄图像获取模块51,用于获取拍摄生成的拍摄图像;
所述预设反馈模型获取模块52,用于获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
所述目标美化图像获取模块53,用于将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
本实施例提供的装置,预先对经过美化处理的拍摄图像基于机器学习方法进行训练,生成一个预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,其中,预设反馈模型是基于机器学习的模型,能够提升拍摄图像的美化精度。
可选的,所述拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业中的至少一项。
可选的,所述拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业,所述装置还包括:
预设反馈子模型建立模块,用于按照拍摄对象属性类型,分别对拍摄图像样本基于机器学习方法进行训练建立多个预设反馈子模型,所述拍摄对象属性类型有多个,每个拍摄对象属性类型包括至少一个拍摄对象属性;
预设反馈模型生成模块,用于将所述多个预设反馈子模型,利用决策树算法进行决策融合形成预设反馈模型。
可选的,所述预设反馈模型获取模块具体用于:
从移动终端本地或者预设服务器中获取基于机器学习方法生成的预设反馈模型。
可选的,所述机器学习方法包括神经网络方法,所述神经网络方法包括输入层、隐藏层和输出层,所述装置还包括:
样本获取模块,用于从移动终端本地获取移动终端用户的历史拍摄图像或者从预设服务器中获取目标用户群体的历史拍摄图像,所述历史拍摄图像包括原始拍摄图像,以及对原始拍摄图像美化处理后的美化图像;
中间美化图像获取模块,用于将所述原始拍摄图像输入所述输入层,并经过与所述隐藏层各节点对应的激活函数的计算,输出中间美化图像;
预设反馈模型生成模块,用于利用所述中间美化图像与所述美化图像之间的差值,以及优化算法对所述激活函数中的权重进行反复修正,直到所述中间美化图像与所述美化图像之间的差值在预设误差范围内,生成预设反馈模型。
可选的,所述装置还包括:
修正指令接收模块,用于在将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像之后,接收用户对目标美化图像的修正指令,获取修正后的目标美化图像;
模型更新模块,用于将拍摄图像和修正后的目标美化图像反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。
可选的,所述装置还包括:
候选反馈模型生成模块,用于采用不同的机器学习方法分别生成候选反馈模型;
预设反馈模型生成模块,用于将准确度最高的候选反馈模型作为所述预设反馈模型。
可选的,所述机器学习方法包括神经网络方法、支持向量机方法、决策树方法、逻辑回归方法、贝叶斯方法、和随机森林方法。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法,该方法包括:
获取拍摄生成的拍摄图像;
获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的图像处理操作,还可以执行本申请任意实施例所提供的图像处理方法中的相关操作。
本申请实施例提供了一种移动终端,该移动终端中可集成本申请实施例提供的图像处理装置。图6为本申请实施例提供的一种移动终端的结构示意图。移动终端600可以包括:存储器601,处理器602及存储在存储器601上并可在处理器602运行的计算机程序,所述处理器602执行所述计算机程序时实现如本申请实施例所述的图像处理方法。
本申请实施例提供的移动终端,预先对经过美化处理的拍摄图像基于机器学习方法进行训练,生成一个预设反馈模型,移动终端通过将用户拍摄的拍摄图像输入至预设反馈模型中,得到预设反馈模型输出的目标美化图像,实现了对拍摄图像自动进行美化处理,其中,预设反馈模型是基于机器学习的模型,能够提升拍摄图像的美化精度。
图7为本申请实施例提供的另一种移动终端的结构示意图,如图7所示,该移动终端可以包括:存储器701、中央处理器(Central Processing Unit,CPU)702(又称处理器,以下简称CPU)、所述存储器701,用于存储可执行程序代码;所述处理器702通过读取所述存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:获取拍摄生成的拍摄图像;获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
所述移动终端还包括:外设接口703、RF(Radio Frequency,射频)电路705、音频电路706、扬声器711、电源管理芯片708、输入/输出(I/O)子系统709、触摸屏712、其他输入/控制设备710以及外部端口704,这些部件通过一个或多个通信总线或信号线707来通信。
应该理解的是,图示移动终端700仅仅是移动终端的一个范例,并且移动终端700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于图像处理的移动终端进行详细的描述,该移动终端以智能手机为例。
存储器701,所述存储器701可以被CPU702、外设接口703等访问,所述存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口703,所述外设接口703可以将设备的输入和输出外设连接到CPU502和存储器701。
I/O子系统709,所述I/O子系统709可以将设备上的输入输出外设,例如触摸屏712和其他输入/控制设备710,连接到外设接口703。I/O子系统709可以包括显示控制器7091和用于控制其他输入/控制设备710的一个或多个输入控制器7092。其中,一个或多个输入控制器7092从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号,其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器7092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏712,所述触摸屏712是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子系统709中的显示控制器7091从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触,显示控制器7091将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互,即实现人机交互,显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路705,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路705接收并发送RF信号,RF信号也称为电磁信号,RF电路705将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路705可以包括用于执行这些功能的已知电路,其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路706,主要用于从外设接口703接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器711。
扬声器711,用于将手机通过RF电路705从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片708,用于为CPU702、I/O子系统及外设接口703所连接的硬件进行供电及电源管理。
上述实施例中提供的图像处理装置、存储介质及移动终端可执行本申请任意实施例所提供的图像处理方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的图像处理方法。
本申请实施例还提供一种图像处理装置,该装置集成在服务器(即上述的预设服务器)中,所述装置包括预设反馈子模型建立模块和预设反馈模型生成模块。
所述预设反馈子模型建立模块,用于按照拍摄对象属性类型,分别对拍摄图像样本基于机器学习方法进行训练建立多个预设反馈子模型,所述拍摄对象属性类型有多个,每个拍摄对象属性类型包括至少一个拍摄对象属性;
所述预设反馈模型生成模块,用于将所述多个预设反馈子模型,利用决策树算法进行决策融合形成预设反馈模型。
或者,所述装置包括样本获取模块、中间美化图像获取模块和预设反馈模型生成模块。
所述样本获取模块,用于从移动终端本地获取移动终端用户的历史拍摄图像或者从预设服务器中获取目标用户群体的历史拍摄图像,所述历史拍摄图像包括原始拍摄图像,以及对原始拍摄图像美化处理后的美化图像;
所述中间美化图像获取模块,用于将所述原始拍摄图像输入所述输入层,并经过与所述隐藏层各节点对应的激活函数的计算,输出中间美化图像;
所述预设反馈模型生成模块,用于利用所述中间美化图像与所述美化图像之间的差值,以及优化算法对所述激活函数中的权重进行反复修正,直到所述中间美化图像与所述美化图像之间的差值在预设误差范围内,生成预设反馈模型。
本申请实施例还提供一种服务器,所述服务器集成了如上所述的图像处理装置。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (11)

1.一种图像处理方法,其特征在于,包括:
获取拍摄生成的拍摄图像;
获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业中的至少一项。
3.根据权利要求2所述的图像处理方法,其特征在于,所述拍摄对象属性包括拍摄对象的拍摄角度、美化等级、脸型、各个面部器官类型、皮肤状况、年龄、性别和职业,所述方法还包括:
按照拍摄对象属性类型,分别对拍摄图像样本基于机器学习方法进行训练建立多个预设反馈子模型,所述拍摄对象属性类型有多个,每个拍摄对象属性类型包括至少一个拍摄对象属性;
将所述多个预设反馈子模型,利用决策树算法进行决策融合形成预设反馈模型。
4.根据权利要求1所述的图像处理方法,其特征在于,所述获取基于机器学习方法生成的预设反馈模型包括:
从移动终端本地或者预设服务器中获取基于机器学习方法生成的预设反馈模型。
5.根据权利要求1所述的图像处理方法,其特征在于,所述机器学习方法包括神经网络方法,所述神经网络方法包括输入层、隐藏层和输出层,所述图像处理方法还包括:
从移动终端本地获取移动终端用户的历史拍摄图像或者从预设服务器中获取目标用户群体的历史拍摄图像,所述历史拍摄图像包括原始拍摄图像,以及对原始拍摄图像美化处理后的美化图像;
将所述原始拍摄图像输入所述输入层,并经过与所述隐藏层各节点对应的激活函数的计算,输出中间美化图像;
利用所述中间美化图像与所述美化图像之间的差值,以及优化算法对所述激活函数中的权重进行反复修正,直到所述中间美化图像与所述美化图像之间的差值在预设误差范围内,生成预设反馈模型。
6.根据权利要求1所述的图像处理方法,其特征在于,还包括:在将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像之后,还包括:
接收用户对目标美化图像的修正指令,获取修正后的目标美化图像;
将拍摄图像和修正后的目标美化图像反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。
7.根据权利要求1所述的图像处理方法,其特征在于,还包括:
采用不同的机器学习方法分别生成候选反馈模型;
将准确度最高的候选反馈模型作为所述预设反馈模型。
8.根据权利要求1-7任一项所述的图像处理方法,其特征在于,所述机器学习方法包括神经网络方法、支持向量机方法、决策树方法、逻辑回归方法、贝叶斯方法、和随机森林方法。
9.一种图像处理装置,其特征在于,包括:
拍摄图像获取模块,用于获取拍摄生成的拍摄图像;
预设反馈模型获取模块,用于获取基于机器学习方法生成的预设反馈模型,所述预设反馈模型由多个拍摄图像样本训练得到,用于对拍摄图像基于拍摄对象属性进行美化处理;
目标美化图像获取模块,用于将所述拍摄图像输入至预设反馈模型中,获取所述预设反馈模型输出的目标美化图像。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的图像处理方法。
11.一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述的图像处理方法。
CN201711394658.5A 2017-12-21 2017-12-21 图像处理方法、装置及存储介质和移动终端 Active CN107995428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711394658.5A CN107995428B (zh) 2017-12-21 2017-12-21 图像处理方法、装置及存储介质和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711394658.5A CN107995428B (zh) 2017-12-21 2017-12-21 图像处理方法、装置及存储介质和移动终端

Publications (2)

Publication Number Publication Date
CN107995428A true CN107995428A (zh) 2018-05-04
CN107995428B CN107995428B (zh) 2020-02-07

Family

ID=62039415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711394658.5A Active CN107995428B (zh) 2017-12-21 2017-12-21 图像处理方法、装置及存储介质和移动终端

Country Status (1)

Country Link
CN (1) CN107995428B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551552A (zh) * 2018-05-14 2018-09-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108683845A (zh) * 2018-05-14 2018-10-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108769513A (zh) * 2018-05-16 2018-11-06 北京小米移动软件有限公司 相机拍照方法及装置
CN109284694A (zh) * 2018-08-31 2019-01-29 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109359675A (zh) * 2018-09-28 2019-02-19 腾讯科技(武汉)有限公司 图像处理方法及设备
CN109712085A (zh) * 2018-12-11 2019-05-03 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109801224A (zh) * 2018-12-04 2019-05-24 北京奇艺世纪科技有限公司 一种图片处理方法、装置、服务器和存储介质
CN110070484A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像处理、图像美化方法、装置和存储介质
CN110516545A (zh) * 2019-07-22 2019-11-29 北京迈格威科技有限公司 模型训练、图像处理方法和设备、图像处理器及介质
CN110837761A (zh) * 2018-08-17 2020-02-25 北京市商汤科技开发有限公司 多模型知识蒸馏方法及装置、电子设备和存储介质
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN112788230A (zh) * 2019-11-01 2021-05-11 佳能株式会社 摄像设备及系统、信息处理设备、其控制方法和存储介质
CN113222841A (zh) * 2021-05-08 2021-08-06 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
CN113284044A (zh) * 2021-05-08 2021-08-20 口碑(上海)信息技术有限公司 图像生成方法、装置及电子设备
CN114489897A (zh) * 2022-01-21 2022-05-13 北京字跳网络技术有限公司 一种对象处理方法、装置、终端设备及介质
CN115210772A (zh) * 2020-01-03 2022-10-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103366160A (zh) * 2013-06-28 2013-10-23 西安交通大学 融合肤色、人脸和敏感部位检测的不良图像判别方法
CN103593870A (zh) * 2013-11-12 2014-02-19 杭州摩图科技有限公司 一种基于人脸的图像处理装置及其方法
US20150331711A1 (en) * 2014-05-19 2015-11-19 Qualcomm Incorporated Systems and methods for context-aware application control
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN105933529A (zh) * 2016-04-20 2016-09-07 努比亚技术有限公司 拍摄画面的显示方法及装置
CN106227721A (zh) * 2016-08-08 2016-12-14 中国科学院自动化研究所 汉语韵律层级结构预测系统
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106611375A (zh) * 2015-10-22 2017-05-03 北京大学 一种基于文本分析的信用风险评估方法及装置
CN106845717A (zh) * 2017-01-24 2017-06-13 哈尔滨工业大学 一种基于多模型融合策略的能源效率评价方法
CN107025629A (zh) * 2017-04-27 2017-08-08 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化系统
CN107395960A (zh) * 2017-07-07 2017-11-24 珠海市魅族科技有限公司 拍照方法及装置、计算机装置和计算机可读存储介质
EP3144873A4 (en) * 2014-05-16 2017-11-29 Sony Corporation Information-processing system, storage medium, and content acquisition method
CN107424117A (zh) * 2017-07-17 2017-12-01 广东欧珀移动通信有限公司 图像美颜方法、装置、计算机可读存储介质和计算机设备
CN107492067A (zh) * 2017-09-07 2017-12-19 维沃移动通信有限公司 一种图像美化方法及移动终端

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103366160A (zh) * 2013-06-28 2013-10-23 西安交通大学 融合肤色、人脸和敏感部位检测的不良图像判别方法
CN103593870A (zh) * 2013-11-12 2014-02-19 杭州摩图科技有限公司 一种基于人脸的图像处理装置及其方法
EP3144873A4 (en) * 2014-05-16 2017-11-29 Sony Corporation Information-processing system, storage medium, and content acquisition method
US20150331711A1 (en) * 2014-05-19 2015-11-19 Qualcomm Incorporated Systems and methods for context-aware application control
CN106611375A (zh) * 2015-10-22 2017-05-03 北京大学 一种基于文本分析的信用风险评估方法及装置
CN105933529A (zh) * 2016-04-20 2016-09-07 努比亚技术有限公司 拍摄画面的显示方法及装置
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN106227721A (zh) * 2016-08-08 2016-12-14 中国科学院自动化研究所 汉语韵律层级结构预测系统
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106845717A (zh) * 2017-01-24 2017-06-13 哈尔滨工业大学 一种基于多模型融合策略的能源效率评价方法
CN107025629A (zh) * 2017-04-27 2017-08-08 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化系统
CN107395960A (zh) * 2017-07-07 2017-11-24 珠海市魅族科技有限公司 拍照方法及装置、计算机装置和计算机可读存储介质
CN107424117A (zh) * 2017-07-17 2017-12-01 广东欧珀移动通信有限公司 图像美颜方法、装置、计算机可读存储介质和计算机设备
CN107492067A (zh) * 2017-09-07 2017-12-19 维沃移动通信有限公司 一种图像美化方法及移动终端

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683845A (zh) * 2018-05-14 2018-10-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108551552A (zh) * 2018-05-14 2018-09-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108683845B (zh) * 2018-05-14 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108551552B (zh) * 2018-05-14 2020-09-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108769513A (zh) * 2018-05-16 2018-11-06 北京小米移动软件有限公司 相机拍照方法及装置
CN110837761A (zh) * 2018-08-17 2020-02-25 北京市商汤科技开发有限公司 多模型知识蒸馏方法及装置、电子设备和存储介质
CN110837761B (zh) * 2018-08-17 2023-04-07 北京市商汤科技开发有限公司 多模型知识蒸馏方法及装置、电子设备和存储介质
CN109284694A (zh) * 2018-08-31 2019-01-29 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109359675B (zh) * 2018-09-28 2022-08-12 腾讯科技(武汉)有限公司 图像处理方法及设备
CN109359675A (zh) * 2018-09-28 2019-02-19 腾讯科技(武汉)有限公司 图像处理方法及设备
CN109801224A (zh) * 2018-12-04 2019-05-24 北京奇艺世纪科技有限公司 一种图片处理方法、装置、服务器和存储介质
CN109712085A (zh) * 2018-12-11 2019-05-03 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109712085B (zh) * 2018-12-11 2021-05-25 维沃移动通信有限公司 一种图像处理方法及终端设备
CN110070484A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像处理、图像美化方法、装置和存储介质
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN112149836B (zh) * 2019-06-28 2024-05-24 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN110516545A (zh) * 2019-07-22 2019-11-29 北京迈格威科技有限公司 模型训练、图像处理方法和设备、图像处理器及介质
CN112788230B (zh) * 2019-11-01 2023-05-30 佳能株式会社 摄像设备及系统、信息处理设备、其控制方法和存储介质
CN112788230A (zh) * 2019-11-01 2021-05-11 佳能株式会社 摄像设备及系统、信息处理设备、其控制方法和存储介质
CN115210772A (zh) * 2020-01-03 2022-10-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
CN115210772B (zh) * 2020-01-03 2023-07-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
CN113284044A (zh) * 2021-05-08 2021-08-20 口碑(上海)信息技术有限公司 图像生成方法、装置及电子设备
CN113222841A (zh) * 2021-05-08 2021-08-06 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
CN114489897A (zh) * 2022-01-21 2022-05-13 北京字跳网络技术有限公司 一种对象处理方法、装置、终端设备及介质
CN114489897B (zh) * 2022-01-21 2023-08-08 北京字跳网络技术有限公司 一种对象处理方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN107995428B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN107995428A (zh) 图像处理方法、装置及存储介质和移动终端
CN108076224A (zh) 应用程序控制方法、装置及存储介质和移动终端
CN107947951B (zh) 用户群组推荐方法、装置及存储介质和服务器
CN107995370A (zh) 通话控制方法、装置及存储介质和移动终端
CN107911491A (zh) 信息推荐方法、装置及存储介质、服务器和移动终端
CN108205655A (zh) 一种关键点预测方法、装置、电子设备及存储介质
CN108319599A (zh) 一种人机对话的方法和装置
CN108156317A (zh) 通话语音控制方法、装置及存储介质和移动终端
CN109313490A (zh) 使用神经网络的眼睛注视跟踪
CN107820020A (zh) 拍摄参数的调整方法、装置、存储介质及移动终端
CN110503703A (zh) 用于生成图像的方法和装置
CN108681402A (zh) 识别交互方法、装置、存储介质及终端设备
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
CN110069715A (zh) 一种信息推荐模型训练的方法、信息推荐的方法及装置
CN107992478A (zh) 确定热点事件的方法和装置
CN111680123B (zh) 对话模型的训练方法、装置、计算机设备及存储介质
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN108550107A (zh) 一种图片处理方法、图片处理装置及移动终端
CN107862334A (zh) 眼镜的推荐方法、装置、存储介质及终端设备
CN108876751A (zh) 图像处理方法、装置、存储介质及终端
CN108646920A (zh) 识别交互方法、装置、存储介质及终端设备
CN107678823A (zh) 移动终端应用的控制方法、装置及存储介质和移动终端
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN106845398A (zh) 人脸关键点定位方法及装置
CN113269612A (zh) 物品推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong Opel Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant