CN111563850A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN111563850A CN111563850A CN202010203168.8A CN202010203168A CN111563850A CN 111563850 A CN111563850 A CN 111563850A CN 202010203168 A CN202010203168 A CN 202010203168A CN 111563850 A CN111563850 A CN 111563850A
- Authority
- CN
- China
- Prior art keywords
- gray
- image
- face image
- sample
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000007704 transition Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000001771 impaired effect Effects 0.000 claims 2
- 230000001815 facial effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法及电子设备。在本申请中,确定人脸图像的灰部过渡区域;确定该灰部过渡区域中的灰调受损像素点;基于人脸重构算法对灰调受损像素点进行立体还原。通过本申请,对人脸图像中灰部过渡区的灰调受损像素点进行灰调补充,从而增加了人脸图像的立体感。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种图像处理方法及电子设备。
背景技术
随着科技的不断进步,手机的照相功能越发强大,用户可以使用手机拍摄自己的人脸图像,然后对拍摄的人脸图像进行美颜处理,处理人脸图像中的瑕疵。
目前的美颜处理方案往往是通过调节gamma曲线提升人脸图像的亮度/ 对比度,然而通过调节gamma曲线美颜之后,会使得人脸图像缺乏立体感,进而导致人脸图像失真。
发明内容
为了解决美颜后的人脸图像缺乏立体感而导致人脸图像失真的问题,本申请示出了一种图像处理方法及电子设备。
第一方面,本申请示出了一种图像处理方法,所述方法包括:
确定人脸图像的灰部过渡区域;
确定所述灰部过渡区域中的灰调受损像素点;
基于人脸重构算法对所述灰调受损像素点进行立体还原。
第二方面,本申请示出了一种电子设备,所述电子设备包括:
第一确定模块,用于确定人脸图像的灰部过渡区域;
第二确定模块,用于确定所述灰部过渡区域中的灰调受损像素点;
还原模块,用于基于人脸重构算法对所述灰调受损像素点进行立体还原。
第三方面,本申请示出了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面,本申请示出了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法的步骤。
在本申请中,确定人脸图像的灰部过渡区域;确定该灰部过渡区域中的灰调受损像素点;基于人脸重构算法对灰调受损像素点进行立体还原。通过本申请,对人脸图像中灰部过渡区域的灰调受损像素点进行立体还原,从而增加了人脸图像的立体感。
附图说明
图1是本申请示出的一种图像处理方法的步骤流程图。
图2是本申请示出的一种电子设备的结构框图。
图3是本申请示出的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明一种图像处理方法的步骤流程图,该方法应用于电子设备中,该方法包括:
步骤101,确定人脸图像的灰部过渡区域;
其中,所述人脸图像可以是美颜后的人脸图像等。
在一个示例中,用户在使用电子设备的过程中,可以使用电子设备自拍,以拍摄到自己的人脸图像,之后电子设备可以对拍摄到的人脸图像进行美颜,得到美颜后的人脸图像。
其中,所述灰部过渡区域指的是物体受光侧射的部分,该部分色阶接近,层次丰富,在通过调节gamma曲线对人脸图像进行美颜的过程中,该部分像素点容易受损,而一个物体的立体感需要细腻而丰富的灰调去支撑的,因此,需要识别人脸图像的灰部过渡区域以便做出针对性的调整。
可选的,可以通过人脸图像中的各个像素点的亮度值来确定人脸图像的灰部过渡区域。
具体地,由于灰部过渡区域指的是物体受光侧射的部分,在人脸图像中可以表现为明暗交界处,因此可以通过识别明亮区域和黑暗区域,将所述明亮区域和所述黑暗区域的过渡区域确定为灰部过渡区域。
可选的,在本申请中,可以基于灰部过渡区域识别模型来确定该人脸图像的灰部过渡区域。
可选的,事先可以训练灰部过渡区域识别模型,训练方式包括如下流程:
11)、获取第一图像集,第一图像集中包括至少一个第一样本人脸图像,以及与每一个第一样本人脸图像对应的、标注有灰部过渡区域的第二样本人脸图像;
具体地,可以获取多个第一样本人脸图像;对于任意一个第一样本图像,可以获取该第一样本人脸图像中的各个像素点的亮度值;例如,将该第一样本人脸图像进行YUV转换,得到该第一样本人脸图像中的各个像素点的亮度值。然后基于各个像素点的亮度值对该第一样本人脸图像进行区域划分,得到明亮区域以及黑暗区域。例如,将亮度值大于或等于预设阈值的像素点组成明亮区域,将亮度值小于预设阈值的像素点组成黑暗区域。此时,该第一样本人脸图像中包括了明亮区域以及黑暗区域,此时可以借助用户的参与,用户可以在该第一样本人脸图像中输入对于明亮区域和黑暗区域之间的过渡区域的调整操作,然后电子设备接收用户对于明亮区域和黑暗区域之间的过渡区域的调整操作;响应于调整操作,在该第一样本人脸图像中,将过渡区域标记为灰部过渡区域,得到该第一样本人脸图像对应的第二样本人脸图像。
对于其他每一个第一样本图像,同样如此。
12)、将第一样本人脸图像作为输入,将第二样本人脸图像作为期望输出,利用FCN(Fully Convolutional Networks,全卷积网络)进行训练,得到灰部过渡区域识别模型。
如此,在步骤101中,可以将该人脸图像输入灰部过渡区域识别模型中,得到灰部过渡区域识别模型输出的标记有灰部过渡区域的该人脸图像;其中,灰部过渡区域识别模型基于第一图像集训练得到。
步骤102,确定该灰部过渡区域中的灰调受损像素点;
在本申请中,可以基于灰调受损像素点识别模型来确定该灰部过渡区域中的灰调受损像素点。
可选的,事先可以训练灰调受损像素点识别模型,训练方式包括如下流程:
21)、获取第二图像集,第二样本图像集中包括至少一个第三样本图像,以及与每一个第三样本图像对应的第四样本图像,第四样本图像为受损像素标记图;
可选的,可以获取第五样本图像,对第五样本图像的像素点进行损坏处理,得到第三样本图像,并记录损坏像素位置索引;
根据损坏像素位置索引得到与第三样本图像对应的标注了损坏点位置的第四样本图像。
其中,损坏处理可以包括将至少部分像素点的亮度值提高至预设阈值以上等。
22)、将第三样本图像作为输入,将第四样本图像作为期望输出,利用 U型深度分割网络U-Net进行训练,得到灰调受损像素点识别模型。
如此,在步骤102中,可以将灰部过渡区域对应的人脸图像输入灰调受损像素点识别模型中,得到灰调受损像素点识别模型输出的灰部过渡区域中的灰调受损像素点;其中,灰调受损像素点识别模型基于第二图像集训练得到。
步骤103,基于人脸重构算法对灰调受损像素点进行立体还原。
本步骤可以通过如下流程实现,包括:
1031、在多个人脸立体模板中,确定适用于该人脸图像的人脸立体模板;
在本申请中,人脸图像包括多种方向,例如,正面的人脸图像、俯视的人脸图像,仰视的人脸图像、左侧的人脸图像以及右侧的人脸图像。
其中,在俯视的人脸图像中,可以存在多种俯视角度的人脸图像,且在每一种俯视角度的人脸图像中,存在不同尺寸大小的俯视角度的人脸图像。
在仰视的人脸图像中,可以存在多种仰视角度的人脸图像,且在每一种仰视角度的人脸图像中,存在不同尺寸大小的仰视角度的人脸图像。
在左侧的人脸图像中,可以存在多种左侧角度的人脸图像,且在每一种左侧角度的人脸图像中,存在不同尺寸大小的左侧角度的人脸图像。
在右侧的人脸图像中,可以存在多种右侧角度的人脸图像,且在每一种右侧角度的人脸图像中,存在不同尺寸大小的右侧角度的人脸图像。
在正面的人脸图像中,存在不同尺寸大小的正面的人脸图像。
对于任意一个方向的任意一个角度的任意一个尺寸大小,事先可以设置的与该方向、该角度以该尺寸大小同时对应的人脸立体模板,其中,人脸立体模板也可以是一个人脸图像,这个人脸图像的立体感很强,人在看到这个人脸图像之后,很容易就可以感受到其立体感。对于其他每一个方向的每一个角度的每一个尺寸大小,同样如此。
在本步骤中,可以确定该人脸图像的方向、角度以及尺寸大小,然后再多个人脸立体模板中,查找与该方向、该角度以及该尺寸大小同时对应的人脸立体模板,并作为适用于该人脸图像的人脸立体模板。
1032、在人脸立体模板中,确定灰调受损像素点对应的模板像素点;
其中,可以确定该人脸图像中的该灰调受损像素点在该人脸图像中的位置,然后确定该位置在人脸立体模板中的相对位置,之后将该人脸立体模板中的该相对位置上的像素点作为该灰调受损像素点对应的模板像素点。
1033、在该人脸图像中,将模板像素点与灰调受损像素点融合。
在本申请中,确定人脸图像的灰部过渡区域;确定该灰部过渡区域中的灰调受损像素点;基于人脸重构算法对灰调受损像素点进行立体还原。通过本申请,对人脸图像中灰部过渡区域的灰调受损像素点进行灰度补偿,从而增加了人脸图像的立体感。
在上述实施例中,需要识别出人脸图像中的灰调受损像素点。
然而,由于2D的人脸图像中包括的图像信息较少,因此,会导致识别出的人脸图像中的灰调受损像素点的准确度较低。
因此,为了提高识别出的人脸图像中的灰调受损像素点的准确度,在本申请另一实施例中,
在步骤101中确定人脸图像的灰部过渡区域之前,可以基于TOF(Time of flight,飞行时间)技术获取3D的人脸图像。
3D人脸图像中可以体现出人脸图像中的各个像素点分别与电子设备之间的距离,结合该距离可以提高之后识别出美颜后的人脸图像中的灰调受损像素点的准确度。
在一个示例中,在基于电子设备拍摄人脸图像时,电子设备可以基于电子设备上的补光灯向需要拍摄的人脸的每一个位置发出经过调制的红外光信号,人脸的每一个位置接收到红外光信号之后会反射红外光信号,
对于人脸中的任意一个位置,电子设备通过计算向该位置发送红外光信号的发送时刻以及接收该位置反射的红外光信号的接收时刻之间的时间差计算电子设备与人脸中的该位置之间距离,对于人脸中的其他每一个位置,同样如此。从而得到人脸中的每一个位置分别与电子设备之间的距离,从而基于脸中的每一个位置分别与电子设备之间的距离和人脸2D图像获取人脸3D图像。
参照图2,示出了本发明一种电子设备的结构框图,该电子设备包括:
第一确定模块11,用于确定人脸图像的灰部过渡区域;
第二确定模块12,用于确定所述灰部过渡区域中的灰调受损像素点;
还原模块13,用于基于人脸重构算法对所述灰调受损像素点进行立体还原。
在一个可选的实现方式中,所述电子设备还包括:
获取模块,用于基于飞行时间TOF技术获取3D的所述人脸图像。
在一个可选的实现方式中,所述第一确定模块包括:
第一输入单元,用于将所述人脸图像输入灰部过渡区域识别模型中,得到所述灰部过渡区域识别模型输出的标记有灰部过渡区域的所述人脸图像;
其中,所述灰部过渡区域识别模型基于第一图像集训练得到。
在一个可选的实现方式中,所述第一确定模块还包括:
第二获取单元,用于获取第一图像集,所述第一图像集中包括至少一个第一样本人脸图像,以及与每一个所述第一样本人脸图像对应的、标注有灰部过渡区域的第二样本人脸图像;
第一训练单元,用于将所述第一样本人脸图像作为输入,将所述第二样本人脸图像作为期望输出,利用全卷积网络FCN进行训练,得到所述灰部过渡区域识别模型。
在一个可选的实现方式中,所述第二获取单元包括:
获取子单元,用于获取多个第一样本人脸图像;
划分子单元,用于基于各个像素点的亮度值对每一个所述第一样本人脸图像进行区域划分,得到明亮区域以及黑暗区域;
接收子单元,用于接收用户对于所述明亮区域和所述黑暗区域之间的过渡区域的调整操作;
标记子单元,用于响应于所述调整操作,在所述第一样本人脸图像中,将所述过渡区域标记为灰部过渡区域,得到第一样本人脸图像对应的第二样本人脸图像。
在一个可选的实现方式中,所述第二确定模块包括:
第二输入单元,用于将所述灰部过渡区域对应的图像输入灰调受损像素点识别模型中,得到所述灰调受损像素点识别模型输出的所述灰部过渡区域中的灰调受损像素点;
其中,所述灰调受损像素点识别模型基于第二图像集训练得到。
在一个可选的实现方式中,所述第二确定模块包括:
第二获取单元,用于获取第二图像集,所述第二样本图像集中包括至少一个第三样本图像,以及与每一个所述第三样本图像对应的第四样本图像,所述第四样本图像为受损像素标记图;
第二训练单元,用于将所述第三样本图像作为输入,将所述第四样本图像作为期望输出,利用U型深度分割网络U-Net进行训练,得到所述灰调受损像素点识别模型。
在一个可选的实现方式中,所述还原模块包括:
第一确定单元,用于在多个人脸立体模板中,确定适用于所述人脸图像的人脸立体模板;
第二确定单元,用于在所述人脸立体模板中,确定所述灰调受损像素点对应的模板像素点;
融合单元,用于在所述人脸图像中,将所述模板像素点与所述灰调受损像素点融合。
在本申请中,确定人脸图像的灰部过渡区域;确定该灰部过渡区域中的灰调受损像素点;基于人脸重构算法对灰调受损像素点进行立体还原。通过本申请,对人脸图像中灰部过渡区域的灰调受损像素点进行灰度补偿,从而增加了人脸图像的立体感。
参照图3,为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元 507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图3中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
处理器510,可以用于确定人脸图像的灰部过渡区域;确定该灰部过渡区域中的灰调受损像素点;基于人脸重构算法对灰调受损像素点进行立体还原。
通过本申请,对该人脸图像中的该灰调受损像素点进行灰度补偿,从而实现在该人脸图像中的明亮区域以及黑暗区域交界处增加了更加润滑的灰部过渡区域,从而增加了该人脸图像的立体感。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图像或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元 506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042 可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在电子设备500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(Liquid Crystal Display, LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元 507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键 (比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071 检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图3中,触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备500包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器510,存储器 509,存储在存储器509上并可在所述处理器510上运行的计算机程序,该计算机程序被处理器510执行时实现上述信息处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述信息处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
确定人脸图像的灰部过渡区域;
确定所述灰部过渡区域中的灰调受损像素点;
基于人脸重构算法对所述灰调受损像素点进行立体还原。
2.根据权利要求1所述的方法,其特征在于,所述确定人脸图像的灰部过渡区域之前,所述方法还包括:
基于飞行时间TOF技术获取3D的所述人脸图像。
3.根据权利要求1所述的方法,其特征在于,所述确定人脸图像的灰部过渡区域,包括:
将所述人脸图像输入灰部过渡区域识别模型中,得到所述灰部过渡区域识别模型输出的标记有灰部过渡区域的所述人脸图像;
其中,所述灰部过渡区域识别模型基于第一图像集训练得到。
4.根据权利要求3所述的方法,其特征在于,所述基于第一图像集训练得到所述灰部过渡区域识别模型,包括:
获取第一图像集,所述第一图像集中包括至少一个第一样本人脸图像,以及与每一个所述第一样本人脸图像对应的、标注有灰部过渡区域的第二样本人脸图像;
将所述第一样本人脸图像作为输入,将所述第二样本人脸图像作为期望输出,利用全卷积网络FCN进行训练,得到所述灰部过渡区域识别模型。
5.根据权利要求4所述的方法,其特征在于,所述获取第一样本人脸图像集,包括:
获取多个第一样本人脸图像;
基于各个像素点的亮度值对每一个所述第一样本人脸图像进行区域划分,得到明亮区域以及黑暗区域;
接收用户对于所述明亮区域和所述黑暗区域之间的过渡区域的调整操作;
响应于所述调整操作,在所述第一样本人脸图像中,将所述过渡区域标记为灰部过渡区域,得到第一样本人脸图像对应的第二样本人脸图像。
6.根据权利要求1所述的方法,其特征在于,所述确定所述灰部过渡区域中的灰调受损像素点,包括:
将所述灰部过渡区域对应的图像输入灰调受损像素点识别模型中,得到所述灰调受损像素点识别模型输出的所述灰部过渡区域中的灰调受损像素点;
其中,所述灰调受损像素点识别模型基于第二图像集训练得到。
7.根据权利要求6所述的方法,其特征在于,所述训练得到所述受损像素点识别模型,包括:
获取第二图像集,所述第二样本图像集中包括至少一个第三样本图像,以及与每一个所述第三样本图像对应的第四样本图像,所述第四样本图像为受损像素标记图;
将所述第三样本图像作为输入,将所述第四样本图像作为期望输出,利用U型深度分割网络U-Net进行训练,得到所述灰调受损像素点识别模型。
8.根据权利要求1所述的方法,其特征在于,所述基于人脸重构算法对所述灰部受损像素点进行立体还原,包括:
在多个人脸立体模板中,确定适用于所述人脸图像的人脸立体模板;
在所述人脸立体模板中,确定所述灰调受损像素点对应的模板像素点;
在所述人脸图像中,将所述模板像素点与所述灰调受损像素点融合。
9.一种电子设备,其特征在于,所述电子设备包括:
第一确定模块,用于确定人脸图像的灰部过渡区域;
第二确定模块,用于确定所述灰部过渡区域中的灰调受损像素点;
还原模块,用于基于人脸重构算法对所述灰调受损像素点进行立体还原。
10.根据权利要求9所述的电子设备,其特征在于,所述电子设备还包括:
获取模块,用于基于飞行时间TOF技术获取3D的所述人脸图像。
11.根据权利要求9所述的电子设备,其特征在于,所述第一确定模块包括:
第一输入单元,用于将所述人脸图像输入灰部过渡区域识别模型中,得到所述灰部过渡区域识别模型输出的标记有灰部过渡区域的所述人脸图像;
其中,所述灰部过渡区域识别模型基于第一图像集训练得到。
12.根据权利要求11所述的电子设备,其特征在于,所述第一确定模块还包括:
第二获取单元,用于获取第一图像集,所述第一图像集中包括至少一个第一样本人脸图像,以及与每一个所述第一样本人脸图像对应的、标注有灰部过渡区域的第二样本人脸图像;
第一训练单元,用于将所述第一样本人脸图像作为输入,将所述第二样本人脸图像作为期望输出,利用全卷积网络FCN进行训练,得到所述灰部过渡区域识别模型。
13.根据权利要求12所述的电子设备,其特征在于,所述第二获取单元包括:
获取子单元,用于获取多个第一样本人脸图像;
划分子单元,用于基于各个像素点的亮度值对每一个所述第一样本人脸图像进行区域划分,得到明亮区域以及黑暗区域;
接收子单元,用于接收用户对于所述明亮区域和所述黑暗区域之间的过渡区域的调整操作;
标记子单元,用于响应于所述调整操作,在所述第一样本人脸图像中,将所述过渡区域标记为灰部过渡区域,得到第一样本人脸图像对应的第二样本人脸图像。
14.根据权利要求9所述的电子设备,其特征在于,所述第二确定模块包括:
第二输入单元,用于将所述灰部过渡区域对应的图像输入灰调受损像素点识别模型中,得到所述灰调受损像素点识别模型输出的所述灰部过渡区域中的灰调受损像素点;
其中,所述灰调受损像素点识别模型基于第二图像集训练得到。
15.根据权利要求14所述的电子设备,其特征在于,所述第二确定模块包括:
第二获取单元,用于获取第二图像集,所述第二样本图像集中包括至少一个第三样本图像,以及与每一个所述第三样本图像对应的第四样本图像,所述第四样本图像为受损像素标记图;
第二训练单元,用于将所述第三样本图像作为输入,将所述第四样本图像作为期望输出,利用U型深度分割网络U-Net进行训练,得到所述灰调受损像素点识别模型。
16.根据权利要求9所述的电子设备,其特征在于,所述还原模块包括:
第一确定单元,用于在多个人脸立体模板中,确定适用于所述人脸图像的人脸立体模板;
第二确定单元,用于在所述人脸立体模板中,确定所述灰调受损像素点对应的模板像素点;
融合单元,用于在所述人脸图像中,将所述模板像素点与所述灰调受损像素点融合。
17.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203168.8A CN111563850B (zh) | 2020-03-20 | 2020-03-20 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203168.8A CN111563850B (zh) | 2020-03-20 | 2020-03-20 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111563850A true CN111563850A (zh) | 2020-08-21 |
CN111563850B CN111563850B (zh) | 2023-12-05 |
Family
ID=72069890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010203168.8A Active CN111563850B (zh) | 2020-03-20 | 2020-03-20 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111563850B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339389A (ja) * | 2004-05-28 | 2005-12-08 | Matsushita Electric Works Ltd | 画像処理方法および画像処理装置 |
CN101320485A (zh) * | 2008-06-03 | 2008-12-10 | 东南大学 | 一种基于立体匹配的人脸三维模型获取方法 |
CN105117707A (zh) * | 2015-08-29 | 2015-12-02 | 电子科技大学 | 一种基于区域图像的人脸表情识别方法 |
CN105719248A (zh) * | 2016-01-14 | 2016-06-29 | 深圳市商汤科技有限公司 | 一种实时的人脸变形方法及其系统 |
CN108038836A (zh) * | 2017-11-29 | 2018-05-15 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN108573480A (zh) * | 2018-04-20 | 2018-09-25 | 太平洋未来科技(深圳)有限公司 | 基于图像处理的环境光补偿方法、装置及电子设备 |
CN108846807A (zh) * | 2018-05-23 | 2018-11-20 | Oppo广东移动通信有限公司 | 光效处理方法、装置、终端及计算机可读存储介质 |
CN109493408A (zh) * | 2018-11-21 | 2019-03-19 | 深圳阜时科技有限公司 | 图像处理装置、图像处理方法和设备 |
CN110622218A (zh) * | 2017-06-30 | 2019-12-27 | Oppo广东移动通信有限公司 | 一种图像显示方法、装置、存储介质和终端 |
-
2020
- 2020-03-20 CN CN202010203168.8A patent/CN111563850B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339389A (ja) * | 2004-05-28 | 2005-12-08 | Matsushita Electric Works Ltd | 画像処理方法および画像処理装置 |
CN101320485A (zh) * | 2008-06-03 | 2008-12-10 | 东南大学 | 一种基于立体匹配的人脸三维模型获取方法 |
CN105117707A (zh) * | 2015-08-29 | 2015-12-02 | 电子科技大学 | 一种基于区域图像的人脸表情识别方法 |
CN105719248A (zh) * | 2016-01-14 | 2016-06-29 | 深圳市商汤科技有限公司 | 一种实时的人脸变形方法及其系统 |
CN110622218A (zh) * | 2017-06-30 | 2019-12-27 | Oppo广东移动通信有限公司 | 一种图像显示方法、装置、存储介质和终端 |
CN108038836A (zh) * | 2017-11-29 | 2018-05-15 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN108573480A (zh) * | 2018-04-20 | 2018-09-25 | 太平洋未来科技(深圳)有限公司 | 基于图像处理的环境光补偿方法、装置及电子设备 |
CN108846807A (zh) * | 2018-05-23 | 2018-11-20 | Oppo广东移动通信有限公司 | 光效处理方法、装置、终端及计算机可读存储介质 |
CN109493408A (zh) * | 2018-11-21 | 2019-03-19 | 深圳阜时科技有限公司 | 图像处理装置、图像处理方法和设备 |
Non-Patent Citations (1)
Title |
---|
欧阳杰臣;黄曜;高珏;许华虎;: "基于Android人脸美化App的研究与实现" * |
Also Published As
Publication number | Publication date |
---|---|
CN111563850B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109461117B (zh) | 一种图像处理方法及移动终端 | |
CN110706179A (zh) | 一种图像处理方法及电子设备 | |
CN110969981A (zh) | 屏幕显示参数调节方法及电子设备 | |
CN107749046B (zh) | 一种图像处理方法及移动终端 | |
CN107730460B (zh) | 一种图像处理方法及移动终端 | |
CN111031234B (zh) | 一种图像处理方法及电子设备 | |
CN110913140B (zh) | 一种拍摄信息提示方法及电子设备 | |
CN109544445B (zh) | 一种图像处理方法、装置及移动终端 | |
US20230014409A1 (en) | Detection result output method, electronic device and medium | |
CN109727212B (zh) | 一种图像处理方法及移动终端 | |
CN110908517B (zh) | 图像编辑方法、装置、电子设备及介质 | |
CN111008929B (zh) | 图像矫正方法及电子设备 | |
CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
CN108932505B (zh) | 一种图像处理方法和电子设备 | |
CN107798662B (zh) | 一种图像处理方法及移动终端 | |
CN110443752B (zh) | 一种图像处理方法和移动终端 | |
CN108830901B (zh) | 一种图像处理方法和电子设备 | |
CN111402271A (zh) | 一种图像处理方法及电子设备 | |
CN110784648B (zh) | 一种图像处理方法和电子设备 | |
CN111563850B (zh) | 一种图像处理方法及电子设备 | |
CN111145083B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN110012229B (zh) | 一种图像处理方法和终端 | |
CN109547773B (zh) | 控制方法及电子设备 | |
CN109389561B (zh) | 一种成像方法及装置 | |
CN109257543B (zh) | 拍摄模式控制方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |