CN112446832A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN112446832A CN112446832A CN201910819830.XA CN201910819830A CN112446832A CN 112446832 A CN112446832 A CN 112446832A CN 201910819830 A CN201910819830 A CN 201910819830A CN 112446832 A CN112446832 A CN 112446832A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- information
- makeup
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims description 19
- 238000010191 image analysis Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 23
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 238000012549 training Methods 0.000 description 19
- 210000000887 face Anatomy 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000011176 pooling Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000002087 whitening effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 229910052754 neon Inorganic materials 0.000 description 4
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010016035 Face presentation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010626 work up procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及电子设备,涉及信息处理技术领域,可以有针对性的对人脸图像进行美肤处理,为用户提供更好的拍摄体验或美图体验。该方案通过采用人工智能(Artificial Intelligence,AI)的方法,例如使用神经网络对包括有人脸图像的第一图像进行多方位的分析,包括对第一图像拍摄背景信息、人脸的亮度信息和妆容信息的识别,可以综合根据图像的具体背景信息、人脸的实际亮度分布以及人脸的实际妆容,有针对性的对人脸图像进行美肤处理,使得图像中的人物面部状态呈现更好,用户体验更佳。
Description
技术领域
本申请实施例涉及信息处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着数码技术和图像处理技术的快速发展,越来越多的人希望通过图像处理,使其自拍照或者与友人的合影等呈现出更好的效果。特别是希望其面部状态呈现效果更好一些。
现有的图像处理方法主要依赖的是对图像中人物的年龄、性别和地域的分析结果,完成人脸美肤的。包括磨皮、美化、瘦脸和上妆等。但是这种方法仅依据了图像中的人物的简单客观属性信息,其美肤方式固化,能够得到的美肤效果有限。
发明内容
本申请实施例提供一种图像处理方法,可以综合分析人脸图像的拍摄背景信息、人脸亮度分布信息以及人脸妆容信息等,有针对性的对人脸图像进行美肤处理。
为达到上述目的,本申请实施例采用如下技术方案:
第一方面,提供一种图像处理方法,该方法可以应用于电子设备,该方法可以包括:电子设备获取第一图像的拍摄背景信息,其中,该第一图像中包括人脸图像;该电子设备识别上述第一图像中的人脸图像对应的人脸的亮度信息和妆容信息;该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所上述人脸图像对应的人脸进行美肤处理。
上述第一方面提供的技术方案,通过对包括有人脸图像的第一图像进行多方位的分析,包括对第一图像拍摄背景信息、人脸的亮度信息和妆容信息的识别,可以综合根据图像的具体背景信息、人脸的实际亮度分布以及人脸的实际妆容,有针对性的对人脸图像进行美肤处理,使得人物图像中的人物面部状态呈现更好,用户体验更佳。
结合第一方面,在第一种可能的实现方式中,电子设备识别上述第一图像中的人脸图像对应的人脸的亮度信息,可以包括:该电子设备识别上述第一图像中的人脸区域;该电子设备根据上述人脸区域的每一个像素点的像素值,确定该人脸区域的每一个像素点的亮度信息。通过分析人脸区域每一个像素点的像素值,确定人脸区域的每一个像素点的亮度信息,可以获取人脸区域每一个像素点的亮度情况。有助于进一步确定人脸区域的了亮度正常区域以及亮度不足区域,便于有针对性的对人脸区域进行亮度处理。
结合第一方面,以及第一方面第一种可能的实现方式,在第二种可能的实现方式中,电子设备识别第一图像中人脸图像对应的人脸的妆容信息的方法,可以包括:该电子设备采用分类网络对上述人脸区域的妆容进行分类,输出每一种妆容标签以及每一种妆容标签对应的概率;其中,所述每一种妆容对应的概率分别用于表征人脸图像对应的人脸的妆容信息和每一种妆容标签的概率。通过使用已经训练好的妆容分类网络确定人脸区域的妆容,便于有针对性的对人脸区域进行妆容处理。
结合第一方面第二种可能的实现方式,在第三种可能的实现方式中,上述分类网络至少为视觉几何组VGG、残差网络Resnet或者轻量化神经网络中的任一种。通过使用上述分类网络进行人脸区域的妆容识别,可以提高人脸区域妆容识别的速度,降低处理器的负荷。
结合第一方面,以及第一方面第一种至第三种可能的实现方式,在第四种可能的实现方式中,上述第一图像可以是电子设备的摄像头的预览图像;或者上述第一图像可以是电子设备已存储的图片;或者上述第一图像可以是电子设备从其他设备获取的图片。无论是已有的图片(包括电子设备存储的和电子设备从第三方获取的),还是电子设备的预览图像,均可以使用本申请提供的图像处理方法进行图像美化处理。
结合第一方面第四种可能的实现方式,在第五种可能的实现方式中,若上述第一图像是电子设备的摄像头的预览图像,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定拍摄参数;该电子设备响应于第一操作,使用确定的拍摄参数拍摄上述预览图像对应的画面;其中,第一操作用于指示拍照。对于预览图像,本申请提供的图像处理方法可以支持根据确定的拍摄参数进行预览画面拍摄,为用户提供更好的拍摄体验。
结合第一方面第四种可能的实现方式,在第六种可能的实现方式中,若上述第一图像是电子设备已存储的图片;或者上述第一图像是电子设备从其他设备获取的图片,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定美肤参数;该电子设备根据确定的美肤参数对上述第一图像中人脸图像对应的人脸进行美肤处理。对于已有图片,本申请提供的图像处理方法可以支持根据确定的美肤参数对图片进行美化处理,为用户提供更好的美图体验。
结合第一方面第六种可能的实现方式,在第七种可能的实现方式中,上述美肤参数可以包括:上述人脸区域每个像素点的亮度参数和妆容参数。在对人脸区域进行美肤处理时,本申请提供的图像处理方法可以支持对人脸区域进行亮度处理和妆容处理,该美肤处理可以细化到每一个像素点。
结合第一方面,以及第一方面第一种至第七种可能的实现方式,在第八种可能的实现方式中,本申请提供的图像处理方法还可以包括:若电子设备确定上述第一图像中包括至少两个人脸图像数量;该电子设备确定上述至少两个人脸图像对应的人物关系;然后,该电子设备可以根据确定出的上述至少两个人脸图像对应的人物关系,对第一图像进行风格调整;其中,上述对第一图像进行风格调整包括对上述第一图像进行背景色彩调整和/或对上述第一图像进行背景风格调整。在第一图像中包括多张人脸时,可以通过分析多张人脸对应的人物关系,对第一图像进行背景调整,包括背景色彩调整和/或风格调整,使得背景与人物关系更加匹配,获得更好的拍摄体验或者美图体验。
结合第一方面,以及第一方面第一种至第八种可能的实现方式,在第九种可能的实现方式中,本申请提供的图像处理方法还可以包括:电子设备识别上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种。通过对人脸的上述属性进行识别,以便可以根据上述人脸属性有针对性的对人脸区域进行美肤处理,获得更好的拍摄体验或者美图体验。
结合第一方面第九种可能的实现方式,在第十种可能的实现方式中,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息,以及上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种,对上述人脸图像对应的人脸进行美肤处理。
第二方面,提供一种电子设备,该电子设备可以包括:信息获取单元,用于获取第一图像的拍摄背景信息,其中,该第一图像中包括人脸图像;图像分析单元,用于识别上述第一图像中的人脸图像对应的人脸的亮度信息和妆容信息;图像处理单元,用于根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所上述人脸图像对应的人脸进行美肤处理。
上述第二方面提供的技术方案,通过对包括有人脸图像的第一图像进行多方位的分析,包括对第一图像拍摄背景信息、人脸的亮度信息和妆容信息的识别,可以综合根据图像的具体背景信息、人脸的实际亮度分布以及人脸的实际妆容,有针对性的对人脸图像进行美肤处理,使得人物图像中的人物面部状态呈现更好,用户体验更佳。
结合第二方面,在第一种可能的实现方式中,图像分析单元识别上述第一图像中的人脸图像对应的人脸的亮度信息,可以包括:该图像分析单元识别上述第一图像中的人脸区域;该图像分析单元根据上述人脸区域的每一个像素点的像素值,确定该人脸区域的每一个像素点的亮度信息。通过分析人脸区域每一个像素点的像素值,确定人脸区域的每一个像素点的亮度信息,可以获取人脸区域每一个像素点的亮度情况。有助于进一步确定人脸区域的了亮度正常区域以及亮度不足区域,便于有针对性的对人脸区域进行亮度处理。
结合第二方面,以及第二方面第一种可能的实现方式,在第二种可能的实现方式中,上述图像分析单元识别第一图像中人脸图像对应的人脸的妆容信息,可以包括:该图像分析单元采用分类网络对上述人脸区域的妆容进行分类,输出每一种妆容标签以及每一种妆容标签对应的概率;其中,所述每一种妆容对应的概率分别用于表征人脸图像对应的人脸的妆容信息和每一种妆容标签的概率。通过使用已经训练好的妆容分类网络确定人脸区域的妆容,便于有针对性的对人脸区域进行妆容处理。
结合第二方面第二种可能的实现方式,在第三种可能的实现方式中,上述分类网络至少为视觉几何组VGG、残差网络Resnet或者轻量化神经网络中的任一种。通过使用上述分类网络进行人脸区域的妆容识别,可以提高人脸区域妆容识别的速度,降低处理器的负荷。
结合第二方面,以及第二方面第一种至第三种可能的实现方式,在第四种可能的实现方式中,上述第一图像可以是电子设备的摄像头的预览图像;或者上述第一图像可以是电子设备已存储的图片;或者上述第一图像可以是电子设备从其他设备获取的图片。无论是已有的图片(包括电子设备存储的和电子设备从第三方获取的),还是电子设备的预览图像,均可以使用本申请提供的图像处理方法进行图像美化处理。
结合第二方面第四种可能的实现方式,在第五种可能的实现方式中,若上述第一图像是电子设备的摄像头的预览图像,上述图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定拍摄参数;该图像处理单元响应于第一操作,使用确定的拍摄参数拍摄上述预览图像对应的画面;其中,第一操作用于指示拍照。对于预览图像,本申请提供的图像处理方法可以支持根据确定的拍摄参数进行预览画面拍摄,为用户提供更好的拍摄体验。
结合第二方面第四种可能的实现方式,在第六种可能的实现方式中,若上述第一图像是电子设备已存储的图片;或者上述第一图像是电子设备从其他设备获取的图片,上述图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定美肤参数;该图像处理单元根据确定的美肤参数对上述第一图像中人脸图像对应的人脸进行美肤处理。对于已有图片,本申请提供的图像处理方法可以支持根据确定的美肤参数对图片进行美化处理,为用户提供更好的美图体验。
结合第二方面第六种可能的实现方式,在第七种可能的实现方式中,上述美肤参数可以包括:上述人脸区域每个像素点的亮度参数和妆容参数。在对人脸区域进行美肤处理时,本申请提供的图像处理方法可以支持对人脸区域进行亮度处理和妆容处理,该美肤处理可以细化到每一个像素点。
结合第二方面,以及第二方面第一种至第七种可能的实现方式,在第八种可能的实现方式中,上述图像分析单元还用于,分析上述第一图像中包括的人脸图像数量;若上述图像分析单元确定上述第一图像中包括至少两个人脸图像数量;上述图像分析单元还用于,确定上述至少两个人脸图像对应的人物关系;然后,上述图像处理单元还用于,根据确定出的上述至少两个人脸图像对应的人物关系,对第一图像进行风格调整;其中,上述对第一图像进行风格调整包括对上述第一图像进行背景色彩调整和/或对上述第一图像进行背景风格调整。在第一图像中包括多张人脸时,可以通过分析多张人脸对应的人物关系,对第一图像进行背景调整,包括背景色彩调整和/或风格调整,使得背景与人物关系更加匹配,获得更好的拍摄体验或者美图体验。
结合第二方面,以及第二方面第一种至第八种可能的实现方式,在第九种可能的实现方式中,上述图像分析单元还用于,识别上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种。通过对人脸的上述属性进行识别,以便可以根据上述人脸属性有针对性的对人脸区域进行美肤处理,获得更好的拍摄体验或者美图体验。
结合第二方面第九种可能的实现方式,在第十种可能的实现方式中,图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该图像处理单元根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息,以及上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种,对上述人脸图像对应的人脸进行美肤处理。
第三方面,提供一种电子设备,该电子设备可以包括:存储器,用于存储计算机程序代码,该计算机程序代码包括指令;射频电路,用于进行无线信号的发送和接收;处理器,用于执行上述指令,使得上述电子设备获取第一图像的拍摄背景信息,其中,该第一图像中包括人脸图像;识别上述第一图像中的人脸图像对应的人脸的亮度信息和妆容信息;以及,根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所上述人脸图像对应的人脸进行美肤处理。
上述第三方面提供的技术方案,通过对包括有人脸图像的第一图像进行多方位的分析,包括对第一图像拍摄背景信息、人脸的亮度信息和妆容信息的识别,可以综合根据图像的具体背景信息、人脸的实际亮度分布以及人脸的实际妆容,有针对性的对人脸图像进行美肤处理,使得人物图像中的人物面部状态呈现更好,用户体验更佳。
结合第三方面,在第一种可能的实现方式中,电子设备识别上述第一图像中的人脸图像对应的人脸的亮度信息,可以包括:该电子设备识别上述第一图像中的人脸区域;以及,根据上述人脸区域的每一个像素点的像素值,确定该人脸区域的每一个像素点的亮度信息。通过分析人脸区域每一个像素点的像素值,确定人脸区域的每一个像素点的亮度信息,可以获取人脸区域每一个像素点的亮度情况。有助于进一步确定人脸区域的了亮度正常区域以及亮度不足区域,便于有针对性的对人脸区域进行亮度处理。
结合第三方面,以及第三方面第一种可能的实现方式,在第二种可能的实现方式中,电子设备识别第一图像中人脸图像对应的人脸的妆容信息的方法,可以包括:该电子设备采用分类网络对上述人脸区域的妆容进行分类,输出每一种妆容标签以及每一种妆容标签对应的概率;其中,所述每一种妆容对应的概率分别用于表征人脸图像对应的人脸的妆容信息和每一种妆容标签的概率。通过使用已经训练好的妆容分类网络确定人脸区域的妆容,便于有针对性的对人脸区域进行妆容处理。
结合第三方面第二种可能的实现方式,在第三种可能的实现方式中,上述分类网络至少为视觉几何组VGG、残差网络Resnet或者轻量化神经网络中的任一种。通过使用上述分类网络进行人脸区域的妆容识别,可以提高人脸区域妆容识别的速度,降低处理器的负荷。
结合第三方面,以及第三方面第一种至第三种可能的实现方式,在第四种可能的实现方式中,上述第一图像可以是电子设备的摄像头的预览图像;或者上述第一图像可以是电子设备已存储的图片;或者上述第一图像可以是电子设备从其他设备获取的图片。无论是已有的图片(包括电子设备存储的和电子设备从第三方获取的),还是电子设备的预览图像,均可以使用本申请提供的图像处理方法进行图像美化处理。
结合第三方面第四种可能的实现方式,在第五种可能的实现方式中,若上述第一图像是电子设备的摄像头的预览图像,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定拍摄参数;以及,响应于第一操作,使用确定的拍摄参数拍摄上述预览图像对应的画面;其中,第一操作用于指示拍照。对于预览图像,本申请提供的图像处理方法可以支持根据确定的拍摄参数进行预览画面拍摄,为用户提供更好的拍摄体验。
结合第三方面第四种可能的实现方式,在第六种可能的实现方式中,若上述第一图像是电子设备已存储的图片;或者上述第一图像是电子设备从其他设备获取的图片,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定美肤参数;以及,根据确定的美肤参数对上述第一图像中人脸图像对应的人脸进行美肤处理。对于已有图片,本申请提供的图像处理方法可以支持根据确定的美肤参数对图片进行美化处理,为用户提供更好的美图体验。
结合第三方面第六种可能的实现方式,在第七种可能的实现方式中,上述美肤参数可以包括:上述人脸区域每个像素点的亮度参数和妆容参数。在对人脸区域进行美肤处理时,本申请提供的图像处理方法可以支持对人脸区域进行亮度处理和妆容处理,该美肤处理可以细化到每一个像素点。
结合第三方面,以及第三方面第一种至第七种可能的实现方式,在第八种可能的实现方式中,上述处理器还用于执行上述指令,使得上述电子设备确定上述第一图像中包括至少两个人脸图像数量;该电子设备确定上述至少两个人脸图像对应的人物关系;以及,根据确定出的上述至少两个人脸图像对应的人物关系,对第一图像进行风格调整;其中,上述对第一图像进行风格调整包括对上述第一图像进行背景色彩调整和/或对上述第一图像进行背景风格调整。在第一图像中包括多张人脸时,可以通过分析多张人脸对应的人物关系,对第一图像进行背景调整,包括背景色彩调整和/或风格调整,使得背景与人物关系更加匹配,获得更好的拍摄体验或者美图体验。
结合第三方面,以及第三方面第一种至第八种可能的实现方式,在第九种可能的实现方式中,上述处理器还用于执行上述指令,使得上述电子设备识别上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种。通过对人脸的上述属性进行识别,以便可以根据上述人脸属性有针对性的对人脸区域进行美肤处理,获得更好的拍摄体验或者美图体验。
结合第三方面第九种可能的实现方式,在第十种可能的实现方式中,电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理,可以包括:该电子设备根据上述第一图像的拍摄背景信息、上述第一图像中人脸图像对应的人脸的亮度信息和妆容信息,以及上述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种,对上述人脸图像对应的人脸进行美肤处理。
需要说明的是,上述第一方面中提供的图像处理方法的执行主体还可以是一种图像处理装置,该图像处理装置可以是电子设备中用于执行上述图像处理方法的控制器或者处理器,该图像处理装置还可以是电子设备中的一个芯片,或者该图像处理装置也可以是一个独立的设备等,用于执行上述图像处理方法。
第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机执行指令,该计算机执行指令被处理器执行时实现如第一方面任一种可能的实现方式中的图像处理方法。
第五方面,提供一种芯片系统,该芯片系统可以包括存储介质,用于存储指令;处理电路,用于执行上述指令,实现如第一方面任一种可能的实现方式中的图像处理方法。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第六方面,提供一种计算机程序产品,提供一种计算机程序产品,该计算机程序产品包括程序指令,当程序指令在计算机上运行时,以实现如第一方面任一种可能的实现方式中的图像处理方法。例如,该计算机可以是至少一个存储节点。
附图说明
图1为本申请实施例提供的第一图像示例图;
图2为本申请实施例提供的一种电子设备硬件结构示意图;
图3为本申请实施例提供的一种卷积层进行特征提取示例图;
图4为本申请实施例提供的图像处理方法流程图一;
图5为本申请实施例提供的一种卷积神经网络工作流程示意图;
图6为本申请实施例提供的一种卷积层与池化层的连接示例图;
图7为本申请实施例提供的几种图像处理示例;
图8为本申请实施例提供的一种拍摄预览图像的示例图;
图9为本申请实施例提供的图像处理方法流程图二;
图10为本申请实施例提供的确定第一图像中包括的人脸的方法示意图;
图11为本申请实施例提供的图像处理方法流程图三;
图12为本申请实施例提供的一种图像处理示例;
图13本申请实施例提供的另一种图像处理示例;
图14为本申请实施例提供的图像处理方法流程图四;
图15为本申请实施例提供的图像处理方法流程图五;
图16为本申请实施例提供的图像处理方法流程图六;
图17为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例提供一种图像处理方法。具体的,本申请实施例中的图像处理方法可以通过识别包含有人脸图像的待处理图像(即第一图像)的拍摄背景信息、人脸亮度分布信息以及人脸妆容信息,综合识别到的上述信息确定图像美化参数,有针对性的对第一图像中人物图像面部进行美肤。
其中,人脸亮度是指人脸颜色的相对明暗程度,通常用从0%(黑)到100%(白)的百分比来度量亮度。
例如,在以下场景中,采用本申请实施例的图像处理方法,可以综合第一图像的拍摄背景信息、人脸亮度分布信息以及人脸妆容信息有针对性的进行人物面部美肤,获得更好的用户体验。
如图1中的(a)所示,用户所处的拍摄背景是雪天,而用户脸部偏黑。通过本申请实施例的图像处理方法,可以将该图片的拍摄背景信息、人脸亮度分布信息和人脸妆容信息综合考虑到美肤中,在一定程度上实现人物面部与背景的最佳匹配,会使用户有更好的美肤体验。
又如图1中的(b)所示,用户所处的拍摄背景是夜晚霓虹灯下,该环境下会导致用户脸部偏黄。通过本申请实施例的图像处理方法,可以通过拍摄背景信息判断用户脸部偏黄是由于拍摄背景导致还是用户本身肤色所致,当确定用户肤色的改变是受拍摄背景影响,则可以对用户肤色进行针对性的调整,使用户有更好的美肤体验。
再如,由于不同光线、不同拍摄角度、脸部头发遮挡或帽子遮挡等导致人脸区域明暗度不均匀的情况。如图1中的(c)所示,由于用户背光以及脸部部分区域被头发遮挡,导致拍摄的图片中,人脸区域明暗度不均匀。通过本申请实施例的图像处理方法,可以综合考虑拍摄角度、人脸亮度分布信息、遮挡物等信息对用户面部呈现的影响,从而实现更精细化的美肤。
再如图1中的(d)所示,用户在光线明暗不均匀的环境中拍摄的素颜照,脸部呈现效果很差。通过本申请实施例的图像处理方法,可以综合考虑拍摄背景信息、人脸亮度分布信息、人脸妆容信息等对用户面部呈现的影响,从而实现更加有针对性的美肤。
其中,本申请实施例中的第一图像可以是已拍摄的图片。例如,第一图像可以是用户通过电子设备的摄像头拍摄的照片,包括用户通过电子设备中安装的某一应用调用手机摄像头拍摄的照片。又例如,电子设备从其他地方获取的图片或者视频中的某一帧图像等。例如,用户通过电子设备中安装的微信从朋友接收到的图片,用户使用电子设备从互联网下载的图片。本申请实施例中的第一图像还可以是电子设备的摄像头的预览图像。或者其他来源的图像,本申请实施例对第一图像的来源、格式、以及获取方式等不作限定。
需要说明的是,本申请实施例中的电子设备可以是手机、电脑、应用服务器,还可以是其他桌面型设备、膝上型设备、手持型设备、可穿戴设备等。例如平板电脑、智能相机、上网本、个人数字助理(PersonalDigitalAssistant,PDA)、智能手表、AR(增强现实)/VR(虚拟现实)设备等,也可以为其他服务器类设备等。本申请实施例对电子设备的类型不作限定。
请参考图2,如图2所示,为本申请实施例提供的一种电子设备100的硬件结构示意图。如图2所示,电子设备100可以包括处理器110,存储器(包括外部存储器接口120和内部存储器121),通用串行总线(universalserialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,AP),调制解调处理器,图形处理器(graphicsprocessingunit,GPU),图像信号处理器(imagesignalprocessor,ISP),控制器,视频编解码器,数字信号处理器(digital signalprocessor,DSP),基带处理器,和/或神经网络处理器NPU芯片等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit,I2C)接口,集成电路内置音频(inter-integratedcircuitsound,I2S)接口,脉冲编码调制(pulsecodemodulation,PCM)接口,通用异步收发传输器(universalasynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobileindustryprocessorinterface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identitymodule,SIM)接口,和/或通用串行总线(universalserialbus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noiseamplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalarea networks,WLAN)(如无线保真(wirelessfidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigationsatellitesystem,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(nearfieldcommunication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications,GSM),通用分组无线服务(generalpacketradioservice,GPRS),码分多址接入(codedivisionmultiple access,CDMA),宽带码分多址(widebandcodedivisionmultipleaccess,WCDMA),时分码分多址(time-divisioncodedivisionmultipleaccess,TD-SCDMA),长期演进(longtermevolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(globalpositioningsystem,GPS),全球导航卫星系统(globalnavigationsatellitesystem,GLONASS),北斗卫星导航系统(beidounavigationsatellitesystem,BDS),准天顶卫星系统(quasi-zenithsatellitesystem,QZSS)和/或星基增强系统(satellitebasedaugmentationsystems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。具体到本申请实施例中,电子设备100可以通过GPU对第一图像进行图像处理。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,LCD),有机发光二极管(organiclight-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode,AMOLED),柔性发光二极管(flexlight-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantumdotlightemittingdiodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice,CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络处理单元(Neural-networkProcessingUnit),通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:人脸亮度分析,拍摄背景分析,人脸妆容分析,人脸检测,人脸属性分析等。具体到本申请实施例中,NPU可以理解为集成有神经网络的单元。NPU可以将其分析结果发送至GPU,由GPU根据该分析结果对第一图像进行图像处理。
外部存储器接口120可以用于连接外部存储卡,例如MicroSD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(openmobileterminalplatform,OMTP)标准接口,美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheUSA,CTIA)标准接口。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。
气压传感器用于测量气压。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180A确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。
磁传感器包括霍尔传感器。电子设备100可以利用磁传感器检测翻盖皮套的开合。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器测距以实现快速对焦。
接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器用于感知环境光亮度。
指纹传感器用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器用于检测温度。在一些实施例中,电子设备100利用温度传感器检测的温度,执行温度处理策略。
触摸传感器,也称“触控器件”。触摸传感器(也称为触控面板)可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。
骨传导传感器可以获取振动信号。在一些实施例中,骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏,接收血压跳动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持NanoSIM卡,MicroSIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
本申请实施例中的图像处理方法均可以在具有上述硬件结构的电子设备或者具有类似结构的电子设备中实现。以下以电子设备是手机为例,对本申请实施例提供的图像处理方法进行具体阐述。
可以理解的,本申请实施例中,手机可以执行本申请实施例中的部分或全部步骤,这些步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照本申请实施例呈现的不同的顺序来执行,并且有可能并非要执行本申请实施例中的全部操作。
请参考以下示例,以下几种示例为本申请实施例中的图像处理方法几种可能的应用示例。
示例1:用户使用手机的摄像头拍照,在预览界面时,手机对预览界面的图像进行拍摄背景信息、人脸亮度分析信息、人脸妆容信息等信息的综合分析。基于该综合分析结果调整摄像头的拍摄参数。这样,在用户点击拍照按钮,拍摄该预览界面的图像时,基于调整后的拍摄参数会拍摄出人物面部状态更好的图片,用户体验度更好。
其中,预览界面是指电子设备启用摄像头预览当前要拍摄画面的界面。电子设备在启动摄像头之后,在电子设备的显示屏上会显示当前预览界面。
示例2:用户将视频中的该用户喜欢的明星的某一帧图像截取出来,通过电脑中安装的美图软件对帧图像进行美图,具体的,美图软件可以对帧图像进行拍摄背景信息、人脸亮度分布信息、人脸妆容信息等信息进行综合分析。基于该综合分析结果对应的调整参数对该明星面部进行美肤。
示例3:用户希望对其已拍摄的图片中的人物进行美肤。用户可以通过其手机中安装的美图应用(Application,APP)对该图片的拍摄背景信息、人脸亮度分布信息、人脸妆容信息等信息进行综合分析。基于该综合分析结果对应的调整参数对该图片中的人物进行美肤。
需要说明的是,上述示例1、示例2和示例3仅作为几种示例介绍本申请实施例中的图像处理方法可能的几种应用。本申请实施例中的图像处理方法还可以应用于其他可能的情况中,本申请实施例对此不做限定。
在一些实施例中,手机可以通过建立的模拟人脑进行分析学习的神经网络,对大量的图片进行深度学习,得到人工智能(artificialintelligence,AI)模型。在识别第一图像的拍摄背景信息、人脸亮度分布信息和人脸妆容信息等信息时,神经网络可以模仿人脑的机制对第一图像进行池化处理和特征分析,以及根据AI模型对第一图像进行特征匹配。其中,神经网络也叫人工神经网络(ArtificialNeuralNetworks,ANNs)。
例如,上述示例1中,手机中可以集成有神经网络,通过神经网络完成上述综合分析,得到综合分析结果。上述示例2和示例3中,美图软件或美图APP可以通过其应用服务器完成上述综合分析,得到综合分析结果;其中,美图软件或美图APP的应用服务器中可以集成有神经网络。
例如,本申请实施例中的神经网络可以是卷积神经网络。
卷积神经网络至少可以包括数据输入层、至少一个卷积层、至少一个池化层和全连接层。其中,数据输入层用于对获取的图像、声音和文本等待处理数据进行预处理,例如,预处理包括去均值、归一化和主成分分析(principalcomponentanalysis,PCA)/白化(whitening))。卷积层用于进行特征提取。池化层用于对特征进行采样,即用一个数值替代一块区域,主要是为了降低网络训练参数及模型的过拟合程度。全连接层用于对提取到的特征进行综合分析,得到分析结果。其中,如上所述,卷积神经网络中还可以包括已训练好的AI模型。
其中,卷积是分析数学中一种重要的运算。设f(x)、g(x)是R上的两个可积函数。对于每一个x∈(-∞,+∞),存在h(x),称为f(x)与g(x)的卷积。其中,在卷积神经网络中,卷积层进行特征提取可以包括:滤波器g(x)按照步长大小在输入图像f(x)上不断移动进行加权求和,提取输入特征矩阵的特征信息,再对特征矩阵进行数据的计算。如图3所示。
在一些实施例中,卷积神经网络还可以包括激活函数层,用于对卷积层提取到的特征进行非线性映射。例如,激活函数层可以采用激励函数修正线性单元(TheRectifiedLinearUnit,ReLU)将卷积层输出的结果压缩到某一个固定的范围,这样可以一直保持一层一层下去的数值范围是可控的。其中,ReLU的特点是收敛快,求梯度简单。
如图4所示,本申请实施例的图像处理方法可以包括:
S401、手机识别第一图像,获取该第一图像的拍摄背景信息。
其中,该第一图像中包括至少一个人脸。第一图像的拍摄背景信息用于指示该第一图像的拍摄背景。
例如,第一图像的拍摄背景至少可以包括以下几种类别中的至少一种:天气(如雪天、雨天)、光线(如强光、弱光、夜间、黄昏)和场景(如海边、沙滩、家中、酒会、学校、游乐场)。在一种可能的实现方式中,手机可以通过场景识别算法识别第一图像,获取该第一图像的拍摄背景信息。
示例性的,手机可以利用卷积神经网络对第一图像进行深度学习,获取该第一图像的拍摄背景信息。
请参考图5,如图5所示,为本申请实施例提供的卷积神经网络分析第一图像的示例图。如图5所示,卷积神经网络可以包括数据输入层510、卷积层520、池化层530、卷积层540、池化层550和全连接层560。其中,数据输入层510用于获取第一图像,以及对第一图像进行预处理。然后,预处理后的图像经过卷积层520卷积得到28×28的图像。接下来,经过池化层530池化得到14×14的图像。然后,再经过卷积层540,卷积得到10×10的图像。再经过池化层550得到5×5的图像。其中,卷积层520可以由6个5×5的卷积核组成。卷积层540可以由16个5×5的卷积核组成。最后,将经过池化层550得到的5×5的图像,通过全连接层560得到输出结果,对应与训练集中AI模型的匹配结果。
其中,在图5中,池化层330与卷积层340的连接方式并不是全连接,而是部分连接。示例性的,如图6所示,为本申请实施例提供的一种卷积层与池化层的连接示例图。例如,如图6所示,卷积层340的节点0与池化层330的节点0,节点1和节点2连接。卷积层340的节点1与池化层330的节点1,节点2和节点3连接。其中,行代表卷积层340中的节点,列代表池化层330中的节点。
通过对第一图像中提取的特征进行多次卷积和滤波,最终通过全连接层计算得到第一图像的拍摄背景与卷积神经网络中AI模型的匹配概率。
其中,训练集可以由卷积神经网络在手机出厂前预先训练,固化在手机中。也可以使用手机在预设时间段内所拍摄的照片,或者接收的、下载的图片作为训练集,对卷积神经网络进行个性化训练,使得该卷积神经网络在进行拍摄背景识别时的准确度。例如,由于用户经常拍摄山川雪景的照片,手机使用用户拍摄的山川雪景照片不断训练训练集,因此,手机对于山川雪景的拍摄背景识别结果准确度较高。
在一种可能的实现方式中,卷积神经网络最终输出的拍摄背景信息中可以包括至少一个拍摄背景类别。若拍摄背景识别结果包括N个拍摄背景类别,N个拍摄背景类别可以按照相应AI模型与第一图像拍摄背景的匹配程度由大到小排序。其中,N大于1,N为整数。
其中,相应AI模型与第一图像拍摄背景的匹配程度,可以指对应AI模型的对应特征与第一图像拍摄背景特征的匹配成功率。或者,N个拍摄背景类别还可以依据其他因素排名,本申请实施例对具体的排名规则、方法等不作限定。
S402、手机识别第一图像中人脸图像对应的人脸的亮度信息和妆容信息。
其中,人脸图像对应的人脸的亮度信息包括人脸图像对应的人脸的亮度分布信息,即人脸图像对应的人脸区域每一个像素点的亮度。
示例性的,如图1中的(a)所示,由于背景光线太强,人脸区域曝光不够,导致人脸区域肤色均较暗。又如图1中的(b)所示,由于背景光线偏黄,人脸区域受背景光线的影响,人脸区域肤色均偏黄。再如图1中的(c)所示,由于头发和帽子的遮挡等原因,人脸区域亮度不均,部分区域由于遮挡肤色较暗。
其中,人脸图像对应的人脸的妆容信息可以包括但不限于下中的至少一种信息:素颜/淡妆/浓妆、底妆信息、眉形、眉色、眼妆信息、口红颜色信息、眼线颜色和眼线形状等。如果妆容信息指示人脸图形对应的人脸不是素颜,该妆容信息还可以包括妆容风格。其中,妆容风格可以包括工作妆、晚宴妆、可爱妆或游玩妆等。
在一种可能的实现方式中,手机可以采用人脸属性识别算法识别第一图像中人脸图像对应的人脸的亮度信息和妆容信息。在一些实施例中,手机采用人脸属性识别算法识别第一图像中人脸图像对应的人脸的亮度信息可以包括以下步骤1~步骤3:
步骤1、识别第一图像中的人脸区域。
其中,人脸区域可以是识别包围人脸的矩形框内的区域。对于手机识别第一图像中的人脸区域的具体方法和过程,将在下文中详细介绍。
步骤2、统计人脸区域的每一个像素点的像素值。
在一种可能的实现方式中,可以通过遍历人脸区域的每一个像素点,统计人脸区域的每一个像素点的像素值。
步骤3、根据人脸区域的每一个像素点的像素值,确定人脸区域的每一个像素点的亮度信息。
在一些实施例中,手机采用人脸属性识别算法识别第一图像中人脸图像对应的人脸的妆容信息可以包括:采用视觉几何组(VisualGeometryGroup,VGG)、残差网络(ResidualNetwork,Resnet)或者轻量化神经网络(例如SqueezeNet、MobileNet或ShuffleNet等)等分类网络对第一图像中人脸图像对应的人脸区域的妆容进行分类,并输出每一种妆容标签(例如“素颜”、“淡妆”或“浓妆”)以及每一种妆容标签对应的概率。例如,输出的结果包括:第一图像中人脸图像对应的人脸的妆容信息为“素颜”的概率为90%,为“淡妆”的概率为9%,为“浓妆”的概率为1%。那么,手机根据该结果可以预测第一图像中人脸图像对应的人脸的妆容信息为“素颜”。
其中,上述VGG、Resnet、SqueezeNet、MobileNet或ShuffleNet等分类网络可以通过对大量的包括人脸图像的图片进行深度学习以及训练,得到妆容信息分类模型。示例性的,上述大量的包括人脸图像的图片可以是包括用户打过标签(例如“素颜”、“淡妆”或“浓妆”标签)的包括人脸图像的图片。上述分类网络可以通过对这些图片进行学习、以及训练,得到妆容信息分类模型。或者,上述大量的包括人脸图像的图片可以是其他来源,对此本申请实施例不作限定。
另外,对于上述VGG、Resnet、SqueezeNet、MobileNet或ShuffleNet等分类网络的具体工作原理,可以参考常规技术中的介绍,在申请实施例再次不做赘述。
需要说明的是,本申请实施例对S402和S401的执行顺序不作限定。手机也可以先执行S402,再执行S401。
S403、手机根据第一图像的拍摄背景信息、第一图像中人脸图像对应的人脸的亮度信息和妆容信息对人脸图像对应的人脸进行美肤处理。若第一图像是已拍摄的图片(如上文中的示例2和示例3),在一种可能的实现方式中,S403可以通过以下步骤(1)和步骤(2)完成:
步骤(1):手机根据第一图像的拍摄背景信息、第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定美肤参数。
其中,美肤参数可以包括但不限于每个像素点的亮度参数和妆容参数。其中,妆容参数可以包括但不限于底妆颜色参数、美白参数、磨皮参数、眼妆颜色参数和眼线参数。
在一种可能的实现方式中,手机可以通过以下步骤(a1)和步骤(b)根据人脸的亮度信息确定每个像素点的亮度参数:
步骤(a1)、计算人脸区域的平均亮度。
在一种可能的实现方式中,手机可以先通过统计人脸区域的每一个像素点中,每一个灰度级上的像素点的个数,得到人脸区域的灰度直方图。然后根据人脸区域的灰度直方图计算人脸区域的平均亮度。
步骤(b1)、根据人脸区域的平均亮度确定每个像素点的亮度参数。使得亮度低于人脸区域的平均亮度的像素点的亮度适当增强,亮度高于人脸区域的平均亮度的像素点的亮度适当降暗。
在另一种可能的实现方式中,手机可以通过以下步骤(a2)和步骤(b2)根据人脸的亮度信息确定每个像素点的亮度参数:
步骤(a2)、获取用户人脸区域的正常亮度。
在一种可能的实现方式中,手机可以根据图库中保存的包括用户人脸区域的图像中,确定在正常光照(例如光照均匀)下的人脸区域的正常亮度。
步骤(b2)、根据人脸区域的正常亮度确定每个像素点的亮度参数。使得亮度低于人脸区域的正常亮度的像素点的亮度适当增强,将亮度高于人脸区域的正常亮度的像素点的亮度适当降暗。
步骤(2):手机根据确定的美肤参数对第一图像中人脸图像对应的人脸进行美肤处理。
例如,手机识别出如图7中的(a1)所示的图片的拍摄背景为“雪天”,并且该图片中人脸区域偏黑,且人脸为素颜。手机分析人脸区域偏黑的原因包括两个:素颜和背景光线太强导致的人脸曝光不足,其中,人脸曝光不足为主要原因。在这种情况下,手机可以针对人脸区域的亮度和美白程度进行提升,如图7中的(b1)所示,使得人脸与拍摄背景相匹配,拍摄效果更好。
又例如,手机识别出如图7中的(a2)所示的图片的拍摄背景为“夜晚霓虹灯”,并且该图片中人脸区域偏黄。手机分析人脸区域偏黄不是因为人物客观肤色,而是因为霓虹灯光导致的。在这种情况下,手机可以针对人脸区域进行肤色调整,如图7中的(b2)使其受到背景霓虹灯光的影响较小,拍摄效果更好。
又例如,手机识别出如图7中的(a3)所示的图片人脸区域明暗度不均匀。手机分析人脸区域明暗度不均匀是由于头发遮挡和人脸角度(如图7中的(a3)所示,人物面部背光)。在这种情况下,手机可以针对人脸被遮挡的区域和/或人脸由于偏转角度导致的背光区域进行亮度调整,如图7中的(b3)所示,使得人脸区域亮度更加均衡,更加自然,拍摄效果更好。
再例如,手机识别出如图7中的(a4)所示的图片的人脸区域较暗,且人脸为素颜。在这种情况下,手机可以针对人脸区域的亮度、美白程度和皮肤光滑度进行提升,如图7中的(b4)所示,使得人脸呈现的状态更加,拍摄效果更好。
在一种可能的实现方式中,步骤(2)可以通过以下过程完成:首先,手机构建第一图像中人脸图像对应的人脸画像;然后,手机对构建的人脸画像进行美肤处理。
在一些实施例中,手机构建第一图像中人脸图像对应的人脸画像可以通过以下步骤(A)-步骤(C)完成:
步骤(A)、手机识别第一图像中的人脸区域以及人脸区域的主要人脸特征(如眼睛、嘴唇、鼻子等)。
其中,手机识别第一图像中的人脸区域以及人脸区域的主要人脸特征,可以参考下文中,手机识别第一图像中的人脸区域的具体方法和过程。
步骤(B)、手机识别第一图像中人脸图像的性别、种族、年龄和表情等属性。
其中,手机识别第一图像中人脸图像的性别、种族、年龄和表情等属性的具体方法和过程,将在下文中具体介绍。
步骤(C)、手机根据步骤(A)和步骤(B)识别的结果,构建第一图像中人脸图像对应的人脸画像。
在构建好第一图像中人脸图像对应的人脸画像之后,手机可以根据确定的美肤参数,对人脸画像中的人脸区域进行美肤处理,包括对人脸画像中的人脸图像对应的各个人脸区域进行不同程度的磨皮、瘦脸、美白等针对性美肤处理。
若第一图像是手机的摄像头的预览图像(如上文中的示例1),在一种可能的实现方式中,S403可以通过以下三个步骤完成:
步骤(a):手机根据摄像头的预览图像的拍摄背景信息、摄像头的预览图像中人脸图像对应的人脸的亮度信息和妆容信息确定拍摄参数。
示例性的,手机响应于接收到在手机锁屏界面上点击手机中安装的“照相机”应用的图标的操作(如图8中的(a)中的操作801),启动摄像头。在摄像头启动后,手机在显示屏上显示用户自拍的预览界面(如图8中的(b)所示的界面802)。手机获取到预览图像后,可以识别该预览图像的拍摄背景和该预览图像中的人脸(如图8中的(c)所示的人脸识别框803)。在识别出人脸后,手机还可以分析人脸图像亮度分布和妆容信息。
其中,拍摄参数包括但不限于曝光度、感光度、光圈、白平衡、焦距、测光方式、闪光灯等。手机在识别出摄像头的预览图像的拍摄背景,摄像头的预览图像中人脸图像的亮度分布信息和人脸图像的妆容信息后,可以综合根据上述信息自动调整拍摄参数对预览图像进行针对性美化,而无需手动调整,提高了拍摄参数的调整效率。另外,手机自动调整的拍摄参数相比于不是非常专业的用户手动调整的拍摄参数,通常是更优的拍摄参数,更加适合当前预览图像,可以拍摄出更加高质量的照片或者视频。
步骤(b):手机接收第一操作。
其中,第一操作用于指示拍照。例如:第一操作是点击触摸屏上的拍照图标。或者手其他预设的动作,例如按下音量键,该预设置动态指示的是“拍照”或者“摄像”。
步骤(c):响应于第一操作,手机根据确定的拍摄参数拍摄摄像头的预览图像对应的画面。
示例性的,响应于接收到点击拍摄按钮的操作,如图8中的(d)中的操作804所示,手机根据确定的拍摄参数拍摄摄像头的预览图像对应的画面,得到用户的自拍照片,如图8中的(e)所示。
在一些实施例中,在手机获取第一图像的拍摄背景信息后。手机可以在预览界面上显示该第一图像的拍摄背景标签。或者,手机可以在拍摄的照片上显示第一图像的拍摄背景标签。
其中,拍摄背景标签用于标识第一图像的拍摄背景。该拍摄背景包括但不限于以下中的一个或多个:第一图像对应的场景信息、第一图像对应的天气信息和第一图像对应的光线信息。
例如,如图8中的(f)所示,手机将其识别出用户自拍的拍摄背景“山川”,显示在预览界面上的相应位置,如图8中的(f)中的805所示。
在一些实施例中,在手机识别第一图像中人脸图像对应的人脸亮度信息和妆容信息(即S402)时,手机还可以识别第一图像中人脸图像对应的其他属性信息。例如性别、种族、年龄和表情。
示例性的,手机可以基于特征脸的性别识别算法识别人脸图像对应的性别属性。具体的,可以使用主成分分析(principalcomponentanalysis,PCA)通过消除数据中的相关性,将高维图像降低到低维空间,将训练集中的样本映射成低维空间中的一点。在分析第一图像时,先将第一图像映射到低维空间中,然后确定离第一图像最近的样本点,将最近样本点的性别赋值给第一图像。
或者,手机可以基于Fisher准则的性别识别方法识别人脸图像对应的性别属性。具体的,可以使用线性投影分析(Linearprojectionanalysis,LPA)的思路,将第一图像中的人脸样本投影到过原点的一条直线上,并确保样本在该线上的投影类内距离最小,类间距离最大,从而分离出识别男女的分界线。
或者,手机可以基于Adaboost+SVM的人脸性别分类算法识别人脸图像对应的性别属性。具体的,可以先对第一图像进行预处理,提取图像的Gabor小波特征,然后通过Adaboost分类器进行特征降维,最后用训练好的支持向量机(SupportVector Machine,SVM)分类器进行识别,输出识别结果。
在一种可能的实现方式中,手机可以基于Adaboost和SVM的人脸种族识别算法,识别人脸图像对应的种族属性。具体的,可以通过提取人脸区域的肤色信息和Gabor特征,并通过Adaboost级联分类器进行特征学习,最后根据SVM分类器进行特征分类,确定人脸的种族属性。
在一种可能的实现方式中,手机可以基于融合局部二值化模式(Localbinarization pattern,LBP)和梯度直方图(Histogramofgradient,HOG)特征的人脸年龄估计算法,识别人脸图像对应的年龄属性。具体的,可以先提取与年龄变化关系紧密的人脸区域的局部统计特征:LBP特征和HOG特征,然后用典型相关分析(canonicalcorrelationanalysis,CA)的方法将LBP特征和HOG特征融合,最后通过支持向量机回归(SupportVectorRegression,SVR)的方法对人脸库进行训练和测试,输出人脸的年龄属性。
在一种可能的实现方式中,手机可以基于融合局部二值模式(LocalBinaryPattern,LBP)和局部稀疏表示的人脸表情识别算法,识别人脸图像对应的表情属性。具体的,可以先对规格化后的训练集人脸图像进行特征分区,对于每个人脸分区计算该区域的LBP特征,并采用直方图统计方法整合该区域特征向量,形成由特定人脸的局部特征组成的训练集局部特征库。然后对第一图像的人脸进行规格化、人脸分区、局部LBP特征计算和局部直方图统计操作。最后利用训练集局部特征库将第一图像的局部直方图统计进行局部稀疏重构表示,并采用局部稀疏重构残差加权方法进行最终人脸表情分类识别。
在手机识别第一图像中人脸图像对应的人脸亮度信息和妆容信息的同时,识别人脸图像对应的性别、种族、年龄和表情等其他属性信息的情况下,S403可以为:
手机根据第一图像中人脸图像对应的人脸亮度信息、人脸图像对应的妆容信息和人脸图像对应的性别、种族、年龄和表情等其他属性信息对人脸图像对应的人脸进行美肤处理。
在一些实施例中,如图9所示,本申请实施例的图像处理方法还可以包括:
S901、手机确定第一图像中包括的人脸图像数量。
示例性的,手机中的神经网络可以通过用大量的人脸和非人脸样本图像进行训练,得到一个解决2类分类问题的分类器,也称为人脸分类器模型。这个分类器可以接受固定大小的输入图片,判断这个输入图片是否为人脸。手机可以通过神经网络分析第一图像是否包含有与分类器中的人脸样本匹配度高的特征,来判断第一图像中是否包括人脸。如图10所示。神经网络每识别出一张人脸,分类器就可以输出一个结果“是”,通过分类器便可以确定第一图像中包括的人脸数量。
由于人脸可能出现在第一图像的任何位置,因此分类器在判断第一图像中是否包含人脸时,可以采用滑动窗口技术(slidingwindow)。具体的,可以用固定大小的窗口对第一图像从上到下、从左到右扫描,判断该窗口里的子图像是否为人脸。
又一示例性的,手机可以计算第一图像中采样的特征与预先设计的人脸模板中特征之间的匹配程度判断第一图像中是否包括人脸。进而确定第一图像中包括的人脸数量。
例如,手机可以将人脸模板图像与第一图像中的各个位置进行特征匹配,确定第一图像中是否有人脸。又例如,手机在采用滑动窗口技术将人脸模板图像与第一图像中的各个位置进行特征匹配的同时,估计人脸的角度,根据该角度对检测窗进行旋转,然后基于旋转后的检测窗进行判断,确定是否包含人脸。进而确定第一图像中包括的人脸数量。
或者,由于人脸具有一定的结构分布特征,因此手机可以通过分析第一图像中提取的结构分布特征判断其是否符合人脸结构分布特征,来判断第一图像中是否包括人脸。进而确定第一图像中包括的人脸数量。
又或者,由于人脸具有一定的灰度分布特征,因此手机可以通过分析第一图像的灰度分布规律,来判断第一图像中是否包括人脸。进而确定第一图像中包括的人脸数量。
或者,手机还可以采用其他方法确定第一图像中包括人脸,以及确定第一图像中包括的人脸数量。上述示例仅作为几种可能的实现方式的参考,本申请实施例对确定第一图像中包括人脸的具体方法不作限定。
需要说明的是,S901可以在S401和S402之前执行,也可以与S401和S402同时执行。本申请对此不作限定。如图9所示,若S901在S401和S402之前执行,S402则是分析手机检测到的每一张人脸图像对应的人脸的亮度信息和妆容信息。
在一些实施例中,若手机确定第一图像中至少包括两个人脸。如图11所示,在S403之前,本申请实施例的图像处理方法还可以包括:
S1101、手机确定第一图像中至少两个人脸图像对应的人物关系。
其中,第一图像中至少两个人脸图像对应的人物关系可以是朋友、同事、父子、夫妻、母子等。
示例性的,手机可以通过以下四种方式确定第一图像中至少两个人脸图像对应的人物关系:
方式(1):手机可以通过对手机图库,或者用户在社交类APP(如微信、QQ、微博等)中分享的照片中的人脸进行像素分割、特征分析以及计算特定点测量值。建立人脸模型训练集。
这样,在手机确定第一图像中至少两个人脸图像对应的人物关系时,可以先将第一图像中的每一张人脸进行像素分割和特征分析,分别找到与人脸模型训练集中人脸特征匹配度最高的人脸。然后根据训练集中对应人脸的信息确定第一图像中至少两个人脸图像对应的人物关系。
示例性的,第一图像如图12中的(a)所示,包括两张人脸图像:人脸图像1201和人脸图像1202。手机通过神经网络对第一图像进行分析,确定人脸图像1201与训练集中人物标签为“父亲”的人脸模型匹配度最高。以及确定人脸图像1202与训练集中人物标签为“我”的人脸模型匹配度最高。手机可以确定第一图像中两个人脸图像对应的人物关系是父子。
又一示例性的,第一图像如图13中的(a)所示,包括两张人脸图像:人脸图像1301和人脸图像1302。手机通过神经网络对第一图像进行分析,确定人脸图像1301与训练集中的人脸图像1匹配度最高,以及确定人脸图像1202与训练集中的人脸图像2匹配度最高。其中,人脸图像1与人图像2来源于用户朋友圈分享的婚纱照。或者,人脸图像1与人脸图像2来源于手机图库中相册名为“婚纱照”的相册中。因此,手机可以确定第一图像中两个人脸图像对应的人物关系是爱人。
方式(2):手机可以通过第一图像中每一个人物图像对应的标签,确定第一图像中至少两个人脸图像对应的人物关系。
其中,第一图像中每一个人物图像对应的标签用于指示对应人物的身份、姓名、职位等信息。该标签可以由用户添加。示例性的,用户可以在拍摄完合影后,手动在合影中每一个人脸图像对应的位置输入该人物的职位(如经理、组长)。手机可以根据该标签确定第一图像中,人物图像对应的人物关系。
方式(3):手机还可以对第一图像中至少两个人脸图像进行属性识别,获取每一张人脸图像对应的种族、性别、年龄等信息。和/或手机还可以分析第一图像中至少两个人脸图像对应的人物相对位置。根据上述信息确定第一图像中至少两个人脸图像对应的人物关系。
以图12中的(a)为例,手机通过对人脸图像1201和人脸图像1202进行属性识别。确定出以下信息:人脸图像1201和人脸图像1202对应的性别均为男性,人脸图像1201对应的年龄约为60岁,人脸图像1202对应的年龄约为40岁。手机可以推测第一图像中两个人脸图像对应的人物关系是父子。
再以图13中的(a)为例,手机通过对人脸图像1301和人脸图像1302进行属性识别。确定出以下信息:人脸图像1301对应的性别为女性,人脸1302对应的性别为男性,人脸图像1301和人脸图像1302对应的年龄均约为30岁。将进一步的,通过对人物图像位置的分析(如13中的(a)所示,人物站立位置较近,且牵手),手机可以推测第一图像中两个人脸图像对应的人物关系是爱人。
方式(4):手机还可以通过聚类算法从图库或者社交类APP中找到与第一图像中人脸图像相似的图片。再结合图片的信息(标签、分类等、微信朋友圈的文字描述等),和/或人脸属性识别结果,确定第一图像中两个人脸图像对应的人物关系。
需要说明的是,本申请实施例仅列举出以上几种可能的确定第一图像中两个人脸图像对应的人物关系的方法,事实上,还可以通过其他方法确定第一图像中两个人脸图像对应的人物关系,本申请实施例对具体的实现方法不作限定。
S1102、手机根据第一图像中至少两个人脸图像对应的人物关系,对第一图像进行风格调整。
其中,风格调整可以包括但不限于背景色彩的调整(如:暖色系、冷色系、粉色系)和/或背景风格(如:清冷风格、温馨风格、甜美风格)的调整。
示例性的,如图12中的(a)所示的第一图像,手机分析得到第一图像中两个人脸图像对应的人物关系是父子。在这种情况下,手机可以将第一图像的背景风格调整为温馨风格,将背景色彩调整为暖色系,如图12中的(b)所示。使得第一图像整体看起来更加温馨。
又一示例性的,如图13中的(a)所示的第一图像,手机分析得到第一图像中两个人脸图像对应的人物关系是爱人。在这种情况下,手机可以将第一图像的背景风格调整为甜美风格,将背景色彩调整为粉色系,如图13中的(b)所示。使得第一图像整体看起来更加甜蜜。
其中,S1102可以在S403之前进行,也可以在S403之后进行,还可以与S403同时进行,本申请对S1102和在S403的具体执行顺序不作限定。
若S1102在S403之前进行,在一些实施例中,如图14所示,S403可以替换为:
S1401、手机根据第一图像的拍摄背景信息、第一图像中人脸图像对应的人脸亮度信息、第一图像中人脸图像对应的妆容信息和调整后的第一图像的风格,对人脸图像进行美肤处理。
手机在对人脸图像进行美肤处理时,可以根据第一图像的风格进行美肤。示例性的,若第一图像的风格是暖色系的温馨风格,手机可以将人脸图像的色系也调整为暖色系,使得人脸图像与背景风格更加和谐,效果更佳。
若S1102在S403之后进行,在一些实施例中,如图15所示,S1102可以替换为:
S1501、手机基于美肤后的第一图像,根据至少两个人脸图像对应的人物关系,对第一图像进行风格调整。
在一些实施例中,如图16所示,在S401、S402和S1101之后,S403和S406(或者S1401和S1102,或者S403和S1102)还可以用以下步骤替换:
S1601、手机根据第一图像的拍摄背景信息、第一图像中人脸图像对应的人脸亮度信息、第一图像中人脸图像对应的妆容信息和至少两个人脸图像对应的人物关系对第一图像进行风格调整,以及对人脸图像进行美肤处理。
即,手机可以综合考虑第一图像的拍摄背景信息、第一图像中人脸图像对应的人脸亮度信息、第一图像中人脸图像对应的妆容信息以及人物之间的关系,调整第一图像的背景色彩、背景风格和人脸图像的风格,以及完成人脸图像的美肤处理。
可以理解的是,电子设备为了实现上述任一个实施例的功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以对电子端设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,以采用集成的方式划分各个功能模块的情况下,如图17所示,为本申请实施例提供的一种电子设备的结构示意图。该电子设备100可以包括信息获取单元1710、图像分析单元1720和图像处理单元1730。
其中,信息获取单元1710用于支持电子设备100获取第一图像,包括但不限于获取摄像头的预览图像,或者接收来自第三方的图片等,和/或用于本文所描述的技术的其他过程。图像分析单元1720用于支持电子设备100执行上述步骤S401、S402、S901和S1101,和/或用于本文所描述的技术的其他过程。图像处理单元1730用于支持电子设备100执行上述步骤S403、S1102、S1401、S1501和S1601,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
需要说明的是,上述信息获取单元1710可以包括射频电路。具体的,电子设备100可以通过射频电路进行无线信号的接收和发送。通常,射频电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频电路还可以通过无线通信和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。具体到本申请实施例中,电子设备100可以通过信息获取单元1710中的射频电路从第三方接收第一图像。
需要说明的是,本申请实施例提供的图像处理方法的执行主体还可以是一种图像处理装置,该图像处理装置可以是电子设备中用于执行上述图像处理方法的控制器或者处理器,该图像处理装置还可以是电子设备中的一个芯片,或者该图像处理装置也可以是一个独立的设备等,用于执行本申请实施例提供的图像处理方法。
其中,该图像处理装置也可以具有图17所示的结构,即该图像处理装置可以包括信息获取单元、图像分析单元和图像处理单元。
在一种可选的方式中,当使用软件实现数据传输时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地实现本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
结合本申请实施例所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于探测装置中。当然,处理器和存储介质也可以作为分立组件存在于探测装置中。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的用户设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
电子设备获取第一图像的拍摄背景信息;所述第一图像中包括人脸图像;
所述电子设备识别所述第一图像中所述人脸图像对应的人脸的亮度信息和妆容信息;
所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所述人脸图像对应的人脸进行美肤处理。
2.根据权利要求1所述的方法,其特征在于,所述电子设备识别所述第一图像中所述人脸图像对应的人脸的亮度信息,包括:
所述电子设备识别所述第一图像中的人脸区域;
所述电子设备根据所述人脸区域的每一个像素点的像素值,确定所述人脸区域的每一个像素点的亮度信息。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备识别所述第一图像中所述人脸图像对应的人脸的妆容信息的方法,包括:
所述电子设备采用分类网络对所述人脸区域的妆容进行分类,输出每一种妆容标签以及所述每一种妆容标签对应的概率;
其中,所述每一种妆容对应的概率分别用于表征所述人脸图像对应的人脸的妆容信息和每一种妆容标签的概率。
4.根据权利要求3所述的方法,其特征在于,所述分类网络至少为视觉几何组VGG、残差网络Resnet或者轻量化神经网络中的任一种。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一图像是所述电子设备的摄像头的预览图像。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述第一图像是所述电子设备已存储的图片;或者,所述第一图像是所述电子设备从其他设备获取的图片。
7.根据权利要求5所述的方法,其特征在于,所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所述人脸图像对应的人脸进行美肤处理,包括:
所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定拍摄参数;
所述电子设备响应于第一操作,使用所述拍摄参数拍摄所述预览图像对应的画面;
其中,所述第一操作用于指示拍照。
8.根据权利要求6所述的方法,其特征在于,所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所述人脸图像对应的人脸进行美肤处理,包括:
所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息确定美肤参数;
所述电子设备根据所述美肤参数对所述第一图像中人脸图像对应的人脸进行美肤处理。
9.根据权利要求8所述的方法,其特征在于,所述美肤参数包括:所述人脸区域每个像素点的亮度参数和妆容参数。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备确定所述第一图像中包括至少两个人脸图像数量;
所述电子设备确定所述至少两个人脸图像对应的人物关系;
所述电子设备根据所述至少两个人脸图像对应的人物关系,对所述第一图像进行风格调整;
其中,所述对所述第一图像进行风格调整包括对所述第一图像进行背景色彩调整和/或对所述第一图像进行背景风格调整。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备识别所述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种。
12.根据权利要求11所述的方法,其特征在于,所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所述人脸图像对应的人脸进行美肤处理,包括:
所述电子设备根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息,以及所述第一图像所述人脸图像对应的性别属性、种族属性、年龄属性和表情属性中的至少一种,对所述人脸图像对应的人脸进行美肤处理。
13.一种电子设备,其特征在于,所述电子设备包括:
信息获取单元,用于获取第一图像的拍摄背景信息;所述第一图像中包括人脸图像;
图像分析单元,用于识别所述第一图像中所述人脸图像对应的人脸的亮度信息和妆容信息;
图像处理单元,用于根据所述第一图像的拍摄背景信息、所述第一图像中人脸图像对应的人脸的亮度信息和妆容信息对所述人脸图像对应的人脸进行美肤处理。
14.根据权利要求13所述的电子设备,其特征在于,所述信息获取单元、所述图像分析单元和所述图像处理单元还用于,执行如权利要求2-12任一项所述的图像处理方法。
15.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储计算机程序代码,所述计算机程序代码包括指令;
射频电路,用于进行无线信号的发送和接收;
处理器,用于执行所述指令,使得所述电子设备执行如权利要求1-12任一项所述的图像处理方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机执行指令,所述计算机执行指令被执行时,以实现如权利要求1-12任一项所述的图像处理方法。
17.一种芯片系统,其特征在于,所述芯片系统包括:
存储介质,用于存储指令;
处理电路,用于执行所述指令,实现如权利要求1-12任一项所述的图像处理方法。
18.一种计算机程序产品,其特征在于,所述计算机程序产品包括程序指令,所述程序指令在计算机上运行时,以实现如权利要求1-12任一项所述的图像处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910819830.XA CN112446832A (zh) | 2019-08-31 | 2019-08-31 | 一种图像处理方法及电子设备 |
PCT/CN2020/109636 WO2021036853A1 (zh) | 2019-08-31 | 2020-08-17 | 一种图像处理方法及电子设备 |
EP20856883.2A EP4020374A4 (en) | 2019-08-31 | 2020-08-17 | IMAGE PROCESSING METHOD AND ELECTRONIC APPARATUS |
US17/680,946 US20220180485A1 (en) | 2019-08-31 | 2022-02-25 | Image Processing Method and Electronic Device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910819830.XA CN112446832A (zh) | 2019-08-31 | 2019-08-31 | 一种图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112446832A true CN112446832A (zh) | 2021-03-05 |
Family
ID=74685144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910819830.XA Pending CN112446832A (zh) | 2019-08-31 | 2019-08-31 | 一种图像处理方法及电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220180485A1 (zh) |
EP (1) | EP4020374A4 (zh) |
CN (1) | CN112446832A (zh) |
WO (1) | WO2021036853A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781330A (zh) * | 2021-08-23 | 2021-12-10 | 北京旷视科技有限公司 | 图像处理方法、装置及电子系统 |
CN114399622A (zh) * | 2022-03-23 | 2022-04-26 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
WO2023010796A1 (zh) * | 2021-08-03 | 2023-02-09 | 展讯通信(上海)有限公司 | 图像处理方法及相关装置 |
CN116703692A (zh) * | 2022-12-30 | 2023-09-05 | 荣耀终端有限公司 | 一种拍摄性能优化方法和装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021144574A (ja) * | 2020-03-13 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
WO2022054124A1 (ja) * | 2020-09-08 | 2022-03-17 | 楽天グループ株式会社 | 画像判定装置、画像判定方法及びプログラム |
CN113763284A (zh) * | 2021-09-27 | 2021-12-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN115294126B (zh) * | 2022-10-08 | 2022-12-16 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
US11837019B1 (en) * | 2023-09-26 | 2023-12-05 | Dauntless Labs, Llc | Evaluating face recognition algorithms in view of image classification features affected by smart makeup |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7324668B2 (en) * | 2001-10-01 | 2008-01-29 | L'oreal S.A. | Feature extraction in beauty analysis |
US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
JP2007235369A (ja) * | 2006-02-28 | 2007-09-13 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
JP5547730B2 (ja) * | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
US10553006B2 (en) * | 2014-09-30 | 2020-02-04 | Tcms Transparent Beauty, Llc | Precise application of cosmetic looks from over a network environment |
CN105530434A (zh) * | 2016-02-01 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种拍摄方法及终端 |
CN107093168A (zh) * | 2017-03-10 | 2017-08-25 | 厦门美图之家科技有限公司 | 皮肤区域图像的处理方法、装置和系统 |
CN108229279B (zh) * | 2017-04-14 | 2020-06-02 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
JP6677221B2 (ja) * | 2017-06-06 | 2020-04-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN107545536A (zh) * | 2017-08-17 | 2018-01-05 | 上海展扬通信技术有限公司 | 一种智能终端的图像处理方法及图像处理系统 |
CN107862658B (zh) * | 2017-10-31 | 2020-09-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN108447026A (zh) * | 2018-01-31 | 2018-08-24 | 上海思愚智能科技有限公司 | 美颜参数特征值的获取方法、终端及计算机可读存储介质 |
CN108665408A (zh) * | 2018-05-21 | 2018-10-16 | 北京微播视界科技有限公司 | 肤色调整方法、装置和电子设备 |
CN108765352B (zh) * | 2018-06-01 | 2021-07-16 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
CN109255763A (zh) * | 2018-08-28 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2019
- 2019-08-31 CN CN201910819830.XA patent/CN112446832A/zh active Pending
-
2020
- 2020-08-17 EP EP20856883.2A patent/EP4020374A4/en active Pending
- 2020-08-17 WO PCT/CN2020/109636 patent/WO2021036853A1/zh unknown
-
2022
- 2022-02-25 US US17/680,946 patent/US20220180485A1/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023010796A1 (zh) * | 2021-08-03 | 2023-02-09 | 展讯通信(上海)有限公司 | 图像处理方法及相关装置 |
CN113781330A (zh) * | 2021-08-23 | 2021-12-10 | 北京旷视科技有限公司 | 图像处理方法、装置及电子系统 |
CN114399622A (zh) * | 2022-03-23 | 2022-04-26 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
CN116703692A (zh) * | 2022-12-30 | 2023-09-05 | 荣耀终端有限公司 | 一种拍摄性能优化方法和装置 |
CN116703692B (zh) * | 2022-12-30 | 2024-06-07 | 荣耀终端有限公司 | 一种拍摄性能优化方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220180485A1 (en) | 2022-06-09 |
EP4020374A4 (en) | 2022-10-12 |
WO2021036853A1 (zh) | 2021-03-04 |
EP4020374A1 (en) | 2022-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021036853A1 (zh) | 一种图像处理方法及电子设备 | |
CN112215802B (zh) | 一种皮肤检测方法和电子设备 | |
CN109101873A (zh) | 用于提供针对兴趣对象的外部光源的特性信息的电子设备 | |
CN111625670A (zh) | 一种图片分组方法及设备 | |
CN111566693B (zh) | 一种皱纹检测方法及电子设备 | |
CN110851067A (zh) | 屏幕显示模式的切换方法、装置及电子设备 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN112840635A (zh) | 智能拍照方法、系统及相关装置 | |
CN112233064A (zh) | 一种色素检测方法及电子设备 | |
CN114242037A (zh) | 一种虚拟人物生成方法及其装置 | |
CN111147667A (zh) | 一种熄屏控制方法及电子设备 | |
CN113572956A (zh) | 一种对焦的方法及相关设备 | |
WO2022022319A1 (zh) | 一种图像处理方法、电子设备、图像处理系统及芯片系统 | |
CN114241347A (zh) | 皮肤敏感度的显示方法、装置、电子设备及可读存储介质 | |
CN110110742B (zh) | 多特征融合方法、装置、电子设备及存储介质 | |
CN111417982B (zh) | 一种色斑检测方法及电子设备 | |
CN113536834A (zh) | 眼袋检测方法以及装置 | |
WO2022214004A1 (zh) | 一种目标用户确定方法、电子设备和计算机可读存储介质 | |
WO2021233259A1 (zh) | 一种评估女性情绪的方法及相关装置、设备 | |
WO2021052436A1 (zh) | 一种皮肤粗糙度检测方法及电子设备 | |
CN111557007B (zh) | 一种检测眼睛睁闭状态的方法及电子设备 | |
CN113472996B (zh) | 图片传输方法及装置 | |
CN111542856B (zh) | 一种皮肤检测方法和电子设备 | |
WO2021238338A1 (zh) | 语音合成方法及装置 | |
CN117523077A (zh) | 一种虚拟形象生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |