CN108932505A - 一种图像处理方法和电子设备 - Google Patents
一种图像处理方法和电子设备 Download PDFInfo
- Publication number
- CN108932505A CN108932505A CN201810827672.8A CN201810827672A CN108932505A CN 108932505 A CN108932505 A CN 108932505A CN 201810827672 A CN201810827672 A CN 201810827672A CN 108932505 A CN108932505 A CN 108932505A
- Authority
- CN
- China
- Prior art keywords
- original image
- image
- confidence level
- human face
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 27
- 238000012549 training Methods 0.000 description 30
- 239000000284 extract Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006854 communication Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法和电子设备,该方法包括:获取原始图像以及与所述原始图像对应的深度图像;在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。本发明实施例能够降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种图像处理方法和电子设备。
背景技术
随着通信技术的快速发展,电子设备得到前所未有的普及,电子设备已经成为人们生活中不可或缺的一部分。人们经常通过电子设备的拍摄来记录生活中的点点滴滴和精彩瞬间。使用电子设备拍摄出来的很多图像均包含人脸,而人脸检测是电子设备进行美颜、人脸识别等功能的基础,因此人脸检测已经成为电子设备的基础功能。
然而,对于非正常光照条件下拍摄出的图像,由于图像的清晰度较低,常规的人脸检测方法的误检率较高。
发明内容
本发明涉及一种图像处理方法和电子设备,以解决现有方法对电子设备拍摄出的大逆光场景图像进行人脸检测时误检率较高的问题。
为了解决上述技术问题,本发明是这样实现的:一种图像处理方法,应用于电子设备,包括:
获取原始图像以及与所述原始图像对应的深度图像;
在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取原始图像以及与所述原始图像对应的深度图像;
在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
第二方面,本发明实施例还提供了一种电子设备,包括:
获取模块,用于获取原始图像以及与所述原始图像对应的深度图像;;
亮度控制模块,用于在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
第一人脸检测模块,用于根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
第三方面,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的所述的图像处理方法中的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的图像处理方法中的步骤。
本发明实施例,获取原始图像以及与所述原始图像对应的深度图像;在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果,从而降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
附图说明
图1表示本发明实施例提供的一种图像处理方法的流程图;
图2表示本发明实施例提供的另一种图像处理方法的流程图;
图3表示本发明实施例提供的大逆光场景分类网络结构图;
图4表示本发明实施例提供的另一种图像处理方法的流程图;
图5表示本发明实施例提供的一种人脸置信网络结构图;
图6表示本发明实施例提供的一种人脸置信图像;
图7表示本发明实施例提供的人脸检测网络结构图;
图8表示本发明实施例提供的一种电子设备的结构图;
图9表示本发明实施例提供的另一种电子设备的结构图;
图10表示本发明实施例提供的另一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种图像处理方法的流程图,该方法应用于电子设备,如图1所示,包括以下步骤:
步骤101,获取原始图像以及与所述原始图像对应的深度图像;
其中,获取原始图像以及与所述原始图像对应的深度图像包括:使用电子设备的摄像头拍摄至少一张原始图像,使用集成在电子设备中的深度摄像头拍摄至少一张与所述原始图像对应的深度图像。需要说明的是,所述原始图像和所述深度图像可以同步获取,也可以异步获取,本发明实施例对此不作具体限定。
所述深度摄像头可以是TOF(Time-of-flight)飞行时间摄像头、结构光摄像头等。以TOF飞行时间摄像头为例,TOF飞行时间摄像头在拍摄时利用主动的红外发射光作为光源进行拍摄,产生的深度图信息不依赖于环境光的配置,因此使用TOF飞行时间摄像头拍摄的深度图像可以用于逆光场景下的人脸检测。上述TOF飞行时间摄像头仅是示例性说明,本发明实施例对此不作限定。
步骤102,在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮。
其中,可以使用神经网络、Adaboost方法等对所述深度图像进行检测,确定所述深度图像中是否存在人脸区域,进而确定了所述原始图像中是否存在人脸区域。在所述深度图像中存在人脸区域时,根据深度图像的人脸区域对所述原始图像进行提亮。
步骤103,根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
其中,所述人脸检测的方法可以是神经网络方法、基于SVM的人脸检测方法、Adaboost方法等。
通过上述的步骤可以利用深度图像以及提亮后的原始图像进行人脸检测,相比现有技术仅使用相应的算法提高画面亮度进行人脸检测,本发明实施例利用深度图像以及提亮后的原始图像进行人脸检测可以降低误检率。
另外,上述电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant,简称PDA)、移动上网装置(Mobile Internet Device,MID)、可穿戴式设备(Wearable Device)、计算机或笔记本电脑等。
本发明实施例,获取原始图像以及与所述原始图像对应的深度图像;在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。本发明实施例能够降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
请参见图2,图2是本发明实施例提供的另一种图像处理方法的流程图,该方法应用于电子设备,如图2所示,包括以下步骤:
步骤201,获取原始图像以及与所述原始图像对应的深度图像。
本实施例中步骤201与本发明第一实施例中的步骤101相同,在此不做赘述。
步骤202,在根据所述深度图像确定所述原始图像中存在人脸区域时,若所述原始图像的场景为大逆光场景,对所述原始图像进行提亮。
需要说明的是,所述大逆光场景是指拍摄原始图像时拍摄环境中的主光源亮度与拍摄的环境光亮度之比大于一预设值,此时拍摄的图像中目标物与背景亮度反差较大,即背景亮度很大,而目标物亮度很小。
可选的,判断所述原始图像的场景是否为大逆光场景,包括:如图3所示,获取所述原始图像的亮度(luminance)、对比度(contrast)以及饱和度(saturation);使用第一特征提取网络对所述原始图像、所述亮度、所述对比度以及所述饱和度进行处理,获得所述原始图像的第一置信度;若所述第一置信度大于第一预设阈值,则所述原始图像为逆光图像。
所述第一特征提取网络可以是AlexNet,Vgg,Resnet,SqueezeNet,MobileNet等神经网络。
所述第一特征提取网络可以由这种方式获得:以VGG为例,建立VGG网络,采用训练样本集对所述VGG网络进行训练,得到用于判断原始图像是否为逆光图像的所述VGG网络。
所述训练样本集包括第一训练样本子集和第二训练样本子集,所述第一训练样本子集可以是包含所述原始图像的亮度、对比度以及饱和度的数据集,第二训练样本子集包括经过人工标注是否为逆光图像的原始图像集。使用VGG网络作为训练模型,将第一训练样本子集和第二训练样本子集输入至VGG网络,VGG网络提取原始图像的亮度、对比度、饱和度进行训练,得到原始图像的亮度、对比度、饱和度与逆光图像之间的映射关系,即完成VGG网络的训练。
本发明实施例以VGG网络为例,其它的神经网络也适用本发明实施例,本发明实施例对此不作具体限定。
所述第一特征提取网络可以由上述方式获得,也可以直接由云端或者服务器获得,本发明实施例对此不作具体限定。
在根据所述深度图像确定所述原始图像中存在人脸区域时,若所述原始图像的场景为大逆光场景,根据深度图像的人脸区域对所述原始图像进行提亮。
步骤203,根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
本实施例中步骤203与本发明第一实施例中的步骤103相同,在此不做赘述。
本发明实施例,通过对在根据所述深度图像确定所述原始图像中存在人脸区域时,若所述原始图像的场景为大逆光场景,对所述原始图像进行提亮;根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。本发明实施例能够进一步降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
请参见图4,图4是本发明实施例提供的另一种图像处理方法的流程图,该方法应用于电子设备,如图4所示,包括以下步骤:
步骤301,获取原始图像以及与所述原始图像对应的深度图像。
本实施例中步骤301与本发明第一实施例中的步骤101相同,在此不做赘述。
步骤302,根据所述深度图像,获取所述人脸区域的置信度图。
其中,通过第三特征提取网络提取所述深度图像的人脸置信图。具体的,如图5所示,将步骤301中获取的深度图像输入至的训练好的第三特征提取网络,输出所述深度图像对应的置信度,将置信度区间[0,1]映射到灰度值区间[0,255],即生成如图6所示的人脸置信图。其中如图6所示的人脸置信图中灰度值越小的像素,其对应的置信度越小;灰度值越大的像素,其对应的置信度越大。例如,灰度值为0的像素,所述像素对应的置信度为零;灰度值为255的像素,所述像素对应的置信度为1。
所述第三特征提取网络可以是AlexNet,Vgg,Resnet,SqueezeNet,MobileNet等神经网络。所述第三特征提取网络可以由这种方式获得:以VGG为例,建立VGG网络,采用训练样本集对所述VGG网络进行训练,得到用于提取所述深度图像的人脸置信图像的所述VGG网络。
所述训练样本集包括第一训练样本子集和第二训练样本子集,所述第一训练样本子集可以是包含人脸的深度图像集,第二训练样本子集包括经过人工标注人脸位置的深度图像集。使用VGG网络作为训练模型,将第一训练样本子集和第二训练样本子集输入至VGG网络,VGG网络提取深度图像的深度信息进行训练,得到包含人脸的深度图像与人工标注人脸位置的图像之间的映射关系,即完成VGG网络的训练。
本发明实施例以VGG网络为例,其它的神经网络也适用本发明实施例,本发明实施例对此不作具体限定。
所述第三特征提取网络可以由上述方式获得,也可以直接由云端或者服务器获得,本发明实施例对此不作具体限定。
步骤303,根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域,对所述原始图像进行提亮。
其中,根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域可以包括:根据如图6所示的人脸置信图,判断人脸置信图中是否存在灰度值大于一阈值的区域,即对应图6中的灰白区域,若存在,则深度图像中存在人脸区域,则对应的原始图像中存在人脸区域。
可选的,所述在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮,包括:计算所述人脸置信图中高置信度像素的亮度均值,根据所述亮度均值提高所述原始图像的亮度,使得所述亮度均值与所述原始图像的亮度相匹配;其中所述高置信度像素是所述人脸置信图中置信度大于第二预设阈值的像素。
可选的,所述根据所述人脸置信图的亮度,提高所述原始图像的亮度还可以包括:计算所述人脸置信图的亮度,根据所述亮度提高所述原始图像的亮度,使得所述亮度与所述原始图像的亮度相匹配。
如图6所示的人脸置信图中,高置信像素即为人脸区域对应的灰白色区域的像素。所述第二预设阈值可以根据实际情况进行设置,确保能够区分如图4所示的人脸置信图中人脸区域与非人脸区域即可,本发明实施例对此不作具体限定。
所述计算所述人脸置信图中高置信度像素的亮度均值的方式为:
其中i,j为图6所示的人脸置信图中高置信像素的遍历,W为图6所示的人脸置信图中高置信像素的置信权重,P为所述高置信像素的灰度值。
根据公式(1)计算的亮度均值,提高所述原始图像的整体亮度,使得所述亮度均值与所述原始图像的整体亮度相匹配,从而降低人脸检测时的误检率。所述提亮原始图像整体亮度的方式有多种,本发明实施例示例性的说明其中三种:
方式一
在步骤301中获取原始图像时,通过控制快门速度获取多帧不同曝光时间的图像,根据计算出的所述人脸置信图中高置信度像素的亮度均值,从获取的多帧不同曝光时间的图像中挑选出亮度与所述亮度均值最接近一帧图像作为原始图像,进而提高了原始图像的整体亮度。
方式二
在步骤301中获取第一帧图像时,根据计算出的所述人脸置信图中高置信度像素的亮度均值与第一帧原始图像的差值,确定需要调整的拍摄参数大小,所述拍摄参数包括ISO、快门速度、曝光时间等。根据调整后的参数拍摄第二帧图像,将第二帧图像作为原始图像,进而提高了原始图像的亮度。
方式三
在步骤301中获取原始图像时,根据计算出的所述人脸置信图中高置信度像素的亮度均值,使用Adobe公司的Gamma变换软件直接将获取的原始图像的亮度提高至所述亮度均值。
步骤304,根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。
可选的,所述根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测包括:使用第二特征提取网络对所述人脸置信图与提高亮度后的所述原始图像进行人脸检测,获得人脸框位置以及相应的第二置信度。
如图7中所示的所述第二特征提取网络可以是AlexNet,Vgg,Resnet,SqueezeNet,MobileNet等神经网络。
所述第二特征提取网络可以由这种方式获得:以VGG为例,建立VGG网络,采用训练样本集对所述VGG网络进行训练,得到用于人脸检测的所述VGG网络。
所述训练样本集包括第一训练样本子集和第二训练样本子集,所述第一训练样本子集可以是包含原始图像集,第二训练样本子集包括人脸置信度图像集。使用VGG网络作为训练模型,将第一训练样本子集和第二训练样本子集输入至VGG网络,VGG网络提取原始图像的人脸特征信息进行训练,得到原始图像与人脸置信度图像之间的映射关系,即完成VGG网络的训练。
本发明实施例以VGG网络为例,其它的神经网络也适用本发明实施例,本发明实施例对此不作具体限定。
所述第二特征提取网络可以由上述方式获得,也可以直接由云端或者服务器获得,本发明实施例对此不作具体限定。
本发明实施例,通过使用第二特征提取网络对所述人脸置信图像与提高亮度后的所述原始图像进行人脸检测,降低了对电子设备拍摄出的逆光图像进行人脸检测时的误检率。
可选的,若所述原始图像为非大逆光场景,则根据所述人脸区域的置信度图以及所述原始图像进行人脸检测,获得第二人脸检测结果。
其中,所述人脸检测方法可以是神经网络方法、基于SVM的人脸检测方法、Adaboost方法等。
本发明实施例对于非大逆光场景图像,采用人脸置信图和原始图像进行人脸检测,相比现有技术仅采用原始图像进行人脸检测,本发明实施例采用人脸置信图和原始图像进行人脸检测可以降低误检率。
本发明实施例,根据所述深度图像获取所述人脸区域的置信度图,根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域,对所述原始图像进行提亮,根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。本发明实施例能够进一步降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
请参见图8,图8是本发明实施例提供的一种电子设备的结构图,如图8所示,所述电子设备400包括:
获取模块401,用于获取原始图像以及与所述原始图像对应的深度图像;
亮度控制模块402,用于在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
第一人脸检测模块403,用于根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
可选的,所述亮度控制模块402还用于若所述原始图像的场景为大逆光场景,对所述原始图像进行提亮。
可选的,所述亮度控制模块402还用于根据所述深度图像,获取人脸区域的置信度图;根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域。
可选的,所述第一人脸检测模块403还用于根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。
如图9所示,电子设备400还包括:
第二人脸检测模块404,用于若所述原始图像为非大逆光场景,则根据所述人脸区域的置信度图以及所述原始图像进行人脸检测,获得第二人脸检测结果。
可选的,所述亮度控制模块402还用于获取所述原始图像的亮度、对比度以及饱和度;使用第二特征提取网络对所述原始图像、所述亮度、所述对比度以及所述饱和度进行处理,获得所述原始图像的第一置信度;若所述第一置信度大于第一预设阈值,则所述原始图像的场景为大逆光场景。
可选的,所述亮度控制模块402还用于计算所述人脸置信图中高置信度像素的亮度均值,根据所述亮度均值提高所述原始图像的亮度,使得所述亮度均值与所述原始图像的亮度相匹配;其中所述高置信度像素是所述人脸置信图中置信度大于第二预设阈值的像素。
可选的,所述第一人脸检测模块403还用于使用第二特征提取网络对所述人脸置信图与提亮后的所述原始图像进行人脸检测,获得人脸框位置以及相应的第二置信度。
本发明实施例提供的电子设备能够实现图1至图7的方法实施例中电子设备实现的各个过程,为避免重复,这里不再赘述。且能够降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
图10为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、以及电源1011等部件。本领域技术人员可以理解,图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、计步器、计算机以及笔记本电脑等。
其中,处理器1010,用于获取原始图像以及与所述原始图像对应的深度图像;
在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
可选的,处理器1010执行根据所述深度图像,获取所述人脸区域的置信度图;
根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域。
可选的,处理器1010执行根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。
可选的,处理器1010执行若所述原始图像为非大逆光场景,则根据所述人脸区域的置信度图以及所述原始图像进行人脸检测,获得第二人脸检测结果。
可选的,处理器1010执行获取所述原始图像的亮度、对比度以及饱和度;
使用第一特征提取网络对所述原始图像、所述亮度、所述对比度以及所述饱和度进行处理,获得所述原始图像的第一置信度;
若所述第一置信度大于第一预设阈值,则所述原始图像的场景为大逆光场景。
可选的,处理器1010执行计算所述人脸置信图中高置信度像素的亮度均值,根据所述亮度均值提高所述原始图像的亮度,使得所述亮度均值与所述原始图像的亮度相匹配;其中所述高置信度像素是所述人脸置信图中置信度大于第二预设阈值的像素。
可选的,处理器1010执行使用第二特征提取网络对所述人脸置信图与提高亮度后的所述原始图像进行人脸检测,获得人脸框位置以及相应的第二置信度。
电子设备1000能够降低对电子设备拍摄出的大逆光场景图像进行人脸检测时的误检率。
应理解的是,本发明实施例中,射频单元1001可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1010处理;另外,将上行的数据发送给基站。通常,射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元1001还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块1002为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1103还可以提供与电子设备1100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。
输入单元1004用于接收音频或视频信号。输入单元1104可以包括图形处理器(Graphics Processing Unit,GPU)9041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1109(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。
电子设备1000还包括至少一种传感器1005,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度,接近传感器可在电子设备1000移动到耳边时,关闭显示面板10061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。
用户输入单元1007可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1010,接收处理器1010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071,用户输入单元1007还可以包括其他输入设备10072。具体地,其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板10071可覆盖在显示面板10061上,当触控面板10071检测到在其上或附近的触摸操作后,传送给处理器1010以确定触摸事件的类型,随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图10中,触控面板10071与显示面板10061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板10071与显示面板10061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元1008为外部装置与电子设备1000连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备1000内的一个或多个元件或者可以用于在电子设备1000和外部装置之间传输数据。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1009可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1010是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器1009内的软件程序和/或模块,以及调用存储在存储器1009内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器1010可包括一个或多个处理单元;优选的,处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
电子设备1000还可以包括给各个部件供电的电源1011(比如电池),优选的,电源1011可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备1000包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器1010,存储器1009,存储在存储器1009上并可在所述处理器1010上运行的计算机程序,该计算机程序被处理器1010执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (14)
1.一种图像处理方法,应用于电子设备,其特征在于,包括:
获取原始图像以及与所述原始图像对应的深度图像;
在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
2.如权利要求1所述的图像处理方法,其特征在于,所述对所述原始图像进行提亮,包括:
若所述原始图像的场景为大逆光场景,对所述原始图像进行提亮。
3.如权利要求2所述的图像处理方法,其特征在于,所述根据所述深度图像确定所述原始图像中存在人脸区域,包括:
根据所述深度图像,获取所述人脸区域的置信度图;
根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域;
所述根据所述深度图像以及提亮后的所述原始图像进行人脸检测,包括:
根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。
4.如权利要求3所述的图像处理方法,其特征在于,若所述原始图像为非大逆光场景,则根据所述人脸区域的置信度图以及所述原始图像进行人脸检测,获得第二人脸检测结果。
5.如权利要求2所述的图像处理方法,其特征在于,所述原始图像的场景为大逆光场景包括:
获取所述原始图像的亮度、对比度以及饱和度;
使用第一特征提取网络对所述原始图像、所述亮度、所述对比度以及所述饱和度进行处理,获得所述原始图像的第一置信度;
若所述第一置信度大于第一预设阈值,则所述原始图像的场景为大逆光场景。
6.如权利要求3所述的图像处理方法,其特征在于,所述在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮包括:
计算所述人脸区域的置信度图中高置信度像素的亮度均值,根据所述亮度均值提高所述原始图像的亮度,使得所述亮度均值与所述原始图像的亮度相匹配;
其中所述高置信度像素是所述人脸区域的置信度图中置信度大于第二预设阈值的像素。
7.如权利要求3所述的图像处理方法,其特征在于,所述根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测包括:
使用第二特征提取网络对所述人脸区域的置信度图与提亮后的所述原始图像进行人脸检测,获得人脸框位置以及相应的第二置信度。
8.一种电子设备,其特征在于,包括:
获取模块,用于获取原始图像以及与所述原始图像对应的深度图像;
亮度控制模块,用于在根据所述深度图像确定所述原始图像中存在人脸区域时,对所述原始图像进行提亮;
第一人脸检测模块,用于根据所述深度图像以及提亮后的所述原始图像进行人脸检测,获得第一人脸检测结果。
9.如权利要求8所述的电子设备,其特征在于,所述亮度控制模块还用于若所述原始图像的场景为大逆光场景,对所述原始图像进行提亮。
10.如权利要求9所述的电子设备,其特征在于,所述亮度控制模块还用于根据所述深度图像,获取人脸区域的置信度图;根据所述人脸区域的置信度图,确定所述原始图像中存在所述人脸区域;
所述第一人脸检测模块还用于根据所述人脸区域的置信度图以及提亮后的所述原始图像进行人脸检测。
11.如权利要求10所述的电子设备,其特征在于,所述电子设备还包括:
第二人脸检测模块,用于若所述原始图像为非大逆光场景,则根据所述人脸区域的置信度图以及所述原始图像进行人脸检测,获得第二人脸检测结果。
12.如权利要求9所述的电子设备,其特征在于,所述亮度控制模块还用于获取所述原始图像的亮度、对比度以及饱和度;使用第二特征提取网络对所述原始图像、所述亮度、所述对比度以及所述饱和度进行处理,获得所述原始图像的第一置信度;若所述第一置信度大于第一预设阈值,则所述原始图像的场景为大逆光场景。
13.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的图像处理方法中的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810827672.8A CN108932505B (zh) | 2018-07-25 | 2018-07-25 | 一种图像处理方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810827672.8A CN108932505B (zh) | 2018-07-25 | 2018-07-25 | 一种图像处理方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108932505A true CN108932505A (zh) | 2018-12-04 |
CN108932505B CN108932505B (zh) | 2024-08-09 |
Family
ID=64444718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810827672.8A Active CN108932505B (zh) | 2018-07-25 | 2018-07-25 | 一种图像处理方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108932505B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
CN112507804A (zh) * | 2020-11-17 | 2021-03-16 | 南京航空航天大学 | 一种基于手部图像的身份识别方法 |
CN114450936A (zh) * | 2019-11-07 | 2022-05-06 | 华为技术有限公司 | 一种图像数据处理方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514429A (zh) * | 2012-06-21 | 2014-01-15 | 夏普株式会社 | 检测对象的特定部位的方法及图像处理设备 |
KR20170080116A (ko) * | 2015-12-31 | 2017-07-10 | 동의대학교 산학협력단 | 깊이정보를 이용한 안면인식시스템 |
CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
CN107844744A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技(深圳)有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
CN108289170A (zh) * | 2018-01-12 | 2018-07-17 | 深圳奥比中光科技有限公司 | 能够检测计量区域的拍照装置及方法 |
CN108319940A (zh) * | 2018-04-12 | 2018-07-24 | Oppo广东移动通信有限公司 | 人脸识别处理方法、装置、设备及存储介质 |
-
2018
- 2018-07-25 CN CN201810827672.8A patent/CN108932505B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514429A (zh) * | 2012-06-21 | 2014-01-15 | 夏普株式会社 | 检测对象的特定部位的方法及图像处理设备 |
KR20170080116A (ko) * | 2015-12-31 | 2017-07-10 | 동의대학교 산학협력단 | 깊이정보를 이용한 안면인식시스템 |
CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
CN107844744A (zh) * | 2017-10-09 | 2018-03-27 | 平安科技(深圳)有限公司 | 结合深度信息的人脸识别方法、装置及存储介质 |
CN108289170A (zh) * | 2018-01-12 | 2018-07-17 | 深圳奥比中光科技有限公司 | 能够检测计量区域的拍照装置及方法 |
CN108319940A (zh) * | 2018-04-12 | 2018-07-24 | Oppo广东移动通信有限公司 | 人脸识别处理方法、装置、设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
CN110378837B (zh) * | 2019-05-16 | 2023-10-20 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
CN114450936A (zh) * | 2019-11-07 | 2022-05-06 | 华为技术有限公司 | 一种图像数据处理方法和装置 |
CN114450936B (zh) * | 2019-11-07 | 2023-07-21 | 华为技术有限公司 | 一种图像数据处理方法和装置 |
CN112507804A (zh) * | 2020-11-17 | 2021-03-16 | 南京航空航天大学 | 一种基于手部图像的身份识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108932505B (zh) | 2024-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151180A (zh) | 一种对象识别方法及移动终端 | |
CN109743498A (zh) | 一种拍摄参数调整方法及终端设备 | |
CN108989678A (zh) | 一种图像处理方法、移动终端 | |
CN109445894A (zh) | 一种截图方法及电子设备 | |
CN109381165A (zh) | 一种皮肤检测方法及移动终端 | |
CN108989672A (zh) | 一种拍摄方法及移动终端 | |
CN110505403A (zh) | 一种录像处理方法及装置 | |
CN109005336A (zh) | 一种图像拍摄方法及终端设备 | |
CN108919883A (zh) | 一种摄像头保护方法及移动终端 | |
CN107864336B (zh) | 一种图像处理方法、移动终端 | |
CN108920119A (zh) | 一种分享方法及移动终端 | |
CN107566749A (zh) | 拍摄方法及移动终端 | |
CN109544486A (zh) | 一种图像处理方法及终端设备 | |
CN110213485A (zh) | 一种图像处理方法及终端 | |
CN108462826A (zh) | 一种辅助拍照的方法及移动终端 | |
CN108307110A (zh) | 一种图像虚化方法及移动终端 | |
CN109743503A (zh) | 提示方法和终端 | |
CN108932505A (zh) | 一种图像处理方法和电子设备 | |
CN108123999A (zh) | 一种消息推送方法及移动终端 | |
CN109618218A (zh) | 一种视频处理方法及移动终端 | |
CN108174081B (zh) | 一种拍摄方法及移动终端 | |
CN110096203A (zh) | 一种截图方法及移动终端 | |
CN109544445A (zh) | 一种图像处理方法、装置及移动终端 | |
CN109448069A (zh) | 一种模板生成方法及移动终端 | |
CN109104578A (zh) | 一种图像处理方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |