CN113627314A - 人脸图像模糊检测方法、装置、存储介质与电子设备 - Google Patents
人脸图像模糊检测方法、装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN113627314A CN113627314A CN202110898045.5A CN202110898045A CN113627314A CN 113627314 A CN113627314 A CN 113627314A CN 202110898045 A CN202110898045 A CN 202110898045A CN 113627314 A CN113627314 A CN 113627314A
- Authority
- CN
- China
- Prior art keywords
- image
- fuzzy
- face
- processed
- blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 166
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 35
- 210000004709 eyebrow Anatomy 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 101100517192 Arabidopsis thaliana NRPD1 gene Proteins 0.000 description 1
- 101150094905 SMD2 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种人脸图像模糊检测方法、人脸图像模糊检测装置、计算机可读存储介质与电子设备,涉及图像处理技术领域。所述人脸图像模糊检测方法包括:获取待处理人脸图像;从所述待处理人脸图像中提取纹理图像;根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息。本公开提高了人脸图像模糊检测的准确度。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种人脸图像模糊检测方法、人脸图像模糊检测装置、计算机可读存储介质与电子设备。
背景技术
人脸图像在人们日常拍照、人脸识别、监控安防等场景中的应用非常普遍。为了提高人脸识别的精度与人脸图像质量,需要保证人脸清晰,而实际情况中,人脸运动或摄像头虚焦等因素都会导致人脸图像模糊。
图像模糊检测是指检测图像中目标区域的模糊程度,能够为图像去模糊处理提供非常重要的参考信息。因此,对人脸图像进行准确地模糊检测,是后续实现有效去模糊处理的前提。然而相关技术对人脸图像进行模糊检测的准确度普遍不高,影响了人脸图像的去模糊处理效果。
发明内容
本公开提供了一种人脸图像模糊检测方法、人脸图像模糊检测装置、计算机可读存储介质与电子设备,进而至少在一定程度上提高人脸图像模糊检测的准确度。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种人脸图像模糊检测方法,包括:获取待处理人脸图像;从所述待处理人脸图像中提取纹理图像;根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息。
根据本公开的第二方面,提供一种人脸图像模糊检测装置,包括:图像获取模块,被配置为获取待处理人脸图像;纹理图像提取模块,被配置为从所述待处理人脸图像中提取纹理图像;模糊程度信息确定模块,被配置为根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息。
根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的人脸图像模糊检测方法及其可能的实现方式。
根据本公开的第四方面,提供一种电子设备,包括:处理器;存储器,用于存储所述处理器的可执行指令。其中,所述处理器配置为经由执行所述可执行指令,来执行上述第一方面的人脸图像模糊检测方法及其可能的实现方式。
本公开的技术方案具有以下有益效果:
一方面,从待处理人脸图像中提取纹理图像,由于纹理图像在人脸模糊与人脸不模糊时存在显著差异,能够为图像模糊检测提供更为丰富的信息,结合纹理图像与待处理人脸图像确定模糊程度信息,有利于提高图像模糊检测的准确度。另一方面,本方案处理流程简单,计算量不高,且不需要引入外部信息(如硬件方面的信息等),因此实现成本较低,特别适合于部署在移动终端等轻量化场景中。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种系统架构的示意图;
图2示出本示例性实施方式中一种电子设备的结构图;
图3示出本示例性实施方式中一种人脸图像模糊检测方法的流程图;
图4示出本示例性实施方式中获取待处理人脸图像的流程图;
图5示出本示例性实施方式中提取待处理人脸图像的示意图;
图6示出本示例性实施方式中提取纹理图像的示意图;
图7示出本示例性实施方式中通过第一模糊检测网络进行模糊检测的示意图;
图8示出本示例性实施方式中训练第一模糊检测网络的流程图;
图9示出本示例性实施方式中获取模糊核以及确定模糊程度值的流程图;
图10示出本示例性实施方式中模糊核的可视化效果图;
图11示出本示例性实施方式中计算模糊程度值的示意图;
图12示出本示例性实施方式中准备训练数据的示意图;
图13示出本示例性实施方式中一种确定模糊程度信息的流程图;
图14示出本示例性实施方式中通过第二、第三、第四模糊检测网络进行模糊检测的示意图;
图15示出本示例性实施方式中训练第二、第三、第四模糊检测网络的流程图;
图16示出本示例性实施方式中人脸图像模糊检测的示意性流程图;
图17示出本示例性实施方式中一种人脸图像模糊检测装置的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在人脸图像模糊检测中,由于被检测图像通常处于自然环境,背景复杂,不同程度的模糊纹理颜色和环境背景有着极高的相似性,并且模糊分散不连续,难以识别。
鉴于上述问题,本公开的示例性实施方式提供一种人脸图像模糊检测方法。下面结合图1对本示例性实施方式运行环境的系统架构与应用场景进行示例性说明。
图1示出了系统架构的示意图,该系统架构100可以包括终端110与服务器120。其中,终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备,服务器120泛指提供本示例性实施方式中图像质量评价相关服务的后台系统,可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接,以进行数据交互。
在一种实施方式中,可以由终端110执行上述人脸图像模糊检测方法。例如,用户使用终端110拍摄人脸图像或者用户在终端110的相册中选取人脸图像后,由终端110对该人脸图像进行模糊检测,输出模糊程度信息。
在一种实施方式中,可以由服务器120执行上述人脸图像模糊检测方法。例如,用户使用终端110拍摄人脸图像或者用户在终端110的相册中选取人脸图像后,终端110将该人脸图像上传至服务器120,由服务器120对该人脸图像进行模糊检测,向终端110返回模糊程度信息。
由上可知,本示例性实施方式中的人脸图像模糊检测方法的执行主体可以是上述终端110或服务器120,本公开对此不做限定。
本公开的示例性实施方式还提供一种用于执行上述人脸图像模糊检测方法的电子设备,该电子设备可以是上述终端110或服务器120。下面以图2中的移动终端200为例,对该电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus,通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module,用户标识模块)卡接口295等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括AP(Application Processor,应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit,图形处理器)、ISP(Image Signal Processor,图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor,数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit,神经网络处理器)等。
编码器可以对图像或视频数据进行编码(即压缩),形成对应的码流数据,以减少数据传输所占的带宽;解码器可以对图像或视频的码流数据进行解码(即解压缩),以还原出图像或视频数据,例如对人脸图像的码流数据进行解码,还原出人脸图像的数据,进而执行上述人脸图像模糊检测方法。移动终端200可以处理多种编码格式的图像或视频,例如:JPEG(Joint Photographic Experts Group,联合图像专家组)、PNG(Portable NetworkGraphics,便携式网络图形)、BMP(Bitmap,位图)等图像格式,MPEG(Moving PictureExperts Group,动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency VideoCoding,高效率视频编码)等视频格式。
在一种实施方式中,处理器210可以包括一个或多个接口,通过不同的接口和移动终端200的其他部件形成连接。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括易失性存储器与非易失性存储器。处理器210通过运行存储在内部存储器221的指令,执行移动终端200的各种功能应用以及数据处理。外部存储器接口222用于连接外部存储器,例如Micro SD卡,实现扩展移动终端200的存储能力。
USB接口230是符合USB标准规范的接口,可以用于连接充电器为移动终端200充电,也可以连接耳机或其他电子设备。
充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为设备供电;电源管理模块241还可以监测电池的状态。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的2G、3G、4G、5G等移动通信解决方案。无线通信模块260可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
移动终端200可以显示屏290实现显示功能,显示用户界面。移动终端200可以通过摄像模组291实现拍摄功能。移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274等实现音频功能。传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等,用于实现相应的感应检测功能。指示器292可以是指示灯,可以用于指示充电状态、电量变化、未接来电等。马达293可以产生振动提示、触摸振动反馈等。按键294包括开机键,音量键等。SIM卡接口295用于连接SIM卡,以实现通话与移动通信等功能。
下面结合图3对本示例性实施方式中的图像质量评价方法进行说明,图3示出了该图像质量评价方法的示例性流程,可以包括:
步骤S310,获取待处理人脸图像;
步骤S320,从待处理人脸图像中提取纹理图像;
步骤S330,根据纹理图像与待处理人脸图像,确定待处理人脸图像的模糊程度信息。
基于上述方法,一方面,从待处理人脸图像中提取纹理图像,由于纹理图像在人脸模糊与人脸不模糊时存在显著差异,能够为图像模糊检测提供更为丰富的信息,结合纹理图像与待处理人脸图像确定模糊程度信息,有利于提高图像模糊检测的准确度。另一方面,本方案处理流程简单,计算量不高,且不需要引入外部信息(如硬件方面的信息等),因此实现成本较低,特别适合于部署在移动终端等轻量化场景中。
下面分别对图3中的每个步骤进行具体说明。
参考图3,在步骤S310中,获取待处理人脸图像。
其中,人脸图像是指包含人脸的图像,可以是以人脸为主要内容的图像。待处理人脸图像是需要进行模糊检测的人脸图像。本公开对于待处理人脸图像的来源不做限定,例如待处理人脸图像可以是用户当前拍摄的人脸图像或者用户在终端的相册中选取的人脸图像等。
本示例性实施方式主要对图像中的人脸进行模糊检测,如果图像中包含较多的人脸以外的信息,则可能带来不必要的计算开销。基于此,可以先获取需要进行模糊检测的原始图像,原始图像可以是用户当前拍摄的图像或者用户在终端的相册中选取的图像等;然后检测原始图像中的人脸,提取脸部区域的图像,以作为待处理人脸图像。
在一种实施方式中,在获取原始图像后,可以先检测其中是否包含人脸,当包含人脸时,可以继续执行后续的模糊检测处理流程,当不包含人脸时,无需执行后续流程。示例性的,可以通过从原始图像中提取特定的图像特征,例如颜色特征、纹理特征、形状特征或空间关系特征等,来识别原始图像中是否包含人脸。所提取的图像特征可以是能够反映人脸特征的数据,例如人脸的脸部形状、五官形状、五官结构、脸部亮度、脸部肤色、脸部纹理、脸部朝向或脸部大小等。本公开对于图像特征的提取方式不做限定,例如可以采用多个哈尔(Haar)特征模板在原始图像上进行遍历,确定特征值,以提取对应的图像特征等。根据图像特征判断原始图像中是否包含人脸,当包含人脸时,进一步确定脸部区域,并提取脸部区域的图像,得到待处理人脸图像。
在一种实施方式中,可以通过预先训练的人脸分割模型,对原始图像进行分割处理,以分割出脸部区域,进而得到待处理人脸图像。进一步的,在对原始图像进行分割处理时,可以分割出更加精细的区域,如分别分割出脸部与五官区域,再经过筛选,得到更加准确的脸部区域,进而得到待处理人脸图像。
在一种实施方式中,可以通过人脸关键点检测的方式确定脸部区域与待处理人脸图像。具体地,参考图4所示,上述获取待处理人脸图像,可以包括以下步骤S410至S430:
步骤S410,在原始图像中检测人脸关键点。
其中,人脸关键点是指位于人脸显著位置的点,其能够反映人脸特征,人脸关键点包括但不限于眼部关键点、眉毛关键点、嘴部关键点、脸部外沿关键点等。本公开对于人脸关键点的数量、类型以及人脸关键点的检测算法不做限定,例如可以采用21个人脸关键点、49个人脸关键点、68个人脸关键点或108个人脸关键点等,检测算法可以通过Viola-Jones(维奥拉-琼斯)人脸检测器、MTCNN(Multi-Task Convolutional Neural Network,多任务卷积神经网络,能够同时执行人脸区域检测与人脸关键点检测)、HOG(Histogram ofOriented Gradient,方向梯度直方图)特征等实现。
步骤S420,根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点,确定脸部区域。
眉毛上沿关键点是指位于眉毛上边沿的人脸关键点。脸部外沿关键点是指位于脸部外沿轮廓上的人脸关键点。以眉毛上沿关键点与脸部外沿关键点围成的区域为脸部区域,该脸部区域实际为内脸颊区域,不包括额头与头发部分。通常额头部分存在刘海、帽子等,相对于人脸来说是不重要的图像内容,可以不进行去模糊处理,因而也可以不进行模糊检测;头发部分为接近纯色的区域,存在模糊时对于视觉感受影响不大,因而也可以不进行模糊检测。本示例性实施方式通过确定不包括额头与头发部分的脸部区域,有利于降低计算开销,提高效率。
在一种实施方式中,假设原始图像中纵坐标的正方向为下巴指向额头的方向。在检测人脸关键点后,从中确定由眉毛上沿关键点与脸部外沿关键点形成的点集Keyp,如下所示:
其中,KeypEyeBrow_Upper表示眉毛上沿关键点集,KeypFace_Outline表示脸部外沿关键点集,i为KeypFace_Outline中的任意点,j为KeypEyeBrow_Upper中的点,y表示纵坐标,max(yj)表示KeypEyeBrow_Upper中的纵坐标最大值。可见,KeypFace_Outline需要满足其中任意点的纵坐标小于KeypEyeBrow_Upper中的纵坐标最大值,即所选取的脸部外沿关键点位于眉毛上沿关键点中的最高点之下。根据上述点集Keyp中的人脸关键点可以形成脸部区域的边界,从而确定脸部区域。脸部区域可以通过人脸掩膜(mask)的方式呈现,在人脸掩膜中脸部区域的值为1,其余部分的值为0。
步骤S430,从原始图像中提取脸部区域的图像,得到待处理人脸图像。
在确定脸部区域后,可以截取脸部区域的图像,也可以利用人脸掩膜将脸部区域以外的部分置为0,得到待处理人脸图像。
在一种实施方式中,确定脸部区域后,可以在脸部区域中确定纵坐标最大值(即眉毛中最高点的纵坐标),纵坐标最小值(即脸部最低点的纵坐标)、横坐标最小值(即脸部最左侧点的横坐标)与横坐标最大值(即脸部最右侧点的横坐标),然后以这四个坐标值形成与坐标轴平行的矩形框。将原始图像与人脸掩膜相乘,然后在从中截取该矩形框内的图像,以实现提取待处理人脸图像。
图5示出了从原始图像中提取待处理人脸图像的示意图。该原始图像中包括人脸以及较多的人脸以外的内容。首先检测人脸关键点,包括眼部关键点、眉毛关键点、嘴部关键点、脸部外沿关键点等;然后提取其中的眉毛上沿关键点以及位于眉毛上沿关键点以下的脸部外沿关键点;将所提取的点包围的区域作为脸部区域;再利用该脸部区域从原始图像中截取待处理人脸图像。
继续参考图3,在步骤S320中,从待处理人脸图像中提取纹理图像。
纹理通常是图像中具有一定排列的表面结构特征,纹理图像是对图像中的纹理进行可视化表征的图像。
本公开对于提取纹理图像的具体方式不做限定。例如,可以采用LBP(LocalBinary Pattern,局部二值模式)算法,通过对待处理人脸图像中不同的像素点的关系进行分析分类,以提取纹理图像;也可以采用HOG特征来提取待处理人脸图像的纹理图像。图6示出了待处理人脸图像及其对应的纹理图像,与待处理人脸图像相比,纹理图像能够更加显著地体现出待处理人脸图像的细节纹理信息。纹理图像与待处理人脸图像的尺寸一般相同。
继续参考图3,在步骤S330中,根据纹理图像与待处理人脸图像,确定待处理人脸图像的模糊程度信息。
模糊程度信息是模糊检测输出的结果,表示待处理人脸图像的模糊程度。例如,模糊程度信息可以包括待处理人脸图像中每个像素点的模糊程度值,该模糊程度值可以是[0,10]的数值,表示10个模糊等级,0表示无模糊,数值越大表示模糊等级越高,即模糊越严重。在一种实施方式中,可以将模糊程度信息表示为与待处理人脸图像尺寸相同的模糊程度图像,该图像中每个像素点的像素值为模糊程度值。
当人脸发生模糊时,通常呈现出连续、平滑的图像信息,纹理非常不明显。也就是说,模糊与不模糊的人脸相比,在纹理方面呈现出显著差异,因此可以结合纹理图像与待处理人脸图像进行模糊检测,相比于单方面使用待处理人脸图像,能够有效提高模糊检测的准确度。
在一种实施方式中,可以分别对纹理图像与待处理人脸图像计算图像模糊程度指标值,图像模糊程度指标值可以采用Tenengrad梯度,Laplacian梯度,SMD(灰度方差),SMD2(灰度方差乘积),Brenner梯度等,然后对纹理图像与待处理人脸图像的图像模糊程度指标值进行综合,如可以计算平均值或加权平均值等,得到待处理人脸图像最终的模糊程度信息。
在一种实施方式中,可以计算待处理人脸图像中不同区域的梯度,并解析纹理图像中不同区域的频率,根据每个区域的频率对待处理人脸图像中相同区域的梯度进行修正,例如可以将频率归一化,然后作为线性修正系数或指数修正系数等,对梯度进行修正计算,将修正后的梯度作为待处理人脸图像的模糊程度信息。
在一种实施方式中,上述根据纹理图像与待处理人脸图像,确定待处理人脸图像的模糊程度信息,可以包括以下步骤:
待处理人脸图像与纹理图像拼接为目标图像;
利用第一模糊检测网络对目标图像进行处理,得到待处理人脸图像的模糊程度信息。
其中,拼接(concat)可以是将两图像按照通道维度进行合并。举例来说,如果待处理人脸图像为W(宽度)*H(高度)的单通道图像,如可以是Y通道(Y表示明亮度)图像,纹理图像为W*H的单通道图像,两者拼接后,得到的目标图像为W*H的双通道图像;如果待处理人脸图像为W*H的三通道图像,如可以是YUV三通道(U和V表示色度)图像,纹理图像是W*H的单通道图像,两者拼接后,得到的目标图像为W*H的四通道图像。拼接也可以是将两图像在相同通道内进行合并。举例来说,如果待处理人脸图像是W*H的单通道图像,纹理图像也是W*H的单通道图像,两者拼接后,得到的目标图像为2W*H或W*2H的单通道图像。
第一模糊检测网络用于对输入的目标图像确定其模糊程序信息,该模糊程度信息也是待处理人脸图像的模糊程度信息。第一模糊检测网络可以是端到端(End-to-End)的深度学习网络,其输入层与目标图像的通道数相适应。
图7示出了通过第一模糊检测网络进行模糊检测的示意图。其中,第一模糊检测网络700可以采用U-Net结构。将纹理图像与待处理人脸图像拼接为目标图像并输入第一模糊检测网络700后,先由第一像素重排层710将目标图像中的每个通道重排至多个通道中,以调整目标图像的维度,第一像素重排层710如可以采用TensorFlow(一种机器学习的实现框架)中的space_to_depth函数实现。然后由第一卷积层组合720对第一像素重排层710输出的特征图像进行处理,第一卷积层组合720包括卷积层、池化层与残差块,通过卷积与池化处理降低特征图像的尺寸,残差块用于与后段的结构直连。经过第一卷积层组合720的处理,得到尺寸减小的特征图像,再进入第二卷积层组合730,第二卷积层组合730也包括卷积层、池化层与残差块,可以通过卷积与池化处理进一步降低特征图像的尺寸,残差块用于与后段的结构直连。第二卷积层组合730输出的特征图像进入第三卷积层组合740,第三卷积层组合740包括卷积层、残差块。特征图像经过第三卷积层组合740的卷积处理后,再依次进入第一反卷积层组合750、第二反卷积层组合760、第三反卷积层组合770的处理,每个反卷积层组合包括反卷积层、残差块、卷积层,其中反卷积层通过对特征图像进行反卷积处理,实现上采样,残差块用于与卷积层组合中的残差块直连,以进行特征图像的拼接。第三反卷积层组合770输出的特征图像进入第二像素重排层780,由第二像素重排层780将特征图像中的多个通道重排至单个通道中,以调整特征图像的维度,第二像素重排层780如可以采用TensorFlow中的depth_to_space函数实现。最后,经过输出层790输出待处理图像对应的模糊程度图像。
应当理解,图7中的网络结构仅为示例性的,根据实际需求,可以调整其中各中间层的数量与顺序,也可以设置其他类型的中间层,如Dropout层(丢弃层)、全连接层等。
通过第一模糊检测网络可以从目标图像中提取多尺度的纹理特征与图像特征,并以纹理特征作为引导,根据图像特征进行更加准确地模糊程度分类,输出准确的模糊程度信息。
在一种实施方式中,得到每个像素点的模糊程度值后,可以计算待处理人脸图像整体的模糊程度值,例如通过以下公式(2)进行计算:
其中,Pblur表示待处理人脸图像的模糊程度值。motionmap表示模糊程度图像,其每个像素点的像素值为模糊程度值,SUM(motionmap)即全部像素点的模糊程度值之和。Maxblurdegree表示模糊程度值的最大值,如采用[0,10]表示模糊程度值时,Maxblurdegree为10,除以Maxblurdegree用于对模糊程度值进行归一化。W、H为motionmap的宽和高,实际也是待处理人脸图像的宽和高。可见,公式(2)表示将每个像素点的模糊程度值归一化并计算平均值,作为待处理人脸图像的模糊程度值。
在一种实施方式中,人脸图像模糊检测方法还可以包括第一模糊检测网络的训练流程,参考图8所示,可以包括以下步骤S810至S850:
步骤S810,获取模糊核与模糊核的模糊程度值。
模糊核是用于图像模糊处理的卷积核,本示例性实施方式可以采用任意参数的模糊核。模糊核的模糊程度值表征模糊核进行图像模糊处理的模糊程度,其模糊程度值越高,表示经过其模糊处理的图像模糊程度越高。
一般的,模糊核的尺寸越大,参数分布越均匀,其模糊程度值越高。在一种实施方式中,可以根据模糊核的尺寸与模糊核中参数的离散程度(如可以是参数的方差或标准差)确定模糊核的模糊程度值。
在一种实施方式中,参考图9所示,上述获取模糊核与模糊核的模糊程度值,可以包括以下步骤S910至S930:
步骤S910,获取初始的模糊核;
步骤S920,根据模糊核中非零区域的形态与尺寸,确定模糊核的模糊程度值;
步骤S930,利用上述模糊程度值对模糊核进行量化,得到量化后的模糊核。
其中,可以随机生成初始的模糊核,或者使用现有的模糊核作为初始的模糊核。示例性的,设置模糊核的尺寸范围,参数的数值范围,然后随机生成不同尺寸、不同形态、不同数值的模糊核,形成模糊核池,再从中随机选取初始的模糊核。
图10示出了模糊核的可视化图形,该模糊核可以是初始的模糊核,其中黑色为零区域,白色为非零区域。在进行模糊处理时,非零区域将实际参数模糊计算,因而非零区域对于模糊程度值具有影响。可以根据模糊核中非零区域的形态与尺寸,确定模糊核的模糊程度值。一般的,非零区域的形态越规则,尺寸越大,模糊程度值越高。示例性的,模糊核的模糊程度值可以计算如下:
其中,BlurKernel表示模糊核的模糊程度值。参考图11所示,WK和HK为模糊核的最小外接矩形的宽和高,α为该外接矩形的宽与水平方向的夹角。MaxW和MaxH为模糊核池中模糊核的最大宽和高。Maxblurdegree表示模糊程度值的最大值,如采用[0,10]表示模糊程度值时,Maxblurdegree为10。在公式(3)中,通过引入模糊核的最小外接矩形的水平与垂直分量,使得模糊核均匀化,同时使用最大宽和高做归一化,以衡量模糊核的模糊程度,此时的模糊程度一般为0~1的数值,通过与模糊程度值的最大值相乘,得到定量的模糊程度值。
在确定模糊核的模糊程度值后,可以据此对模糊核进行量化,可以如下所示:
KQ=BlurKernel·K0 (4)
其中,K0表示初始的模糊核,即量化前的模糊核,KQ表示量化后的模糊核。经过量化,使得模糊核得到增强,能够更好地体现模糊程度值。
步骤S820,利用模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从模糊人脸样本图像中提取纹理样本图像。
清晰人脸样本图像可以是通过任何途径获取的脸部清晰的图像。利用模糊核对清晰人脸样本图像进行模糊处理,通常可以遍历清晰人脸样本图像进行卷积运算,以进行像素值的平滑处理,得到模糊人脸样本图像。
从模糊人脸样本图像中提取纹理样本图像的实现方式,请参考步骤S320的具体内容。
步骤S830,根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签。
一般的,可以认为清晰人脸样本图像无模糊,这样模糊人脸样本图像中的模糊均来自于模糊核的处理,因此模糊人脸样本图像的模糊程度与模糊核的模糊程度值具有强相关性,可以根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签。
在一种实施方式中,可以通过检测模糊人脸样本图像中的人脸,得到用于表征脸部区域的人脸掩膜,该掩膜中脸部区域的值为1,其余部分的值为0。将模糊核的模糊程度值与模糊人脸样本图像的人脸掩膜相乘,得到模糊人脸样本图像中每个像素值的模糊程度值,其可以作为模糊人脸样本图像的模糊程度标签(ground truth)。
步骤S810至S830为训练前的数据准备阶段,图12示出了数据准备阶段的示意图。获取清晰人脸样本图像与模糊核,计算模糊核的模糊程度值;利用模糊核对清晰人脸样本图像进行卷积处理,得到模糊人脸样本图像;从清晰人脸样本图像中提取人脸掩膜,也可以从模糊人脸样本图像中提取人脸掩膜,一般从清晰人脸样本图像中提取人脸掩膜更加准确;将模糊核的模糊程度值与人脸掩膜相乘,得到模糊程度标签。
步骤S840,将模糊人脸样本图像与纹理样本图像拼接后输入待训练的第一模糊检测网络,以输出模糊人脸样本图像的模糊程度信息。
待训练的第一模糊检测网络可以是初始构建的第一模糊检测网络,其中的参数为初始化的参数。步骤S840的实现方式,请参考上述将待处理人脸图像与纹理图像拼接为目标图像,并利用第一模糊检测网络对目标图像进行处理的具体内容。
步骤S850,基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别,更新第一模糊检测网络的参数。
具体地,可以基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别构建损失函数,如可以是L1 Loss、L2 Loss等,计算损失函数值后,通过损失函数值对第一模糊检测网络的参数进行反向传播更新。
应当理解,实际应用中可以获取大量的、各种形态、各种背景的清晰人脸样本图像,并通过不同模糊程度值的模糊核进行模糊处理,从而得到多样化的模糊人脸样本图像。利用多样化的模糊人脸样本图像训练第一模糊检测网络,可以使第一模糊检测网络具备较强的泛化能力,以对不同类型的待处理人脸图像进行准确地模糊检测。
在一种实施方式中,参考图13所示,上述根据纹理图像与待处理人脸图像,确定待处理人脸图像的模糊程度信息,可以包括以下步骤S1310至S1330:
步骤S1310,提取纹理图像对应的第一特征图像,以及提取待处理人脸图像对应的第二特征图像。
特征图像用于反映图像中的特征信息。一般的,可以通过对图像进行卷积处理来提取特征图像,例如可以通过图像分类网络对纹理图像或待处理人脸图像进行处理,通过图像分类网络中的卷积层输出对应的第一特征图像或第二特征图像。
在一种实施方式中,上述特征图像可以是模糊程度图像,即第一特征图像为纹理图像对应的第一模糊程度图像,第二特征图像为待处理人脸图像对应的第二模糊程度图像。相应的,上述提取纹理图像对应的第一特征图像,以及提取待处理人脸图像对应的第二特征图像,可以包括以下步骤:
利用第二模糊检测网络对纹理图像进行处理,得到第一特征图像;
利用第三模糊检测网络对待处理人脸图像进行处理,得到第二特征图像。
其中,第二模糊检测网络与第三模糊检测网络均用于对输入的目标图像确定其模糊程序信息,均可以是端到端的网络。其结构可以与上述第一模糊检测网络相同或相近,例如第二检测模糊网络或第三检测模糊网络的各中间层的数量与顺序可以与第一模糊检测网络不同,第二检测模糊网络或第三检测模糊网络还可以包括更多类型的中间层等。第二模糊检测网络与第三模糊检测网络的结构可以相同,也可以不同。第二模糊检测网络用于处理纹理图像,纹理图像为单通道图像;第三模糊检测网络用于处理待处理人脸图像,待处理人脸图像可以是任意通道数量的图像,如单通道图像或三通道图像。因此,可以根据图像的通道数量,设置第二模糊检测网络与第三模糊检测网络的超参数,包括卷积层的维度等。
图14示出了通过第二模糊检测网络与第三模糊检测网络进行模糊检测的示意图。将纹理图像输入第二模糊检测网络,输出第一特征图像,该过程可视为对纹理图像进行一阶段模糊检测,第一特征图像包含一阶段模糊程度信息。将待处理人脸图像输入第三模糊检测网络,输出第二特征图像,该过程可视为对待处理人脸图像进行一阶段模糊检测,第二特征图像也包含一阶段模糊程度信息。应当理解,第一特征图像与第二特征图像所包含的具体的模糊程度信息是不同的。
步骤S1320,根据第一特征图像与第二特征图像生成第三特征图像。
一般的,第一特征图像与第二特征图像的信息存在一定差异,因此通过结合第一特征图像与第二特征图像,可以生成信息更加全面的第三特征图像。
在一种实施方式中,可以将第一特征图像与第二特征图像进行拼接或融合。例如,第一特征图像与第二特征图像均为单通道图像,经过拼接得到双通道的第三特征图像;或者将第一特征图像与第二特征图像按照像素点进行融合,如可以对两张图像中相同位置的像素点取平均值或最大值等,得到第三特征图像。
在一种实施方式中,上述根据第一特征图像与第二特征图像生成第三特征图像,可以包括以下步骤:
获取第一特征图像与第二特征图像的差值图像;
通过将差值图像与第二特征图像相乘,生成第三特征图像。
其中,差值图像包括第一特征图像与第二特征图像中相同位置的像素点的差值,可以采用绝对差值,以保证差值图像中没有负值。差值图像体现了纹理图像与待处理人脸图像在各个像素点位置上的模糊程度差异,将差值图像与第二特征图像相乘,可以在模糊程度差异大的像素点位置上放大第二特征图像的数值,在模糊程度差异小的像素点位置上尽可能维持甚至减小第二特征图像的数值,以实现模糊程度信息的增强。
示例性的,以motionmap_3表示第三特征图像,其生成过程可以表示如下:
motionmap_3=motionmap_2⊙|motionmap_2-motionmap_1| (5)
其中,⊙表示图像相乘,具体为两张图像进行矩阵点乘运算,即相同位置像素点的像素值相乘。以motion_diff表示差值图像,(x,y)表示任意像素点,则有以下关系:
motionmap_3(x,y)=motionmap_2(x,y)·motion_diff(x,y) (6)
也就是说,分别将第二特征图像中每个像素点与差值图像中相同位置的像素点进行像素值相乘,得到第三特征图像中相同位置的像素点。
在一种实施方式中,对于差值图像与第二特征图像相乘的结果,还可以进行数值转换。例如motionmap_1和motionmap_2中的数值均处于[0,10]内,则可以对差值图像与第二特征图像相乘的结果,可以将其数值线性转换至[0,10]内,得到motionmap_3,以保证motionmap_3的数值也处于[0,10]内。
步骤S1330,基于第三特征图像确定待处理人脸图像的模糊程度信息。
如上所述,第三特征图像包含更加全面的信息,因此基于第三特征图像确定待处理人脸图像的模糊程度信息,其准确度能够得到进一步提高。
在一种实施方式中,可以对第三特征图像计算采用图像模糊程度指标值,如Tenengrad梯度,Laplacian梯度等,得到待处理人脸图像的模糊程度信息。
在一种实施方式中,上述基于第三特征图像确定待处理人脸图像的模糊程度信息,可以包括以下步骤:
利用第四模糊检测网络对第三特征图像进行处理,得到待处理人脸图像的模糊程度信息。
其中,第四模糊检测网络均用于对输入的目标图像确定其模糊程序信息,可以是端到端的网络。其结构可以与上述第二模糊检测网络或第三模糊检测网络相同或相近,例如第四检测模糊网络的各中间层的数量与顺序可以与第二模糊检测网络或第三模糊检测网络不同,第四检测模糊网络还可以包括更多类型的中间层等。
示例性的,由于第四模糊检测网络用于处理第三特征图像,第三特征图像与纹理图像同样为单通道图像,因此设置第四模糊检测网络与第二模糊检测网络结构相同。
图14还示出了通过第四模糊检测网络进行模糊检测的示意图。将第三特征图像输入第四模糊检测网络进行处理,该过程可视为二阶段模糊检测,是在一阶段模糊检测的基础上叠加进行了一次更加深度的模糊检测,能够输出更加准确的模糊程度信息。
在一种实施方式中,人脸图像模糊检测方法还可以包括第二至第四模糊检测网络的训练流程,参考图15所示,包括以下步骤S1510至S1560:
步骤S1510,获取模糊核与模糊核的模糊程度值。实现方式请参考步骤S810的具体内容。
步骤S1520,利用模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从模糊人脸样本图像中提取纹理样本图像。实现方式请参考步骤S820的具体内容。
步骤S1530,根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签。实现方式请参考步骤S830的具体内容。
步骤S1540,将纹理样本图像输入待训练的第二模糊检测网络,以输出第一特征样本图像,将模糊人脸样本图像输入待训练的第三模糊检测网络,以输出第二特征样本图像。实现方式请参考上述利用第二模糊检测网络对纹理图像进行处理,得到第一特征图像,利用第三模糊检测网络对待处理人脸图像进行处理,得到第二特征图像以及图13的具体内容。
步骤S1550,根据第一特征样本图像与第二特征样本图像生成第三特征样本图像,并将第三特征样本图像输入待训练的第四模糊检测网络,以输出模糊人脸样本图像的模糊程度信息。其中,根据第一特征样本图像与第二特征样本图像生成第三特征样本图像的实现方式请参考步骤S1220的具体内容;将第三特征样本图像输入待训练的第四模糊检测网络,以输出模糊人脸样本图像的模糊程度信息的实现方式,请参考上述利用第四模糊检测网络对第三特征图像进行处理,得到待处理人脸图像的模糊程度信息以及图14的具体内容。
步骤S1560,基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别,更新第二模糊检测网络、第三模糊检测网络与第四模糊检测网络的参数。
具体地,可以基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别构建损失函数,如可以是L1 Loss、L2 Loss等,将第二、第三、第四模糊检测网络作为一个整体,在计算损失函数值后,通过损失函数值第二、第三、第四模糊检测网络的参数进行反向传播更新,从而实现对三个模糊检测网络的共同训练,提高训练效率。
图16示出了本示例性实施方式中一种人脸图像模糊检测方法的示意性流程图,包括:
步骤S1610,输入原始图像;
步骤S1620,检测原始图像中是否存在人脸,若否,则不需要进行模糊检测,流程结束,若是,则进入步骤S1630;
步骤S1630,从原始图像中提取待处理人脸图像;
步骤S1640,从待处理人脸图像中提取纹理图像;
步骤S1650,将纹理图像输入第二模糊检测网络,输出第一特征图像;
步骤S1660,将待处理人脸图像输入第三模糊检测网络,输出第二特征图像;
步骤S1670,将第一特征图像与第二特征图像相减,得到差值图像,再将该差值图像与第二特征图像相乘,生成第三特征图像;
步骤S1680,将第三特征图像输入第四模糊检测网络,输出待处理人脸图像的模糊程度信息。流程结束,完成对于原始图像中的人脸的模糊检测。
本公开的示例性实施方式还提供一种人脸图像模糊检测装置。参考图17所示,该人脸图像模糊检测装置1700可以包括:
图像获取模块1710,被配置为获取待处理人脸图像;
纹理图像提取模块1720,被配置为从待处理人脸图像中提取纹理图像;
模糊程度信息确定模块1730,被配置为根据纹理图像与待处理人脸图像,确定待处理人脸图像的模糊程度信息。
在一种实施方式中,模糊程度信息确定模块1730,被配置为:
将待处理人脸图像与纹理图像拼接为目标图像;
利用第一模糊检测网络对目标图像进行处理,得到待处理人脸图像的模糊程度信息。
在一种实施方式中,人脸图像模糊检测装置1700还可以包括网络训练模块,被配置为:
获取模糊核与模糊核的模糊程度值;
利用模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从模糊人脸样本图像中提取纹理样本图像;
根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签;
将模糊人脸样本图像与纹理样本图像拼接后输入待训练的第一模糊检测网络,以输出模糊人脸样本图像的模糊程度信息;
基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别,更新第一模糊检测网络的参数。
在一种实施方式中,模糊程度信息确定模块1730,被配置为:
提取纹理图像对应的第一特征图像,以及提取待处理人脸图像对应的第二特征图像;
根据第一特征图像与第二特征图像生成第三特征图像;
基于第三特征图像确定待处理人脸图像的模糊程度信息。
在一种实施方式中,上述提取纹理图像对应的第一特征图像,以及提取待处理人脸图像对应的第二特征图像,包括:
利用第二模糊检测网络对纹理图像进行处理,得到第一特征图像;
利用第三模糊检测网络对待处理人脸图像进行处理,得到第二特征图像。
在一种实施方式中,上述基于第三特征图像确定待处理人脸图像的模糊程度信息,包括:
利用第四模糊检测网络对第三特征图像进行处理,得到待处理人脸图像的模糊程度信息。
在一种实施方式中,人脸图像模糊检测装置1700还可以包括网络训练模块,被配置为:
获取模糊核与模糊核的模糊程度值;
利用模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从模糊人脸样本图像中提取纹理样本图像;
根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签;
将纹理样本图像输入待训练的第二模糊检测网络,以输出第一特征样本图像,将模糊人脸样本图像输入待训练的第三模糊检测网络,以输出第二特征样本图像;
根据第一特征样本图像与第二特征样本图像生成第三特征样本图像,并将第三特征样本图像输入待训练的第四模糊检测网络,以输出模糊人脸样本图像的模糊程度信息;
基于模糊人脸样本图像的模糊程度信息与模糊人脸样本图像的模糊程度标签之间的差别,更新第二模糊检测网络、第三模糊检测网络与第四模糊检测网络的参数。
在一种实施方式中,上述根据第一特征图像与第二特征图像生成第三特征图像,包括:
获取第一特征图像与第二特征图像的差值图像;
通过将差值图像与第二特征图像相乘,生成第三特征图像。
在一种实施方式中,上述获取模糊核与模糊核的模糊程度值,包括:
获取初始的模糊核;
根据模糊核中非零区域的形态与尺寸,确定模糊核的模糊程度值;
利用模糊程度值对模糊核进行量化,得到量化后的模糊核。
在一种实施方式中,上述根据模糊核的模糊程度值确定模糊人脸样本图像的模糊程度标签,包括:
将模糊核的模糊程度值与模糊人脸样本图像的人脸掩膜相乘,得到模糊人脸样本图像的模糊程度标签。
在一种实施方式中,图像获取模块1710,被配置为:
在原始图像中检测人脸关键点;
根据人脸关键点中的眉毛上沿关键点与脸部外沿关键点,确定脸部区域;
从原始图像中提取脸部区域的图像,得到待处理人脸图像。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质,可以实现为程序产品的形式,包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (14)
1.一种人脸图像模糊检测方法,其特征在于,包括:
获取待处理人脸图像;
从所述待处理人脸图像中提取纹理图像;
根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息,包括:
将所述待处理人脸图像与所述纹理图像拼接为目标图像;
利用第一模糊检测网络对所述目标图像进行处理,得到所述待处理人脸图像的模糊程度信息。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取模糊核与所述模糊核的模糊程度值;
利用所述模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从所述模糊人脸样本图像中提取纹理样本图像;
根据所述模糊核的模糊程度值确定所述模糊人脸样本图像的模糊程度标签;
将所述模糊人脸样本图像与所述纹理样本图像拼接后输入待训练的所述第一模糊检测网络,以输出所述模糊人脸样本图像的模糊程度信息;
基于所述模糊人脸样本图像的模糊程度信息与所述模糊人脸样本图像的模糊程度标签之间的差别,更新所述第一模糊检测网络的参数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息,包括:
提取所述纹理图像对应的第一特征图像,以及提取所述待处理人脸图像对应的第二特征图像;
根据所述第一特征图像与所述第二特征图像生成第三特征图像;
基于所述第三特征图像确定所述待处理人脸图像的模糊程度信息。
5.根据权利要求4所述的方法,其特征在于,所述提取所述纹理图像对应的第一特征图像,以及提取所述待处理人脸图像对应的第二特征图像,包括:
利用第二模糊检测网络对所述纹理图像进行处理,得到所述第一特征图像;
利用第三模糊检测网络对所述待处理人脸图像进行处理,得到所述第二特征图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第三特征图像确定所述待处理人脸图像的模糊程度信息,包括:
利用第四模糊检测网络对所述第三特征图像进行处理,得到所述待处理人脸图像的模糊程度信息。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取模糊核与所述模糊核的模糊程度值;
利用所述模糊核对清晰人脸样本图像进行模糊处理,得到模糊人脸样本图像,并从所述模糊人脸样本图像中提取纹理样本图像;
根据所述模糊核的模糊程度值确定所述模糊人脸样本图像的模糊程度标签;
将所述纹理样本图像输入待训练的所述第二模糊检测网络,以输出第一特征样本图像,将所述模糊人脸样本图像输入待训练的所述第三模糊检测网络,以输出第二特征样本图像;
根据所述第一特征样本图像与所述第二特征样本图像生成第三特征样本图像,并将所述第三特征样本图像输入待训练的所述第四模糊检测网络,以输出所述模糊人脸样本图像的模糊程度信息;
基于所述模糊人脸样本图像的模糊程度信息与所述模糊人脸样本图像的模糊程度标签之间的差别,更新所述第二模糊检测网络、所述第三模糊检测网络与所述第四模糊检测网络的参数。
8.根据权利要求4至7任一项所述的方法,其特征在于,所述根据所述第一特征图像与所述第二特征图像生成第三特征图像,包括:
获取所述第一特征图像与所述第二特征图像的差值图像;
通过将所述差值图像与所述第二特征图像相乘,生成所述第三特征图像。
9.根据权利要求3或7所述的方法,其特征在于,所述获取模糊核与所述模糊核的模糊程度值,包括:
获取初始的模糊核;
根据所述模糊核中非零区域的形态与尺寸,确定所述模糊核的模糊程度值;
利用所述模糊程度值对所述模糊核进行量化,得到量化后的所述模糊核。
10.根据权利要求3或7所述的方法,其特征在于,所述根据所述模糊核的模糊程度值确定所述模糊人脸样本图像的模糊程度标签,包括:
将所述模糊核的模糊程度值与所述模糊人脸样本图像的人脸掩膜相乘,得到所述模糊人脸样本图像的模糊程度标签。
11.根据权利要求1所述的方法,其特征在于,所述获取待处理人脸图像,包括:
在原始图像中检测人脸关键点;
根据所述人脸关键点中的眉毛上沿关键点与脸部外沿关键点,确定脸部区域;
从所述原始图像中提取所述脸部区域的图像,得到所述待处理人脸图像。
12.一种人脸图像模糊检测装置,其特征在于,包括:
图像获取模块,被配置为获取待处理人脸图像;
纹理图像提取模块,被配置为从所述待处理人脸图像中提取纹理图像;
模糊程度信息确定模块,被配置为根据所述纹理图像与所述待处理人脸图像,确定所述待处理人脸图像的模糊程度信息。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11任一项所述的方法。
14.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110898045.5A CN113627314A (zh) | 2021-08-05 | 2021-08-05 | 人脸图像模糊检测方法、装置、存储介质与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110898045.5A CN113627314A (zh) | 2021-08-05 | 2021-08-05 | 人脸图像模糊检测方法、装置、存储介质与电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113627314A true CN113627314A (zh) | 2021-11-09 |
Family
ID=78383234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110898045.5A Pending CN113627314A (zh) | 2021-08-05 | 2021-08-05 | 人脸图像模糊检测方法、装置、存储介质与电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627314A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235905A1 (en) * | 2008-12-18 | 2011-09-29 | Yokokawa Masatoshi | Image processing apparatus and method, and program |
CN109800657A (zh) * | 2018-12-25 | 2019-05-24 | 天津大学 | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
CN111311543A (zh) * | 2020-01-17 | 2020-06-19 | 苏州科达科技股份有限公司 | 图像清晰度检测方法、系统、设备及存储介质 |
CN111368758A (zh) * | 2020-03-09 | 2020-07-03 | 苏宁云计算有限公司 | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 |
CN112085701A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸模糊度检测方法、装置、终端设备及存储介质 |
CN112509144A (zh) * | 2020-12-09 | 2021-03-16 | 深圳云天励飞技术股份有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-05 CN CN202110898045.5A patent/CN113627314A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110235905A1 (en) * | 2008-12-18 | 2011-09-29 | Yokokawa Masatoshi | Image processing apparatus and method, and program |
CN109800657A (zh) * | 2018-12-25 | 2019-05-24 | 天津大学 | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
CN111311543A (zh) * | 2020-01-17 | 2020-06-19 | 苏州科达科技股份有限公司 | 图像清晰度检测方法、系统、设备及存储介质 |
CN111368758A (zh) * | 2020-03-09 | 2020-07-03 | 苏宁云计算有限公司 | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 |
CN112085701A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸模糊度检测方法、装置、终端设备及存储介质 |
CN112509144A (zh) * | 2020-12-09 | 2021-03-16 | 深圳云天励飞技术股份有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
窦思冬;朱玉全;林庆;占林森;胡洋;: "基于模糊核和梯度分布的部分模糊图像检测", 信息技术, no. 09, 18 September 2018 (2018-09-18), pages 139 - 143 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN111402143B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN111368685B (zh) | 关键点的识别方法、装置、可读介质和电子设备 | |
WO2016165060A1 (en) | Skin detection based on online discriminative modeling | |
CN112040337B (zh) | 视频的水印添加和提取方法、装置、设备及存储介质 | |
CN111694978B (zh) | 图像相似度检测方法、装置、存储介质与电子设备 | |
US10846560B2 (en) | GPU optimized and online single gaussian based skin likelihood estimation | |
CN111696176A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
CN111932463B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN116048244B (zh) | 一种注视点估计方法及相关设备 | |
WO2017095543A1 (en) | Object detection with adaptive channel features | |
CN113240598A (zh) | 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备 | |
CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
CN113642359B (zh) | 人脸图像生成方法、装置、电子设备及存储介质 | |
CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN112861687B (zh) | 用于门禁系统的口罩佩戴检测方法、装置、设备和介质 | |
CN113627314A (zh) | 人脸图像模糊检测方法、装置、存储介质与电子设备 | |
CN115330610A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN112528760B (zh) | 图像处理方法、装置、计算机设备及介质 | |
CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN111951168B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |