CN112766028B - 人脸模糊处理方法、装置、电子设备及存储介质 - Google Patents
人脸模糊处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112766028B CN112766028B CN201911077052.8A CN201911077052A CN112766028B CN 112766028 B CN112766028 B CN 112766028B CN 201911077052 A CN201911077052 A CN 201911077052A CN 112766028 B CN112766028 B CN 112766028B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- feature
- channel
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000000873 masking effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 abstract description 23
- 238000013528 artificial neural network Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种人脸模糊处理方法、装置、电子设备及存储介质，所述方法包括：通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；对所述特征区域进行模糊处理，得到模糊人脸图像。通过第一卷积神经网络对人脸进行检测，无需人工对人脸进行标注，并通过第二卷积神经网络对人脸的特征区域进行分割，得到准确的分割边界，以各特征区域分割边界做为模糊的界限，可以提高模糊的准确度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人脸模糊处理方法、装置、电子设备及存储介质。
背景技术
人工智能在安防领域中广泛应用，通过在各个需求场景中部署摄像头对该需求场景进行视频监控。在一些视频监控场景下会拍摄到人脸图像，出于隐私保护或者其他一些目的，需要对拍摄到的人脸进行模糊处理，以使一些没有权限的观察者无法识别出拍摄到的是什么人，从而保护被拍摄到的人员的隐私。传统的模糊处理在进行模糊时需要对人脸进行人工标注或者进行人脸检测后，在较大的范围内进行模糊处理，不够准确，导致容易将图像中的其他特征也模糊掉，观察者无法识别到该被模糊掉的其他特征。因此，现有的人脸模糊处理存在准确度不高的问题。
发明内容
本发明实施例提供一种人脸模糊处理方法，能够提高人脸模糊处理的准确度。
第一方面，本发明实施例提供一种人脸模糊处理方法，包括：
通过预设的第一卷积神经网络(中文：卷积神经网络，英文：ConvolutionalNeural Network，简称CNN)对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
对所述特征区域进行模糊处理，得到模糊人脸图像。
优选的，所述将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，包括：
对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，所述特征图像包括与特征区域对应数量的通道以及与所述通道对应的通道值；
根据所述通道值，对所述特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像。
优选的，所述对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，包括：
依次对所述第一人脸图像进行第一下采样操作与第二下采样操作；
在所述第一下采样操作后，提取得到第一采样图像，并将所述第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；
在所述第二下采样操作后，提取得到第二采样图像，并将所述第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征；
将所述第一采样特征与所述第二采样特征进行相加，得到特征图像。
优选的，所述根据所述通道值，对所述特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像，包括：
遍历特征图像中的各个点对应的通道值；
根据所述各个点对应的通道值中的各个点的最大通道值，确定各个点所对应的通道；
根据各个通道的掩码值，分别对所述各个点的最大通道值进行掩码；
根据所述特征图像中各个点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像。
优选的，所述对所述特征区域进行模糊处理，得到模糊人脸图像，包括：
将所述特征区域的内部像素点对应的像素值进行更改，以对所述特征区域进行遮挡模糊，得到模糊人脸图像。
第二方面，本发明实施例提供一种人脸模糊处理装置，包括：
第一处理模块，用于通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
第二处理模块，用于将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
第三处理模块，用于对所述特征区域进行模糊处理，得到模糊人脸图像。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的人脸模糊处理方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的人脸模糊处理方法中的步骤。
本发明实施例中，通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；对所述特征区域进行模糊处理，得到模糊人脸图像。通过第一卷积神经网络对人脸进行检测，无需人工对人脸进行标注，并通过第二卷积神经网络对人脸的特征区域进行分割，得到准确的分割边界，以各特征区域分割边界做为模糊的界限，可以提高模糊的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸模糊处理方法的流程图；
图2是本发明实施例提供的一种人脸图像分割方法的流程图；
图3是本发明实施例提供的一种第二卷积神经网络的结构示意图；
图4是本发明实施例提供的一种通道注意力模块的结构示意图；
图5是本发明实施例提供的一种人脸图像分割装置的结构示意图；
图6是本发明实施例提供的另一种人脸图像分割装置的结构示意图；
图7是本发明实施例提供的另一种人脸图像分割装置的结构示意图；
图8是本发明实施例提供的另一种人脸图像分割装置的结构示意图；
图9是本发明实施例提供的另一种人脸图像分割装置的结构示意图；
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种人脸模糊处理方法的流程图，如图1所示，包括以下步骤：
101、通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像。
其中，上述的预设的第一卷积神经网络可以是预先根据人脸数据集进行训练，以使第一卷积神经网络学习到对人脸的目标检测，从而检测出图像中是否存在人脸。
另外，上述预设的第一卷积神经网络可以是用户自行训练的，也可以是用户在网上获取到的直接可以使用的卷积神经网络(包括网络结构以及训练好的参数集)，还可以是已经嵌入产品中的人脸检测设备。
上述的目标图像可以是静态的图像，也可以是动态图像。上述静态的图像可以是摄像头拍摄的照片，或用户上传的图像、照片等。上述动态图像指的是连续的图像帧，比如视频流，此时，上述的目标图像可以是该视频流或该视频流中的一帧图像。
在将目标图像输入到上述预设的第一卷积神经网络后，根据第一卷积神经网络的预测，预测上述目标图像中的是否包含有人脸。具体的，目标图像在输入到第一卷积神经网络后，根据该第一卷积神经网络对目标图像进行特征提取，在提取出的特征符合人脸特征时，则预测该目标图像包含有人脸，在提取出的特征不符合人脸特征时，则预测该目标图像不包含人脸。
当检测出目标图像包含人脸时，提取目标图像中的人脸所在区域的图像，即是在人脸检测时，预测得到的人脸框，该人脸框包括人脸图像、对应的人脸框标识信息以及对应的人脸框的位置信息，上述的人脸图像作为第二卷积神经网络的输入，上述的人脸框标识用于表示该人脸框与人脸的对应关系，相当于给人脸一个临时的编号信息，上述的人脸框的位置信息用于表示人脸在目标图像中的位置。
提取到的人脸所在区域的图像作为第一人脸图像输入到步骤102中的第二卷积神经网络进行处理。
当检测出目标图像不包含人脸时，在目标图像为用户上传的图像为单张图像时，向用户提示没有检测到目标的提示，比如“未检测到人脸”。在目标图像为视频流时，则跳过当前检测的图像帧，对下一时序的图像帧进行人脸检测，以判断下一时序的图像帧中是否包含有人脸图像。
需要说明的是，上述的第一人脸图像也可以称为人脸框图。
102、将第一人脸图像输入预设的第二卷积神经网络对目标人脸图像进行分割，得到第二人脸图像，第二人脸图像包括至少一个特征区域。
上述的第一人脸图像为步骤101中得到的图像，具体的，上述的第一人脸图像为第一卷积神经网络中的人脸框中的人脸图像。更具体的，上述的第一人脸图像包括人脸框中的人脸图像，对应的人脸框标识信息以及对应的人脸框的位置信息。
上述的预设的第二卷积神经网络可以是预先根据人脸分割标注数据集进行训练，以使第二卷积神经网络学习到对人脸各个特征区域的预测与分割，从而得到人脸各部分的特征区域。
上述的特征区域用于表征人脸的不同部位所在的图像区域，比如：眼睛所在图像区域、鼻子所在图像区域、嘴巴所在图像区域、耳朵所在图像区域、头发所在图像区域、皮肤(人脸皮肤)所在图像区域、背景所在图像区域等。
具体的特征区域根据训练所用的分割标注数据集以及预测通道有关。比如，若人脸分割标注数据集中只标注有背景、人脸、眼睛，则训练出的第二卷积神经网络只能学习到对背景、人脸、眼睛的预测与分割，若人脸分割标注数据集中标注有背景、人脸、眼睛、皮肤、鼻子、嘴、耳朵、头发，则训练出的第二卷积神经网络可以学习到对背景、人脸、眼睛、皮肤、鼻子、嘴、耳朵、头发的预测与分割。另外，第二卷积神经网络的预测通道预测对应的特征区域，比如第二卷积神经网络可以预测分割背景、人脸、眼睛、皮肤、鼻子、嘴、耳朵、头发等区域，每个区域对应一个预测的通道，当用户需要将眼睛、鼻子做为一个特征区域时，可以将对应的预测眼睛的通道和预测鼻子的通道进行融合，得到一个预测眼睛和鼻子的通道，该通道会将人脸的眼睛所在图像区域与鼻子所在图像区域认为是同一个特征区域。
将第一人脸图像输入第二卷积神经网络中，第二卷积神经网络对第一人脸图像进行处理后，输入与第一人脸图像相同大小的第二人脸图像，其中，第二人脸图像也可以称为人脸特征图。第二人脸图像中包括一个或多个特征区域，当包括一个特征区域时，第二人脸图像被分割为两个图像区域，即特征区域与背景图像区域这两个图像区域；当包括两个特征区域时，第二人脸图像被分割为两个图像区域或三个图像区域，比如，当特征区域为人脸特征区域与背景特征区域，则第二人脸图像分割为两个图像区域，当特征区域为人脸特征区域与眼睛特征区域时，则第二人脸图像分割为人脸特征区域、眼睛特征区域以及剩余的背景区域等三个图像区域，因此，在N(N大于等于2)个特征区域时，第二人脸图像被分割为N个或N+1个特征区域。
上述的第二人脸图像中，还包括各个特征区域的位置信息，通过各个特征区域的位置信息，可以计算得到各个特征区域在目标图像上的区域位置。
比如，上述的位置信息可以是在第二人脸图像中的像素坐标，由于第二人脸图像与第一人脸图像的大小是相同的，第二人脸图像中的像素从标可以投影到第一人脸图像的坐标中，第一人脸图像的坐标系为目标图像的坐标系，所以第二人脸图像中的特征区域投影到第一人脸图像的坐标后，在第一人脸图像的对应的区域位置信息即是目标图像中的位置信息。
又比如，第二人脸图像中保留目标图像的坐标系，从而在分割特征区域完成后，得到特征区域的位置信息即为在目标图像中的区域位置信息。
还比如，由于第二人脸图像与第一人脸图像相同大小，基于第一人脸图像的人脸框的位置信息，将第二人脸图像投影到目标图像中，得到特征区域在目标图像中的区域位置。
103、对特征区域进行模糊处理，得到模糊人脸图像。
上述的模糊处理可以是对特征区域进行像素值更改，也可以是对特征区域进行马赛克算法。
上述的像素值更改可以是将特征区域内的像素点用同一个像素值进行替换，也可以是将特征区域内的像素点对应的像素值进行高斯变换，以更改对应的像素值。
上述的马赛克算法可以是将特征区域分为对就的像素块，每个像素块包含多个像素点，在每个像素块中随机取一个像素点的像素值，用该像素值替换对应像素块中其他像素点的像素值。
在一种可能的实施例中，可以是在第二人脸图像上对特征区域进行模糊处理，再将模糊处理后的第二人脸图像投影到目标图像中，以使目标图像中的人脸被模糊。
在另一种可能的实施例中，可以是将第二人脸图像中的特征区域所在区域位置投影到目标图像中，使目标图像中标注有各个特征区域，在目标图像中对各个特征区域进行模糊处理。
在一种可能的实施例中，可以目标图像上增加与目标图像相同大小的透明图层，该透明图层与目标图像的坐标系相同，进行投影时，将将模糊后的特征区域投影到该透明图层上，或将特征区域投影到该透明图层上进行模糊。对于在第二人脸图像中的进行模糊的第二人脸图像，只需将被模糊的特征区域投影到该透明图层上，其他没有被模糊的特征区域则不进行投影。由于是透明图层，不只会对模糊的特征区域形成遮挡或模糊，而不影响目标图像中其他图像区域的显示。
本发明实施例中，通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；对所述特征区域进行模糊处理，得到模糊人脸图像。通过第一卷积神经网络对人脸进行检测，无需人工对人脸进行标注，并通过第二卷积神经网络对人脸的特征区域进行分割，得到准确的分割边界，以各特征区域分割边界做为模糊的界限，可以提高模糊的准确度。
需要说明的是，本发明实施例提供的人脸模糊处理方法可以应用于需要对人脸进行模糊的手机、监控器、计算机、服务器等设备。
可选的，请参见图2，图2是本发明实施例提供的一种人脸图像分割方法的流程图，如图2所示，包括以下步骤：
201、通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像。
其中，上述的第一人脸图像为第一卷积神经网络中的人脸框中的人脸图像。具体的，上述的第一人脸图像包括人脸框中的人脸图像，对应的人脸框标识信息以及对应的人脸框的位置信息。
202、对第一人脸图像进行下采样，将下采样后的第一人脸图像进行通道卷积相加，得到特征图像，特征图像包括与特征区域对应数量的通道以及与通道对应的通道值。
在本发明实施例中，通过第二卷积神经网络实现对人脸的分割。上述第二卷积神经网络的结构可以是resnet18深度卷积神经网络。如图3所示，上述第二卷积神经网络的结构包括：卷积计算阶段，以及至少2个通道注意力模块(英文：Attention RefinmentModule，简称：ARM)。
上述的卷积计算阶段包括下采样阶段，一个卷积计算阶段只包括一个下采样阶段，前4个卷积计算阶段分别包括一个下采样阶段，即第二卷积神经网络的结构包括4个下采样阶段，也可以是包括其他数量个的下采样阶段，以及其他数量个的通道注意力模块，本发明实施例中，并不对具体的下采样阶段数量与通道注意力模块进行限定。上述的卷积计算阶段对第一人脸图像进行卷积计算，在卷积计算阶段，卷积计算可以是在下采样之前或之后。
上述的下采样阶段用于对输入的第一人脸图像进行下采样，使人脸图像变小，增加了对人脸图像的感受野，同时，降低计算量，达到提高计算速度，还可以避免过拟合的作用。
如图4所示，上述的通道注意力模块包括全局平均池化层global pool，1×1conv卷积层，批规范化层Batch norm，激活函数层sigmoid，以及乘法器mul。上述的通道注意力模块借助全局平均池化捕获全局语境并计算注意力向量以指导特征学习。可以优化各个下采样阶段中每一阶段的输出特征，无需任何上采样操作即可轻易整合全局语境信息，得到足够大的感受野，且其计算成本几乎可忽略。
上述的4个下采样阶段分别为4倍、8倍、16倍、32倍的下采样。上述的2个通道注意力模块分别为针对16倍、32倍下采样的通道注意力模块。
具体的，将第一人脸图像输入到第二卷积神经网络后，第二卷积神经网络依次对第一人脸图像进行第一下采样操作与第二下采样操作，其中，所述第二下采样操作的倍数大于第一下采样操作的倍数；在上述第一下采样操作后，提取第一采样图像，并将第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；在第二下采样操作后，提取得到第二采样图像，并将第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征。上述的第一下采样操作可以包括一次下采样操作或多次不同倍数的下采样操作，上述的第二下采样操作也可以包括一次下采样操作或多次相同倍数的下采样操作。
在一种可能的实施例，当第一下采样操作中包括多次不同的下采样操作时，则在最大下采样倍数进行下采样操作后的提取第一采样图像。比如：上述的第一下采样操作可以是4倍、8倍、16倍下采样操作，在16倍下采样后，提取第一采样图像。上述的第二下采样操作可以是32倍的下采样操作，在第二下采样操作中，不再增加下采样的倍数。
上述的4倍下采样可以理解为每隔4个像素点取一个像素点的像素值，形成新的人脸图像，同理，8倍、16倍、32倍下采样也可以分别每隔8个、16个、32个像素点取一个像素点进行采样，得到更小的人脸图像。上述的采样可以是通过卷积核进行采样，比如4倍采样时，可以采用1×1卷积核，滑动步长为4对人脸图像进行采样。
以第一下采样操作为4倍、8倍、16倍下采样操作、第二下采样操作为32倍下采样操作为例进行理解，在经过4倍、8倍、16倍下采样后，提取得到第一采样图像，并将第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征。在第一通道注意力模块中，第一采样图像依次经过全局平均池化层global pool，1×1conv卷积层，批规范化层Batchnorm，激活函数层sigmoid，进行处理，再与第一采样图像通过乘法器mul进行乘法操作，得到第一采样特征。
在32倍下采样后，提取得到第二采样图像，并将第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征。同理，在第二通道注意力模块中，第二采样图像依次经过全局平均池化层global pool，1×1conv卷积层，批规范化层Batch norm，激活函数层sigmoid，进行处理，再与第二采样图像通过乘法器mul进行乘法操作，得到第二采样特征。
将第一采样特征与所述第二采样特征进行相加，得到特征图像。
在一种可能的实施例中，当采用resnet18深度卷积神经网络为实现时，在第一下采样与第二下采样阶段之后，还存在后续的阶段通过恒等映射进行处理，即这些阶段输入是什么，输出也是什么。保持卷积神经网络的深度以实现更复杂的特征提取，同时，避免造成梯度爆炸或梯度消失的问题。
203、根据通道值，对特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像。
通过步骤202得到特征图像后，遍历特征图像中的各个特征点对应的通道值。上述特征图像中的特征点为经过卷积和下采样后得到，
根据各个特征点对应的通道值中的各个特征点的最大通道值，确定各个特征点所对应的通道。上述的特征点由对图像进行卷积得到，一个特征点代表原图像中的一个区域所有像素点卷积结果，比如用一个3×3卷积核对原图像进行卷积，则得到的特征图像中的一个特征点代表原图像中3×3区域的9像素点的卷积结果。
具体的，对于具有n个通道的特征图像，在特征图像中任意一个特征点(i，j)均有n个通道值，上述的通道可以理解为不同卷积核对应的卷积结果，由对第二卷积神经网络进行训练得到对应的卷积核参数。比如，在训练时，对应的人脸分割标注数据集中标注了眼睛，则在训练过程中，训练得到拟合的卷积核参数，将卷积核参数用于对眼睛的卷积计算，得到的卷积结果做为眼睛通道的通道值。上述的通道值也可以称为通道预测值，用于预测各个特征点所属于的是哪个特征区域。上述的n可以根据用户的需要进行设定，比如想分为背景、皮肤，眼睛、鼻子、嘴等5类，则n＝5，想分为背景、皮肤，眼睛、鼻子、嘴、耳朵等6类，则n＝6。需要说明的是，n为大于等于1的整数。
对于特征图像中任意一个特征点(i，j)的n个通道值，存在一个最大通道值，该最大通道值所对应的通道，则是该点预测所在特征区域的通道。比如，定义通道标识1、2、3、4、5、6分别对应的通道为背景、皮肤，眼睛、鼻子、嘴、耳朵等6个特征区域，各通道值依次对应0.11，0.12，0.98，0.15，0.09，0.20，则通道3的通道值为0.98，是该点最大通道值，对应为眼睛的特征区域，则说明该点属于眼睛的概率为0.98。遍历特征图像中的每个点，则可以预测特征图像中的每个特征点所属的特征区域。
根据各个通道的掩码值，分别对各个特征点的最大通道值进行掩码。
根据特征图像中各个特征点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像。
各个通道具有各自不同的掩码值，比如通道1、2、3、4、5、6的掩码值依次为1、2、3、4、5、6等。结合上述的例子，对于特征点(i，j)，通道3的通道值为0.98，则对该点进行掩码，掩码值为3。同一个通道的掩码值是相同的，基于对特征图像中各个特征点的最大通道值进行掩码，则可以相同的掩码值，得到对应的特征区域，结合上述的例子，在特征图像中，假设一片区域中各个特征点的掩码值为3，则可以认为该区域为眼睛所对应的特征区域。根据各个掩码值对应的特征区域在特征图像中的分布，输出得到第二人脸图像。
在一种可能的实施例中，可以将掩码值直接或间接作为模糊处理时的像素更改值。在直接将掩码值作为像素更改值时，掩码值的预设取值范围应当在像素标准的取值区间内。在间接将掩码值作为像素更改值时，经过转换后的掩码值的取值范围应当在像素标准的取值区间内。通过将掩码值直接或间接作为模糊处理时的像素更改值，可以节省模糊的步骤。
在本发明实施例中，通过第二卷积神经网络对人脸图像进行分割，在分割过程中，采用下采样，使第二卷积神经网络具有较大的感受野，可以对较大的区域进行分割，有效避免分割区域过大而感受野不足时造成的分割误差，提高了对人脸图像分割的准确度，得到分割边界更准确的人脸的特征区域，进而提高模糊的准确度。
需要说明的是，本发明实施例提供的人脸模糊处理方法可以应用于需要进行人脸模糊处理的手机、监控器、计算机、服务器等设备。
请参见图5，图5是本发明实施例提供的一种人脸模糊处理装置的结构示意图，如图5所示，包括：
第一处理模块501，用于通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
第二处理模块502，用于将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
第三处理模块503，用于对所述特征区域进行模糊处理，得到模糊人脸图像。
可选的，如图6所示，所述第二处理模块502包括：
采样单元5021，用于对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，所述特征图像包括与特征区域对应数量的通道以及与所述通道对应的通道值；
掩码单元5022，用于根据所述通道值，对所述特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像。
可选的，如图7所示，所述采样单元5021包括：
采样子单元50211，用于依次对所述第一人脸图像进行第一下采样操作与第二下采样操作；
第一计算子单元50212，用于在所述第一下采样操作后，提取得到第一采样图像，并将所述第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；
第二计算子单元50213，用于在所述第二下采样操作后，提取得到第二采样图像，并将所述第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征；
第三计算子单元50214，用于将所述第一采样特征与所述第二采样特征进行相加，得到特征图像。
可选的，如图8所示，所述掩码单元5022包括：
遍历子单元50221，用于遍历特征图像中的各个特征点对应的通道值；
第一确定子单元50222，用于根据所述各个特征点对应的通道值中的各个点的最大通道值，确定各个特征点所对应的通道；
掩码子单元用于50223，根据各个通道的掩码值，分别对所述各个特征点的最大通道值进行掩码；
第二确定子单元50224，用于根据所述特征图像中各个特征点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像。
可选的，所述第三处理模块503还用于将所述特征区域的内部像素点对应的像素值进行更改，以对所述特征区域进行遮挡模糊，得到模糊人脸图像。
可选的，所述第三处理模块503还用于对所述特征区域的内部像素点对应的像素值进行马赛克算法，以对所述特征区域进行马赛克模糊，得到模糊人脸图像。
可选的，如图9所示，所述装置还包括：
训练模块504，用于通过人脸分割标注数据集对第二卷积神经网络进行训练，以使所述第二卷积神经网络学习到对应不同通道的人脸分割；
预设模块505，用于根据所需要的特征区域数量，预设对应的数量的通道及对应通道的掩码值。
需要说明的是，本发明实施例提供的人脸模糊处理装置可以应用于需要进行人脸模糊处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的人脸模糊处理装置能够实现上述方法实施例中人脸模糊处理方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图10，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，包括：存储器1002、处理器1001及存储在所述存储器1002上并可在所述处理器1001上运行的计算机程序，其中：
处理器1001用于调用存储器1002存储的计算机程序，执行如下步骤：
通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
对所述特征区域进行模糊处理，得到模糊人脸图像。
可选的，所述处理器1001执行的将所述第一人脸图像输入预设的第二卷积神经网络对所述目标人脸图像进行分割，得到第二人脸图像，包括：
对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，所述特征图像包括与特征区域对应数量的通道以及与所述通道对应的通道值；
根据所述通道值，对所述特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像。
可选的，所述处理器1001执行的所述对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，包括：
依次对所述第一人脸图像进行第一下采样操作与第二下采样操作；
在所述第一下采样操作后，提取得到第一采样图像，并将所述第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；
在所述第二下采样操作后，提取得到第二采样图像，并将所述第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征；
将所述第一采样特征与所述第二采样特征进行相加，得到特征图像。
可选的，所述处理器1001执行的所述根据所述通道值，对所述特征图像中对应各个通道的特征区域进行掩码以分割不同的特征区域，得到第二人脸图像，包括：
遍历特征图像中的各个特征点对应的通道值；
根据所述各个点对应的通道值中的各个特征点的最大通道值，确定各个特征点所对应的通道；
根据各个通道的掩码值，分别对所述各个特征点的最大通道值进行掩码；
根据所述特征图像中各个特征点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像。
可选的，所述处理器1001执行的所述对所述特征区域进行模糊处理，得到模糊人脸图像，包括：
将所述特征区域的内部像素点对应的像素值进行更改，以对所述特征区域进行遮挡模糊，得到模糊人脸图像。
可选的，所述处理器1001执行的所述对所述特征区域进行模糊处理，得到模糊人脸图像，包括：
对所述特征区域的内部像素点对应的像素值进行马赛克算法，以对所述特征区域进行马赛克模糊，得到模糊人脸图像。
可选的，所述处理器1001还执行所述第二卷积神经网络的预设，包括：
通过人脸分割标注数据集对第二卷积神经网络进行训练，以使所述第二卷积神经网络学习到对应不同通道的人脸分割；
根据所需要的特征区域数量，预设对应的数量的通道及对应通道的掩码值。
需要说明的是，上述电子设备可以是可以应用于需要进行人脸模糊处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中人脸模糊处理方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的人脸模糊处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (7)
1.一种人脸模糊处理方法，其特征在于，包括以下步骤：
通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，所述特征图像包括与特征区域对应数量的通道以及与所述通道对应的通道值；
遍历特征图像中的各个特征点对应的通道值；
根据所述各个特征点对应的通道值中的各个特征点的最大通道值，确定各个特征点所对应的通道；
根据各个通道的掩码值，分别对所述各个特征点的最大通道值进行掩码；
根据所述特征图像中各个特征点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
对所述特征区域进行模糊处理，得到模糊人脸图像。
2.如权利要求1所述的方法，其特征在于，所述对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，包括：
依次对所述第一人脸图像进行第一下采样操作与第二下采样操作；
在所述第一下采样操作后，提取得到第一采样图像，并将所述第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；
在所述第二下采样操作后，提取得到第二采样图像，并将所述第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征；
将所述第一采样特征与所述第二采样特征进行相加，得到特征图像。
3.如权利要求1所述的方法，其特征在于，所述对所述特征区域进行模糊处理，得到模糊人脸图像，包括：
将所述特征区域的内部像素点对应的像素值进行更改，以对所述特征区域进行遮挡模糊，得到模糊人脸图像。
4.一种人脸模糊处理装置，其特征在于，所述装置包括：
第一处理模块，用于通过预设的第一卷积神经网络对目标图像进行人脸检测，当检测到人脸时，提取目标图像中所述人脸所在区域的图像，得到第一人脸图像；
采样单元，用于对所述第一人脸图像进行下采样，将下采样后的所述第一人脸图像进行通道卷积相加，得到特征图像，所述特征图像包括与特征区域对应数量的通道以及与所述通道对应的通道值；
遍历子单元，用于遍历特征图像中的各个特征点对应的通道值；
第一确定子单元，用于根据所述各个特征点对应的通道值中的各个特征点的最大通道值，确定各个特征点所对应的通道；
掩码子单元，用于根据各个通道的掩码值，分别对所述各个特征点的最大通道值进行掩码；
第二确定子单元，用于根据所述特征图像中各个特征点的掩码值，确定并分割所述特征图像中的特征区域，得到第二人脸图像，所述第二人脸图像包括至少一个特征区域；
第三处理模块，用于对所述特征区域进行模糊处理，得到模糊人脸图像。
5.如权利要求4所述的装置，其特征在于，所述采样单元包括：
采样子单元，用于依次对所述第一人脸图像进行第一下采样操作与第二下采样操作，其中，所述第二下采样操作的倍数大于第一下采样操作的倍数；
第一计算子单元，用于在第一下采样操作后，提取得到第一采样图像，并将所述第一采样图像输入第一通道注意力模块进行卷积计算，得到第一采样特征；
第二计算子单元，用于在第二下采样操作后，提取得到第二采样图像，并将所述第二采样图像输入第二通道注意力模块进行卷积计算，得到第二采样特征；
第三计算子单元，用于将所述第一采样特征与所述第二采样特征进行相加，得到特征图像。
6.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的人脸模糊处理方法中的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的人脸模糊处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077052.8A CN112766028B (zh) | 2019-11-06 | 2019-11-06 | 人脸模糊处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077052.8A CN112766028B (zh) | 2019-11-06 | 2019-11-06 | 人脸模糊处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766028A CN112766028A (zh) | 2021-05-07 |
| CN112766028B true CN112766028B (zh) | 2024-05-03 |
Family
ID=75692706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911077052.8A Active CN112766028B (zh) | 2019-11-06 | 2019-11-06 | 人脸模糊处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766028B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313026B (zh) * | 2021-05-28 | 2023-04-28 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的人脸识别交互方法、装置以及设备 |
| CN113705511A (zh) * | 2021-09-02 | 2021-11-26 | 广州市奥威亚电子科技有限公司 | 手势识别方法及装置 |
| CN116798099B (zh) * | 2023-07-07 | 2024-01-12 | 广州广旭科技有限公司 | 一种劳务人员身份智能识别、管理方法以及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491771A (zh) * | 2017-09-21 | 2017-12-19 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
| WO2019079895A1 (en) * | 2017-10-24 | 2019-05-02 | Modiface Inc. | SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS |
| CN109829396A (zh) * | 2019-01-16 | 2019-05-31 | 广州杰赛科技股份有限公司 | 人脸识别运动模糊处理方法、装置、设备及存储介质 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110008817A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838124B (zh) * | 2017-09-12 | 2021-06-18 | 深圳科亚医疗科技有限公司 | 用于分割具有稀疏分布的对象的图像的方法、系统和介质 |
-
2019
- 2019-11-06 CN CN201911077052.8A patent/CN112766028B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491771A (zh) * | 2017-09-21 | 2017-12-19 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
| WO2019079895A1 (en) * | 2017-10-24 | 2019-05-02 | Modiface Inc. | SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN109829396A (zh) * | 2019-01-16 | 2019-05-31 | 广州杰赛科技股份有限公司 | 人脸识别运动模糊处理方法、装置、设备及存储介质 |
| CN110008817A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 卷积神经网络的人脸隐私保护识别;章坚武;沈炜;吴震东;;中国图象图形学报(第05期);全文 * |
| 基于卷积神经网络的人脸表情识别研究;李思泉;张轩雄;;软件导刊(第01期);全文 * |
| 基于深度学习的人脸美丽预测模型及其应用;姜开永;甘俊英;谭海英;;五邑大学学报(自然科学版)(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766028A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020238560A1 (zh) | 视频目标跟踪方法、装置、计算机设备及存储介质 | |
| CN110163080B (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
| CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN108492319B (zh) | 基于深度全卷积神经网络的运动目标检测方法 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN111178211A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和系统 | |
| CN112348828B (zh) | 基于神经网络的实例分割方法和装置以及存储介质 | |
| CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
| CN108337505B (zh) | 信息获取方法和装置 | |
| CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
| CN112648994B (zh) | 基于深度视觉里程计和imu的相机位姿估计方法及装置 | |
| CN111428664B (zh) | 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法 | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| Abiko et al. | Single image reflection removal based on GAN with gradient constraint | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN109977875A (zh) | 基于深度学习的手势识别方法及设备 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111292333B (zh) | 用于分割图像的方法和装置 | |
| CN111488779A (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| CN111160240B (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 | |
| CN117292139A (zh) | 特征提取模型的训练方法及图像处理方法、设备及介质 | |
| CN111126177A (zh) | 人数统计的方法及装置 | |
| CN112733670B (zh) | 指纹特征提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |