CN111368596A - 人脸识别逆光补偿方法、装置、可读存储介质及设备 - Google Patents
人脸识别逆光补偿方法、装置、可读存储介质及设备 Download PDFInfo
- Publication number
- CN111368596A CN111368596A CN201811599939.9A CN201811599939A CN111368596A CN 111368596 A CN111368596 A CN 111368596A CN 201811599939 A CN201811599939 A CN 201811599939A CN 111368596 A CN111368596 A CN 111368596A
- Authority
- CN
- China
- Prior art keywords
- face
- area
- gray
- indexes
- backlight compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000008859 change Effects 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 14
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 5
- 239000013589 supplement Substances 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸识别逆光补偿方、装置、计算机可读存储介质及设备,属于人脸识别领域。该方法包括:在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域;计算人脸区域的多个指标并确定多个指标的权重,所述多个指标包括人脸区域灰度指标和/或人脸区域频率域指标;根据所述人脸区域的多个指标以及多个指标的权重计算调整参数;判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
Description
技术领域
本发明涉及人脸识别领域,特别是指一种人脸识别逆光补偿方法、装置、计算机可读存储介质及设备。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术,用摄像机和摄像头采集含有人脸的图像或视频流,并在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,目前,人脸识别技术已经被广泛应用于安防、金融、公共安全等领域。
在进行人脸识别时,摄像机或摄像头拍摄图像质量对人脸识别的效率和准确率非常重要,图像质量的好坏与环境光照条件紧密相关。现有技术中一般采用固定逆光参数的近红外摄像头,当光照充足时,可以拍摄出明亮的、清晰图像,当光照不足时,比如夜间,拍摄图像亮度不够,且存在大量图像噪声,无法清晰成像,造成人脸识别时漏检率、拒识率高,甚至无法实现人脸识别。为了解决这种现象,现有技术中的一种方法是采用白光进行逆光补偿,由于人眼可以感知白光,在采用大功率白光进行逆光补偿时,会使人炫目,特别是在交通路口,很容易引发交通事故,若降低补光功率,又无法清晰成像,仍然达到不到人脸识别的要求。
发明内容
为解决上述技术问题,本发明提供一种人脸识别逆光补偿方法、装置、可读存储介质及设备,本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
本发明提供技术方案如下:
第一方面,本发明提供一种人脸识别逆光补偿方法,所述方法包括:
在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域;
计算人脸区域的多个指标并确定多个指标的权重,所述多个指标包括人脸区域灰度指标和/或人脸区域频率域指标;
根据所述人脸区域的多个指标以及多个指标的权重计算调整参数;
判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。
进一步的,在当前逆光补偿参数下采集到的人脸图像为多帧,所述方法还包括:
根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行所述计算人脸区域的多个指标并确定多个指标的权重,否则,重新执行所述在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域。
进一步的,所述根据采集到的多帧人脸图像的变化判断人脸图像是否稳定包括:
将人脸图像减去人脸区域,得到环境区域;
分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值;
若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。
进一步的,所述分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值包括:
计算相邻两帧人脸图像的人脸区域/环境区域的灰度方差;
将相邻两帧人脸图像的人脸区域/环境区域的灰度方差相减后求绝对值,得到人脸区域/环境区域的灰度方差变化值;
按照多帧人脸图像的采集时间顺序每隔一定帧数计算一次人脸区域/环境区域的灰度方差变化值,得到按时间顺序的人脸区域/环境区域的多个灰度方差变化值;
若人脸区域的多个灰度方差变化值均小于设定的人脸区域灰度方差变化阈值,且时间顺序靠后的人脸区域的灰度方差变化值小于时间顺序靠前的人脸区域的灰度方差变化值;同时,环境区域的多个灰度方差变化值均小于设定的环境区域灰度方差变化阈值,且时间顺序靠后的环境区域的灰度方差变化值小于时间顺序靠前的环境区域的灰度方差变化值;则人脸图像稳定。
进一步的,所述人脸区域灰度指标包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸T区的灰度均值、人脸区域的灰度动态范围、人脸区域的二维熵,所述人脸区域频率域指标包括人脸区域的FFT高频占比,所述多个指标包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸区域的灰度动态范围、人脸区域的二维熵、人脸区域的FFT高频占比中的至少一个以及人脸T区的灰度均值。
进一步的,调整当前逆光补偿参数的方法为:
根据调整参数与预设的阈值范围的上限或下限的差值确定调整数值,使用确定出的调整数值一次调整逆光补偿参数;
或者,根据调整参数小于预设的阈值范围的下限或大于预设的阈值范围的上限的情况将当前逆光补偿参数增加或减小固定数值,然后返回最开始的步骤,重复调整逆光补偿参数,直至调整参数在预设的阈值范围内。
第二方面,本发明提供一种人脸识别逆光补偿装置,所述装置包括:
采集模块,用于在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域;
指标计算模块,用于计算人脸区域的多个指标并确定多个指标的权重,所述多个指标包括人脸区域灰度指标和/或人脸区域频率域指标;
调整参数计算模块,用于根据所述人脸区域的多个指标以及多个指标的权重计算调整参数;
调整模块,用于判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。
进一步的,在当前逆光补偿参数下采集到的人脸图像为多帧,所述装置还包括:
稳定判断模块,用于根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行所述指标计算模块,否则,重新执行所述采集模块;
所述稳定判断模块包括:
环境区域获取单元,用于将人脸图像减去人脸区域,得到环境区域;
灰度方差变化值计算单元,用于分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值;
其中,若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。
第三方面,本发明提供一种用于人脸识别逆光补偿的计算机可读存储介质,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括前述的第一方面所述人脸识别逆光补偿方法的步骤。
第四方面,本发明提供一种用于人脸识别逆光补偿的设备,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现前述的第一方面所述人脸识别逆光补偿方法的步骤。
本发明具有以下有益效果:
本发明采用人脸区域灰度指标和/或人脸区域频率域指标及其权重计算得到能够很好地反映人脸区域清晰度的调整参数,并根据调整参数与设定的阈值范围的关系决定是否调整当前逆光补偿参数,以及如何调整当前逆光补偿参数,得到合适的逆光补偿参数,在该逆光补偿参数的补光下采集到清晰的人脸图像。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
附图说明
图1为本发明的人脸识别逆光补偿方法流程图;
图2为68特征点定位的方法示意图;
图3为本发明的人脸识别逆光补偿装置示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本发明实施例提供了一种人脸识别逆光补偿方法,用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下自动调整逆光补偿参数,从而能够清晰成像。如图1所示,该方法包括:
步骤S100:在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域。
在本步骤中,最初的时候使用当前逆光补偿参数进行补光,并在当前逆光补偿参数下采集人脸图像。本发明实施例的人脸图像仅仅是指人脸识别装置的摄像机或摄像头采集到的图像,并不是指包括人脸的图像,人脸图像可以包括人脸,也可以不包括人脸,例如用户人脸在摄像头之外时,采集到的图像不包括人脸,这类的图像在本发明中也被称为人脸图像。
本步骤中,优选通过人脸检测算法检测人脸图像里是否存在人脸,并定位出人脸区域。
步骤S200:计算人脸区域的多个指标并确定多个指标的权重,多个指标包括人脸区域灰度指标和/或人脸区域频率域指标。
灰度指标和人脸区域频率域指标能够反映人脸区域的清晰度,本发明实施例可以根据需要选择合适的指标;指标权重可以按照指标的数量,各指标对总体的贡献度以及各指标对补光的灵敏度等进行设置。
步骤300:根据人脸区域的多个指标以及多个指标的权重计算调整参数。
在本步骤中,在获得人脸区域的多个指标以及每个指标对应的权重之后,可以根据多个指标中的全部指标及其对应的权重计算调整参数,也可以根据多个指标中的部分指标及其对应的权重计算调整参数。调整参数将各个指标按权重进行综合,能够很好地反映人脸区域的清晰度。
步骤400:判断调整参数是否在预设的阈值范围内,若是,则人脸图像的清晰度满足要求,不调整当前逆光补偿参数,输出采集到的人脸图像即可,否则,人脸图像的清晰度不满足要求,调整当前逆光补偿参数,使用调整后的逆光补偿参数进行补光。
当前逆光补偿参数的调整根据调整参数与预设的阈值范围的上下限的关系进行相应的增加或减小,具体是增加还是减小,以及增加减小的数值则与指标的选择以及预设的阈值范围的设定相关,调整的结果是使得人脸图像更清晰,调整参数向预设的阈值范围靠近。
本发明采用人脸区域灰度指标和/或人脸区域频率域指标及其权重计算得到能够很好地反映人脸区域清晰度的调整参数,并根据调整参数与设定的阈值范围的关系决定是否调整当前逆光补偿参数,以及如何调整当前逆光补偿参数,得到合适的逆光补偿参数,在该逆光补偿参数的补光下采集到清晰的人脸图像。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
当步骤S100中检测到人脸图像中存在人脸时,还可以进一步判断采集到的人脸图像是否稳定,判断人脸图像是否稳定需要用到多幅人脸图像,本发明实施例优选通过视频流获取多帧人脸图像,此时,步骤S100中,在当前逆光补偿参数下采集到的人脸图像为多帧,判断人脸图像是否稳定的方法包括:
步骤S110:根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行步骤S200,否则,重新执行步骤S100。
本发明的采集帧速优选为30帧/S,采集到的多帧人脸图像的分辨率优选为640*480。此时,优选采用68特征点定位的方法进行人脸检测,68特征点定位的人脸检测方法执行效率快,丝毫不影响设定的采集帧速30帧/s,能够避免漏检和误检,从而提高人脸检测的执行效率,当然,也可以采用其他人脸检测方法。
标定人脸68点示意图如图2所示,依次连线点1-2-3-4-5-6-7-8-9-10-11-12-13-14-15-16-17-27-26-25-24-23-22-21-20-19-18-1所围成的闭合区域定义为人脸区域。其中,当检测到多张人脸的时候,取点1到点17的距离作为人脸宽度,取宽度最大者为目标人脸对象。
人脸图像稳定是指采集到的多帧人脸图像相似,其差别不大,说明在采集这一系列人脸图像时,用户人脸、摄像头以及环境光照等处于稳定的状态,采集到的人脸图像的质量以及一致性较好。本发明实施例通过采集到的多帧人脸图像的变化判断人脸图像是否稳定。
本发明中,根据采集到的多帧人脸图像的变化判断人脸图像是否稳定的方法可以有多种,可以选取人脸图像的多种特征指标来反映多帧人脸图像的变化,这里给出一个示例,包括:
步骤S111:将人脸图像减去人脸区域,得到环境区域。
在本步骤中,人脸区域指的是整张人脸图像中的人脸部分,环境区域为整张人脸图像中去掉人脸区域外的区域。
步骤S112:分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值。
在本步骤中,两帧图像的灰度方差变化值反应的是两帧图像亮度的变化值,本发明实施例根据图像亮度变化值判断图像是否稳定。两帧人脸图像是预设帧,优选是一秒内采集的人脸图像中的两帧,更优选的是相邻的两帧。
其中,若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。即两帧人脸图像的人脸区域和环境区域亮度变化小于一定程度即认为人脸图像稳定。
具体的,分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值包括:
步骤S1121:计算相邻两帧人脸图像的人脸区域(或环境区域)的灰度方差。
灰度方差反映一幅图像的清晰度,如果一幅图像的灰度方差小,那么该图像看起来灰蒙蒙的,不清晰;如果一幅图像的灰度方差大,那么该图像看起来对比度明显,清晰。
本发明实施例中,灰度方差可以是现有技术常规的图像灰度方差,即每个像素点的灰度值减去图像平均灰度值的平方和除以总的像素个数,也可以是本发明定义的灰度方差,参见后文的定义。
步骤S1122:将相邻两帧人脸图像的人脸区域(或环境区域)的灰度方差相减后求绝对值,即可得到人脸区域(或环境区域)的灰度方差变化值。
本发明可以通过一个灰度方差变化值判断人脸图像是否稳定,此时只要判断相邻两帧人脸图像的人脸区域和环境区域的灰度方差变化值是否分别小于设定阈值即可。
本发明还可以通过一系列的灰度方差变化值判断人脸图像是否稳定,此时,本发明实施例还包括:
步骤S1123:按照多帧人脸图像的采集时间顺序每隔一定帧数计算一次人脸区域(或环境区域)的灰度方差变化值,得到按时间顺序的人脸区域(或环境区域)的多个灰度方差变化值。
其中,若人脸区域的多个灰度方差变化值均小于设定的人脸区域灰度方差变化阈值,且时间顺序靠后的人脸区域的灰度方差变化值小于时间顺序靠前的人脸区域的灰度方差变化值;同时,环境区域的多个灰度方差变化值均小于设定的环境区域灰度方差变化阈值,且时间顺序靠后的环境区域的灰度方差变化值小于时间顺序靠前的环境区域的灰度方差变化值;则人脸图像稳定。
本发明通过一系列的按时间顺序的灰度方差变化值来判断人脸图像是否稳定,更能反映出人脸图像趋于稳定的过程,判断结果更准确。
本发明的多个指标可以根据需要进行设定,例如:人脸区域灰度指标可以包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸T区的灰度均值、人脸区域的灰度动态范围、人脸区域的二维熵,人脸区域频率域指标可以包括人脸区域的FFT高频占比。
多个指标优选必须包括人脸T区的灰度均值,以及还可以包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸区域的灰度动态范围、人脸区域的二维熵、人脸区域的FFT高频占比中的至少一个。
本发明中,各个指标的计算方法如下:
人脸区域的亮部灰度占比通过如下方法计算得到:
步骤S210:图像每个像素的灰度值的范围为0~255,将人脸区域按灰度亮阶分区为三种亮阶区域,其中:
第一亮阶区域:0≤gray[x,y]≤150;
第二亮阶区域:151≤gray[x,y]≤220;
第三亮阶区域:221≤gray[x,y]≤255;
gray[x,y]为人脸区域第x行,第y列的像素的灰度值;
步骤S220:计算三种亮阶区域占人脸区域的占比brArRoF、brArRoS、brArRoT,本发明实施例优选将第二亮阶区域的占比brArRoS作为人脸区域的亮部灰度占比。
本发明实施例还包括:
步骤S230:根据灰度方差的定义公式计算人脸区域的灰度方差、背景区域的灰度方差和人脸T区的灰度方差,本发明实施例图像的灰度方差的定义公式优选如下:
variGy=(gray[x1,y1]-AveGy)×(gray[x1,y1]-AveGy)+
(gray[x1+1,y1]-AveGy)×(gray[x1+2,y1]-AveGy)+
...+
(gray[x2,y1]-AveGy)×(gray[x2,y1]-AveGy)+
(gray[x1,y1+1]-AveGy)×(gray[x1,y1+1]-AveGy)+
(gray[x1+1,y1+1]-AveGy)×(gray[x1+2,y1+1]-AveGy)+
...+
(gray[x2,y1+1]-AveGy)×(gray[x2,y1+1]-AveGy)+
......+
(gray[x1,y2]-AveGy)×(gray[x1,y2]-AveGy)+
(gray[x1+1,y2]-AveGy)×(gray[x1+2,y2]-AveGy)+
...+
(gray[x2,y2]-AveGy)×(gray[x2,y2]-AveGy)
(x1,y1)为图像的左下角坐标,(x2,y2)为图像的右上角坐标,AveGy为图像的灰度均值,gray[x,y]为图像坐标(x,y)像素的灰度值,x=x1,x1+1,x1+2,……,x2,y=y1,y1+1,y1+2,……,y2。
以人脸图像大小为640*480分辨率,每秒采集30帧为例来说明人脸区域的灰度方差以及灰度方差变化值的计算过程:
首先,计算人脸区域的灰度均值AveGyF,将人脸区域的各个像素点的灰度值加权平均即可。
然后,根据灰度方差的定义公式计算前后相邻两帧人脸图像的人脸区域的灰度方差variGyF[1]和variGyF[2]。
根据variGyF[1]和variGyF[2]计算人脸区域的灰度方差变化值,diffVariGyF,diffVariGyF=∣variGyF[1]-variGyF[2]∣。
如果需要时间先后顺序的多个灰度方差变化值,则还进行如下操作:
设备的帧速为每秒30帧,算得当前秒内,每隔10帧的灰度方差变化值如下:
diffVariGyF[1]=∣variGyF[n+1]-variGyF[n+0]∣;
diffVariGyF[2]=∣variGyF[n+11]-variGyF[n+10]∣;
diffVariGyF[3]=∣variGyF[n+21]-variGyF[n+20]∣;
n为常数。
以相同的方法计算得到按时间顺序的环境区域的多个灰度方差变化值diffVariGyE[1],diffVariGyE[2],diffVariGyE[3];
若同时满足以下两个条件,则人脸图像稳定:
diffVariGyF[3]<diffVariGyF[2]<diffVariGyF[1]<diffMaxF;
diffVariGyE[3]<diffVariGyE[2]<diffVariGyE[1]<diffMaxE;
diffMaxF为设定的人脸区域的灰度方差变化阈值,diffMaxE为设定的环境区域的灰度方差变化阈值。两个阈值是视调试情况来确定的经验参数。
人脸T区是指人脸的额头区域和鼻子区域组成的T形区域,在采集到的人脸图像上定位出人脸区域也就能标定出人脸T区,例如68特征点定位出的人脸可以很明显的得到人脸T区,如图2所示。
当判断采集的人脸图像稳定时,进行人脸标定,并标定出人脸T区,根据前述的图像的灰度方差的定义公式即可计算出人脸T区的灰度方差variGyT。
将人脸T区的各个像素点的灰度值加权平均即可得到人脸T区的灰度均值AveGyT。
人脸区域的灰度动态范围通过如下方法计算得到:
步骤S240:统计得到人脸区域的有效最小灰度值和有效最大灰度值,其中:灰度值的像素个数占总像素个数的占比达到设定比值的最小灰度值即为有效最小灰度值,灰度值的像素个数占总像素个数的占比达到设定比值的最大灰度值即为有效最大灰度值。
本步骤对人脸区域的不同灰度值进行统计,取得有效最小灰度值minGy和有效最大灰度值maxGy,
有效最小灰度值是指达到此灰度值minGy的像素个数在人脸区域占一定比例,本实施例中取的比例值为1%;有效最大灰度值同理。dyRgGy的理论范围在0~255。
步骤S250:将有效最大灰度值与有效最小灰度值相减即得到人脸区域的灰度动态范围dyRgGy,公式如下:
dyRgGy=maxGy-minGy。
人脸图像的二维熵通过如下方法计算得到:
步骤S260:首先进行灰度直方图的统计,即统计人脸区域的灰度级的分布情况,记录下来0~255这个区间内每一灰度级的像素出现的个数,nH[i],i=0,1,2,……,255,以向量的形式记为nH,按式hG[i]=nH[i]/nSgy算得向量hG,向量hG长度为255,向量hG的元素hG[i]代表灰度级为i的像素在人脸区域中出现的频率(其中nSgy为人脸区域总像素数),人脸区域的一维熵imgEpyO的计算公式如下:
步骤S270:记i为中心像素的灰度级(范围0~255),j为邻域像素的灰度级(范围0~255),定义一个特征二元组hHT[i,j]记录人脸区域中中心灰度级为i,邻域像素灰度级为j的像素在人脸区域出现的次数,N为图像尺度,按式hGT[i,j]=hHT[i,j]/N2算得hGT[i,j]为人脸区域中中心灰度级为i,邻域像素灰度级为j的像素在人脸区域出现的频率;则图像二维熵imgEpyT的计算公式如下,
人脸区域的FFT高频占比通过如下方法计算得到:
步骤S280:对人脸区域进行二维离散傅里叶变换(Fast FourierTransformation,FFT),将人脸区域从空间域转换成频率域;二维离散傅立叶变换公式如下:
其中,i为虚数单位,u=0,1,...,M-1,v=0,1,...N-1;f(m,n)为原图像的横坐标m,纵坐标n的像素的灰度值,F(u,v)为FFT后图像的横坐标u,纵坐标v的像素的灰度值,M为图像区域的宽度,N为图像区域的高度。
步骤S290:统计频率域的高频分量占比,即为人脸区域的FFT高频占比fftRo。
本发明在调试中测试大量的人脸图像,发现成像清晰的图像,其高频分量占比比较高,得到fftRo后,设定合适的区间fftRoMin~fftRoMax,取落入此合理区间的fftRo作为后续步骤的一个评价指标。
由前述,计算出的指标包括人脸区域的亮部灰度占比brArRoS,人脸T区的灰度方差variGyT,人脸T区的灰度均值AveGyT,人脸区域的灰度动态范围dyRgGy,人脸区域的二维熵imgEpyT,人脸区域的FFT高频占比fftRo一共6个。
在获得6个指标后,同时分别设定6个指标的权重,根据指标和对应的权重得到一个调整参数AW:
AW=w1*brArRoS+w2*variGyTNo+w3*AveGyTNo+w4*dyRgGyNo+w5*imgEpyT+w6*fftRo。
其中,将variGyT,AveGyT,dyRgGy进行归一化运算得到variGyTNo、AveGyTNo以及dyRgGyNo,w1,w2,w3,w4,w5,w6分别为人脸区域的亮部灰度占比brArRoS,人脸T区的灰度方差variGyT,人脸T区的灰度均值AveGyT,人脸区域的灰度动态范围dyRgGy,人脸区域的二维熵imgEpyT,人脸区域的FFT高频占比fftRo对应的权重系数,按调各指标对补光的的灵敏度来设权重值,由于人脸T区的灰度均值AveGyT灵敏度适中,因此其对应的权重最大,过于灵敏的指标和过于不灵敏的指标对应的权重都不适合占有较大的权重。
例如:在一个实施例中,计算了前述的6个指标,每个指标对应的权重可以设置为w1取0.16,w2取0.08,w3取0.46,w4取0.12,w5取0.17,w6取0.13。又例如,在另一个实施例中,计算brArRoS,variGyT,AveGyT,dyRgGy共4个指标,每个指标对应的权重可以设置为w1取0.1,w2取0.05,w3取0.55,w4取0.3。当然,还可以选择其他指标来获得调整指标AW。
然后,本发明即可根据调整参数AW判断人脸图像是否清晰,具体地,判断AW是否处于预设的阈值范围内,如果是,则说明图像清晰,输出当前帧图像;如果AW没有在预设的阈值范围内,则说明图像不清晰,通过通信接口读出当前逆光补偿参数,进行调整,调整当前逆光补偿参数的方法可以有多种,下面举两个示例进行说明:
示例一:
步骤410:根据调整参数AW与预设的阈值范围的上限H或下限L的差值确定调整数值,使用确定出的调整数值一次调整逆光补偿参数。
例如,若AW大于H,则计算AW-H的值,根据计算得到的值减小逆光补偿参数的数值,逆光补偿参数减小的数值与H-AW的值成一定比例。若AW小于L,则计算L-AW的值,根据计算得到的值增加逆光补偿参数的数值,逆光补偿参数增加的数值与L-AW的值成一定比例。本示例可以一次将逆光补偿参数调整到需要的值,缺点是没有反馈机制,调整结果不精确。
示例二:
步骤420:根据调整参数小于预设的阈值范围的下限或大于预设的阈值范围的上限的情况将当前逆光补偿参数增加或减小固定数值,然后返回最开始的步骤,重复调整逆光补偿参数,直至调整参数在预设的阈值范围内。
例如,如果调整指参数AW低于下限参数L,则当前逆光补偿参数BL增1,如果调整指参数AW高于上限参数H,则逆光补偿参数BL减1,并将新的逆光补偿参数BL经通讯端口发送到设备,重新执行一遍本方法的步骤,并计算新的当前AW值,再次与L及H进行比较,得到新的BL值,发送到设备,循环往复进行这个调整,直至满足L<AW<H,则调整到位,停止本轮调整。
实施例2:
本发明实施例提供了一种人脸识别逆光补偿装置,如图3所示,该装置包括:
采集模块10,用于在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域。
指标计算模块20,用于计算人脸区域的多个指标并确定多个指标的权重,多个指标包括人脸区域灰度指标和/或人脸区域频率域指标。
调整参数计算模块30,用于根据人脸区域的多个指标以及多个指标的权重计算调整参数。
调整模块40,用于判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。
本发明采用人脸区域灰度指标和/或人脸区域频率域指标及其权重计算得到能够很好地反映人脸区域清晰度的调整参数,并根据调整参数与设定的阈值范围的关系决定是否调整当前逆光补偿参数,以及如何调整当前逆光补偿参数,得到合适的逆光补偿参数,在该逆光补偿参数的补光下采集到清晰的人脸图像。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
当采集模块检测到人脸图像中存在人脸时,还可以进一步判断采集到的人脸图像是否稳定,此时,该装置还包括:
稳定判断模块,用于根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行指标计算模块,否则,重新执行采集模块。
本发明中,稳定判断模块可以有多种形式,可以选取人脸图像的多种特征指标来反映多帧人脸图像的变化,这里给出一个示例,稳定判断模块包括:
环境区域获取单元,用于将人脸图像减去人脸区域,得到环境区域。
灰度方差变化值计算单元,用于分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值。
其中,若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。
具体的,灰度方差变化值计算单元包括:
灰度方差计算单元,用于计算相邻两帧人脸图像的人脸区域(或环境区域)的灰度方差。
相减单元,用于将相邻两帧人脸图像的人脸区域(或环境区域)的灰度方差相减后求绝对值,得到人脸区域(或环境区域)的灰度方差变化值。
本发明可以通过一个灰度方差变化值判断人脸图像是否稳定,此时只要判断相邻两帧人脸图像的人脸区域和环境区域的灰度方差变化值是否分别小于设定阈值即可。
本发明还可以通过一系列的灰度方差变化值判断人脸图像是否稳定,此时,本发明实施例还包括:
按照多帧人脸图像的采集时间顺序每隔一定帧数计算一次人脸区域(或环境区域)的灰度方差变化值,得到按时间顺序的人脸区域(或环境区域)的多个灰度方差变化值;
其中,若人脸区域的多个灰度方差变化值均小于设定的人脸区域灰度方差变化阈值,且时间顺序靠后的人脸区域的灰度方差变化值小于时间顺序靠前的人脸区域的灰度方差变化值;同时,环境区域的多个灰度方差变化值均小于设定的环境区域灰度方差变化阈值,且时间顺序靠后的环境区域的灰度方差变化值小于时间顺序靠前的环境区域的灰度方差变化值;则人脸图像稳定。
本发明通过一系列的按时间顺序的灰度方差变化值来判断人脸图像是否稳定,更能反映出人脸图像趋于稳定的过程,判断结果更准确。
本发明的多个指标可以根据需要进行设定,例如:人脸区域灰度指标可以包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸T区的灰度均值、人脸区域的灰度动态范围、人脸区域的二维熵,人脸区域频率域指标可以包括人脸区域的FFT高频占比。
多个指标优选必须包括人脸T区的灰度均值,以及还可以包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸区域的灰度动态范围、人脸区域的二维熵、人脸区域的FFT高频占比中的至少一个。
其中,人脸区域的亮部灰度占比通过如下单元模块计算得到:
人脸区域的亮部灰度占比计算单元,用于计算灰度值在[151,220]之间的像素个数占人脸区域总像素个数的占比,得到人脸区域的亮部灰度占比。
本发明实施例还包括:
灰度方差计算单元,用于根据灰度方差的定义公式计算人脸区域的灰度方差、背景区域的灰度方差和人脸T区的灰度方差,图像的灰度方差的定义公式如下:
variGy=(gray[x1,y1]-AveGy)×(gray[x1,y1]-AveGy)+
(gray[x1+1,y1]-AveGy)×(gray[x1+2,y1]-AveGy)+
...+
(gray[x2,y1]-AveGy)×(gray[x2,y1]-AveGy)+
(gray[x1,y1+1]-AveGy)×(gray[x1,y1+1]-AveGy)+
(gray[x1+1,y1+1]-AveGy)×(gray[x1+2,y1+1]-AveGy)+
...+
(gray[x2,y1+1]-AveGy)×(gray[x2,y1+1]-AveGy)+
......+
(gray[x1,y2]-AveGy)×(gray[x1,y2]-AveGy)+
(gray[x1+1,y2]-AveGy)×(gray[x1+2,y2]-AveGy)+
...+
(gray[x2,y2]-AveGy)×(gray[x2,y2]-AveGy)
(x1,y1)为图像的左下角坐标,(x2,y2)为图像的右上角坐标,AveGy为图像的灰度均值,gray[x,y]为图像坐标(x,y)像素的灰度值,x=x1,x1+1,x1+2,……,x2,y=y1,y1+1,y1+2,……,y2;
人脸T区是指人脸的额头区域和鼻子区域组成的T形区域,在采集到的人脸图像上定位出人脸区域也就能标定出人脸T区,例如68特征点定位出的人脸可以很明显的得到人脸T区,如图2所示。
当判断采集的人脸图像稳定时,进行人脸标定,并标定出人脸T区,根据前述的图像的灰度方差的定义公式即可计算出人脸T区的灰度方差variGyT。
将人脸T区的各个像素点的灰度值加权平均即可得到人脸T区的灰度均值AveGyT。
人脸区域的灰度动态范围通过如下单元模块计算得到:
统计单元,用于统计得到人脸区域的有效最小灰度值和有效最大灰度值,其中:灰度值的像素个数占总像素个数的占比达到设定比值的最小灰度值即为有效最小灰度值,灰度值的像素个数占总像素个数的占比达到设定比值的最大灰度值即为有效最大灰度值;
计算单元,用于将有效最大灰度值与有效最小灰度值相减即得到人脸区域的灰度动态范围;
人脸图像的二维熵通过如下单元模块计算得到:
一维熵计算单元,用于进行灰度直方图的统计,即统计人脸区域的灰度级的分布情况,记录下来0~255这个区间内每一灰度级的像素出现的个数,nH[i],i=0,1,2,……,255,以向量的形式记为nH,按式hG[i]=nH[i]/nSgy算得向量hG,向量hG长度为255,向量hG的元素hG[i]代表灰度级为i的像素在人脸区域中出现的频率(其中nSgy为人脸区域总像素数),人脸区域的一维熵imgEpyO的计算公式如下:
二维熵计算单元,用于记i为中心像素的灰度级(范围0~255),j为邻域像素的灰度级(范围0~255),定义一个特征二元组hHT[i,j]记录人脸区域中中心灰度级为i,邻域像素灰度级为j的像素在人脸区域出现的次数,N为图像尺度,按式hGT[i,j]=hHT[i,j]/N2算得hGT[i,j]为人脸区域中中心灰度级为i,邻域像素灰度级为j的像素在人脸区域出现的频率;则图像二维熵imgEpyT的计算公式如下,
人脸区域的FFT高频占比通过如下单元模块计算得到:
傅里叶变换单元,用于对人脸区域进行二维离散傅里叶变换,将人脸区域从空间域转换成频率域;
高频分量统计单元,用于统计频率域的高频分量占比,即为人脸区域的FFT高频占比。
在获得各个指标后,同时分别设定各个指标的权重,根据指标和对应的权重得到一个调整参数。
然后,本发明即可根据调整参数判断人脸图像是否清晰,具体地,判断是否处于预设的阈值范围内,如果是,则说明图像清晰,输出当前帧图像;如果调整参数没有在预设的阈值范围内,则说明图像不清晰,通过通信接口读出当前逆光补偿参数,进行调整,调整当前逆光补偿参数的方式可以有多种,下面举两个示例进行说明:
通过如下单元模块调整当前逆光补偿参数:
示例一:
第一调整单元,用于根据调整参数与预设的阈值范围的上限或下限的差值确定调整数值,使用确定出的调整数值一次调整逆光补偿参数。
示例二:
第二调整单元,用于根据调整参数小于预设的阈值范围的下限或大于预设的阈值范围的上限的情况将当前逆光补偿参数增加或减小固定数值,然后返回最开始的采集模块,重复调整逆光补偿参数,直至调整参数在预设的阈值范围内。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
实施例3:
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。因此,本发明还提供用于人脸识别逆光补偿的计算机可读存储介质,包括处理器及用于存储处理器可执行指令的存储器,指令被处理器执行时实现包括实施例1的人脸识别逆光补偿方法的步骤。
本发明采用人脸区域灰度指标和/或人脸区域频率域指标及其权重计算得到能够很好地反映人脸区域清晰度的调整参数,并根据调整参数与设定的阈值范围的关系决定是否调整当前逆光补偿参数,以及如何调整当前逆光补偿参数,得到合适的逆光补偿参数,在该逆光补偿参数的补光下采集到清晰的人脸图像。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
实施例4:
本发明还提供一种用于人脸识别逆光补偿的设备,所述的设备可以为单独的计算机,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于人脸识别逆光补偿的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器,处理器执行所述指令时实现上述任意一个或者多个实施例中所述人脸识别逆光补偿方法的步骤。
本发明采用人脸区域灰度指标和/或人脸区域频率域指标及其权重计算得到能够很好地反映人脸区域清晰度的调整参数,并根据调整参数与设定的阈值范围的关系决定是否调整当前逆光补偿参数,以及如何调整当前逆光补偿参数,得到合适的逆光补偿参数,在该逆光补偿参数的补光下采集到清晰的人脸图像。本发明适用于室内暗光、室内强逆光、室外强逆光、夜晚室外环境下的自动补光,能够自适应调节逆光补偿参数,解决暗光及逆光环境下人脸图像过曝或过暗从而使得人脸面部信息缺失的问题。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
需要说明的是,本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类、存储介质+程序实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种人脸识别逆光补偿方法,其特征在于,所述方法包括:
在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域;
计算人脸区域的多个指标并确定多个指标的权重,所述多个指标包括人脸区域灰度指标和/或人脸区域频率域指标;
根据所述人脸区域的多个指标以及多个指标的权重计算调整参数;
判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。
2.根据权利要求1所述的人脸识别逆光补偿方法,其特征在于,在当前逆光补偿参数下采集到的人脸图像为多帧,所述方法还包括:
根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行所述计算人脸区域的多个指标并确定多个指标的权重,否则,重新执行所述在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域。
3.根据权利要求2所述的人脸识别逆光补偿方法,其特征在于,所述根据采集到的多帧人脸图像的变化判断人脸图像是否稳定包括:
将人脸图像减去人脸区域,得到环境区域;
分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值;
若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。
4.根据权利要求3所述的人脸识别逆光补偿方法,其特征在于,所述分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值包括:
计算相邻两帧人脸图像的人脸区域/环境区域的灰度方差;
将相邻两帧人脸图像的人脸区域/环境区域的灰度方差相减后求绝对值,得到人脸区域/环境区域的灰度方差变化值;
按照多帧人脸图像的采集时间顺序每隔一定帧数计算一次人脸区域/环境区域的灰度方差变化值,得到按时间顺序的人脸区域/环境区域的多个灰度方差变化值;
若人脸区域的多个灰度方差变化值均小于设定的人脸区域灰度方差变化阈值,且时间顺序靠后的人脸区域的灰度方差变化值小于时间顺序靠前的人脸区域的灰度方差变化值;同时,环境区域的多个灰度方差变化值均小于设定的环境区域灰度方差变化阈值,且时间顺序靠后的环境区域的灰度方差变化值小于时间顺序靠前的环境区域的灰度方差变化值;则人脸图像稳定。
5.根据权利要求4所述的人脸识别逆光补偿方法,其特征在于,所述人脸区域灰度指标包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸T区的灰度均值、人脸区域的灰度动态范围、人脸区域的二维熵,所述人脸区域频率域指标包括人脸区域的FFT高频占比,所述多个指标包括人脸区域的亮部灰度占比、人脸T区的灰度方差、人脸区域的灰度动态范围、人脸区域的二维熵、人脸区域的FFT高频占比中的至少一个以及人脸T区的灰度均值。
6.根据权利要求1-5任一所述的人脸识别逆光补偿方法,其特征在于,调整当前逆光补偿参数的方法为:
根据调整参数与预设的阈值范围的上限或下限的差值确定调整数值,使用确定出的调整数值一次调整逆光补偿参数;
或者,根据调整参数小于预设的阈值范围的下限或大于预设的阈值范围的上限的情况将当前逆光补偿参数增加或减小固定数值,然后返回最开始的步骤,重复调整逆光补偿参数,直至调整参数在预设的阈值范围内。
7.一种人脸识别逆光补偿装置,其特征在于,所述装置包括:
采集模块,用于在当前逆光补偿参数下采集人脸图像,并在采集到的人脸图像上定位出人脸区域;
指标计算模块,用于计算人脸区域的多个指标并确定多个指标的权重,所述多个指标包括人脸区域灰度指标和/或人脸区域频率域指标;
调整参数计算模块,用于根据所述人脸区域的多个指标以及多个指标的权重计算调整参数;
调整模块,用于判断调整参数是否在预设的阈值范围内,若是,不调整当前逆光补偿参数,否则,调整当前逆光补偿参数。
8.根据权利要求7所述的人脸识别逆光补偿装置,其特征在于,在当前逆光补偿参数下采集到的人脸图像为多帧,所述装置还包括:
稳定判断模块,用于根据采集到的多帧人脸图像的变化判断人脸图像是否稳定,若是,执行所述指标计算模块,否则,重新执行所述采集模块;
所述稳定判断模块包括:
环境区域获取单元,用于将人脸图像减去人脸区域,得到环境区域;
灰度方差变化值计算单元,用于分别计算两帧人脸图像的人脸区域和环境区域的灰度方差变化值;
其中,若两帧人脸图像的人脸区域和环境区域的灰度方差变化值分别小于设定阈值,则人脸图像稳定。
9.一种用于人脸识别逆光补偿的计算机可读存储介质,其特征在于,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括权利要求1-6任一所述人脸识别逆光补偿方法的步骤。
10.一种用于人脸识别逆光补偿的设备,其特征在于,包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-6中任意一项所述人脸识别逆光补偿方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811599939.9A CN111368596B (zh) | 2018-12-26 | 2018-12-26 | 人脸识别逆光补偿方法、装置、可读存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811599939.9A CN111368596B (zh) | 2018-12-26 | 2018-12-26 | 人脸识别逆光补偿方法、装置、可读存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368596A true CN111368596A (zh) | 2020-07-03 |
CN111368596B CN111368596B (zh) | 2023-08-04 |
Family
ID=71208135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811599939.9A Active CN111368596B (zh) | 2018-12-26 | 2018-12-26 | 人脸识别逆光补偿方法、装置、可读存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368596B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818281A (zh) * | 2020-07-15 | 2020-10-23 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
CN113569721A (zh) * | 2021-07-26 | 2021-10-29 | 北京科技大学 | 一种基于分布式智能补光的人脸识别系统及方法 |
CN113992858A (zh) * | 2021-12-23 | 2022-01-28 | 天地伟业技术有限公司 | 一种灯光控制方法及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013006A (zh) * | 2009-09-07 | 2011-04-13 | 泉州市铁通电子设备有限公司 | 一种基于逆光环境的人脸自动检测识别的方法 |
CN103927520A (zh) * | 2014-04-14 | 2014-07-16 | 中国华戎控股有限公司 | 一种逆光环境下人脸检测方法 |
CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技(深圳)有限公司 | 一种人脸特征点定位方法及装置 |
JP2016066893A (ja) * | 2014-09-24 | 2016-04-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN105791709A (zh) * | 2015-12-29 | 2016-07-20 | 福建星网锐捷通讯股份有限公司 | 带有逆光补偿的自动曝光处理方法及装置 |
CN107277356A (zh) * | 2017-07-10 | 2017-10-20 | 广东欧珀移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
CN107592473A (zh) * | 2017-10-31 | 2018-01-16 | 广东欧珀移动通信有限公司 | 曝光参数调整方法、装置、电子设备和可读存储介质 |
-
2018
- 2018-12-26 CN CN201811599939.9A patent/CN111368596B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013006A (zh) * | 2009-09-07 | 2011-04-13 | 泉州市铁通电子设备有限公司 | 一种基于逆光环境的人脸自动检测识别的方法 |
CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技(深圳)有限公司 | 一种人脸特征点定位方法及装置 |
CN103927520A (zh) * | 2014-04-14 | 2014-07-16 | 中国华戎控股有限公司 | 一种逆光环境下人脸检测方法 |
JP2016066893A (ja) * | 2014-09-24 | 2016-04-28 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN105791709A (zh) * | 2015-12-29 | 2016-07-20 | 福建星网锐捷通讯股份有限公司 | 带有逆光补偿的自动曝光处理方法及装置 |
CN107277356A (zh) * | 2017-07-10 | 2017-10-20 | 广东欧珀移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
CN107592473A (zh) * | 2017-10-31 | 2018-01-16 | 广东欧珀移动通信有限公司 | 曝光参数调整方法、装置、电子设备和可读存储介质 |
Non-Patent Citations (2)
Title |
---|
刘健;郭江宇;张海峰;郝志超;于佳杰;: "LCD在低背光条件下的图像增强技术", 火力与指挥控制, no. 08 * |
满乐;赵钰;王好贤;: "改进非线性亮度提升模型的逆光图像恢复", 计算机应用, no. 02 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818281A (zh) * | 2020-07-15 | 2020-10-23 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
CN111818281B (zh) * | 2020-07-15 | 2022-07-22 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
CN113569721A (zh) * | 2021-07-26 | 2021-10-29 | 北京科技大学 | 一种基于分布式智能补光的人脸识别系统及方法 |
CN113992858A (zh) * | 2021-12-23 | 2022-01-28 | 天地伟业技术有限公司 | 一种灯光控制方法及计算机可读存储介质 |
CN113992858B (zh) * | 2021-12-23 | 2022-03-04 | 天地伟业技术有限公司 | 一种灯光控制方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111368596B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
CN111368596B (zh) | 人脸识别逆光补偿方法、装置、可读存储介质及设备 | |
CN109510946B (zh) | Hdr场景检测方法及系统 | |
Cuevas et al. | Efficient moving object detection for lightweight applications on smart cameras | |
US20210082127A1 (en) | Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity | |
CN111225162B (zh) | 图像曝光的控制方法、系统、可读存储介质及摄像设备 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN111369523B (zh) | 显微图像中细胞堆叠的检测方法、系统、设备及介质 | |
US20200294206A1 (en) | Method of providing a sharpness measure for an image | |
CN104700405B (zh) | 一种前景检测方法和系统 | |
RU2694148C2 (ru) | Способ выравнивания для получения изображений с расширенным динамическим диапазоном | |
WO2022116104A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114119436A (zh) | 红外图像与可见光图像融合方法、装置、电子设备及介质 | |
CN111240612A (zh) | 一种调节屏幕分辨率的方法及终端 | |
CN111970405A (zh) | 摄像头遮挡检测方法、存储介质、电子设备及装置 | |
CN109086696B (zh) | 一种异常行为检测方法、装置、电子设备及存储介质 | |
CN104598914A (zh) | 一种肤色检测的方法及装置 | |
CN110795998B (zh) | 人流量的检测方法、装置、电子设备及可读存储介质 | |
CN103096117A (zh) | 视频噪声检测方法及装置 | |
CN115797607A (zh) | 一种增强vr真实效果的图像优化处理方法 | |
CN112204957A (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
CN114093018B (zh) | 一种基于瞳孔定位的视力筛查设备及系统 | |
EP3933767B1 (en) | Scene detection method, chip, electronic device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |