CN115988310A - 人脸亮度计算方法、装置、介质及设备 - Google Patents
人脸亮度计算方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN115988310A CN115988310A CN202211687498.4A CN202211687498A CN115988310A CN 115988310 A CN115988310 A CN 115988310A CN 202211687498 A CN202211687498 A CN 202211687498A CN 115988310 A CN115988310 A CN 115988310A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- brightness
- area
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Abstract
本申请涉及一种人脸亮度计算方法、装置、介质及设备,所述方法包括:获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域;确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度计算感兴趣区域中边缘区域和中央区域的亮度差值,通过亮度差值调整感兴趣区域的大小,从而将人脸区域的大小收敛到理想的大小,以进行人脸亮度的计算,提高了人脸亮度统计的准确性,以适应不同状态拍摄场景,实现很好的人像拍摄效果。
Description
技术领域
本申请涉及摄像控制技术领域,具体地,涉及一种人脸亮度计算方法、装置、介质及设备。
背景技术
随着摄像技术的不断普及,人们越发频繁的使用摄像头进行拍照、拍摄和实时共享视频。与此同时,人们对拍照质量的要求越来越高。在影像效果中,AE发挥着举足轻重的作用,它可以根据用户的喜好,自动调节当前图像亮度。
AE(Auto Exposure,自动曝光),是指相机根据外界光线的强弱自动调整曝光量和增益,防止曝光过度或者曝光不足,自动曝光是手机拍照最基本的技术之一。
现有技术中拍摄带face(脸部)的照片时,由于不同人脸的形状,大小,方位等不同,拍摄图像时face统计框可能无法准确适应人脸的大小,即face边缘的非人脸区域会被误判为人脸区域,同时会赋予一定大小的权重进行亮度统计,导致对人脸亮度的计算结果会产生较大的误差,进行错误曝光,最终导致人脸亮度无法达到预期的亮度,增加效果调试的难度和工作量。
发明内容
为解决上述背景技术中的至少一项技术问题,本申请提供一种人脸亮度计算方法、装置、介质及设备。
本申请第一方面提供一种人脸亮度计算方法,其特征在于,所述方法包括:获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域;确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
可选地,所述依据所述亮度差值调整所述第一感兴趣区域,获取第二感兴趣区域,包括:依据预设的亮度差值与缩减系数的对应关系以及所述目标亮度差值确定目标缩减系数;依据所述目标缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域;或,根据预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域。
可选地,在依据所述亮度差值调整所述第一感兴趣区域,获取第二感兴趣区域之前,所述方法还包括:确定所述目标亮度差值大于或等于预设阈值。
可选地,所述依据所述目标缩减系数或预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域,包括:使用所述目标缩减系数或预设的缩减系数等比例缩减所述第一感兴趣区域,生成第三感兴趣区域;获取所述第三感兴趣区域的中央区域与边缘区域的新的亮度差值;在所述新的亮度差值大于或等于所述预设阈值时,至少一次使用所述目标缩减系数或预设的缩减系数等比例缩减所述第三感兴趣区域,获取第四感兴趣区域,所述第四感兴趣区域的中央区域与边缘区域的亮度差值小于所述预设阈值,确定所述第四感兴趣区域为所述第二感兴趣区域;在所述新的亮度差值小于所述预设阈值时,确定所述第三感兴趣区域为所述第二感兴趣区域。
可选地,当所述边缘区域包括多个区域时,通过计算所有区域的亮度均值确定所述边缘区域的亮度。
可选地,所述边缘区域包括目标矩形区域中的顶点所在的边角区域,每个边角区域的大小为预设区域大小,所述目标矩形区域为第一感兴趣区域、第二感兴趣区域、第三感兴趣区域以及第四感兴趣区域中的任意一个。
可选地,所述第一感兴趣区域通过基于深度学习的目标检测对所述图像进行检测或者直接基于所述图像的特征对所述图像进行检测得到。
本申请第二方面提供一种人脸亮度计算装置,所述装置包括:第一获取模块,用于获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;第二获取模块,用于确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;调整模块,用于依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域;计算模块,用于确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
本申请第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本申请第四方面提供一种电子设备,其特征在于,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现上述第一方面中任一项所述方法的步骤。
上述人脸亮度计算方法,通过计算感兴趣区域中边缘区域和中央区域的亮度差值,通过亮度差值调整感兴趣区域的大小,从而将人脸区域的大小收敛到理想的大小,以进行人脸亮度的计算,提高了人脸亮度统计的准确性,以适应不同状态拍摄场景,实现很好的人像拍摄效果。
本申请的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请,但并不构成对本申请的限制。在附图中:
图1是根据一示例性实施例示出的一种电子设备的示意框图;
图2是根据一示例性实施例示出的一种人脸亮度计算方法的实现流程图;
图3是根据一示例性实施例示出的一种中央区域和边缘区域的示意图;
图4是根据一示例性实施例示出的另一种人脸亮度计算方法的实现流程图;
图5是根据一示例性实施例示出的再一种中央区域和边缘区域的示意图;
图6是根据一示例性实施例示出的一种人脸亮度计算装置的示意框图;
图7是根据一示例性实施例示出的一种电子设备的示意框图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请,并不用于限制本申请。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
现有技术中,AE算法通过调节曝光时间和图像传感器(Sensor)的感光度(ISO)控制图像的亮度,首先由Sensor输出初始图像,进入AE统计模块统计当前帧的亮度,再将当前帧的亮度与期望的目标亮度进行比较,亮度不足就增加曝光量,亮度过高就减少曝光量,计算得到新的目标亮度和曝光参数,将新的曝光参数写入Sensor,重复上述过程,直到帧亮度收敛到期望的亮度附近。
AE算法要求能够快速准确地将图像亮度收敛到目标亮度附近,而AE亮度统计模块作为AE算法的一个重要环节,对亮度统计的准确性有很大影响。
AE亮度统计模块中,常见的有针对人脸识别框的测光,中心测光和点测光等,测光区域有一定的权重分布,通常中心区域设置较大的权重。首先将整张测光区域分为m×n个相同大小的区域,并赋予每个区域一定的权重,二维权重表通常中心区域权重最高,示例的,在距离face中心的不同距离的区域分别设置不同的权重,由中心向四周权重逐渐降低。
现有技术能够较为准确地对face的亮度进行统计,但在实际拍摄人像时,矩形人脸识别框的边缘区域往往会包含部分背景区域,然而,拍照过程中,face统计区域是固定的,无法完全适应人脸的大小,例如:对于人脸较小或者侧脸拍摄等场景,人脸区域的边缘很有可能包含背景区域,face亮度的计算可能无法得到理想的值。并且,二维权重表是固定的,因此非人脸区域也会被赋予一定的权重,从而对人脸亮度的计算产生一定的影响,人脸识别框内包含背景区域越大,人脸亮度的计算误差越大。
有鉴于此,本申请实施例提供一种人脸亮度计算方法,计算感兴趣区域中边缘区域和中央区域的亮度差值,通过亮度差值调整感兴趣区域的大小,从而将人脸区域的大小收敛到理想的大小,以进行人脸亮度的计算,提高了人脸亮度统计的准确性,以适应不同状态拍摄场景,实现很好的人像拍摄效果。
上述方法应用于具有摄像功能的电子设备,该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备。例如,所述电子设备可以包括个人计算机、笔记本电脑、掌上电脑或服务器等;该电子设备还可以为移动终端,例如所述移动终端可以包括手机、车载电脑、平板电脑、相机或数码相机等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该电子设备至少包括处理器和存储介质。
图1为本申请实施例提供的具有摄像功能的电子设备100的示意框图。在电子设备100从场景捕获图像信息的过程中,执行亮度计算得到亮度统计结果,通过亮度统计结果动态自动曝光补偿调整场景的当前亮度以补偿由电子设备内的自动曝光过程选择的曝光值(EV)。以此方式,如果电子设备内的亮度计算方法得到亮度统计结果表示选择对于所述场景太亮或太暗的EV,那么电子设备可设定自动曝光可选择产生具有适当亮度的场景的图像帧的EV。
如图1中所示,电子设备100包括传感器阵列110、图像捕获控制器120、图像处理器130、自动曝光补偿模块140、图像存储装置150及亮度统计装置160。可通过硬件及/或软件的任何适合组合来实现图1中所图解说明的电子设备100中所包括的组件。在所图解说明的实施例中,将所述组件作为单独单元来描绘。然而,在其它实施例中,可将所述组件中的任一者集成到共用硬件及/或软件内的组合式单元中。
电子设备100可以是数码相机,例如数码摄像机、数码照相机或两者的组合。此外,电子设备100可以是独立的装置(例如,独立的相机)或集成到另一装置(例如,无线通信装置)中。作为实例,可将电子设备100集成到移动电话中以形成所谓的相机电话或视频电话。优选地,电子设备100经装备以捕获彩色图像、黑白图像或两者。在本发明中,术语“图像(image)”、“图像(imagery)”、“图像信息”或类似术语可交替地指代视频或静态图片。同样,术语“帧”可指由电子设备100获得的视频帧或静态图片帧。
传感器阵列110在捕获场景的图像帧之前从所述场景获得光信息。传感器阵列110包括个别图像传感器的二维阵列,例如以行及列布置。传感器阵列110可包含(举例来说)固态传感器阵列,例如互补金属氧化物半导体(CMOS)传感器。将传感器阵列110内的图像传感器暴露给场景以从所述场景获得光信息并捕获所述场景的图像帧。
图像捕获控制器120将所述光信息用于初步视觉前端(VFE)处理,例如自动聚焦及自动曝光。举例来说,图像捕获控制器120基于来自传感器阵列110的所述光信息来执行自动曝光以选择实现所述场景的当前亮度的EV。所选择的EV界定光圈大小以控制来自所述场景的到达传感器阵列110的光的量及快门速度以控制传感器阵列110被暴露给来自所述场景的光的时间量。示例的,典型的默认亮度为约18%灰度。执行默认亮度时,图像捕获控制器120执行自动曝光以选择产生具有等于约18%灰度的平均亮度值的场景的图像帧的EV。
在常规电子设备中,传感器阵列110使用当前亮度的EV来捕获每一场景的图像帧。然而,在一帧图像中被拍摄体可能需要较高的平均亮度值,而图像帧的其它部分可能需要较低的平均亮度值。示例的,在室外场景进行人像拍摄时,环境中包括大量的反射光,亮度较高,而人脸由于没有充分得光照,反射进入传感器阵列110光线较少,亮度较低,针对此情况自动曝光过程可过度补偿,因此导致图像帧中得人脸看起来较暗淡。另一方面,在一些人脸正对光源的场景中人脸与周围环境构成高对比度等级,针对此情况所述自动曝光过程也可过度补偿,因此导致所述人脸在图像帧中看似完全饱和。然后,所述常规电子设备的用户必须执行手动自动曝光补偿,以使图像帧中得人脸亮度适宜。
本申请中所揭示的方法使得电子设备100能够在对被摄体如人像的拍摄过程中亮度统计进行优化,提高被摄体亮度统计的准确性,实现很好的拍摄效果,本申请通过计算包含被摄体的边缘区域的亮度和中央区域的亮度,再计算二者差值以动态调整face区域的大小,从而将被摄体区域的大小收敛到理想的大小,然后重新进行被摄体亮度的计算,以适应不同状态的拍摄场景。
亮度统计装置160在所述当前亮度下从场景中获得光信息。亮度统计装置160将识别包括被摄体的区域,将所述区域划分为多个子区域(例如,256个均匀划分的区域),且计算所述多个子区域中的平均亮度值,将其作为被摄体的亮度值。所述多个子区域中的每一者的亮度值可包含范围在0(即,黑色)与255(即,白色)之间的光亮度值。然后,亮度统计装置160将所述被摄体的亮度值发送到自动曝光补偿模块140。
亮度统计装置160可实施为独立的硬件组件或实施为逻辑装置(例如,微处理器、DSP或类似装置)的可编程特征。在一些实施例中,亮度统计装置160可以是实施图像处理器130的逻辑装置的可编程或集成特征。特定来说,亮度统计装置160可实施为由此种逻辑装置执行的一个或一个以上软件进程。
自动曝光补偿模块140基于亮度统计装置160所统计的所述被摄体的亮度值来确定电子设备100的当前亮度对于所述场景来说是否准确。当所述被摄体的亮度值对于所述场景来说太亮或太暗时,所述当前亮度对于所述场景来说可不准确。如果所述当前亮度不准确,那么自动曝光补偿模块140动态地调整所述当前亮度以设定对于所述场景来说准确的经调整目标亮度。
此外,自动曝光补偿模块140可构建滞后区以在图像场景序列上大致稳定经调整的目标亮度。如果所述经调整的目标亮度对于下一场景来说不准确,自动曝光补偿模块140可构建滞后区以针对下一场景维持所述经调整的目标亮度以防止先前场景与所述下一场景之间的目标亮度波动。在其它情况下,自动曝光补偿模块140可构建滞后区以针对下一场景最小程度地再调整所述经调整的目标亮度以提供所述先前场景与所述下一场景之间的渐进目标亮度变化。此在用电子设备100捕获一系列静态图像或捕获视频以减小帧之间的亮度变化时可尤其有用。
自动曝光补偿模块140将经调整的目标亮度发送到图像捕获控制器120。然后,图像捕获控制器120基于所述经调整的目标亮度来执行自动曝光以选择所述经调整目标亮度的EV。然后,传感器阵列110可使用所述经调整目标亮度的EV来捕获所述场景的图像帧。通过使用所述EV,传感器阵列110用由所述所选择的EV界定的光圈大小从所述场景接收光,且用由所述所选择的EV界定的快门速度重设。传感器阵列110将所述所捕获的图像帧提供到图像处理器130以供处理且存储在图像存储装置150中。
图像处理器130从传感器阵列110接收所述所捕获的图像帧且对所述图像帧执行任何必要的处理。图像处理器130可(举例来说)执行由传感器阵列110捕获的图像帧的滤波、裁剪、去马赛克、压缩、图像增强或其它处理。图像处理器130可由微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效离散或集成逻辑电路实现。在一些实施例中,图像处理器130可形成根据特定编码技术或格式(例如,MPEG-2、MPEG-4、ITU H.263、ITU H.264、JPEG或类似技术或格式)对图像帧进行编码的编解码器(CODEC)的部分。
图像处理器130将图像帧存储在图像存储装置150中。图像处理器130可将原始图像帧、经处理的图像帧或经编码的图像帧存储在图像存储装置150中。如果图像伴随有音频信息,那么也可独立地或结合图像帧将所述音频存储在图像存储装置150中。图像存储装置150可包含任何易失性或非易失性存储器或存储装置,例如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或快闪存储器,或例如磁性数据存储装置或光学数据存储装置。
图2为本申请实施例提供的一种人脸亮度计算方法的实现流程示意图,如图2所示,该方法可以包括以下步骤210至步骤240:
S210,获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸。
获取当前所拍摄的图像,检测图像中的人脸,获取所述图像中包括人脸的区域作为感兴趣区域,此时获取的感兴趣区域被称为第一感兴趣区域。感兴趣区域(ROI,Regionof Interest)在曝光中又称测光区域,一张图像中不同区域的亮度通常是不同的,若对所有亮暗区域进行亮度统计得到亮度的平均值,通常无法达到预期的拍摄效果,因此会设置一个重点的测光区域。本申请中将包括人脸的感兴趣区域作为测光区域。
可选的,所述第一感兴趣区域通过基于深度学习的目标检测对所述图像进行检测或者直接基于所述图像的特征对所述图像进行检测得到。
将所述图像输入预设的目标识别的深度学习模型如神经网络中,得到图像中人脸及每一人脸所在的区域。
目标检测是机器学习中的一类任务,检测给出的是对图片前景和背景的理解,我们需要从背景中分离出感兴趣的目标,并确定这一目标的描述(类别和位置),因而,检测模型的输出是一个列表,列表的每一项使用一个数据组给出检出目标的类别和位置(常用矩形检测框的坐标表示)。
目标识别的深度学习模型已经经过微调或者训练,能够识别图像中的人脸及区域,如在基础模型如YOLO、Faster R-CNN等上进行微调或者训练,将微调或者训练的基础模型作为本申请中预设的目标识别的深度学习模型。
或者,可以直接基于所述图像的特征对所述图像进行检测,特征可以是灰度、二值化、边缘、显著性等等,示例的,可以采用选择性搜索(Selective Search),将利用图像的特征灰度、二值化、边缘、颜色、显著性等等,将图像分割成很多的小块,使用策略如贪心策略,计算每两个相邻区域的相似度,然后每次合并最相似的两块,每次产生的图像块包括合并的图像块都保存下来,这样就得到图像的不同区域,对区域进行人脸判断,得到感兴趣区域,又如,可以通过滑窗法,使用多个大小和宽高比不同的窗口基于特征进行人脸特征判断,得到包括人脸的窗口即为感兴趣区域。
所获取的感兴趣区域是基于图像中人脸的特征得到的包括人脸的最小区域,但这一区域是相对最小的,并非是真正意义上的最小,其只是针对感兴趣区域搜索算法而言的最小,其仍然包括了一定的背景区域,存在一定局限。
S220,确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值。
确定所述图像中的感兴趣区域后,确定该区域的中央区域及边缘区域,中央区域是以该区域的面积中心为范围的一定区域,边缘区域是指该区域形状上的边缘地带,分别计算中央区域和边缘区域的亮度,再计算二者的亮度差值即目标亮度差值。示例的,如图3所示,图3为本申请示出的一种中央区域和边缘区域的示意图,感兴趣区域310为一个40mmx40mm的正方形,面积中心为(20mm,20mm)这一点,以该点为圆心取一定长度如2mm为半径画圆,将这一圆形区域作为中央区域320,将距离感兴趣边缘2mm内的所有区域作为边缘区域330。计算中央区域每一像素点的亮度,将所有像素点的亮度取均值,得到中央区域的亮度值如240,同中央区域的亮度计算方法得到边缘区域的亮度值如180,计算二者亮度差得到目标亮度差值60。
S230,依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域。
依据目标亮度差值,对感兴趣区域进行调整得到,得到调整之后的感兴趣区域即第二感兴趣区域。本申请认为在感兴趣中由于人脸与背景的不同如反光程度,距离等的不同,将导致二者的亮度不同,因此可以借助此种特性区分感兴趣中的背景与人脸,当感兴趣区域的目标亮度差值较大时,说明其中包括较多背景,需要对大小进行调整。
示例的,当目标亮度差值60,说明二者亮度差别较大,需要缩小感兴趣区域,以目标亮度差值的一定倍数将感兴趣的尺寸缩小,如将上述感兴趣区域各边长缩小6mm,缩小后感兴趣区域34mmx34mm的正方形,即为第二感兴趣区域。
S240,确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
计算第二感兴趣区域的亮度如将第二感兴趣区域划分为指定数量的区域,从第二感兴趣区域的中心开始,为每一区域赋予不同的权重,计算每一区域的亮度,将每一区域的亮度与权重相乘得到权重亮度,计算所有区域的权重亮度均值,将权重亮度均值作为第二感兴趣区域的亮度,将第二感兴趣区域的亮度作为图像中人脸的亮度。
本申请上述人脸亮度计算方法,也扩展在被拍摄体不是人脸的场景中下使用,所述拍摄体可以是指定的物体如车辆,也可以是指定的区域等,本申请对此不进行限制。
通过上述人脸亮度计算方法,计算感兴趣区域中边缘区域和中央区域的亮度差值,通过亮度差值调整感兴趣区域的大小,从而将人脸区域的大小收敛到理想的大小,以进行人脸亮度的计算,提高了人脸亮度统计的准确性,以适应不同状态拍摄场景,实现很好的人像拍摄效果。
图4为本申请实施例提供的另一种人脸亮度计算方法的实现流程示意图,如图4所示,该方法可以包括以下步骤210至步骤240:
S410,获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸。
步骤410与图2所示的实施例中的步骤210相似,在此不再赘述。
S420,确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值。
获取的得到第一感兴趣区域后,确定该感兴趣区域中的中央区域和边缘区域。
可选的,当所述边缘区域包括多个区域时,通过计算所有区域的亮度均值确定所述边缘区域的亮度。
边缘区域可以有多个,可以预先指定图像中的多个边缘点如每一长、宽上的中点,取边缘点附近的一定区域作为边缘区域。
在本申请一个实施例中,所述边缘区域包括目标矩形区域中的顶点所在的边角区域,每个边角区域的大小为预设区域大小。
如图5所示,图5为本申请示出的再一种中央区域和边缘区域的示意图,图5中,中央区域510为与感兴趣区域500的面积中心为中心且同形状区域的一定区域,示例的,在以感兴趣区域为中心将感兴趣区域缩小一定倍数缩小20倍,得到一个中心区域该区域即为中央区域,边缘区域则可以取感兴趣区域顶点附近的一定区域,图5中,以感兴趣区域500的每一顶点作为起点,沿着边长方向缩小感兴趣区域500,得到边缘区域520、530、540、550。本实例选取感兴趣区域500的每一顶点,从而获得四个边缘区域,在一些实施例中,也可以选择一个或者多个顶点,生成一个或者多个边缘区域,本申请对此不进行限制。
上述中央区域和边缘区域的大小可以依据需求进行设置,为了提高统计准确性,中心区域选取适当大一些,四角选取小一些便于检测出背景区域。
得到中央区域和边缘区域后,分别计算边缘区域520、530、540、550中每一边缘区域的亮度Y1、Y2、Y3、Y4,取边缘区域亮度的均值(Yave=(Y1+Y2+Y3+Y4)/4)作为边缘区域的亮度,并计算中央区域的亮度Ycenter。
计算中央区域的亮度值和边缘区域的亮度值的差值,得到目标亮度差值。
S430,确定所述目标亮度差值大于或等于预设阈值。
如图5,一个理想大小的感兴趣区域中,人脸区域应被圆形区域560所包含,除圆形区域560外的区域即区域570就是背景区域,此种情况下,中央区域的亮度Ycenter与边缘区域的亮度Yave差值并不大。
而在感兴趣区域包含部分背景区域,即感兴趣区域过大的情况下,边缘区域也会包含较多背景区域,导致边缘区域的亮度会较高,二者的差值Ydiff(Ydiff=|Yave-Ycenter|),会较大。
若目标亮度差值大于预设阈值,则认为感兴趣区域包含部分背景区域。
S440,依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域。
其中,依据预设的亮度差值与缩减系数的对应关系以及所述目标亮度差值确定目标缩减系数;依据所述目标缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域;或,根据预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域。
感兴趣区域过大,包含部分背景区域的情况下,对感兴趣区域大小进行缩减。
可以预先设置亮度差值与缩减系数的对应关系,如设置对应关系:亮度差值为40时,缩小2倍,亮度差值为60时,缩小3倍,……,亮度差值为100时,缩小4.5倍。
得到所述目标亮度差值查询对应关系确定目标缩减系数。
或者,预设一个预设缩减系数,当若目标亮度差值大于或者等于预设阈值,则获取预设缩减系数。
得到缩减系数后,根据预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域。如感兴趣区域的大小表示为fsize,缩减系数表示为s,则第二感兴趣区域fsize-2,可以表示为fsize-2=fsize-1*s。
可选的,使用所述目标缩减系数或预设的缩减系数等比例缩减所述第一感兴趣区域,生成第三感兴趣区域;获取所述第三感兴趣区域的中央区域与边缘区域的新的亮度差值;在所述新的亮度差值大于或等于所述预设阈值时,至少一次使用所述目标缩减系数或预设的缩减系数等比例缩减所述第三感兴趣区域,获取第四感兴趣区域,所述第四感兴趣区域的中央区域与边缘区域的亮度差值小于所述预设阈值,确定所述第四感兴趣区域为所述第二感兴趣区域;在所述新的亮度差值小于所述预设阈值时,确定所述第三感兴趣区域为所述第二感兴趣区域。其中,所述边缘区域包括目标矩形区域中的顶点所在的边角区域,所述目标矩形区域为第一感兴趣区域、第二感兴趣区域、第三感兴趣区域以及第四感兴趣区域中的任意一个。上述迭代中,中央区域和边缘区域的选取应当遵守同一个选取原则,以保证准确性。
在本申请一个实施例中,感兴趣区域的缩小是一个迭代的过程:获取感兴趣的中央区域的中央区域和边缘区域,计算中央区域和边缘区域的亮度差值,当亮度差值大于或者等于预设阈值,使用预设缩减系数缩小感兴趣区域,得到新的感兴趣区域,直到亮度差值小于预设阈值。即,对上述步骤410至440执行迭代。
亮度差值小于预设阈值说明边缘亮度和中心亮度接近,即人脸区域大部分处于感兴趣内。
S450,确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
根据预设的亮度算法计算出第二感兴趣区域的亮度,将其作为图像的人脸亮度。
上述人脸亮度计算方法,在感兴趣区域边角设置四个区域计算其亮度,通过比较四角和中心区域的亮度,检测背景区域,缩小感兴趣区域,从而排除背景区域亮度对人脸亮度计算的影响,实现简单,具有较高的实现效率和可靠性。避免了由于人脸的形状、姿态不同,或者人脸和相机的移动,使人脸框的边缘包含背景部分,对人脸亮度计算带来误差。
图6为本申请实施例提供的人脸亮度计算装置的结构示意图,如图6所示,所述装置600包括第一获取模块610、第二获取模块620、调整模块630和计算模块640,其中:
第一获取模块,用于获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;
第二获取模块,用于确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;
调整模块,用于依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域;
计算模块,用于确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的人脸亮度计算方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的人脸亮度计算方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的人脸亮度计算方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的人脸亮度计算方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的人脸亮度计算方法的代码部分。
以上结合附图详细描述了本申请的优选实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。
此外,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。
Claims (10)
1.一种人脸亮度计算方法,其特征在于,所述方法包括:
获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;
确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;
依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴5趣区域;
确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
2.根据权利要求1所述的方法,其特征在于,所述依据所述亮度差值调整所述第一感兴趣区域,获取第二感兴趣区域,包括:
依据预设的亮度差值与缩减系数的对应关系以及所述目标亮度差值确0定目标缩减系数;依据所述目标缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域;或,
根据预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域。
3.根据权利要求2所述的方法,其特征在于,在依据所述亮度差值调5整所述第一感兴趣区域,获取第二感兴趣区域之前,所述方法还包括:
确定所述目标亮度差值大于或等于预设阈值。
4.根据权利要求3所述的方法,其特征在于,所述依据所述目标缩减系数或预设的缩减系数等比例缩减所述第一感兴趣区域,生成所述第二感兴趣区域,包括:
0使用所述目标缩减系数或预设的缩减系数等比例缩减所述第一感兴趣区域,生成第三感兴趣区域;
获取所述第三感兴趣区域的中央区域与边缘区域的新的亮度差值;
在所述新的亮度差值大于或等于所述预设阈值时,至少一次使用所述目标缩减系数或预设的缩减系数等比例缩减所述第三感兴趣区域,获取第四感兴趣区域,所述第四感兴趣区域的中央区域与边缘区域的亮度差值小于所述预设阈值,确定所述第四感兴趣区域为所述第二感兴趣区域;
在所述新的亮度差值小于所述预设阈值时,确定所述第三感兴趣区域为所述第二感兴趣区域。
5.根据权利要求1-4任一项所述的方法,其特征在于,当所述边缘区域包括多个区域时,通过计算所有区域的亮度均值确定所述边缘区域的亮度。
6.根据权利要求5所述的方法,其特征在于,所述边缘区域包括目标矩形区域中的顶点所在的边角区域,每个边角区域的大小为预设区域大小,所述目标矩形区域为第一感兴趣区域、第二感兴趣区域、第三感兴趣区域以及第四感兴趣区域中的任意一个。
7.根据权利要求1所述的方法,其特征在于,所述第一感兴趣区域通过基于深度学习的目标检测对所述图像进行检测或者直接基于所述图像的特征对所述图像进行检测得到。
8.一种人脸亮度计算装置,其特征在于,所述装置包括:
第一获取模块,用于获取图像中的第一感兴趣区域,所述第一感兴趣区域中包括人脸;
第二获取模块,用于确定所述第一感兴趣区域的中央区域与边缘区域的目标亮度差值;
调整模块,用于依据所述目标亮度差值调整所述第一感兴趣区域的大小,获取第二感兴趣区域;
计算模块,用于确定所述第二感兴趣区域的亮度作为所述图像的人脸亮度。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211687498.4A CN115988310A (zh) | 2022-12-27 | 2022-12-27 | 人脸亮度计算方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211687498.4A CN115988310A (zh) | 2022-12-27 | 2022-12-27 | 人脸亮度计算方法、装置、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115988310A true CN115988310A (zh) | 2023-04-18 |
Family
ID=85967658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211687498.4A Pending CN115988310A (zh) | 2022-12-27 | 2022-12-27 | 人脸亮度计算方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115988310A (zh) |
-
2022
- 2022-12-27 CN CN202211687498.4A patent/CN115988310A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP3624439B1 (en) | Imaging processing method for camera module in night scene, electronic device and storage medium | |
CN109547701B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110839129A (zh) | 图像处理方法、装置以及移动终端 | |
WO2019183813A1 (zh) | 一种拍摄方法及设备 | |
CN110691193B (zh) | 摄像头切换方法、装置、存储介质及电子设备 | |
US20210014411A1 (en) | Method for image processing, electronic device, and computer readable storage medium | |
JP4482037B2 (ja) | デジタル画像形成の露出 | |
CN110445989B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107105172B (zh) | 一种用于对焦的方法和装置 | |
CN110971841A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112258380A (zh) | 图像处理方法、装置、设备及存储介质 | |
US20220329729A1 (en) | Photographing method, storage medium and electronic device | |
CN111405185B (zh) | 一种摄像机变倍控制方法、装置、电子设备及存储介质 | |
WO2023137956A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113691724A (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
US10033939B2 (en) | Method and apparatus for automatic stage scene detection | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
CN109672829B (zh) | 图像亮度的调整方法、装置、存储介质及终端 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
CN115988310A (zh) | 人脸亮度计算方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |