CN112261307A - 一种图像曝光方法、装置及存储介质 - Google Patents

一种图像曝光方法、装置及存储介质 Download PDF

Info

Publication number
CN112261307A
CN112261307A CN202011036964.3A CN202011036964A CN112261307A CN 112261307 A CN112261307 A CN 112261307A CN 202011036964 A CN202011036964 A CN 202011036964A CN 112261307 A CN112261307 A CN 112261307A
Authority
CN
China
Prior art keywords
brightness
value
average value
calculating
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011036964.3A
Other languages
English (en)
Other versions
CN112261307B (zh
Inventor
林炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yilian Communication Technology Co ltd
Original Assignee
Xiamen Yealink Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yealink Network Technology Co Ltd filed Critical Xiamen Yealink Network Technology Co Ltd
Priority to CN202011036964.3A priority Critical patent/CN112261307B/zh
Publication of CN112261307A publication Critical patent/CN112261307A/zh
Application granted granted Critical
Publication of CN112261307B publication Critical patent/CN112261307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明涉及图像数据处理技术领域,公开了一种图像曝光方法、装置及存储介质,所述方法包括:计算取景区域的逆光系数;根据所述逆光系数计算逆光补偿值;根据所述逆光补偿值计算脸部亮度调整值;计算整个图像的全局亮度平均值;计算人脸亮度平均值;根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。本发明实施例提供的一种图像曝光方法、装置及存储介质,基于人脸亮度和全局亮度进行曝光调整,使得调整后的亮度能够保持稳定。

Description

一种图像曝光方法、装置及存储介质
技术领域
本发明涉及图像数据处理技术领域,特别是涉及一种图像曝光方法、装置及存储介质。
背景技术
目前,视频会议终端系统通常会使用智能取景技术,将画面中的人物做特写,此时人脸的曝光效果十分影响用户体验。然而,目前视频会议终端行业基于人脸的曝光方法存在一定的缺点:检测到人脸后,仅针对人脸所在区域进行曝光权重值的重新设定,一旦人脸发生移动,由于嵌入式端的人脸检测一般达不到实时,在得到更新后的人脸位置前,画面亮度可能有明显变化。
发明内容
本发明实施例所要解决的技术问题是:提供一种图像曝光方法、装置及存储介质,基于人脸亮度和全局亮度进行曝光调整,使得调整后的亮度能够保持稳定。
为了解决上述技术问题,第一方面,本发明实施例提供一种图像曝光方法,所述方法包括:
计算取景区域的逆光系数;
根据所述逆光系数计算逆光补偿值;
根据所述逆光补偿值计算脸部亮度调整值;
计算整个图像的全局亮度平均值;
计算人脸亮度平均值;
根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
作为一个优选方案,所述计算人脸亮度平均值,具体包括:
从所述取景区域中提取头部区域;
从所述头部区域中提取脸部区域;
计算所述脸部区域的人脸亮度平均值。
作为一个优选方案,所述计算取景区域的逆光系数,具体包括:
计算所述取景区域的每一分块的亮度系数;
根据所述亮度系数计算所述取景区域的每一分块的逆光因子;
计算所述取景区域的宽度转换系数;
根据所述逆光因子以及所述宽度转换系数计算所述取景区域的逆光系数。
作为一个优选方案,所述根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整,具体包括:
将所述人脸亮度平均值与所述脸部亮度调整值相减得到第一差值;
当所述第一差值小于所述全局亮度平均值时,逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值;
当所述第一差值大于所述全局亮度平均值时,逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值。
作为一个优选方案,所述逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值,具体包括:
X11:将整个图像的所有分块的亮度值进行降序排序,得到第一亮度序列{Lum1i}以及与所述第一亮度序列{Lum1i}对应的第一权重序列{Weight1i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量;
X12:将所述第一权重序列{Weight1i}的初始权重值全置为1,并选取i=0;
X13:将Weight1i的权重值置为0;
X14:重新计算全局亮度平均值,若所述第一差值不小于减小后的全局亮度平均值,则结束,否则执行X15;
X15:令i=i+1,并返回X13。
作为一个优选方案,所述逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值,具体包括:
X21:将整个图像的所有分块的亮度值进行升序排序,得到第二亮度序列{Lum2i}以及所述第二亮度序列{Lum2i}对应的第二权重序列{Weight2i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量;
X22:将所述第二权重序列{Weight2i}的初始权重值全置为1,并选取i=0;
X23:将Weight2i的权重值置为0;
X24:重新计算全局亮度平均值,若所述第一差值不大于增大后的全局亮度平均值,则结束,否则执行X25;
X25:令i=i+1,并返回X23。
作为一个优选方案,所述方法还包括:
在第一时长内,当所述人脸亮度平均值的波动超过了波动阈值时,重新进行曝光调整。
作为一个优选方案,所述方法还包括:
在第二时长内,当提取不到头部区域时,将亮度恢复到默认值。
为了解决上述技术问题,第二方面,本发明实施例提供一种图像曝光装置,所述装置包括:
第一计算模块,用于计算取景区域的逆光系数;
第二计算模块,用于根据所述逆光系数计算逆光补偿值;
第三计算模块,用于根据所述逆光补偿值计算脸部亮度调整值;
第四计算模块,用于计算整个图像的全局亮度平均值;
第五计算模块,用于计算人脸亮度平均值;
曝光调整模块,用于根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
为了解决上述技术问题,第三方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现如第一方面任一项所述的图像曝光方法。
与现有技术相比,本发明实施例提供的一种图像曝光方法、装置及存储介质,其有益效果在于:基于人脸亮度平均值和全局亮度平均值进行曝光调整,即便人脸发生了移动,也不会发生频繁的曝光调整,能够保持亮度的稳定,为视频双方提供良好的视觉体验。
附图说明
为了更清楚地说明本发明实施例的技术特征,下面将对本发明实施例中所需要使用的附图做简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种图像曝光方法的一个优选实施例的流程示意图;
图2是本发明提供的处理的图像和取景区域的一个优选实施例的示意图;
图3是本发明提供的一种图像曝光装置的一个优选实施例的结构示意图。
具体实施方式
为了对本发明的技术特征、目的、效果有更加清楚的理解,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明,但是不用来限制本发明的保护范围。基于本发明的实施例,本领域技术人员在没有付出创造性劳动的前提下所获得的其他实施例,都应属于本发明的保护范围。
在本发明的描述中,应当理解的是,本文中的编号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有顺序或者技术含义,不能理解为规定或者暗示所描述的对象的重要性。
图1所示为本发明提供的一种图像曝光方法的一个优选实施例的流程示意图。
如图1所示,所述方法包括:
S10:计算取景区域的逆光系数;
S20:根据所述逆光系数计算逆光补偿值;
S30:根据所述逆光补偿值计算脸部亮度调整值;
S40:计算整个图像的全局亮度平均值;
S50:计算人脸亮度平均值;
S60:根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
其中,步骤S40、步骤S50并不限定在步骤S30之后,其计算的全局亮度平均值、人脸亮度平均值只需在步骤S60执行之前得出即可。
具体而言,视频会议终端在接收到图像数据输入时,会进行智能取景得到一取景区域,本发明首先计算出该取景区域的逆光系数,并根据该逆光系数计算出逆光补偿值,进一步根据该逆光补偿值计算脸部亮度调整值,并计算出整个图像的全局亮度平均值、人脸亮度平均值,最后再根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值上调曝光增益或者是下调曝光增益。
本发明实施例提供的一种图像曝光方法,基于人脸亮度和全局亮度进行曝光调整,相较于现有技术仅针对人脸进行曝光调整,能够减少亮度的频繁变化,使得调整后的亮度能够保持稳定,避免不必要的曝光调整。
在一个优选实施例中,所述计算人脸亮度平均值,具体包括:
从所述取景区域中提取头部区域;
从所述头部区域中提取脸部区域;
计算所述脸部区域的人脸亮度平均值。
优选地,所述头部区域通过MCTNN(Multi-task convolutional neural network,多任务卷积神经网络)网络进行提取。
优选地,所述脸部区域通过MTCNN网络进行提取。
优选地,所述脸部区域包括标记的左嘴角关键点、右嘴角关键点、左额关键点、右额关键点、左脸颊关键点、右脸颊关键点、左上颚关键点、右上颚关键点。
优选地,所述计算所述脸部区域的人脸亮度平均值,具体包括:
从所述脸部区域中提取出由所述左额关键点、所述右额关键点、所述左脸颊关键点、所述右脸颊关键点、所述左上颚关键点、所述右上颚关键点所围成的六边形区域;
计算所述六边形区域的平均亮度,得到所述人脸亮度平均值。
本实施例首先对头部区域进行检测,再对脸部区域进行检测,并根据关键点围成的区域进行人脸亮度计算,能够提高脸部亮度计算的准确性。
优选地,所述人脸亮度平均值的计算公式为:
Figure BDA0002704487040000061
其中,Lumface_ave为所述人脸亮度平均值,Lum1为单人场景下获得的人脸亮度值,i为人脸编号,person_num代表人数,FaceWidi代表第i个人脸宽度,Lumi代表计算得到的第i个人脸亮度平均值。
在一个优选实施例中,所述计算取景区域的逆光系数,具体包括:
计算所述取景区域的每一分块的亮度系数;
根据所述亮度系数计算所述取景区域的每一分块的逆光因子;
计算所述取景区域的宽度转换系数;
根据所述逆光因子以及所述宽度转换系数计算所述取景区域的逆光系数。
优选地,所述亮度系数通过如下计算关系进行计算:
Figure BDA0002704487040000071
其中,CoeLumi,j为所述取景区域的第i行第j列的分块的亮度系数,LumThrelevel_1为预设的第一亮度阈值,LumThrelevel_2为预设的第二亮度阈值,N>1。
进一步地,所述逆光因子通过如下计算关系进行计算:
Figure BDA0002704487040000072
其中,Factori,j为所述取景区域的第i行第j列的分块的逆光因子,CoeLumi,j为所述取景区域的第i行第j列的分块的亮度系数。
再进一步地,所述宽度转换系数通过如下计算关系进行计算:
Coewidth=block_num_width_max/block_num_width_cur;其中,Coewidth
为所述宽度转换系数,block_num_width_max为图像的水平分块数量,block_num_width_cur为取景区域水平分块数量。
更进一步的,所述逆光系数通过如下计算关系进行计算:
Coebacklight=max(Factori,j)*Coewidth;其中,Coebacklight为所述逆光系数,max(Factori,j)为所述取景区域中的每一分块的逆光因子的最大值,Coewidth为所述宽度转换系数。
本实施例在计算逆光因子的过程中,充分考虑了分块之间的连通性,使得每一分块的逆光因子的大小不仅取决于自身的亮度,同时还依赖于相邻分块的逆光因子,呈现了一个累加的趋势,放大了连通性对逆光系数计算的影响,提高了逆光系数计算的准确性。
在一个优选实施例中,所述逆光补偿值根据如下关系进行计算:
Lumbacklight_comp=Coebacklight/Coeback2lum;其中,Lumbacklight_comp为所述逆光补偿值,Coebacklight为所述逆光系数,Coeback2lum为转换系数,Coeback2lum的值设为4~10,Lumbacklight_comp的计算结果需要设置一个上限,上限值设为5~15。
在一个优选实施例中,所述脸部亮度调整值根据如下关系进行计算:
Lumface_adjust=Lumface_comp-Lumbacklight_comp;其中,Lumface_adjust为所述脸部亮度调整值,Lumbacklight_comp为所述逆光补偿值,Lumface_comp为脸部亮度补偿值,Lumface_comp的值设为-5~10。
在一个优选实施例中,所述全局亮度平均值根据如下关系进行计算:
Figure BDA0002704487040000081
其中,Lumglobal_ave为所述全局亮度平均值,Lumi,j为整个图像的第i行第j列的分块,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量。
在一个优选实施例中,所述根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整,具体包括:
将所述人脸亮度平均值与所述脸部亮度调整值相减得到第一差值;
当所述第一差值小于所述全局亮度平均值时,逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值;
当所述第一差值大于所述全局亮度平均值时,逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值。
其中,所述逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值,具体包括:
X11:将整个图像的所有分块的亮度值进行降序排序,得到第一亮度序列{Lum1i}以及与所述第一亮度序列{Lum1i}对应的第一权重序列{Weight1i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数,block_num_width_cur为取景区域水平分块数;
X12:将所述第一权重序列{Weight1i}的初始权重值全置为1,并选取i=0;
X13:将Weight1i的权重值置为0;
X14:重新计算全局亮度平均值,若所述第一差值不小于减小后的全局亮度平均值,则结束,否则执行X15;
X15:令i=i+1,并返回X13。
进一步地,所述逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值,具体包括:
X21:将整个图像的所有分块的亮度值进行升序排序,得到第二亮度序列{Lum2i}以及所述第二亮度序列{Lum2i}对应的第二权重序列{Weight2i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数,block_num_width_cur为取景区域水平分块数;
X22:将所述第二权重序列{Weight2i}的初始权重值全置为1,并选取i=0;
X23:将Weight2i的权重值置为0;
X24:重新计算全局亮度平均值,若所述第一差值不大于增大后的全局亮度平均值,则结束,否则执行X25;
X25:令i=i+1,并返回X23。
其中,步骤X13和步骤X23中的权重值置为0表示的意思为:对应分块的统计值不参与后续的全局亮度平均值的计算。
为了更好地说明本发明实施例图像曝光调整的过程,以图2为例,并将脸部亮度补偿值设为8、转换系数设为5、逆光补偿值的上限值设为10。可求得取景区域(灰色部分)的逆光系数Coebacklight=23.375,逆光补偿值Lumbacklight_comp=23.375/5=4(由于业界对亮度值通常使用整型表示,因此这里做了取整操作,具体为直接删除小数点部分),脸部亮度调整值Lumface_adjust=8-4=4,全局亮度平均值Lumglobal_ave=113,若计算得到人脸亮度平均值Lumface_ave=88,此时Lumface_ave-Lumface_adjust<Lumglobal_ave,则执行X21~X25流程,并循环11次,即将图2中亮度数值最大的十一个分块的权重值全部置0后完成对权重表的修正,此时重新计算得到的全局亮度平均值Lumglobal_ave=83<Lumface_ave-Lumface_adjust。再根据修正后的权重表进行曝光增益的上调(该上调时间通常需要几百毫秒),便能够提高人脸亮度。
在一个优选实施例中,所述方法还包括:在第一时长内,当所述人脸亮度平均值的波动超过了波动阈值时,重新进行曝光调整。
当通过前述步骤完成首次曝光调整后,本发明在以下三种场景下,会再次触发亮度调整:①由于开关灯、窗帘引起环境亮度显著变化导致的显著人脸亮度变化;②由于人脸的位置发生变化导致的显著人脸亮度变化;③由于人物发生变化,肤色不同引起的显著人脸亮度变化。
由于设备无法智能地判断出当前场景是否属于以上场景之一,只能通过计算当前人脸亮度值来判断,而考虑到人的头部自由转动时,也会引起亮度值一定程度的变化,为了避免错误地触发曝光调整,本实施例提供了一种稳定判断方法:在第一时长ΔTface_lum内,当加权平均后的人脸亮度平均值的波动超过了波动阈值时(如在上一次调整时的亮度的±ΔLum范围内),才进行新一次的曝光调整。
由于Face_Num较大时,更容易排除由于头部自由转动引起的曝光调整误触发。因此ΔTface_lum和ΔLum的大小设定可以依赖Face_Num,如:
Figure BDA0002704487040000101
其中,Face_Num为人脸数量,ΔTmax和ΔTmin分别为ΔTface_lum的最大和最小值,可以设为8~10和2~5。
在一个优选实施例中,所述方法还包括:
在第二时长内,当提取不到头部区域时,将亮度恢复到默认值。
若一定时长ΔThead(如5秒,如果ΔThead太小,一旦出现所有人头都检测丢失的情况,会引起亮度不必要的恢复)检测不到头部,则认为当前无人,亮度需要恢复到默认值:以默认权重进行分配(如全局平均,即每一块的权重值都设为1)。
综合上述,本发明实施例提供的一种图像曝光方法,基于人脸亮度平均值和全局亮度平均值进行曝光调整,即便人脸发生了移动(此时,某些分块的亮度发生变化,但是人脸亮度平均值变化不大,全局亮度平均值的变化也不大),也不会发生频繁的曝光调整,能够保持亮度的稳定,为视频双方提供良好的视觉体验。
应当理解,本发明实现上述图像曝光方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述图像曝光方法的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
图3所示为本发明实施例提供的一种图像曝光装置的一个优选实施例的结构示意图,所述装置能够实现上述任一实施例所述的图像曝光方法的全部流程。
如图3所示,所述装置包括:
第一计算模块,用于计算取景区域的逆光系数;
第二计算模块,用于根据所述逆光系数计算逆光补偿值;
第三计算模块,用于根据所述逆光补偿值计算脸部亮度调整值;
第四计算模块,用于计算整个图像的全局亮度平均值;
第五计算模块,用于计算人脸亮度平均值;
曝光调整模块,用于根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
具体而言,在视频会议终端接收到图像数据输入时,会进行智能取景得到一取景区域,首先由所述第一计算模块计算出该取景区域的逆光系数,所述第二计算模块根据该逆光系数计算出逆光补偿值,所述第三计算模块进一步根据该逆光补偿值计算脸部亮度调整值,所述第四计算模块计算出整个图像的全局亮度平均值、所述第五计算模块计算出人脸亮度平均值,最后再由所述曝光调整模块根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值上调曝光增益或者是下调曝光增益。
本发明实施例提供的一种图像曝光装置,基于人脸亮度和全局亮度进行曝光调整,能够减少亮度的频繁变化,使得调整后的亮度能够保持稳定,避免不必要的曝光调整。
在一个优选实施例中,所述第一计算模块具体用于:
计算所述取景区域的每一分块的亮度系数;
根据所述亮度系数计算所述取景区域的每一分块的逆光因子;
计算所述取景区域的宽度转换系数;
根据所述逆光因子以及所述宽度转换系数计算所述取景区域的逆光系数。
优选地,所述亮度系数通过如下计算关系进行计算:
Figure BDA0002704487040000121
其中,CoeLumi,j为所述取景区域的第i行第j列的分块的亮度系数,LumThrelevel_1为预设的第一亮度阈值,LumThrelevel_2为预设的第二亮度阈值,N>1。
进一步地,所述逆光因子通过如下计算关系进行计算:
Figure BDA0002704487040000122
其中,Factori,j为所述取景区域的第i行第j列的分块的逆光因子,CoeLumi,j为所述取景区域的第i行第j列的分块的亮度系数。
再进一步地,所述宽度转换系数通过如下计算关系进行计算:
Coewidth=block_num_width_max/block_num_width_cur;其中,Coewidth
为所述宽度转换系数,block_num_width_max为图像的水平分块数量,block_num_width_cur为取景区域水平分块数量。
更进一步的,所述逆光系数通过如下计算关系进行计算:
Coebacklight=max(Factori,j)*Coewidth;其中,Coebacklight为所述逆光系数,max(Factori,j)为所述取景区域中的每一分块的逆光因子的最大值,Coewidth为所述宽度转换系数。
在一个优选实施例中,所述第二计算模块具体用于:
根据如下关系计算所述逆光补偿值:
Lumbacklight_comp=Coebacklight/Coeback2lum;其中,Lumbacklight_comp为所述逆光补偿值,Coebacklight为所述逆光系数,Coeback2lum为转换系数,Coeback2lum的值设为4~10,Lumbacklight_comp的计算结果需要设置一个上限,上限值设为5~15。
在一个优选实施例中,所述第三计算模块具体用于:
根据如下关系计算所述脸部亮度调整值:
Lumface_adjust=Lumface_comp-Lumbacklight_comp;其中,Lumface_adjust为所述脸部亮度调整值,Lumbacklight_comp为所述逆光补偿值,Lumface_comp为脸部亮度补偿值,Lumface_comp的值设为-5~10。
在一个优选实施例中,所述第四计算模块具体用于:
根据如下关系计算所述全局亮度平均值:
Figure BDA0002704487040000131
其中,Lumglobal_ave为所述全局亮度平均值,Lumi,j为整个图像的第i行第j列的分块,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量。
在一个优选实施例中,所述第五计算模块具体用于:
从所述取景区域中提取头部区域;
从所述头部区域中提取脸部区域;
计算所述脸部区域的人脸亮度平均值。
优选地,所述头部区域通过MCTNN网络进行提取。
优选地,所述脸部区域通过MTCNN网络进行提取。
优选地,所述脸部区域包括标记的左嘴角关键点、右嘴角关键点、左额关键点、右额关键点、左脸颊关键点、右脸颊关键点、左上颚关键点、右上颚关键点。
优选地,所述计算所述脸部区域的人脸亮度平均值,具体包括:
从所述脸部区域中提取出由所述左额关键点、所述右额关键点、所述左脸颊关键点、所述右脸颊关键点、所述左上颚关键点、所述右上颚关键点所围成的六边形区域;
计算所述六边形区域的平均亮度,得到所述人脸亮度平均值。
优选地,所述人脸亮度平均值的计算公式为:
Figure BDA0002704487040000141
其中,Lumface_ave为所述人脸亮度平均值,Lum1为单人场景下获得的人脸亮度值,i为人脸编号,person_num代表人数,FaceWidi代表第i个人脸宽度,Lumi代表计算得到的第i个人脸亮度平均值。
在一个优选实施例中,所述曝光调整模块具体用于:
将所述人脸亮度平均值与所述脸部亮度调整值相减得到第一差值;
当所述第一差值小于所述全局亮度平均值时,逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值;
当所述第一差值大于所述全局亮度平均值时,逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值。
其中,所述逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值,具体包括:
X11:将整个图像的所有分块的亮度值进行降序排序,得到第一亮度序列{Lum1i}以及与所述第一亮度序列{Lum1i}对应的第一权重序列{Weight1i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数,block_num_width_cur为取景区域水平分块数;
X12:将所述第一权重序列{Weight1i}的初始权重值全置为1,并选取i=0;
X13:将Weight1i的权重值置为0;
X14:重新计算全局亮度平均值,若所述第一差值不小于减小后的全局亮度平均值,则结束,否则执行X15;
X15:令i=i+1,并返回X13。
进一步地,所述逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值,具体包括:
X21:将整个图像的所有分块的亮度值进行升序排序,得到第二亮度序列{Lum2i}以及所述第二亮度序列{Lum2i}对应的第二权重序列{Weight2i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数,block_num_width_cur为取景区域水平分块数;
X22:将所述第二权重序列{Weight2i}的初始权重值全置为1,并选取i=0;
X23:将Weight2i的权重值置为0;
X24:重新计算全局亮度平均值,若所述第一差值不大于增大后的全局亮度平均值,则结束,否则执行X25;
X25:令i=i+1,并返回X23。
在一个优选实施例中,所述装置还包括:
重新调整模块,用于在第一时长内,当所述人脸亮度平均值的波动超过了波动阈值时,重新进行曝光调整。
在一个优选实施例中,所述装置还包括:
亮度恢复模块,用于在第二时长内,当提取不到头部区域时,将亮度恢复到默认值。
本发明实施例提供的一种图像曝光装置,基于人脸亮度平均值和全局亮度平均值进行曝光调整,即便人脸发生了移动,也不会发生频繁的曝光调整,能够保持亮度的稳定,为视频双方提供良好的视觉体验。
以上所述,仅是本发明的优选实施方式,但本发明的保护范围并不局限于此,应当指出,对于本领域技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干等效的明显变形和/或同等替换,这些明显变形和/或同等替换也应视为本发明的保护范围。

Claims (10)

1.一种图像曝光方法,其特征在于,所述方法包括:
计算取景区域的逆光系数;
根据所述逆光系数计算逆光补偿值;
根据所述逆光补偿值计算脸部亮度调整值;
计算整个图像的全局亮度平均值;
计算人脸亮度平均值;
根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
2.根据权利要求1所述的图像曝光方法,其特征在于,所述计算人脸亮度平均值,具体包括:
从所述取景区域中提取头部区域;
从所述头部区域中提取脸部区域;
计算所述脸部区域的人脸亮度平均值。
3.根据权利要求1所述的图像曝光方法,其特征在于,所述计算取景区域的逆光系数,具体包括:
计算所述取景区域的每一分块的亮度系数;
根据所述亮度系数计算所述取景区域的每一分块的逆光因子;
计算所述取景区域的宽度转换系数;
根据所述逆光因子以及所述宽度转换系数计算所述取景区域的逆光系数。
4.根据权利要求1所述的图像曝光方法,其特征在于,所述根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整,具体包括:
将所述人脸亮度平均值与所述脸部亮度调整值相减得到第一差值;
当所述第一差值小于所述全局亮度平均值时,逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值;
当所述第一差值大于所述全局亮度平均值时,逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值。
5.根据权利要求4所述的图像曝光方法,其特征在于,所述逐步减小所述全局亮度平均值直至所述第一差值不小于减小后的全局亮度平均值,具体包括:
X11:将整个图像的所有分块的亮度值进行降序排序,得到第一亮度序列{Lum1i}以及与所述第一亮度序列{Lum1i}对应的第一权重序列{Weight1i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量;
X12:将所述第一权重序列{Weight1i}的初始权重值全置为1,并选取i=0;
X13:将Weight1i的权重值置为0;
X14:重新计算全局亮度平均值,若所述第一差值不小于减小后的全局亮度平均值,则结束,否则执行X15;
X15:令i=i+1,并返回X13。
6.根据权利要求4所述的图像曝光方法,其特征在于,所述逐步增大所述全局亮度平均值直至所述第一差值不大于增大后的全局亮度平均值,具体包括:
X21:将整个图像的所有分块的亮度值进行升序排序,得到第二亮度序列{Lum2i}以及所述第二亮度序列{Lum2i}对应的第二权重序列{Weight2i};其中,0≤i<width_block_num*height_block_num,block_num_width_max为图像的水平分块数量,block_num_height_max为图像的垂直分块数量;
X22:将所述第二权重序列{Weight2i}的初始权重值全置为1,并选取i=0;
X23:将Weight2i的权重值置为0;
X24:重新计算全局亮度平均值,若所述第一差值不大于增大后的全局亮度平均值,则结束,否则执行X25;
X25:令i=i+1,并返回X23。
7.根据权利要求1至6任一项所述的图像曝光方法,其特征在于,所述方法还包括:
在第一时长内,当所述人脸亮度平均值的波动超过了波动阈值时,重新进行曝光调整。
8.根据权利要求2所述的图像曝光方法,其特征在于,所述方法还包括:
在第二时长内,当提取不到头部区域时,将亮度恢复到默认值。
9.一种图像曝光装置,其特征在于,所述装置包括:
第一计算模块,用于计算取景区域的逆光系数;
第二计算模块,用于根据所述逆光系数计算逆光补偿值;
第三计算模块,用于根据所述逆光补偿值计算脸部亮度调整值;
第四计算模块,用于计算整个图像的全局亮度平均值;
第五计算模块,用于计算人脸亮度平均值;
曝光调整模块,用于根据所述人脸亮度平均值、所述脸部亮度调整值以及所述全局亮度平均值进行曝光调整。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现如权利要求1至8任一项所述的图像曝光方法。
CN202011036964.3A 2020-09-27 2020-09-27 一种图像曝光方法、装置及存储介质 Active CN112261307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011036964.3A CN112261307B (zh) 2020-09-27 2020-09-27 一种图像曝光方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011036964.3A CN112261307B (zh) 2020-09-27 2020-09-27 一种图像曝光方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112261307A true CN112261307A (zh) 2021-01-22
CN112261307B CN112261307B (zh) 2022-08-19

Family

ID=74234140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036964.3A Active CN112261307B (zh) 2020-09-27 2020-09-27 一种图像曝光方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112261307B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374793A (zh) * 2021-12-17 2022-04-19 深圳云天励飞技术股份有限公司 曝光控制方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004004449A (ja) * 2002-04-02 2004-01-08 Olympus Corp カメラの露出制御システム
CN101227562A (zh) * 2007-01-19 2008-07-23 华晶科技股份有限公司 亮度的修正方法
US20160127655A1 (en) * 2014-10-30 2016-05-05 Hisense Mobile Communications Technology Co., Ltd. Method and device for image taking brightness control and computer readable storage medium
CN107277356A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 逆光场景的人脸区域处理方法和装置
CN108322646A (zh) * 2018-01-31 2018-07-24 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108734676A (zh) * 2018-05-21 2018-11-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110072050A (zh) * 2019-03-28 2019-07-30 苏州科达科技股份有限公司 曝光参数的自适应调整方法、装置及一种拍摄设备
CN110620881A (zh) * 2019-10-31 2019-12-27 北京猎户智芯科技有限公司 车牌曝光补偿方法、装置、计算机设备及存储介质
CN111083385A (zh) * 2019-12-10 2020-04-28 珠海亿智电子科技有限公司 一种双目或多目摄像头曝光方法、系统和存储介质
CN111447405A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 一种针对视频监控的曝光方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004004449A (ja) * 2002-04-02 2004-01-08 Olympus Corp カメラの露出制御システム
CN101227562A (zh) * 2007-01-19 2008-07-23 华晶科技股份有限公司 亮度的修正方法
US20160127655A1 (en) * 2014-10-30 2016-05-05 Hisense Mobile Communications Technology Co., Ltd. Method and device for image taking brightness control and computer readable storage medium
CN107277356A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 逆光场景的人脸区域处理方法和装置
CN108322646A (zh) * 2018-01-31 2018-07-24 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108734676A (zh) * 2018-05-21 2018-11-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111447405A (zh) * 2019-01-17 2020-07-24 杭州海康威视数字技术股份有限公司 一种针对视频监控的曝光方法及装置
CN110072050A (zh) * 2019-03-28 2019-07-30 苏州科达科技股份有限公司 曝光参数的自适应调整方法、装置及一种拍摄设备
CN110620881A (zh) * 2019-10-31 2019-12-27 北京猎户智芯科技有限公司 车牌曝光补偿方法、装置、计算机设备及存储介质
CN111083385A (zh) * 2019-12-10 2020-04-28 珠海亿智电子科技有限公司 一种双目或多目摄像头曝光方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
甘玉泉等: "一种基于图像分区的自动曝光算法", 《微计算机信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374793A (zh) * 2021-12-17 2022-04-19 深圳云天励飞技术股份有限公司 曝光控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112261307B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN104978710B (zh) 一种基于拍照识别调节人脸亮度的方法和装置
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
US20060210124A1 (en) Image processing system, image processing apparatus and method, recording medium, and program
US8554010B2 (en) Image processing apparatus combining plural sets of image data and method for controlling the same
US8170296B2 (en) Image processing apparatus, image processing method, and program
JP4482037B2 (ja) デジタル画像形成の露出
US20040021779A1 (en) Image processing apparatus, image processing method, recording medium thereof, and program thereof
US8159616B2 (en) Histogram and chrominance processing
KR100860965B1 (ko) 노이즈 저감기능을 갖는 적응적 채도 향상 장치 및 방법
US8564862B2 (en) Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed
US7733390B2 (en) Image-processing devices, methods, and programs, and electronic cameras and the like comprising same
US20100177215A1 (en) Image processing apparatus and recording medium
JP2003179756A (ja) デジタル画像由来のデータを処理する方法及びプログラム製品
TW201106685A (en) Foreground image separation method
WO2009091152A2 (en) Color recovery method and system
JP3490910B2 (ja) 顔領域検出装置
CN112351195B (zh) 图像处理方法、装置和电子系统
CN112261307B (zh) 一种图像曝光方法、装置及存储介质
US6996270B1 (en) Method, apparatus, and recording medium for facial area adjustment of an image
JP4851505B2 (ja) 画像処理装置及び画像処理方法
JP5132470B2 (ja) 画像処理装置
JP3298330B2 (ja) 撮像装置
CN113091915B (zh) 基于人脸识别的自动体温信息采集系统
JPH09224174A (ja) 積分ルックアップテーブルを用いる適応型ガンマ補正装置
CN109618109B (zh) 一种摄像机成像的曝光调节方法及调节系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230511

Address after: Room 208-7, Hengye Building, No. 100 Xiangxing Road, Xiang'an Industrial Zone, Torch High tech Zone, Xiamen City, Fujian Province, 361100

Patentee after: Xiamen Yilian Communication Technology Co.,Ltd.

Address before: 361009 Yilian R & D building, No.1 Lingxia North Road, hi tech park, Huli District, Xiamen City, Fujian Province

Patentee before: YEALINK (XIAMEN) NETWORK TECHNOLOGY Co.,Ltd.