CN112991469A - 一种人脸亮度补偿方法、装置及计算机可读存储介质 - Google Patents

一种人脸亮度补偿方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112991469A
CN112991469A CN201911300668.7A CN201911300668A CN112991469A CN 112991469 A CN112991469 A CN 112991469A CN 201911300668 A CN201911300668 A CN 201911300668A CN 112991469 A CN112991469 A CN 112991469A
Authority
CN
China
Prior art keywords
face
area
brightness
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911300668.7A
Other languages
English (en)
Inventor
刘若鹏
栾琳
季春霖
裴碧波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Guangqi Zhicheng Network Technology Co ltd
Original Assignee
Shanghai Guangqi Zhicheng Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Guangqi Zhicheng Network Technology Co ltd filed Critical Shanghai Guangqi Zhicheng Network Technology Co ltd
Priority to CN201911300668.7A priority Critical patent/CN112991469A/zh
Publication of CN112991469A publication Critical patent/CN112991469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/77—

Abstract

本发明公开了一种人脸亮度补偿方法、装置及计算机可读存储介质，该方法包括以下步骤：通过人脸检测确定图像中人脸区域的位置；通过计算所述人脸区域的亮度信息确定所述人脸区域的阴面区和阳面区；预测下一帧图像中人脸区域的位置；将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域并对所述下一帧图像中人脸区域的阴面区进行增益调整。本发明的人脸亮度补偿方法和系统，比采用光学手段来解决阴阳脸现象节省了人脸摄像机成本，提升人脸识别的准确率，缩短了人脸识别算法提取人脸特征的响应时间。

Description

一种人脸亮度补偿方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理领域，特别地，涉及一种人脸亮度补偿方法、装置及计算机可读存储介质。
背景技术
近年来，随着计算机技术的迅猛发展，市场对人脸识别技术的需求不断创新高，人脸识别领域的研究得到了长足的发展。人脸识别以单活体生物学特征的特殊性和唯一性广泛应用于资金支付，门禁系统，考勤系统，目标人物追踪等领域。
智能人脸摄像机在传统的网络摄像机的基础上，增加人脸检测、抓拍、人脸图像质量判定、人脸优图筛选、人脸图像或者人脸特征上传等功能。其中，人脸摄像机检测和抓拍到的人脸人脸图像的质量与后端人脸识别算法的响应时间和准确率息息相关，而人脸识别的响应时间和准确率在整个产品或者项目中有着举足轻重的地位。当摄像机部署在户外时，户外环境存在光照复杂、光照遮挡等因素时常导致拍摄的人脸图像存在光照不一致问题，导致人脸一部分亮度充足，而另一部分亮度很低，处于亮度低的那部分人脸的五官特征就完全无法看清，即阴阳脸现象。存在阴阳脸现象的人脸图片，在算法执行人脸特征提取的过程中，往往无法准确地提取到亮度极低部分的特征，这样就导致后端进行人脸识别的准确率极低。
发明内容
有鉴于此，本发明提供一种人脸亮度补偿方法、装置及计算机可读存储介质，用于对采集到的阴阳脸人脸图像进行亮度补偿，亮度补偿后的图像亮度适中，可以缩短人脸识别算法对采集到的阴阳脸人脸图像人脸特征提取的响应时间并且提取的人脸特征更准确。
根据本发明实施例的第一方面，提供一种人脸亮度补偿方法，包括：
通过人脸检测确定图像中人脸区域的位置；
通过计算所述人脸区域的亮度信息确定所述人脸区域的阴面区和阳面区；
预测下一帧图像中人脸区域的位置；
将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域并对所述下一帧图像中人脸区域的阴面区进行增益调整。
优选地，通过深度学习算法或目标检测模型进行所述人脸检测，获取所述人脸区域的宽度和高度并确定人脸区域的位置。
优选地，所述人脸区域的位置根据人脸区域所在矩形框中左上角和右下角的像素点坐标确定，坐标信息如下：
Pface＝(Xt1,Yt1,Xb1,Yb1)，(Xt1∈(0,Xb1),Yt1∈(0,Yb1),Xb1∈(Xt1,Wpic),Yb1∈(Yt1,Hpic))；
其中，Pface表示人脸区域的位置，Xt1和Yt1分别指所述人脸区域所在的矩形框中左上角X轴和Y轴坐标，Xb1和Yb1分别指所述人脸区域所在的矩形框中右下角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
优选地，所述人脸区域的位置根据人脸区域所在矩形框中左下角和右上角的像素点坐标确定，坐标信息如下：
Pface＝(Xt2,Yt2,Xb2,Yb2)，(Xt2∈(0,Xb2),Yt2∈(0,Yb2),Xb2∈(Xt2,Wpic),Yb2∈(Yt2,Hpic))；
其中，Pface表示人脸区域的位置，Xt2和Yt2分别指所述人脸区域所在的矩形框中左下角X轴和Y轴坐标，Xb2和Yb2分别指所述人脸区域所在的矩形框中右上角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
优选地，所述计算人脸亮度信息包括：
将所述人脸区域中的像素点按a×b的区域划分为n×m个元素，构成n×m维亮度张量Ln×m；
计算每个所述元素的亮度平均值；将每个所述元素的亮度平均值与亮度阈值比较，当所述亮度平均值大于所述亮度阈值，阴阳脸类型被赋第一值，反之被赋第二值；
将所述阴阳脸类型的值存储在所述亮度张量Ln×m中对应的位置，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区。
优选地，阴阳脸类型被赋第一值表示亮度张量Ln×m中对应的位置为阳面，阴阳脸类型被赋第二值表示亮度张量Ln×m中对应的位置为阴面。
优选地，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区包括：
计算出所述亮度张量中每一列的阴面类型比例，计算公式如下：
Figure BDA0002321716050000031
其中，Li,j表示所述阴阳脸类型Tface存储在所述亮度张量Ln×m第i行第j列的值；
计算阴面边界列上界Bneg和阴面边界列下界B′neg值，计算公式如下：
Figure BDA0002321716050000032
Figure BDA0002321716050000033
其中，R_NEGthr表示阴面亮度阈值，两个边界列之间的区域即为所述阴面区，两个边界列之外的区域即为所述阳面区。
优选地，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区包括：
计算出所述亮度张量中每一行的所述阴面类型比例，计算公式如下：
Figure BDA0002321716050000034
其中，Li,j表示所述阴阳脸类型Tface存储在所述亮度张量Ln×m第i行第j列的值；
计算阴面边界行上界Bneg和阴面边界行下界B′neg值，计算公式如下：
Figure BDA0002321716050000035
Figure BDA0002321716050000036
其中，R_NEGthr表示阴面亮度阈值，两个边界行之间的区域即为所述阴面区，两个边界行之外的区域即为所述阳面区。
优选地，预测下一帧图像中人脸区域的位置包括：获取当前帧和前两帧人脸区域的位置；通过拟合曲线预测或机器进行预测。
优选地，将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域并对所述下一帧图像中人脸区域的阴面区进行增益调整包括：
获取预测的下一帧图像人脸区域的位置，将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域；
将嵌入式人脸摄像机的图像采集视野中的像素点划分为多个相等的矩形区域；
确定所述下一帧图像中人脸区域映射在所述图像采集视野中的矩形区域的位置，根据所述下一帧图像中人脸区域中的阴面区获得目标增益调节区；
将所述目标增益调节区的原始增益值加上一个增益偏置得到目标增益值，将目标增益值设置到嵌入式人脸摄像机中的图像处理器中，根据目标增益值调节目标增益调节区的亮度。
优选地，所述人脸区域的阴面区消除之后所述目标增益值恢复为与原始增益值相等。
根据本发明的第二方面，提供一种人脸亮度补偿装置，包括处理器和存储器，所述处理器用于执行所述存储器中存储的程序，以实现本发明第一方面提供的人脸亮度补偿方法的步骤。
根据本发明的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明第一方面提供的人脸亮度补偿方法的步骤。
本发明实施例提供的人脸亮度补偿方法、装置及计算机可读存储介质，确定人脸区域的阴面区和阳面区，将阴面区和阳面区对应到下一帧图像中人脸区域的相应区域并对下一帧图像中人脸区域的阴面区进行增益调整，有效的消除人脸摄像机采集人脸图像时出现的阴阳脸现象，本发明比采用光学手段来解决阴阳脸现象节省了人脸摄像机成本，并且对经过校正后的人脸图像提取的人脸特征更准确，能大幅提升人脸识别的准确率，缩短了人脸识别算法提取人脸特征的响应时间。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。
图1a和图1b分别示出采集到的图像和对采集到的图像进行亮度调整后的图像。
图2示出根据本发明实施例的人脸亮度补偿方法流程图。
图3示出根据本发明实施例的获取阴面区和阳面区的流程图。
图4示出根据本发明实施例的预测下一帧图像中人脸区域的位置的流程图。
图5示出根据本发明实施例的增益调整的流程图。
图6示出根据本发明实施例的人脸亮度补偿装置中处理器的模块框图。
具体实施方式
以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。以下较佳实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。
图1a和图1b分别示出采集到的图像和对采集到的图像进行亮度调整后的图像。
如图1a所示，该图像是在背光或低光照环境下进行拍摄的，导致人脸的一部分处于逆光环境，一部分人脸亮度适当，而另一部分人脸处于亮度很低的状态无法看清这部分脸部的情况。
如图1b所示，该图像是通过本发明实施例进行人脸亮度补偿后的图像，可以清楚的看到人脸特征。
图2示出根据本发明实施例的人脸亮度补偿系统流程图，如图2所示，人脸亮度补偿系统包括：
步骤S11，确定图像中人脸区域的位置。
具体地，嵌入式人脸摄像机中的深度学习算法或目标检测模型进行人脸检测，获取人脸区域的宽度和高度并确定人脸区域的位置。深度学习算法例如包括：Yolo算法、mtcnn算法、dlib算法；目标检测模型例如包括：In-Yolo深度学习模型。
例如，该嵌入式人脸摄像机采用In-Yolo深度学习模型，输入层采用YUV格式的图像，输出层采用102×102×7维的张量，嵌入式端软件对输出层张量进行后处理，计算出人脸坐标信息。
人脸区域的位置例如根据人脸区域所在矩形框中左上角和右下角的像素点坐标确定，坐标信息如下：
Pface＝(Xt1,Yt1,Xb1,Yb1)，(Xt1∈(0,Xb1),Yt1∈(0,Yb1),Xb1∈(Xt1,Wpic),Yb1∈(Yt1,Hpic))；
其中，Pface表示人脸区域的位置，Xt1和Yt1分别指人脸区域所在的矩形框中左上角X轴和Y轴坐标，Xb1和Yb1分别指人脸区域所在的矩形框中右下角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
人脸区域的位置例如根据人脸区域所在矩形框中左下角和右上角的像素点坐标确定，坐标信息如下：
Pface＝(Xt2,Yt2,Xb2,Yb2)，(Xt2∈(0,Xb2),Yt2∈(0,Yb2),Xb2∈(Xt2,Wpic),Yb2∈(Yt2,Hpic))；
其中，Pface表示人脸区域的位置，Xt2和Yt2分别指人脸区域所在的矩形框中左下角X轴和Y轴坐标，Xb2和Yb2分别指人脸区域所在的矩形框中右上角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
需要说明的是确定人脸区域的位置不局限于上述方法，深度学习算法和目标检测模型不局限于以上的列举。
步骤S12，计算人脸亮度信息获取人脸区域的阴面区(亮度较低区域，无法识别人脸特征细节)和阳面区(亮度正常区域，可以识别人脸特征细节)。
人脸亮度信息包括：亮度平均值LAa×b，阴阳脸类型Tface，亮度张量Ln×m。
具体地，将人脸的位置信息指示的区域中的像素点按a×b的区域划分为n×m个元素，构成n×m维亮度张量Ln×m，计算每个元素的亮度平均值LAa×b，将亮度平均值LAa×b与亮度阈值Lthr比较，当亮度平均值LAa×b大于亮度阈值Lthr，阴阳脸类型Tface被赋第一值，反之被赋第二值，将阴阳脸类型Tface存储在亮度张量Ln×m中对应的位置，根据亮度张量Ln×m获取阴面区和阳面区。
其中，阴阳脸类型Tface被赋第一值表示亮度张量Ln×m中对应的位置为阳面，阴阳脸类型被赋第二值表示亮度张量Ln×m中对应的位置为阴面。
步骤S13，预测下一帧图像中人脸区域的位置。
具体地，获取当前帧和前两帧图像中人脸区域的位置，通过拟合曲线预测或机器预测。
步骤S14，增益调整。
具体地，获取预测的下一帧图像人脸区域的位置，将阴面区和阳面区对应到下一帧图像中人脸区域的相应区域；将嵌入式人脸摄像机的图像采集视野中的像素点划分为多个相等的矩形区域；确定下一帧图像中人脸区域映射在图像采集视野中的矩形区域的位置，根据下一帧图像中人脸区域中的阴面区获得目标增益调节区Ptune；将目标增益调节区Ptune的原始增益值Gtune加上一个增益偏置Δgain得到目标增益值Gtar，将目标增益值Gtar设置到嵌入式人脸摄像机中的图像处理器中，根据目标增益值Gtar调节目标增益调节区Ptune的亮度，使得嵌入式人脸摄像机采集到的下一帧图像中人脸区域清晰。
需要说明的是，人脸摄像机中的图像处理器可以对图像采集视野中划分的矩形区域进行单独调节，当人脸区域的阴面区消除之后目标增益值恢复为原始增益值。
图3示出根据本发明实施例的获取阴面区和阳面区的流程图，如图3所示，获取阴面区和阳面区的步骤包括：
步骤S121，将人脸区域中的像素点按a×b的区域划分为n×m个元素，构成n×m维亮度张量Ln×m。例如：人脸区域所占的像素点为80×80的规格，按照4×4的区域将人脸区域划分为20×20个元素，构成20×20维的亮度张量，每个元素的规格为4×4的像素点。
步骤S122，计算每个元素的亮度平均值，将每个元素的亮度平均值与亮度阈值比较，当亮度平均值大于亮度阈值，阴阳脸类型被赋第一值，反之被赋第二值。
具体地，例如：
Figure BDA0002321716050000081
其中，Tface表示阴阳脸类型，Lthr表示亮度阈值，LAa×b表示每个元素的亮度平均值，第一值用“1”表示，第二值用“0”表示。
步骤S123，将阴阳脸类型的值存储在亮度张量Ln×m中对应的位置。
步骤S124，计算n×m维亮度张量Ln×m的每一列/行的阴面类型比例。
例如：计算出20×20维的亮度张量中第1列至第20列中每一列/行的阴面类型比例。
具体地，计算n×m维亮度张量Ln×m的每一列阴面类型比例采用如下公式：
Figure BDA0002321716050000082
其中，Li,j表示阴阳脸类型Tface存储在亮度张量Ln×m第i行第j列的值；
计算n×m维亮度张量Ln×m的每一行阴面类型比例采用如下公式：
Figure BDA0002321716050000083
其中，Li,j表示阴阳脸类型Tface存储在亮度张量Ln×m第i行第j列的值。
需要说明的是，计算阴面类型比例不局限于按列/行划分n×m维亮度张量Ln×m。
步骤S125，根据阴面亮度阈值和每一列/行的阴面类型比例确定阴面区和阳面区。
具体地，根据阴面亮度阈值和每一列的阴面类型比例确定阴面区和阳面区采用如下公式：
Figure BDA0002321716050000091
Figure BDA0002321716050000092
其中，R_NEGthr表示阴面亮度阈值，Bneg表示阴面边界列上界，B′neg表示阴面边界列下界，边界列上界Bneg和边界列下界B′neg之间的区域即为阴面区，边界列上界Bneg和边界列下界B′neg之外的区域即为阳面区；
根据阴面亮度阈值和每一行的阴面类型比例确定阴面区和阳面区采用如下公式：
Figure BDA0002321716050000093
Figure BDA0002321716050000094
其中，R_NEGthr表示阴面亮度阈值，Bneg表示阴面边界行上界，B′neg表示阴面边界行下界，边界行上界Bneg和边界行下界B′neg之间的区域即为阴面区，边界行上界Bneg和边界行下界B′neg之外的区域即为阳面区。
在本发明提供的实施例中，阴面亮度阈值为0.5。
图4示出根据本发明实施例的预测下一帧图像中人脸区域的位置的流程图，如图4所示，预测下一帧图像中人脸区域的位置的步骤包括：
步骤S131，获取当前帧和前两帧人脸区域的位置。
步骤S132，计算拟合曲线或调试机器预测设备。
步骤S133，确定预测的下一帧图像中人脸区域的位置。
例如，通过拟合曲线预测，当前帧人脸区域左上角坐标维(200，300)，前两帧该人脸区域左上角坐分别为(180，260)，(150，220)，计算出X轴坐标的拟合曲线为X′＝0.67X+79.4，(X为当前帧人脸区域X轴坐标)Y轴的拟合曲线为Y′＝Y+40，(Y为当前帧人脸区域Y轴坐标)，由此可确定下一帧人脸区域左上角坐标为(214，340)。
图5示出根据本发明实施例的增益调整的流程图，如图5所示，增益调整的步骤包括：
步骤S141，获取预测的下一帧图像人脸区域的位置，确定该图像中人脸区域的阴面区。
具体地，将阴面区和阳面区对应到下一帧图像中人脸区域的相应区域。例如：预测出的下一帧图像中人脸区域的位置为(214，340，254，420)，即左上角坐标为(214，340)，右下角坐标为(254，420)，根据计算出的阴面区和阳面区确定下一帧图像中人脸区域的位置。
步骤S142，划分增益调节区。
将嵌入式人脸摄像机的图像采集视野中的像素点划分为多个相等的矩形区域。
例如：嵌入式人脸摄像机图像采集视野中1920×1080的像素点划分为18×24矩形区域，作为增益区调节区。
步骤S143，确定目标增益调节区。
具体地，确定下一帧图像中人脸区域映射在图像采集视野中的矩形区域的位置，即确定出下一帧图像中人脸区域落在图像采集视野中的哪些矩形区域中，根据下一帧图像中人脸区域中的阴面区获得目标增益调节区Ptune；
例如：确定出目标增益调节区为第5行3列和7行4列之间的矩形区域。
步骤S144，增加目标增益调节区的原始增益值。
具体地，将目标增益调节区Ptune的原始增益值Gtune加上一个增益偏置Δgain得到目标增益值Gtar，将目标增益值Gtar设置到嵌入式人脸摄像机中的图像处理器中，根据目标增益值Gtar调节目标增益调节区的亮度。
步骤S145，判断是否恢复增益值。
具体地，当阴阳脸现象消除后，进行步骤S146：将目标增益值恢复为原始增益值；当阴阳脸现象仍然存在，目标增益值不恢复为原始增益值。
图6示出根据本发明实施例的人脸亮度补偿装置中处理器的模块框图。
如图6所示，人脸亮度补偿装置中处理器包括：人脸检测模块100，阴阳脸统计模块200，位置预测模块300，增益调整模块400。
本发明实施例中，人脸检测模块100通过人脸检测确定图像中人脸区域的位置；阴阳脸统计模块200计算人脸亮度信息获取人脸区域的阴面区和阳面区；位置预测模块300预测下一帧图像中人脸区域的位置；增益调整模块400将阴面区和阳面区对应到下一帧图像中人脸区域的相应区域并对下一帧图像中人脸区域的阴面区进行增益调整。
具体地，人脸检测模块100包括嵌入式人脸摄像机，嵌入式人脸摄像机中的嵌入式系统中包括可运行的深度学习算法或目标检测模型，根据深度学习算法或目标检测模型检测人脸区域的位置。
阴阳脸统计模块200将人脸区域中的像素点按a×b的区域划分为n×m个元素，构成n×m维亮度张量Ln×m；计算每个元素的亮度平均值；将每个元素的亮度平均值与亮度阈值比较，当亮度平均值大于亮度阈值，阴阳脸类型被赋第一值，反之被赋第二值；将阴阳脸类型的值存储在亮度张量Ln×m中对应的位置，根据亮度张量Ln×m获取阴面区和阳面区。
根据亮度张量Ln×m获取阴面区和阳面区在前面已经进行了说明，在此不再赘述。
位置预测模块300获取当前帧和前两帧人脸区域的位置，通过拟合曲线或机器预测下一帧图像中人脸区域的位置。
增益调整模块400获取预测的下一帧图像人脸区域的位置，将阴面区和阳面区对应到下一帧图像中人脸区域的相应区域；将嵌入式人脸摄像机的图像采集视野中的像素点划分为多个相等的矩形区域；确定出下一帧图像中人脸区域映射在图像采集视野中的矩形区域的位置，根据下一帧图像中人脸区域中的阴面区获得目标增益调节区Ptune，将目标增益调节区Ptune的原始增益值Gtune加上一个增益偏置Δgain得到目标增益值Gtar，将目标增益值Gtar设置到嵌入式人脸摄像机中的图像处理器中，根据目标增益值Gtar调节目标增益调节区Ptune的亮度。
特别地，阴阳脸现象消除之后目标增益值恢复为原始增益值。
根据本发明实施例的人脸亮度补偿方法、装置及计算机可读存储介质，确定人脸区域中的阴面区和阳面区并预测下一帧人脸区域的位置，将阴面区和阳面区对应到下一帧人脸区域中的相应位置，进而调节阴面区的亮度，使得下一帧图像中人脸区域的阴面亮度有所提升。本发明实施例比采用光学手段来解决阴阳脸现象节省了人脸摄像机的成本。同时，对经过亮度补偿后的人脸图像提取出的人脸特征更准确，因此能大幅度提升人脸识别的准确率，降低人脸识别耗时。
本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (13)

1.一种人脸亮度补偿方法，其中，包括：
通过人脸检测确定图像中人脸区域的位置；
通过计算所述人脸区域的亮度信息确定所述人脸区域的阴面区和阳面区；
预测下一帧图像中人脸区域的位置；
将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域并对所述下一帧图像中人脸区域的阴面区进行增益调整。
2.根据权利要求1所述的人脸亮度补偿方法，其中，通过深度学习算法或目标检测模型进行所述人脸检测，获取所述人脸区域的宽度和高度并确定人脸区域的位置。
3.根据权利要求2所述的人脸亮度补偿方法，其中，所述人脸区域的位置根据人脸区域所在矩形框中左上角和右下角的像素点坐标确定，坐标信息如下：
Pface＝(Xt1,Yt1,Xb1,Yb1)，(Xt1∈(0,Xb1),Yt1∈(0,Yb1),Xb1∈(Xt1,Wpic),Yb1∈(Yt1,Hpic))；
其中，Pface表示人脸区域的位置，Xt1和Yt1分别指所述人脸区域所在的矩形框中左上角X轴和Y轴坐标，Xb1和Yb1分别指所述人脸区域所在的矩形框中右下角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
4.根据权利要求2所述的人脸亮度补偿方法，其中，所述人脸区域的位置根据人脸区域所在矩形框中左下角和右上角的像素点坐标确定，坐标信息如下：
Pface＝(Xt2,Yt2,Xb2,Yb2)，(Xt2∈(0,Xb2),Yt2∈(0,Yb2),Xb2∈(Xt2,Wpic),Yb2∈(Yt2,Hpic))；
其中，Pface表示人脸区域的位置，Xt2和Yt2分别指所述人脸区域所在的矩形框中左下角X轴和Y轴坐标，Xb2和Yb2分别指所述人脸区域所在的矩形框中右上角X轴和Y轴坐标，Wpic和Hpic分别指人脸区域所在的矩形框的宽度和高度。
5.根据权利要求1所述的人脸亮度补偿方法，其中，所述计算人脸亮度信息包括：
将所述人脸区域中的像素点按a×b的区域划分为n×m个元素，构成n×m维亮度张量Ln×m；
计算每个所述元素的亮度平均值，将每个所述元素的亮度平均值与亮度阈值比较，当所述亮度平均值大于所述亮度阈值，阴阳脸类型被赋第一值，反之被赋第二值；
将所述阴阳脸类型的值存储在所述亮度张量Ln×m中对应的位置，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区。
6.根据权利要求5所述的人脸亮度补偿方法，其中，阴阳脸类型被赋第一值表示亮度张量Ln×m中对应的位置为阳面，阴阳脸类型被赋第二值表示亮度张量Ln×m中对应的位置为阴面。
7.根据权利要求5所述的人脸亮度补偿方法，其中，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区包括：
计算所述亮度张量中每一列的阴面类型比例，计算公式如下：
Figure FDA0002321716040000021
其中，Li,j表示所述阴阳脸类型Tface存储在所述亮度张量Ln×m第i行第j列的值；
计算阴面边界列上界Bneg和阴面边界列下界B′neg值，计算公式如下：
Figure FDA0002321716040000022
Figure FDA0002321716040000023
其中，R_NEGthr表示阴面亮度阈值，两个边界列之间的区域即为所述阴面区，两个边界列之外的区域即为所述阳面区。
8.根据权利要求5所述的人脸亮度补偿方法，其中，根据所述亮度张量Ln×m确定所述阴面区和所述阳面区包括：
计算所述亮度张量中每一行的所述阴面类型比例，计算公式如下：
Figure FDA0002321716040000031
其中，Li,j表示所述阴阳脸类型Tface存储在所述亮度张量Ln×m第i行第j列的值；
计算阴面边界行上界Bneg和阴面边界行下界B′neg值，计算公式如下：
Figure FDA0002321716040000032
Figure FDA0002321716040000033
其中，R_NEGthr表示阴面亮度阈值，两个边界行之间的区域即为所述阴面区，两个边界行之外的区域即为所述阳面区。
9.根据权利要求1所述的人脸亮度补偿方法，其中，预测下一帧图像中人脸区域的位置包括：获取当前帧和前两帧人脸区域的位置；通过拟合曲线预测或机器进行预测。
10.根据权利要求1所述的人脸亮度补偿方法，其中，将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域并对所述下一帧图像中人脸区域的阴面区进行增益调整包括：
获取预测的下一帧图像人脸区域的位置，将所述阴面区和所述阳面区对应到所述下一帧图像中人脸区域的相应区域；
将嵌入式人脸摄像机的图像采集视野中的像素点划分为多个相等的矩形区域；
确定所述下一帧图像中人脸区域映射在所述图像采集视野中的矩形区域的位置，根据所述下一帧图像中人脸区域中的阴面区获得目标增益调节区；
将所述目标增益调节区的原始增益值加上一个增益偏置得到目标增益值，将目标增益值设置到嵌入式人脸摄像机中的图像处理器中，根据目标增益值调节目标增益调节区的亮度。
11.根据权利要求1所述的人脸亮度补偿方法，其中，所述人脸区域的阴面区消除之后所述目标增益值恢复为原始增益值。
12.一种人脸亮度补偿装置，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的程序，以实现如权利要求1至权利要求11任一所述的人脸亮度补偿方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至11任一所述的人脸亮度补偿方法的步骤。
CN201911300668.7A 2019-12-17 2019-12-17 一种人脸亮度补偿方法、装置及计算机可读存储介质 Pending CN112991469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911300668.7A CN112991469A (zh) 2019-12-17 2019-12-17 一种人脸亮度补偿方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911300668.7A CN112991469A (zh) 2019-12-17 2019-12-17 一种人脸亮度补偿方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112991469A true CN112991469A (zh) 2021-06-18

Family

ID=76342099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911300668.7A Pending CN112991469A (zh) 2019-12-17 2019-12-17 一种人脸亮度补偿方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112991469A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505674A (zh) * 2021-06-30 2021-10-15 上海商汤临港智能科技有限公司 人脸图像处理方法及装置、电子设备和存储介质
CN116433539A (zh) * 2023-06-15 2023-07-14 加之创(厦门)科技有限公司 一种用于无感知式健康检测的图像处理方法、介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505674A (zh) * 2021-06-30 2021-10-15 上海商汤临港智能科技有限公司 人脸图像处理方法及装置、电子设备和存储介质
CN116433539A (zh) * 2023-06-15 2023-07-14 加之创(厦门)科技有限公司 一种用于无感知式健康检测的图像处理方法、介质及设备

Similar Documents

Publication Publication Date Title
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
KR101051459B1 (ko) 영상의 에지를 추출하는 장치 및 방법
CN109523583B (zh) 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
WO2021093534A1 (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN105592367A (zh) 一种图像显示参数调节方法和系统
CN107481267A (zh) 一种基于双目视觉的摄像投影交互系统及方法
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN112991469A (zh) 一种人脸亮度补偿方法、装置及计算机可读存储介质
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
WO2021057455A1 (zh) 用于红外图像序列的背景运动估计方法、装置及存储介质
CN108257153B (zh) 一种基于方向梯度统计特征的目标跟踪方法
CN110390338B (zh) 一种基于非线性引导滤波与比率梯度的sar高精度匹配方法
CN110009664B (zh) 一种基于响应图融合的红外目标跟踪方法及装置
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
WO2020019239A1 (zh) 一种定位方法、装置、终端和可读存储介质
JP5080416B2 (ja) 入力画像から検出対象物の像を検出する画像処理装置
CN112766338B (zh) 一种计算距离图像的方法、系统及计算机可读存储介质
CN111383183B (zh) 图像边缘增强方法、装置以及计算机存储介质
CN113947686A (zh) 一种图像的特征点提取阈值动态调整方法和系统
CN108596950B (zh) 一种基于主动漂移矫正的刚体目标跟踪方法
CN116917954A (zh) 图像检测方法、装置和电子设备
JP2019192048A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination