CN111583127B - 人脸肤色校正方法、装置、计算机设备和可读存储介质 - Google Patents
人脸肤色校正方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111583127B CN111583127B CN202010258260.4A CN202010258260A CN111583127B CN 111583127 B CN111583127 B CN 111583127B CN 202010258260 A CN202010258260 A CN 202010258260A CN 111583127 B CN111583127 B CN 111583127B
- Authority
- CN
- China
- Prior art keywords
- correction
- color
- face
- channel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 346
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 6
- 239000003086 colorant Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G06T5/77—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请涉及一种人脸肤色校正方法、装置、计算机设备和可读存储介质,包括获取待校正图像的校正参数和颜色校正矩阵;获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例;根据比例选择对应的校正模式,通过调整校正参数和颜色校正矩阵校正人脸肤色。在人脸肤色校正中,为了保证人脸肤色正常,往往需要改变背景色彩,上述方法以人脸面积的大小为区分点,对大面积人脸和小面积人脸分别采用不同的肤色校正模式,将背景色彩偏差保持在可控范围以内的前提下,保证图像的校正效果;另外,在色彩校正过程,通过联动全局校正参数和颜色校正矩阵对图像的色彩进行调整,在不同的校正模式下做不同的选择,保证了人脸肤色的快速校正。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种人脸肤色校正方法、装置、计算机设备和可读存储介质。
背景技术
人脸检测是人脸识别的重要组成部分,在信息安全越来越被重视的今天,人脸检测已广泛应用在医疗,交通监控,智能家居等方面。在人脸检测过程中,人脸的肤色对人脸检测结果造成直接影响,因此,需要对人脸肤色进行校正以提高人脸检测的准确性。
传统地,对人脸肤色进行校正通常是从获得的人脸皮肤区域的亮度值出发,通过预先指定期望平均肤色的色相和亮度,以提高或者降低曝光度为手段,并结合人脸区域内的饱和度情况(欠饱和或过饱和),矫正人像图片的曝光和白平衡异常的问题。该方法只统计了人脸区域内的像素点信息,以局部信息的优化结果应用到整体图像上,缺乏对背景信息和整体画面的色彩考虑,校正效果较差。
针对相关技术中存在的校正效果差的问题,目前尚未提出有效解决方案。
发明内容
本申请提供一种人脸肤色校正方法、装置、计算机设备和可读存储介质,以至少解决相关技术中校正效果差的问题。
第一方面,本申请实施例提供了一种人脸肤色校正方法,所述方法包括:
获取待校正图像的校正参数和颜色校正矩阵;
获取所述待校正图像中的人脸区域,并计算所述人脸区域面积占所述待校正图像面积的比例;
根据所述比例选择对应的校正模式,通过调整所述校正参数和颜色校正矩阵校正人脸肤色。
在其中一些实施例中,根据所述比例选择对应的校正模式,通过调整所述校正参数和颜色校正矩阵校正人脸肤色包括:
若所述比例大于或等于预设比例,则通过第一校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色;
若所述比例小于预设比例,则通过第二校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色。
在其中一些实施例中,所述第一校正模式包括:
获取所述人脸区域中各像素点三通道平均值R0G0B0;
计算所述三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值;
根据所述第一差值调整所述校正参数,并计算调整后的白块偏差反馈参数;
若白块偏差反馈参数不在预设范围内,则获取调整后各像素点三通道平均值RX2GX2BX2;
计算所述三通道平均值RX2GX2BX2与三通道期望值RTGTBT的第二差值;
根据所述第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值。
在其中一些实施例中,所述方法还包括:
若所述白块偏差反馈参数在预设范围内,则获取所述人脸区域调整后的三通道平均值RX1GX1BX1;
若RX1GX1BX1与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX1GX1BX1与三通道期望值RTGTBT不相等,则继续对所述校正参数进行调整。
在其中一些实施例中,所述根据所述第一差值调整所述校正参数包括:
根据所述第一差值的大小确定所述校正参数的调整方向;
根据第一预设步长和所述调整方向调整所述校正参数。
在其中一些实施例中,所述计算调整后的白块偏差反馈参数包括:
在所述待校正图像中选取一块白块区域;
获取调整后所述白块区域中各像素点三通道平均值RY1GY1BY1;
计算|RY1-GY1|和|BY1-GY1|;
将|RY1-GY1|和|BY1-GY1|中较大值作为所述白块偏差反馈参数。
在其中一些实施例中,所述根据所述第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值包括:
根据所述第二差值调整所述颜色校正矩阵;
利用调整后的所述颜色校正矩阵对所述待校正图像进行校正,并获取所述人脸区域调整后的RGB平均值RX3GX3BX3;
若RX3GX3BX3与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX3GX3BX3与三通道期望值RTGTBT不相等,则继续对所述颜色校正矩阵进行调整。
在其中一些实施例中,所述第二校正模式包括:
获取所述人脸区域中各像素点三通道平均值R0G0B0;
计算所述三通道平均值R0G0B0与三通道期望值RTGTBT的第三差值;
根据所述第三差值对所述颜色校正矩阵进行调整,并计算调整后的全局色彩偏差反馈参数;
若所述全局色彩偏差反馈参数不在预设范围内,则获取调整后所述人脸区域中各像素点三通道平均值RX4GX4BX4;
分别计算出每一通道的平均值与三通道期望值的第四差值;
根据所述第四差值调整所述校正参数,将三通道平均值调整至三通道期望值。
在其中一些实施例中,所述计算调整后的全局色彩偏差反馈参数包括:
在所述待校正图像中选取红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB,并分别计算对应的三通道平均值RZRGZRBZR、RZGGZGBZG和RZBGZBBZB;
分别获取调整后红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB内三通道平均值R/ ZRG/ ZRB/ ZR、R/ ZGG/ ZGB/ ZG和R/ ZBG/ ZBB/ ZB;
根据三个色块区域调整前后的三通道平均值,分别确定色块偏差反馈参数ΔR、ΔG和ΔB;
根据ΔR、ΔG和ΔB,确定所述全局色彩偏差反馈参数。
在其中一些实施例中,所述根据所述第四差值调整所述校正参数,将三通道平均值调整至三通道期望值包括:
根据所述第四差值调整所述校正参数;
利用调整后的所述校正参数对所述待校正图像进行校正,并获取所述人脸区域调整后的三通道平均值RX5GX5BX5;
若RX5GX5BX5与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX5GX5BX5与三通道期望值RTGTBT不相等,则继续对所述校正参数进行调整。
在其中一些实施例中,所述根据所述第四差值调整所述校正参数包括:
根据所述第四差值的大小确定所述校正参数的调整方向;
根据第二预设步长和所述调整方向对所述校正参数进行调整,所述第二预设步长小于第一预设步长,第一预设步长为在第一校正模式中调整校正参数采用的步长。
在其中一些实施例中,所述方法还包括:
若所述全局色彩偏差反馈参数在预设范围内,则获取所述人脸区域调整后三通道平均值RX6GX6BX6;
若RX6GX6BX6与三通道期望值值RTGTBT相等,则人脸肤色校正成功;
若RX6GX6BX6与三通道期望值RTGTBT不相等,则继续对所述颜色校正矩阵进行调整。
第二方面,本申请实施例提供了一种人脸肤色校正装置,所述装置包括:
获取模块,用于获取待校正图像的校正参数以及颜色校正矩阵;
计算模块,用于获取所述待校正图像中的人脸区域,并计算所述人脸区域面积占所述待校正图像面积的比例;
校正模块,用于根据所述比例选择对应的校正模式,通过调整后的所述校正参数和颜色校正矩阵校正人脸肤色。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种人脸肤色校正方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种人脸肤色校正方法。
相比于相关技术,本申请实施例提供的人脸肤色校正方法、装置、计算机设备和可读存储介质,通过联动全局白平衡模块和颜色校正矩阵,根据人脸区域面积占所述待校正图像面积的比例采用不同的校正模式,解决了相关技术中存在的校正效果差的问题,实现了人脸肤色的快速校正,且校正效果更优。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一实施例提供的人脸肤色校正方法的流程图;
图2为一实施例提供的第一校正模式的流程图;
图3为本申请优选实施例的第一校正模式的流程图;
图4为一实施例提供的第二校正模式的流程图;
图5为一实施例提供的计算调整后的全局色彩偏差反馈参数的流程图;
图6为本申请优选实施例的第二校正模式的流程图;
图7为一个实施例中人脸肤色校正装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请描述的各种技术可应用于视频监控、医疗、交通监控、智能家居等各种应用场景中,但并不局限于上述应用场景。
图1为一实施例提供的人脸肤色校正方法的流程图,如图1所示,人脸肤色校正方法包括步骤110至步骤130,其中:
步骤110,获取待校正图像的校正参数和颜色校正矩阵。
待校正图像可以从图像采集装置中获取。待校正图像的校正参数包括Rgain和Bgain,获取待校正图像的Rgain和Bgain可以使用常见的色温估计的白平衡算法。具体地,可以首先通过实验确定常见色温下的R/G、B/G的范围,建立常见色温查找表,然后统计当前待校正图像像素点的R/G、B/G的值,即可得到校正参数Rgain和Bgain。
颜色校正矩阵(Color Correction Matrix,CCM)可以改变待校正图像的颜色分量,通过CCM模型微调人脸肤色,具体可以通过如下公式调整:
其中,为CCM的校正系数,CCM的第一行决定红色,第二行决定绿色,第三行决定蓝色;/>为调整期前的像素值,/>为经过CCM修改之后的像素值。
步骤120,获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例。
待校正图像中的人脸区域可以通过Eigen Faces算法,即特征脸方法,获得人脸区域的数据,然后通过基于计算机视觉库Opencv中的人脸识别模块即可获得人脸所在区域,同时计算出人脸区域的面积S。可以理解的是,上述只是举例说明,具体如何获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例本实施例不作限制。
步骤130,根据比例选择对应的校正模式,通过调整校正参数和颜色校正矩阵校正人脸肤色。
在其中一些实施例中,根据比例选择对应的校正模式,通过调整校正参数和颜色校正矩阵校正人脸肤色包括:
若比例大于或等于预设比例,则通过第一校正模式调整校正参数和颜色校正矩阵,校正人脸肤色;
若比例小于预设比例,则通过第二校正模式调整校正参数和颜色校正矩阵,校正人脸肤色。
本实施例根据待校正图像中的人脸面积在整幅图像中的占比不同,采用不同的校正模式。具体地,可以预设人脸面积M,当在待校正图像中获取到的人脸面积S大于或者等于预设人脸面积M时,则认为人脸区域在整幅待校正图像中占待校正图像面积的比例大于或等于预设比例,即人脸区域在整幅图像中占据主导地位。此时,待校正图像中背景区域的重要程度默认低于人脸区域的重要程度,因此采用第一校正模式;当图像中捕获到的人脸面积S小于预设人脸面积M时,则认为人脸区域在整幅待校正图像中占待校正图像面积的比例大于或等于预设比例,即人脸区域在整幅图像中不占主导地位,此时需要更加考虑背景色彩的偏差程度,保证在背景色彩偏差不大的情况下,优化人脸肤色,故采用第二校正模式。可以理解的是,第一校正模式和第二校正模式为不同的校正模式。
由于白平衡的Rgain和Bgain的大小可以直接决定整幅图像的风格偏向,在人脸区域占主导地位时,图像中背景的重要程度会偏低,因此第一校正模式优先调整校正参数,第二校正模式优先调整颜色校正矩阵。
本实施例提供的人脸肤色校正方法,包括获取待校正图像的校正参数和颜色校正矩阵;获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例;根据比例选择对应的校正模式,通过调整校正参数和颜色校正矩阵校正人脸肤色。在人脸肤色校正的方法中,为了保证人脸肤色的正常,往往会将背景的色彩也改变,本申请提供的人脸肤色校正方法以人脸面积的大小为区分点,对大面积人脸和小面积人脸分别采用不同的肤色校正模式,将背景色彩偏差保持在可控范围以内的前提下,保证图像的校正效果。
在其中一些实施例中,如图2所示,第一校正模式包括步骤210至步骤260,其中:
步骤210,获取人脸区域中各像素点三通道平均值R0G0B0。
步骤220,计算三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值。
三通道期望值RTGTBT可以预先输入,三通道期望值即期望调整后得到的肤色RGB的平均值。参考5400K色温下,伽玛2.2的LCD显示器,标准的24色色彩测试卡,深肤色的RGB(115,82,69),浅肤色的RGB(204,161,141)。
计算三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值,即计算R0-RT=ΔR,G0-GT=ΔG和B0-BT=ΔB。
步骤230,根据第一差值调整校正参数,并计算调整后的白块偏差反馈参数。
在其中一些实施例中,根据第一差值调整校正参数包括:
根据第一差值的大小确定校正参数的调整方向;
根据第一预设步长和调整方向调整校正参数。
具体地,根据第一差值的大小确定Rgain和Bgain的调整方向,可以参考表1所示:
表1Rgain和Bgain的调整方向
由表1可以看出,若ΔR大于0,ΔG大于0且ΔB也大于0,则按第一预设步长减小Rgain和Bgain。
在确定调整方向后,根据第一预设步长不断调整校正参数。第一预设步长可以是0.04、0.05等数值,具体步数本实施例不作具体限制。需要说明的是,由于白平衡的Rgain和Bgain是直接决定了整个图像画面的风格偏向,在人脸区域的面积占待校正图像面积的比例大于或等于预设比例,图像背景的重要程度的优先级会低,所以此处步长的设置会高一些,让整个画面有比较大的调整,从而能够快速调整人脸肤色。
在其中一些实施例中,计算调整后的白块偏差反馈参数包括:
在待校正图像中选取一块白块区域;
获取调整后白块区域中各像素点三通道平均值RY1GY1BY1;
计算|RY1-GY1|和|BY1-GY1|;
将|RY1-GY1|和|BY1-GY1|中较大值作为白块偏差反馈参数。
具体地,在待校正图像中选定一块白块区域Y,得到区域Y内的RGB三个分量的平均值,记为RY0GY0BY0,此区域作为调整全局的Rgain和Bgain之后,白块区域的偏差程度,所以此区域是一个实时反馈修改后的色彩对全局白平衡色彩偏离程度的指标。在人脸占主体的图像中,单纯的白块区域不多,可以通过完美反射算法寻找白块区域Y,此算法假设图像中最亮的点是一面镜子,完美地反射了外部光照,定义R+G+B的最大值,让这些白点的RGB三个通道按照比例拉伸到255,并将其他的点的三个通道按照同样比例拉伸,可使用Opencv中的图像处理模块组合完成,此时算出的RY0=GY0=BY0,即纯白块区域。
在对待校正图像的校正参数Rgain和Bgain进行调整后,计算此时白块区域Y中的RGB各分量的平均值,记作RY1GY1BY1。由于在调整前白块区域Y中的平均值RY0=GY0=BY0,修改之后RY1GY1BY1会出现不等的情况。本实施例选择|RY1-GY1|和|BY1-GY1|中较大的值定义为全局白平衡色彩偏离程度的指标,即白块偏差反馈参数,记作ΔAwb。当ΔAwb的值大于预设范围时,整个画面会出现异常,故此指标则用来避免此类问题发生,也是本申请提出的一个实时反馈修改Rgain和Bgain之后判断画面是否出现严重偏色的指标,预设范围是一个经验值,当值取得较小的时候,人脸肤色调整变化越小,取值越大,人脸肤色调整的变化也越大。
步骤240,若白块偏差反馈参数不在预设范围内,则获取调整后各像素点三通道平均值RX2GX2BX2。
若白块偏差反馈参数不在预设范围内,说明图像出现严重的偏色现象,则停止调整当前的Rgain和Bgain,并获取调整后各像素点三通道平均值RX2GX2BX2。
步骤250,计算三通道平均值RX2GX2BX2与三通道期望值RTGTBT的第二差值。
分别计算出RX2-RT,GT-GX2,BT-BX2的值,作为第二差值。
步骤260,根据第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值。
根据上述提到的公式(1)对CCM进行调整,使得第二差值不断减小,即使得三通道平均值RX2GX2BX2不断向三通道期望值RTGTBT靠拢。
具体地,根据第二差值调整颜色校正矩阵;利用调整后的颜色校正矩阵对待校正图像进行校正,并获取人脸区域调整后的RGB平均值RX3GX3BX3;若RX3GX3BX3与三通道期望值RTGTBT相等,则人脸肤色校正成功;若RX3GX3BX3与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整,直到RX3GX3BX3与三通道期望值RTGTBT相等为止。
在其中一些实施例中,人脸肤色校正方法还包括:
若白块偏差反馈参数在预设范围内,则获取人脸区域调整后的三通道平均值RX1GX1BX1;
若RX1GX1BX1与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX1GX1BX1与三通道期望值RTGTBT不相等,则继续对校正参数进行调整。
图3为一优选实施例提供的通过第一校正模式调整校正参数和颜色校正矩阵,校正人脸肤色的流程图,如图3所示,包括:获取人脸区域中各像素点三通道平均值R0G0B0;计算三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值;在待校正图像中选取一块白块区域;根据第一差值调整校正参数;计算调整后白块区域中各像素点三通道平均值RY1GY1BY1,并将|RY1-GY1|和|BY1-GY1|中较大值作为白块偏差反馈参数ΔAwb;判断ΔAwb是否在预设范围内;若ΔAwb在预设范围内,则获取人脸区域调整后的三通道平均值RX1GX1BX1;比较RX1GX1BX1与RTGTBT是否相等,若RX1GX1BX1与RTGTBT相等,则校正成功,若RX1GX1BX1与RTGTBT不相等,则更新将RX1GX1BX1与RTGTBT的差作为第一差值,根据第一差值继续调整校正参数,直至RX1GX1BX1与RTGTBT相等。若ΔAwb在预设范围内,则获取调整后各像素点三通道平均值RX2GX2BX2;计算三通道平均值RX2GX2BX2与三通道期望值RTGTBT的第二差值;根据第二差值调整颜色校正矩阵;获取人脸区域调整后的RGB平均值RX3GX3BX3;若RX3GX3BX3与三通道期望值RTGTBT相等,则人脸肤色校正成功;若RX3GX3BX3与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整,直到RX3GX3BX3与三通道期望值RTGTBT相等为止。
在其中一些实施例中,如图4所示,第二校正模式包括步骤410至步骤460,其中:
步骤410,获取人脸区域中各像素点三通道平均值R0G0B0。
步骤420,计算三通道平均值R0G0B0与三通道期望值RTGTBT的第三差值。
分别计算三通道平均值R0G0B0与三通道期望值RTGTBT的差值,即计算R0-RT=ΔR,G0-GT=ΔG和B0-BT=ΔB,作为第三差值。步骤410和步骤420可以参照步骤210和步骤220,在此不再赘述。
步骤430,根据第三差值调整颜色校正矩阵,并计算调整后的全局色彩偏差反馈参数。
本实施例选择红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB作为调整全局的CCM模型之后,记录全图中修改之后是三种颜色的偏离程度,所以这三块区域是一个实时反馈修改后色彩对全局色彩偏离程度的指标。在人脸区域不占主体的待校正图像中,调整完人脸肤色之后,应该将背景的色彩的偏离程度也纳入考虑之中,本实施例中称为色块偏差反馈,即全局色彩偏差反馈参数实时反馈修改后的色彩对全局色彩的偏离程度。
步骤440,若全局色彩偏差反馈参数不在预设范围内,则获取调整后人脸区域中各像素点三通道平均值RX4GX4BX4。
当全局色彩偏差反馈参数的值超出预设范围,则说明图像中单色出现严重的偏色现象,则停止调整当前的CCM模型,并统计调整之后人脸区域内的RGB平均值,记作RX4GX4BX4。
步骤450,分别计算出每一通道的平均值与三通道期望值的第四差值。
分别计算出RT-RX4,GT-GX4,BT-BX4的值,作为第四差值。
步骤460,根据第四差值调整校正参数,将三通道平均值调整至三通道期望值。
具体地,根据第四差值调整校正参数;利用调整后的校正参数对待校正图像进行校正,并获取人脸区域调整后的三通道平均值RX5GX5BX5;若RX5GX5BX5与三通道期望值RTGTBT相等,则人脸肤色校正成功;若RX5GX5BX5与三通道期望值RTGTBT不相等,则继续对校正参数进行调整,直到RX3GX3BX3与三通道期望值RTGTBT相等为止。
在其中一些实施例中,根据第四差值调整校正参数包括:
根据第四差值的大小确定校正参数的调整方向;
根据第二预设步长和调整方向对校正参数进行调整,第二预设步长小于第一预设步长,第一预设步长为在第一校正模式中调整校正参数采用的步长。
具体地,根据根据第四差值的大小确定Rgain和Bgain的调整方向,微调方向同上述的表1所示。在确定调整方向后,根据第二预设步长不断调整校正参数。第二预设步长可以是0.01、0.02等数值,具体步数本实施例不作具体限制。
需要说明的是,由于白平衡的Rgain和Bgain是直接决定了整个图像画面的风格偏向,在整幅图像中背景信息占很大一部分的时候,此时背景的重要程度的优先级会高,所以此处步长的设置会低一些,让整个画面风格有比较小的调整。
在其中一些实施例中,计算调整后的全局色彩偏差反馈参数包括步骤510至步骤540,其中:
步骤510,在待校正图像中选取红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB,并分别计算对应的三通道平均值RZRGZRBZR、RZGGZGBZG和RZBGZBBZB。
步骤520,分别获取调整后红色色块区域ZR、绿色色块区域ZG和蓝色色块区域ZB内三通道平均值R/ ZRG/ ZRB/ ZR、R/ ZGG/ ZGB/ ZG和R/ ZBG/ ZBB/ ZB。
使用上述的CCM模型对待校正图像进行调整后,计算三个色块区域的三通道平均值。
步骤530,根据三个色块区域调整前后的三通道平均值,分别确定色块偏差反馈参数ΔR、ΔG和ΔB。
步骤540,根据ΔR、ΔG和ΔB,确定全局色彩偏差反馈参数。
计算调整前后三个色块区域三通道平均值的差值,并按照差值的绝对值大小进行排序,选出每个色块区域中差值最大的值。以红色色块区域ZR为例,比较得出|R′ZR-RZR|、|R′ZG-RZG|和|R′ZB-RZB|中最大的值,记作色块偏差系数ΔR;同理计算出绿色色块区域ZG的色块偏差系数ΔG和蓝色色块区域ZB的色块偏差系数ΔB。
在人脸区域不占主导地位时,图像中的背景信息的重要程度就会提高,使得优化人脸的程度受到了限制。本申请在在人脸区域不占主导地位时,优先考虑整体的色彩偏差情况,可以选择|R′ZR-RZR|、|R′ZG-RZG|和|R′ZB-RZB|中最大的值作为全局白平衡色彩偏离程度的指标,与本申请中计算白块偏离程度的方法类似,记作ΔColor。当ΔColor的值达到一定程度之后,整个画面中单色块会出现异常,故此指标则用来避免此类问题发生。本实施例中根据ΔR、ΔG和ΔB,确定全局色彩偏差反馈参数,具体地,可以将Max(ΔR,ΔG,ΔB)作为全局色彩偏差反馈参数。比较Max(ΔR,ΔG,ΔB)与ΔColor的大小关系,若前者大于后者,则说明全图中色块颜色偏离过大,图像中单色出现偏色,故停止调整;若前者小于后者,则说明全图中色块颜色偏离在允许范围内,图像中单色未出现偏色,可以继续调整。
在其中一些实施例中,人脸肤色校正方法还包括:
若全局色彩偏差反馈参数在预设范围内,则获取人脸区域调整后三通道平均值RX6GX6BX6;
若RX6GX6BX6与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX6GX6BX6与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整。
图6为一优选实施例提供的通过第二校正模式调整校正参数和颜色校正矩阵,校正人脸肤色的流程图,如图6所示,包括:获取人脸区域中各像素点三通道平均值R0G0B0;计算三通道平均值R0G0B0与三通道期望值RTGTBT的第三差值;根据第三差值调整颜色校正矩阵,并计算调整后的全局色彩偏差反馈参数ΔColor;若ΔColor不在预设范围内,则获取调整后人脸区域中各像素点三通道平均值RX4GX4BX4;分别计算出每一通道的平均值与三通道期望值的第四差值;根据第四差值调整校正参数,将三通道平均值调整至三通道期望值;获取人脸区域调整后的三通道平均值RX5GX5BX5;判断RX5GX5BX5与三通道期望值RTGTBT是否相等;若RX5GX5BX5与三通道期望值RTGTBT相等,则人脸肤色校正成功;若RX5GX5BX5与三通道期望值RTGTBT不相等,则继续对校正参数进行调整,直到RX3GX3BX3与三通道期望值RTGTBT相等为止。若ΔColor在预设范围内,则获取人脸区域调整后三通道平均值RX6GX6BX6;判断RX6GX6BX6与三通道期望值RTGTBT是否相等,若RX6GX6BX6与三通道期望值RTGTBT相等,则人脸肤色校正成功;若RX6GX6BX6与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整,直至RX6GX6BX6与三通道期望值RTGTBT相等。
本申请提供的人脸肤色校正方法,从整体图像的色彩信息考虑,根据人脸面积在整幅图像中的占比不同,采取不同的调整模式。其中,第一校正模式适用于图像中出现大面积人脸,首先采用粗调整体图像的校正参数Rgain和Bgain值,达到实时白块偏差反馈的阈值后,再微调CCM模型;第一校正模式适用于图像中出现小面积人脸,在这种情况下,整体的画面颜色风格尽量微调,不然则会出现背景颜色变化异常,所以采用优先调整CCM模型,同样当条件不满足色块偏差反馈的阈值之后,再进行微调全图的校正参数Rgain和Bgain值,最后直到满足要求。
上述人脸肤色校正方法根据不同的校正模式,在调整人脸肤色的过程中,为了兼顾全图的色彩表现,提出的白块偏差反馈和色块偏差反馈两种反馈的机制,即上述的白块偏差反馈和色块偏差反馈,从而细化了人脸肤色的矫正,联动两个模块完成对人脸肤色的快速优化;另外,在校正人脸肤色的方法上,联动全局白平衡模块和CCM模型,在不同的策略下做不同的选择,保证了人脸肤色的快速优化。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如在图1中,步骤110和步骤120可以互换,即先执行步骤120,再执行步骤110。又例如在图3中,在待校正图像中选取一块白块区域的步骤可以在根据第一差值调整校正参数之后执行,也可以在获取人脸区域中各像素点三通道平均值R0G0B0之前执行。
在一个实施例中,如图7所示,提供了一种人脸肤色校正装置,包括:获取模块710、计算模块720和校正模块730,其中:
获取模块710,用于获取待校正图像的校正参数以及颜色校正矩阵;
计算模块720,用于获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例;
校正模块730,用于根据比例选择对应的校正模式,通过调整后的校正参数和颜色校正矩阵校正人脸肤色。
本实施例提供的人脸肤色校正装置,通过获取模块710获取待校正图像的校正参数以及颜色校正矩阵;通过计算模块720获取待校正图像中的人脸区域,并计算人脸区域面积占待校正图像面积的比例;通过校正模块730,用于根据比例选择对应的校正模式,通过调整后的校正参数和颜色校正矩阵校正人脸肤色。本申请提供的人脸肤色校正装置以人脸面积的大小为区分点,对大面积人脸和小面积人脸分别采用不同的肤色校正模式,将背景色彩偏差保持在可控范围以内的前提下,同时,能够快速地优化人脸肤色,以达到理想的状态。另外,在色彩校正过程,通过联动全局校正参数和颜色校正矩阵对图像的色彩进行调整,在不同的校正模式下做不同的选择,保证了人脸肤色的快速校正。
在其中一些实施例中,校正模块730还用于:若比例大于或等于预设比例,则通过第一校正模式调整校正参数和颜色校正矩阵,校正人脸肤色;
若比例小于预设比例,则通过第二校正模式调整校正参数和颜色校正矩阵,校正人脸肤色。
在其中一些实施例中,校正模块730还用于:获取人脸区域中各像素点三通道平均值R0G0B0;
计算三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值;
根据第一差值调整校正参数,并计算调整后的白块偏差反馈参数。
若白块偏差反馈参数不在预设范围内,则获取调整后各像素点三通道平均值RX2GX2BX2;
计算三通道平均值RX2GX2BX2与三通道期望值RTGTBT的第二差值;
根据第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值。
在其中一些实施例中,校正模块730还用于:若白块偏差反馈参数在预设范围内,则获取人脸区域调整后的三通道平均值RX1GX1BX1;
若RX1GX1BX1与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX1GX1BX1与三通道期望值RTGTBT不相等,则继续对校正参数进行调整。
在其中一些实施例中,校正模块730还用于:根据第一差值的大小确定校正参数的调整方向;
根据第一预设步长和调整方向调整校正参数;
在其中一些实施例中,计算调整后的白块偏差反馈参数包括:
在待校正图像中选取一块白块区域;
获取调整后白块区域中各像素点三通道平均值RY1GY1BY1;
计算|RY1-GY1|和|BY1-GY1|;
将|RY1-GY1|和|BY1-GY1|中较大值作为白块偏差反馈参数。
在其中一些实施例中,校正模块730还用于:根据第二差值调整颜色校正矩阵;
利用调整后的颜色校正矩阵对待校正图像进行校正,并获取人脸区域调整后的RGB平均值RX3GX3BX3;
若RX3GX3BX3与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX3GX3BX3与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整。
在其中一些实施例中,校正模块730还用于:获取人脸区域中各像素点三通道平均值R0G0B0;
计算三通道平均值R0G0B0与三通道期望值RTGTBT的第三差值;
根据第三差值对颜色校正矩阵进行调整,并计算调整后的全局色彩偏差反馈参数;
若全局色彩偏差反馈参数不在预设范围内,则获取调整后人脸区域中各像素点三通道平均值RX4GX4BX4;
分别计算出每一通道的平均值与三通道期望值的第四差值;
根据第四差值调整校正参数,将三通道平均值调整至三通道期望值。
在其中一些实施例中,校正模块730还用于:若全局色彩偏差反馈参数在预设范围内,则获取人脸区域中三通道平均值RX6GX6BX6;
若RX6GX6BX6与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX6GX6BX6与三通道期望值RTGTBT不相等,则继续对颜色校正矩阵进行调整。
在其中一些实施例中,校正模块730还用于:在待校正图像中选取红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB,并分别计算对应的三通道平均值RZRGZRBZR、RZGGZGBZG和RZBGZBBZB;
分别获取调整后红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB内三通道平均值R/ ZRG/ ZRB/ ZR、R/ ZGG/ ZGB/ ZG和R/ ZBG/ ZBB/ ZB;
根据三个色块区域调整前后的三通道平均值,分别确定色块偏差反馈参数ΔR、ΔG和ΔB;
根据ΔR、ΔG和ΔB,确定全局色彩偏差反馈参数;
在其中一些实施例中,校正模块730还用于:根据第四差值调整校正参数;
利用调整后的校正参数对待校正图像进行校正,并获取人脸区域调整后的三通道平均值RX5GX5BX5;
若RX5GX5BX5与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX5GX5BX5与三通道期望值RTGTBT不相等,则继续对校正参数进行调整。
在其中一些实施例中,校正模块730还用于:根据第四差值的大小确定校正参数的调整方向;
根据第二预设步长和调整方向对校正参数进行调整,第二预设步长小于第一预设步长,第一预设步长为在第一校正模式中调整校正参数采用的步长。
关于人脸肤色校正装置的具体限定可以参见上文中对于人脸肤色校正方法的限定,在此不再赘述。上述人脸肤色校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
另外,结合图1描述的本申请实施例人脸肤色校正方法可以由计算机设备来实现。图8为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地,上述处理器81可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器82可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器82可在数据处理装置的内部或外部。在特定实施例中,存储器82是非易失性(Non-Volatile)存储器。在特定实施例中,存储器82包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器82所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令,以实现上述实施例中的任意一种人脸肤色校正方法。
在其中一些实施例中,计算机设备还可包括通信接口83和总线80。其中,如图8所示,处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的程序指令,执行本申请实施例中的人脸肤色校正方法,从而实现结合图1描述的人脸肤色校正方法。
另外,结合上述实施例中的人脸肤色校正方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种人脸肤色校正方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种人脸肤色校正方法,其特征在于,所述方法包括:
获取待校正图像的校正参数和颜色校正矩阵,所述校正参数包括白平衡颜色增益;
获取所述待校正图像中的人脸区域,并计算所述人脸区域面积占所述待校正图像面积的比例;
根据所述比例选择对应的校正模式,通过调整所述校正参数和颜色校正矩阵校正人脸肤色;
所述根据所述比例选择对应的校正模式,通过调整所述校正参数和颜色校正矩阵校正人脸肤色包括:
若所述比例大于或等于预设比例,则通过第一校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色;
若所述比例小于预设比例,则通过第二校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色,其中,所述第一校正模式优先调整所述校正参数,所述第二校正模式优先调整所述颜色校正矩阵。
2.根据权利要求1所述的方法,其特征在于,所述第一校正模式包括:
获取所述人脸区域中各像素点三通道平均值R0G0B0;
计算所述三通道平均值R0G0B0与三通道期望值RTGTBT的第一差值;
根据所述第一差值调整所述校正参数,并计算调整后的白块偏差反馈参数;
若白块偏差反馈参数不在预设范围内,则获取调整后各像素点三通道平均值RX2GX2BX2;
计算所述三通道平均值RX2GX2BX2与三通道期望值RTGTBT的第二差值;
根据所述第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述白块偏差反馈参数在预设范围内,则获取所述人脸区域调整后的三通道平均值RX1GX1BX1;
若RX1GX1BX1与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX1GX1BX1与三通道期望值RTGTBT不相等,则继续对所述校正参数进行调整。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一差值调整所述校正参数包括:
根据所述第一差值的大小确定所述校正参数的调整方向;
根据第一预设步长和所述调整方向调整所述校正参数。
5.根据权利要求2所述的方法,其特征在于,所述计算调整后的白块偏差反馈参数包括:
在所述待校正图像中选取一块白块区域;
获取调整后所述白块区域中各像素点三通道平均值RY1GY1BY1;
计算|RY1-GY1|和| BY1-GY1|;
将|RY1-GY1|和| BY1-GY1|中较大值作为所述白块偏差反馈参数。
6.根据权利要求2所述的方法,其特征在于,所述根据所述第二差值调整颜色校正矩阵,将三通道平均值调整至三通道期望值包括:
根据所述第二差值调整所述颜色校正矩阵;
利用调整后的所述颜色校正矩阵对所述待校正图像进行校正,并获取所述人脸区域调整后的RGB平均值RX3GX3BX3;
若RX3GX3BX3与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX3GX3BX3与三通道期望值RTGTBT不相等,则继续对所述颜色校正矩阵进行调整。
7.根据权利要求1所述的方法,其特征在于,所述第二校正模式包括:
获取所述人脸区域中各像素点三通道平均值R0G0B0;
计算所述三通道平均值R0G0B0与三通道期望值RTGTBT的第三差值;
根据所述第三差值对所述颜色校正矩阵进行调整,并计算调整后的全局色彩偏差反馈参数;
若所述全局色彩偏差反馈参数不在预设范围内,则获取调整后所述人脸区域中各像素点三通道平均值RX4GX4BX4;
分别计算出每一通道的平均值与三通道期望值的第四差值;
根据所述第四差值调整所述校正参数,将三通道平均值调整至三通道期望值。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若所述全局色彩偏差反馈参数在预设范围内,则获取所述人脸区域调整后三通道平均值RX6GX6BX6;
若RX6GX6BX6与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX6GX6BX6与三通道期望值RTGTBT不相等,则继续对所述颜色校正矩阵进行调整。
9.根据权利要求7所述的方法,其特征在于,所述计算调整后的全局色彩偏差反馈参数包括:
在所述待校正图像中选取红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB,并分别计算对应的三通道平均值RZRGZRBZR、RZGGZGBZG和RZBGZBBZB;
分别获取调整后红色色块区域ZR、绿色色块区域ZR和蓝色色块区域ZB内三通道平均值R/ ZRG/ ZRB/ ZR、R/ ZGG/ ZGB/ ZG和R/ ZBG/ ZBB/ ZB;
根据三个色块区域调整前后的三通道平均值,分别确定色块偏差反馈参数、/>和;
根据、/>和/>,确定所述全局色彩偏差反馈参数。
10.根据权利要求7所述的方法,其特征在于,所述根据所述第四差值调整所述校正参数,将三通道平均值调整至三通道期望值包括:
根据所述第四差值调整所述校正参数;
利用调整后的所述校正参数对所述待校正图像进行校正,并获取所述人脸区域调整后的三通道平均值RX5GX5BX5;
若RX5GX5BX5与三通道期望值RTGTBT相等,则人脸肤色校正成功;
若RX5GX5BX5与三通道期望值RTGTBT不相等,则继续对所述校正参数进行调整。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第四差值调整所述校正参数包括:
根据所述第四差值的大小确定所述校正参数的调整方向;
根据第二预设步长和所述调整方向对所述校正参数进行调整,所述第二预设步长小于第一预设步长,第一预设步长为在第一校正模式中调整校正参数采用的步长。
12.一种人脸肤色校正装置,其特征在于,所述装置包括:
获取模块,用于获取待校正图像的校正参数以及颜色校正矩阵,所述校正参数包括白平衡颜色增益;
计算模块,用于获取所述待校正图像中的人脸区域,并计算所述人脸区域面积占所述待校正图像面积的比例;
校正模块,用于根据所述比例选择对应的校正模式,通过调整后的所述校正参数和颜色校正矩阵校正人脸肤色;
所述校正模块具体用于:若所述比例大于或等于预设比例,则通过第一校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色;
若所述比例小于预设比例,则通过第二校正模式调整所述校正参数和颜色校正矩阵,校正人脸肤色,其中,所述第一校正模式优先调整所述校正参数,所述第二校正模式优先调整所述颜色校正矩阵。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258260.4A CN111583127B (zh) | 2020-04-03 | 2020-04-03 | 人脸肤色校正方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258260.4A CN111583127B (zh) | 2020-04-03 | 2020-04-03 | 人脸肤色校正方法、装置、计算机设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583127A CN111583127A (zh) | 2020-08-25 |
CN111583127B true CN111583127B (zh) | 2023-08-15 |
Family
ID=72112449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010258260.4A Active CN111583127B (zh) | 2020-04-03 | 2020-04-03 | 人脸肤色校正方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583127B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112135041B (zh) * | 2020-09-18 | 2022-05-06 | 北京达佳互联信息技术有限公司 | 一种人脸特效的处理方法及装置、存储介质 |
CN113920037B (zh) * | 2021-12-14 | 2022-04-12 | 极限人工智能有限公司 | 一种内窥镜画面矫正方法、装置、矫正系统及存储介质 |
CN114999363A (zh) * | 2022-06-13 | 2022-09-02 | 百果园技术(新加坡)有限公司 | 色偏校正方法、装置、设备、存储介质及程序产品 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015159957A (ja) * | 2014-02-27 | 2015-09-07 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN104935900A (zh) * | 2014-03-19 | 2015-09-23 | 智原科技股份有限公司 | 图像感测装置及色彩校正矩阵修正方法与查找表建立方法 |
CN105187810A (zh) * | 2014-11-11 | 2015-12-23 | 怀效宁 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
CN107465903A (zh) * | 2017-09-08 | 2017-12-12 | 广东欧珀移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
CN107862663A (zh) * | 2017-11-09 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、可读存储介质和计算机设备 |
WO2018171493A1 (zh) * | 2017-03-21 | 2018-09-27 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及存储介质 |
CN109151428A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 自动白平衡处理方法、装置以及计算机存储介质 |
CN110751607A (zh) * | 2019-10-21 | 2020-02-04 | 浙江大华技术股份有限公司 | 一种肤色的校正方法、装置、存储介质以及电子装置 |
CN110830778A (zh) * | 2018-08-14 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 成像设备色彩校正方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3804067B2 (ja) * | 2003-03-28 | 2006-08-02 | ソニー株式会社 | 撮像装置及び撮像方法 |
US20040208363A1 (en) * | 2003-04-21 | 2004-10-21 | Berge Thomas G. | White balancing an image |
US7831092B2 (en) * | 2004-11-25 | 2010-11-09 | Mitsubishi Electric Corporation | Color correction method and color correction device applied to color signal vector using correction matrix |
US9264689B2 (en) * | 2011-08-04 | 2016-02-16 | Semiconductor Components Industries, Llc | Systems and methods for color compensation in multi-view video |
CN105409211B (zh) * | 2013-08-26 | 2018-07-10 | 英特尔公司 | 用于图像处理的带皮肤色调校正的自动白平衡 |
CN107730446B (zh) * | 2017-10-31 | 2022-02-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
-
2020
- 2020-04-03 CN CN202010258260.4A patent/CN111583127B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015159957A (ja) * | 2014-02-27 | 2015-09-07 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN104935900A (zh) * | 2014-03-19 | 2015-09-23 | 智原科技股份有限公司 | 图像感测装置及色彩校正矩阵修正方法与查找表建立方法 |
CN105187810A (zh) * | 2014-11-11 | 2015-12-23 | 怀效宁 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
WO2018171493A1 (zh) * | 2017-03-21 | 2018-09-27 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及存储介质 |
CN107465903A (zh) * | 2017-09-08 | 2017-12-12 | 广东欧珀移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
CN107862663A (zh) * | 2017-11-09 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、可读存储介质和计算机设备 |
CN110830778A (zh) * | 2018-08-14 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 成像设备色彩校正方法、装置、电子设备及存储介质 |
CN109151428A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 自动白平衡处理方法、装置以及计算机存储介质 |
CN110751607A (zh) * | 2019-10-21 | 2020-02-04 | 浙江大华技术股份有限公司 | 一种肤色的校正方法、装置、存储介质以及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111583127A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111583127B (zh) | 人脸肤色校正方法、装置、计算机设备和可读存储介质 | |
US11375128B2 (en) | Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium | |
CN104796683A (zh) | 一种校准图像色彩的方法和系统 | |
WO2021031458A1 (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
US9723285B2 (en) | Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus | |
US10855885B2 (en) | Image processing apparatus, method therefor, and storage medium | |
CN111899182B (zh) | 颜色增强方法及装置 | |
US11277595B2 (en) | White balance method for image and terminal device | |
WO2021218603A1 (zh) | 图像处理方法及投影系统 | |
CN111641819B (zh) | 白平衡增益校正的方法、设备、系统和计算机设备 | |
US10701329B2 (en) | White balance parameter determination method and white balance adjustment method, device, and storage medium thereof | |
CN112752023B (zh) | 一种图像调整方法、装置、电子设备及存储介质 | |
US10757386B2 (en) | White balance calibration method based on skin color data and image processing apparatus using the same | |
CN108234824A (zh) | 阴影校正检测参数确定、校正检测方法及装置、存储介质、鱼眼相机 | |
CN112669758B (zh) | 显示屏校正方法、装置、系统和计算机可读存储介质 | |
CN110392243B (zh) | 色域映射的方法和装置 | |
WO2019170007A1 (zh) | 图像色彩调整方法及装置 | |
CN111861922A (zh) | 颜色校正矩阵的调整方法及装置、存储介质 | |
CN107135384A (zh) | 白平衡调节方法、装置、图像处理终端及存储介质 | |
CN111524076B (zh) | 图像处理方法、电子设备和计算机可读存储介质 | |
EP4181510A1 (en) | Chromaticity information determination method and related electronic device | |
CN113596422B (zh) | 一种色彩校正矩阵ccm调整的方法及监控设备 | |
CN110012277A (zh) | 一种针对人像图像的自动白平衡方法及装置 | |
CN109919882B (zh) | 基于眼底彩照图像的图像优化方法及相关设备 | |
TWI743628B (zh) | 影像過曝修正方法與電路系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |