CN115953333A - 一种动态背光补偿方法和系统 - Google Patents

一种动态背光补偿方法和系统 Download PDF

Info

Publication number
CN115953333A
CN115953333A CN202310247023.1A CN202310247023A CN115953333A CN 115953333 A CN115953333 A CN 115953333A CN 202310247023 A CN202310247023 A CN 202310247023A CN 115953333 A CN115953333 A CN 115953333A
Authority
CN
China
Prior art keywords
frequency component
low
image data
image
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310247023.1A
Other languages
English (en)
Inventor
肖传宝
邹健飞
冯上栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202310247023.1A priority Critical patent/CN115953333A/zh
Publication of CN115953333A publication Critical patent/CN115953333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种动态背光补偿方法和系统,其中,该方法包括:对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。通过本申请,解决了如何对背光图像进行动态背光补偿的问题,通过将背光场景图像拆分成高频分量和低频分量,实现了基于深度学习模型对不同程度背光场景图像的动态背光补偿。更好地适应背光场景下的人脸识别,保留更多图像细节,改善人脸图像质量。

Description

一种动态背光补偿方法和系统
技术领域
本申请涉及图像处理技术领域,特别是涉及一种动态背光补偿方法和系统。
背景技术
随着智能硬件与科技的飞速发展,人们的生活依靠越来越多的智能硬件设备,比如手机、电脑、平板、智能门禁、智能门锁等等。而这些智能硬件设备的部分功能均离不开摄像头获取图像数据,尤其是人脸识别功能,故获取到的图像的质量会直接影响人脸识别算法的结果。由于拍摄场景的不同,拍摄到的人脸图像质量也会存在较大差异,其中背光场景是拍摄过程中较常出现的情况之一,在该场景下拍摄到的人脸区域会较暗从而导致无法检测出人脸区域。
目前针对背光场景改善图像质量的方法有背光补偿,通过抬亮背光图像的暗区亮度来重现暗区细节,而抬亮暗区亮度的同时也会同步抬亮高亮区域的亮度。总所周知,图像的过曝或欠曝对会造成图像细节的缺失。
因此,在实际人脸识别场景中,由于人与设备之间的距离并不固定,在人距离设备较近的情况下,背光图像中的高亮区域与人脸区域部分重叠,固定的背光补偿可能会使得重叠的人脸区域过曝;在人距离设备距离较远的情况下,背光图像中的高亮区域更多,固定的背光补偿可能会使得人脸区域欠曝。
目前针对相关技术中如何对背光图像进行动态背光补偿的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种动态背光补偿方法和系统,以至少解决相关技术中如何对背光图像进行动态背光补偿的问题。
第一方面,本申请实施例提供了一种动态背光补偿方法,所述方法包括:
对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;
将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
在其中一些实施例中,在对获取到的背光场景下的图像数据进行预设处理之前,所述方法包括:
获取图像数据,在所述图像数据的帧图像中设置感兴趣区域,其中,所述感兴趣区域为人脸所在区域;
计算所述感兴趣区域的平均亮度,以及所述帧图像中除所述感兴趣区域外其他区域的平均亮度;
根据所述感兴趣区域和所述其他区域的平均亮度,判断出拍摄场景为背光场景的图像数据。
在其中一些实施例中,在将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型之前,所述方法包括:
获取训练图像和目标图像,其中,所述目标图像作为正样本;
对所述训练图像的图像数据进行预设处理,得到训练图像的低频分量和高频分量,对所述目标图像的图像数据进行预设处理,得到目标图像的低频分量和高频分量;
将所述训练图像和所述目标图像各自的低频分量和高频分量,输入动态背光补偿模型中进行训练;通过基于优化目标的预设损失函数,对模型参数进行调整,得到训练好的动态背光补偿模型。
在其中一些实施例中,对所述图像数据进行预设处理,得到所述图像数据的低频分量和高频分量包括:
对所述图像数据进行高斯滤波,得到所述图像数据的低频分量;
用原始的所述图像数据减去所述低频分量,得到所述图像数据的高频分量。
在其中一些实施例中,计算所述感兴趣区域的平均亮度包括:
通过公式
Figure SMS_1
Figure SMS_2
计算出所述感兴趣区域的平均亮度,其中,
Figure SMS_3
为感兴趣区域的平均亮度,m为感兴趣区域的长,n为感兴趣区域的宽,Garyi, j、Ri, j、Gi, j和Bi, j分别为感兴趣区域第i行第j列像素点的灰度值、红色分量值、绿色分量值和蓝色分量值。
在其中一些实施例中,根据所述感兴趣区域和所述其他区域的平均亮度,判断出拍摄场景为背光场景的图像数据包括:
若平均亮度满足不等式
Figure SMS_4
,则对应图像数据的拍摄场景为背光场景,其中,
Figure SMS_5
为其他区域的平均亮度,
Figure SMS_6
为感兴趣区域的平均亮度,
Figure SMS_7
为预设亮度阈值。
在其中一些实施例中,所述优化目标为:
使动态背光补偿模型基于训练图像的低频分量生成的低频分量,与目标图像的低频分量趋于相似;
使动态背光补偿模型基于训练图像的低频分量生成的高频分量,与目标图像的高频分量趋于相似。
在其中一些实施例中,所述预设损失函数为:
Figure SMS_8
Figure SMS_9
Figure SMS_10
,其中,
Figure SMS_11
表示为优化生成的训练图像的低频分量,
Figure SMS_12
为优化生成的训练图像的高频分量,
Figure SMS_13
为目标图像的低频分量,
Figure SMS_14
为目标图像的高频分量,λ1和λ2为权重。
在其中一些实施例中,对所述图像数据进行高斯滤波,得到所述图像数据的低频分量包括:
基于高斯滤波,通过公式
Figure SMS_15
对所述图像数据进行卷积求解,得到所述图像数据的低频分量,其中,(x, y)为预设掩膜内任一点坐标,(xu,yu)为预设掩膜内中心点坐标,f(x, y)为坐标(x, y)的值,σ为标准差,π为圆周率。
第二方面,本申请实施例提供了一种动态背光补偿系统,所述系统包括第一图像处理模块、动态背光补偿模块和第二图像处理模块;
所述第一图像处理模块,用于对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;
所述动态背光补偿模块,用于将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
所述第二图像处理模块,用于将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
相比于相关技术,本申请实施例提供的一种动态背光补偿方法和系统,其中,该方法通过对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据,解决了如何对背光图像进行动态背光补偿的问题,通过将背光场景图像拆分成高频分量和低频分量,实现了基于深度学习模型对不同程度背光场景图像的动态背光补偿。更好地适应背光场景下的人脸识别,保留更多图像细节,改善人脸图像质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的动态背光补偿方法的步骤流程图;
图2是根据本申请实施例的动态背光补偿系统的结构框图;
图3是根据本申请实施例的电子设备的内部结构示意图。
附图说明:21、第一图像处理模块;22、动态背光补偿模块;23、第二图像处理模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请实施例提供了一种动态背光补偿方法,图1是根据本申请实施例的动态背光补偿方法的步骤流程图,如图1所示,该方法包括以下步骤:
步骤S102,对获取到的背光场景下的图像数据进行预设处理,得到图像数据的低频分量和高频分量;
在步骤S102之前还包括步骤S101,判断图像的场景是否为背光场景:
获取图像数据。从buffer(缓冲器)连续抓取N帧RGB图像。N的取值视实际情况而定,较大可能导致设备反应慢,较小可能导致背光场景的判断不准确。优选设置N为5。
根据实际需求在图像数据的帧图像中设置感兴趣区域,其中,感兴趣区域为人脸所在区域。例如,针对人脸识别设备,人脸一般居中,因此可以将图像划分为上、下、左、右和中间共五个区域,将中间区域设置为感兴趣区域。
通过公式
Figure SMS_16
Figure SMS_17
计算出感兴趣区域的平均亮度,其中,
Figure SMS_18
为感兴趣区域的平均亮度,m为感兴趣区域的长,n为感兴趣区域的宽,Garyi, j、Ri, j、Gi, j和Bi, j分别为感兴趣区域第i行第j列像素点的灰度值、红色分量值、绿色分量值和蓝色分量值。同理,帧图像中除感兴趣区域外其他区域的平均亮度也通过该种方式计算。
若平均亮度满足不等式
Figure SMS_19
,则对应图像数据的拍摄场景为背光场景,其中,
Figure SMS_20
为其他区域的平均亮度,
Figure SMS_21
为感兴趣区域的平均亮度,
Figure SMS_22
为预设亮度阈值。可选地,对上述获取的连续N帧RGB图像均进行上述不等式判断,若该N帧RGB图像皆满足背光场景的判断,则对应图像数据的拍摄场景为背光场景。
步骤S102具体地,对获取到的背光场景下的图像数据进行高斯滤波,得到图像数据的低频分量;用原始的图像数据减去低频分量,得到图像数据的高频分量。
步骤S102优选地,基于高斯滤波,通过公式
Figure SMS_23
对图像数据进行卷积求解,得到图像数据的低频分量,其中,(x, y)为预设掩膜内任一点坐标,(xu, yu)为预设掩膜内中心点坐标,f(x, y)为坐标(x, y)的值,σ为标准差,π为圆周率。此在高斯滤波过程中,可以通过设置掩膜的尺寸参数k和标准差σ获得不同程度滤波后的低频图片。σ越大,滤波效果越好,生成的低频图片越模糊。
再用原始的图像数据减去低频分量,得到图像数据的高频分量。
需要说明的是,高频分量是频率变化快、也即相邻区域之间灰度相差很大的图像区域,通常为内容与背景的边缘部位。低频分量是颜色缓慢变化、也即灰度缓慢变化的图像区域,通常为边缘以内的内容部分。对于一副图像来说,除去高频分量就是低频分量,边缘内的内容就是图像的大部分信息。
由此可见,在人距离设备较近的情况下,背光图像中的高亮区域与人脸区域部分重叠,此时,低频分量不能包含完整的人脸区域(高频分量包含了部分人脸区域);在人距离设备距离较远的情况下,低频分量包含了完整的人脸区域。因此,基于低频分量和高频分量能够动态地判断出不同的背光场景,进而实现动态的背光补偿。
步骤S104,将低频分量和高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
在步骤S104之前还包括步骤S103,训练动态背光补偿模型。
步骤S103具体包括以下步骤:
步骤一,获取不同背光强度的训练图像。以人脸识别设备为例,在背光场景下,从buffer(缓冲器)中抓取不同时间段和不同拍摄距离的M帧RGB图像并保存。给这些图像打上类标为0,表示背光场景下的训练图像Iori
步骤二,获取目标图像。通过长曝光和短曝光,获取亮度不同背光场景下的图像,按比例混合叠加生成保留高亮细节同时暗区增亮的K帧RGB图像并保存。给这些图像打上类标为1,表示良好(正样本)的目标图像Itar
步骤三,设置训练集和测试集,训练集中包含80%的训练图像Iori和80%的目标图像Itar,测试集包含20%的训练图像Iori和20%的目标图像Itar。训练集和测试集的比例划分可自定义设置,上述仅为适合神经网络模型训练的优选划分。
步骤四,对上述M帧训练图像Iori和K帧目标图像Itar进行高斯滤波,分别获取训练图像的低频分量Iori_low和目标图像的低频分量Itar_low。再用各自原始图像减去对应低频分量,得到训练图像的高频分量Iori_high和目标图像的高频分量Itar_high。
步骤五,将背光图像的低频分量Iori_low、高频分量Iori_high,以及目标图像的低频分量Itar_low和高频分量Itar_high输入构建好的卷积神经网络中进行训练。优化目标为:①使卷积神经网络基于训练图像的低频分量生成的低频分量,与目标图像的低频分量趋于相似;②使卷积神经网络基于训练图像的低频分量生成的高频分量,与目标图像的高频分量趋于相似。预设损失函数为:
Figure SMS_24
Figure SMS_25
Figure SMS_26
,其中,
Figure SMS_27
表示为优化生成的训练图像的低频分量,
Figure SMS_28
为优化生成的训练图像的高频分量,
Figure SMS_29
为目标图像的低频分量,
Figure SMS_30
为目标图像的高频分量,λ1和λ2为权重。基于优化目标调整模型参数,使损失函数呈下降趋势进行训练直至收敛,得到训练好的动态背光补偿模型。
步骤六,将步骤三构建的测试集中输入训练好的动态背光补偿模型中。若经模型背光补偿后的图像数据均能达到目标要求,则模型完成验证。
步骤S106,将背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
通过本申请中的步骤S102至步骤S106,基于将图像拆分成高频分量和低频分量,以及神经网络模型,能够实时对不同程度的背光图像实现动态背光补偿,解决了如何对不同背光场景下的人脸图像进行动态背光补偿的问题。能够更好地获得人脸图像清晰的高质量图像,提高背光场景人脸识别准确率。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种动态背光补偿系统,图2是根据本申请实施例的动态背光补偿系统的结构框图,如图2所示,该系统包括第一图像处理模块21、动态背光补偿模块22和第二图像处理模块23;
第一图像处理模块21,用于对获取到的背光场景下的图像数据进行预设处理,得到图像数据的低频分量和高频分量;
动态背光补偿模块22,用于将低频分量和高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
第二图像处理模块23,用于将背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
通过本申请中的第一图像处理模块21、动态背光补偿模块22和第二图像处理模块23,基于将图像拆分成高频分量和低频分量,以及神经网络模型,能够实时对不同程度的背光图像实现动态背光补偿,解决了如何对不同背光场景下的人脸图像进行动态背光补偿的问题。能够更好地获得人脸图像清晰的高质量图像,提高背光场景人脸识别准确率。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的动态背光补偿方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种动态背光补偿方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种动态背光补偿方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图3是根据本申请实施例的电子设备的内部结构示意图,如图3所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种动态背光补偿方法,数据库用于存储数据。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种动态背光补偿方法,其特征在于,所述方法包括:
对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;
将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
2.根据权利要求1所述的方法,其特征在于,在对获取到的背光场景下的图像数据进行预设处理之前,所述方法包括:
获取图像数据,在所述图像数据的帧图像中设置感兴趣区域,其中,所述感兴趣区域为人脸所在区域;
计算所述感兴趣区域的平均亮度,以及所述帧图像中除所述感兴趣区域外其他区域的平均亮度;
根据所述感兴趣区域和所述其他区域的平均亮度,判断出拍摄场景为背光场景的图像数据。
3.根据权利要求1所述的方法,其特征在于,在将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型之前,所述方法包括:
获取训练图像和目标图像,其中,所述目标图像作为正样本;
对所述训练图像的图像数据进行预设处理,得到训练图像的低频分量和高频分量,对所述目标图像的图像数据进行预设处理,得到目标图像的低频分量和高频分量;
将所述训练图像和所述目标图像各自的低频分量和高频分量,输入动态背光补偿模型中进行训练;通过基于优化目标的预设损失函数,对模型参数进行调整,得到训练好的动态背光补偿模型。
4.根据权利要求1或3所述的方法,其特征在于,对所述图像数据进行预设处理,得到所述图像数据的低频分量和高频分量包括:
对所述图像数据进行高斯滤波,得到所述图像数据的低频分量;
用原始的所述图像数据减去所述低频分量,得到所述图像数据的高频分量。
5.根据权利要求2所述的方法,其特征在于,计算所述感兴趣区域的平均亮度包括:
通过公式
Figure QLYQS_1
Figure QLYQS_2
计算出所述感兴趣区域的平均亮度,其中,
Figure QLYQS_3
为感兴趣区域的平均亮度,m为感兴趣区域的长,n为感兴趣区域的宽,Garyi, j、Ri, j、Gi, j和Bi, j分别为感兴趣区域第i行第j列像素点的灰度值、红色分量值、绿色分量值和蓝色分量值。
6.根据权利要求2所述的方法,其特征在于,根据所述感兴趣区域和所述其他区域的平均亮度,判断出拍摄场景为背光场景的图像数据包括:
若平均亮度满足不等式
Figure QLYQS_4
,则对应图像数据的拍摄场景为背光场景,其中,
Figure QLYQS_5
为其他区域的平均亮度,
Figure QLYQS_6
为感兴趣区域的平均亮度,
Figure QLYQS_7
为预设亮度阈值。
7.根据权利要求3所述的方法,其特征在于,所述优化目标为:
使动态背光补偿模型基于训练图像的低频分量生成的低频分量,与目标图像的低频分量趋于相似;
使动态背光补偿模型基于训练图像的低频分量生成的高频分量,与目标图像的高频分量趋于相似。
8.根据权利要求3所述的方法,其特征在于,所述预设损失函数为:
Figure QLYQS_8
Figure QLYQS_9
Figure QLYQS_10
,其中,
Figure QLYQS_11
表示为优化生成的训练图像的低频分量,
Figure QLYQS_12
为优化生成的训练图像的高频分量,
Figure QLYQS_13
为目标图像的低频分量,
Figure QLYQS_14
为目标图像的高频分量,λ1和λ2为权重。
9.根据权利要求4所述的方法,其特征在于,对所述图像数据进行高斯滤波,得到所述图像数据的低频分量包括:
基于高斯滤波,通过公式
Figure QLYQS_15
对所述图像数据进行卷积求解,得到所述图像数据的低频分量,其中,(x, y)为预设掩膜内任一点坐标,(xu, yu)为预设掩膜内中心点坐标,f(x, y)为坐标(x, y)的值,σ为标准差,π为圆周率。
10.一种动态背光补偿系统,其特征在于,所述系统包括第一图像处理模块、动态背光补偿模块和第二图像处理模块;
所述第一图像处理模块,用于对获取到的背光场景下的图像数据进行预设处理,得到所述图像数据的低频分量和高频分量;
所述动态背光补偿模块,用于将所述低频分量和所述高频分量,输入训练好的动态背光补偿模型中,得到背光补偿的低频分量和高频分量;
所述第二图像处理模块,用于将所述背光补偿的低频分量和高频分量进行叠加,得到背光补偿后的图像数据。
CN202310247023.1A 2023-03-15 2023-03-15 一种动态背光补偿方法和系统 Pending CN115953333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310247023.1A CN115953333A (zh) 2023-03-15 2023-03-15 一种动态背光补偿方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310247023.1A CN115953333A (zh) 2023-03-15 2023-03-15 一种动态背光补偿方法和系统

Publications (1)

Publication Number Publication Date
CN115953333A true CN115953333A (zh) 2023-04-11

Family

ID=87282878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310247023.1A Pending CN115953333A (zh) 2023-03-15 2023-03-15 一种动态背光补偿方法和系统

Country Status (1)

Country Link
CN (1) CN115953333A (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
CN101719989A (zh) * 2009-11-30 2010-06-02 北京中星微电子有限公司 一种背光补偿的方法及系统
CN102087840A (zh) * 2009-12-04 2011-06-08 三美电机株式会社 液晶显示装置及液晶显示方法
CN102695062A (zh) * 2012-05-15 2012-09-26 Tcl集团股份有限公司 视频自适应优化的方法及装置
CN102724405A (zh) * 2012-06-21 2012-10-10 无锡市中兴光电子技术有限公司 视频成像系统中背光式场景的自动曝光补偿方法及装置
CN104182721A (zh) * 2013-05-22 2014-12-03 华硕电脑股份有限公司 提升人脸识别率的图像处理系统及图像处理方法
CN105339840A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN109474770A (zh) * 2017-09-07 2019-03-15 华为技术有限公司 一种成像装置及成像方法
CN111105756A (zh) * 2018-10-26 2020-05-05 展讯通信(上海)有限公司 液晶显示图像的背光补偿方法及装置、存储介质、终端
CN111614892A (zh) * 2020-04-28 2020-09-01 深圳英飞拓智能技术有限公司 一种人脸图像采集方法、拍摄装置及计算机可读存储介质
GB202012490D0 (en) * 2020-08-11 2020-09-23 Toshiba Kk A Computer Vision Method and System
CN112183449A (zh) * 2020-10-15 2021-01-05 上海汽车集团股份有限公司 一种驾驶员身份验证方法、装置、电子设备及存储介质
CN113033781A (zh) * 2021-03-26 2021-06-25 南京信息工程大学 一种基于自进化优化bp神经网络的非线性均衡补偿方法
CN113192468A (zh) * 2021-03-19 2021-07-30 青岛海信商用显示股份有限公司 显示调节方法、装置、设备及存储介质
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质
CN113807327A (zh) * 2021-11-18 2021-12-17 武汉博特智能科技有限公司 一种基于光线补偿的深度学习侧脸图像处理方法及系统
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
CN114420059A (zh) * 2021-12-31 2022-04-29 海宁奕斯伟集成电路设计有限公司 背光控制方法、装置及显示设备
CN115170386A (zh) * 2022-07-06 2022-10-11 黑芝麻智能科技有限公司 人像图像处理方法、装置、电子设备和存储介质
CN115641269A (zh) * 2021-07-20 2023-01-24 北京小米移动软件有限公司 一种图像修补方法、装置及可读存储介质
CN115731344A (zh) * 2022-11-10 2023-03-03 阿里巴巴(中国)有限公司 图像处理模型训练方法以及三维对象模型构建方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
CN101719989A (zh) * 2009-11-30 2010-06-02 北京中星微电子有限公司 一种背光补偿的方法及系统
CN102087840A (zh) * 2009-12-04 2011-06-08 三美电机株式会社 液晶显示装置及液晶显示方法
CN102695062A (zh) * 2012-05-15 2012-09-26 Tcl集团股份有限公司 视频自适应优化的方法及装置
CN102724405A (zh) * 2012-06-21 2012-10-10 无锡市中兴光电子技术有限公司 视频成像系统中背光式场景的自动曝光补偿方法及装置
CN104182721A (zh) * 2013-05-22 2014-12-03 华硕电脑股份有限公司 提升人脸识别率的图像处理系统及图像处理方法
CN105339840A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN109474770A (zh) * 2017-09-07 2019-03-15 华为技术有限公司 一种成像装置及成像方法
CN111105756A (zh) * 2018-10-26 2020-05-05 展讯通信(上海)有限公司 液晶显示图像的背光补偿方法及装置、存储介质、终端
CN111614892A (zh) * 2020-04-28 2020-09-01 深圳英飞拓智能技术有限公司 一种人脸图像采集方法、拍摄装置及计算机可读存储介质
GB202012490D0 (en) * 2020-08-11 2020-09-23 Toshiba Kk A Computer Vision Method and System
CN112183449A (zh) * 2020-10-15 2021-01-05 上海汽车集团股份有限公司 一种驾驶员身份验证方法、装置、电子设备及存储介质
CN113192468A (zh) * 2021-03-19 2021-07-30 青岛海信商用显示股份有限公司 显示调节方法、装置、设备及存储介质
CN113033781A (zh) * 2021-03-26 2021-06-25 南京信息工程大学 一种基于自进化优化bp神经网络的非线性均衡补偿方法
CN115641269A (zh) * 2021-07-20 2023-01-24 北京小米移动软件有限公司 一种图像修补方法、装置及可读存储介质
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质
CN113807327A (zh) * 2021-11-18 2021-12-17 武汉博特智能科技有限公司 一种基于光线补偿的深度学习侧脸图像处理方法及系统
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
CN114420059A (zh) * 2021-12-31 2022-04-29 海宁奕斯伟集成电路设计有限公司 背光控制方法、装置及显示设备
CN115170386A (zh) * 2022-07-06 2022-10-11 黑芝麻智能科技有限公司 人像图像处理方法、装置、电子设备和存储介质
CN115731344A (zh) * 2022-11-10 2023-03-03 阿里巴巴(中国)有限公司 图像处理模型训练方法以及三维对象模型构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MU-CHUN SU ET AL: "New compensation algorithm for color backlight images", 《PROCEEDINGS OF THE 2002 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》, pages 1396 - 1400 *
Y. ZHANG ET AL: "Recursive Copy and Paste GAN: Face Hallucination From Shaded Thumbnails", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, pages 4321 - 4338 *
屈梅: "基于深度学习的低照度图像增强算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2022, no. 1, pages 3 - 5 *
徐超越等: "基于U-Net的多尺度低照度图像增强网络", 《计算机工程》, vol. 48, no. 8, pages 1 *
陈孝国: "基于两阶段混合策略实现的低照度图像增强算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2023, no. 2, pages 138 - 2272 *

Similar Documents

Publication Publication Date Title
CN110839129A (zh) 图像处理方法、装置以及移动终端
US8554011B2 (en) Automatic exposure correction of images
CN111583161A (zh) 模糊图像的增强方法、计算机设备和存储介质
US20150078661A1 (en) High dynamic range and tone mapping imaging techniques
CN110717878B (zh) 图像融合方法、装置、计算机设备和存储介质
US11790499B2 (en) Certificate image extraction method and terminal device
CN109658330B (zh) 一种发色调整方法及装置
CN110580693B (zh) 图像处理方法、装置、计算机设备及存储介质
CN115115554B (zh) 基于增强图像的图像处理方法、装置和计算机设备
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
CN114257738A (zh) 自动曝光方法、装置、设备及存储介质
Wang et al. Low-light image enhancement based on virtual exposure
CN106815803A (zh) 图片的处理方法及装置
CN113012188A (zh) 图像融合方法、装置、计算机设备和存储介质
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN109982012B (zh) 图像处理方法及装置、存储介质、终端
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN116993616A (zh) 一种单幅低照度场景图像增强方法及增强系统
CN115953333A (zh) 一种动态背光补偿方法和系统
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN115082345A (zh) 图像阴影去除方法、装置、计算机设备和存储介质
Yadav et al. Multiple feature-based contrast enhancement of ROI of backlit images
CN113592753A (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
Dehesa‐González et al. Lighting source classification applied in color images to contrast enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230411