CN107274364A - 一种图像增强方法及装置 - Google Patents
一种图像增强方法及装置 Download PDFInfo
- Publication number
- CN107274364A CN107274364A CN201710438134.5A CN201710438134A CN107274364A CN 107274364 A CN107274364 A CN 107274364A CN 201710438134 A CN201710438134 A CN 201710438134A CN 107274364 A CN107274364 A CN 107274364A
- Authority
- CN
- China
- Prior art keywords
- frame
- present frame
- default
- image
- present
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001965 increasing effect Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像增强方法及装置,对图像进行增强时,首先区分当前帧是否为预测帧,若是预测帧则,依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,若当前帧为预测帧,则无需直接统计预测帧的直方图,而是通过对该预测帧之前的多个关键帧进行预测的方式,间接统计该预测帧的直方图;因此,计算直方图的特征值时,只需计算关键帧的特征值,这样不仅提高了计算效率,而且避免产生额外的渲染流程和额外的功耗。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种图像增强方法及装置。
背景技术
液晶显示设备中的背光模组用于为显示器提供照明,一般背光越亮,显示画面越亮,但是功耗越高,背光越暗,显示画面相对较暗,但是功耗也越低;而现在随着电子设备的功能越来越多,对功耗的要求也越来越高,因此,为了节省功耗,可以降低背光功耗,但是这样会降低图像呈现的效果。
在较低背光功耗的前期提下,为了让图像达到高背光时的显示效果,一般采用提升图像亮度、增强图像对比度的方式来调整图像的显示,但是现有技术中,在提升图像亮度时,对图像的每一帧进行处理时要计算每一帧对应的直方图的特征值,这样就无形中增加了功耗的消耗。
发明内容
有鉴于此,本发明实施例提供了一种图像增强方法及装置,在当前帧为预测帧的情况下,无需统计预测帧的直方图,可以通过历史关键帧对预测帧对应的直方图的特征值进行预测,这样不仅提高了运算效率,而且减小了功耗。
本发明实施例提供了一种图像增强方法,所述方法可以包括:
根据预设的第一规则判断当前帧是否为预测帧;
若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;
依据所述第一特征值和预设的第二规则生成增益查找表;
依据所述增益查找表对所述当前帧图像进行图像增强。
可选的,还包括:
若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
可选的,所述根据预设的第一规则判断当前帧是否为预测帧,包括:
检测当前帧的帧率,并判断所述当前帧的帧率是否大于预设的帧率阈值;
若小于预设的帧率阈值,则所述当前帧为满负荷状态;
若大于预设的帧率阈值,则所述当前帧为插帧状态,并根据预设的插帧规则判断所述当前帧是否为预测帧;
若所述当前帧满足预设的插帧规则,则所述当前帧为预测帧;
若所述当前帧不满足预设的插帧规则,则所述当前帧为关键帧。
可选的,所述若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,包括:
若所述当前帧是预测帧,对当前帧之前的多个关键帧对应的直方图的特征值进行最小二乘曲线拟合;
根据拟合后的曲线解析式,计算所述当前帧对应的直方图的初步特征值;
对得到所述直方图的初步特征值进行卡尔曼滤波,得到第一特征值。
可选的,所述若所述当前帧不是预测帧,统计所述当前帧对应的直方图,包括:
对合成所述当前帧图像的各个图层,从顶层开始逐层对每层的面积进行累加,每累加一层,得到当前图层对应的累加图层面积;
计算所述当前图层对应的累加图层面积与屏幕面积的比值,并判断所述比值是否达到了预设的面积阈值;
若所述比值达到了预设的面积阈值,将已累加的图层标记为显著性层,并从显著性层的顶层开始以逐层递减的方式为每一显著性层赋以显著性权重;
依据每一层不同的显著性权重,采用不同间隔对显著性层进行采样,并生成直方图;其中,权重越高,采样间隔越小,权重越低,采样间隔越大。
可选的,所述依据所述当前帧对应的直方图计算所述第一特征值,包括:
采用面积积分法提取所述当前帧对应的直方图的第二特征值;
对所述第二特征值进行卡尔曼滤波,得到所述第一特征值。
可选的,所述依据所述增益查找表对所述当前帧图像进行图像增强,包括:
依据所述增益查找表并通过GPU渲染管线,对所述当前帧图像进行图像增强;
或者
依据所述增益查找表并通过预设的硬件合成的设备中,对所述当前帧图像进行图像增强。
可选的,所述依据所述第一特征值和预设的第二规则生成增益查找表,包括:
根据预设的背光查找表获取所述第一特征值对应的背光值,并依据预设的图像增益系数查找表获取所述背光值对应的图像增益系数;
依据所述图像增益系数,计算贝塞尔曲线对应的多个增益控制点,并根据所述增益控制点生成增益查找表。
本发明实施例还提供了一种图像增强装置,所述装置可以包括:
第一判断单元,用于根据预设的第一规则判断当前帧是否为预测帧;
第一计算单元,用于若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;
生成单元,用于依据所述第一特征值和预设的第二规则生成增益查找表;
图像增强单元,用于依据所述增益查找表对所述当前帧图像进行图像增强。
可选的,所述装置还包括:
第二计算单元,用于若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
本实施例中,对图像进行增强时,首先区分当前帧是否为预测帧,若是预测帧,依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,若当前帧为预测帧,则无需直接统计预测帧的直方图,而是通过对该预测帧之前的多个关键帧进行预测的方式,间接统计该预测帧的直方图;因此,计算直方图的特征值时,只需计算关键帧的特征值,这样不仅提高了计算效率,而且避免产生额外的渲染流程和额外的功耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明提供的一种图像增强方法实施例1的流程示意图;
图2示出了本发明提供的一种图像增强方法实施例2的流程示意图;
图3示出了本发明提供的一种图像增强方法实施例3的流程示意图;
图4示出了本发明提供的一种图像增强装置实施例1的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例中,需要说明的是,一幅图像可以理解为一个二维数据矩阵,该矩阵中可以表示图像中多种不同的信息,通过特征提取可以从该二维数据矩阵中,提取出图像的不同的特征,图像的特征值可以用来表示这些特征,例如图像的特征值可以表示图像的颜色、纹理、形状等。在本实施例中,图像的特征值,是图像加权亮度的一种度量,图像内容越亮,直方图的特征值越高,反之,图像内容越暗,直方图的特征值越低。
发明人经研究发现,现有技术中,对直方图进行统计时有以下的两种方式,方式一:从渲染缓存中统计图像直方图特征值;这种方式需要进行多次渲染,再计算时会产生额外的功耗;方式二:从合成的硬件设备中直接读取直方图;这种方式,接口不统一,硬件差异大,且不能每一帧画面都频繁读取直方图,因此,计算效率低。
为了解决以上问题,本发明实施例公开了一种图像增强的方法,对图像增强时,首先区分当前帧否为预测帧,若是预测帧,依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,只需要计算关键帧的直方图,若是预测帧,采用通过对关键帧预测的方式获取直方图的特征值,这样不仅提高了计算效率,而且避免产生额外的渲染流程和额外的功耗。
参考图1,示出了本发明提供的一种图像增强方法实施例1的流程示意图,在本实施例中,所述方法可以包括:
S101:根据预设的第一规则判断当前帧是否为预测帧。
本实施例中,根据不同的帧率可以将图像帧划分为满负荷状态和插帧状态,其中,还可以将插帧状态划分为关键帧和当前帧,具体的S101可以包括:
检测当前帧的帧率,并判断所述当前帧的帧率是否大于预设的帧率阈值;
若小于预设的帧率阈值,则所述当前帧为满负荷状态;
若大于预设的帧率阈值,则所述当前帧为插帧状态,并根据预设的插帧规则判断所述当前帧是否为预测帧;
若所述当前帧满足预设的插帧规则,则所述当前帧为预测帧;
若所述当前帧不满足预设的插帧规则,则所述当前帧为关键帧。
本实施例中,对于帧率的检测可以通过对历史帧时间戳的卷积,计算当前帧与之前一段时间内固定时间间隔的帧率。
举例说明:假设当前时刻为n,显示频率为Fn,平均显示周期为Tn,积分窗口宽度为m,即当前时刻共保存了历史m个渲染周期,具体来说,n时刻保存的历史渲染周期为Tn,Tn-1,Tn-2,...,Tn-m,其中,tn,tn-1分别为n时刻和n-1时刻的时间戳,并且,显示频率Fn和平均显示周期为Tn分别可以表示为以下的公式1)和公式2):
1)
2)Tn=tn-tn-1。
本实施例中,需要说明的是,预设的帧率阈值可以是技术人员通过实验获得的。
本实施例中,满负荷状态的帧帧率较低,从图像显示的角度来说,满负荷状态可以理解为每秒显示的图像帧较少的状态。
针对于预测帧和关键帧的划分,可以设置为每隔m个关键帧会出现n个关键帧,因此根据之前图像帧的情况,可以确定当前帧为关键帧还是预测帧。
举例说明:假设帧率阈值的下限为fmin,帧率阈值上限为fmax,连续预测帧数量阈值上限为M,则当前连续预测帧数量为mr,即每隔mr个预测帧则有一个关键帧.其中,若当前帧率为f,mr可以表示为以下的公式3):
3)
其中,max(fmin,f)表示取fmin和f之间较大的值;min(fmax,max(fmin,f))表示取fmax和max(fmin,f)之间较小的值;F()表示向下取整。
S102:若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;本实施例中,若所述当前帧是预测帧,为了降低功耗,则无需统计预测帧对应的直方图,可以通过该预测帧之前的多个关键帧的趋势对预测帧进行预测,具体的,S102包括:
若所述当前帧是预测帧,对当前帧之前的多个关键帧对应的直方图的特征值进行最小二乘曲线拟合;
根据拟合后的曲线解析式,计算所述当前帧对应的直方图的初步特征值;
对得到所述直方图的初步特征值进行卡尔曼滤波,得到第一特征值。
举例说明:对于插帧状态,假设当前帧为预测帧,则可以依据该预测帧之前的两个关键帧对应的图像的直方图的特征值进行最小二乘曲线拟合;然后根据得到的拟合曲线的解析式,对预测帧对应的直方图的第二特征值进行预测;最后,对得到的第二特征值进行卡尔曼滤波,得到该预测帧对应的直方图的特征值,即当前帧对应的直方图的特征值,也就是第一特征值。
S103:依据所述第一特征值和预设的第二规则生成增益查找表。
本实施例中,为了生成增益查找表,可以先获取到第一特征值对应的背光值,然后获取到该背光值对应的增益系数,进而得到增益查找表,具体的S103可以包括:
根据预设的背光查找表获取所述第一特征值对应的背光值,并依据预设的图像增益系数查找表获取所述背光值对应的图像增益系数;
依据所述图像增益系数,计算贝塞尔曲线对应的多个增益控制点,并根据所述增益控制点生成增益查找表。
本实施例中,所述背光查找表可以是技术人员预先生成的,该表可以包括:直方图的特征值和背光值的对照关系,当得到该当前帧对应的直方图的特征值后,即第一特征值,可以从该背光查找表中找到与该第一特征值对应的背光值。
本实施例中,所述图像增益系数查找表可以是技术人员预先生成的,该表可以包括:背光值与增益系数对照关系,当得到该当前帧对应的背光值后,可以从该增益系数查找表中找到与该背光值相对应的增益系数。
举例说明:假设计算的贝塞尔曲线的增益控制点为5个,分别可以包括第一类控制点和第二类控制点,其中第一类控制点可包括三个点,第二类控制点可以包括两个点。其中,第一类控制点用来区分直方图中的明区和暗区第二类控制点用来确定图像明暗变化的增益强度和方向,计算的过程可以包括:
其中,计算第一类控制点:其中第一点为暗区的起始点;第二点为明暗区的分界点,该点沿x轴的偏移影响了画面增亮或降暗的幅度和方向;第三点为明区的终止点。
具体而言,第一点的坐标可以为(0,0);第三点的坐标可以为(255,255);第二点若向x轴负方向偏移,最终使画面对比度增加的同时亮度得到提升;第二点若向x轴正方向偏移,最终使画面对比度增加的同时,整体亮度降低。因此第二点的位置选取极为重要,本实施例中在直方图均值k的基础上,根据增益系数a向对应方向偏移,最终获得第二点位置。
假设第二点的坐标为:(xc,yc);
其中,xc=f(k,α),yc=xc(k为均值,α为增益系数);
f(k,α)=k(1-αθ),θ∈[0,1]为限幅系数。
计算第二类控制点:
本实施例中第四点为暗区控制点,该控制点明显偏离第一类控制点所在的直线,并向y轴负方向偏移,最终使得图像暗区整体亮度下降的同时增强该区域对比度。
第四点的坐标可以为:(xL,yL)
其中,yL=g(α,xL);(α为增益系数,α∈[0,1]);
g(α,xL)=xL(1+η(α-1)),η∈[0,1]为限幅系数;
本实施例中第五点为明区控制点,该控制点明显偏离第一类控制点所在直线,并向y轴正方向偏移,最终使得图像明区整体亮度提升的同时增强该区域对比度。
第五点的坐标可以为:(xR,yR);
其中,yR=h(a,xR);
h(α,xR)=xR+αδ(255-xR),δ∈[0,1]为限幅系数。
当得到多个增益控制点后,可以依据多个增益控制点生成数字贝塞尔曲线,需要说明的是,数字贝塞尔曲线是离散的,因此还需要对数字贝塞尔曲线进行线性插值处理,从而得到连续光滑的贝塞尔曲线,得到贝塞尔曲线即得到增益查找表。
S104:依据所述增益查找表对所述当前帧图像进行图像增强。
本实施例中,增益查找表可以理解为调色板纹理,依据该调色板纹理可以对当前帧图像进行增强。
本实施例中,可以依据所述增益查找表并通过GPU渲染管线,对所述当前帧图像进行图像增强。
本实施例中,采用GPU(英文全称:Graphics Processing Unit中文全称:图形处理器)渲染管线,依据增益查找表中的相关增益强度,对当前帧图像进行图像增强。
因此,本实施例中,采用GPU对图像进行渲染增强,提高了图像增强的通用性。
除此之外,还可以依据所述增益查找表并通过预设的硬件合成的设备中,对所述当前帧图像进行图像增强。
采用硬件合成的设备,对图像进行渲染增强时,不会产生额外的功耗。
本实施例中,对图像进行增强时,首先区分当前帧是否为预测帧,若是预测帧则依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,若当前帧为预测帧,则无需统计预测帧的直方图,而是通过该预测帧之前的多个关键帧对应的直方图的特征值,对该预测帧对应的直方图的特征值进行预测,这样不仅提高了运算效率,而且减小了功耗。
本实施例中,当前帧若不是预测帧,则需要进行完整的图像处理工作,即需要统计该当前帧对应的直方图,并计算该当前帧对应的直方图的特征值,具体的,可以包括:
若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
本实施例中,需要说明的额是,当前帧不是预测帧的情况可以包括以下两种:当前帧为满负荷状态或者当前帧为关键帧。
本实施例中,对图像进行增强时,首先区分当前帧是否为预测帧,若是预测帧,依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,若当前帧为预测帧,则无需直接统计预测帧的直方图,而是通过对该预测帧之前的多个关键帧进行预测的方式,间接统计该预测帧的直方图;因此,计算直方图的特征值时,只需计算关键帧的特征值,这样不仅提高了计算效率,而且避免产生额外的渲染流程和额外的功耗。
当当前帧为满负荷状态或者为关键帧时,将二者采用相同的方式统计当前帧的直方图,具体的,可以参考图2,示出了本发明提供的一种图像增强方法实施例2的流程示意图,在本实施例中,所述方法可以包括:
即可以采用显著性分区块统计的方法,先从合成当前帧图像的图层中获取显著性层,显著性图层可以理解为对合成当前帧图像有较大影响的图层,或者还可以理解为图层暴露较大的图层,然后对显著性图层从顶层开始逐层赋以显著性权重,并且赋以的显著性权重是逐层递减的。最后,对显著性性层依据显著性权重,采用不同尺度的间隔采样方式生成直方图,并且,显著性权重越高,采样间隔越小;显著性权重越低,采样间隔越大。
S201:对合成所述当前帧图像的各个图层,从顶层开始逐层对每层的面积进行累加,每累加一层,得到当前图层对应的累加图层面积;
S202:计算所述当前图层对应的累加图层面积与屏幕面积的比值,并判断所述比值是否达到了预设的面积阈值;
S203:若所述比值达到了预设的面积阈值,将已累加的图层标记为显著性层,并从显著性层的顶层开始以逐层递减的方式为每一显著性层赋以显著性权重;
S204:依据每一层不同的显著性权重,采用不同间隔对显著性层进行采样,并生成直方图;其中,权重越高采样间隔越小,权重越低,采样间隔越大。
本实施例中,每帧图像是由多个图层合成的,不同的图层之间会有存在遮挡,统计每层的面积,是统计图层合成后非遮挡的区域,即暴露在外的图层面积。
举例说明:从顶层开始逐层累加每层的面积,每累加一层,得到当前图层对应的累加图层面积S,假设屏幕面积为M,面积阈值为T;每累加一层则计算S与M的比值,当S/M>T,则停止累加,将进行了面积累计的图层标记为显著性图层。
其中,显著性图层可以理解为对合成当前帧图像有较大影响的图层,或者还可以理解为面积暴露较大的图层,因此,对于显著性图层之外的其它图层,可以理解为对合成当前帧影响不大的图层,因此统计该当前帧图像时可以不对这些图层进行采样。
本实施例中,对显著性层的采样可以是从顶层开始,也可以从底层开始,或者也可以是随机的,但是采样时,要依据每层的显著性权重,权重越高,采样间隔越小;权重越低采样间隔越大。
举例说明:假设最大采样间隔为L,对于n个显著性层中的第k层,采样间隔可以为LK,其中,LK可以通过以下的公式4)表示:
4)LK=F(k*L/n);
其中,F()表示向下取整。
本实施例中,得到了该当前帧对应的直方图后,还需要计算该直方图的特征值,具体的可以包括:
采用面积积分法提取所述当前帧对应的直方图的第二特征值;
对所述第二特征值进行卡尔曼滤波,得到所述第一特征值。
本实施例中,可以采用间隔采样的方式对当前帧对应的直方图进行采样,然后,依据采样结果计算像素点概率的直方图,也可以理解为:该直方图的横坐标可以表示为采集到的像素点的值,纵坐标可以表示为每个像素点在显示画面中出现的概率,最后,可以从像素值低的一侧对所述直方图进行遍历,采用定积分的方法计算遍历到的像素值对应的直方图区域的面积。
本实施例中,采用了加权多尺度间隔采样方式,对显著性较高的区域,精确统计各像素出现的概率;对于显著性较低的区域,粗略估计个像素出现的概率。因此,在保证整体精确度的前提下,提高了直方图统计的效率,并节省了功耗。
参考图3,示出了本发明提供的一种图像增强方法实施例3的流程示意图,在本实施例中,所述方法可以包括:
S301:判断当前帧是否为预测帧;
S302:若当前帧是预测帧,对当前帧之前的多个关键帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,并执行S404;将所述当前帧对应的直方图的特征值表示为第一特征值;
S303:若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态;
S304:根据预设的背光查找表获取所述第一特征值对应的背光值,并依据预设的图像增益系数查找表获取所述背光值对应的图像增益系数;
S305:依据所述图像增益系数,计算贝塞尔曲线对应的多个增益控制点,并根据所述增益控制点生成增益查找表。
S306:依据所述增益查找表并通过GPU渲染管线,对所述当前帧图像进行图像增强。
本实施例中,首先区分当前帧是否为预测帧,若是预测帧则依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;若该当前帧不是预测帧,统计该当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。本实施例的方法,若当前帧为预测帧,则无需统计预测帧的直方图,而是通过该预测帧之前的多个关键帧对应的直方图的特征值,对该预测帧对应的直方图的特征值进行预测,这样不仅提高了运算效率,而且减小了功耗。并且,采用GPU渲染管线对当前帧图像进行渲染增强,提高了通用性。
参考图4,示出了本发明提供的一种图像增强装置实施例1的结构示意图,在本实施例中,所述装置可以包括:
第一判断单元S401,用于根据预设的第一规则判断当前帧是否为预测帧;
第一计算单元S402,用于若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;
生成单元S403,用于依据所述第一特征值和预设的第二规则生成增益查找表;
图像增强单元S404S,用于依据所述增益查找表对所述当前帧图像进行图像增强。
可选的,所述装置还包括:
第二计算单元,用于若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
可选的,所述第一判断单元,包括:
检测子单元,用于检测当前帧的帧率,并判断所述当前帧的帧率是否大于预设的帧率阈值;
满负荷状态单元,用于若小于预设的帧率阈值,则所述当前帧为满负荷状态;
判断子单元,用于若大于预设的帧率阈值,则所述当前帧为插帧状态,并根据预设的插帧规则判断所述当前帧是否为预测帧;
预测帧子单元,用于若所述当前帧满足预设的插帧规则,则所述当前帧为预测帧;
关键帧子单元,用于若所述当前帧不满足预设的插帧规则,则所述当前帧为关键帧。
可选的,第一计算单元,包括:
第一计算子单元,用于若所述当前帧是预测帧,对当前帧之前的多个关键帧对应的直方图的特征值进行最小二乘曲线拟合;
第二计算子单元,用于根据拟合后的曲线解析式,计算所述当前帧对应的直方图的初步特征值;
第一滤波子单元,用于对得到所述直方图的初步特征值进行卡尔曼滤波,得到第一特征值。
可选的,第二计算单元,包括:
面积计算子单元,用于对合成所述当前帧图像的各个图层,从顶层开始逐层对每层的面积进行累加,每累加一层,得到当前图层对应的累加图层面积;
比值计算子单元,用于计算所述当前图层对应的累加图层面积与屏幕面积的比值,并判断所述比值是否达到了预设的面积阈值;
赋以权重子单元,用于若所述比值达到了预设的面积阈值,将已累加的图层标记为显著性层,并从显著性层的顶层开始以逐层递减的方式为每一显著性层赋以显著性权重;
直方图生成子单元,用于依据每一层不同的显著性权重,采用不同间隔对显著性层进行采样,并生成直方图;其中,权重越高采样间隔越小,权重越低,采样间隔越大。
可选的,所述第二计算单元,,包括:
特征提取子单元,用于采用面积积分法提取所述当前帧对应的直方图的第二特征值;
第二滤波子单元,用于对所述第二特征值进行卡尔曼滤波,得到所述第一特征值。
可选的,图像增强单元,包括:
第一图像增强子单元,用于依据所述增益查找表并通过GPU渲染管线,对所述当前帧图像进行图像增强;
或者
第二图像增强子单元,用于依据所述增益查找表并通过预设的硬件合成的设备中,对所述当前帧图像进行图像增强。
可选的,所述依据所述第一特征值和预设的第二规则生成增益查找表,包括:
获取子单元,用于根据预设的背光查找表获取所述第一特征值对应的背光值,并依据预设的图像增益系数查找表获取所述背光值对应的图像增益系数;
生成子单元,用于依据所述图像增益系数,计算贝塞尔曲线对应的多个增益控制点,并根据所述增益控制点生成增益查找表。
本实施例中,对图像进行增强时,首先区分当前帧是否为预测帧,若是预测帧则依据该当前帧之前的多个关键帧对应的直方图的特征值,对该当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,即第一特征值;然后,依据该第一特征值和预设的第二规则生成增益查找表;最后,依据该增益查找表对当前帧图像进行增强。通过本实施例的方法,若当前帧为预测帧,则无需直接统计预测帧的直方图,而是通过对该预测帧之前的多个关键帧进行预测的方式,间接统计该预测帧的直方图;因此,计算直方图的特征值时,只需计算关键帧的特征值,这样不仅提高了计算效率,而且避免产生额外的渲染流程和额外的功耗。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像增强方法,其特征在于,所述方法包括:
根据预设的第一规则判断当前帧是否为预测帧;
若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;依据所述第一特征值和预设的第二规则生成增益查找表;
依据所述增益查找表对所述当前帧图像进行图像增强。
2.根据权利要求1所述的方法,其特征在于,还包括:
若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的第一规则判断当前帧是否为预测帧,包括:
检测当前帧的帧率,并判断所述当前帧的帧率是否大于预设的帧率阈值;
若小于预设的帧率阈值,则所述当前帧为满负荷状态;
若大于预设的帧率阈值,则所述当前帧为插帧状态,并根据预设的插帧规则判断所述当前帧是否为预测帧;
若所述当前帧满足预设的插帧规则,则所述当前帧为预测帧;
若所述当前帧不满足预设的插帧规则,则所述当前帧为关键帧。
4.根据权利要求1所述的方法,其特征在于,所述若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值,包括:
若所述当前帧是预测帧,对当前帧之前的多个关键帧对应的直方图的特征值进行最小二乘曲线拟合;
根据拟合后的曲线解析式,计算所述当前帧对应的直方图的初步特征值;
对得到所述直方图的初步特征值进行卡尔曼滤波,得到第一特征值。
5.根据权利要求2所述的方法,其特征在于,所述若所述当前帧不是预测帧,统计所述当前帧对应的直方图,包括:
对合成所述当前帧图像的各个图层,从顶层开始逐层对每层的面积进行累加,每累加一层,得到当前图层对应的累加图层面积;
计算所述当前图层对应的累加图层面积与屏幕面积的比值,并判断所述比值是否达到了预设的面积阈值;
若所述比值达到了预设的面积阈值,将已累加的图层标记为显著性层,并从显著性层的顶层开始以逐层递减的方式为每一显著性层赋以显著性权重;
依据每一层不同的显著性权重,采用不同间隔对显著性层进行采样,并生成直方图;其中,权重越高,采样间隔越小,权重越低,采样间隔越大。
6.根据权利要求5所述的方法,其特征在于,所述依据所述当前帧对应的直方图计算所述第一特征值,包括:
采用面积积分法提取所述当前帧对应的直方图的第二特征值;
对所述第二特征值进行卡尔曼滤波,得到所述第一特征值。
7.根据权利要求1所述的方法,其特征在于,所述依据所述增益查找表对所述当前帧图像进行图像增强,包括:
依据所述增益查找表并通过GPU渲染管线,对所述当前帧图像进行图像增强;
或者
依据所述增益查找表并通过预设的硬件合成的设备中,对所述当前帧图像进行图像增强。
8.根据权利要求1所述的方法,其特征在于,所述依据所述第一特征值和预设的第二规则生成增益查找表,包括:
根据预设的背光查找表获取所述第一特征值对应的背光值,并依据预设的图像增益系数查找表获取所述背光值对应的图像增益系数;
依据所述图像增益系数,计算贝塞尔曲线对应的多个增益控制点,并根据所述增益控制点生成增益查找表。
9.一种图像增强装置,其特征在于,所述装置可以包括:
第一判断单元,用于根据预设的第一规则判断当前帧是否为预测帧;
第一计算单元,用于若所述当前帧是预测帧,依据预设的当前帧之前的多个关键帧对应的直方图的特征值,对所述当前帧对应的直方图的特征值进行预测,得到当前帧对应的直方图的特征值;将所述当前帧对应的直方图的特征值表示为第一特征值;
生成单元,用于依据所述第一特征值和预设的第二规则生成增益查找表;
图像增强单元,用于依据所述增益查找表对所述当前帧图像进行图像增强。
10.根据权利要求9所述的装置,其特征在于,还包括:
第二计算单元,用于若所述当前帧不是预测帧,统计所述当前帧对应的直方图,并依据所述当前帧对应的直方图计算所述第一特征值;所述当前帧为关键帧或者满负荷状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710438134.5A CN107274364B (zh) | 2017-06-06 | 2017-06-06 | 一种图像增强方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710438134.5A CN107274364B (zh) | 2017-06-06 | 2017-06-06 | 一种图像增强方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107274364A true CN107274364A (zh) | 2017-10-20 |
CN107274364B CN107274364B (zh) | 2020-01-31 |
Family
ID=60067397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710438134.5A Active CN107274364B (zh) | 2017-06-06 | 2017-06-06 | 一种图像增强方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107274364B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110956933A (zh) * | 2018-09-27 | 2020-04-03 | 中科创达软件股份有限公司 | 一种显示设备功耗调节方法及装置 |
WO2020078347A1 (zh) * | 2018-10-16 | 2020-04-23 | 深圳Tcl新技术有限公司 | 基于背光调整的图像动态增强方法、装置和计算机设备 |
CN112446831A (zh) * | 2019-08-30 | 2021-03-05 | 深圳Tcl新技术有限公司 | 一种图像增强的方法和计算机设备 |
CN112515760A (zh) * | 2020-10-18 | 2021-03-19 | 泰州国安医疗用品有限公司 | 基于数量分析的模式转换平台 |
CN113822809A (zh) * | 2021-03-10 | 2021-12-21 | 无锡安科迪智能技术有限公司 | 暗光增强方法及其系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1622638A (zh) * | 2004-12-27 | 2005-06-01 | 北京中星微电子有限公司 | 一种视频监控系统中的图像亮度修正方法 |
EP2061007A1 (en) * | 2006-08-24 | 2009-05-20 | Mitsubishi Electric Corporation | Moving vector detecting bdevice |
US20140010447A1 (en) * | 2008-06-30 | 2014-01-09 | Shengqi Yang | Color Enhancement for Graphic Images |
CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
CN105530406A (zh) * | 2015-12-18 | 2016-04-27 | 成都国翼电子技术有限公司 | 一种基于历史帧图像统计值的智能增强方法 |
CN106358029A (zh) * | 2016-10-18 | 2017-01-25 | 北京字节跳动科技有限公司 | 一种视频图像处理方法和装置 |
-
2017
- 2017-06-06 CN CN201710438134.5A patent/CN107274364B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1622638A (zh) * | 2004-12-27 | 2005-06-01 | 北京中星微电子有限公司 | 一种视频监控系统中的图像亮度修正方法 |
EP2061007A1 (en) * | 2006-08-24 | 2009-05-20 | Mitsubishi Electric Corporation | Moving vector detecting bdevice |
US20140010447A1 (en) * | 2008-06-30 | 2014-01-09 | Shengqi Yang | Color Enhancement for Graphic Images |
CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
CN105530406A (zh) * | 2015-12-18 | 2016-04-27 | 成都国翼电子技术有限公司 | 一种基于历史帧图像统计值的智能增强方法 |
CN106358029A (zh) * | 2016-10-18 | 2017-01-25 | 北京字节跳动科技有限公司 | 一种视频图像处理方法和装置 |
Non-Patent Citations (1)
Title |
---|
孔繁锵等: "基于帧间预测和联合优化的干涉多光谱图像压缩感知重建算法", 《南京航空航天大学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110956933A (zh) * | 2018-09-27 | 2020-04-03 | 中科创达软件股份有限公司 | 一种显示设备功耗调节方法及装置 |
WO2020078347A1 (zh) * | 2018-10-16 | 2020-04-23 | 深圳Tcl新技术有限公司 | 基于背光调整的图像动态增强方法、装置和计算机设备 |
US11527212B2 (en) | 2018-10-16 | 2022-12-13 | Shenzhen Tcl New Technology Co., Ltd. | Dynamic image enhancement method and device using backlight adjustment, and computer apparatus |
CN112446831A (zh) * | 2019-08-30 | 2021-03-05 | 深圳Tcl新技术有限公司 | 一种图像增强的方法和计算机设备 |
CN112515760A (zh) * | 2020-10-18 | 2021-03-19 | 泰州国安医疗用品有限公司 | 基于数量分析的模式转换平台 |
CN113822809A (zh) * | 2021-03-10 | 2021-12-21 | 无锡安科迪智能技术有限公司 | 暗光增强方法及其系统 |
CN113822809B (zh) * | 2021-03-10 | 2023-06-06 | 无锡安科迪智能技术有限公司 | 暗光增强方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107274364B (zh) | 2020-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107274364A (zh) | 一种图像增强方法及装置 | |
US20160370934A1 (en) | Information processing apparatus and information processing method | |
US11467661B2 (en) | Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium | |
US20210020139A1 (en) | Picture obtaining method and apparatus and picture processing method and apparatus | |
KR101033098B1 (ko) | 실시간 얼굴 검출 장치 | |
EP1917573B1 (en) | A displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor | |
CN102063704B (zh) | 一种机载视景增强方法及其装置 | |
JP2006517303A5 (zh) | ||
CN101369315A (zh) | 人脸检测方法 | |
CN108257580A (zh) | 一种基于背光亮度的显示画面的调节方法及装置 | |
US20100164883A1 (en) | Touch panel display device and driving method thereof | |
CN101241411A (zh) | 包括通过光线从屏幕输入信息的功能的显示器 | |
CN107909583A (zh) | 一种图像处理方法、装置及终端 | |
CN107492110A (zh) | 一种图像边缘检测方法、装置和存储介质 | |
CN105027161B (zh) | 图像处理方法和图像处理设备 | |
CN116152261B (zh) | 一种印刷制品质量的视觉检测系统 | |
CN1506686A (zh) | 运动图像检测方法 | |
CN104301618B (zh) | 闪烁检测方法和闪烁检测设备 | |
CN111429437B (zh) | 面向目标检测的图像无参考清晰度质量检测方法 | |
TW201407141A (zh) | 環境光偵測裝置與方法、及使用此環境光偵測裝置之互動式裝置 | |
KR970007012B1 (ko) | 화상중의 농도변동구성화소 추출방법 및 농도변동덩어리 판정방법 | |
CN101909142B (zh) | 影像处理装置及影像处理方法 | |
CN114327715B (zh) | 界面显示方法、界面显示装置、电子设备和可读存储介质 | |
CN113076888B (zh) | 一种多尺度局部二值模型光电图像目标检测方法 | |
CN108597439A (zh) | 基于微间距led显示屏的虚拟现实图像显示方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB02 | Change of applicant information |
Address after: Room 101-105, floor 1, Chuangda building, No. 9, Qinghua East Road, Haidian District, Beijing 100083 (Dongsheng District) Applicant after: Thunder Software Technology Co., Ltd. Address before: 100191 Beijing Haidian District Lung Cheung Road No. 1 Tai Xiang business building 4 layer 401-409 Applicant before: Thunder Software Technology Co., Ltd. |
|
CB02 | Change of applicant information |