动态视频图像清晰度强化方法及装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种动态视频图像清晰度强化方法及装置。
背景技术
摄影摄像设备可帮助人们记录影像以便在任意时间地点进行查看,但受限于设备和拍摄人的能力,很多影像资料所呈现的画面质量并不理想,很难满足用户需求。在重新拍摄的时间和人力物力成本较高的情况下,通常会选择采用一定的技术手段来增强图像的清晰度。
传统的清晰度增强算法往往针对特定的行业或工作环境,比如计算机中的模式识别、医学X光成像、气象成像等,这些只需对个别的静态图像进行处理,处理的实时性要求不高但处理量通常较大,无法满足连续处理动态图像的效率和性能需求。此外,现有技术中的图像增强方法往往只针对某一特定要求进行片面强化,如增强亮度、增强对比度、增强色度等,其强化幅度虽然较大,但算法一般比较单一,如果要同时对图像的多种参数进行强化则需分别运行多种算法,计算量过大而实时性较差。
发明内容
针对现有技术的缺陷,本发明的目的是提供一种动态视频图像清晰度强化方法及装置,以高效快捷实时地对连续的动态视频图像进行清晰度强化。
根据本发明的一个方面,提供了一种动态视频图像清晰度强化方法,包括步骤:
获取当前像素的RGB数据;
对所述当前像素的RGB数据进行高斯模糊,计算模糊前后的RGB各分量差值,并使用所述各分量差值分别计算RGB各分量增益系数;
结合所述RGB数据、所述各分量差值和所述各分量增益系数分别对RGB各分量进行清晰度强化;
输出所述当前像素强化后的RGB数据。
优选地,所述获取当前像素的RGB数据包括:
获取当前像素的YUV数据,对所述当前像素的YUV数据进行归一化处理并转换为当前像素的RGB数据。
优选地,所述进行高斯模糊包括:
构建N×N的高斯矩阵;
以当前像素为中心点选取邻近的N×N个像素,分别构建RGB各分量N×N的像素矩阵;其中N为大于1的奇数;
将RGB各分量的所述像素矩阵与所述高斯矩阵进行运算,得出RGB各分量的高斯模糊数据。
优选地,所述分别计算RGB各分量增益系数包括:
根据所述各分量差值计算增益角度,由所述增益角度得到所述各分量增益系数。
优选地,所述进行清晰度强化包括:
对于RGB各分量,分别计算强化后的各分量为Cr=Src+Diff*Fr,其中Src为当前像素的所述RGB数据,Diff为所述各分量差值,Fr为所述各分量增益系数。
根据本发明的另一个方面,还同时提供了一种动态视频图像清晰度强化装置,包括:
数据获取模块,用于获取当前像素的RGB数据;
滤波模块,用于对所述当前像素的RGB数据进行高斯模糊,计算模糊前后的RGB各分量差值,并使用所述各分量差值分别计算RGB各分量增益系数;
强化模块,用于结合所述RGB数据、所述各分量差值和所述各分量增益系数分别对RGB各分量进行清晰度强化;
输出模块,用于输出所述当前像素强化后的RGB数据。
优选地,所述数据获取模块包括:
归一化转换模块,用于获取当前像素的YUV数据,对所述当前像素的YUV数据进行归一化处理并转换为当前像素的RGB数据。
优选地,所述滤波模块包括低通滤波模块;其中所述低通滤波模块包括:
矩阵构建模块,用于构建N×N的高斯矩阵,以及以当前像素为中心点选取邻近的N×N个像素,分别构建RGB各分量N×N的像素矩阵;其中N为大于1的奇数;
模糊运算模块,用于将RGB各分量的所述像素矩阵与所述高斯矩阵进行运算,得出RGB各分量的高斯模糊数据。
优选地,所述滤波模块还包括:
高通滤波模块,用于根据所述各分量差值计算增益角度,由所述增益角度得到所述各分量增益系数。
优选地,所述强化模块包括:
强化计算模块,用于对于RGB各分量,分别计算强化后的各分量为,其中为当前像素的所述RGB数据,为所述各分量差值,为所述各分量增益系数。
本发明实施例提供了一种动态视频图像清晰度强化方法及装置,通过快速提高图像中不同事物的色差,实现了高效的清晰度强化,可满足动态视频图像的连续处理需求。
附图说明
图1是本发明实施例中动态视频图像清晰度强化方法的流程示意图;
图2是本发明优选实施例中自动增益系数的控制曲线示意图;
图3是本发明实施例中动态视频图像清晰度强化装置的模块示意图;
图4-6是采用本发明实施例的技术方案进行清晰度强化前后的图像对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
现有技术中的图像增强方法普遍存在计算量大实时性差的缺陷,一般只适用于处理静态图像,加上现有技术的图像增强方案一般只针对一种图像参数进行片面强化,难以满足动态视频图像的清晰度强化的需求。
本发明实施例提供了一种动态视频图像清晰度强化方案,通过快速提高图像中不同事物的色差,实现了高效的清晰度强化,可满足动态视频图像的连续处理需求。如图1所示,本发明实施例中的动态视频图像清晰度强化方法包括步骤:
S1,获取当前像素的RGB数据;
S2,对所述当前像素的RGB数据进行高斯模糊,计算模糊前后的RGB各分量差值,并使用所述各分量差值分别计算RGB各分量增益系数;
S3,结合所述RGB数据、所述各分量差值和所述各分量增益系数分别对RGB各分量进行清晰度强化;
S4,输出所述当前像素强化后的RGB数据。
其中,在本发明实施例中,上述方法对视频中每一图像帧的每一像素进行遍历处理,处理后数据直接输出到显示设备,从而向用户呈现经过清晰度强化的视频。更进一步地,可利用多个处理设备,比如CPU和GPU,或利用处理设备的多个核心处理单元,比如多核处理器,对多个像素同时采用上述方法进行并行处理,多个像素的处理结果数据按时钟信号的控制输出到显示设备。
步骤S1进一步包括:获取当前像素的YUV数据,对所述当前像素的YUV数据进行归一化处理并转换为当前像素的RGB数据。
优选地,所述归一化处理包括:将数据原始值统一除以255,即Ynor=Ysrc/255.0,其中,Ysrc为原始的Y/U/V数据值,Ynor为归一化后的Y/U/V分量值。所述YUV数据通过解码视频数据后获取。
优选地,使用归一化后的YUV数据进行色彩空间转换,计算RGB数据(Y/U/V这3个分量构成的向量与转换矩阵的乘积),其中转换矩阵为:
步骤S2中,所述进行高斯模糊包括:
构建N×N的高斯矩阵(其具体构建方式可按标准算法实现,在此不再赘述);以当前像素为中心点选取邻近的N×N个像素,分别构建RGB各分量N×N的像素矩阵;其中N为大于1的奇数;
将RGB各分量的所述像素矩阵与所述高斯矩阵进行运算,得出RGB各分量的高斯模糊数据。
优选地,N的具体取值根据需求的像素模糊程度来确定,一般N取值越大像素模糊程度越高。
进一步地,步骤S2中,所述分别计算RGB各分量增益系数包括:
对于RGB各分量,获取模糊前后的分量差值,在所述分量差值的绝对值不超过阈值时,计算增益角度为Angle=Diff/Thres*90.0,其中Diff为所述分量差值(R/G/B三个分量分别进行计算),Thres为所述阈值;在所述分量差值的绝对值超过阈值时,设置增益角度值为90度;
计算分量增益系数为Fr=Rmax*sin(Angle/180.0*π),其中Rmax为最大幅值,Angle为增益角度。图2所示为自动增益系数的控制曲线,阈值Thres可根据该控制曲线结合预期控制效果来选取设定,最大幅值Rmax为阈值点对应的曲线值(最大自动增益系数)。
步骤S3中,所述进行清晰度强化包括:
对于RGB各分量,分别计算强化后的各分量为Cr=Src+Diff*Fr,其中Src为当前像素的所述RGB数据(R/G/B各分量原始值),Diff为所述各分量差值(步骤S2中得到),Fr为所述各分量增益系数(步骤S2中计算所得)。
下面进一步来说明本发明实施例方案的实现原理,首先,由于各事物之间存在色差,在视觉系统中产生的图像便可根据色差识别不同事物的轮廓,进而产生对不同事物的认知。基于这一现象,本发明实施例的技术方案通过上述方式,首先对图像进行低通滤波(高斯模糊),再通过与原像素的差值来获取对应的高通值(增益系数),然后通过高通值提高不同事物之前的色差(清晰度强化),从而以实现拉大各事物之间的对比度来提高图像的清晰度。
进一步如图3所示,与上述方法一一对应地,本发明实施例还同时提供了一种动态视频图像清晰度强化装置1,包括:
数据获取模块101,用于获取当前像素的RGB数据;
滤波模块102,用于对所述当前像素的RGB数据进行高斯模糊,计算模糊前后的RGB各分量差值,并使用所述各分量差值分别计算RGB各分量增益系数;
强化模块103,用于结合所述RGB数据、所述各分量差值和所述各分量增益系数分别对RGB各分量进行清晰度强化;
输出模块104,用于输出所述当前像素强化后的RGB数据。
优选地,所述数据获取模块包括:归一化转换模块,用于获取当前像素的YUV数据,对所述当前像素的YUV数据进行归一化处理并转换为当前像素的RGB数据。
更优选地,所述归一化转换模块包括:归一化模块,用于将数据原始值统一除以255,即Ynor=Ysrc/255.0,其中,Ysrc为原始的Y/U/V数据值,Ynor为归一化后的Y/U/V分量值。所述YUV数据通过解码视频数据后获取。所述归一化转换模块还包括:转换模块,用于使用归一化后的YUV数据进行色彩空间转换,计算RGB数据,其中转换矩阵为:
优选地,所述滤波模块包括低通滤波模块,其中所述低通滤波模块包括:
矩阵构建模块,用于构建N×N的高斯矩阵,以及以当前像素为中心点选取邻近的N×N个像素,分别构建RGB各分量N×N的像素矩阵;其中N为大于1的奇数;
模糊运算模块,用于将RGB各分量的所述像素矩阵与所述高斯矩阵进行运算,得出RGB各分量的高斯模糊数据。
优选地,所述滤波模块还包括:高通滤波模块,用于根据所述各分量差值计算增益角度,由所述增益角度得到所述各分量增益系数。
优选地,所述强化模块包括:强化计算模块,用于计算强化后的各分量为Cr=Src+Diff*Fr,其中Src为当前像素的所述RGB数据,Diff为所述各分量差值,Fr为所述各分量增益系数。
优选地,上述动态视频图像清晰度强化装置可以是处理设备,比如集群、服务器或处理终端等;也可以是相对独立的功能单元,比如GPU、独立芯片或强化软件等,通过处理设备加载后实现清晰度强化。在实际应用中,上述装置中的各模块均可由位于装置设备中的中央处理器(CentralProcessingUnit,CPU)、微处理器(MicroProcessorUnit,MPU)、数字信号处理器(DigitalSignalProcessor,DSP)、或现场可编程门阵列(FieldProgrammableGateArray,FPGA)等实现。
图4-6为按照本发明实施例进行清晰度强化前后的图像对照,其中计算各分量增益系数时的参数选取为Thres=0.07,Rmax=1.4,图4-6中左侧图为强化后图像,右侧图为强化前图像。从图像对比可以看出,图像中各事物的清晰度有较明显提升,故可显著提升用户体验。
本发明实施例提供了一种动态视频图像清晰度强化方法及装置,通过快速提高图像中不同事物的色差,实现了高效的清晰度强化,可满足动态视频图像的连续处理需求。其中,本发明实施例的技术方案通过对表示像素点色彩值的RGB各分量进行高斯模糊和增益,可快速实现拉大各事物之间的对比度的目的,从而在不改变视频码率的基础上高效快捷实时地提高图像的清晰度,满足了消费行业中,消费者在视频观看时要求对动态的视频清晰度实时增强的需求,提高了视频观看的用户体验。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。