CN107333027B - 一种视频图像增强的方法和装置 - Google Patents

一种视频图像增强的方法和装置 Download PDF

Info

Publication number
CN107333027B
CN107333027B CN201610278415.4A CN201610278415A CN107333027B CN 107333027 B CN107333027 B CN 107333027B CN 201610278415 A CN201610278415 A CN 201610278415A CN 107333027 B CN107333027 B CN 107333027B
Authority
CN
China
Prior art keywords
pixel
frame
value
present frame
high frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610278415.4A
Other languages
English (en)
Other versions
CN107333027A (zh
Inventor
文锦松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZTE Microelectronics Technology Co Ltd
Original Assignee
Shenzhen ZTE Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZTE Microelectronics Technology Co Ltd filed Critical Shenzhen ZTE Microelectronics Technology Co Ltd
Priority to CN201610278415.4A priority Critical patent/CN107333027B/zh
Priority to PCT/CN2016/111380 priority patent/WO2017185772A1/zh
Publication of CN107333027A publication Critical patent/CN107333027A/zh
Application granted granted Critical
Publication of CN107333027B publication Critical patent/CN107333027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Abstract

本发明实施例公开了一种视频图像增强的方法和装置,该方法可以包括:根据视频图像的当前帧以及上一帧的对应像素点获取当前帧的帧级噪声强度指示值;根据当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;从当前帧的像素点中,按照预设的排序策略获取当前帧对应的高频系数组;根据当前帧的帧级噪声强度指示值以及高频系数组获取图像增强增益值;根据图像增强增益值、当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到当前帧图像增强后的对应帧。

Description

一种视频图像增强的方法和装置
技术领域
本发明涉及图像处理技术,尤其涉及一种视频图像增强的方法和装置。
背景技术
随着互联网技术及终端技术的发展,越来越多的用户通过智能手机或平板电脑等终端观看视频,但是由于网络带宽、拍摄技术、编解码损失及传输干扰等客观因素的影响,会导致用户在终端观看视频时,视频图像会出现图像模糊、噪声严重甚至细节丢失的情况。
针对上述情况,目前都会对视频图像进行图像锐化处理,具体过程是提取原始图像中每个像素点的高频成分,然后将高频成分累加之后再增加至对应的像素点,从而提高图像的清晰度。
但是当前针对图像进行锐化处理的过程,提取高频成分的力度需要通过人为进行固定设置,并且由于针对每个像素点均进行锐化处理来进行图像增强,从而导致图像中的噪声部分也随之增强,反而造成了较低的视觉体验。
发明内容
为解决上述技术问题,本发明实施例期望提供一种视频图像增强的方法和装置,不仅能够自适应地控制图像增强的幅度,还能够避免对噪声部分进行增强,使得输出的视频图像具有较强的清晰度。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供了一种视频图像增强的方法,该方法可以包括:
根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值;
根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组;
根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值;
根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到所述当前帧图像增强后的对应帧。
在上述方案中,所述根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值,具体包括:
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值;
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到所述当前帧每个像素点对应的低通滤波结果;
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取所述当前帧的帧级噪声强度指示值。
在上述方案中,所述根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量,具体包括:
分别以所述当前帧每个像素点为中心设置第二窗口;
获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;
将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中,所述从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组,具体包括:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
在上述方案中,所述根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值,具体包括:
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值;
根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中,所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值,具体包括:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
第二方面,本发明实施例提供了一种视频图像增强的装置,所述装置包括:帧级噪声检测模块、像素噪声检测模块、帧级细节检测模块、增益获取模块、像素高频生成模块和像素增强模块;其中,
所述帧级噪声检测模块,用于根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值;
所述像素噪声检测模块,用于根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
所述帧级细节检测模块,用于从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组;
所述增益获取模块,用于根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值;
所述像素高频生成模块,用于根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
所述像素增强模块,用于根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到所述当前帧图像增强后的对应帧。
在上述方案中,所述帧级噪声检测模块,具体用于:
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值;以及,
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到所述当前帧每个像素点对应的低通滤波结果;以及,
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取所述当前帧的帧级噪声强度指示值。
在上述方案中,所述像素噪声检测模块,具体用于
分别以所述当前帧每个像素点为中心设置第二窗口;以及,
获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;以及,
将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中,所述帧级细节检测模块,具体用于:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
在上述方案中,所述增益获取模块,具体用于:
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
以及,根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值;
以及,根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中,所述像素高频生成模块,具体用于:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;以及,
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
本发明实施例提供了一种视频图像增强的方法和装置,基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强,不仅能够自适应地控制图像增强的幅度,还能够避免对噪声部分进行增强,使得输出的视频图像具有较强的清晰度。
附图说明
图1为本发明实施例提供的一种视频图像增强的方法流程示意图;
图2为本发明实施例提供的一种获取所述当前帧的帧级噪声强度指示值的流程示意图;
图3为本发明实施例提供的一种获取像素点对应的噪声权重和直流分量的流程示意图;
图4为本发明实施例提供的一种获取图像增强增益值的流程示意图;
图5为本发明实施例提供的一种视频图像增强的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例的基本思想是:基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强,从而能够自适应地控制图像增强的幅度,还能够避免对噪声部分进行增强,使得输出的视频图像具有更强的清晰度。
实施例一
基于上述基本思想,参见图1,其示出了本发明实施例提供的一种视频图像增强的方法流程,该方法可以包括:
S101:根据视频图像的当前帧以及上一帧的对应像素点获取当前帧的帧级噪声强度指示值;
S102:根据当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
S103:从当前帧的像素点中,按照预设的排序策略获取当前帧对应的高频系数组;
S104:根据当前帧的帧级噪声强度指示值以及高频系数组获取图像增强增益值;
S105:根据图像增强增益值、当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
S106:根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到当前帧图像增强后的对应帧。
对于步骤S101,需要说明的是,由于判断噪声的难点就是会出现误判,会将视频中的运动状态也判断为噪声。因此,对于单一像素点来说无法判断噪声级别,因此,可以采用统计意义的方法来判断一帧的噪声级别。可以理解地,在统计意义下对于某一像素点,如果是运动,那么前后帧差异会比较大,如果是噪声污染,那么前后帧差异会比较小。因此,示例性地,参见图2,根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值,具体包括步骤S1011至S1013:
S1011:获取当前帧每个像素点的Y分量与上一帧的对应像素点的Y分量之间差值的绝对值;
S1012:将差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到当前帧每个像素点对应的低通滤波结果;
S1013:将低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取当前帧的帧级噪声强度指示值。
可以理解的,像素点的Y分量用于表示亮度。
优选地,针对图2所示方案的具体实现过程可以包括:
首先,选择大小为m×n的窗口;其中,m为窗口内的行坐标长度,n为窗口内的纵坐标长度;本实施例中,窗口为3x3窗口;
接着,定义当前帧的帧级噪声强度初始指示值dif_total=0;
随后,以当前帧的当前处理像素点p(t)ij为中心,按照式1计算3x3窗口内每一点Y分量与上一帧对应像素点p(t-1)ij的Y分量之间差的绝对值,并将该绝对值与3x3窗口的低通滤波器进行卷积,得到当前处理像素对应的差分值difij
其中,3x3窗口的低通滤波器优选为
接着,对当前帧的每一个像素点进行式1所示的运算,获取对应的差分值,并且将超过预设阈值thr的差分值进行累加,累加的计算公式如式2:
其中,thr的默认值为128,也就是将差分值大于128的点,视为运动位移。即dif_total∈[128,+∞)的时候,需要进行累加。
最后,当前帧的所有像素点按照式2进行累加完毕后,dif_total赋值给noise_total。这个表征当前帧的噪声信息。该噪声信息越大说明当前帧噪声越多,越小说明当前帧噪声越小。
可选地,在上述针对图2所示方案的具体实现过程中,窗口可以是大小为5x5窗口,相应的低通滤波器为式1也相应地修改为预设阈值thr的默认值可以设置为1024,从而将差分值大于1024的点,视为运动位移。即dif_total∈[1024,+∞)的时候,需要进行累加。
对于步骤S102,需要说明的是,通过S101可以得到帧级别的噪声信息,但是无法对每个像素点的噪声进行估计,对于同样的噪声污染级别,根据图像具体内容不一样,人眼对噪声带来的不悦体验不一样。平坦区域,比如蓝天,噪声给人带来的不悦体验更明显。基于这个实验结果,还需要对噪声的像素级别进行检测。可以认为大部分噪声在统计意义上符合高斯或者泊松分布,基于这一假设,针对多个窗口大小的直流分量,如果是噪声主导的区域,那是趋于稳定的;如果是细节主导的区域,那是趋于一个值的。因此,示例性地,参见图3,根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量,具体包括S1021至S1023:
S1021:分别以所述当前帧每个像素点为中心设置第二窗口;
S1022:获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;
S1023:将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
优选地,针对图3所示方案的具体实现过程可以包括:
首先,对于每一个像素点,可以分别以当前点为中心,建立一个5x3的窗口,计算该窗口内所有子窗口,比如2x2,3x2,4x2,5x2,3x3,4x3,5x3的均值,分别记为dc_2x2,dc_3x2,dc_4x2,dc_5x2,dc_3x3,dc_4x3,dc_5x3。各子窗口对应的均值计算公式如式3:
其中m=2,3,4,5;n=2,3;
接着,根据式4计算各像素点的初始权重weight:
最后,根据如式5所示的选择策略得到各像素点的噪声权重。
weight=clip3(weight0,0,weight_max) (5)
其中,weight_max优选为64。
在本实施例中,运算符clip3(weight,0,weight_max)表示:
当weight0<0时,weight=0;
当weight0>weight_max时,weight=weight_max;
其余情况weight=weight0。
通过上述针对S102的具体实现过程,可以理解地,如果当前点噪声污染占主要的,那么weight将倾向于0,从而避免增强噪声;如果当前点噪声污染不严重的时候,那么weight倾向于weight_max,也就是此点按细节丰富程度来自适应的产生增强幅度,而不受weight影响。
对于步骤S103,示例性地,从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组,具体可以包括:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;以及,
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
在具体实现过程中,首先以当前帧的当前像素点pij为中心,窗口大小为M×N的窗口内的像素点与预设的高通滤波器hpf_maskmn进行卷积运算,如式6所示:
以M=3,N=5为例,对应的高通滤波器
接着获取当前像素点pij的高频系数hf_pij=|tmp>>7|,其中,>>为右移运算符。
最后,从所有像素点中提取最大的N个高频系数,组成高频系数组hf_total。
需要说明的是,在高频系数组中,对应的像素点之间要保持预设的距离,优选地,预设的像素点距离disance_thr可以为6。
对于步骤S104,需要说明的是,虽然有当前帧的帧级噪声强度指示值,但这只是当前帧的噪声表征,且准确度不一定精准,而在实际的视频流中,每帧都会有变化,但是在一个时间段内的均值差距是不大的。这个特性符合噪声的统计特性。因此,示例性地,参见图4,根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值,具体包括:
S1041:通过当前帧以及在当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
S1042:根据噪声特性均值按照预设的门限条件获取图像增强增益初始值;
S1043:根据图像增强增益初始值以及当前帧对应的高频系数组获取图像增强增益值。
优选地,针对图4所示方案的具体实现过程可以包括:
首先,以当前帧为参考点,向当前帧对应的当前时间之前取N帧,作为帧的滑窗:这里取N为16。
接着,滑窗内各帧的平均噪声其中,width和height分别为当前帧的宽度和高度。
随后,计算16帧的噪声均值
接着,根据式7获取图像增强增益初始值gain0:
其中gain_init是被初始化了的增益,这个可以由用户设定,noise_dc和frm_noise_thr也是被初始化了的噪声变量。并且<<表示左移运算符。
最后,可以根据图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值gain,具体为:
首先,计算32个高频系数之和
接着,修正增益
最后,输出最终结果gain=clip3(gain,0,gain0)。
对于步骤S105,示例性地,根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值,具体包括:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;以及,
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
在具体实现过程中,以输入位宽为8bit为例,
首先,每个像素点对应的高频初值可以通过hfij0=(pij-dc_3x3)*gain>>8计算得到,其中,dc_3x3为当前点为中心的3X3窗口的均值。也就是将像素点为中性的3X3窗口的均值作为直流分量。
随后,根据当前dc_3x3的值。按式8对高频初值进行修正:
由此可以得出每个像素点对应的高频值。
对于步骤S106所述的根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到当前帧图像增强后的对应帧,具体的实现过程可以如下:
针对当前帧每个像素点pij,通过式9获取图像增强之后的像素点,从而获得当前帧图像增强后的对应帧
本实施例提供了一种视频图像增强的方法,基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强,从而能够自适应地控制图像增强的幅度,还能够避免对噪声部分进行增强,使得输出的视频图像具有更强的清晰度。
实施例二
基于前述实施例相同的技术构思,参见图5,其示出了本发明实施例提供的一种视频图像增强的装置50,所述装置50可以包括:帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、增益获取模块504、像素高频生成模块505和像素增强模块506;各模块之间的连接关系通过信号流走向表征,其中,
所述帧级噪声检测模块501,用于根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值;
所述像素噪声检测模块502,用于根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
所述帧级细节检测模块503,用于从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组;
所述增益获取模块504,用于根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值;
所述像素高频生成模块505,用于根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
所述像素增强模块506,用于根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到所述当前帧图像增强后的对应帧。
在上述方案中,所述帧级噪声检测模块501,具体用于:
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值;以及,
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到所述当前帧每个像素点对应的低通滤波结果;以及,
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取所述当前帧的帧级噪声强度指示值。
在上述方案中,所述像素噪声检测模块502,具体用于
分别以所述当前帧每个像素点为中心设置第二窗口;以及,
获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;以及,
将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中,所述帧级细节检测模块503,具体用于:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
在上述方案中,所述增益获取模块504,具体用于:
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
以及,根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值;
以及,根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中,所述像素高频生成模块505,具体用于:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;以及,
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
在具体实现过程中,当前帧可以分别输入至帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、像素高频生成模块505和像素增强模块506;而当前帧的上一帧可以输入至帧级噪声检测模块501。
本实施例提供了一种视频图像增强的装置50,基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强,从而能够自适应地控制图像增强的幅度,还能够避免对噪声部分进行增强,使得输出的视频图像具有更强的清晰度。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (12)

1.一种视频图像增强的方法,其特征在于,所述方法包括:
根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值;
根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组;
根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值;
根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到所述当前帧图像增强后的对应帧。
2.根据权利要求1所述的方法,其特征在于,所述根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值,具体包括:
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值;
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到所述当前帧每个像素点对应的低通滤波结果;
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取所述当前帧的帧级噪声强度指示值;
像素点的Y分量用于表示亮度。
3.根据权利要求1所述的方法,其特征在于,所述根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量,具体包括:
分别以所述当前帧每个像素点为中心设置第二窗口;
获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;
将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
4.根据权利要求1所述的方法,其特征在于,所述从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组,具体包括:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
5.根据权利要求1所述的方法,其特征在于,所述根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值,具体包括:
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值;
根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
6.根据权利要求1所述的方法,其特征在于,所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值,具体包括:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
7.一种视频图像增强的装置,其特征在于,所述装置包括:帧级噪声检测模块、像素噪声检测模块、帧级细节检测模块、增益获取模块、像素高频生成模块和像素增强模块;其中,
所述帧级噪声检测模块,用于根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值;
所述像素噪声检测模块,用于根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量;
所述帧级细节检测模块,用于从所述当前帧的像素点中,按照预设的排序策略获取所述当前帧对应的高频系数组;
所述增益获取模块,用于根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值;
所述像素高频生成模块,用于根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值;
所述像素增强模块,用于根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强,得到所述当前帧图像增强后的对应帧。
8.根据权利要求7所述的装置,其特征在于,所述帧级噪声检测模块,具体用于:
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值;以及,
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积,获取得到所述当前帧每个像素点对应的低通滤波结果;以及,
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加,获取所述当前帧的帧级噪声强度指示值;
像素点的Y分量用于表示亮度。
9.根据权利要求7所述的装置,其特征在于,所述像素噪声检测模块,具体用于
分别以所述当前帧每个像素点为中心设置第二窗口;以及,
获取所述第二窗口内所有子窗口的直流均值,并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量;以及,
将所有子窗口的直流均值之间两两相减之差的绝对值之和,作为初始噪声权重,并按照预设的选择策略获取对应像素点的噪声权重。
10.根据权利要求7所述的装置,其特征在于,所述帧级细节检测模块,具体用于:
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积,获取每个像素点对应的高频系数;
从所有像素点对应的高频系数中,按照预设的像素点距离获取最大的预设数量的高频系数,组成所述当前帧对应的高频系数组。
11.根据权利要求7所述的装置,其特征在于,所述增益获取模块,具体用于:
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值;
以及,根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值;
以及,根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
12.权利要求7所述的装置,其特征在于,所述像素高频生成模块,具体用于:
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值;以及,
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正,获得每个像素点对应的高频值。
CN201610278415.4A 2016-04-28 2016-04-28 一种视频图像增强的方法和装置 Active CN107333027B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610278415.4A CN107333027B (zh) 2016-04-28 2016-04-28 一种视频图像增强的方法和装置
PCT/CN2016/111380 WO2017185772A1 (zh) 2016-04-28 2016-12-21 一种视频图像增强的方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610278415.4A CN107333027B (zh) 2016-04-28 2016-04-28 一种视频图像增强的方法和装置

Publications (2)

Publication Number Publication Date
CN107333027A CN107333027A (zh) 2017-11-07
CN107333027B true CN107333027B (zh) 2019-11-15

Family

ID=60161745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610278415.4A Active CN107333027B (zh) 2016-04-28 2016-04-28 一种视频图像增强的方法和装置

Country Status (2)

Country Link
CN (1) CN107333027B (zh)
WO (1) WO2017185772A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145158A (zh) * 2019-12-28 2020-05-12 国网山东省电力公司菏泽市定陶区供电公司 基于电力系统中导线脱皮装置、图像处理方法及储存介质
CN111369465B (zh) * 2020-03-04 2024-03-08 东软医疗系统股份有限公司 Ct动态图像增强方法及装置
CN111932615B (zh) * 2020-07-10 2023-06-23 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质
CN113438386B (zh) * 2021-05-20 2023-02-17 珠海全志科技股份有限公司 一种应用于视频处理的动静判定方法及装置
CN113645424B (zh) * 2021-10-18 2022-01-18 杭州雄迈集成电路技术股份有限公司 一种固态噪声标定方法及系统、视频流处理方法及系统
CN114422853B (zh) * 2021-12-29 2023-09-26 南京汇川工业视觉技术开发有限公司 图像传输方法、装置、设备、视觉系统以及存储介质
CN116433537B (zh) * 2023-06-13 2023-08-11 济南科汛智能科技有限公司 基于物联网和云计算的智慧病房监控系统
CN117876971A (zh) * 2024-03-12 2024-04-12 武汉同创万智数字科技有限公司 基于机器视觉的建筑施工安全监测及预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103473748A (zh) * 2013-09-23 2013-12-25 中国矿业大学(北京) 一种煤矿井下图像增强的方法
CN104103040A (zh) * 2013-04-10 2014-10-15 上海联影医疗科技有限公司 一种图像增强的方法
CN104134191A (zh) * 2014-07-11 2014-11-05 三星电子(中国)研发中心 图像去噪方法及其装置
CN104580826A (zh) * 2015-02-03 2015-04-29 成都金本华科技股份有限公司 一种增强图像锐度的视频信号处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5197152B2 (ja) * 2008-05-20 2013-05-15 株式会社東芝 液晶駆動装置、液晶表示装置および駆動方法
CN102035997B (zh) * 2010-12-14 2012-08-08 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103040A (zh) * 2013-04-10 2014-10-15 上海联影医疗科技有限公司 一种图像增强的方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103473748A (zh) * 2013-09-23 2013-12-25 中国矿业大学(北京) 一种煤矿井下图像增强的方法
CN104134191A (zh) * 2014-07-11 2014-11-05 三星电子(中国)研发中心 图像去噪方法及其装置
CN104580826A (zh) * 2015-02-03 2015-04-29 成都金本华科技股份有限公司 一种增强图像锐度的视频信号处理方法

Also Published As

Publication number Publication date
WO2017185772A1 (zh) 2017-11-02
CN107333027A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107333027B (zh) 一种视频图像增强的方法和装置
CN109803175B (zh) 视频处理方法及装置、设备、存储介质
US8244054B2 (en) Method, apparatus and integrated circuit capable of reducing image ringing noise
EP3488388B1 (en) Video processing method and apparatus
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
JP2012516637A5 (zh)
CN101478637A (zh) 基于历史的空间-时间噪声降低
US8823873B2 (en) Method and device for calculating blur in video images
US8064638B2 (en) Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program
GB2523149A (en) Method, apparatus and computer program product for image-driven cost volume aggregation
CA2856634A1 (en) Texture masking for video quality measurement
US20100128181A1 (en) Seam Based Scaling of Video Content
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
WO2014070273A1 (en) Recursive conditional means image denoising
Zeng et al. 3D-SSIM for video quality assessment
CN111192226A (zh) 一种图像融合去噪方法及装置、系统
CN109214996A (zh) 一种图像处理方法及装置
Galkandage et al. Full-reference stereoscopic video quality assessment using a motion sensitive HVS model
CN106664404B (zh) 视频编码中的块分割方式处理方法和相关装置
CN104602018B (zh) 视频数据的运动信息的获取方法和装置、编码方法和装置
CN111539895A (zh) 一种视频去噪方法、装置、移动终端和存储介质
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Hwang et al. Stereo image quality assessment using visual attention and distortion predictors
CN112150368A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110084742A (zh) 一种视差图预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant