CN110944176A - 图像帧降噪方法和计算机存储介质 - Google Patents

图像帧降噪方法和计算机存储介质 Download PDF

Info

Publication number
CN110944176A
CN110944176A CN201911237067.6A CN201911237067A CN110944176A CN 110944176 A CN110944176 A CN 110944176A CN 201911237067 A CN201911237067 A CN 201911237067A CN 110944176 A CN110944176 A CN 110944176A
Authority
CN
China
Prior art keywords
frame
pixel point
value
motion
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911237067.6A
Other languages
English (en)
Other versions
CN110944176B (zh
Inventor
俞克强
王松
张东
刘晓沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911237067.6A priority Critical patent/CN110944176B/zh
Publication of CN110944176A publication Critical patent/CN110944176A/zh
Application granted granted Critical
Publication of CN110944176B publication Critical patent/CN110944176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本申请公开了一种图像帧降噪方法,包括:获取图像帧序列;计算该图像帧序列中的当前图像帧的当前帧像素点在选定通道的运动估计值;根据该运动估计值和由上一图像帧所生成的参考运动帧中的与当前帧像素点对应的上一帧像素点的运动参考值,计算当前帧像素点的运动残影控制值;根据该运动残影控制值计算当前帧像素点的降噪强度导向值;根据该降噪强度导向值对当前帧像素点的原始像素值和单帧空域降噪后的空域降噪值进行加权求和,以得到当前帧像素点的运动降噪值;根据降噪强度导向值对上一帧像素点的时域降噪值和当前帧像素点的运动降噪值进行加权求和,以得到当前帧像素点的时域降噪值。通过该方法,本申请可以消除残影和运动拖尾现象。

Description

图像帧降噪方法和计算机存储介质
技术领域
本申请涉及图像处理领域,尤其涉及图像帧降噪方法和计算机存储介质。
背景技术
近年来,随着技术的发展,诸如视频监控的图像采集在人们的生活中发挥着越来越重要的作用。
在图像采集中,例如在光照不充分的环境中成像时,所采集到的图像存在噪声大的问题,这些问题影响图像信息的提取和再现,进而影响人们对视频内容的判断或者理解。因此滤除视频中的噪点,提高图像的清晰度有着非常重要的意义。
现有的视频图像降噪主要有运动补偿的视频降噪算法和非运动补偿的视频降噪算法两大类。
非运动补偿的视频降噪算法虽然计算复杂度低,但是在图像的运动区,噪声残留大,容易出现运动拖尾现象。
运动补偿的视频降噪算法在噪声压制、清晰度保留等方面优于非运动补偿的视频降噪算法。但是该算法极大提高了运算量,无法做到对视频的实时处理。另外,在运动补偿的视频降噪算法中,由于图像帧中运动静止区域划分精度不够,也影响静止区域的清晰度,导致运动物体有残影。
发明内容
本申请提供一种图像帧降噪方法和一种存储介质,以解决现有技术图像帧降噪方法中计算量大、出现残影和运动拖尾现象的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种图像帧降噪方法,该方法包括:获取图像帧序列;计算该图像帧序列中的当前图像帧的当前帧像素点在选定通道的运动估计值;根据该运动估计值和由上一图像帧所生成的参考运动帧中的与当前帧像素点对应的上一帧像素点的运动参考值,计算当前帧像素点的运动残影控制值;根据该运动残影控制值计算当前帧像素点的降噪强度导向值;根据该降噪强度导向值对当前帧像素点的原始像素值和单帧空域降噪后的空域降噪值进行加权求和,以得到当前帧像素点的运动降噪值;根据降噪强度导向值对上一帧像素点的时域降噪值和当前帧像素点的运动降噪值进行加权求和,以得到当前帧像素点的时域降噪值。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被执行时实现图像帧降噪方法的步骤。
通过使用该方法,本申请实现了减少计算量、防止残影和运动拖尾现象出现的效果。
附图说明
为更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的图像帧降噪方法的一个实施例的流程示意图;
图2是本申请的图像帧降噪方法的又一实施例的流程示意图;
图3是本申请对图像帧降噪的装置的一实施例的结构示意图;
图4是本申请计算机存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
具体参阅图1,图1是本申请的图像帧降噪方法的一个实施例的流程示意图。
本实施例的图像帧降噪方法可以在包括但不限于摄像机、桌面电脑、笔记本电脑、平板电脑、移动电话、个人数字助理、智能电视、智能手表、智能眼镜、智能手环等具有摄像或录像功能的电子设备上执行。
在一些实施例中,本实施例的图像帧降噪方法可以在包括但是不限于计算中心、云端服务系统等的远程计算设备上实施。
本实施例的图像帧降噪方法包括如下步骤:
步骤S11,获取图像帧序列。
其中,图像帧以Fk表示,k代表图像帧的序号。图像帧Fm表示要处理的当前图像帧。
获取图像帧序列包括实时获取诸如摄像头的视频采集设备所采集的视频流。
在一些实施例中,获取图像帧序列包括通过有线传输、无线传输、通过可移动的数据存储装置等方式获取一段时间长度内的连续视频数据。
本申请不限制所获取的图像帧序列的格式。
所获取的图像帧序列可以是单通道图像或者多通道图像。单通道图像可以是亮度通道图像,例如热成像图像或者红外成像图像。多通道图像可以是YUV图像、RAW图像、多光谱图像等。多通道图像可以包括亮度通道和色度通道。
步骤S12,计算图像帧序列中的当前图像帧的当前帧像素点在选定通道的运动估计值。
具体来说,该计算运动估计值的方法包括:
S1201,对图像帧序列中的图像帧Fk进行预处理,得到预处理图像帧PFFk
在一些实施例中,对图像帧序列中的图像帧进行中值滤波预处理或者其他预处理。该预处理可以减少运算的复杂度,有助于克服噪声对处理结果的干扰。
S1202,将当前图像帧分别与至少两个前向图像帧和/或后向图像帧在选定通道进行差值运算,以获得至少两个差值图像。
计算两个图像帧的差值图像的公式如下:
=PFFm-PFFm+j
其中,m、m+j表示图像帧的序号,m是当前帧的序号,j表示前向图像帧和/或后向图像帧相对于当前帧的序号增量。
S1203,对至少两个差值图像的低通滤波结果进行加权平均,以获得当前图像帧的运动估计帧,其中,运动估计帧中的每个像素点的像素值为对应的当前帧像素点的运动估计值。
运动估计帧的计算公式如下:
Figure BDA0002305167840000041
其中,LPFilter表示低通滤波算子,例如为均值滤波算子或者高斯滤波算子,weight表示加权系数。
其中,p、q为外部可配置的正整数参数,m+j表示当前帧前向或后向第j个图像帧的序号。
在一些实施例中,运动估计帧的计算公式如下:
Figure BDA0002305167840000042
其中,LPFilter表示低通滤波算子,例如为均值滤波算子或者高斯滤波算子,weight表示加权系数。
其中,i为外部可配置的正整数参数,m+j表示当前帧前向或后向的第j个图像帧的序号。
在一些实施例中,加权系数weight的取值如下:
Figure BDA0002305167840000043
其中,σ为用于控制加权系数的可配置参数,i为外部可配置的正整数参数。
在一些实施例中,加权系数weight的取值如下:
weightj=kw×|j|+1.0,j∈(-i…-1,1…i)
其中,负数kw为用于控制加权系数的可配置参数,i为外部可配置的正整数参数。
在一些实施例中,加权系数weight也可以直接如下配置:
weight={0.1…0.6,0.7,0.8,0.9,1.0,1.0,0.9,0.8,0.7,0.6…0.1}
其中,加权系数weight-1和weight1取该数列中的最大值1.0,其他加权系数weigh的取值依次类推。
所得到的每个像素点的运动估计值MotnEvalm通过当前图像帧与其前向或者后向图像帧之间的差值图像度量当前图像帧像素点的运动可能性。显然,越靠近当前图像帧的图像帧的影响越大,因此,一般来说,加权系数weight的取值,在j=-1或者j=1时最大,且随着j的取值的绝对值增大而变小。
通过引入运动估计值MotnEvalm,本申请可以以精确的方式评估当前图像帧中的像素点的运动可能性,更好地实现运动区域和静止区域的判断。
例如,如果用8比特数据来表示运动估计值MotnEvalm,则最大值255可以表示对应像素点是绝对运动点,0可以表示对应像素点是绝对静止点。当对多通道图像帧的具体通道降噪时,步骤S1201、S1202、S1203可以在该具体通道进行,也可以在其他通道进行。
例如,当对RGB图像帧的每个通道降噪时,步骤S1201、S1202、S1203可以在每个通道分别进行,也可以都在亮度通道或者灰度通道进行。
步骤S13,根据运动估计值和由上一图像帧所生成的参考运动帧中的与当前帧像素点对应的上一帧像素点的运动参考值,计算当前帧像素点的运动残影控制值。
当相邻图像之间存在剧烈运动时,过大的时域降噪往往导致出现拖尾现象。因此,本申请在图像帧时域降噪的基础上,引入表示参考运动估计的参考运动帧来控制运动残影,在时域降噪和运动残影控制进行平衡。为此,本申请引入表示每个像素点的参考运动估计的参考运动帧来控制运动噪声拖尾,参考运动帧的具体计算过程将在下文进行描述。
在一些实施例中,首先对参考运动帧进行低通滤波,并将当前帧的运动估计值以及参考运动帧的低通滤波结果中的与当前帧像素点对应的上一帧像素点的运动参考值进行加权求和,以得到当前帧像素点的运动残影控制值,具体运动残影控制值的计算公式如下:
MotnGhstm=LPFilterG(MotnRefm-1)×MotnAlpha+MotnEvalm×(1.0-MotnAlpha)
其中,m为当前图像帧的序号,m-1表示上一图像帧的序号,MotnGhstm为当前帧的运动残影控制值,MotnRefm-1为由上一帧图像所生成的参考运动帧,LPFilterG为一个低通滤波器,其可以是均值滤波、高斯滤波等。该低通滤波能够有效控制时域噪声的引入,对视频图像时域噪声的压制起到了非常重要的作用。LPFilterG(MotnRefm-1)为由上一图像帧所生成的参考运动帧的低通滤波结果中的与当前帧像素点对应的上一帧像素点的运动参考值,MotnEvalm为当前帧像素点的运动估计值,MotnGhstm是当前帧像素点的运动残影控制值,MotnAlpha为权重系数。
其中,MotnAlpha可以是:
Figure BDA0002305167840000061
MotnAlpha也可以是,
Figure BDA0002305167840000062
其中,ThrMotn为运动估计阈值,Mbeta是用来控制参考运动估计和当前运动估计的融合强度的参数。
由上述公式可知,如果运动估计值大于阈值ThrMotn,则当前帧像素点的运动残影控制值为运动估计值。
步骤S14,根据运动残影控制值计算当前帧像素点的降噪强度导向值。
使用MotnGhstm来计算包括当前帧像素点的降噪强度导向值的降噪导向图DGMm,下标m表示当前帧。
在一些实施例中,使用如下线性函数来计算包括当前帧像素点的降噪强度导向值的降噪导向图:
Figure BDA0002305167840000071
其中,Motn为外部配置参数,MaxGhst为MotnGhstm可能取的最大数值。
在一些实施例中,使用如下函数来计算降噪导向图:
Figure BDA0002305167840000073
其中,Sigma为外部配置参数,用于控制降噪强度。
在一些实施例中,降噪导向图的计算也可以采用如下分段函数:
Figure BDA0002305167840000072
Motn1、Motn2、Motn3、Motn4为外部配置函数。
在一些实施例中,降噪导向图的计算也可以采用满足如下条件的其他函数:
即,如果当前图像帧的第一当前帧像素点的运动残影控制值MotnGhstm,1大于第二当前帧像素点的运动残影控制值MotnGhstm,2,则第一当前帧像素点的降噪强度导向值DGMm,1小于或者等于第二当前帧像素点的降噪强度导向值DGMm,2
步骤S15,根据降噪强度导向值对当前帧像素点的原始像素值和单帧空域降噪后的空域降噪值进行加权求和,以得到当前帧像素点的运动降噪值。
在一些实施例中,根据如下公式计算当前帧像素点的运动降噪值MdFm
MdFm=SnrFm×Clip(DGMm×MdRatio)+Fm×(1.0-Clip(DGMm×MdRatio))
其中,Fm为原始帧,SnrFm为原始帧Fm的单帧空域降噪,MdRatio为用于控制运动降噪强度的外部配置参数。
其中,Clip是用于将DGMm×MdRatio的值限制到[0-1.0]范围的函数。例如,当DGMm×MdRatio≥1时,Clip(DGMm×MdRatio)=1,当DGMm×MdRatio≤0时,Clip(DGMm×MdRatio)=0。
步骤S16,根据降噪强度导向值对上一帧像素点的时域降噪值和当前帧像素点的运动降噪值进行加权求和,以得到当前帧像素点的时域降噪值。
在一些实施例中,根据如下公式计算当前帧像素点的时域降噪值TnrFm
TnrFm=TnrFm-1×ClipT(DGMm×TnrRatio)+MdFm×(1.0-ClipT(DGMm×TnrRatio))
其中,TnrRatio为用于控制运动降噪强度的外部配置参数。
其中,ClipT是用于将DGMm×TnrRatio的值限制到[0-1.0]范围的函数。例如,当DGMm×TnrRatio≥1时,ClipT(DGMm×TnrRatio)=1,当DGMm×TnrRatio≤0时,ClipT(DGMm×TnrRatio)=0。
进一步,还可以根据当前帧像素点的运动估计值和由上一图像帧所生成的参考运动帧中的与当前帧像素点对应的上一帧像素点的运动参考值,计算当前帧像素点的运动参考值,进而得到由当前图像帧所生成的参考运动帧MotnRefm来控制运动噪声拖尾。
在一些实施例中,参考运动帧MotnRefm的计算公式如下:
Figure BDA0002305167840000082
MotnRefm=MotnRefTm-1×TRAlpha+MotnEvalm×(1-TRAlpha)
其中,m为当前图像帧的序号,m-1表示上一图像帧的序号。MotnRefm-1为由上一帧图像生成的参考运动帧中的与当前帧像素点对应的上一帧像素点的运动参考值;MotnRefTm-1是对MotnRefm-1进行处理之后的中间值;MotnRefm为当前帧像素点所对应的运动参考值。TRratio、TRsigma、ThrMotn为可外部配置的参数,用于共同控制运动噪声的收敛速度。TRAlpha为可外部配置的参数。
在一些实施例中,当无法通过上一帧图像生成参考运动帧时,该公式中的MotnRefm-1可以用上一帧图像的运动估计值MotnEvalm-1代替。
在一些实施例中,TRAlpha可以是:
Figure BDA0002305167840000081
在一些实施例中,TRAlpha可以是:
Figure BDA0002305167840000091
其中,TRbeta用来控制调整后的参考运动估计和当前运动估计融合的强度,是可外部配置的参数,ThrMotn为运动估计阈值,是可外部配置的参数。
具体参阅图2,图2是本申请的图像帧色度通道降噪方法的一个实施例的流程示意图。
本实施例的图像帧色度通道降噪方法包括如下步骤:
步骤S21,获取图像帧序列Fk
其中,图像帧Fm表示要处理的当前图像帧。
所获取的图像帧序列是多通道图像。多通道图像可以是YUV图像、RAW图像、多光谱图像等。多通道图像可以包括亮度通道和色度通道。
步骤S22,计算图像帧序列中的当前图像帧的当前帧像素点在色度通道和亮度通道的运动估计值。
具体地,计算色度通道和亮度通道的运动估计值的方法与根据图1的实施例的步骤S1201-S1203相同,此处不再赘述。
通过步骤S22,得到当前图像帧的当前帧像素点在色度通道的运动估计值CMotnEvalm,以及当前图像帧的当前帧像素点在亮度通道的运动估计值GMotnEvalm
步骤S23,根据当前帧像素点在色度通道的运动估计值和上一图像帧在亮度通道所生成的参考运动帧计算当前帧像素点在色度通道的运动残影控制值。其中,上一图像帧在亮度通道所生成的参考运动帧的计算方式如上文所述,在此不再赘述。随后使用如下公式计算色度通道的运动残影控制值CMotnGhstm的计算公式如下:
CMotnGhstm=LPFilterG(GMotnRefm-1)×CMotnAlpha+CMotnEvalm×(1-CMotnAlpha)
其中,LPFilterG为一个低通滤波器,其可以是均值滤波、高斯滤波等。GMotnRefm-1为上一图像帧在亮度通道所生成的参考运动帧。LPFilterG(GMotnRefm-1)为上一图像帧在亮度通道所生成的参考运动帧的滤波结果中与当前图像帧对应的运动参考值。CMotnAlpha为权重系数。
其中,CMotnAlpha可以是:
Figure BDA0002305167840000101
CMotnAlpha也可以是,
Figure BDA0002305167840000102
其中,CMbeta是用来控制参考运动估计和当前运动估计的融合强度的参数,CThrMotn为色度通道的运动估计阈值。
步骤S24,根据色度通道的运动残影控制值计算当前帧像素点在色度通道的降噪强度导向值。
使用CMotnGhstm来计算包括当前帧像素点的色度通道降噪强度导向值的色度通道降噪导向图CDGMm,下标m表示当前帧。
在一些实施例中,使用如下线性函数来计算降噪导向图:
Figure BDA0002305167840000103
其中,CMotn为外部配置参数,CMaxGhst为CMotnGhstm可能取的最大数值。
在一些实施例中,使用如下函数来计算降噪导向图:
Figure BDA0002305167840000105
其中,CSigma为外部配置参数,用于控制降噪强度。
在一些实施例中,降噪导向图的计算也可以采用如下分段函数:
Figure BDA0002305167840000104
CMotn1、CMotn2、CMotn3、CMotn4为外部配置函数。
在一些实施例中,色度通道降噪导向图的计算也可以采用满足如下条件的其他函数:
即,如果当前图像帧的第一当前帧像素点的色度通道运动残影控制值CMotnGhstm,1大于第二当前帧像素点的色度通道运动残影控制值CMotnGhstm,2,则第一当前帧像素点的色度通道降噪强度导向值CDGMm,1小于或者等于第二当前帧像素点的色度通道降噪强度导向值CDGMm,2
步骤S25,根据色度通道降噪强度导向值对当前帧像素点在色度通道的原始像素值和单帧空域降噪后的空域降噪值进行加权求和,以得到当前帧像素点的色度通道运动降噪值。
在一些实施例中,根据如下公式计算当前帧像素点的色度通道运动降噪值CMdFm
CMdFm=CSnrFm×CClip(CDGMm×CMdRatio)+Fm×(1.0-CClip(CDGMm×CMdRatio))
其中,Fm为原始帧,CSnrFm为原始帧Fm的单帧空域降噪,CMdRatio为用于控制运动降噪强度的外部配置参数。
其中,CClip是用于将CDGMm×CMdRatio的值限制到[0-1.0]范围的函数。例如,当CDGMm×CMdRatio≥1时,CClip(CDGMm×CMdRatio)=1,当CDGMm×CMdRatio≤0时,CClip(CDGMm×CMdRatio)=0。
步骤S26,根据色度通道降噪强度导向值对上一帧像素点的色度通道时域降噪值和当前帧像素点的色度通道运动降噪值进行加权求和,以得到当前帧像素点的色度通道时域降噪值。
在一些实施例中,根据如下公式计算当前帧像素点的色度通道时域降噪值CTnrFm
CTnrFm=CTnrFm-1×CClipT(CDGMm×CTnrRatio)+CMdFm×(1.0-CClipT(CDGMm×CTnrRatio))
其中,CTnrRatio为用于控制运动降噪强度的外部配置参数。
其中,CClipT是用于将CDGMm×CTnrRatio的值限制到[0-1.0]范围的函数。例如,当CDGMm×CTnrRatio≥1时,CClipT(CDGMm×CTnrRatio=1,当CDGMm×CTnrRatio≤0时,CClipT(CDGMm×CTnrRatio)=0。
步骤S27,根据当前帧像素点的色度通道的降噪强度导向值对当前帧像素点的色度通道时域降噪值进行饱和度调整。
在一些实施例中,根据如下公式对色度通道时域降噪值CTnrFm进行饱和度调整:
CTnrFm=CTnrFm×Cratio
其中,Cratio用于控制图像帧的每个像素点饱和度调整的程度。
在一些实施例中,随着CDGMm增大,Cratio增大或者至少不变。
在一些实施例中,Cratio根据如下公式确定:
Figure BDA0002305167840000121
其中,CDGMm是步骤S24中计算的当前帧像素点的色度通道的降噪强度导向值。
其中,Cmax_thr、Cmin_thr、Cmax_ratio、Cmin_ratio都是可外部配置的参数。
根据上述公式,能够同时对运动区和静止区进行饱和度调整,且因为不同区域的运动程度不同,因此色度降噪导向值也可能不同,所以,运动区和静止区的饱和度调整程度也不同。
具体参考图3,本申请还提供一种图像帧降噪模块,该图像帧降噪模块300包括运动估计模块301、运动残影控制模块302、运动跟随噪点控制模块303、降噪导向图模块304和视频降噪模块305、饱和度调整模块306。
这些模块的具体作用如下:
运动估计模块301用于计算当前帧像素点在选定通道的运动估计值;
运动残影控制模块302用于计算当前帧像素点的运动残影控制值;
运动跟随噪点控制模块303用于生成参考运动帧;
降噪导向图模块304用于计算当前帧像素点的降噪强度导向值;
视频降噪模块305用于计算当前帧像素点的运动降噪值以及当前帧像素点的时域降噪值。
饱和度调整模块306用于对当前帧像素点的色度通道时域降噪值进行饱和度调整。
上述图像帧降噪方法的逻辑过程以计算机程序呈现,在计算机程序方面,若其作为独立的软件产品销售或使用时,其可存储在计算机存储介质中,因而本发明提出一种计算机存储介质。请参阅图4。
图4是本发明计算机存储介质一实施例的结构示意图,本实施例计算机存储介质400中存储有计算机程序41,计算机程序41被处理器执行时实现上述图像帧降噪方法。
该计算机存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory,)、磁碟或者光盘等可以存储计算机程序41的介质,或者也可以为存储有该计算机程序41的服务器,该服务器可将存储的计算机程序41发送给其他设备运行,或者也可以自运行该存储的计算机程序41。该计算机存储介质400从物理实体上来看,可以为多个实体的组合,例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像帧降噪方法,其特征在于,所述方法包括:
获取图像帧序列;
计算所述图像帧序列中的当前图像帧的当前帧像素点在选定通道的运动估计值;
根据所述运动估计值和由上一图像帧所生成的参考运动帧中的与所述当前帧像素点对应的上一帧像素点的运动参考值,计算所述当前帧像素点的运动残影控制值;
根据所述运动残影控制值计算所述当前帧像素点的降噪强度导向值;
根据所述降噪强度导向值对所述当前帧像素点的原始像素值和单帧空域降噪后的空域降噪值进行加权求和,以得到所述当前帧像素点的运动降噪值;
根据所述降噪强度导向值对所述上一帧像素点的时域降噪值和所述当前帧像素点的运动降噪值进行加权求和,以得到所述当前帧像素点的时域降噪值。
2.根据权利要求1所述的图像帧降噪方法,其特征在于,所述计算所述图像帧序列中的当前图像帧的当前帧像素点在选定通道的运动估计值的步骤包括:
将所述当前图像帧分别与至少两个前向图像帧和/或后向图像帧在所述选定通道进行差值运算,以获得至少两个差值图像;
对所述至少两个差值图像的低通滤波结果进行加权平均,以获得所述当前图像帧的运动估计帧,其中,所述运动估计帧中的每个像素点的像素值为对应的所述当前帧像素点的运动估计值。
3.根据权利要求1所述的图像帧降噪方法,其特征在于,所述根据所述运动估计值和由上一图像帧所生成的参考运动帧中的与所述当前帧像素点对应的上一帧像素点的运动参考值,计算所述当前帧像素点的运动残影控制值的步骤包括:
对所述参考运动帧进行低通滤波;
对所述运动估计值以及所述参考运动帧的低通滤波结果中的与所述当前帧像素点对应的上一帧像素点的运动参考值进行加权求和,以得到所述当前帧像素点的运动残影控制值。
4.根据权利要求3所述的图像帧降噪方法,其特征在于,所述对所述运动估计值以及所述参考运动帧的低通滤波结果中的与所述当前帧像素点对应的上一帧像素点的运动参考值进行加权求和的步骤包括:
若所述运动估计值大于预设的运动估计阈值,则所述当前帧像素点的运动残影控制值为所述运动估计值。
5.根据权利要求1所述的图像帧降噪方法,其特征在于,在所述根据所述运动残影控制值计算所述当前帧像素点的降噪强度导向值的步骤中,
当所述当前图像帧的第一当前帧像素点的运动残影控制值大于第二当前帧像素点的运动残影控制值时,所述第一当前帧像素点的降噪强度导向值小于或者等于所述第二当前帧像素点的降噪强度导向值。
6.根据权利要求1所述的图像帧降噪方法,其特征在于,所述方法进一步包括:
根据所述运动估计值和由上一图像帧所生成的参考运动帧中的与所述当前帧像素点对应的上一帧像素点的运动参考值,计算所述当前帧像素点的运动参考值,进而得到由所述当前图像帧所生成的参考运动帧。
7.根据权利要求1所述的图像帧降噪方法,其特征在于,所述选定通道包括亮度通道。
8.根据权利要求7所述的图像帧降噪方法,其特征在于,所述选定通道进一步包括色度通道;
其中,针对所述色度通道执行所述根据所述运动估计值和由上一图像帧所生成的参考运动帧中的与所述当前帧像素点对应的上一帧像素点的运动参考值,计算所述当前帧像素点的运动残影控制值的步骤时,
根据所述当前帧像素点在所述色度通道的运动估计值和上一图像帧在所述亮度通道所生成的参考运动帧计算所述当前帧像素点在所述色度通道的运动残影控制值。
9.根据权利要求8所述的图像帧降噪方法,其特征在于,所述方法还包括:
根据当前帧像素点在所述色度通道的降噪导向值,调整所述当前帧像素点在所述色度通道的时域降噪值。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被执行时实现如权利要求1-9中任一项所述方法的步骤。
CN201911237067.6A 2019-12-05 2019-12-05 图像帧降噪方法和计算机存储介质 Active CN110944176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911237067.6A CN110944176B (zh) 2019-12-05 2019-12-05 图像帧降噪方法和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911237067.6A CN110944176B (zh) 2019-12-05 2019-12-05 图像帧降噪方法和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110944176A true CN110944176A (zh) 2020-03-31
CN110944176B CN110944176B (zh) 2022-03-22

Family

ID=69909688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911237067.6A Active CN110944176B (zh) 2019-12-05 2019-12-05 图像帧降噪方法和计算机存储介质

Country Status (1)

Country Link
CN (1) CN110944176B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583145A (zh) * 2020-04-30 2020-08-25 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN113438488A (zh) * 2021-06-18 2021-09-24 北京锐马视讯科技有限公司 低码率视频优化编码方法和装置、设备及存储介质
CN113538255A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 一种运动融合降噪方法、设备及计算机可读存储介质
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质
CN116012265A (zh) * 2023-03-28 2023-04-25 国科天成科技股份有限公司 基于时空域自适应滤波的红外视频降噪方法和装置
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
CN103024248A (zh) * 2013-01-05 2013-04-03 上海富瀚微电子有限公司 运动自适应的视频图像降噪方法及其装置
CN103997592A (zh) * 2014-05-29 2014-08-20 广东威创视讯科技股份有限公司 视频降噪方法和系统
US20170084007A1 (en) * 2014-05-15 2017-03-23 Wrnch Inc. Time-space methods and systems for the reduction of video noise
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN108174056A (zh) * 2016-12-07 2018-06-15 南京理工大学 一种时空域联合的微光视频降噪方法
CN109410124A (zh) * 2016-12-27 2019-03-01 深圳开阳电子股份有限公司 一种视频图像的降噪方法及装置
CN109859126A (zh) * 2019-01-17 2019-06-07 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
CN103024248A (zh) * 2013-01-05 2013-04-03 上海富瀚微电子有限公司 运动自适应的视频图像降噪方法及其装置
US20170084007A1 (en) * 2014-05-15 2017-03-23 Wrnch Inc. Time-space methods and systems for the reduction of video noise
CN103997592A (zh) * 2014-05-29 2014-08-20 广东威创视讯科技股份有限公司 视频降噪方法和系统
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN108174056A (zh) * 2016-12-07 2018-06-15 南京理工大学 一种时空域联合的微光视频降噪方法
CN109410124A (zh) * 2016-12-27 2019-03-01 深圳开阳电子股份有限公司 一种视频图像的降噪方法及装置
CN109859126A (zh) * 2019-01-17 2019-06-07 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583145A (zh) * 2020-04-30 2020-08-25 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN111583145B (zh) * 2020-04-30 2023-11-28 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN113538255A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 一种运动融合降噪方法、设备及计算机可读存储介质
CN113438488A (zh) * 2021-06-18 2021-09-24 北京锐马视讯科技有限公司 低码率视频优化编码方法和装置、设备及存储介质
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质
CN116012265A (zh) * 2023-03-28 2023-04-25 国科天成科技股份有限公司 基于时空域自适应滤波的红外视频降噪方法和装置
CN116012265B (zh) * 2023-03-28 2023-05-16 国科天成科技股份有限公司 基于时空域自适应滤波的红外视频降噪方法和装置
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置
CN116912132B (zh) * 2023-09-11 2023-12-26 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Also Published As

Publication number Publication date
CN110944176B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110944176B (zh) 图像帧降噪方法和计算机存储介质
Rao et al. A Survey of Video Enhancement Techniques.
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US9615039B2 (en) Systems and methods for reducing noise in video streams
KR100624421B1 (ko) 디지탈 영상 신호 필터링 장치 및 방법
US9495582B2 (en) Digital makeup
JP3375921B2 (ja) 入力映像の輝度を維持する画質改善装置及びその方法
US8279345B2 (en) System and method for random noise estimation in a sequence of images
US9262811B2 (en) System and method for spatio temporal video image enhancement
CN109792523B (zh) 单层后向兼容编解码器的实时整形
US9462163B2 (en) Robust spatiotemporal combining system and method for video enhancement
US7382941B2 (en) Apparatus and method of compressing dynamic range of image
US20070177030A1 (en) Apparatus, method, and computer program for processing image, and recording medium storing the computer program
JP2012165365A (ja) 適応フィルタリングを利用したデジタルイメージ安定化方法
EP2819092B1 (en) Image correction apparatus and imaging apparatus
WO2007071172A1 (en) Auto-regressive method and filter for denoising images and videos
CN111614965B (zh) 基于图像网格光流滤波的无人机视频稳像方法及系统
CN110298796B (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
US7734110B2 (en) Method for filtering the noise of a digital image sequence
CN111565260A (zh) 用于图像处理的薄雾减少方法和系统
WO2008119228A1 (en) Low complexity color de-noising filter
CN112598612A (zh) 一种基于照度分解的无闪烁暗光视频增强方法及装置
JP7137185B2 (ja) エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置
CN114998122A (zh) 一种低照度图像增强方法
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant