CN111986116A - 视频降噪方法和装置、电子设备、计算机可读存储介质 - Google Patents

视频降噪方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN111986116A
CN111986116A CN202010864552.2A CN202010864552A CN111986116A CN 111986116 A CN111986116 A CN 111986116A CN 202010864552 A CN202010864552 A CN 202010864552A CN 111986116 A CN111986116 A CN 111986116A
Authority
CN
China
Prior art keywords
current frame
weight
noise reduction
global
domain filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010864552.2A
Other languages
English (en)
Other versions
CN111986116B (zh
Inventor
林桥洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010864552.2A priority Critical patent/CN111986116B/zh
Publication of CN111986116A publication Critical patent/CN111986116A/zh
Application granted granted Critical
Publication of CN111986116B publication Critical patent/CN111986116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70

Abstract

本申请涉及一种视频降噪方法和装置、电子设备、计算机可读存储介质,首先,基于前一帧对当前帧进行运动检测得到运动检测结果,并计算当前帧的人眼自适应权重。然后,在对当前帧进行时域滤波降噪时,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整;在对当前帧进行空域滤波降噪时,根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整。最后,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧,再通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧,即完成了对当前帧的降噪处理。

Description

视频降噪方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种视频降噪方法和装置、电子设备、计算机可读存储介质。
背景技术
随着移动技术的发展,相机拍照技术也得到了快速地发展。但是视频在采集、传输和接收过程中,通常会有各种各样的噪声夹杂其中,降低了视频的视觉效果。因此,就需要对视频进行降噪处理。传统技术,在对视频降噪过程中受限于算法复杂度以及硬件性能,导致视频降噪效果不佳,难以满足用户越来越高的视频拍摄要求。
发明内容
本申请实施例提供一种视频降噪方法和装置、电子设备、计算机可读存储介质,可以提高视频降噪的效果。
一种视频降噪方法,所述方法包括:
基于前一帧对当前帧进行运动检测得到运动检测结果;计算所述当前帧的人眼自适应权重;
根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对所述当前帧进行时域滤波降噪得到时域滤波降噪帧;
根据所述人眼自适应权重对所述当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对所述时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;
输出所述空域滤波降噪帧作为所述当前帧经过降噪处理后所得的图像帧。
一种视频降噪装置,所述装置包括:
计算模块,用于基于前一帧对当前帧进行运动检测得到运动检测结果;计算所述当前帧的人眼自适应权重;
时域滤波降噪模块,用于根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对所述当前帧进行时域滤波降噪得到时域滤波降噪帧;
空域滤波降噪模块,用于根据所述人眼自适应权重对所述当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对所述时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;
输出模块,用于输出所述空域滤波降噪帧作为所述当前帧经过降噪处理后所得的图像帧。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上所述的视频降噪方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的视频降噪方法的步骤。
上述视频降噪方法和装置、电子设备、计算机可读存储介质,首先,基于前一帧对当前帧进行运动检测得到运动检测结果,并计算当前帧的人眼自适应权重。然后,在对当前帧进行时域滤波降噪时,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整;在对当前帧进行空域滤波降噪时,根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整。最后,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧,再通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧,即完成了对当前帧的降噪处理。由于运动区域降噪容易产生拖影、人眼视觉系统具有亮度非线性与视觉掩盖效应等特性,因此通过运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重、全局空域滤波权重进行局部调整。从而,通过局部调整后的滤波权重进行降噪处理,可以弱化运动区域降噪后所产生的拖影,提高视频降噪的视觉效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中视频降噪方法的应用环境图;
图2为一个实施例中视频降噪方法的流程图;
图3为图2中根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整方法的流程图;
图4为一个实施例中计算所述当前帧的人眼自适应权重方法的流程图;
图5为一个实施例中计算所述当前帧上各所述像素区域的无序自适应权重方法的流程图;
图6为一个具体的实施例中视频降噪方法的流程图;
图7为一个实施例中视频降噪装置的结构框图;
图8为图7中计算模块的结构框图;
图9为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中视频降噪方法的应用场景图。如图1所示,该应用环境包括电子设备120。通过本申请中的视频降噪方法,电子设备120在拍摄视频或图像的过程中,基于前一帧对当前帧进行运动检测得到运动检测结果;计算当前帧的人眼自适应权重;根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧;根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;输出空域滤波降噪帧作为当前帧经过降噪处理后所得的图像帧。这里,电子设备120上具有相机,例如电子设备120可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、穿戴式设备等任意终端设备。
图2为一个实施例中视频降噪方法的流程图。本实施例中的视频降噪方法,以运行于图1中的电子设备120上为例进行描述。如图2所示,视频降噪方法包括步骤220至步骤280。其中,
步骤220,基于前一帧对当前帧进行运动检测得到运动检测结果;计算当前帧的人眼自适应权重。
电子设备120在拍摄视频或图像的过程中,获取当前帧的前一帧,当然也可以是获取当前帧的前几帧,本申请对此不做限定。因为前一帧或前几帧都是与当前帧在时间上连续的图像帧,所以基于前一帧对当前帧进行运动检测得到运动检测结果。例如,运动检测结果包括运动目标所在的区域或运动目标的速度、加速度等。
具体的,人眼视觉系统具有亮度非线性与视觉掩盖效应等特性。其中,人眼视觉系统的亮度非线性指的是:人眼对亮度的响应具有对数非线性性质,以达到其亮度的动态范围。由于人眼对亮度响应具有这种非线性的特性,因此在平均亮度大的区域,人眼对灰度误差不敏感。
人眼的视觉掩盖效应是一种局部效应,受背景照度、纹理复杂性和信号频率的影响。视觉信息间的相互作用或相互干扰将引起视觉掩盖效应。例如,人眼能观测到某单一信号的刺激,但是当该信号出现的同时又出现另外一个或多个信号时,人眼对该信号的分辨能力会因为几个信号间的相互作用而下降。掩盖效应跟信号的带宽、相位、方向、频率等特性有关。
常见的掩盖效应有:1)由于边缘存在强烈的亮度变化,人眼对边缘轮廓敏感,而对边缘的亮度误差不敏感,即对比度掩盖;2)图像纹理区域存在较大的亮度以及方向变化,人眼对该区域信息的分辨率下降,即纹理掩盖;3)视频序列相邻帧间内容的剧烈变动(如目标运动或者场景变化),导致人眼分辨率的剧烈下降,即时域的运动掩盖及切换掩盖。
视觉掩盖效应使人眼无法察觉到一定阈值以下的失真,该阈值被称为最小可觉察误差JND(Just Noticeable Distortion)值。JND值在实际图像处理中具有重要的指导意义。通过该阈值可以区分出哪些信号是视觉系统能察觉、感兴趣的,哪些信号是视觉系统无法察觉、可忽略的。筛选出能察觉的信息而忽略其余不可察觉信息可以减少图像处理的复杂度,且在一定条件下能改善图像的显示质量。
因此,基于人眼视觉系统具有亮度非线性与视觉掩盖效应等特性,计算当前帧的人眼自适应权重。
步骤240,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧。
具体的,视频可以看作是在时间轴上排列着很多帧的画面,因此可以在时域上对视频进行降噪。时域滤波降噪一般是利用图像之间的相关性进行降噪处理,时域降噪一般分为含有运动补偿的算法和非运动补偿的算法。非运动补偿的时域滤波多应用于运动缓慢的视频序列或者静止视频图像序列中;包含运动补偿的时域滤波多应用于运动较为激烈的视频图像序列中。
在采用时域滤波算法对当前帧进行滤波处理时,需要使用到全局时域滤波权重。当前帧的全局时域滤波权重为预先设置的。然后,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整。例如,根据运动目标所在的区域或运动目标的速度、加速度等,对当前帧中运动目标所在区域的全局时域滤波权重进行调整。根据人眼自适应权重对当前帧中的不可察觉信息进行忽略,以降低全局时域滤波权重;对当前帧中的能察觉的信息进行加强,提高全局时域滤波权重。从而,可以在减少图像处理的复杂度的同时,提高人眼视觉系统所关注的图像部分的显示质量。
然后,再通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧。
步骤260,根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧。
其中,空域滤波算法包括双边滤波、导向滤波、NLM、BM3D等算法。双边滤波算法是一种非线性的保边滤波算法,是结合了图像的空间邻近度和像素值相似度的一种折中处理方法。该双边滤波算法同时考虑了空域信息和灰度相似性,以达到保边去噪的目的。其中,保边去噪指的是通过当前处理的像素点的至少一个邻域像素点的平均值来替代该像素点的原始像素值。在采用空域滤波算法对当前帧进行滤波处理时,需要使用到全局空域滤波权重。且当前帧的全局空域滤波权重为预先设置的。
然后,根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整。根据人眼自适应权重对当前帧中的不可察觉信息进行忽略,以降低全局空域滤波权重;对当前帧中的能察觉的信息进行加强,提高全局空域滤波权重。从而,可以在减少图像处理的复杂度的同时,提高人眼视觉系统所关注的图像部分的显示质量。最后,通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧。
步骤280,输出空域滤波降噪帧作为当前帧经过降噪处理后所得的图像帧。
通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧。此时,空域滤波降噪帧即为对当前帧经过降噪处理后所得的图像帧。对每一个当前帧进行上述处理,输出空域滤波降噪帧,且由多个连续的空域滤波降噪帧,就得到了去噪后的视频,以供用户在电子设备上浏览。
本申请实施例中,首先,基于前一帧对当前帧进行运动检测得到运动检测结果,并计算当前帧的人眼自适应权重。然后,在对当前帧进行时域滤波降噪时,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整;在对当前帧进行空域滤波降噪时,根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整。最后,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧,再通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧,即完成了对当前帧的降噪处理。由于运动区域降噪容易产生拖影、人眼视觉系统具有亮度非线性与视觉掩盖效应等特性,因此通过运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重、全局空域滤波权重进行局部调整。从而,通过局部调整后的滤波权重进行降噪处理,可以弱化运动区域降噪后所产生的拖影,提高视频降噪的视觉效果。
在一个实施例中,如图3所示,运动检测结果包括运动区域;步骤240,根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整,包括:
步骤242,根据运动检测结果按照预设比例降低当前帧中运动区域对应的全局时域滤波权重,对当前帧中运动区域的全局时域滤波权重进行更新,生成当前帧更新后的全局时域滤波权重。
若运动检测结果包括运动区域,由于对运动区域进行降噪易产生拖影,所以根据运动检测结果按照预设比例降低当前帧中运动区域对应的全局时域滤波权重。例如,预设比例为1/2,把当前帧中运动区域对应的全局时域滤波权重降低为1/2,当然,本申请并不对预设比例的具体数值进行限定。然后,对当前帧中运动区域的全局时域滤波权重进行更新,对当前帧中非运动区域的全局时域滤波权重保持不变。即实现了在对当前帧中运动区域进行时域滤波去噪时采用较低的全局时域滤波权重,而对当前帧中非运动区域进行时域滤波去噪时采用较高的全局时域滤波权重。从而,弱化了在对运动区域进行降噪易产生拖影的现象。
步骤244,将人眼自适应权重与当前帧更新后的全局时域滤波权重进行算数运算,生成当前帧局部调整后的全局时域滤波权重。
在对当前帧中运动区域对应的全局时域滤波权重进行降低之后,再采用人眼自适应权重对当前帧更新后的全局时域滤波权重进行调整。具体为,将人眼自适应权重与当前帧更新后的全局时域滤波权重做算数运算,生成当前帧局部调整后的全局时域滤波权重。这里的算数运算可以是计算加权和、乘法运算等,本申请并不对此进行限定。
本申请实施例中,根据运动检测结果按照预设比例降低当前帧中运动区域对应的全局时域滤波权重,对当前帧中运动区域的全局时域滤波权重进行更新,生成当前帧更新后的全局时域滤波权重。再将人眼自适应权重与当前帧更新后的全局时域滤波权重进行算数运算,生成当前帧局部调整后的全局时域滤波权重。从而,实现了通过运动检测结果、人眼自适应权重,针对性地对当前帧中局部区域的全局时域滤波权重进行调整。最终,可以弱化运动区域降噪后所产生的拖影,提高视频降噪的视觉效果。
在一个实施例中,如图4所示,计算当前帧的人眼自适应权重,包括:
步骤420,计算当前帧上各像素区域的亮度最小可觉察误差JND值。
其中,亮度最小可觉察误差JND值用于表示人眼不能察觉的最大图像失真,体现了人眼对图像改变的容忍度。在图像处理领域,JND可以用来度量人眼对图像中不同区域失真的敏感度。
首先,计算当前帧上各像素区域的亮度均值,再根据各像素区域的亮度均值获取各像素区域对应的亮度JND值。具体的,可以基于各像素区域的亮度均值查询JND亮度曲线,得到各像素区域对应的亮度JND值。
步骤440,计算当前帧上各像素区域的无序自适应权重。
其中,无序自适应权重是通过掩盖效应得到的。可以计算当前帧上各像素区域中的每个像素在至少两个方向的梯度,再基于梯度计算当前帧上各像素区域中的每个像素的方向;基于当前帧上各像素区域中的每个像素的方向,计算各像素区域中的每个像素的方向的方差;最后,基于各像素区域中的每个像素的方向的方差的大小,为各像素区域配置对应的无序自适应权重。从而,计算出当前帧上各像素区域的无序自适应权重。
步骤460,基于各像素区域的亮度JND值及无序自适应权重进行算数运算,得到当前帧上各像素区域的人眼自适应权重。
最后,基于各像素区域的亮度JND值及无序自适应权重进行算数运算,得到当前帧上各像素区域的人眼自适应权重。这里的算数运算可以是计算加权和、乘法运算等,本申请并不对此进行限定。
本申请实施例中,计算当前帧上各像素区域的亮度JND值,计算当前帧上各像素区域的无序自适应权重。基于各像素区域的亮度JND值及无序自适应权重进行算数运算,得到当前帧上各像素区域的人眼自适应权重。通过亮度JND值、无序自适应权重充分利用了人眼视觉系统具有亮度非线性与视觉掩盖效应的特性,并根据人眼自适应权重对当前帧的全局时域滤波权重、全局空域滤波权重进行局部调整。根据人眼自适应权重对当前帧中的不可察觉信息进行忽略,以降低全局空域滤波权重;对当前帧中的能察觉的信息进行加强,提高全局空域滤波权重。从而,可以在减少图像处理的复杂度的同时,提高人眼视觉系统所关注的图像部分的显示质量。
在一个实施例中,计算当前帧上各像素区域的亮度最小可觉察误差JND值,包括:
计算当前帧上各像素区域的亮度均值;
根据各像素区域的亮度均值获取各像素区域对应的亮度JND值。
具体的,计算当前帧上各像素区域的亮度均值。可以获取当前帧在YUV颜色空间的亮度数据,再将当前帧划分为不同的像素区域,基于当前帧上不同像素区域的亮度数据,就可以得到各像素区域的亮度均值I(x,y)。其中,x为该像素区域的中心点在当前帧上横轴上的坐标,y为该像素区域的中心点在当前帧上纵轴上的坐标。各像素区域对应的亮度JND值的计算公式如下:
Figure BDA0002649290230000111
其中,La就表示中心点为(x,y)的像素区域对应的亮度JND值。
本申请实施例中,计算当前帧上各像素区域的亮度均值,根据各像素区域的亮度均值获取各像素区域对应的亮度JND值。根据各像素区域对应的亮度JND值,就可以利用人眼视觉系统的亮度非线性这一特性,对当前帧中人眼对失真的敏感度较低的像素区域,降低该像素区域的人眼自适应权重。
在一个实施例中,如图5所示,计算当前帧上各像素区域的无序自适应权重,包括:
步骤520,计算当前帧上各像素区域中每个像素在第一方向及第二方向的梯度,第一方向与第二方向相互垂直。
可以利用边缘检测算法对当前帧进行水平方向和垂直方向上进行滤波,具体为,计算当前帧上各像素区域中每个像素在水平方向和垂直方向上的梯度。其中,第一方向可以是水平方向,第二方向可以为垂直方向。计算当前帧上各像素区域中每个像素在水平方向和垂直方向上的梯度的公式如下:
Figure BDA0002649290230000121
其中,F代表当前帧,fv、fh分别为两个滤波器,Gv、Gh分别为水平方向和垂直方向上的梯度。
步骤540,基于梯度计算当前帧上各像素区域中每个像素的方向。
基于梯度计算当前帧上各像素区域中每个像素的方向的公式如下:
Figure BDA0002649290230000122
其中,θ(x)为像素区域中每个像素的方向,x为该像素区域中每个像素在当前帧上横轴上的坐标。
步骤560,基于当前帧上各像素区域中每个像素的方向,计算各像素区域中每个像素的方向的方差。
步骤580,基于各像素区域中每个像素的方向的方差的大小,为各像素区域配置对应的无序自适应权重。
在计算出了各像素区域中每个像素的方向之后,基于方差公式计算各像素区域中每个像素的方向的方差。再基于各像素区域中每个像素的方向的方差的大小,为各像素区域配置对应的无序自适应权重。例如,对于方差大于预设阈值的区域赋予较大的无序自适应权重,对于方差小于或等于预设阈值的区域赋予较小的无序自适应权重。因为方差大于预设阈值的区域多为纹理复杂区域,方差小于或等于预设阈值的区域多为平坦区域。而人眼对于平坦区域的噪声感知程度比纹理复杂的区域程度高,对物体边缘区域的噪声感知程度比物体主体区域的程度高,所以对于方差大于预设阈值的区域赋予较大的无序自适应权重,加强对该区域进行滤波去噪处理。对于方差小于或等于预设阈值的区域赋予较小的无序自适应权重,弱化对该区域的滤波去噪。
本申请实施例中,首先,计算当前帧上各像素区域中每个像素在第一方向及第二方向的梯度,再基于梯度计算当前帧上各像素区域中每个像素的方向。然后,基于当前帧上各像素区域中每个像素的方向,计算各像素区域中每个像素的方向的方差。最后,基于各像素区域中每个像素的方向的方差的大小,为各像素区域配置对应的无序自适应权重。通过无序自适应权重就可以充分利用人眼视觉系统的掩盖效应,对当前帧中的不可察觉信息进行忽略,对当前帧中的能察觉的信息进行加强。从而,可以在减少图像处理的复杂度的同时,提高人眼视觉系统所关注的图像部分的显示质量。
在一个实施例中,当前帧的全局时域滤波权重的计算过程,包括:
基于当前帧的自动曝光数据及陀螺仪数据,调整当前帧的初始全局时域滤波权重,得到当前帧的全局时域滤波权重。
具体的,可以基于当前帧的自动曝光数据,计算环境自适应权重。再基于当前帧的陀螺仪数据,计算相机移动自适应权重。最后,根据环境自适应权重及相机移动自适应权重,调整当前帧的初始全局时域滤波权重。
其中,自动曝光数据也称之为AE(Automatic Exposure)数据。自动曝光数据包括曝光量、曝光时间、光圈大小等。预先针对图像帧不同的自动曝光数据,设置不同的环境自适应权重。所以,基于当前帧的自动曝光数据,就可以计算出环境自适应权重Ew
其中,通过电子设备上的陀螺仪传感器可以检测得到陀螺仪数据,通过陀螺仪数据可以判断相机的移动以及移动的幅度和方向。基于当前帧的陀螺仪数据,按照预设公式就可以计算相机移动自适应权重Mw
最后,对环境自适应权重及相机移动自适应权重做算数运算,调整当前帧的初始全局时域滤波权重。例如,做乘法运算,具体的计算公式如下:
Gw=Ew*Mw (1-4)
本申请实施例中,基于当前帧的自动曝光数据,计算环境自适应权重。基于当前帧的陀螺仪数据,计算相机移动自适应权重。根据环境自适应权重及相机移动自适应权重,调整当前帧的初始全局时域滤波权重。通过当前帧的自动曝光数据、当前帧的陀螺仪数据,调整当前帧的初始全局时域滤波权重。因为在调整当前帧的全局时域滤波权重的过程中,也考虑了当前帧的自动曝光数据、当前帧的陀螺仪数据等多个因素,提高了所得到的全局时域滤波权重的准确性。
在一个实施例中,当前帧的全局空域滤波权重的计算过程,包括:
基于当前帧的自动曝光数据,调整当前帧的初始全局空域滤波权重,得到当前帧的全局空域滤波权重。
本申请实施例中,因为在调整当前帧的初始全局空域滤波权重的过程中,也考虑了当前帧的自动曝光数据等因素,提高了所得到的全局空域滤波权重的准确性。
在一个实施例中,基于前一帧对当前帧进行运动检测得到运动检测结果,包括:
采用对齐算法对前一帧与当前帧进行对齐,得到对齐后的两帧图像;
对对齐后的两帧图像采用差分运算进行运动检测,得到当前帧中的运动检测结果。
具体的,采用对齐算法对前一帧与当前帧进行对齐,得到对齐后的两帧图像。然后,对对齐后的两帧图像的像素值进行差分运算,得到差分运算的结果。当差分运算的结果大于预设阈值时,则认为该像素值对应的区域为运动区域;当差分运算的结果小于或等于预设阈值时,则认为该像素值对应的区域为非运动区域。从而,对对齐后的两帧图像采用差分运算进行运动检测,得到当前帧中的运动区域。
本申请实施例中,采用对齐算法对前一帧与当前帧进行对齐,得到对齐后的两帧图像,再对对齐后的两帧图像采用差分运算进行运动检测,得到当前帧中的运动区域。从而,便于后续根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧。
如图6所示,提供了一种视频降噪方法,包括如下步骤:
步骤一,采用对齐算法对所述前一帧604与所述当前帧602进行对齐,得到对齐后的两帧图像;
步骤二,对所述对齐后的两帧图像采用差分运算进行运动检测,得到所述当前帧中的运动检测结果612;
步骤三,基于所述当前帧的自动曝光数据614及陀螺仪数据616,调整所述当前帧的初始全局时域滤波权重,得到所述当前帧的全局时域滤波权重。
步骤四,根据所述运动检测结果612按照预设比例降低所述当前帧中运动区域对应的全局时域滤波权重,对所述当前帧中运动区域的全局时域滤波权重进行更新,生成所述当前帧更新后的全局时域滤波权重;
步骤五,将所述人眼自适应权重606与所述当前帧更新后的全局时域滤波权重进行算数运算,生成所述当前帧局部调整后的全局时域滤波权重608;
步骤六,通过局部调整后的全局时域滤波权重608对所述当前帧进行时域滤波降噪得到时域滤波降噪帧;
步骤七,基于所述当前帧的自动曝光数据614,调整所述当前帧的初始全局空域滤波权重,得到所述当前帧的全局空域滤波权重。
步骤八,根据所述人眼自适应权重606对所述当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重610对所述时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧618;
步骤九,将空域滤波降噪帧618输出,作为当前帧经过降噪处理后所得的图像帧。
本申请实施例中,由于运动区域降噪容易产生拖影、人眼视觉系统具有亮度非线性与视觉掩盖效应等特性,因此通过运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重、全局空域滤波权重进行局部调整。从而,通过局部调整后的滤波权重进行降噪处理,可以弱化运动区域降噪后所产生的拖影,提高视频降噪的视觉效果。
应该理解的是,虽然上述图中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种视频降噪装置700,该装置包括:
计算模块720,用于基于前一帧对当前帧进行运动检测得到运动检测结果;计算当前帧的人眼自适应权重;
时域滤波降噪模块740,用于根据运动检测结果及人眼自适应权重对当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对当前帧进行时域滤波降噪得到时域滤波降噪帧;
空域滤波降噪模块760,用于根据人眼自适应权重对当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;
输出模块780,用于输出空域滤波降噪帧作为当前帧经过降噪处理后所得的图像帧。
在一个实施例中,运动检测结果包括运动区域;时域滤波降噪模块740,还用于根据运动检测结果按照预设比例降低当前帧中运动区域对应的全局时域滤波权重,对当前帧中运动区域的全局时域滤波权重进行更新,生成当前帧更新后的全局时域滤波权重;将人眼自适应权重与当前帧更新后的全局时域滤波权重进行算数运算,生成当前帧局部调整后的全局时域滤波权重。
在一个实施例中,如图8所示,计算模块720,包括:
亮度JND值计算单元722,用于计算当前帧上各像素区域的亮度最小可觉察误差JND值;
无序自适应权重计算单元724,用于计算当前帧上各像素区域的无序自适应权重;
人眼自适应权重计算单元726,用于基于各像素区域的亮度JND值及无序自适应权重进行算数运算,得到当前帧上各像素区域的人眼自适应权重。
在一个实施例中,亮度JND值计算单元722,还用于计算当前帧上各像素区域的亮度均值;根据各像素区域的亮度均值获取各像素区域对应的亮度JND值。
在一个实施例中,人眼自适应权重计算单元726,还用于计算当前帧上各像素区域中每个像素在第一方向及第二方向的梯度,第一方向与第二方向相互垂直;基于梯度计算当前帧上各像素区域中每个像素的方向;基于当前帧上各像素区域中每个像素的方向,计算各像素区域中每个像素的方向的方差;基于各像素区域中每个像素的方向的方差的大小,为各像素区域配置对应的无序自适应权重。
在一个实施例中,提供了一种视频降噪装置700,该装置还包括:全局时域滤波权重计算模块,用于基于当前帧的自动曝光数据及陀螺仪数据,调整当前帧的初始全局时域滤波权重,得到当前帧的全局时域滤波权重。
在一个实施例中,全局时域滤波权重计算模块,还用于基于当前帧的自动曝光数据,计算环境自适应权重;基于当前帧的陀螺仪数据,计算相机移动自适应权重;根据环境自适应权重及相机移动自适应权重,调整当前帧的初始全局时域滤波权重,得到当前帧的全局时域滤波权重。
在一个实施例中,提供了一种视频降噪装置700,该装置还包括:全局空域滤波权重计算模块,用于基于当前帧的自动曝光数据,调整当前帧的初始全局空域滤波权重,得到当前帧的全局空域滤波权重。
在一个实施例中,计算模块,还用于采用对齐算法对前一帧与当前帧进行对齐,得到对齐后的两帧图像;对对齐后的两帧图像采用差分运算进行运动检测,得到当前帧中的运动检测结果。
上述视频降噪装置中各个模块的划分仅用于举例说明,在其他实施例中,可将视频降噪装置按照需要划分为不同的模块,以完成上述视频降噪装置的全部或部分功能。
关于视频降噪装置的具体限定可以参见上文中对于视频降噪方法的限定,在此不再赘述。上述视频降噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,还提供了一种电子设备,包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行以上各个实施例所提供的一种视频降噪方法的步骤。
图9为一个实施例中电子设备的内部结构示意图。如图9所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种视频降噪方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的视频降噪装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备或电子设备上运行。该计算机程序构成的程序模块可存储在电子设备或电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行视频降噪方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行视频降噪方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上视频降噪实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种视频降噪方法,其特征在于,所述方法包括:
基于前一帧对当前帧进行运动检测得到运动检测结果;计算所述当前帧的人眼自适应权重;
根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对所述当前帧进行时域滤波降噪得到时域滤波降噪帧;
根据所述人眼自适应权重对所述当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对所述时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;
输出所述空域滤波降噪帧作为所述当前帧经过降噪处理后所得的图像帧。
2.根据权利要求1所述的方法,其特征在于,所述运动检测结果包括运动区域;所述根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整,包括:
根据所述运动检测结果按照预设比例降低所述当前帧中运动区域对应的全局时域滤波权重,对所述当前帧中运动区域的全局时域滤波权重进行更新,生成所述当前帧更新后的全局时域滤波权重;
将所述人眼自适应权重与所述当前帧更新后的全局时域滤波权重进行算数运算,生成所述当前帧局部调整后的全局时域滤波权重。
3.根据权利要求1所述的方法,其特征在于,所述计算所述当前帧的人眼自适应权重,包括:
计算所述当前帧上各像素区域的亮度最小可觉察误差JND值;
计算所述当前帧上各所述像素区域的无序自适应权重;
基于各所述像素区域的所述亮度JND值及所述无序自适应权重进行算数运算,得到所述当前帧上各所述像素区域的人眼自适应权重。
4.根据权利要求3所述的方法,其特征在于,所述计算所述当前帧上各像素区域的亮度最小可觉察误差JND值,包括:
计算所述当前帧上各像素区域的亮度均值;
根据所述各像素区域的亮度均值获取所述各像素区域对应的亮度JND值。
5.根据权利要求3所述的方法,其特征在于,所述计算所述当前帧上各所述像素区域的无序自适应权重,包括:
计算所述当前帧上各所述像素区域中每个像素在第一方向及第二方向的梯度,所述第一方向与所述第二方向相互垂直;
基于所述梯度计算所述当前帧上各所述像素区域中每个像素的方向;
基于所述当前帧上各所述像素区域中每个像素的方向,计算各所述像素区域中每个像素的方向的方差;
基于各所述像素区域中每个像素的方向的方差的大小,为各所述像素区域配置对应的无序自适应权重。
6.根据权利要求1所述的方法,其特征在于,所述当前帧的全局时域滤波权重的计算过程,包括:
基于所述当前帧的自动曝光数据及陀螺仪数据,调整所述当前帧的初始全局时域滤波权重,得到所述当前帧的全局时域滤波权重。
7.根据权利要求6所述的方法,其特征在于,所述基于所述当前帧的自动曝光数据及陀螺仪数据,调整所述当前帧的初始全局时域滤波权重,得到所述当前帧的全局时域滤波权重,包括:
基于当前帧的自动曝光数据,计算环境自适应权重;
基于当前帧的陀螺仪数据,计算相机移动自适应权重;
根据所述环境自适应权重及所述相机移动自适应权重,调整所述当前帧的初始全局时域滤波权重,得到所述当前帧的全局时域滤波权重。
8.根据权利要求1所述的方法,其特征在于,所述当前帧的全局空域滤波权重的计算过程,包括:
基于所述当前帧的自动曝光数据,调整所述当前帧的初始全局空域滤波权重,得到所述当前帧的全局空域滤波权重。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述基于前一帧对当前帧进行运动检测得到运动检测结果,包括:
采用对齐算法对所述前一帧与所述当前帧进行对齐,得到对齐后的两帧图像;
对所述对齐后的两帧图像采用差分运算进行运动检测,得到所述当前帧中的运动检测结果。
10.一种视频降噪装置,其特征在于,所述装置包括:
计算模块,用于基于前一帧对当前帧进行运动检测得到运动检测结果;计算所述当前帧的人眼自适应权重;
时域滤波降噪模块,用于根据所述运动检测结果及所述人眼自适应权重对所述当前帧的全局时域滤波权重进行局部调整,通过局部调整后的全局时域滤波权重对所述当前帧进行时域滤波降噪得到时域滤波降噪帧;
空域滤波降噪模块,用于根据所述人眼自适应权重对所述当前帧的全局空域滤波权重进行局部调整,通过局部调整后的全局空域滤波权重对所述时域滤波降噪帧进行空域滤波降噪,得到空域滤波降噪帧;
输出模块,用于输出所述空域滤波降噪帧作为所述当前帧经过降噪处理后所得的图像帧。
11.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的视频降噪方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的视频降噪方法的步骤。
CN202010864552.2A 2020-08-25 2020-08-25 视频降噪方法和装置、电子设备、计算机可读存储介质 Active CN111986116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864552.2A CN111986116B (zh) 2020-08-25 2020-08-25 视频降噪方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864552.2A CN111986116B (zh) 2020-08-25 2020-08-25 视频降噪方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111986116A true CN111986116A (zh) 2020-11-24
CN111986116B CN111986116B (zh) 2023-10-13

Family

ID=73444106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864552.2A Active CN111986116B (zh) 2020-08-25 2020-08-25 视频降噪方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111986116B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726311A (zh) * 2021-08-23 2021-11-30 北京智源人工智能研究院 脉冲信号滤波电路及电子设备
CN114666583A (zh) * 2022-03-14 2022-06-24 中山大学 一种基于时空域滤波的视频编码前处理方法
WO2022178786A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 一种图像处理器及图像处理设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN104735300A (zh) * 2015-03-31 2015-06-24 中国科学院自动化研究所 基于权重滤波的视频去噪装置及方法
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN108521572A (zh) * 2018-03-22 2018-09-11 四川大学 一种基于像素域jnd模型的残差滤波方法
CN108805852A (zh) * 2017-04-26 2018-11-13 杭州海康威视数字技术股份有限公司 一种图像空域噪声的评估方法及装置
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN104735300A (zh) * 2015-03-31 2015-06-24 中国科学院自动化研究所 基于权重滤波的视频去噪装置及方法
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN108805852A (zh) * 2017-04-26 2018-11-13 杭州海康威视数字技术股份有限公司 一种图像空域噪声的评估方法及装置
CN108521572A (zh) * 2018-03-22 2018-09-11 四川大学 一种基于像素域jnd模型的残差滤波方法
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘梅森等: "一种基于人类视觉的自适应均值滤波算法", 计算机工程与应用, no. 10 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022178786A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 一种图像处理器及图像处理设备
CN113726311A (zh) * 2021-08-23 2021-11-30 北京智源人工智能研究院 脉冲信号滤波电路及电子设备
CN113726311B (zh) * 2021-08-23 2022-05-06 北京智源人工智能研究院 脉冲信号滤波电路及电子设备
CN114666583A (zh) * 2022-03-14 2022-06-24 中山大学 一种基于时空域滤波的视频编码前处理方法

Also Published As

Publication number Publication date
CN111986116B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Park et al. Low-light image enhancement using variational optimization-based retinex model
US10970600B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN111986116B (zh) 视频降噪方法和装置、电子设备、计算机可读存储介质
CN111741211B (zh) 图像显示方法和设备
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US10708525B2 (en) Systems and methods for processing low light images
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN108230333B (zh) 图像处理方法、装置、计算机程序、存储介质和电子设备
CN103945145A (zh) 处理图像的设备和方法
US9426360B2 (en) Image correction apparatus and imaging apparatus
CN107979712B (zh) 一种视频降噪方法及装置
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
US20150063694A1 (en) Techniques for combining images with varying brightness degrees
CN109286758B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
CN113344821B (zh) 图像降噪方法、装置、终端、存储介质
US20150063718A1 (en) Techniques for enhancing low-light images
WO2020171300A1 (en) Processing image data in a composite image
CN113240608A (zh) 图像去噪方法、装置、电子设备和可读存储介质
CN111539895A (zh) 一种视频去噪方法、装置、移动终端和存储介质
Tsutsui et al. Halo artifacts reduction method for variational based realtime retinex image enhancement
CN111415317B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
US8995765B2 (en) Digital image processing apparatus and method
CN111970451B (zh) 图像处理方法、图像处理装置及终端设备
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114782280A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant