CN107403413B - 一种视频多帧去噪及增强方法 - Google Patents

一种视频多帧去噪及增强方法 Download PDF

Info

Publication number
CN107403413B
CN107403413B CN201710242666.1A CN201710242666A CN107403413B CN 107403413 B CN107403413 B CN 107403413B CN 201710242666 A CN201710242666 A CN 201710242666A CN 107403413 B CN107403413 B CN 107403413B
Authority
CN
China
Prior art keywords
image
module
block
frame
local motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710242666.1A
Other languages
English (en)
Other versions
CN107403413A (zh
Inventor
赵海宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201710242666.1A priority Critical patent/CN107403413B/zh
Publication of CN107403413A publication Critical patent/CN107403413A/zh
Application granted granted Critical
Publication of CN107403413B publication Critical patent/CN107403413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频多帧去噪及增强方法,此方法由全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块组成。全局运动估计模块获得多帧之间的全局运动矢量,用于去除相机的全局运动,为下一步提供必要条件;局部运动检测模块能够检测出场景中的局部运动;多帧融合滤波模块对于局部运动块采用双边滤波的方式进行融合滤波,而对于非局部运动块则采用简单的均值滤波的方式进行融合滤波;去块效应模块可以处理由于不同融合滤波方式产生的块效应;多帧融合滤波模块和去块效应模块之后,图像会有所模糊,图像增强模块会增强图像的主观质量使得处理之后的视频清晰锐利,并能大大抑制视频噪声,大大降低视频传输码率。

Description

一种视频多帧去噪及增强方法
技术领域
本发明属于图像处理领域,更具体的说涉及一种视频多帧去噪及增强方法。
背景技术
视频去噪是图像处理领域的一个热点问题,也是一个极具挑战的研究方向。视频中的噪声不仅会阻碍人们对视频内容的理解,还会大大增加视频传输的码率。
基于单帧的图像去噪算法,普遍利用图像的局部信息来平滑处理,或者采用假想的噪声模型来模拟噪声并在一定的约束条件下求得最优解,这两种方法不可避免地使图像丢失了很多细节信息。针对一般的监控场景,相机不会出现较大频率和较大幅度的运动,其相邻帧会存在很大的时域相关性,所以基于多帧的监控视频去噪会比单帧视频去噪获得更好的效果。发明内容
本发明从提升视频主观质量和降低视频码率出发,发明了一种视频多帧去噪及增强方法,使得处理之后的视频清晰锐利,并能大大抑制视频噪声,大大降低视频传输码率。
为了解决上述技术问题,本发明的技术方案为:一种视频多帧去噪及增强方法,包括有全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块,所述全局运动估计模块获得多帧之间的全局运动矢量,去除相机的全局运动,所述局部运动检测模块能够检测出场景中的局部运动,所述多帧融合滤波模块对于局部运动块采用双边滤波的方式进行融合滤波,所述去块效应模块处理由于不同融合滤波方式产生的块效应,所述图像增强模块最后增强图像的主观质量。
进一步的,所述全局运动估计模块的按照如下步骤进行:
Q1对于输入的多帧图像,确定参考帧与配准帧;
Q2建立参考帧与配准帧的图像金字塔;
Q3从金字塔的顶层开始计算全局运动估计,运动估计采用块匹配的方式,选择参考帧居中的图像块作为匹配基准块,然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块,匹配准则使用绝对差值和SAD策略;
Q4得到上一层的全局运动估计之后,在当前帧基于上一层的运动估计结果,使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量;
Q5一级一级将全局运动传递到最底层,得到最终的全局运动矢量,最终全局运动矢量=上述所有层的全局运动矢量之和。
进一步的,所述局部运动检测模块按照如下步骤进行:
J1根据全局运动矢量将配准帧与参考帧对齐,并将所有帧划分成不重叠的局部图像块;
J2计算参考帧图像块与配准帧对应图像块的像素绝对差值,如果像素绝对差值大于设定阈值的个数占图像块像素总个数的比例超过设定比例值,则认为是局部运动块;
J3如果所有的配准帧对应图像块按二中的方式判定为非局部运动块,则当前图像块为非局部运动块。
进一步的,所述多帧融合滤波模块按照如下步骤进行:
D1对于判定为非局部运动的块,采用均值滤波的方式对所有时域图像块进行加权平均,
D2对于判定为局部运动的块,对局部运动块内的各个像素采用时域双边滤波的方式进行滤波。
进一步的,所述去块效应模块按照如下步骤进行:
K1判断块边界是否属于局部运动块和非局部运动块的边界;
K2对于属于局部运动块与非局部运动块相邻的块边界,进行去块效应滤波,否则不进行处理。
进一步的,所述图像增强模块按照如下步骤进行:
T1对输入图像I进行高斯滤波,得到Ig;
T2输入图像减去高斯滤波图像,得到diff=I–Ig;
T3计算图像I的局部平均方差图,得到Is;
T4获取Is的最小值Vmin和最大值Vmax,归一化Is得到Isn,Isn=(Is-Vmin)/(Vmax-Vmin),将Isn作为增强系数;
T5增强图像Ie=CLIP(I+Isn*Isn,0,255),CLIP函数为图像像素值限定函数,如果为8位像素值,则限定范围为0和255。
本发明提供了一种视频多帧去噪及增强方法,可以提升视频的整体主观质量,使得处理之后的视频清晰锐利,同时能大大抑制视频噪声,大大降低视频传输码率,同时,本发明的方法性能效率很高,能够满足实际工程的需要。
附图说明
图1为本发明一种视频多帧去噪及增强方法的多帧去噪增强模块图;
图2为本发明一种视频多帧去噪及增强方法的视频处理系统流程图;
图3为本发明一种视频多帧去噪及增强方法的多帧去噪增强流程图;
图4为本发明一种视频多帧去噪及增强方法的全局运动估计流程图;
图5为本发明一种视频多帧去噪及增强方法的判定局部运动流程图。
图6为本发明一种视频多帧去噪及增强方法的图像增强流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是,对于这些实施方式的说明用于帮助理解本发明,但并不构成对本发明的限定。此外,下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
对于一个需要处理的监控视频,我们首先将视频解码出多帧YUV数据,并将中间一帧设为参考帧,将参考帧前后的多帧设为配准帧,提取出参考帧和配准帧的多帧Y分量数据,送入多帧去噪增强模块,经过去噪增强的Y数据与参考帧的UV数据进行编码输出一帧视频数据,本发明中使用5帧数据来进行多帧去噪增强,选择第三帧为参考帧,参考帧前后各有两帧配准帧,视频处理系统流程图可见图2。
对于输入的5帧Y分量数据,先计算4个配准帧与参考帧的全局运动,根据全局运动矢量将配准帧与参考帧对齐,然后将对齐的所有帧划分成不重叠的局部图像块,并判定局部图像块是否存在局部运动,如果存在局部运动则进行双边滤波5帧对应图像块,否则均值滤波5帧对应图像块,接着对可能存在块效应的块边界进行去块效应滤波,最后进一步增强去噪图像,得到最终输出Y分量数据,本发明中可设定局部图像块大小为8*8,多帧去噪增强流程图可见图3。
全局运动估计流程如下,流程图如图4所示:
建立参考帧与配准帧的图像金字塔,金字塔的级数根据图像尺寸的大小而定,对于1080p大小的视频,金字塔的级数可设为3,建立图像金子塔的方式可以使用高斯金字塔也可使用均值金字塔;
从金字塔的顶层开始计算全局运动估计,运动估计采用块匹配的方式,选择参考帧居中的图像块作为匹配基准块,然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块,匹配准则使用绝对差值和(SAD)策略;
得到上一层的全局运动估计之后,在当前帧基于上一层的运动估计结果,使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量;
一级一级将全局运动传递到最底层,得到最终的全局运动矢量,假设图像金字塔有3层,如果每一层的全局运动矢量为MV1,MV2,MV3,则最终的全局运动矢量MV=MV1+MV2+MV3;
判定局部运动流程如下,流程图如图5所示:
根据全局运动矢量将配准帧与参考帧对齐,并将所有帧划分成不重叠的局部图像块,局部图像块的大小可设8*8;
计算参考帧图像块与配准帧对应图像块的像素绝对差值,如果像素绝对差值大于设定阈值T1的个数占图像块像素总个数的比例超过设定比例值T2,则认为是局部运动块,本发明中,T1可设定为25,T2可设定为0.3;
如果所有的配准帧对应图像块按二中的方式判定为非局部运动块,则当前图像块为非局部运动块;
多帧融合滤波流程如下:
对于判定为非局部运动的块,采用均值滤波的方式对所有时域图像块进行加权平均。
对于判定为局部运动的块,对局部运动块内的各个像素采用时域双边滤波的方式进行滤波。
去块效应流程如下:
判断块边界是否属于局部运动块和非局部运动块的边界;
对于属于局部运动块与非局部运动块相邻的块边界,进行去块效应滤波,否则不进行处理;
图像增强流程如下,流程图如图6所示:
对输入图像I进行高斯滤波,得到Ig;
输入图像减去高斯滤波图像,得到diff=I–Ig;
计算图像I的局部平均方差图,得到Is;
获取Is的最小值Vmin和最大值Vmax,归一化Is得到Isn,Isn=(Is-Vmin)/(Vmax-Vmin),将Isn作为增强系数;
增强图像Ie=CLIP(I+Isn*Isn,0,255),CLIP函数为图像像素值限定函数,如果为8位像素值,则限定范围为0和255。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。

Claims (5)

1.一种视频多帧去噪及增强方法,其特征在于,包括有全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块,所述全局运动估计模块获得多帧之间的全局运动矢量,去除相机的全局运动,所述局部运动检测模块用于检测出场景中的局部运动,所述多帧融合滤波模块对局部运动块采用双边滤波的方式进行融合滤波,所述去块效应模块处理由于不同融合滤波方式产生的块效应,所述图像增强模块最后增强图像的主观质量;所述图像增强模 块按照如下步骤进行:
T1 对输入图像I进行高斯滤波,得到Ig,
T2 输入图像减去高斯滤波图像,得到diff=I–Ig,
T3 计算图像I的局部 平均方差图,得到Is,
T4 获取Is的最小值Vmin和最大值Vmax,归一化Is得到Isn,Isn=(Is-Vmin)/(Vmax-Vmin),将Isn作为增强系数,
T5 增强图像Ie=CLIP(I+diff*Isn,0,255),CLIP函数为图像像素值限定函数,如果为8 位像素值,则限定范围为0和255。
2.根据权利要求1所述的一种视频多帧去噪及增强方法,其特征在于,所述全局运动估计模块的按照如下步骤进行:
Q1 对于输入的多帧图像,确定参考帧与配准帧,
Q2 建立参考帧与配准帧的图像金字塔,
Q3 从金字塔的顶层开始计算全局运动估计,运动估计采用块匹配的方式,选择参考帧居中的图像块作为匹配基准块,然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块,匹配准则使用绝对差值和SAD策略,
Q4 得到上一层的全局运动估计之后,在当前帧基于上一层的运动估计结果,使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量,
Q5 一级一级将全局运动传递到最底层,得到最终的全局运动矢量,最终全局运动矢量=上述所有层的全局运动矢量之和。
3.根据权利要求1所述的一种视频多帧去噪及增强方法,其特征在于,所述局部运动检测模块按照如下步骤进行:
J1 根据全局运动矢量将配准帧与参考帧对齐,并将所有帧划分成不重叠的局部图像块,
J2 计算参考帧图像块与配准帧对应图像块的像素绝对差值,如果像素绝对差值大于设定阈值的个数占图像块像素总个数的比例超过设定比例值,则认为是局部运动块,
J3 如果所有的配准帧对应图像块按二中的方式判定为非局部运动块,则当前图像块为非局部运动块。
4.根据权利要求1所述的一种视频多帧去噪及增强方法,其特征在于,所述多帧融合滤波模块按照如下步骤进行:
D1 对于判定为非局部运动的块,采用均值滤波的方式对所有时域图像块进行加权平均,
D2 对于判定为局部运动的块,对局部运动块内的各个像素采用时域双边滤波的方式进行滤波。
5.根据权利要求1所述的一种视频多帧去噪及增强方法,其特征在于,所述去块效应模块按照如下步骤进行:
K1 判断块边界是否属于局部运动块和非局部运动块的边界,
K2 对于属于局部运动块与非局部运动块相邻的块边界,进行去块效应滤波,否则不进行处理。
CN201710242666.1A 2017-04-14 2017-04-14 一种视频多帧去噪及增强方法 Active CN107403413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710242666.1A CN107403413B (zh) 2017-04-14 2017-04-14 一种视频多帧去噪及增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710242666.1A CN107403413B (zh) 2017-04-14 2017-04-14 一种视频多帧去噪及增强方法

Publications (2)

Publication Number Publication Date
CN107403413A CN107403413A (zh) 2017-11-28
CN107403413B true CN107403413B (zh) 2021-07-13

Family

ID=60404637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710242666.1A Active CN107403413B (zh) 2017-04-14 2017-04-14 一种视频多帧去噪及增强方法

Country Status (1)

Country Link
CN (1) CN107403413B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895355B (zh) * 2017-11-30 2021-08-20 天津天地基业科技有限公司 一种移动侦测和图像对比度自适应增强系统及其方法
CN109978774B (zh) * 2017-12-27 2021-06-18 展讯通信(上海)有限公司 多帧连续等曝光图像的去噪融合方法及装置
CN108510591A (zh) * 2018-03-12 2018-09-07 南京信息工程大学 一种基于非局部均值与双边滤波的改进泊松曲面重建方法
CN108596855A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种视频图像质量增强方法、装置以及视频画质增强方法
CN108694705B (zh) * 2018-07-05 2020-12-11 浙江大学 一种多帧图像配准与融合去噪的方法
CN109859124B (zh) * 2019-01-11 2020-12-18 深圳奥比中光科技有限公司 一种深度图像降噪方法及装置
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN111583138B (zh) * 2020-04-27 2023-08-29 Oppo广东移动通信有限公司 视频增强方法及装置、电子设备、存储介质
CN113824943A (zh) * 2020-06-18 2021-12-21 深圳市中兴微电子技术有限公司 低照度视频处理方法、设备和存储介质
CN111724325B (zh) * 2020-06-24 2023-10-31 湖南国科微电子股份有限公司 一种三边滤波图像处理方法及装置
CN111784614A (zh) * 2020-07-17 2020-10-16 Oppo广东移动通信有限公司 图像去噪方法及装置、存储介质和电子设备
CN112381744B (zh) * 2020-10-27 2022-10-11 杭州微帧信息科技有限公司 一种av1合成胶片颗粒自适应前处理的方法
CN113034412B (zh) * 2021-02-25 2024-04-19 北京达佳互联信息技术有限公司 视频处理方法及装置
US11836844B2 (en) * 2022-03-03 2023-12-05 Nvidia Corporation Motion vector optimization for multiple refractive and reflective interfaces
CN115841425B (zh) * 2022-07-21 2023-11-17 爱芯元智半导体(宁波)有限公司 视频降噪方法、装置、电子设备及计算机可读取存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103533359A (zh) * 2013-10-16 2014-01-22 武汉大学 一种h.264码率控制方法
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN105556935A (zh) * 2014-05-15 2016-05-04 华为技术有限公司 用于多帧降噪的方法和终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103533359A (zh) * 2013-10-16 2014-01-22 武汉大学 一种h.264码率控制方法
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN105556935A (zh) * 2014-05-15 2016-05-04 华为技术有限公司 用于多帧降噪的方法和终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
视频图像降噪算法研究;龙红梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20091215;I138-667,第31-54页 *
视频序列中全局运动估计技术研究及DSP实现;王宝;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110915;I138-1137,第17-18、24-35页 *

Also Published As

Publication number Publication date
CN107403413A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107403413B (zh) 一种视频多帧去噪及增强方法
Kim et al. Optimized contrast enhancement for real-time image and video dehazing
CN102446352B (zh) 视频图像处理方法及装置
CN106251318B (zh) 一种序列图像的去噪装置及方法
CN107248148B (zh) 图像降噪方法及系统
Jain et al. Gaussian filter threshold modulation for filtering flat and texture area of an image
WO2015172235A1 (en) Time-space methods and systems for the reduction of video noise
CN108564597B (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
Kang et al. Multiframe-based bilateral motion estimation with emphasis on stationary caption processing for frame rate up-conversion
CN111127359B (zh) 一种基于选择性补偿颜色和三区间均衡的水下图像增强方法
CN113612996B (zh) 一种基于时域滤波的视频降噪的方法及装置
CN102014281A (zh) 具有非线性运动场平滑的运动估计的方法和系统
JP2013008346A (ja) イメージのエッジ向上方法
CN107993254A (zh) 基于关联帧差分法的运动目标检测方法
Kim et al. A novel framework for extremely low-light video enhancement
CN110351453A (zh) 一种计算机视频数据处理方法
CN103581507A (zh) 一种去噪算法中通过均方差来动态调整阈值的方法
CN113613005B (zh) 一种基于时域滤波的视频降噪的方法及装置
Kang Adaptive luminance coding-based scene-change detection for frame rate up-conversion
CN101546425B (zh) 双阈值开关型彩色图像矢量滤波方法
CN110505480B (zh) 一种面向监控场景的快速感知视频编码方法
Xu et al. Spatial-temporal depth de-noising for Kinect based on texture edge-assisted depth classification
Dai et al. Color video denoising based on adaptive color space conversion
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
Tan et al. Multihypothesis recursive video denoising based on separation of motion state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 E, 16 floor, A block, Paradise software garden, 3 West Gate Road, Xihu District, Hangzhou, Zhejiang.

Applicant after: Hangzhou Dang Hong Polytron Technologies Inc

Address before: 310000, 16 floor, E tower, Paradise Software Park, 3, West Dou Men Road, Hangzhou, Zhejiang.

Applicant before: HANGZHOU DANGHONG TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant