CN109410124A - 一种视频图像的降噪方法及装置 - Google Patents

一种视频图像的降噪方法及装置 Download PDF

Info

Publication number
CN109410124A
CN109410124A CN201611225929.XA CN201611225929A CN109410124A CN 109410124 A CN109410124 A CN 109410124A CN 201611225929 A CN201611225929 A CN 201611225929A CN 109410124 A CN109410124 A CN 109410124A
Authority
CN
China
Prior art keywords
error
airspace
noise reduction
value
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611225929.XA
Other languages
English (en)
Other versions
CN109410124B (zh
Inventor
袁扬智
刘俊秀
韦毅
石岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenyang Electronic Ltd By Share Ltd
Original Assignee
Shenzhen Shenyang Electronic Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenyang Electronic Ltd By Share Ltd filed Critical Shenzhen Shenyang Electronic Ltd By Share Ltd
Priority to CN201611225929.XA priority Critical patent/CN109410124B/zh
Publication of CN109410124A publication Critical patent/CN109410124A/zh
Application granted granted Critical
Publication of CN109410124B publication Critical patent/CN109410124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明适用于图像处理领域,提供了一种视频图像的降噪方法及装置。所述方法包括:根据当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;根据当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和视频图像的运动误差计算得到当前输入点的空域降噪值;根据当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;根据视频图像的运动误差对时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理。本发明能得到较好的图像降噪效果而不会引起清晰度降低和图像拖尾等现象。

Description

一种视频图像的降噪方法及装置
技术领域
本发明属于图像处理领域,尤其涉及一种视频图像的降噪方法及装置。
背景技术
随着技术的发展,数字视频图像的应用日益普遍,在摄像机、手机等移动设备和车载以及监控等领域中,对视频图像要求也越来越高。视频图像在采集、传输以及成像过程中会参杂进各种各样的噪声,噪声的存在严重地影响了视频图像的质量。
现有技术中,视频图像的降噪方法主要分为空域降噪和时域降噪以及时空域结合的降噪。空域降噪主要的方法是采用低通滤波器对图像信号进行滤波,这种降噪方法可以滤除高频的噪声,但也会造成高频的图像边缘和细节模糊,而采用边界保留的空域降噪方法也会由于噪声估计的不准确而不可避免地造成模糊或噪声滤除不干净。时域降噪方法,通常采用多帧图像平均或迭代,由于视频图像中局部区域运动情况不尽相同,经过此种时域降噪后图像也很难达到整体最优的效果。
为了得到更好的视频图像效果,现有技术采用了时空域结合的降噪方法,这种方法通过简单的运动检测技术来检测图像是运动还是静止,然后再进行空域和时域的自适应滤波。通常根据设备的增益和当前图像中平滑区域的方差作为来确定噪声水平,噪声水平实际上决定了时域滤波和空域滤波权重的准确性,从而影响到降噪的效果。然而,实现中发现,这些方法都存在计算得到的噪声不准确,从而影响到时域滤波和空域滤波的权重,并最终影响到降噪处理后的视频图像效果。
发明内容
本发明的目的在于提供一种视频图像的降噪方法及装置,旨在解决现有技术存在的计算得到的噪声不准确,从而影响到时域滤波和空域滤波的权重,并最终影响到降噪处理后的视频图像效果的问题。
第一方面,本发明提供了一种视频图像的降噪方法,所述方法包括:
根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;
根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值;
根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理;
存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
第二方面,本发明提供了一种视频图像的降噪装置,所述装置包括:
运动误差计算模块,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;
空域降噪处理模块,用于根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值;
时域降噪处理模块,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
时空域降噪混合处理模块,用于根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理;
存储模块,用于存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
在本发明中,由于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差,因此得到的视频图像的运动误差比较准确,以比较准确的运动误差控制空域降噪和时域降噪的混合权重,从而得到较好的图像降噪效果而不会引起清晰度降低和图像拖尾等现象。
附图说明
图1是本发明实施例一提供的视频图像的降噪方法的流程图。
图2是本发明实施例一提供的视频图像的降噪方法中的S101的流程图。
图3是本发明实施例一提供的视频图像的降噪方法中的S1013的流程图。
图4是Kd变换图。
图5是mdiff_kd1变换图。
图6是本发明实施例一提供的视频图像的降噪方法中的S102的流程图。
图7是本发明实施例一提供的视频图像的降噪方法中的S103的流程图。
图8是本发明实施例二提供的视频图像的降噪装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
请参阅图1,本发明实施例一提供的视频图像的降噪方法包括以下步骤:
S101、根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差。
请参阅图2,S101具体可以包括以下步骤:
S1011、接收当前帧的输入图像数据和参考帧的输入图像数据,分别提取当前帧和参考帧中m0*n0大小的区块,其中m0和n0为自然数,例如可选m0等于9,n0等于17;
S1012、利用当前帧和参考帧的区块求取当前点领域内的区块图像误差值,图像误差值Diffm0*n0按照下式进行计算:
Diffm0*n0=|CP(i)m0*n0-RP(i)m0*n0|,其中,CP表示当前帧的输入图像数据,RP表示参考帧的输入图像数据;i表示m0*n0块中的元素,范围为1到m0*n0;
S1013、对图像误差值Diffm0*n0进行滤波,得到当前中心点的运动误差mdiff。
其中,请参阅图3,S1013具体可以包括以下步骤:
S10131、对图像误差值Diffm0*n0进行块状滤波,得到m1*n1大小的误差分布块Diffm1*n1
滤波方式可选低通滤波或带通滤波等,m1为小于m0的自然数,n1为小于n0的自然数。
S10132、对误差分布块Diffm1*n1中水平方向至少3个点取中值滤波得到m2*n2的误差分布块Diffm2*n2,其中m2等于m1,n2等于n1-2;
S10133、对误差分布块Diffm2*n2水平方向进行最值滤波得到m3*n3的误差分布块Diffm3*n3,其中m3等于m2,n3等于n2-2;
可以在水平方向取最大值或最小值作为滤波的结果。
S10134、计算误差分布块Diffm3*n3的平均误差,求得当前中心点的运动误差mdiff。
可以按下式计算:
在本发明实施例一中,S10134之后还可以包括以下步骤:
S10135、对运动误差mdiff作精度处理得到修正后的运动误差mdiffc;
在本发明实施例一中,S10135具体可以为:根据当前点的亮度值Y对运动误差mdiff作精度处理得到修正后的运动误差mdiffc。其中,当前点的亮度值Y可按当前点领域内四个点的像素值加权平均计算而得。
例如,取当前点的亮度值Y的位宽为8bit,再根据如图4所示的变换,计算得到反映当前点运动误差大小的系数Kd;运动误差mdiff和系数Kd相乘后,得到mdiff_kd,再根据如图5所示变换得到mdiff_kd1。图4和图5所示的变换可以采用分段线性插值的方式实现。最后可以再将mdiff_kd1进行移位、平移和限幅操作后,得到精度校正后的mdiffc。
由于S10135对运动误差mdiff的操作中,考虑了当前点的亮度信息,使得可以根据实时图像中的亮度自适应地计算得到更合适的运动误差,例如很多摄像头传感器的输入在暗背景下,就显得噪声比较大,这时就可以通过变换的系数调节,使得降噪强度更大,降噪效果更好,而在正常亮度的情况下,又可以自适应地调节回正常亮度下的系数。同时mdiff_kd1在经过移位、平移和限幅后,可以更方便地对运动误差进行压缩和限制,从而不会降低图像的清晰度。
S10136、对修正后的运动误差mdiffc进行IIR(Infinite Impulse Response,无限长脉冲响应)滤波得到视频图像的运动误差mdiff_r。
S10136具体为:对修正后的运动误差mdiffc和存储的视频图像的运动误差mdiffp作IIR滤波,滤波系数根据mdiffc通过查找可配置误差表KLUTD来确定。这样可以更灵活地选择运动误差的趋势,例如从静止图像到运动图像的过渡或者从运动图像到静止图像的过渡趋势等,这样就得到了更准确和更稳定的视频图像的运动误差mdiff_r。
在本发明实施例一中,S1013具体也可以为:对图像误差值Diffm0*n0进行均值滤波、低通滤波等,得到当前中心点的运动误差mdiff。
S102、根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值。
请参阅图6,S102具体可以包括以下步骤:
S1021、提取接收的当前帧的输入图像数据m0*k0大小的区块CP_m0*k0,其中m0和k0都是自然数。
m0可以与S1011步骤中的m0相等,这样方便在提取图像块的时候共享存储阵列。
S1022、m0*k0大小的区块CP_m0*k0的中心窗口为n*n大小的窗口,用n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的空域差分绝对值DFC_n*n,其中n为小于m0和k0的自然数。
可以按照如下公式进行计算:
DFCn*n=∑∑|CP(i)[centre]n*n-CP(i-1)n*n|,i表示m0*n0块中的元素,范围为1到m0*n0;
该步骤计算了n*n个窗口与中心窗口的空域差分绝对值,进行了周密的差分绝对计算,避免了将中心点与邻近点作简单的比较得出空域误差不准的情况。
S1023、根据空域差分绝对值DFC_n*n和图像的亮度信息计算出校正后的空域误差DFCnp_n*n;
图像的亮度信息可以通过统计一帧图像的像素值估算得到。
步骤S1023可以实现不同亮度背景下对空域误差进行不同的取舍,达到灵活的空域降噪需求。
S1024、根据校正后的空域误差DFCnp_n*n计算得到空域滤波权重WC_n*n;
步骤S1024具体可以为:对n*n大小的DFCnp_n*n中的每一个点,利用该点的像素值查高斯滤波表LUTGus求得。由于视频输入的很多噪声都符合正态分布的模型,所以本发明实施例一中优选高斯查表的方式来计算WC_n*n。该步骤可表述为:
wcn*n=LUTGus(DFCnpn*n),wcn*n∈[0,255]。
S1025、根据空域滤波权重WC_n*n计算当前点空域滤波后的值CPF,该步骤可按下式进行计算:
其中,CPn*n为当前处理中心像素n*n领域内的像素值,WINLUT为权重查找表。
S1026、根据混合系数kf将当前点空域滤波后的值CPF与原始图像输入区块的中心值CP混合计算得到能保留边界细节又能达到良好降噪效果的一级混合后的滤波值CPF1,其中kf可由系统配置。
S1027、根据当前点的视频图像的运动误差mdiff_r查权重ks查找表,自适应地获得当前帧进一步混合降噪的权重ks,再根据ks将当前点空域滤波后的值CPF和一级混合后的滤波值CPF1作进一步的混合降噪得到二级混合后的滤波值CPF2,即当前输入点的空域降噪值,得到更为平滑的降噪效果,同时又很好地保留了图像的细节,而不影响图像的清晰度。
步骤S1027的有益之处在于计算单帧的空域降噪的同时,还考虑了图像运动误差的影响,使得在运动图像和静止图像上的空域滤波也能做到自适应调整,从而空域降噪效果更好。
S103、根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
请参阅图7,S103具体可以包括以下步骤:
S1031、提取接收的参考帧的输入图像数据m0*k0大小的区块RP_m0*k0,其中m0和k0都是自然数。
m0可以与S1011步骤中的m0相等,这样方便在提取图像块的时候共享存储阵列。
S1032、m0*k0大小的区块CP_m0*k0的中心窗口为n*n大小的窗口,用n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的时域差分绝对值DFR_n*n,其中n为小于m0和k0的自然数。
可以按照如下公式进行计算:
DFRn*n=∑∑|CP(i)[centre]n*n-RP(i-1)n*n|。
该步骤计算了参考帧n*n个窗口与当前帧中心窗口的时域差分绝对值,将当前帧的信息也融合到参考帧进行计算,得出的差分误差更为准确。
S1033、根据时域差分绝对值DFR_n*n和图像的亮度信息计算出校正后的时域误差DFRnp_n*n;
图像的亮度信息可以通过统计一帧图像的像素值估算得到。
步骤S1023可以实现不同亮度背景下对时域误差进行不同的取舍,达到灵活的时域降噪需求。
S1034、根据校正后的时域误差DFRnp_n*n计算得到时域滤波权重WR_n*n;
步骤S1034具体可以为:对n*n大小的DFRnp_n*n中的每一个点,利用该点的像素值查高斯滤波表LUTGus求得。由于视频输入的很多噪声都符合正态分布的模型,所以本发明实施例一中优选高斯查表的方式来计算WR_n*n。该步骤可表述为:
WRn*n=LUTGus(DFRnpn*n),WRn*n∈[0,255]。
S1035、根据时域滤波权重WR_n*n计算当前点参考帧滤波后的值RPF,即时域降噪值,该步骤可按下式进行计算:
其中,RPn*n为当前处理中心像素n*n领域内的像素值,WINLUT为权重查找表。
RPm为本发明实施例一中进一步可选,RPm为DFRnp_n*n中最小值在RP_n*n中对应的像素值,加入RPm的有益之处在于很多视频图像都可以通过判断误差DFRnp_n*n的最小值,来确定运动的方向,从而运动图像的时域降噪更准确。
S104、根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理。
S104具体可以包括以下步骤:
时空域滤波第一级混合,接收当前点参考帧滤波后的值RPF和当前点空域一级混合后的滤波值CPF1,根据当前点的视频图像的运动误差mdiff_r查权重kt1查找表,自适应地获得时域第一级权重kt1,再根据kt1将RPF和CPF1进行混合计算得到时空域第一级混合的结果RPF1;
时空域滤波第二级混合,接收时空域第一级混合的结果RPF1和当前点空域二级混合后的滤波值CPF2,根据当前点的视频图像的运动误差mdiff_r查表KLUTT2,自适应地获得时域第二级权重kt2,再根据kt2将RPF1和CPF2进行混合计算得到时空域第二级混合的结果RPF2,即降噪后的视频图像。
S105、存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
实施例二:
请参阅图8,本发明实施例二提供的视频图像的降噪装置包括:
运动误差计算模块11,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;
空域降噪处理模块12,用于根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值;
时域降噪处理模块13,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
时空域降噪混合处理模块14,用于根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理;
存储模块15,用于存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
在本发明实施例二中,所述运动误差计算模块具体可以包括:
第一区块提取模块,用于接收当前帧的输入图像数据和参考帧的输入图像数据,分别提取当前帧和参考帧中m0*n0大小的区块,其中m0和n0为自然数;
第一求取区块图像误差值模块,用于利用当前帧和参考帧的区块求取当前点领域内的区块图像误差值Diffm0*n0
滤波模块,用于对图像误差值Diffm0*n0进行滤波,得到当前中心点的运动误差mdiff。
在本发明实施例二中,所述滤波模块具体可以包括:
第一块状滤波模块,用于对图像误差值Diffm0*n0进行块状滤波,得到m1*n1大小的误差分布块Diffm1*n1;m1为小于m0的自然数,n1为小于n0的自然数;
第一中值滤波模块,用于对误差分布块Diffm1*n1中水平方向3个点取中值滤波得到m2*n2的误差分布块Diffm2*n2,其中m2等于m1,n2等于n1-2;
第一最值滤波模块,用于对误差分布块Diffm2*n2水平方向进行最值滤波得到m3*n3的误差分布块Diffm3*n3,其中m3等于m2,n3等于n2-2;
平均误差计算模块,用于计算误差分布块Diffm3*n3的平均误差,求得当前中心点的运动误差mdiff。
在本发明实施例二中,所述运动误差计算模块还可以包括:
精度处理模块,用于对运动误差mdiff作精度处理得到修正后的运动误差mdiffc;
第一IIR滤波模块,用于对修正后的运动误差mdiffc进行无限长脉冲响应IIR滤波得到视频图像的运动误差mdiff_r。
在本发明实施例二中,所述空域降噪处理模块具体可以包括:
第二区块提取模块,用于提取接收的当前帧的输入图像数据m0*k0大小的区块CP_m0*k0,其中m0和k0都是自然数;
空域差分绝对值计算模块,用于用m0*k0大小的区块CP_m0*k0的n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的空域差分绝对值DFC_n*n,其中n为小于m0和k0的自然数;
空域误差计算模块,用于根据空域差分绝对值DFC_n*n和图像的亮度信息计算出校正后的空域误差DFCnp_n*n;
空域滤波权重计算模块,用于根据校正后的空域误差DFCnp_n*n计算得到空域滤波权重WC_n*n;
空域滤波模块,用于根据空域滤波权重WC_n*n计算当前点空域滤波后的值CPF;
空域一级混合模块,用于根据混合系数kf将当前点空域滤波后的值CPF与原始图像输入区块的中心值CP混合计算得到一级混合后的滤波值CPF1,其中kf由系统配置;
空域二级混合模块,用于根据当前点的视频图像的运动误差mdiff_r查权重ks查找表,自适应地获得当前帧进一步混合降噪的权重ks,再根据ks将当前点空域滤波后的值CPF和一级混合后的滤波值CPF1作进一步的混合降噪得到二级混合后的滤波值CPF2,即当前输入点的空域降噪值。
在本发明实施例二中,所述时域降噪处理模块具体可以包括:
第三区块提取模块,用于提取接收的参考帧的输入图像数据m0*k0大小的区块RP_m0*k0,其中m0和k0都是自然数;
时域差分绝对值计算模块,用于用m0*k0大小的区块CP_m0*k0的n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的时域差分绝对值DFR_n*n,其中n为小于m0和k0的自然数;
时域误差计算模块,用于根据时域差分绝对值DFR_n*n和图像的亮度信息计算出校正后的时域误差DFRnp_n*n;
时域滤波权重计算模块,用于根据校正后的时域误差DFRnp_n*n计算得到时域滤波权重WR_n*n;
时域滤波模块,用于根据时域滤波权重WR_n*n计算当前点参考帧滤波后的值RPF,即时域降噪值。
在本发明实施例二中,所述时空域降噪混合处理模块具体可以包括:
时空域一级混合模块,用于时空域滤波第一级混合,接收当前点参考帧滤波后的值RPF和当前点空域一级混合后的滤波值CPF1,根据当前点的视频图像的运动误差mdiff_r查权重kt1查找表,自适应地获得时域第一级权重kt1,再根据kt1将RPF和CPF1进行混合计算得到时空域第一级混合的结果RPF1;
时空域二级混合模块,用于时空域滤波第二级混合,接收时空域第一级混合的结果RPF1和当前点空域二级混合后的滤波值CPF2,根据当前点的视频图像的运动误差mdiff_r查表KLUTT2,自适应地获得时域第二级权重kt2,再根据kt2将RPF1和CPF2进行混合计算得到时空域第二级混合的结果RPF2,即降噪后的视频图像。
在本发明实施例中,由于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差,因此得到的视频图像的运动误差比较准确,以比较准确的运动误差控制空域降噪和时域降噪的混合权重,从而得到较好的图像降噪效果而不会引起清晰度降低和图像拖尾等现象。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频图像的降噪方法,其特征在于,所述方法包括:
根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;
根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值;
根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理;
存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
2.如权利要求1所述的方法,其特征在于,所述根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差具体包括:
接收当前帧的输入图像数据和参考帧的输入图像数据,分别提取当前帧和参考帧中m0*n0大小的区块,其中m0和n0为自然数;
利用当前帧和参考帧的区块求取当前点领域内的区块图像误差值Diffm0*n0
对图像误差值Diffm0*n0进行滤波,得到当前中心点的运动误差mdiff。
3.如权利要求2所述的方法,其特征在于,所述对图像误差值Diffm0*n0进行滤波,得到当前中心点的运动误差mdiff具体包括:
对图像误差值Diffm0*n0进行块状滤波,得到m1*n1大小的误差分布块Diffm1*n1;m1为小于m0的自然数,n1为小于n0的自然数;
对误差分布块Diffm1*n1中水平方向至少3个点取中值滤波得到m2*n2的误差分布块Diffm2*n2,其中m2等于m1,n2等于n1-2;
对误差分布块Diffm2*n2水平方向进行最值滤波得到m3*n3的误差分布块Diffm3*n3,其中m3等于m2,n3等于n2-2;
计算误差分布块Diffm3*n3的平均误差,求得当前中心点的运动误差mdiff。
4.如权利要求3所述的方法,其特征在于,所述计算误差分布块Diffm3*n3的平均误差,求得当前中心点的运动误差mdiff后,所述方法还包括:
对运动误差mdiff作精度处理得到修正后的运动误差mdiffc;
对修正后的运动误差mdiffc进行无限长脉冲响应IIR滤波得到视频图像的运动误差mdiff_r。
5.如权利要求4所述的方法,其特征在于,所述根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值具体包括:
提取接收的当前帧的输入图像数据m0*k0大小的区块CP_m0*k0,其中m0和k0都是自然数;
m0*k0大小的区块CP_m0*k0的中心窗口为n*n大小的窗口,用n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的空域差分绝对值DFC_n*n,其中n为小于m0和k0的自然数;
根据空域差分绝对值DFC_n*n和图像的亮度信息计算出校正后的空域误差DFCnp_n*n;
根据校正后的空域误差DFCnp_n*n计算得到空域滤波权重WC_n*n;
根据空域滤波权重WC_n*n计算当前点空域滤波后的值CPF;
根据混合系数kf将当前点空域滤波后的值CPF与原始图像输入区块的中心值CP混合计算得到一级混合后的滤波值CPF1,其中kf由系统配置;
根据当前点的视频图像的运动误差mdiff_r查权重ks查找表,自适应地获得当前帧进一步混合降噪的权重ks,再根据ks将当前点空域滤波后的值CPF和一级混合后的滤波值CPF1作进一步的混合降噪得到二级混合后的滤波值CPF2,即当前输入点的空域降噪值。
6.如权利要求5所述的方法,其特征在于,所述根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值具体包括:
提取接收的参考帧的输入图像数据m0*k0大小的区块RP_m0*k0,其中m0和k0都是自然数;
m0*k0大小的区块CP_m0*k0的中心窗口为n*n大小的窗口,用n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的时域差分绝对值DFR_n*n,其中n为小于m0和k0的自然数;
根据时域差分绝对值DFR_n*n和图像的亮度信息计算出校正后的时域误差DFRnp_n*n;
根据校正后的时域误差DFRnp_n*n计算得到时域滤波权重WR_n*n;
根据时域滤波权重WR_n*n计算当前点参考帧滤波后的值RPF,即时域降噪值。
7.如权利要求6所述的方法,其特征在于,所述根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理具体包括:
时空域滤波第一级混合,接收当前点参考帧滤波后的值RPF和当前点空域一级混合后的滤波值CPF1,根据当前点的视频图像的运动误差mdiff_r查权重kt1查找表,自适应地获得时域第一级权重kt1,再根据kt1将RPF和CPF1进行混合计算得到时空域第一级混合的结果RPF1;
时空域滤波第二级混合,接收时空域第一级混合的结果RPF1和当前点空域二级混合后的滤波值CPF2,根据当前点的视频图像的运动误差mdiff_r查表KLUTT2,自适应地获得时域第二级权重kt2,再根据kt2将RPF1和CPF2进行混合计算得到时空域第二级混合的结果RPF2,即降噪后的视频图像。
8.一种视频图像的降噪装置,其特征在于,所述装置包括:
运动误差计算模块,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和参考帧的运动误差计算视频图像的运动误差;
空域降噪处理模块,用于根据接收的当前帧的输入图像数据计算空域上的图像误差得到空域降噪的权重,根据空域降噪的权重和接收的视频图像的运动误差计算得到当前输入点的空域降噪值;
时域降噪处理模块,用于根据接收的当前帧的输入图像数据、参考帧的输入图像数据和视频图像的运动误差,计算得到时域的图像误差信息,并根据时域的图像误差信息和视频图像的运动误差计算得到时域降噪值;
时空域降噪混合处理模块,用于根据接收的视频图像的运动误差对接收的时域降噪值和空域降噪值进行混合,计算得到降噪后的视频图像供后续图像处理单元处理;
存储模块,用于存储降噪后的视频图像以作为下一帧的参考帧的输入图像数据,存储视频图像的运动误差以作为下一帧的参考帧的运动误差。
9.如权利要求8所述的装置,其特征在于,所述运动误差计算模块具体包括:
第一区块提取模块,用于接收当前帧的输入图像数据和参考帧的输入图像数据,分别提取当前帧和参考帧中m0*n0大小的区块,其中m0和n0为自然数;
第一求取区块图像误差值模块,用于利用当前帧和参考帧的区块求取当前点领域内的区块图像误差值Diffm0*n0
滤波模块,用于对图像误差值Diffm0*n0进行滤波,得到当前中心点的运动误差mdiff。
10.如权利要求9所述的装置,其特征在于,所述滤波模块具体包括:
第一块状滤波模块,用于对图像误差值Diffm0*n0进行块状滤波,得到m1*n1大小的误差分布块Diffm1*n1;m1为小于m0的自然数,n1为小于n0的自然数;
第一中值滤波模块,用于对误差分布块Diffm1*n1中水平方向3个点取中值滤波得到m2*n2的误差分布块Diffm2*n2,其中m2等于m1,n2等于n1-2;
第一最值滤波模块,用于对误差分布块Diffm2*n2水平方向进行最值滤波得到m3*n3的误差分布块Diffm3*n3,其中m3等于m2,n3等于n2-2;
平均误差计算模块,用于计算误差分布块Diffm3*n3的平均误差,求得当前中心点的运动误差mdiff。
11.如权利要求10所述的装置,其特征在于,所述运动误差计算模块还包括:
精度处理模块,用于对运动误差mdiff作精度处理得到修正后的运动误差mdiffc;
第一IIR滤波模块,用于对修正后的运动误差mdiffc进行无限长脉冲响应IIR滤波得到视频图像的运动误差mdiff_r。
12.如权利要求11所述的装置,其特征在于,所述空域降噪处理模块具体包括:
第二区块提取模块,用于提取接收的当前帧的输入图像数据m0*k0大小的区块CP_m0*k0,其中m0和k0都是自然数;
空域差分绝对值计算模块,用于用m0*k0大小的区块CP_m0*k0的n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的空域差分绝对值DFC_n*n,其中n为小于m0和k0的自然数;
空域误差计算模块,用于根据空域差分绝对值DFC_n*n和图像的亮度信息计算出校正后的空域误差DFCnp_n*n;
空域滤波权重计算模块,用于根据校正后的空域误差DFCnp_n*n计算得到空域滤波权重WC_n*n;
空域滤波模块,用于根据空域滤波权重WC_n*n计算当前点空域滤波后的值CPF;
空域一级混合模块,用于根据混合系数kf将当前点空域滤波后的值CPF与原始图像输入区块的中心值CP混合计算得到一级混合后的滤波值CPF1,其中kf由系统配置;
空域二级混合模块,用于根据当前点的视频图像的运动误差mdiff_r查权重ks查找表,自适应地获得当前帧进一步混合降噪的权重ks,再根据ks将当前点空域滤波后的值CPF和一级混合后的滤波值CPF1作进一步的混合降噪得到二级混合后的滤波值CPF2,即当前输入点的空域降噪值。
13.如权利要求12所述的装置,其特征在于,所述时域降噪处理模块具体包括:
第三区块提取模块,用于提取接收的参考帧的输入图像数据m0*k0大小的区块RP_m0*k0,其中m0和k0都是自然数;
时域差分绝对值计算模块,用于用m0*k0大小的区块CP_m0*k0的n*n大小的中心窗口与其领域内的总共n*n个大小为n*n的其他窗口分别相减求绝对值,计算得到对应像素的时域差分绝对值DFR_n*n,其中n为小于m0和k0的自然数;
时域误差计算模块,用于根据时域差分绝对值DFR_n*n和图像的亮度信息计算出校正后的时域误差DFRnp_n*n;
时域滤波权重计算模块,用于根据校正后的时域误差DFRnp_n*n计算得到时域滤波权重WR_n*n;
时域滤波模块,用于根据时域滤波权重WR_n*n计算当前点参考帧滤波后的值RPF,即时域降噪值。
14.如权利要求13所述的装置,其特征在于,所述时空域降噪混合处理模块具体包括:
时空域一级混合模块,用于时空域滤波第一级混合,接收当前点参考帧滤波后的值RPF和当前点空域一级混合后的滤波值CPF1,根据当前点的视频图像的运动误差mdiff_r查权重kt1查找表,自适应地获得时域第一级权重kt1,再根据kt1将RPF和CPF1进行混合计算得到时空域第一级混合的结果RPF1;
时空域二级混合模块,用于时空域滤波第二级混合,接收时空域第一级混合的结果RPF1和当前点空域二级混合后的滤波值CPF2,根据当前点的视频图像的运动误差mdiff_r查表KLUTT2,自适应地获得时域第二级权重kt2,再根据kt2将RPF1和CPF2进行混合计算得到时空域第二级混合的结果RPF2,即降噪后的视频图像。
CN201611225929.XA 2016-12-27 2016-12-27 一种视频图像的降噪方法及装置 Active CN109410124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611225929.XA CN109410124B (zh) 2016-12-27 2016-12-27 一种视频图像的降噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611225929.XA CN109410124B (zh) 2016-12-27 2016-12-27 一种视频图像的降噪方法及装置

Publications (2)

Publication Number Publication Date
CN109410124A true CN109410124A (zh) 2019-03-01
CN109410124B CN109410124B (zh) 2022-04-05

Family

ID=65453938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611225929.XA Active CN109410124B (zh) 2016-12-27 2016-12-27 一种视频图像的降噪方法及装置

Country Status (1)

Country Link
CN (1) CN109410124B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443760A (zh) * 2019-07-10 2019-11-12 深圳市安健科技股份有限公司 图像降噪方法及计算机可读存储介质
CN110490811A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
CN110944176A (zh) * 2019-12-05 2020-03-31 浙江大华技术股份有限公司 图像帧降噪方法和计算机存储介质
CN111770243A (zh) * 2020-08-04 2020-10-13 深圳市精锋医疗科技有限公司 内窥镜的图像处理方法、装置、存储介质
CN112866506A (zh) * 2019-11-08 2021-05-28 海信视像科技股份有限公司 视频图像的时域降噪方法、装置及存储介质
WO2021114592A1 (zh) * 2019-12-12 2021-06-17 腾讯科技(深圳)有限公司 视频降噪方法、装置、终端及存储介质
CN113012061A (zh) * 2021-02-20 2021-06-22 百果园技术(新加坡)有限公司 降噪处理方法、装置及电子设备
CN113315884A (zh) * 2020-02-26 2021-08-27 华为技术有限公司 一种实时视频降噪方法、装置、终端及存储介质
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232712A1 (en) * 2005-04-14 2006-10-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
US20070195199A1 (en) * 2006-02-22 2007-08-23 Chao-Ho Chen Video Noise Reduction Method Using Adaptive Spatial and Motion-Compensation Temporal Filters
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN104735301A (zh) * 2015-04-01 2015-06-24 中国科学院自动化研究所 视频时域去噪装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232712A1 (en) * 2005-04-14 2006-10-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
US20070195199A1 (en) * 2006-02-22 2007-08-23 Chao-Ho Chen Video Noise Reduction Method Using Adaptive Spatial and Motion-Compensation Temporal Filters
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN104735301A (zh) * 2015-04-01 2015-06-24 中国科学院自动化研究所 视频时域去噪装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIWEI GUO ET AL: "Temporal Video Denoising Based on Multihypothesis Motion Compensation", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
游青艳: "基于时空域的网络监控视频去噪研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490811A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
CN110490811B (zh) * 2019-05-31 2022-09-09 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
WO2020238970A1 (zh) * 2019-05-31 2020-12-03 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
CN110443760B (zh) * 2019-07-10 2022-03-15 深圳市安健科技股份有限公司 图像降噪方法及计算机可读存储介质
CN110443760A (zh) * 2019-07-10 2019-11-12 深圳市安健科技股份有限公司 图像降噪方法及计算机可读存储介质
CN112866506B (zh) * 2019-11-08 2023-08-15 海信视像科技股份有限公司 视频图像的时域降噪方法、装置及存储介质
CN112866506A (zh) * 2019-11-08 2021-05-28 海信视像科技股份有限公司 视频图像的时域降噪方法、装置及存储介质
CN110944176B (zh) * 2019-12-05 2022-03-22 浙江大华技术股份有限公司 图像帧降噪方法和计算机存储介质
CN110944176A (zh) * 2019-12-05 2020-03-31 浙江大华技术股份有限公司 图像帧降噪方法和计算机存储介质
WO2021114592A1 (zh) * 2019-12-12 2021-06-17 腾讯科技(深圳)有限公司 视频降噪方法、装置、终端及存储介质
US12094085B2 (en) 2019-12-12 2024-09-17 Tencent Technology (Shenzhen) Company Limited Video denoising method and apparatus, terminal, and storage medium
CN113315884A (zh) * 2020-02-26 2021-08-27 华为技术有限公司 一种实时视频降噪方法、装置、终端及存储介质
CN111770243A (zh) * 2020-08-04 2020-10-13 深圳市精锋医疗科技有限公司 内窥镜的图像处理方法、装置、存储介质
CN113012061A (zh) * 2021-02-20 2021-06-22 百果园技术(新加坡)有限公司 降噪处理方法、装置及电子设备
CN116912132A (zh) * 2023-09-11 2023-10-20 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置
CN116912132B (zh) * 2023-09-11 2023-12-26 归芯科技(深圳)有限公司 Bayer域3DNR图像去噪方法及其装置

Also Published As

Publication number Publication date
CN109410124B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN109410124A (zh) 一种视频图像的降噪方法及装置
Hung et al. Robust soft-decision interpolation using weighted least squares
CN106251318B (zh) 一种序列图像的去噪装置及方法
CN111738953A (zh) 一种基于边界感知对抗学习的大气湍流退化图像复原方法
US20110299597A1 (en) Image processing method using motion estimation and image processing apparatus
CN102132554A (zh) 用于高效视频处理的方法和系统
CN103369209A (zh) 视频降噪装置及方法
KR20060076176A (ko) 비디오 시퀀스에서 시간적 잡음 제거 방법 및 시스템
Zhang et al. Decision-based non-local means filter for removing impulse noise from digital images
US20230368493A1 (en) Method and system of image hashing object detection for image processing
CN108198198A (zh) 基于小波变换和导向滤波的单帧红外小目标检测方法
CN107403134A (zh) 基于局部梯度三边的图域多尺度红外弱小目标检测方法
CN109993797A (zh) 门窗位置检测方法及装置
CN111539948A (zh) 视频质量评估的方法、装置、电子设备及存储介质
CN112991197A (zh) 一种基于暗通道的细节保留的低照度视频增强方法及装置
CN109934789A (zh) 图像去噪方法、装置及电子设备
Jia et al. Research on the decomposition and fusion method for the infrared and visible images based on the guided image filtering and Gaussian filter
CN105991900B (zh) 噪声检测方法和去噪方法
CN100566400C (zh) 用于对半帧的行间像点进行插值的方法和装置
CN117876333A (zh) 一种提高宫颈癌液基细胞筛查分析中细胞核分割准确率的方法
CN108876736A (zh) 一种基于fpga的图像阶梯效应消除方法
CN116071259A (zh) 一种基于二次引导滤波的红外图像增强方法
CN113822835B (zh) 一种易于硬件实现的图像清晰度评价方法
Abid et al. A new adaptive vector median rational hybrid filter for impulsive noise suppression
CN114584832A (zh) 视频自适应多尺寸动态播放方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant