CN103632352A - 一种噪声图像的时域降噪方法和相关装置 - Google Patents

一种噪声图像的时域降噪方法和相关装置 Download PDF

Info

Publication number
CN103632352A
CN103632352A CN201310535703.XA CN201310535703A CN103632352A CN 103632352 A CN103632352 A CN 103632352A CN 201310535703 A CN201310535703 A CN 201310535703A CN 103632352 A CN103632352 A CN 103632352A
Authority
CN
China
Prior art keywords
pixel
pixel point
noise
value
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310535703.XA
Other languages
English (en)
Other versions
CN103632352B (zh
Inventor
陈海
张锋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Gaohang Intellectual Property Operation Co ltd
Ningbo Nuoshi Intelligent Technology Co ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310535703.XA priority Critical patent/CN103632352B/zh
Publication of CN103632352A publication Critical patent/CN103632352A/zh
Priority to KR1020167011294A priority patent/KR101766705B1/ko
Priority to EP14858101.0A priority patent/EP3046072B1/en
Priority to PCT/CN2014/086885 priority patent/WO2015062374A1/zh
Priority to JP2016527275A priority patent/JP6169276B2/ja
Priority to US15/143,190 priority patent/US9721330B2/en
Application granted granted Critical
Publication of CN103632352B publication Critical patent/CN103632352B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例公开了一种噪声图像的时域降噪方法和相关装置。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。

Description

一种噪声图像的时域降噪方法和相关装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种噪声图像的时域降噪方法和相关装置。
背景技术
随着图像显示设备的日益发展,人们对于高质量、高清晰的图像信息要求越来越高。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,因此也常将这种受到噪声干扰的数字图像称之为含噪图像或噪声图像,噪声会导致数字图像的分辨率降低,影响图像的显示细节,对于图像的后续处理极为不利,因此有效的抑制噪声对于图像应用有着至关重要的作用。图像降噪在视频处理系统中具有重要的意义,在电视系统中,去隔行消锯齿、图像缩放都需要系统提供无噪或者噪声较小的图像作为输入图像信息;在监控系统中,图像降噪也是提高监控图像质量的主要方法。
时域降噪(Temporal Noise Reduction,TNR)是图像降噪的重要的技术方法,现有技术中常用的时域降噪方法可以通过如下方式实现:
pixeltnr(x,y,t)=pixeltnr(x,y,t-△t)×alpha+pixel(x,y,t)×(1-alpha),
其中,pixel表示原始噪声图像,pixeltnr为经过时域降噪后得到的图像,在数字图像中上述各变量均由离散变量代替,x,y为二维空间坐标,t为一维时间坐标,x、y确定了所表示像素的位置,t代表当前图像在图像序列中的位置,即帧数,△t为时间偏移量,△t常取为1。alpha∈[0,1],alpha为融合(blending)系数,用于决定降噪强度,若alpha越大降噪强度就越大,反之亦然。
现有技术的TNR主要是基于动静判决进行的时域降噪,根据帧差大小判断对应图像内容的运动级别(Movement Level),并由此选择对应的融合系数,当帧差越小时认为对应的运动级别越小,运动趋势为趋向于静止,选取的融合系数alpha也就越大,反之亦然。
本发明的发明人在实现本发明的过程中发现:基于动静判决的TNR仅利用帧差作为判断图像是否发生运动的依据,根据判断结果选取相应的融合系数,但是只利用帧差做图像运动的判决依据容易造成误检测,若将运动图像判决为静止图像,会造成图像的拖尾和细节丢失,若将静止图像判决为运动图像,对于噪声较大时的图像会导致降噪效果较弱,故无法适应于不同的噪声场景。
发明内容
本发明实施例提供了一种噪声图像的时域降噪方法和相关装置,用于实现对噪声图像的降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种噪声图像的时域降噪方法,包括:
获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域;
若所述第一像素点处于运动区域,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
若所述第一像素点处于静止区域,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,然后根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述第二帧差阈值大于所述第一帧差阈值,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
结合第一方面,在第一方面的第一种可能的实现方式中,所述获取噪声图像的第一分块的量化噪声,包括:
将所述第一分块划分为多个子块,每个子块包括有多个像素点;
获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,包括:
判断所述第一子块中的各个像素点是否处于平坦区域;
获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述判断所述第一子块中的各个像素点是否处于平坦区域,包括:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以所述第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
其中,若所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核计算所述第一像素点的边缘估计值,包括:
通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值,包括:
通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
结合第一方面的第一种可能的实现方式,在第一方面的第五种可能的实现方式中,所述获取所述第一子块中所有像素点的量化噪声,包括:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
结合第一方面,在第一方面的第六种可能的实现方式中,所述根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,包括:
根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置;
根据所述第一分块的量化噪声获取所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量;
根据所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一分块中除所述第一像素点以外的其它像素点的像素值,对所述第一分块中除所述第一像素点以外的其它像素点进行运动检测,得到所述第一分块中除所述第一像素点以外的其它像素点在下一帧的像素位置。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置,包括:
根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量,包括:
通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
结合第一方面的第六种可能的实现方式,在第一方面的第九种可能的实现方式中,所述获取噪声图像的第一分块的量化噪声之后,还包括:
获取所述噪声图像的所有分块共N个的量化噪声;
将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级;
所述根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量,包括:
提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
结合第一方面,在第一方面的第十种可能的实现方式中,所述根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域,包括:
根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
结合第一方面,在第一方面的第十一种可能的实现方式中,所述根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,包括:
判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
结合第一方面,在第一方面的第十二种可能的实现方式中,所述根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,包括:
通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
结合第一方面,在第一方面的第十三种可能的实现方式中,所述根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,包括:
通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
第二方面,本发明实施例还提供一种噪声图像的时域降噪装置,包括:
噪声获取模块,用于噪声获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
运动估计模块,用于根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置、运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
动静判决模块,用于根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域,若所述第一像素点处于运动区域,触发执行第一融合系数选取模块和第一时域降噪模块,若所述第一像素点处于静止区域,触发执行第二融合系数选取模块和第二时域降噪模块,其中,
所述第一融合系数选取模块,用于当所述第一像素点处于运动区域时,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值;
所述第一时域降噪模块,用于根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
所述第二融合系数选取模块,用于当所述第一像素点处于静止区域时,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值,所述第二帧差阈值大于所述第一帧差阈值;
所述第二时域降噪模块,用于根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
结合第一方面,在第一方面的第一种可能的实现方式中,所述噪声获取模块,包括:
子块划分子模块,用于将所述第一分块划分为多个子块,每个子块包括有多个像素点;
量化噪声获取子模块,用于获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
分块噪声获取子模块,用于对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述量化噪声获取子模块,包括:
区域判断单元,用于判断所述第一子块中的各个像素点是否处于平坦区域;
平坦区域量化值获取单元,用于获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
子块量化值获取单元,用于根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述区域判断单元,包括:
像素值获取子单元,用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以所述第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
边缘估计子单元,用于根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
边缘区域判断子单元,用于判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
纹理估计子单元,用于根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
纹理区域判断子单元,用于判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
平坦区域判断子单元,用于当所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述边缘估计子单元,具体用于通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述纹理估计子单元,具体用于通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
所述平坦区域判断子单元,用于通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
结合第一方面的第一种可能的实现方式,在第一方面的第五种可能的实现方式中,所述量化噪声获取子模块,具体用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
结合第一方面,在第一方面的第六种可能的实现方式中,所述运动估计模块,包括:
抗噪量获取子模块,用于根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
运动检测子模块,用于根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述运动检测子模块,包括:
亮度计算单元,用于根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
水平梯度计算单元,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
垂直梯度计算单元,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
相似性匹配量计算单元,用于根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
像素位置计算单元,用于计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述亮度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述水平梯度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述垂直梯度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述相似性匹配量计算单元,具体用于通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
结合第一方面的第六种可能的实现方式,在第一方面的第九种可能的实现方式中,所述噪声获取模块,还用于获取所述噪声图像的所有分块共N个的量化噪声;将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级;
所述抗噪量获取子模块,具体用于提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
结合第一方面,在第一方面的第十种可能的实现方式中,所述动静判决模块,包括:
统计子模块,用于根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
动静判决子模块,用于判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
静止判定子模块,用于若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
运动判定子模块,用于若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
结合第一方面,在第一方面的第十一种可能的实现方式中,所述第一融合系数选取模块,包括:
第一帧差判断子模块,用于判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
第一选取子模块,用于若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
第二选取子模块,用于若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
结合第一方面,在第一方面的第十二种可能的实现方式中,所述第一时域降噪模块,具体用于通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
结合第一方面,在第一方面的第十三种可能的实现方式中,所述第二时域降噪模块,具体用于通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
结合第二方面,在第二方面的第一种可能的实现方式中,
从以上技术方案可以看出,本发明实施例具有以下优点:
在本发明实施例中,将噪声图像划分为多个分块,首先获取其中第一分块的量化噪声,然后根据该第一分块的量化噪声检测运动估计邻域内所有像素点分别从当前帧的像素位置移动到下一帧的像素位置,接下来根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断第一像素点处于运动区域还是静止区域,最后对于第一像素点处于动静区域的不同判决分别设置适应于动静不同区域的帧差阈值,并采用适用于动静不同区域的帧差计算方式和前一帧像素值计算方式,最后根据针对第一像素点的运动估计结果选取的融合系数和前一帧的像素值、第一像素点在当前帧的像素值选取适用于动静不同区域的降噪融合方式。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种噪声图像的时域降噪方法的流程方框示意图;
图2为本发明实施例中一种噪声等级与亮度抗噪量的正相关关系示意图;
图3为本发明实施例中一种噪声等级与融合系数的正相关关系示意图;
图4为本发明实施例提供的一种融合系数与帧差的关系示意图;
图5为基于光流法的运动估计与补偿的TNR的实现流程示意图;
图6为本发明实施例提供的另一种融合系数与帧差的关系示意图;
图7为基于光流法判定为静止区域的TNR的实现流程示意图;
图8为本发明实施例中一种噪声图像的时域降噪方法的总体流程示意图;
图9为本发明实施例提供的对噪声图像进行分块的示意图;
图10为本发明实施例提供的一种索贝尔边缘卷积核的取值情况示意图;
图11-a为本发明实施例提供的噪声图像的分块的量化噪声取值的累积直方图;
图11-b为对累积直方图的说明示意图;
图12为本发明实施例提供的第一像素点从当前帧过度到下一帧的位置变化示意图;
图13为本发明实施例提供的运动估计邻域的实现方式示意图;
图14-a为本发明实施例提供的第一像素点处于运动区域的噪声图像示意图;
图14-b为本发明实施例提供的第一像素点处于静止区域的噪声图像示意图;
图15-a为本发明实施例提供的一种噪声图像的时域降噪装置的组成结构示意图;
图15-b为本发明实施例提供的一种噪声获取模块的组成结构示意图;
图15-c为本发明实施例提供的一种量化噪声获取子模块的组成结构示意图;
图15-d为本发明实施例提供的一种区域判断单元的组成结构示意图;
图15-e为本发明实施例提供的一种运动估计模块的组成结构示意图;
图15-f为本发明实施例提供的一种运动检测子模块的组成结构示意图;
图15-g为本发明实施例提供的一种动静判决模块的组成结构示意图;
图15-h为本发明实施例提供的一种第一融合系数选取模块的组成结构示意图;
图16为本发明实施例提供的另一种噪声图像的时域降噪装置的组成结构示意图。
具体实施方式
本发明实施例提供了一种噪声图像的时域降噪方法和相关装置,用于实现对噪声图像的降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域的技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明移动设备的噪声图像的时域降噪方法的一个实施例,可以包括:获取噪声图像的第一分块的量化噪声,上述第一分块为上述噪声图像划分为多个分块中的任意一个分块;根据上述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,上述运动估计邻域包括以上述第一像素点为中心的相邻像素点,上述第一像素点为上述第一分块中的任意一个像素点;根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断上述第一像素点处于运动区域还是静止区域;若上述第一像素点处于运动区域,根据上述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,然后根据上述第一融合系数、上述第一像素点在当前帧的像素值和上述第一像素点在前一帧的运动补偿像素值计算上述第一像素点对应的第一降噪像素值,上述第一帧差为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的运动补偿像素值之间的差值,上述运动补偿像素值为上述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;若上述第一像素点处于静止区域,根据上述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,然后根据上述第二融合系数、上述第一像素点在当前帧的像素值和上述第一像素点在前一帧的降噪像素值计算上述第一像素点对应的第二降噪像素值,上述第二帧差阈值大于上述第一帧差阈值,上述第二帧差为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的降噪像素值之间的差值,上述降噪像素值为上述第一像素点在前一帧的降噪像素点对应位置的像素值。
请参阅图1所示,本发明一个实施例提供的噪声图像的时域降噪方法,可以包括如下步骤:
101、获取噪声图像的第一分块的量化噪声。
其中,上述第一分块为上述噪声图像划分为多个分块中的任意一个分块。
在本发明实施例中,数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,因此将这种受到噪声干扰的数字图像称之为噪声图像。本发明实施例中首先将噪声图像划分为多个分块,则每个分块的图像在数字化和传输过程中导致的噪声干扰可能不同,需要针对各个分块的不同实际情况分别计算其量化噪声,本发明实施例中以对第一分块所包括的第一像素点为例来说明如何对噪声图像进行时域降噪,当然对于噪声图像的其它分块包括的像素点的处理过程也可以参照对第一像素点的处理方法。
在本发明的一些实施例中,对噪声图像划分对多个分块之后,使用第一分块包括的像素点的像素值来获取该噪声图像的第一分块的量化噪声,在实际应用中有多种实现方式,例如,步骤101获取噪声图像的第一分块的量化噪声,具体可以包括如下步骤:
A1、将上述第一分块划分为多个子块,每个子块包括有多个像素点;
A2、获取第一子块中所有像素点的量化噪声,根据上述第一子块中所有像素点的量化噪声获取上述第一子块的量化噪声,其中,上述第一子块为上述第一分块中的任意一个子块;分别获取第一分块中除第一子块以外的所有子块的量化噪声;
A3、对上述第一分块中所有子块的量化噪声计算平均量化噪声,将上述平均量化噪声作为上述第一分块的量化噪声,或,对上述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为上述第一分块的量化噪声。
对于步骤A1,噪声图像的第一分块被划分为多个子块,则噪声图像的第一分块中包括的所有像素点被划分到各个子块中,步骤A2中描述的是对第一分块包括的第一子块的量化噪声的计算以及第一分块中除第一子块以外的所有子块的量化噪声的计算,计算出第一分块中所有子块的量化噪声之后,步骤A3中计算第一分块的量化噪声有两种不同的实现方式,第一种是通过对所有子块的量化噪声取其均值,作为第一分块的量化噪声,第二种是对所有子块的量化噪声进行分段累积,制作成累积直方图,然后设置一个噪声阈值,对于该累积直方图下大于该噪声阈值的量化噪声作为第一分块的量化噪声。
在本发明的另一些实施例中,步骤A2获取所述第一子块中所有像素点的量化噪声,包括:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
在本发明的另一些实施例中,步骤A2根据上述第一子块中所有像素点的量化噪声获取上述第一子块的量化噪声,具体可以包括如下步骤:
A21、判断上述第一子块中的各个像素点是否处于平坦区域;
A22、获取上述第一子块中处于平坦区域的所有像素点的量化噪声;
A23、根据上述第一子块中处于平坦区域的所有像素点的量化噪声计算上述第一子块的量化噪声。
其中,步骤A21中在判断第一子块中的像素点是否处于平坦区域时,可以对第一子块包括的所有像素点划分为三类:第一类是处于平坦区域的像素点,第二类是处于边缘区域的像素点,第三类是处于纹理区域的像素点,则计算第一子块的量化噪声时可以忽略处于纹理区域的像素点和处于边缘区域的像素点,只将第一子块中处于平坦区域的像素点用来计算第一子块的量化噪声,例如步骤A23中可以获取第一子块中处于平坦区域的所有像素点的量化噪声的最小值,将该最小的量化噪声作为第一子块的量化噪声,也可以获取第一子块中处于平坦区域的像素点的量化噪声的平均值,将该平均值作为第一子块的量化噪声。
在本发明的另一些实施例中,步骤A21判断第一子块中的各个像素点是否处于平坦区,具体可以包括如下步骤:
A211、获取噪声估计邻域内所有像素点的像素值,上述噪声估计邻域为以第一像素点为中心用于确定上述第一像素点的量化噪声的相邻像素点,其中第一像素点为第一子块中的任意一个像素点;
A212、根据噪声估计邻域内所有像素点的像素值和索贝尔(sobel)边缘卷积核,计算上述第一像素点的边缘估计值;
A213、判断上述第一像素点的边缘估计值是否大于边缘区域阈值,若第一像素点的边缘估计值大于边缘区域阈值,判定上述第一像素点处于边缘区域,若第一像素点的边缘估计值小于或等于边缘区域阈值,判定上述第一像素点未处于边缘区域;
A214、根据上述噪声估计邻域内所有像素点的像素值计算上述第一像素点的纹理估计值;
A215、判断上述第一像素点的纹理估计值是否大于纹理区域阈值,若第一像素点的纹理估计值大于纹理区域阈值,判定上述第一像素点处于纹理区域,若第一像素点的纹理估计值小于或等于纹理区域阈值,判定上述第一像素点未处于纹理区域;
其中,若上述第一像素点同时满足如下条件:上述第一像素点未处于边缘区域和上述第一像素点未处于纹理区域,则上述第一像素点处于平坦区域。
其中,边缘区域阈值和纹理区域阈值需要根据具体的应用场景来设定,具体的取值方式可以根据实际的应用场景来决定。
具体的,步骤A212根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核计算所述第一像素点的边缘估计值,包括:
通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
A214所述根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值,包括:
通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
需要说明的是,在本发明实施例中,步骤101获取噪声图像的第一分块的量化噪声之后,还可以包括如下步骤:
获取上述噪声图像的所有分块共N个的量化噪声;
将N个分块的量化噪声与预置的N个量化阈值进行比较,将上述N个分块的量化噪声划分为(N+1)个噪声等级。
其中,N为非零自然数,例如,N取值为7,将噪声图像共划分为7个分块,根据前述获取第一分块的量化噪声的方法,分别计算出噪声图像的第二分块的量化噪声、第三分块的量化噪声、第四分块的量化噪声、第五分块的量化噪声、第六分块的量化噪声、第七分块的量化噪声,根据预先设置的7个量化阈值,就可以将7个分块的量化噪声划分为8个噪声等级,分别为Noise_level 0、Noise_level 1、Noise_level 2、Noise_level 3、Noise_level 4、Noise_level 5、Noise_level 6、Noise_level 7。
将噪声图像的每个分块的量化噪声划分到不同的噪声等级后,可以根据对已知噪声图像在噪声环境中的仿真结果设置像素点的多个参量与该噪声等级的关系,具体的,可以以图示的方式展示出来,则通过图示就可以直观的获取噪声等级与参量的比例关系,例如,融合参数与噪声等级的正相关关系,亮度抗噪量与噪声等级的正相关关系,梯度抗噪量与噪声等级的正相关关系等等。
102、根据上述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置。
其中,上述运动估计邻域包括以上述第一像素点为中心的相邻像素点,上述第一像素点为上述第一分块中的任意一个像素点。
在本发明实施例中,为了判断第一像素点从当前帧过度到下一帧时该第一像素点是否发生运动,可以以第一像素点为中心划分出1×n的一个邻域,将该邻域定义为运动估计邻域,运动估计邻域包括被作为中心像素点以及该中心像素点的相邻像素点,例如当n=5时,表示从第一像素点的左边第二个像素点开始直到第一像素点的右边第二个像素点为止,包括第一像素点共有5个像素点组成第一像素点的运动估计邻域。
在划分出第一像素点的运动估计邻域之后,根据第一分块的量化噪声检测第一像素点和该运动估计邻域内的多个像素点分别从当前的像素位置移动到下一帧像素位置,从而判断运动估计邻域内所有像素点分别处于静止区域还是运动区域。
在本发明的一些实施例中,步骤102根据上述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,具体可以包括如下步骤:
B1、根据上述第一像素点所属的第一分块的量化噪声获取上述第一像素点的亮度抗噪量和梯度抗噪量;
B2、根据上述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时上述第一像素点的像素值对上述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置;
B3、根据第一分块的量化噪声获取第一分块中除第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量;
B4、根据第一分块中除第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时第一分块中除第一像素点以外的其它像素点的像素值,对第一分块中除第一像素点以外的其它像素点进行运动检测,得到第一分块中除第一像素点以外的其它像素点在下一帧的像素位置。
需要说明的是,步骤B1和步骤B2描述的是如何检测得到第一像素点在下一帧的像素位置,步骤B3和步骤B4描述的是如何检测得到第一分块中除第一像素点以外的其它像素点在下一帧的像素位置,其中对第一像素点在下一帧的像素位置的检测可以和第一分块中除第一像素点以外的其它像素点在下一帧的像素位置的检测同时进行,也可以先检测第一分块中任何一个像素点在下一帧的像素位置,也可以同时检测第一分块中所有像素点在一下帧的像素位置,此处不做限定,步骤B3和步骤B4、步骤B1和步骤B2的实现方式相类似,接下来对步骤B1和步骤B2进行进一步的详细说明。
需要说明的是,在本发明实施例中,步骤B1根据上述第一像素点所属的第一分块的量化噪声获取上述第一像素点的亮度抗噪量和梯度抗噪量,具体可以包括:
提取上述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取上述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取上述第一像素点的梯度抗噪量。
需要说明的是,当针对噪声图像的所有分块的量化噪声的取值设置有多个噪声等级时,可以根据第一像素点所属的哪个分块(即第一分块)提取出该分块的噪声等级,然后根据噪声等级与亮度抗噪量的正相关关系获取第一像素点的亮度抗噪量,其中,噪声等级与亮度抗噪量的正相关关系具体可以指的是正比例关系或者正比趋势关系,可以根据对已知噪声图像在噪声环境中的仿真结果来设置一个噪声等级与亮度抗噪量的正相关关系示意图,可以通过多个噪声图像在某个具体的噪声环境中图像的变化情况得到经验值,根据该经验值也可以设置噪声等级与亮度抗噪量的正相关关系示意图。请参阅如图2所示,为本发明实施例中一种噪声等级与亮度抗噪量的正相关关系示意图,通过该噪声等级与亮度抗噪量的正相关关系示意图,就可以直观的根据噪声等级获取到亮度抗噪量,例如,噪声等级为3级时,对应于亮度抗噪量(lath)的取值为4,当噪声等级为5级时,对应于亮度抗噪量的取值为14。其中,噪声等级与梯度抗噪量的正相关关系也可以以图示的方式进行实例说明,此处不再赘述。噪声等级与亮度抗噪量的正相关关系示意图需要结合具体的应用场景来灵活设置,此处给出图示意在说明噪声等级和亮度抗噪量的正相关关系的一种实现方式,并不作为所有场景下亮度抗噪量的取值特指情况。
在本发明的另一些实施例中,步骤B2根据上述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时上述第一像素点的像素值对上述第一像素点进行运动检测,得到上述第一像素点在下一帧的像素位置,具体可以包括如下步骤:
B21、根据上述第一像素点的亮度抗噪量计算上述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
B22、根据上述第一像素点的梯度抗噪量计算上述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
B23、根据上述第一像素点的梯度抗噪量计算上述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
B24、根据上述亮度变化值、上述水平方向梯度变化值和上述垂直方向梯度变化值计算上述第一像素点的像素相似性匹配量;
B25、计算上述像素相似性匹配量取得最小值时上述第一像素点在下一帧的像素位置。
其中,步骤B21、B22、B23在计算出亮度变化值、水平方向梯度变化值和垂直方向梯度变化值之后,将亮度变化值、水平方向梯度变化值和垂直方向梯度变化值相加,就可以得到像素相似性匹配量,然后步骤B25对像素相似性匹配量取其最小值(min),则此时就可以计算出第一像素点在下一帧的哪个像素位置时像素相似性匹配量才能取得最小值。
具体的,步骤B21根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
步骤B22所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
步骤B23所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
B24所述根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量,包括:
通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
103、根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断上述第一像素点处于运动区域还是静止区域,若上述第一像素点处于运动区域,触发执行步骤104和步骤105,若上述第一像素点处于静止区域,触发执行步骤106和步骤107。
在本发明实施例中,在检测出运动估计邻域内所有像素点从当前帧的像素位置过度到下一帧的像素位置时是否发生移动之后,将运动估计邻域内的多个像素点划分为处于静止区域或处于运动区域,那么运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况指的是运动估计邻域内的多个像素点在从当前帧到下一帧时是否发生了移动,从而判断出运动估计邻域内的多个像素点处于静止区域还是运动区域。
在本发明的一些实施例中,步骤103根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断上述第一像素点处于运动区域还是静止区域,具体可以包括如下步骤:
C1、根据上述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计上述运动估计邻域内处于静止区域的像素点个数;
C2、判断上述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系,若上述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,执行步骤C3,若上述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,执行步骤C4。
C3、若上述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定上述第一像素点处于静止区域;
C4、若上述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定上述第一像素点处于运动区域。
其中,对于第一像素点的运动估计邻域,若该运动估计邻域内处于静止区域的像素点大于或等于动静判别阈值,则认为该第一像素点同样处于静止区域,若该运动估计邻域内处于静止区域的像素点小于动静判别阈值,则认为该第一像素点处于运动区域,这种使用运动估计邻域来判断第一像素点的动静情况可以提高光流法运动估计的抗噪能力。
需要说明的是,本发明实施例中,预置的动静判别阈值可以设置为一个定值,也可以设置为根据运动估计邻域的大小而调整的值,也可以设置为根据像素点所属的分块的噪声等级而调整的值,具体可以实际的应用场景来设置动静判别阈值,此处不再赘述。
104、若上述第一像素点处于运动区域,根据上述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,然后触发执行步骤105。
其中,上述第一像素点的第一帧差(FD,Frame Difference)为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的运动补偿像素值之间的差值。本发明实施例中针对第一像素点处于运动区域和静止区域的不同,而分别采用适用于动静不同区域的不同的帧差计算方式。
在本发明实施例中,步骤102中检测出第一像素点从当前帧的像素位置移动到下一帧的像素位置后,若第一像素点处于运动区域,就可以根据第一像素点在当前帧的像素位置与第一像素点在前一帧的运动补偿像素值计算出该第一像素点的第一帧差。
在本发明实施例中,针对像素点处于静止区域还是运动区域而分别预置两个不同的帧差阈值,例如,对于处于运动区域的像素点预置第一帧差阈值,对于处于静止区域的像素点预置第二帧差阈值,并且第二帧差阈值大于第一帧差阈值。
本发明实施例中,融合(blending)系数alpha可以决定降噪强度,alpha∈[0,1],当alpha越大时降噪强度越大,当alpha越小时降噪强度就越小。当第一像素点处于运动区域时,选择第一帧差阈值,并以此作为选择融合系数的依据,假设选择出的融合系数为第一融合系数。
在本发明的一些实施例中,步骤104根据上述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,具体可以包括如下步骤:
D1、判断上述第一像素点的第一帧差是否小于预置的第一帧差阈值,若小于或等于第一帧差阈值,执行步骤D2,若大于第一帧差阈值,执行步骤D3;
D2、若上述第一像素点的第一帧差小于或等于上述第一帧差阈值,根据上述第一像素点所属的第一分块的量化噪声选择第一融合系数;
D3、若上述第一像素点的第一帧差大于上述第一帧差阈值,根据上述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据上述第一帧差阈值、上述第一像素点的第一帧差和上述第一帧差权重系数选择第一融合系数。
其中,当第一像素点的第一帧差小于或等于第一帧差阈值时,噪声等级与融合系数成正相关关系,并且噪声等级与融合系数成正相关关系可以图示的方式来直观揭示,可以根据对已知噪声图像在噪声环境中的仿真结果来设置一个噪声等级与融合系数的正相关关系示意图,可以通过多个噪声图像在某个具体的噪声环境中图像的变化情况得到经验值,根据该经验值也可以设置噪声等级与融合系数的正相关关系示意图。请参阅如图3所示,为本发明实施例中一种噪声等级与融合系数的正相关关系示意图,通过该噪声等级与融合系数的正相关关系示意图可以直观的获取到融合系数,图3中noise_level表示噪声等级,alpha_in表示第一融合系数的取值。步骤D1中假设第一像素点的第一帧差为FD,第一帧差阈值为th1,当FD≤th1时,根据噪声等级与融合系数的正相关关系,为第一像素点选择的第一融合系数为alpha_in,根据第一像素点所属的第一分块的噪声等级不同,第一融合系数可以取不同的值。
当第一像素点的第一帧差大于第一帧差阈值时,根据第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,该第一帧差权重系数也可以根据像素点所属分块的噪声等级不同而取不同的值,当噪声等级越高时第一帧差权重系数也取值较大。步骤D3根据上述第一帧差阈值、上述第一像素点的第一帧差和上述第一帧差权重系数选择第一融合系数具体可以通过如下方式来获取:
步骤D1中假设第一像素点的第一帧差为FD,第一帧差阈值为th1,当FD>th1时,第一帧差权重系数为coff,假设当前噪声等级下可以选择的最高融合系数为alpha_in,此时alpha_in为一常数,第一融合系数用alpha来表示,则coff表示的物理含义为alpha取值的变化率,则第一融合系数可以通过如下方式来计算:
alpha=alpha_in-coff×(FD-th1)。
请参阅如图4所示,为本发明实施例提供的一种融合系数与第一帧差的关系示意图,其中,横轴FD表示第一帧差,纵轴alpha表示融合系数,当FD≤th1时,第一融合系数的取值为alpha_in,当FD>th1时,第一融合系数alpha=alpha_in-coff×(FD-th1),coff表示图中所示的斜线的斜率,对于第一像素点所属的第一分块的不同噪声等级,第一帧差权重系数coff有不同的取值,图4中使用不同的虚斜线给出的是几种可能的coff取值情况。
需要指出的是,图4中EXT为阈值扩展,且满足th2=th1+EXT,当帧差FD大于th2时,不进行降噪,即令alpha=0。
105、根据上述第一融合系数、上述第一像素点在当前帧的像素值和上述第一像素点在前一帧的运动补偿像素值计算上述第一像素点对应的第一降噪像素值。
其中,运动补偿像素值为上述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值。
在本发明实施例中,对于第一像素点处于运动区域,选择计算出第一像素点在前一帧的运动补偿像素值进行融合,根据选择的第一融合系数、第一像素点在当前帧的像素值和第一像素点在前一帧的运动补偿像素值计算第一像素点对应的第一降噪像素值。
需要说明的是,在本发明的一些实施例中,第一像素点在前一帧的运动补偿像素值可以通过如下实施例来获取。请参阅如图5所示,为基于光流法匹配的运动估计与补偿的TNR的实现流程示意图,以图像块为单位进行运动估计,根据运动估计结果对前一帧的降噪图像进行运动补偿后得到运动补偿帧,输入时域降噪输出的(T-1)对当前帧的运动补偿(T-1)和直通信号(指的是输入的噪声图像的当前帧),再根据帧差信息决定融合系数,结合选取的融合系数和该运动补偿帧与当前帧的噪声图像进行融合,从而完成对噪声图像的降噪处理。
在本发明的一些实施例中,步骤105根据上述第一融合系数、上述第一像素点在当前帧的像素值和上述第一像素点在前一帧的运动补偿像素值计算上述第一像素点对应的第一降噪像素值,具体可以包括:
通过如下方式计算第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,TNR Output(T)_fir为第一像素点对应的第一降噪像素值,TNR Output_mc(T-1)为上述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,alpha_fir为第一融合系数,Frame Input(T)为第一像素点在当前帧的像素值。
106、若上述第一像素点处于静止区域,根据上述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,然后触发执行步骤107。
其中,上述第二帧差阈值大于上述第一帧差阈值。第二帧差为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的降噪像素值之间的差值。
在本发明实施例中,针对像素点处于静止区域还是运动区域而分别预置两个不同的帧差阈值,例如,对于处于运动区域的像素点预置第一帧差阈值,对于处于静止区域的像素点预置第二帧差阈值,并且第二帧差阈值大于第一帧差阈值。
本发明实施例中,融合系数alpha可以决定降噪强度,alpha∈[0,1],当alpha越大时降噪强度越大,当alpha越小时降噪强度就越小。当第一像素点处于静止区域时,选择第二帧差阈值,并以此作为选择融合系数的依据,假设选择出的融合系数为第二融合系数。
在本发明的一些实施例中,步骤106根据上述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,具体可以包括如下步骤:
E1、判断上述第一像素点的第二帧差是否小于预置的第二帧差阈值,若小于或等于第二帧差阈值,执行步骤E2,若大于第二帧差阈值,执行步骤E3;
E2、若上述第一像素点的第二帧差小于或等于上述第二帧差阈值,根据上述第一像素点所属的第一分块的量化噪声选择第二融合系数;
E3、若上述第一像素点的第二帧差大于上述第二帧差阈值,根据上述第一像素点所属的第一分块的量化噪声选择第二帧差权重系数,根据上述第二帧差阈值、上述第一像素点的第二帧差和上述第二帧差权重系数选择第二融合系数。
其中,当第一像素点的第二帧差小于或等于第二帧差阈值时,噪声等级与融合系数成正相关关系,并且噪声等级与融合系数成正相关关系可以图示的方式来直观揭示,可以根据对已知噪声图像在噪声环境中的仿真结果来设置一个噪声等级与融合系数的正相关关系示意图,可以通过多个噪声图像在某个具体的噪声环境中图像的变化情况得到经验值,根据该经验值也可以设置噪声等级与融合系数的正相关关系示意图,噪声等级与融合系数的正相关关系示意图与前述的图3相类似,不同之处在于,noise_level所对应的具体alpha_in的取值构成与图3中所示的有所不同,但是噪声等级与融合系数的关系仍然为正比例关系或正比趋势关系。
当第一像素点的第二帧差大于第二帧差阈值时,根据第一像素点所属的第一分块的量化噪声选择第二帧差权重系数,该第二帧差权重系数也可以根据像素点所属分块的噪声等级不同而取不同的值,当噪声等级越高时第二帧差权重系数也取值较大。步骤E3根据上述第二帧差阈值、上述第一像素点的第二帧差和上述第二帧差权重系数选择第二融合系数具体可以通过如下方式来获取:
步骤E1中假设第一像素点的第二帧差为FD,第二帧差阈值为th1′,当FD>th1′时,第一帧差权重系数为coff′,假设当前噪声等级下可以选择的最高融合系数为alpha_in′,此时alpha_in′为一常数,第二融合系数用alpha′来表示,则coff′表示的物理含义为alpha′取值的变化率,则第二融合系数可以通过如下方式来计算:
alpha′=alpha_in′-coff′×(FD-th1′)。
请参阅如图6所示,为本发明实施例提供的另一种融合系数与帧差的关系示意图,其中,横轴FD表示第二帧差,纵轴alpha′表示第二融合系数,当FD≤th1′时,第二融合系数的取值为alpha_in′,当FD>th1′时,第二融合系数alpha′=alpha_in′-coff′×(FD-th1′),coff′表示图中所示的斜线的斜率,对于第一像素点所属的第一分块的不同噪声等级,第二帧差权重系数coff′有不同的取值,图6中使用不同的虚斜线给出的是几种可能的coff′取值情况。
需要指出的是,图6中EXT′为阈值扩展,且满足th2′=th1′+EXT′,当帧差FD大于th2′时,不进行降噪,即令alpha′=0。其中图4和图6的不同之处在于th1、EXT、coff的取值与th1′、EXT′、coff′的取值不同。
需要说明的是,在本发明实施例中,对于第一像素点处于运动区域和静止区域的不同,对第一像素点的帧差计算分别采用不同的方式,当第一像素点处于运动区域时采用运动估计的方式计算其帧差,即第一帧差为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的运动补偿像素值之间的差值,当第一像素点处于静止区域时第二帧差为上述第一像素点在当前帧的像素值与上述第一像素点在前一帧的降噪像素值之间的差值。通过对于第一像素点所处动静不同区域而采用适用于动静不同区域的帧差计算方式,可以更准确的计算出第一像素点的帧差,能够适用于多种噪声场景。
107、根据上述第二融合系数、上述第一像素点在当前帧的像素值和上述第一像素点在前一帧的降噪像素值计算上述第一像素点对应的第二降噪像素值。
其中,上述降噪像素值为上述第一像素点在前一帧的降噪像素点对应位置的像素值。
在本发明实施例中,对于第一像素点处于静止区域,选择计算出第一像素点在前一帧的降噪像素值进行融合,根据选择的第二融合系数、第一像素点在当前帧的像素值和第一像素点在前一帧的降噪像素值计算第一像素点对应的第二降噪像素值。
需要说明的是,在本发明的一些实施例中,第一像素点在前一帧的降噪像素值可以通过如下实施例来获取。请参阅如图7所示,为基于光流法判定为静止区域的TNR的实现流程示意图,基于光流法判定为静止区域的TNR中,输入时域降噪输出的(T-1)和直通信号(指的是输入的噪声图像的当前帧),根据帧差大小决定融合系数,结合选取的融合系数和前一帧的降噪图像与当前帧的噪声图像进行融合,从而完成对噪声图像的降噪处理。
在本发明的一些实施例中,步骤107根据第二融合系数、第一像素点在当前帧的像素值和第一像素点在前一帧的降噪像素值计算第一像素点对应的第二降噪像素值,具体可以包括如下步骤:
通过如下方式计算第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,TNR Output(T)_sec为第一像素点对应的第二降噪像素值,TNR Output(T-1)为上述第一像素点在前一帧的降噪像素点对应位置的像素值,alpha_sec为第二融合系数,Frame Input(T)为第一像素点在当前帧的像素值。
在本发明实施例中,将噪声图像划分为多个分块,首先获取其中第一分块的量化噪声,然后根据该第一分块的量化噪声检测第一分块中运动估计邻域内所有像素点分别从当前帧的像素位置移动到下一帧的像素位置,接下来根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断第一像素点处于运动区域还是静止区域,最后对于第一像素点处于动静区域的不同判决分别设置适应于动静不同区域的帧差阈值,并采用适用于动静不同区域的帧差计算方式和前一帧像素值计算方式,最后根据针对第一像素点的运动估计结果选取的融合系数和前一帧的像素值、第一像素点在当前帧的像素值选取适用于动静不同区域的降噪融合方式。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
为便于更好的理解和实施本发明实施例的上述方案,下面举例相应的应用场景来进行具体说明。
本发明实施例提供的噪声图像的时域降噪方法是一种基于噪声检测的光流法运动估计与补偿的TNR方法,该方法主要是基于噪声检测的噪声分级思想,利用噪声分级提高光流法运动估计与补偿抗噪能力,根据噪声分级和帧差信息自适应的完成融合降噪。请参阅如图8所示,为本发明实施例中一种噪声图像的时域降噪方法的总体流程示意图,主要实现思路包括如下四个主要部分:
1)、将图像划块,并按噪声检测得到的量化噪声对各块分级;
2)、利用确定的像素点所在块的噪声等级信息完成一种光流法运动估计与补偿的抗噪机制;
3)、利用运动估计信息与帧差信息选择降噪融合方式;
4)、利用噪声信息与帧差信息调整融合系数。
接下来分别对个部分进行举例说明:
1)、对噪声图像进行噪声检测。
请参阅如图9所示,为本发明实施例提供的对噪声图像进行分块的示意图,首先将噪声图像划分为多个分块,以箭头所指从右向左,一幅噪声图像被划分为n×m个分块(section),图例为2×2=4块,如图9所示,将当前帧的噪声图像划分为四个分块,分别为第一分块、第二分块、第三分块、第四分块。将每个分块再进一步的划分为多个子块,其中,子块也称之为点阵,也就是说,每个分块中都包含很多选定大小的点阵(例如5×5),称之为子块(block)。对于一个子块中的每一个像素点(pixel),例如对于第一分块的第一像素点,利用其噪声估计邻域内的多个像素点的像素值完成噪声值的量化。该噪声估计邻域包括一个3×3点阵,噪声估计邻域可以用NH9(x,y)来表示。
通过如下方式计算出第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,(x,y)为第一像素点在当前帧的像素位置,pixel_noise(x,y)为第一像素点的量化噪声,valuei为噪声估计邻域内的第i个像素值,NH(x,y)为噪声估计邻域,value_median为NH(x,y)中所有像素值的中间值或者平均值。
需要说明的是,NH(x,y)具体为3×3邻域时,可以用NH9(x,y)来表示,valuei可以具体指的是NH9(x,y)中像素亮度值。另外,value_median所表示的是3×3共九个像素点的点阵中把这九个像素亮度值按大小排序得到的中间大小的那个亮度值,或把九个像素亮度值取其均值得到的那个亮度值。
接下来,判断第一子块中第一像素点是否处于平坦区域:
首先检查第一像素点是否为边缘区域。
通过如下方式计算第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,(x,y)为第一像素点在当前帧的像素位置,EM(x,y)为第一像素点的边缘估计值,NH(x,y)为噪声估计邻域,E_h、E_v、E_p45、E_n45为索贝尔边缘卷积核,*为卷积符号。
其中,E_h、E_v、E_p45与E_n45为sobel边缘卷积核的取值情况,请参阅如图10所示的索贝尔边缘卷积核的取值情况示意图。
设定一个边缘区域阈值EGth,若EM(x,y)大于边缘区域阈值,判定第一像素点处于边缘区域,若EM(x,y)小于或等于边缘区域阈值,判定第一像素点未处于边缘区域。
接下来,检查第一像素点是否为纹理区域。
通过如下方式计算第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,(x,y)为第一像素点在当前帧的像素位置,Noise_Max_Min(x,y)为第一像素点的纹理估计值,valuei为噪声估计邻域内的第i个像素值,NH(x,y)为噪声估计邻域,value_median为NH(x,y)中所有像素值的中间值或者平均值。
设定一个纹理区域阈值MNth,若Noise_Max_Min(x,y)大于纹理区域阈值,判定第一像素点处于纹理区域,若Noise_Max_Min(x,y)小于或等于纹理区域阈值,判定第一像素点未处于纹理区域。
平坦区域要求被确定的第一像素点既不在边缘区域又不在纹理区域,即可以通过如下方式判断第一像素点是否同时满足条件:第一像素点未处于边缘区域和第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,EM(x,y)为第一像素点的边缘估计值,EGth为边缘区域阈值,Noise_Max_Min(x,y)为第一像素点的纹理估计值,MNth为纹理区域阈值。
判断第一像素点处于平坦区域或边缘区域或纹理区域之后,按照同样的方式判断第一像素点所属的第一子块的其它像素点处于平坦区域或边缘区域或纹理区域。
接下来获取第一子块中处于平坦区域的所有像素点的量化噪声,则该第一子块的量化噪声的大小取值为该第一子块中所有平坦区域像素点中量化噪声的最小值或所有平坦区域像素点量化噪声的平均值。
按照计算第一子块的量化噪声的方式计算第一分块中所有子块的量化噪声,然后将第一分块的量化噪声选取为该第一分块内所有子块(排除非平坦区域的子块)的平均噪声值,也可先将第一分块中所有子块的量化噪声分段后累积,将累积直方图下大于预置的噪声阈值的量化噪声作为第一分块的量化噪声。
为了详细说明使用累积直方图来计算第一分块的量化噪声,请参阅如图11-a和11-b所示,图11-a为本发明实施例提供的噪声图像的分块的量化噪声取值的累积直方图,图11-b为对累积直方图的说明示意图。其中,累积直方图为累计落在当前以及小于当前噪声等级所有的有效子块(block)的个数。
图11-a中,横轴表示噪声等级,分块的量化噪声共被划分为6个等级,分别为lv1、lv2、lv3、lv4、lv5、lv6,纵轴表示累积有效的block数。对于图11-b,横线表示的方块为lv1内的block个数,竖线表示的方块为lv2内的block个数,斜线表示的方块为lv3的block个数,累积直方图就是一个当前以及小于当前噪声等级所有的有效block数的一个累加。假设一共有6级,那么lv6的高度就代表了所有有效block的个数。
设定一个百分比阈值a,不妨令a=50%,那么如图11-b所示,取累积直方图下第一个i:噪声值i下的面积>总面积×a,那么可以认为该分块的噪声值为该噪声值i,图11-b中第一个满足该百分比阈值条件的噪声等级为lv3。
当获取到第一分块的量化噪声之后,还可以按照同样的方式获取噪声图像的所有分块共N个的量化噪声;将N个分块的量化噪声与预置的N个量化阈值进行比较,将N个分块的量化噪声划分为(N+1)个噪声等级。
2)、一种光流法运动估计与补偿的抗噪机制。
如图12所示为像素点从当前帧过度到下一帧的位置变化示意图,假设无噪图像的第m帧位于图12中左边图示的(x,y)处,从该(x,y)处沿着虚线所指方向移动到了图12中右边图示的第m+1帧的(x+i,y+j)处。则用于进行像素相似性匹配量(cost-volume)如下式:
cost-volume=△gray+△gradh+△gradv,
其中,△gray=abs(gm(x,y)-gm+1(x+i,y+j)),
△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
△gradv=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
需要说明的是,在噪声图像中像素相似性匹配量会受噪声影响造成运动检测失真,仍以对第一像素点的像素相似性匹配量计算为例进行说明,其他像素点的像素相似性匹配量计算方法可参照对第一像素点的计算方式。其中,(x,y)为第一像素点在当前帧的像素位置,本发明实施例可以采用如下的抗噪机制:
通过如下方式计算第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′,
其中,通过如下方式计算第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,△gray′为亮度变化值,lath(noiselvl)为第一像素点的亮度抗噪量,△gray=abs(gm(x,y)-gm+1(x+i,y+j)),(x,y)为第一像素点在当前帧的像素位置,gm(x,y)为第一像素点在第m帧的像素值,第m帧为第一像素点的当前帧,第(m+1)帧为第一像素点的下一帧,gm+1(x+i,y+j)为第一像素点在第(m+1)帧的像素值。
通过如下方式计算第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,△gradh′为水平方向梯度变化值,gath(noiselvl)为第一像素点的梯度抗噪量,
△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
gm(x+1,y)为第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,gm(x-1,y)为第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,gm+1(x+i+1,y+j)为第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,gm+1(x+i-1,y+j)为第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
通过如下方式计算第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,△gradv′为垂直方向梯度变化值,gath(noiselvl)为第一像素点的梯度抗噪量,
△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
gm(x,y+1)为第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,gm(x,y-1)为第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,gm+1(x+i,y+j+1)为第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,gm+1(x+i,y+j-1)为第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值。
需要说明的是,本发明实施例中,在提取第一分块的噪声等级之后,根据噪声等级与亮度抗噪量的正相关关系可以获取第一像素点的亮度抗噪量lath(noiselvl),根据噪声等级与梯度抗噪量的正相关关系获取第一像素点的梯度抗噪量gath(noiselvl)。其中,噪声等级与亮度抗噪量的正相关关系可以参阅如图2所示的噪声等级与亮度抗噪量的正相关关系示意图,噪声等级与梯度抗噪量的正相关关系可以基于和图2相类似的用于表述正比例关系或正比趋势关系的示意图。
3)、利用运动估计信息与帧差信息选择降噪融合方式。
如图13所示,为本发明实施例提供的运动估计邻域的实现方式示意图,划出以被确定的第一像素点为中心的1×n的相邻像素点组成运动估计邻域,图13中以1×5组成运动估计邻域为例,统计其中处于静止区域的像素点个数为still_cnt,判断运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值still_th的大小关系,若该邻域满足下式,认为该被确定的第一像素点处于静止区域,反之认为该第一像素点处于运动区域。
still_cnt>=still_th,
式中:
still_th为1×n邻域的动静判别阈值,可设置为定值或者根据邻域大小以及噪声级别进行调整,例如噪声等级低时取still_th的值大一些,噪声等级高时取still_th的值小一些。确定1×n邻域的目的在于提高光流法运动估计的抗噪能力。
针对第一像素点处于运动区域或是静止区域的不同,需要分别计算帧差阈值,并选择相应的融合系数,并选择不同的融合方法进行降噪处理,以提高本发明实施例的抗噪能力。
接下来说明针对第一像素点的动静判决对帧差阈值的调整。
对于静止区域的无运动干扰,相应帧差只受到噪声的干扰,而运动区域相应帧差除了受噪声干扰外,还受到运动相关的运动估计与补偿的干扰。因此在选取融合系数alpha时,可使静止区域较运动区域采用的帧差阈值大。若第一像素点处于运动区域,设置第一帧差阈值,若第一像素点处于静止区域,设置第二帧差阈值,并且第二帧差阈值大于第一帧差阈值。
接下来描述根据第一像素点的动静判决所选取的降噪融合方式。
请参阅如图14-a和图14-b所示,图14-a为本发明实施例中第一像素点处于运动区域的噪声图像示意图,图14-b为本发明实施例中第一像素点处于静止区域的噪声图像示意图。其中,图14-a和图14-b中,左部分为当前帧的噪声图像Frame Input(T),中部分为前一帧经过TNR后得到的图像TNROutput(T-1),右部分为前一帧经过TNR后并进行运动补偿后的到的图像FrameMC(T)。则对于图14-a而言,可以认为第一像素点处于运动区域,可以采用当前噪声图像与前一帧TNR且经过运动补偿的图像进行降噪融合,得到第一像素点对应的第一降噪像素值。则对于图14-b而言,可以认为第一像素点处于静止区域,可以采用当前噪声图像与前一帧TNR图像进行降噪融合,得到第一像素点对应的第二降噪像素值。其中,第一降噪像素值和第二降噪像素值的获取请参阅前述实施例中描述的公式,此处不再赘述。
4)、利用噪声信息与帧差信息调整融合系数。
针对第一像素点的动静判决结果的不同,分别结合像素点的噪声等级信息和帧差信息设置不同的融合系数,分别设置为第一融合系数和第二融合系数,具体设置融合系数的方式请参阅前述实施例的步骤D1至D3或E1至E3的描述,并结合图3所示的噪声等级与融合系数的正相关关系示意图可以直观的获取到第一融合系数和第二融合系数。
由上述实施例可知,将噪声图像划分为多个分块,首先获取其中第一分块的量化噪声,然后根据该第一分块的量化噪声检测第一分块中运动估计邻域内所有像素点分别从当前帧的像素位置移动到下一帧的像素位置,接下来根据运动估计邻域内像素点从当前帧到一下帧的像素位置变化情况判断第一像素点处于运动区域还是静止区域,最后对于第一像素点处于动静区域的不同判决分别设置适应于动静不同区域的帧差阈值,并采用适用于动静不同区域的帧差计算方式和前一帧像素值计算方式,最后根据针对第一像素点的运动估计结果选取的融合系数和前一帧的像素值、第一像素点在当前帧的像素值选取适用于动静不同区域的降噪融合方式。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图15-a所示,本发明实施例提供的一种噪声图像的时域降噪装置1500,可以包括:噪声获取模块1501、运动估计模块1502、动静判决模块1503、第一融合系数选取模块1504、第一时域降噪模块1505、第二融合系数选取模块1506、第二时域降噪模块1507。其中,
噪声获取模块1501,用于噪声获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
运动估计模块1502,用于根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
动静判决模块1503,用于根据运动估计邻域内所有像素点从当前帧到一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域,若所述第一像素点处于运动区域,触发执行第一融合系数选取模块1504和第一时域降噪模块1505,若所述第一像素点处于静止区域,触发执行第二融合系数选取模块1506和第二时域降噪模块1507,其中,
所述第一融合系数选取模块1504,用于当所述第一像素点处于运动区域时,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值;
所述第一时域降噪模块1505,用于根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
所述第二融合系数选取模块1506,用于当所述第一像素点处于静止区域时,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,所述第二帧差阈值大于所述第一帧差阈值,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值;
所述第二时域降噪模块1507,用于根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
在本发明的一些实施例中,噪声获取模块1501,还用于获取所述噪声图像的所有分块共N个的量化噪声;将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级。
在本发明的一些实施例中,请参阅如图15-b所示,噪声获取模块1501,包括:子块划分子模块15011、量化噪声获取子模块15012、分块噪声获取子模块15013,其中,
子块划分子模块15011,用于将所述第一分块划分为多个子块,每个子块包括有多个像素点;
量化噪声获取子模块15012,用于获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
分块噪声获取子模块15013,用于对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
具体的,量化噪声获取子模块15012,具体用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
在本发明的一些实施例中,请参阅如图15-c所示,量化噪声获取子模块15012,包括:区域判断单元150121、平坦区域量化值获取单元150122、子块量化值获取单元150123,其中,
区域判断单元150121,用于判断所述第一子块中的各个像素点是否处于平坦区域;
平坦区域量化值获取单元150122,用于获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
子块量化值获取单元150123,用于根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
具体的,请参阅如图15-d所示,区域判断单元150121,具体包括:像素值获取子单元1501211、边缘估计子单元1501212、边缘区域判断子单元1501213、纹理估计子单元1501214、纹理区域判断子单元1501215、平坦区域判断子单元1501216,其中,
像素值获取子单元1501211,用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
边缘估计子单元1501212,用于根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
边缘区域判断子单元1501213,用于判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
纹理估计子单元1501214,用于根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
纹理区域判断子单元1501215,用于判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
平坦区域判断子单元1501216,用于当所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
具体的,边缘估计子单元1501212,具体用于通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述纹理估计子单元1501214,具体用于通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
所述平坦区域判断子单元1501216,用于通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
在本发明的一些实施例中,请参阅如图15-e所示,运动估计模块1502,包括:抗噪量获取子模块15021和运动检测子模块15022,其中,
抗噪量获取子模块15021,用于根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
运动检测子模块15022,用于根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置。
在本发明的一些实施例中,噪声获取模块1501,还用于获取所述噪声图像的所有分块共N个的量化噪声;将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级。所述抗噪量获取子模块15021,具体用于提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
在本发明的另一些实施例中,请参阅如图15-f所示,运动检测子模块15022,包括:亮度计算单元150221、水平梯度计算单元150222、垂直梯度计算单元150223、相似性匹配量计算单元150224、像素位置计算单元150225,其中,
亮度计算单元150221,用于根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
水平梯度计算单元150222,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
垂直梯度计算单元150223,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
相似性匹配量计算单元150224,用于根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
像素位置计算单元150225,用于计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
具体的,亮度计算单元150221,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述水平梯度计算单元150222,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述垂直梯度计算单元150223,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述相似性匹配量计算单元150224,具体用于通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
在本发明的一些实施例中,请参阅如图15-g所示,动静判决模块1503,包括:统计子模块15031、动静判决子模块15032、静止判定子模块15033、运动判定子模块15034,其中,
统计子模块15031,用于根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
动静判决子模块15032,用于判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
静止判定子模块15033,用于若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
运动判定子模块15034,用于若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
在本发明的一些实施例中,请参阅如图15-h所示,第一融合系数选取模块1504,包括:第一帧差判断子模块15041、第一选取子模块15042、第二选取子模块15043,其中,
第一帧差判断子模块15041,用于判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
第一选取子模块15042,用于若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
第二选取子模块15043,用于若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
具体的,第一时域降噪模块1505,具体用于通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
具体的,第二时域降噪模块1507,具体用于通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其带来的技术效果与本发明方法实施例相同,具体内容可参见本发明前述所示的方法实施例中的叙述,此处不再赘述。
由图15-a至15-h所示的实施例可知,将噪声图像划分为多个分块,首先获取其中第一分块的量化噪声,然后根据该第一分块的量化噪声检测运动估计邻域内所有像素点分别从当前帧的像素位置移动到下一帧的像素位置,接下来根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断第一像素点处于运动区域还是静止区域,最后对于第一像素点处于动静区域的不同判决分别设置适应于动静不同区域的帧差阈值,并采用适用于动静不同区域的帧差计算方式和前一帧像素值计算方式,最后根据针对第一像素点的运动估计结果选取的融合系数和前一帧的像素值、第一像素点在当前帧的像素值选取适用于动静不同区域的降噪融合方式。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质存储有程序,该程序执行包括上述方法实施例中记载的部分或全部步骤。
接下来介绍本发明实施例提供的另一种噪声图像的时域降噪装置,请参阅图16所示,噪声图像的时域降噪装置1600包括:
输入装置1601、输出装置1602、处理器1603和存储器1604(其中噪声图像的时域降噪装置1600中的处理器1603的数量可以一个或多个,图16中以一个处理器为例)。在本发明的一些实施例中,输入装置1601、输出装置1602、处理器1603和存储器1604可通过总线或其它方式连接,其中,图16中以通过总线连接为例。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域;
若所述第一像素点处于运动区域,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
若所述第一像素点处于静止区域,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,然后根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述第二帧差阈值大于所述第一帧差阈值,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
将所述第一分块划分为多个子块,每个子块包括有多个像素点;
获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
判断所述第一子块中的各个像素点是否处于平坦区域;
获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以所述第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
其中,若所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值,包括:
通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置;
根据所述第一分块的量化噪声获取所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量;
根据所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一分块中除所述第一像素点以外的其它像素点的像素值,对所述第一分块中除所述第一像素点以外的其它像素点进行运动检测,得到所述第一分块中除所述第一像素点以外的其它像素点在下一帧的像素位置。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△grad v=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量,包括:
通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
在本发明的一些实施例中,处理器1603还用于执行以下步骤:
获取所述噪声图像的所有分块共N个的量化噪声;
将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级;
所述根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量,包括:
提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
在本发明的一些实施例中,处理器1603具体用于执行以下步骤:
通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
实施例可知,将噪声图像划分为多个分块,首先获取其中第一分块的量化噪声,然后根据该第一分块的量化噪声检测运动估计邻域内所有像素点分别从当前帧的像素位置移动到下一帧的像素位置,接下来根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断第一像素点处于运动区域还是静止区域,最后对于第一像素点处于动静区域的不同判决分别设置适应于动静不同区域的帧差阈值,并采用适用于动静不同区域的帧差计算方式和前一帧像素值计算方式,最后根据针对第一像素点的运动估计结果选取的融合系数和前一帧的像素值、第一像素点在当前帧的像素值选取适用于动静不同区域的降噪融合方式。本发明实施例中可以结合第一像素点所属的第一分块的量化噪声进行动静判决,误判的可能性很小,并对于第一像素点的动静判决分别设置适用于动静不同区域的帧差阈值和采用不同的帧差计算方式,针对适用于动静不同区域的帧差阈值和帧差计算方式选择适用于动静不同区域的融合系数,针对适用于动静不同区域的融合系数和帧差计算方式以及第一像素点在当前帧的像素值选择降噪融合方式,可以实现针对噪声图像的动静不同区域分别进行降噪处理,且造成误检测的几率很小,能够适用于多种噪声场景。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
综上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照上述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (28)

1.一种噪声图像的时域降噪方法,其特征在于,包括:
获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域;
若所述第一像素点处于运动区域,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
若所述第一像素点处于静止区域,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,然后根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述第二帧差阈值大于所述第一帧差阈值,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
2.根据权利要求1所述的方法,其特征在于,所述获取噪声图像的第一分块的量化噪声,包括:
将所述第一分块划分为多个子块,每个子块包括有多个像素点;
获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,包括:
判断所述第一子块中的各个像素点是否处于平坦区域;
获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
4.根据权利要求3所述的方法,其特征在于,所述判断所述第一子块中的各个像素点是否处于平坦区域,包括:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以所述第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
其中,若所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核计算所述第一像素点的边缘估计值,包括:
通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值,包括:
通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
6.根据权利要求2所述的方法,其特征在于,所述获取所述第一子块中所有像素点的量化噪声,包括:
获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,包括:
根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置;
根据所述第一分块的量化噪声获取所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量;
根据所述第一分块中除所述第一像素点以外的其它像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一分块中除所述第一像素点以外的其它像素点的像素值,对所述第一分块中除所述第一像素点以外的其它像素点进行运动检测,得到所述第一分块中除所述第一像素点以外的其它像素点在下一帧的像素位置。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置,包括:
根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值,包括:
通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradv=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量,包括:
通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
10.根据权利要求7所述的方法,其特征在于,所述获取噪声图像的第一分块的量化噪声之后,还包括:
获取所述噪声图像的所有分块共N个的量化噪声;
将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级;
所述根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量,包括:
提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
11.根据权利要求1所述的方法,其特征在于,所述根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域,包括:
根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
12.根据权利要求1所述的方法,其特征在于,所述根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,包括:
判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
13.根据权利要求1所述的方法,其特征在于,所述根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,包括:
通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
14.根据权利要求1所述的方法,其特征在于,所述根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,包括:
通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
15.一种噪声图像的时域降噪装置,其特征在于,包括:
噪声获取模块,用于噪声获取噪声图像的第一分块的量化噪声,所述第一分块为所述噪声图像划分为多个分块中的任意一个分块;
运动估计模块,用于根据所述第一分块的量化噪声检测运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置、运动估计邻域内所有像素点从当前帧的像素位置移动到下一帧的像素位置,其中,所述运动估计邻域包括以所述第一像素点为中心的相邻像素点,所述第一像素点为所述第一分块中的任意一个像素点;
动静判决模块,用于根据运动估计邻域内所有像素点从当前帧到下一帧的像素位置变化情况判断所述第一像素点处于运动区域还是静止区域,若所述第一像素点处于运动区域,触发执行第一融合系数选取模块和第一时域降噪模块,若所述第一像素点处于静止区域,触发执行第二融合系数选取模块和第二时域降噪模块,其中,
所述第一融合系数选取模块,用于当所述第一像素点处于运动区域时,根据所述第一像素点的第一帧差和预置的第一帧差阈值选择第一融合系数,所述第一帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的运动补偿像素值之间的差值;
所述第一时域降噪模块,用于根据所述第一融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的运动补偿像素值计算所述第一像素点对应的第一降噪像素值,所述运动补偿像素值为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿后得到的第一像素点对应位置的像素值;
所述第二融合系数选取模块,用于当所述第一像素点处于静止区域时,根据所述第一像素点的第二帧差和预置的第二帧差阈值选择第二融合系数,,所述第二帧差为所述第一像素点在当前帧的像素值与所述第一像素点在前一帧的降噪像素值之间的差值,所述第二帧差阈值大于所述第一帧差阈值;
所述第二时域降噪模块,用于根据所述第二融合系数、所述第一像素点在当前帧的像素值和所述第一像素点在前一帧的降噪像素值计算所述第一像素点对应的第二降噪像素值,所述降噪像素值为所述第一像素点在前一帧的降噪像素点对应位置的像素值。
16.根据权利要求15所述的装置,其特征在于,所述噪声获取模块,包括:
子块划分子模块,用于将所述第一分块划分为多个子块,每个子块包括有多个像素点;
量化噪声获取子模块,用于获取第一子块中所有像素点的量化噪声,根据所述第一子块中所有像素点的量化噪声获取所述第一子块的量化噪声,所述第一子块为所述第一分块中的任意一个子块;分别获取所述第一分块中除所述第一子块以外的所有子块的量化噪声;
分块噪声获取子模块,用于对所述第一分块中所有子块的量化噪声计算平均量化噪声,将所述平均量化噪声作为所述第一分块的量化噪声,或,对所述第一分块中所有子块的量化噪声分段后进行累积,将累积直方图下大于预置的噪声阈值的量化噪声作为所述第一分块的量化噪声。
17.根据权利要求16所述的装置,其特征在于,所述量化噪声获取子模块,包括:
区域判断单元,用于判断所述第一子块中的各个像素点是否处于平坦区域;
平坦区域量化值获取单元,用于获取所述第一子块中处于平坦区域的所有像素点的量化噪声;
子块量化值获取单元,用于根据所述第一子块中处于平坦区域的所有像素点的量化噪声计算所述第一子块的量化噪声。
18.根据权利要求17所述的装置,其特征在于,所述区域判断单元,包括:
像素值获取子单元,用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以所述第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
边缘估计子单元,用于根据所述噪声估计邻域内所有像素点的像素值和索贝尔边缘卷积核,计算所述第一像素点的边缘估计值;
边缘区域判断子单元,用于判断所述第一像素点的边缘估计值是否大于边缘区域阈值,若所述第一像素点的边缘估计值大于边缘区域阈值,判定所述第一像素点处于边缘区域,若所述第一像素点的边缘估计值小于或等于边缘区域阈值,判定所述第一像素点未处于边缘区域;
纹理估计子单元,用于根据所述噪声估计邻域内所有像素点的像素值计算所述第一像素点的纹理估计值;
纹理区域判断子单元,用于判断所述第一像素点的纹理估计值是否大于纹理区域阈值,若所述第一像素点的纹理估计值大于纹理区域阈值,判定所述第一像素点处于纹理区域,若所述第一像素点的纹理估计值小于或等于纹理区域阈值,判定所述第一像素点未处于纹理区域;
平坦区域判断子单元,用于当所述第一像素点同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域,则所述第一像素点处于平坦区域。
19.根据权利要求18所述的装置,其特征在于,所述边缘估计子单元,具体用于通过如下方式计算所述第一像素点的边缘估计值:
EM(x,y)=|NH(x,y)*E_h|+|NH(x,y)*E_v|+|NH(x,y)*E_p45|+|NH(x,y)*E_n45|,
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述EM(x,y)为所述第一像素点的边缘估计值,所述NH(x,y)为所述噪声估计邻域,所述E_h、E_v、E_p45、E_n45为所述索贝尔边缘卷积核,所述*为卷积符号;
所述纹理估计子单元,具体用于通过如下方式计算所述第一像素点的纹理估计值:
Noise_Max_Min(x,y)=Max(abs(valuei-value_median))-Min(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值;
所述平坦区域判断子单元,用于通过如下方式判断所述第一像素点是否同时满足如下条件:所述第一像素点未处于边缘区域和所述第一像素点未处于纹理区域:
(EM(x,y)<=EGth)&&(Noise_Max_Min(x,y)<=MNth)==1,
其中,所述EM(x,y)为所述第一像素点的边缘估计值,所述EGth为所述边缘区域阈值,所述Noise_Max_Min(x,y)为所述第一像素点的纹理估计值,所述MNth为所述纹理区域阈值。
20.根据权利要求16所述的装置,其特征在于,所述量化噪声获取子模块,具体用于获取噪声估计邻域内所有像素点的像素值,所述噪声估计邻域包括以第一像素点为中心用于确定所述第一像素点的量化噪声的相邻像素点,所述第一像素点为所述第一子块中的任意一个像素点;
通过如下方式计算出所述第一像素点的量化噪声:
pixel_noise(x,y)=sum(abs(valuei-value_median)),valuei∈NH(x,y),
其中,所述(x,y)为所述第一像素点在当前帧的像素位置,所述pixel_noise(x,y)为所述第一像素点的量化噪声,所述valuei为所述噪声估计邻域内的第i个像素值,所述NH(x,y)为所述噪声估计邻域,所述value_median为所述NH(x,y)中所有像素值的中间值或者平均值。
21.根据权利要求15所述的装置,其特征在于,所述运动估计模块,包括:
抗噪量获取子模块,用于根据所述第一像素点所属的第一分块的量化噪声获取所述第一像素点的亮度抗噪量和梯度抗噪量;
运动检测子模块,用于根据所述第一像素点的亮度抗噪量和梯度抗噪量、在当前帧的像素位置时所述第一像素点的像素值对所述第一像素点进行运动检测,得到所述第一像素点在下一帧的像素位置。
22.根据权利要求21所述的装置,其特征在于,所述运动检测子模块,包括:
亮度计算单元,用于根据所述第一像素点的亮度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值;
水平梯度计算单元,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值;
垂直梯度计算单元,用于根据所述第一像素点的梯度抗噪量计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值;
相似性匹配量计算单元,用于根据所述亮度变化值、所述水平方向梯度变化值和所述垂直方向梯度变化值计算所述第一像素点的像素相似性匹配量;
像素位置计算单元,用于计算所述像素相似性匹配量取得最小值时所述第一像素点在下一帧的像素位置。
23.根据权利要求22所述的装置,其特征在于,所述亮度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的亮度变化值:
&Delta;gray ' = 0 , &Delta;gray - lath ( noiselvl ) < 0 &Delta;gray - lath ( noiselvl ) , &Delta;gray - lath ( noiselvl ) &GreaterEqual; 0
其中,所述△gray′为所述亮度变化值,所述lath(noiselvl)为所述第一像素点的亮度抗噪量,所述△gray=abs(gm(x,y)-gm+1(x+i,y+j)),所述(x,y)为所述第一像素点在当前帧的像素位置,所述gm(x,y)为所述第一像素点在第m帧的像素值,所述第m帧为所述第一像素点的当前帧,所述第(m+1)帧为所述第一像素点的下一帧,所述gm+1(x+i,y+j)为所述第一像素点在第(m+1)帧的像素值;
所述水平梯度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的水平方向梯度变化值:
&Delta; grad h ' = 0 , &Delta; grad h - gath ( noiselvl ) < 0 &Delta; grad h - gath ( noiselvl ) , &Delta; grad h - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradh′为所述水平方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradh=abs(gm(x+1,y)-gm(x-1,y)-(gm+1(x+i+1,y+j)-gm+1(x+i-1,y+j))),
所述gm(x+1,y)为所述第一像素点在当前帧的像素值gm(x,y)向上水平方向移动后的像素值,所述gm(x-1,y)为所述第一像素点在当前帧的像素值gm(x,y)向下水平方向移动后的像素值,所述gm+1(x+i+1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上水平方向移动后的像素值,所述gm+1(x+i-1,y+j)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下水平方向移动后的像素值;
所述垂直梯度计算单元,具体用于通过如下方式计算所述第一像素点从当前帧的像素位置移动到下一帧的像素位置时的垂直方向梯度变化值:
&Delta; grad v ' = 0 , &Delta; grad v - gath ( noiselvl ) < 0 &Delta; grad v - gath ( noiselvl ) , &Delta; grad v - gath ( noiselvl ) &GreaterEqual; 0
其中,所述△gradv′为所述垂直方向梯度变化值,所述gath(noiselvl)为所述第一像素点的梯度抗噪量,
所述△gradv=abs(gm(x,y+1)-gm(x,y-1)-(gm+1(x+i,y+j+1)-gm+1(x+i,y+j-1))),
所述gm(x,y+1)为所述第一像素点在当前帧的像素值gm(x,y)向上垂直方向移动后的像素值,所述gm(x,y-1)为所述第一像素点在当前帧的像素值gm(x,y)向下垂直方向移动后的像素值,所述gm+1(x+i,y+j+1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向上垂直方向移动后的像素值,所述gm+1(x+i,y+j-1)为所述第一像素点在下一帧的像素值gm+1(x+i,y+j)向下垂直方向移动后的像素值;
所述相似性匹配量计算单元,具体用于通过如下方式计算所述第一像素点的像素相似性匹配量:
cost-volume=△gray′+△gradh′+△gradv′
其中,所述cost-volume为所述第一像素点的像素相似性匹配量,所述△gray′为所述亮度变化值,所述△gradh′为所述水平方向梯度变化值,所述△gradv′为所述垂直方向梯度变化值。
24.根据权利要求21所述的装置,其特征在于,所述噪声获取模块,还用于获取所述噪声图像的所有分块共N个的量化噪声;将N个分块的量化噪声与预置的N个量化阈值进行比较,将所述N个分块的量化噪声划分为(N+1)个噪声等级;
所述抗噪量获取子模块,具体用于提取所述第一分块的噪声等级,根据噪声等级与亮度抗噪量的正相关关系获取所述第一像素点的亮度抗噪量,根据噪声等级与梯度抗噪量的正相关关系获取所述第一像素点的梯度抗噪量。
25.根据权利要求15所述的装置,其特征在于,所述动静判决模块,包括:
统计子模块,用于根据所述运动估计邻域内所有像素点在当前帧的像素位置和在下一帧的像素位置统计所述运动估计邻域内处于静止区域的像素点个数;
动静判决子模块,用于判断所述运动估计邻域内处于静止区域的像素点个数与预置的动静判别阈值的大小关系;
静止判定子模块,用于若所述运动估计邻域内处于静止区域的像素点个数大于或等于预置的动静判别阈值,则判定所述第一像素点处于静止区域;
运动判定子模块,用于若所述运动估计邻域内处于静止区域的像素点个数小于预置的动静判别阈值,则判定所述第一像素点处于运动区域。
26.根据权利要求15所述的装置,其特征在于,所述第一融合系数选取模块,包括:
第一帧差判断子模块,用于判断所述第一像素点的第一帧差是否小于预置的第一帧差阈值;
第一选取子模块,用于若所述第一像素点的第一帧差小于或等于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一融合系数;
第二选取子模块,用于若所述第一像素点的第一帧差大于所述第一帧差阈值,根据所述第一像素点所属的第一分块的量化噪声选择第一帧差权重系数,根据所述第一帧差阈值、所述第一像素点的第一帧差和所述第一帧差权重系数选择第一融合系数。
27.根据权利要求15所述的装置,其特征在于,所述第一时域降噪模块,具体用于通过如下方式计算所述第一像素点对应的第一降噪像素值:
TNR Output(T)_fir=TNR Output_mc(T-1)×alpha_fir+Frame Input(T)×(1-alpha_fir),
其中,所述TNR Output(T)_fir为所述第一像素点对应的第一降噪像素值,所述TNR Output_mc(T-1)为所述第一像素点在前一帧的降噪像素点对当前帧进行运动估计及运动补偿得到第一像素点对应位置的像素值,所述alpha_fir为所述第一融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
28.根据权利要求15所述的装置,其特征在于,所述第二时域降噪模块,具体用于通过如下方式计算所述第一像素点对应的第二降噪像素值:
TNR Output(T)_sec=TNR Output(T-1)×alpha_sec+Frame Input(T)×(1-alpha_sec),
其中,所述TNR Output(T)_sec为所述第一像素点对应的第二降噪像素值,所述TNR Output(T-1)为所述第一像素点在前一帧的降噪像素点对应位置的像素值,所述alpha_sec为所述第二融合系数,所述Frame Input(T)为所述第一像素点在当前帧的像素值。
CN201310535703.XA 2013-11-01 2013-11-01 一种噪声图像的时域降噪方法和相关装置 Expired - Fee Related CN103632352B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201310535703.XA CN103632352B (zh) 2013-11-01 2013-11-01 一种噪声图像的时域降噪方法和相关装置
KR1020167011294A KR101766705B1 (ko) 2013-11-01 2014-09-19 노이즈 영상에 대한 시간적 노이즈 감소 방법 및 관련 장치
EP14858101.0A EP3046072B1 (en) 2013-11-01 2014-09-19 Temporal noise reduction method of noise image, and related device
PCT/CN2014/086885 WO2015062374A1 (zh) 2013-11-01 2014-09-19 一种噪声图像的时域降噪方法和相关装置
JP2016527275A JP6169276B2 (ja) 2013-11-01 2014-09-19 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置
US15/143,190 US9721330B2 (en) 2013-11-01 2016-04-29 Temporal noise reduction method for noisy image and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310535703.XA CN103632352B (zh) 2013-11-01 2013-11-01 一种噪声图像的时域降噪方法和相关装置

Publications (2)

Publication Number Publication Date
CN103632352A true CN103632352A (zh) 2014-03-12
CN103632352B CN103632352B (zh) 2017-04-26

Family

ID=50213369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310535703.XA Expired - Fee Related CN103632352B (zh) 2013-11-01 2013-11-01 一种噪声图像的时域降噪方法和相关装置

Country Status (6)

Country Link
US (1) US9721330B2 (zh)
EP (1) EP3046072B1 (zh)
JP (1) JP6169276B2 (zh)
KR (1) KR101766705B1 (zh)
CN (1) CN103632352B (zh)
WO (1) WO2015062374A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985106A (zh) * 2014-05-16 2014-08-13 三星电子(中国)研发中心 用于对强噪声图像进行多帧融合的设备和方法
CN104023166A (zh) * 2014-06-20 2014-09-03 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
WO2015062374A1 (zh) * 2013-11-01 2015-05-07 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
CN105282419A (zh) * 2014-07-01 2016-01-27 瑞昱半导体股份有限公司 去噪声方法以及影像系统
CN105335938A (zh) * 2014-06-30 2016-02-17 展讯通信(上海)有限公司 图像噪声的抑制方法及装置
CN105654428A (zh) * 2014-11-14 2016-06-08 联芯科技有限公司 图像降噪方法及系统
CN105812621A (zh) * 2014-12-31 2016-07-27 乐视致新电子科技(天津)有限公司 自适应调节图像噪声水平方法以及装置
CN106469436A (zh) * 2015-08-17 2017-03-01 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN107172322A (zh) * 2017-06-16 2017-09-15 北京飞识科技有限公司 一种视频降噪方法和装置
CN107316275A (zh) * 2017-06-08 2017-11-03 宁波永新光学股份有限公司 一种光流辅助的大尺度显微图像拼接算法
CN108122207A (zh) * 2016-11-30 2018-06-05 展讯通信(上海)有限公司 图像分频方法、装置及电子设备
CN108174057A (zh) * 2018-01-10 2018-06-15 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN109155883A (zh) * 2016-05-09 2019-01-04 哈曼国际工业有限公司 噪声检测和噪声降低
CN109547777A (zh) * 2018-11-06 2019-03-29 中国铁路上海局集团有限公司科学技术研究所 一种复杂场景的视频噪声快速检测方法
CN110689496A (zh) * 2019-09-25 2020-01-14 北京迈格威科技有限公司 降噪模型的确定方法、装置、电子设备和计算机存储介质
CN110858867A (zh) * 2018-08-07 2020-03-03 瑞昱半导体股份有限公司 影像处理装置及其方法
CN111583151A (zh) * 2020-05-09 2020-08-25 浙江大华技术股份有限公司 一种视频降噪方法及设备、计算机可读存储介质
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111866386A (zh) * 2020-07-21 2020-10-30 深圳信息职业技术学院 一种基于人工智能的双角度图像处理监控装置及控制系统
CN112085682A (zh) * 2020-09-11 2020-12-15 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN112967690A (zh) * 2021-03-24 2021-06-15 展讯通信(上海)有限公司 图像显示方法及装置、存储介质、终端
WO2021168755A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN114049253A (zh) * 2021-10-14 2022-02-15 长沙韶光半导体有限公司 基于光流信息的图像处理方法及相关设备
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置
CN114972057A (zh) * 2021-02-24 2022-08-30 Gn 奥迪欧有限公司 用于降低数字图像中的噪声的方法和图像处理系统
CN115222830A (zh) * 2016-06-16 2022-10-21 北京大基康明医疗设备有限公司 一种位置映射表生成中区域划分结果判定处理方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
JP6874009B2 (ja) * 2016-01-29 2021-05-19 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 光レベル適応フィルタ及び方法
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
CA2949383C (en) * 2016-11-22 2023-09-05 Square Enix, Ltd. Image processing method and computer-readable medium
US10332243B2 (en) * 2016-12-12 2019-06-25 International Business Machines Corporation Tampering detection for digital images
JP6740177B2 (ja) * 2017-06-14 2020-08-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109660813B (zh) * 2017-10-12 2021-04-16 上海富瀚微电子股份有限公司 一种量化噪声线性拟合方法、编码装置及编码方法
CN109117754A (zh) * 2018-07-25 2019-01-01 徐敬媛 实时指纹识别平台
KR102095518B1 (ko) * 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
CN109584204B (zh) * 2018-10-15 2021-01-26 上海途擎微电子有限公司 一种图像噪声强度估计方法、存储介质、处理及识别装置
KR20220022486A (ko) 2019-06-21 2022-02-25 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법
EP3832591B1 (en) 2019-12-03 2022-06-08 Axis AB Encoding of a video sequence
CN111741187B (zh) * 2020-06-08 2022-08-26 北京小米松果电子有限公司 图像处理方法、装置及存储介质
US12106451B2 (en) 2021-01-22 2024-10-01 Cvitek Co. Ltd. Block-based noise reduction intensity determination method and device
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal
CN115034994A (zh) * 2022-06-17 2022-09-09 谢文军 基于视频内容的区域颜色处理的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
US7542622B1 (en) * 2003-06-02 2009-06-02 The Trustees Of Columbia University In The City Of New York Spatio-temporal treatment of noisy images using brushlets
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
US20130128061A1 (en) * 2011-11-22 2013-05-23 Altek Corporation Image processing apparatus and processing method thereof
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
EP1230791A1 (en) * 1999-11-11 2002-08-14 STMicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
FR2809916B1 (fr) * 2000-05-31 2002-08-16 Thomson Multimedia Sa Dispositif et procede de filtrage recursif compense en mouvement d'images video avant codage et systeme de codage correspondant
JP4725001B2 (ja) * 2000-08-07 2011-07-13 ソニー株式会社 画像処理装置及び方法、並びに記録媒体
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
US7663701B2 (en) 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
KR100695067B1 (ko) 2005-06-15 2007-03-14 삼성전자주식회사 블록분류를 이용한 시공간 노이즈 제거 방법 및 이 방법이적용되는 디스플레이장치
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP4857916B2 (ja) * 2006-06-06 2012-01-18 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US8059207B2 (en) 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
US7983501B2 (en) 2007-03-29 2011-07-19 Intel Corporation Noise detection and estimation techniques for picture enhancement
JP5013932B2 (ja) 2007-04-03 2012-08-29 三洋電機株式会社 ノイズ低減装置、ノイズ低減方法、及び電子機器
US7961972B2 (en) * 2007-05-01 2011-06-14 Intel Corporation Method and apparatus for short range motion adaptive noise reduction
JP4321626B2 (ja) * 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
EP2294808B1 (en) * 2008-06-20 2013-05-01 Hewlett-Packard Development Company, L.P. Method and system for efficient video processing
KR101508386B1 (ko) 2008-09-29 2015-04-03 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102281386B (zh) * 2010-06-08 2014-12-10 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
EP2413586B1 (en) * 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012227791A (ja) * 2011-04-20 2012-11-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
CN102497497B (zh) * 2011-12-05 2013-07-31 四川九洲电器集团有限责任公司 一种图像去噪算法中阈值动态调整的方法
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542622B1 (en) * 2003-06-02 2009-06-02 The Trustees Of Columbia University In The City Of New York Spatio-temporal treatment of noisy images using brushlets
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
US20130128061A1 (en) * 2011-11-22 2013-05-23 Altek Corporation Image processing apparatus and processing method thereof
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李岩等: "一种基于运动补偿的时域自适应视频降噪算法", 《电子器件》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015062374A1 (zh) * 2013-11-01 2015-05-07 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
US9721330B2 (en) 2013-11-01 2017-08-01 Huawei Technologies Co., Ltd. Temporal noise reduction method for noisy image and related apparatus
CN103985106A (zh) * 2014-05-16 2014-08-13 三星电子(中国)研发中心 用于对强噪声图像进行多帧融合的设备和方法
CN104023166B (zh) * 2014-06-20 2017-08-11 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
CN104023166A (zh) * 2014-06-20 2014-09-03 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
CN105335938A (zh) * 2014-06-30 2016-02-17 展讯通信(上海)有限公司 图像噪声的抑制方法及装置
CN105335938B (zh) * 2014-06-30 2019-09-17 展讯通信(上海)有限公司 图像噪声的抑制方法及装置
CN105282419A (zh) * 2014-07-01 2016-01-27 瑞昱半导体股份有限公司 去噪声方法以及影像系统
CN105654428A (zh) * 2014-11-14 2016-06-08 联芯科技有限公司 图像降噪方法及系统
CN105812621A (zh) * 2014-12-31 2016-07-27 乐视致新电子科技(天津)有限公司 自适应调节图像噪声水平方法以及装置
CN106469436A (zh) * 2015-08-17 2017-03-01 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN106469436B (zh) * 2015-08-17 2019-11-08 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN109155883A (zh) * 2016-05-09 2019-01-04 哈曼国际工业有限公司 噪声检测和噪声降低
CN115222830A (zh) * 2016-06-16 2022-10-21 北京大基康明医疗设备有限公司 一种位置映射表生成中区域划分结果判定处理方法及系统
CN108122207A (zh) * 2016-11-30 2018-06-05 展讯通信(上海)有限公司 图像分频方法、装置及电子设备
CN107316275A (zh) * 2017-06-08 2017-11-03 宁波永新光学股份有限公司 一种光流辅助的大尺度显微图像拼接算法
CN107172322B (zh) * 2017-06-16 2020-02-18 北京飞识科技有限公司 一种视频降噪方法和装置
CN107172322A (zh) * 2017-06-16 2017-09-15 北京飞识科技有限公司 一种视频降噪方法和装置
CN108174057B (zh) * 2018-01-10 2020-06-23 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN108174057A (zh) * 2018-01-10 2018-06-15 武汉烛照科技有限公司 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN110858867A (zh) * 2018-08-07 2020-03-03 瑞昱半导体股份有限公司 影像处理装置及其方法
CN110858867B (zh) * 2018-08-07 2021-12-10 瑞昱半导体股份有限公司 影像处理装置及其方法
CN109547777A (zh) * 2018-11-06 2019-03-29 中国铁路上海局集团有限公司科学技术研究所 一种复杂场景的视频噪声快速检测方法
CN109547777B (zh) * 2018-11-06 2021-04-02 中国铁路上海局集团有限公司科学技术研究所 一种复杂场景的视频噪声快速检测方法
CN110689496A (zh) * 2019-09-25 2020-01-14 北京迈格威科技有限公司 降噪模型的确定方法、装置、电子设备和计算机存储介质
CN110689496B (zh) * 2019-09-25 2022-10-14 北京迈格威科技有限公司 降噪模型的确定方法、装置、电子设备和计算机存储介质
WO2021168755A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN111583151A (zh) * 2020-05-09 2020-08-25 浙江大华技术股份有限公司 一种视频降噪方法及设备、计算机可读存储介质
CN111583151B (zh) * 2020-05-09 2023-05-12 浙江大华技术股份有限公司 一种视频降噪方法及设备、计算机可读存储介质
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111652814B (zh) * 2020-05-26 2023-05-12 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111866386A (zh) * 2020-07-21 2020-10-30 深圳信息职业技术学院 一种基于人工智能的双角度图像处理监控装置及控制系统
CN112085682A (zh) * 2020-09-11 2020-12-15 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN112085682B (zh) * 2020-09-11 2023-08-22 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN114972057A (zh) * 2021-02-24 2022-08-30 Gn 奥迪欧有限公司 用于降低数字图像中的噪声的方法和图像处理系统
CN112967690A (zh) * 2021-03-24 2021-06-15 展讯通信(上海)有限公司 图像显示方法及装置、存储介质、终端
CN114049253A (zh) * 2021-10-14 2022-02-15 长沙韶光半导体有限公司 基于光流信息的图像处理方法及相关设备
CN114049253B (zh) * 2021-10-14 2024-07-05 长沙韶光半导体有限公司 基于光流信息的图像处理方法及相关设备
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置

Also Published As

Publication number Publication date
KR20160065921A (ko) 2016-06-09
US9721330B2 (en) 2017-08-01
JP2017502551A (ja) 2017-01-19
KR101766705B1 (ko) 2017-08-09
EP3046072A1 (en) 2016-07-20
WO2015062374A1 (zh) 2015-05-07
US20160253789A1 (en) 2016-09-01
JP6169276B2 (ja) 2017-07-26
EP3046072A4 (en) 2016-11-09
EP3046072B1 (en) 2018-07-04
CN103632352B (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN103632352B (zh) 一种噪声图像的时域降噪方法和相关装置
Wang et al. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization
CN103369209B (zh) 视频降噪装置及方法
JP5908174B2 (ja) 画像処理装置及び画像処理方法
Tu et al. Bband index: a no-reference banding artifact predictor
CN111833366A (zh) 一种基于Canny算法的边缘检测方法
CN106464865B (zh) 用于视频处理的基于块的静态区域检测方法、装置及系统
CN106412383A (zh) 视频图像的处理方法和装置
KR20090115234A (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
WO2016165112A1 (zh) 一种对比度自适应的视频去噪系统
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
US20170345170A1 (en) Method of controlling a quality measure and system thereof
US20120128243A1 (en) Component filtering for low-light noise reduction
KR20130038393A (ko) 블록 아티팩트를 식별하기 위한 기법
US20140205202A1 (en) Noise reduction apparatus, noise reduction method, and program
CN101141655A (zh) 影像信号像素点色彩值调整方法
JP6198114B2 (ja) 画像処理プログラム、画像処理方法及び画像処理装置
JP6256703B2 (ja) 画像処理方法、及び画像処理装置
CN104796581B (zh) 一种基于噪声分布特征检测的视频去噪系统
KR101582800B1 (ko) 적응적으로 컬러 영상 내의 에지를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9652689B2 (en) Magnification factor estimation device and method for same
Vink et al. Local estimation of video compression artifacts
JP4913246B1 (ja) エッジ強調方法またはエッジ強調度演算方法
JP6070340B2 (ja) エッジ保存フィルタリング方法及び装置
Bhatia Decision based median filtering technique to remove salt and pepper noise in images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201029

Address after: Room 2-39, No.50 houmojia lane, Haishu District, Ningbo City, Zhejiang Province, 315000

Patentee after: NINGBO NUOSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20201029

Address after: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170426

Termination date: 20201101

CF01 Termination of patent right due to non-payment of annual fee