CN106663315A - 用于对含噪图像去噪的方法 - Google Patents

用于对含噪图像去噪的方法 Download PDF

Info

Publication number
CN106663315A
CN106663315A CN201580045301.9A CN201580045301A CN106663315A CN 106663315 A CN106663315 A CN 106663315A CN 201580045301 A CN201580045301 A CN 201580045301A CN 106663315 A CN106663315 A CN 106663315A
Authority
CN
China
Prior art keywords
pixel
function
key
piecemeal
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580045301.9A
Other languages
English (en)
Other versions
CN106663315B (zh
Inventor
O·图兹尔
J·桑顿
叶罗恩·范巴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106663315A publication Critical patent/CN106663315A/zh
Application granted granted Critical
Publication of CN106663315B publication Critical patent/CN106663315B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种方法通过对于含噪图像中的每个像素首先从分块构造键来对含噪图像去噪,其中分块包括像素周围的局部邻域像素。使用键从函数库选择函数。然后,将函数应用于分块以对于像素生成对应的无噪像素。

Description

用于对含噪图像去噪的方法
技术领域
本发明总体上涉及图像处理,并且更具体地涉及处理图像以降低噪声并且增强图像内容。
背景技术
图像去噪的目标是从被噪声破坏的图像重构“无噪”增强图像。存在很多用于图像去噪的图像处理方法。
第一组方法使用局部方法,其中将目标像素的无噪估计重构为目标像素的小空间邻域内的像素值的加权平均。一种这样的方法用诸如高斯核函数的平滑滤波器对含噪图像进行卷积,其中权重根据函数随着与目标像素的距离而减小。由于对邻域内的局部图像结构(像素值)不敏感的线性滤波运算,得到的图像通常具有模糊的伪影。
为了克服模糊的伪影,其他局部方法尝试通过使用非线性滤波器来使滤波器“边缘感知”。中值滤波器将像素值重构为邻域内的像素值的中间值。
另一方法使用各向异性扩散,其中滤波器的形状可以作为扩散过程的结果适应于局部图像结构,其对图像不连续敏感。
sigma滤波器通过对目标像素与其邻域内的其他像素之间的绝对像素值差进行阈值处理来识别邻域内与目标像素相似的像素。然后通过邻域内仅相似像素值(具有相似度阈值内的差的像素)的平均来重构目标像素。该模型中的权重可以根据相似度标准认为是0或1。
已知对sigma滤波器的若干扩展。例如,可以使用双边滤波器,其中,代替硬阈值算子(0或1权重),权重根据两个核函数(一个在空间域中,一个在范围(像素值)域中)的乘法而连续变化。
另一方法检查所关注像素周围的不同的局部图像区域,并且确定每个局部区域的无噪估计。所关注像素的估计然后确定为局部区域估计的某种加权平均。
另一方法确定每个像素值的噪声方差(其存储在查找表中)。然后基于该噪声模型调整相似度阈值和权重。
局部去噪方法受益于允许快速计算的空间局部性。然而,这些方法无法使用图像的全局统计量,诸如重复模式,而这是图像去噪的重要线索。
第二组方法使用非局部去噪方法。非局部方法通过搜索图像内的全部分块来检索与目标图像分块相似的图像分块。然后,目标分块被相似分块的加权平均替换。
另选的非局部方法包括使用来自相同图像的学习字典和变换域非局部滤波的图像分块的稀疏重构。这些方法的非局部搜索步骤使得它们在具有计算和存储器约束的系统中难以使用。
另选地,可以通过使用图像分割或置信度传播对马尔可夫随机场(MRF)执行推理来实现非局部去噪。为了实现快速性能,迭代的次数小,在结果中留下相当大的噪声。
发明内容
本发明的实施方式提供了用于对含噪图像去噪以生成无噪增强图像的方法。方法使用局部去噪函数库。对于图像的每个像素,使用像素周围的局部邻域(分块)构造键(key)。键将每个像素映射到函数库中的去噪函数。通过将选择的函数应用于像素的分块来确定像素的无噪重构。
例如,能在离线过程中使用训练图像学习去噪函数库。学习过程最小化了重构误差。方法通过键将非线性映射与函数结合。对于各种分块配置优化函数以提供比现有的手动调节的局部去噪方法更好的重构,同时仍然允许快速处理。
附图说明
图1是根据本发明的实施方式的去噪方法的流程图。
图2是根据本发明的实施方式的去噪方法的详细流程图。
图3是根据本发明的实施方式的空间映射的示意图。
图4是根据本发明的实施方式的噪声映射的流程图。
图5是根据本发明的实施方式的函数映射的流程图。
图6是根据本发明的实施方式的使用库函数去噪的示意图。
图7是根据本发明的实施方式的构造函数库的流程图。
具体实施方式
图1是根据本发明的实施方式的用于使用局部去噪函数库501对含噪图像101进行去噪110以产生去噪图像102的方法的流程图。方法可以在如现有技术中已知的通过总线连接到存储器和输入/输出接口的处理器中执行。
图2是去噪方法的详细流程图。含噪图像中的像素x具有值I(x)。像素周围的局部邻域或“分块”是P(x)。分块可以具有任意形状,诸如矩形、椭圆形、或者适应于图像内容的不规则的像素排列。
噪声估计器210使用含噪图像101中的像素的局部邻域或分块P(x)来确定每个像素的噪声方差σ211。函数映射m(x)510使用噪声方差估计和像素的局部邻域来将每个像素映射到函数230,见图5。选择的函数f230应用于240含噪图像中的分块P(x),以生成去噪图像102的对应的去噪像素。
噪声估计
在噪声估计210期间,该方法估计每个像素的噪声的方差。在一种实施方式中,假定方差σ对于所有具有相同值v的像素是等同的
如果I(x)=v并且I(y)=v,那么σ(x)=σ(y)=σv
使用每个像素周围的局部分块来估计方差。对于图像中具有平均值v的每个分块,确定分块的强度值的方差,每个分块一个方差。如果分块源自恒定颜色区域,则该分块的方差等于噪声的经验估计。
然而,因为分块还可以源自非恒定颜色区域,所以分块方差估计近似是具有值v的像素的噪声方差分布的下限。值v的噪声方差估计为具有平均值v的分块的中心像素的噪声方差分布的k阶统计量。在一种实施方式中,k例如选择为分块中心像素值的方差计算分布的具有值v的像素数量的0.1。
一般来说,方差随着像素值改变而平滑地改变。每个值的独立的噪声估计造成了非平滑的噪声轮廓。因此,平滑化方差以产生平滑的噪声轮廓。
函数映射
对于图像的每个像素x,使用像素x周围的分块P(x)和像素值的噪声估计来构造键。键包括空间键和噪声键。
如图3中示出的,使用像素x周围的例如3x3的像素I(xi),xi∈P(x)的分块P(x)301通过空间映射函数310来构造空间键302。分块P(x)的大小和形状可以不同于用来估计噪声方差的分块。
在一种实施方式中,空间键是局部n元模式(LnP)320,例如局部二元模式(LbP)。对于分块内的每个像素xi获得一位信息。如果分块中的像素值I(xi)与含噪图像中的像素值I(x)之间的差小于像素的方差σ(x),则该位设置为0,否则该位设置(321)为1:
空间键具有|s|位。图3中示出了所确定的局部二元模式的示例,其中黑色像素(位0)对应于分块内的与含噪图像中的像素(即,分块中的中心像素)具有相似的值的像素,并且白色像素(位1)对应于分块内的与含噪图像中的像素具有不相似的值的像素。
图4是噪声映射的流程图。使用含噪图像中的像素的方差401的估计通过噪声映射函数410构造噪声键402。在一种实施方式中,通过方差σ(x)的n位均匀量化给出噪声键:
n(x)=σ(x)的|n|位量化。
像素的键m是空间键与噪声键的串接,如下:
从而键具有|s|+|n|位。
如图5中所示,键m 502将图像的像素映射510到去噪函数库501中的用来对像素去噪的去噪函数f。
使用库函数去噪
如图6中示出的,从含噪图像像素x确定键k 502,并且fk是函数库中对应的函数。去噪函数使用像素周围的分块P(x)601(即,分块包括像素x周围的局部邻域像素)。该分块的大小和形状可以不同于用来确定键的分块。在一种实施方式中,去噪函数是分块中的像素强度的线性函数
其中Wk 602是线性函数的权矩阵,I(P(x))是分块P(x)的像素强度的矩阵,并且是在通过将矩阵的列堆积为列向量的向量化之后的两个矩阵之间的内积运算。
学习去噪函数库
如图7中示出的,使用训练图像样本721来学习去噪函数库501。训练图像样本721包括无噪701和对应的含噪711训练图像样本对。通过训练样本构造器720生成训练样本721。在一种实施方式中,通过将合成噪声添加到无噪701图像来获得含噪711图像。
训练或函数拟合730优化了函数,使得最小化使用含噪711图像的无噪图像的重构与无噪701图像之间的差:
其中I和是无噪和含噪训练图像样本对721,l是函数库中的去噪函数的数量,并且去噪函数F通过首先使用函数映射510将像素映射到去噪函数然后使用映射的函数对像素去噪,来操作每个图像像素:
F(x)=fm(x)(x)。
在一种实施方式中,通过根据键将训练图像对的像素分组来求解训练。然后,分别优化每个组。当库函数是线性函数时,通过求解线性最小二乘问题来最优地学习库函数。当库函数是非线性函数时,使用非线性优化技术(诸如梯度下降或牛顿法)来学习库函数。

Claims (12)

1.一种用于对含噪图像去噪的方法,所述方法对于所述含噪图像中的每个像素包括以下步骤:
从分块构造键,其中所述分块包括所述像素周围的局部邻域像素;
使用所述键从函数库选择函数;以及
将所述函数应用于所述分块以生成对应的无噪像素,其中所述步骤在处理器中执行。
2.根据权利要求1所述的方法,所述方法还包括:
确定所述像素的噪声方差。
3.根据权利要求2所述的方法,其中所述噪声方差对于具有相同值v的所有像素是等同的,并且所述噪声方差使用具有平均值v的分块的中心像素的噪声方差分布的k阶统计量来估计。
4.根据权利要求2所述的方法,所述方法还包括:
平滑化所述噪声方差。
5.根据权利要求3所述的方法,所述方法还包括:
串接空间键和噪声键以形成所述键。
6.根据权利要求5所述的方法,其中所述空间键使用局部n元模式构造。
7.根据权利要求5所述的方法,所述方法还包括:
如果所述像素与所述分块中的邻域像素之间的差小于所述噪声方差的常数乘数,则将所述空间键中的位设置为0,否则,将所述位设置为1。
8.根据权利要求5所述的方法,其中所述噪声键是所述噪声方差的n位均匀量化
n(x)=σ(x)的|n|位量化。
9.根据权利要求1所述的方法,其中所述函数是所述分块中的像素的强度的线性函数。
10.根据权利要求1所述的方法,所述方法还包括:
从训练图像样本学习所述函数库,所述训练图像样本包括多对无噪和对应的含噪训练图像样本。
11.根据权利要求10所述的方法,其中所述学习包括:
最小化每对无噪和对应的去噪训练图像样本之间的差。
12.根据权利要求1所述的方法,其中在所述键的构造期间所述分块的形状不同于在所述函数的应用期间。
CN201580045301.9A 2014-09-03 2015-08-28 用于对含噪图像去噪的方法 Expired - Fee Related CN106663315B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/475,806 2014-09-03
US14/475,806 US9262810B1 (en) 2014-09-03 2014-09-03 Image denoising using a library of functions
PCT/JP2015/004374 WO2016035305A1 (en) 2014-09-03 2015-08-28 Method for denoising noisy image

Publications (2)

Publication Number Publication Date
CN106663315A true CN106663315A (zh) 2017-05-10
CN106663315B CN106663315B (zh) 2020-07-07

Family

ID=54151363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580045301.9A Expired - Fee Related CN106663315B (zh) 2014-09-03 2015-08-28 用于对含噪图像去噪的方法

Country Status (5)

Country Link
US (1) US9262810B1 (zh)
JP (1) JP6239153B2 (zh)
CN (1) CN106663315B (zh)
GB (1) GB2544233B (zh)
WO (1) WO2016035305A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742727A (zh) * 2022-03-31 2022-07-12 南通电博士自动化设备有限公司 一种基于图像平滑的噪声处理方法及系统
CN116152115A (zh) * 2023-04-04 2023-05-23 湖南融城环保科技有限公司 基于计算机视觉的垃圾图像去噪处理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6661491B2 (ja) * 2015-11-12 2020-03-11 キヤノン株式会社 画像処理装置および画像処理方法
US9760978B1 (en) * 2016-05-09 2017-09-12 Adobe Systems Incorporated Missing region prediction
US9911201B2 (en) 2016-06-23 2018-03-06 Adobe Systems Incorporated Imaging process initialization techniques
US11593918B1 (en) 2017-05-16 2023-02-28 Apple Inc. Gradient-based noise reduction
CN108665427A (zh) * 2018-04-17 2018-10-16 浙江华睿科技有限公司 一种图像降噪方法及装置
EP3629240B1 (en) * 2018-09-07 2023-08-23 Panasonic Intellectual Property Corporation of America Generative adversarial networks for local noise removal from an image
RU2764395C1 (ru) 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN113643198B (zh) * 2021-07-22 2024-07-16 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062449A1 (en) * 2002-09-27 2004-04-01 Chui-Kuei Chiu Accelerative noise filtering method for image data
CN101043581A (zh) * 2006-03-21 2007-09-26 中国科学院计算技术研究所 一种多模板混合滤波的图像去噪方法
CN101464997A (zh) * 2009-01-21 2009-06-24 北京中星微电子有限公司 一种噪声去除方法及其装置
CN101980284A (zh) * 2010-10-26 2011-02-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102306377A (zh) * 2011-09-21 2012-01-04 深圳市理邦精密仪器股份有限公司 一种超声图像去噪的方法和装置
CN103077507A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于Beta算法的多尺度SAR图像降噪方法
CN103093433A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于区域划分和字典学习的自然图像去噪方法
CN103491282A (zh) * 2013-09-23 2014-01-01 华为技术有限公司 图像消噪方法与装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718068B1 (en) 2000-03-10 2004-04-06 Eastman Kodak Company Noise reduction method utilizing statistical weighting, apparatus, and program for digital image processing
US7958096B2 (en) * 2000-09-20 2011-06-07 Ndsu-Research Foundation System and method for organizing, compressing and structuring data for data mining readiness
JP4281453B2 (ja) * 2003-07-31 2009-06-17 ソニー株式会社 信号処理装置および信号処理方法
MXPA06007790A (es) * 2004-01-06 2007-01-23 Thomson Licensing Tecnicas mejoradas para detectar, analizar y utilizar patrones de autentificacion visibles.
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
US8320698B2 (en) 2008-09-18 2012-11-27 Sony Corporation System and method for denoising using signal dependent adaptive weights
US8279345B2 (en) * 2009-07-21 2012-10-02 Qualcomm Incorporated System and method for random noise estimation in a sequence of images
US8478062B2 (en) * 2009-10-28 2013-07-02 Apple Inc. Reducing signal-dependent noise in digital cameras
US9117262B2 (en) * 2012-11-30 2015-08-25 Adobe Systems Incorporated Learned piece-wise patch regression for image enhancement
JP6161326B2 (ja) * 2013-02-27 2017-07-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062449A1 (en) * 2002-09-27 2004-04-01 Chui-Kuei Chiu Accelerative noise filtering method for image data
CN101043581A (zh) * 2006-03-21 2007-09-26 中国科学院计算技术研究所 一种多模板混合滤波的图像去噪方法
CN101464997A (zh) * 2009-01-21 2009-06-24 北京中星微电子有限公司 一种噪声去除方法及其装置
CN101980284A (zh) * 2010-10-26 2011-02-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102306377A (zh) * 2011-09-21 2012-01-04 深圳市理邦精密仪器股份有限公司 一种超声图像去噪的方法和装置
CN103077507A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于Beta算法的多尺度SAR图像降噪方法
CN103093433A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于区域划分和字典学习的自然图像去噪方法
CN103491282A (zh) * 2013-09-23 2014-01-01 华为技术有限公司 图像消噪方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742727A (zh) * 2022-03-31 2022-07-12 南通电博士自动化设备有限公司 一种基于图像平滑的噪声处理方法及系统
CN116152115A (zh) * 2023-04-04 2023-05-23 湖南融城环保科技有限公司 基于计算机视觉的垃圾图像去噪处理方法

Also Published As

Publication number Publication date
GB2544233A (en) 2017-05-10
GB2544233B (en) 2020-02-26
JP6239153B2 (ja) 2017-11-29
GB201703366D0 (en) 2017-04-19
WO2016035305A1 (en) 2016-03-10
US20160063685A1 (en) 2016-03-03
US9262810B1 (en) 2016-02-16
CN106663315B (zh) 2020-07-07
JP2017516233A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
CN106663315A (zh) 用于对含噪图像去噪的方法
Li et al. Fast guided global interpolation for depth and motion
Fu et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation
Romano et al. Boosting of image denoising algorithms
Sutour et al. Adaptive regularization of the NL-means: Application to image and video denoising
US9196021B2 (en) Video enhancement using related content
Zhang et al. A fast adaptive reweighted residual-feedback iterative algorithm for fractional-order total variation regularized multiplicative noise removal of partly-textured images
CN103020898B (zh) 序列虹膜图像超分辨率重建方法
Gilboa Nonlinear eigenproblems in image processing and computer vision
Kollem et al. Denoising and segmentation of MR images using fourth order non‐linear adaptive PDE and new convergent clustering
Shama et al. A convex total generalized variation regularized model for multiplicative noise and blur removal
Ghoniem et al. Nonlocal video denoising, simplification and inpainting using discrete regularization on graphs
Phan A weighted total variation based image denoising model using mean curvature
Murugesan et al. A quantitative assessment of speckle noise reduction in SAR images using TLFFBP neural network
Sun et al. A general non-local denoising model using multi-kernel-induced measures
Gong Mean curvature is a good regularization for image processing
Biradar et al. Edge preserved speckle noise reduction using integrated fuzzy filters
Prasath Quantum noise removal in X-ray images with adaptive total variation regularization
Kim et al. Image denoising feedback framework using split Bregman approach
Tu et al. Adaptive guided image filter for warping in variational optical flow computation
Xu et al. Iterative nonlocal total variation regularization method for image restoration
Graba et al. An interval-valued inversion of the non-additive interval-valued F-transform: Use for upsampling a signal
Li et al. Single-image super-resolution reconstruction based on global non-zero gradient penalty and non-local Laplacian sparse coding
Mittal et al. Automatic parameter prediction for image denoising algorithms using perceptual quality features
Zhu et al. A random-valued impulse noise removal algorithm via just noticeable difference threshold detector and weighted variation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200707