CN107451954A - 基于图像低秩性质的迭代像素插值方法 - Google Patents

基于图像低秩性质的迭代像素插值方法 Download PDF

Info

Publication number
CN107451954A
CN107451954A CN201710367618.5A CN201710367618A CN107451954A CN 107451954 A CN107451954 A CN 107451954A CN 201710367618 A CN201710367618 A CN 201710367618A CN 107451954 A CN107451954 A CN 107451954A
Authority
CN
China
Prior art keywords
picture
rank
image
matrix
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710367618.5A
Other languages
English (en)
Inventor
吴蒙
郭冰清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710367618.5A priority Critical patent/CN107451954A/zh
Publication of CN107451954A publication Critical patent/CN107451954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于图像低秩性质的迭代像素插值方法，该方法根据图片低秩的特点，将图片分割成多个小图片，使用交替方向方法对每个小图片分别进行迭代优化，然后再对图像中每个像素的其他颜色分量进行插值。根据需要解决的最优化问题应用不精确的拉格朗日乘子法(inexact ALM,ILAM)方法也称为交替方向方法(alternating direction methods,ADM)以得到循环迭代后的图片结果。该方法能够很好地为Bayer CFA过滤后的马赛克图片提供了一种有效地恢复方法。该方法易于实施，恢复效果较好，并且能够很好地为其他格式的CFA过滤的马赛克图片的恢复提供解决方案。

Description

基于图像低秩性质的迭代像素插值方法
技术领域
本发明涉及一种基于图像低秩性质与最优化问题的像素插值方法，属于图像技术领域。
背景技术
当前，许多的机器学习(例如核学习,度量学习)和数据管理问题(例如数据差分隐私)都能以矩阵的形式表达,因此近似一个目标矩阵而令数据分析技术更精确更适合于大规模的实际应用已成为当今机器学习和数据管理领域十分热门的话题。但是矩阵的低秩性可以帮助解决处理含有大量数据的矩阵。现在已有的技术包括支持向量机、压缩感知和非负矩阵分解等使得人们有开发出一系列基于矩阵分析技术的机器学习和数据管理的算法。
目前相近似的技术方案主要为：申请号201410203223.8，名称：基于多随机测量迭代像素判决的压缩感知稳健重构方法。但是，这件专利的技术方案存在的缺陷是：必须依赖现有的TSC算法才能得到稀疏系数的估计值。
在计算机视觉、模式识别、数据挖掘、和机器学习等领域中,常用的模型是假设相关数据存在(或近似存在)于一个低维线性子空间中。主成分分析(principal componentanalysis,PCA)、线性判别分析(linear discriminant analysis,LDA)和独立成分分析(independent component analysis,ICA)等子空间学习模型就是利用这种低维性质来进行维数约简、特征获取和噪声移除。传统的线性子空间对含小高斯噪声的数据非常有效,但对含野点和稀疏噪声大的数据却非常敏感。在过去几年里,基于稀疏表示的压缩感知(compressed sensing/compressed sampling,CS)在理论上取的了重要的进展,这些进展促使稀疏表示成为一种更加有效和流行的数据表示方式。与传统的子空间学习模型相比,稀疏表示对含野点和稀疏噪声大的数据更加鲁棒。
近年来,低秩矩阵恢复(low-rank matrix recovery,LRMR)将向量样例的稀疏表示推广到矩阵的低秩情形,它已成为继CS之后有一种重要的数据获取和表达方式。LRMR 先将数据矩阵表示为低秩矩阵与稀疏噪声之和,再通过核范数优化问题来恢复低秩矩阵。目前,LRMR主要由鲁棒主成分分析(robust PCA,RPCA)、矩阵补全(matrix completion,MC)和低秩表示(low-rank representation,LRR)等三类模型组成。当数据矩阵D含丢失元素时,可根据矩阵的低秩结构来恢复矩阵的所有元素,称此恢复过程为矩阵补全(MC)。
第一类非自适应插值算法，具体是指插值算法在整张图片里面只有一种，所以不管图像中需要进行插值的像素点位于平滑区域，边缘区域或者是纹理区域，所采用的插值函数完全相同，一般是计算待插值点周围已有的像素点的颜色分量值的加权平均。所以这样同等对待图像中的每个区域，就会导致恢复出来的图像出现锯齿效应和模糊效应，图像的细节部分也会不太清晰，影响到恢复图像的视觉效果。所以一般来说，这一种算法比较适用于图像的平滑区域，但是对于边缘区域和纹理区域来讲恢复效果不是很好，因为这两个区域通常包含更多信息。
第二种自适应插值法便比较适合边缘区域和纹理区域的处理，这样能够得到拥有更多细节信息并且视觉效果更好的高分辨率图像。自适应插值算法也有很多种，比较流行的就是基于边缘的插值算法，它主要针对的就是图像的边缘区域特征。第一个基于边缘的插值算法是由Allebach等人提出的算法，这个算法就是初代的基于边缘的插值算法，简称EDI。它首先会从低分辨率的图像得到优化图像的边缘部分的信息，接下来通过线性插值、修正来得到最终确定下来的像素值，这样的处理过程会进行多次，该算法实际上确实提高了一定的边缘区域的效果，但是计算需要的时间相对来说比较长。之后LI等人提出了一种新的基于边缘的插值(New NEDI,NEDI)算法，这种算法会将图像划分为平滑区域和边缘区域，针对平滑区域采取双线性插值算法的计算方式，但是针对边缘区域就会采用协方差自适应插值方法。这种方法的步骤一般是：先根据刚开始的已经存在的像素值求出局部的协方差系数，然后再利用系数和两张图像的协方差之间的几何对偶性，用它来计算出之后得出的恢复了的图像属于每一个区域的局部协方差系数，然后根据已经得出来的协方差系数对图像的边缘部分来插值，然后得到高分辨率图像。经过NEDI算法产生的高分辨率图像具有很好地视觉效果，但是这种算法的计算过于复杂，所以应用的范围被限制了。而本发明能够很好地解决上面的问题。
发明内容
本发明目的是提供一种基于图像低秩的有效的像素插值方法，该方法针对数码相机等数码采集系统中带有Bayer CFA的单传感器所拍摄到的马赛克图像进行恢复插值，通过最优化问题进行迭代循环将被CFA过滤后图片进行还原，该方法根据图片低秩的特点，将图片分割成多个小图片，使用交替方向方法对每个小图片分别进行迭代优化，然后再对图像中每个像素的其他颜色分量进行插值。根据需要解决的最优化问题应用不精确的拉格朗日乘子法(inexact ALM,ILAM)方法也称为交替方向方法(alternating directionmethods,ADM)以得到循环迭代后的图片结果。本发明最优化的目标函数的解决方法应用增广拉格朗日乘子法与交替方向方法。
本发明解决其技术问题所采取的技术方案是：一种基于图像低秩的迭代像素插值方法，该方法包括如下步骤：
步骤1：根据图像的低秩特性，对使用Bayer CFA过滤后的图片进行还原，首先输入被过滤图片；
步骤2：将被过滤图片分割成多个部分；
步骤3：恢复每一部分被过滤图片都要根据这一部分计算相应参数；
步骤4：使用最优化方法开始进行循环迭代；
步骤5：每一部分都经过循环迭代后对像素中其他颜色分量进行插值。
进一步地，本发明上述步骤3中，具体包括以下步骤：
步骤3-1：计算公式中所需要的色差；
步骤3-2：计算公式中所需要的拉普拉斯算子模板；
步骤3-3：计算公式中所需要的成立条件。
进一步地，本发明上述步骤4中，具体包括以下步骤：
步骤4-1：根据最优化问题目标函数写出增广拉格朗日函数；
步骤4-2：用交替方向方法解决此函数问题；
步骤4-3：经过循环迭代得到最优解。
有益效果：
1、本发明能够很好地为Bayer CFA过滤后的马赛克图片提供了一种有效地恢复方法，易于实施，恢复效果较好，并且能够很好地为其他格式的CFA过滤的马赛克图片的恢复提供解决方案。
2、本发明通过提出的最优化问题进行迭代循环将被CFA过滤后图片进行还原，而最优化的目标函数的解决方法能够很好地应用于增广拉格朗日乘子法与交替方向的技术领域。
3、本发明根据最优化方法进行图像像素插值和图片低秩的特点，将图片分割成多个小图片，使用交替方向方法对每个小图片分别进行迭代优化，然后再对图像中每个像素的其他颜色分量进行插值，根据需要解决的最优化问题应用不精确的拉格朗日乘子法(inexact ALM,ILAM)方法也称为交替方向方法(alternating direction methods, ADM)以得到循环迭代后的图片结果。
附图说明
图1为本发明所使用的Bayer CFA格式。
图2为本优化方法中凸规划函数各变量的格式。
图3为本发明的方法流程图。
图4为要恢复的已被Bayer CFA过滤后的图。
图5为原本的图片。
图6为使用本方法恢复的图片。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步详细的说明。
本发明提供了一种基于矩阵低秩的像素插值方法，该方法使用带约束的最优化问题对此最优化问题使用增广拉格朗日乘子法与交替方向方法进行循环迭代。但本方法现在只是用于应用Bayer格式的颜色滤波阵列进行过滤的图片，包含如下步骤：
具体的说，本发明是采用以下的技术方案来实现，具体包括：
步骤1：根据图像的低秩特性，对使用Bayer CFA过滤的图片进行还原，首先输入被过滤图片；
步骤2：将被过滤图片分割成多个部分；
步骤3：恢复每一部分被过滤图片都要根据这一部分计算相应参数；
步骤4：开始进行循环迭代；
步骤5：每一部分都经过循环迭代后对每个像素的其他两个颜色分量进行插值。
当前，关于马赛克技术所使用的颜色滤波阵列(Color Filter Array,CFA)模型有许多种，目前最流行的是Bayer格式的CFA，本发明的反马赛克技术也是基于此格式的CFA，用来恢复使用这一格式进行马赛克技术马赛克图片。Bayer格式的CFA如图1 所示。
关于本发明中的反马赛克技术所用的最优化目标函数
(1)目标函数中各变量的定义：
假设一张彩色图片中的每个像素在本发明中使用三个颜色分量来描述，分别是红(R)、绿(G)和蓝(B)，于是假设图片的大小为m×n，那么属于这张图片的R、G、B颜色分量矩阵的大小也为m×n。X为矩阵[R；G；B]，x为向量详细的解释如图 2所示。
在目标函数中，矩阵C是用来计算色差的，为定值；向量D是变形的拉普拉斯模板；向量A是用来计算循环迭代出的x的用Bayer格式的CFA马赛克过后的结果；向量b是唯一已知的定值，是输入的马赛克图片的各颜色分量的值，大小与格式和向量x 相同。
(2)目标函数中各部分的计算方法：
1.关于CX：这一部分中，矩阵I为单位矩阵，
2.关于Dx：通过不同的微分算子来计算卷积结果，以下是几种不同的微分算子的例子：
相对应的值为：[-1 1]，在这里，我们选择作为微分算子来计算卷积。于是，用以下等式来表示计算结果：
3.关于Ax-b:根据图1已知Bayer格式的CFA是由一个2×2的矩阵重复多次组成的，具体包括：
(3)求得目标函数的最优解的方法：
1.增广拉格朗日乘子法：根据增广拉格朗日乘子法可将目标函数改写为如下格式：
s.t.Ax-b=0.
原目标函数的第三部分可被改为约束条件如上式表示。
2.交替方向方法：根据被改写的目标函数可写出增广拉格朗日函数：
在这里，与原目标函数中的β相等，α为拉普拉斯参数，β为马赛克图像像素参数。
为方便表示，本发明在这里定义函数B＝tran(A)，此函数是将大小为m×n的矩阵A转变为大小为mn×1的列向量B；再定义函数A＝retran(B,m,n),此函数则是将大小为mn×1的列向量B转变为大小是m×n的矩阵A。
应用交替方向方法的循环迭代过程如下(假设图片大小为m×n)：
1)
2)如果Xk+1≠X，将Xk+1的值赋给xk，xk＝tran(Xk+1)
3)如果xk+1≠x，
将xk+1的值赋给X，X＝retran(xk+1，3m，n)
λk+1=λk+β[Axk+1-b].
由于在上述1)中由于第二部分中的x实际上是当前X的变形，所以具体在循环迭代中需要做出调整，于是引入新的变量A1、b1和λ1k，即在实际计算中根据X与x的大小不同，这几个变量的大小会改变，但是原本的目的并没有变，矩阵A即是对矩阵所表示的图片进行Bayer格式的马赛克。
接下来，具体的步骤如图3所示。
本发明在实际中应用举例包括如下：
对于一个3×4×4矩阵：
应用Bayer格式的CFA马赛克过后的结果为：
A=[AR，AG，AB].
Rc=Lap×R；
Gc＝Lap×G；
Bc＝Lap×B，
在这里×表示计算卷积结果。
虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (5)

1.一种基于图像低秩的迭代像素插值方法，其特征在于，包括如下步骤：
步骤1：根据图像的低秩特性，对使用Bayer CFA过滤后的图片进行还原，首先输入被过滤图片；
步骤2：将被过滤图片分割成多个部分；
步骤3：恢复每一部分被过滤图片都要根据这一部分计算相应参数；
步骤4：使用最优化方法开始进行循环迭代；
步骤5：每一部分都经过循环迭代后对像素中其他颜色分量进行插值。
2.根据权利要求1所述的一种基于图像低秩的迭代像素插值方法，其特征在于，所述步骤3中包括如下步骤：
步骤3-1：计算公式中所需要的色差；
步骤3-2：计算公式中所需要的拉普拉斯算子模板；
步骤3-3：计算公式中所需要的成立条件。
3.根据权利要求1所述的一种基于图像低秩的迭代像素插值方法，其特征在于，所述步骤4包括如下步骤：
步骤4-1：根据最优化问题目标函数写出增广拉格朗日函数；
步骤4-2：用交替方向方法解决此函数问题；
步骤4-3：经过循环迭代得到最优解。
4.根据权利要求1所述的一种基于图像低秩的迭代像素插值方法，其特征在于，所述方法包括：定义函数B＝tran(A)，此函数是将大小为m×n的矩阵A转变为大小为mn×1的列向量B；再定义函数A＝retran(B,m,n),此函数则是将大小为mn×1的列向量B转变为大小是m×n的矩阵A。
5.根据权利要求1所述的一种基于图像低秩的迭代像素插值方法，其特征在于，所述方法包括：所述的目标函数中各部分的计算方法：
1)关于CX：矩阵I为单位矩阵，
2)关于Dx：通过不同的微分算子来计算卷积结果，包括：
相对应的值为：选择作为微分算子来计算卷积，于是，用以下等式来表示计算结果：
CN201710367618.5A 2017-05-23 2017-05-23 基于图像低秩性质的迭代像素插值方法 Pending CN107451954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710367618.5A CN107451954A (zh) 2017-05-23 2017-05-23 基于图像低秩性质的迭代像素插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710367618.5A CN107451954A (zh) 2017-05-23 2017-05-23 基于图像低秩性质的迭代像素插值方法

Publications (1)

Publication Number Publication Date
CN107451954A true CN107451954A (zh) 2017-12-08

Family

ID=60486687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710367618.5A Pending CN107451954A (zh) 2017-05-23 2017-05-23 基于图像低秩性质的迭代像素插值方法

Country Status (1)

Country Link
CN (1) CN107451954A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369731A (zh) * 2018-02-02 2018-08-03 深圳前海达闼云端智能科技有限公司 模板优化方法、装置、电子设备和计算机程序产品
CN109492428A (zh) * 2018-10-29 2019-03-19 南京邮电大学 一种面向主成分分析的差分隐私保护方法
CN109902805A (zh) * 2019-02-22 2019-06-18 清华大学 自适应样本合成的深度度量学习及装置
CN113643341A (zh) * 2021-10-12 2021-11-12 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752603A (zh) * 2012-06-07 2012-10-24 Tcl集团股份有限公司 一种色彩滤镜阵列图像的色彩恢复方法及系统
CN103093430A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于稀疏低秩与字典学习的心脏mri图像去模糊方法
JP2013143102A (ja) * 2012-01-12 2013-07-22 Nikon Corp 移動物体検出装置、移動物体検出方法およびプログラム
CN103347190A (zh) * 2013-07-25 2013-10-09 华北电力大学 一种边相关的联合彩色去马赛克和放大方法
CN103440631A (zh) * 2013-09-02 2013-12-11 西安电子科技大学 基于低秩分解的ct序列图像复原方法
CN104616283A (zh) * 2014-12-01 2015-05-13 北京工业大学 一种基于低秩表示算法的害虫检测方法
CN105761223A (zh) * 2016-02-16 2016-07-13 四川用联信息技术有限公司 一种基于图像低秩性的迭代降噪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013143102A (ja) * 2012-01-12 2013-07-22 Nikon Corp 移動物体検出装置、移動物体検出方法およびプログラム
CN102752603A (zh) * 2012-06-07 2012-10-24 Tcl集团股份有限公司 一种色彩滤镜阵列图像的色彩恢复方法及系统
CN103093430A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于稀疏低秩与字典学习的心脏mri图像去模糊方法
CN103347190A (zh) * 2013-07-25 2013-10-09 华北电力大学 一种边相关的联合彩色去马赛克和放大方法
CN103440631A (zh) * 2013-09-02 2013-12-11 西安电子科技大学 基于低秩分解的ct序列图像复原方法
CN104616283A (zh) * 2014-12-01 2015-05-13 北京工业大学 一种基于低秩表示算法的害虫检测方法
CN105761223A (zh) * 2016-02-16 2016-07-13 四川用联信息技术有限公司 一种基于图像低秩性的迭代降噪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369731A (zh) * 2018-02-02 2018-08-03 深圳前海达闼云端智能科技有限公司 模板优化方法、装置、电子设备和计算机程序产品
CN109492428A (zh) * 2018-10-29 2019-03-19 南京邮电大学 一种面向主成分分析的差分隐私保护方法
CN109902805A (zh) * 2019-02-22 2019-06-18 清华大学 自适应样本合成的深度度量学习及装置
CN113643341A (zh) * 2021-10-12 2021-11-12 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN113643341B (zh) * 2021-10-12 2021-12-28 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法

Similar Documents

Publication Publication Date Title
CN110992262B (zh) 一种基于生成对抗网络的遥感图像超分辨重建方法
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
Xue et al. Joint spatial and spectral low-rank regularization for hyperspectral image denoising
CN108932693B (zh) 基于人脸几何信息的人脸编辑补全方法及装置
Liu et al. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors
Chierchia et al. A nonlocal structure tensor-based approach for multicomponent image recovery problems
CN103093444B (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN105844630B (zh) 一种双目视觉的图像超分辨率融合去噪方法
CN105657402B (zh) 一种深度图恢复方法
Xu et al. Fast tensor nuclear norm for structured low-rank visual inpainting
Shen et al. Convolutional neural pyramid for image processing
CN107451954A (zh) 基于图像低秩性质的迭代像素插值方法
CN104599242A (zh) 使用多尺度非局部正则的模糊核估计方法
CN105046672A (zh) 一种图像超分辨率重建方法
Wang et al. Multi-focus image fusion based on quad-tree decomposition and edge-weighted focus measure
US20230252605A1 (en) Method and system for a high-frequency attention network for efficient single image super-resolution
CN103971354A (zh) 低分辨率红外图像重建高分辨率红外图像的方法
Su et al. Fast hyperspectral image denoising and destriping method based on graph Laplacian regularization
Zou et al. Joint wavelet sub-bands guided network for single image super-resolution
Lou et al. Nonlocal similarity image filtering
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
Park et al. Image super-resolution using dilated window transformer
CN104732491A (zh) 一种边缘先验引导的单帧遥感图像超分辨率处理方法
CN113159015A (zh) 一种基于迁移学习的印章识别方法
Wu et al. SyFormer: Structure-Guided Synergism Transformer for Large-Portion Image Inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171208