CN107341779A

CN107341779A - 基于物理成像模型的彩色图像去马赛克方法

Info

Publication number: CN107341779A
Application number: CN201710557660.3A
Authority: CN
Inventors: 刘丹华; 郭宇飞; 高大化; 宋雪岩; 张楷伟; 石光明
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-07-10
Filing date: 2017-07-10
Publication date: 2017-11-10
Anticipated expiration: 2037-07-10
Also published as: CN107341779B

Abstract

本发明公开了一种基于物理成像模型的彩色图像去马赛克方法，主要解决现有去马赛克方法重构后图像的边缘色彩的准确度不高，抗噪能力不好的问题。其技术方案包括：1.利用色彩滤波阵列CFA对原彩色图像进行采样，得到马赛克图像；2.对马赛克图像利用彩色图像的物理成像模型联合空间对齐性和稀疏特性，建立1,2‑范数的正则优化数学模型；3.使用基于交替方向框架的迭代收缩阈值方法求解1,2‑范数的正则优化数学模型，得到全彩色图像。本发明有效提高了边缘色彩的准确度，在图像的峰值信噪比，抗噪能力以及视觉质量上都有了较大的提升，可用于数码相机中图像的获取和恢复。

Description

基于物理成像模型的彩色图像去马赛克方法

技术领域

本发明属于图像处理和信号处理技术领域，特别涉及彩色图像的去马赛克方法，主要应用于数码相机中图像的获取和恢复。

背景技术

随着图像处理技术的飞快发展与数码相机的普及，高质量彩色图像的采集与处理已成为一个非常活跃的研究领域，而去马赛克则是其中一个必不可少的重要环节。有效的去马赛克方法是获取高质量的全彩色图像的关键。因此对彩色图像的去马赛克方法进行深入研究具有极其重要而深远的理论意义和广泛的应用价值。

与此同时，随着学者、研究人员对去马赛克方法的深入研究发现，图像的一个重要特性就是稀疏性。由于信号、图像在某个基下的稀疏表达可以抓住其最主要或者最有意义的基本特征，而去马赛克效果的好坏恰好取决于对图像能否做到准确估计，因此稀疏性有望成为解决这一问题的关键。事实证明，通过合理利用图像的稀疏特性，准确地抓住图像最本质的特征进行全彩色图像重建，能有效提高重建效果。对于稀疏特性的挖掘，目前传统的方法主要有：

一、局部自适应主成分分析构建稀疏域方法，它主要利用主成分分析方法构建稀疏域，建立1-范数最优化模型完成全彩色图像的重建，

二、基于非局部模型的稀疏方法，其主要利用非局部自相似特性挖掘稀疏特性，构建1-范数最优化模型完成全彩色图像的重建，

三、差图像全变分稀疏方法，其主要通过在固定的全变分TV基稀疏表示，利用全变分正则化约束模型，完成全彩色图像的重建。

用上述方法一和方法二进行全彩色图像的重建，主要基于统计模型，受噪声和观测误差影响较大，所以会导致图像边缘色彩的准确度不高，抗噪能力不好，用上述方法三进行全彩色图像的重建，由于该方法使用固定的TV基，导致对图像本身的变化太敏感，使得鲁棒性不强，色彩不够自然、准确，抗噪能力不够。

发明内容

本发明的目的在于针对上述现有去马赛克技术的不足，提出一种基于物理成像模型的彩色图像去马赛克方法，以提高全彩色图像重建的边缘色彩的准确度和抗噪能力。

本发明的技术思路是：通过分析彩色图像的物理成像模型，挖掘基于物理成像模型的稀疏特性和空间对齐特性，建立1,2-范数数学求解模型，完成全彩色图像重建。其实现方案包括如下：

成像步骤：利用色彩滤波阵列CFA对原彩色图像进行采样，得到马赛克图像Y；

建模步骤：利用彩色图像的物理成像模型联合空间对齐性和稀疏特性，建立1,2-范数的正则优化数学模型：

s.t.Rank(x_(i,j))≤r_i,j,i＝1,2,…,M,j＝1,2…,S_i

Φ_cX_c＝Y_c,c∈{R,G,B}

式中，min表示最小化操作，Y是马赛克图像，Φ为对全彩色图像X做下采样处理的算子，X表示全彩色图像，||*||_F表示F-范数，k₁表示设定第一个正则项的参数，k₂表示设定第一个正则项的参数，||*||_1,2表示1,2-范数，||*||_*表示核范数，X_i表示为第i个图像块，i＝1,2,...,M，M表示对全彩色图像X进行分块操作后的总块数，表示为2阶偏导操作，x_(i,j)表示第i个图像块的第j个相似块，j＝1,2,...,S_i，S_i表示相似块的总个数，Rank(x_(i,j))代表相似块矩阵x_(i,j)的秩，r_(i,j)为代表相似块矩阵x_(i,j)的最大值，Φ_c是对c通道图像进行下采样处理的算子，X_c表示c通道的全彩色图像，Y_c表示c通道的马赛克图像，c∈{R,G,B}，R,G,B分别表示红、绿、蓝三颜色通道；

重构步骤：在Rank(x_(i,j))≤r_i,j约束下，使用基于交替方向框架的迭代收缩阈值方法求解1,2-范数的正则优化数学模型，得到全彩色图像X。

本发明与现有技术相比具有以下优点：

本发明提出的新的优化方法与现有彩色图像去马赛克技术相比，提高了边缘色彩的准确度，在图像的峰值信噪比PSNR、抗噪能力以及视觉质量上都有了较大的提升。

附图说明

图1是本发明实现流程图；

图2是本发明对比实验仿真时使用的原始全彩色图像；

图3是对图2进行下采样处理后的马赛克图像

图4是利用现有Demosaick方法对图3重建的仿真结果图

图5是利用本发明方法对图3重建的仿真结果图

图6是可视化试验仿真时使用的原始全彩色图像

图7是对图6进行下采样处理后的马赛克图像

图8是对图像利用现有Demosaick方法对图7重建的仿真结果图

图9是对图像利用本发明方法对图7重建的仿真结果图

具体实施方式

下面结合附图和实例对本发明进行详细说明

参照图1，本发明的实现步骤如下：

步骤1：利用色彩滤波阵列CFA对原彩色图像进行采样，得到马赛克图像Y。，

1a)根据压缩感知理论，将CFA采样过程看作对原彩色图像的观测过程，引入c通道的按照Bayer模式分布的采样矩阵Φ_c，

1b)利用CFA模式下的c通道的采样矩阵Φ_c与c通道的图像X_c相乘，得到马赛克图像Y，用矩阵形式可表示为：，

式中，c∈R,G,B，H_ij均为观测矩阵内元素，i＝1,2,...,M，j＝1,2,...,N，M,N分别为采样矩阵Φ_c的行数和列数。

步骤2：利用彩色图像的物理成像模型联合空间对齐性和稀疏特性，建立1,2-范数的正则优化数学模型。

2a)利用彩色图像的物理成像模型f_i(λ)人工模拟光线在物体表面的反射情况，对全彩色图像X，像元i处的c∈R,G,B通道的像元值表示为：

式中，物理成像模型f_i(λ)表示如下：

f_i(λ)＝τ(λ)cosα_i+κ(λ)ηcos^sβ_i

式中，λ是指波长，α_i是像元i处的入射角，β_i是反射光线与入射光线的镜像方向的夹角，s为光强，η为镜面反射系数，τ(λ)和κ(λ)分别是漫反射系数和镜面反射系数，和g_i＝cosα_i，h_i＝ηcos^sβ_i仅与表面几何属性有关，对于c∈R,G,B，改变相应的值，会导致也跟随改变，这种特性称为空间对齐特性。

2b)利用二阶拉普拉斯特性挖掘稀疏特性，对于全彩色图像X，一般可以抽象为分片线性函数，对其做二阶拉普拉斯变换，使得图像矩阵中在大多数位置为零或近似为零，得到稀疏特性，

2c)利用空间对齐特性和稀疏特性，使用1,2-范数刻化空间对齐特性和稀疏特性，结合现有去马赛克方法的最小化正则模型，加入1,2-范数正则项和约束Rank(x_(i,j))≤r_i,j，得到1,2-范数最小正则化数学模型，

s.t.Rank(x_(i,j))≤r_i,j,i＝1,2,…,M,j＝1,2…,S_i

Φ_cX_c＝Y_c,c∈{R,G,B}，

所述现有图像重建的最小化正则模型是：

式中，Y是马赛克图像，Φ为对全彩色图像X做下采样处理的算子，X表示全彩色图像，||*||_F表示F-范数，k₁表示设定第一个正则项的参数，||*||_*表示核范数，X_i表示为第i个图像块，i＝1,2,...,M，M表示对全彩色图像X进行分块操作后的总块数。

步骤3：在Rank(x_(i,j))≤r_i,j约束下，使用基于交替方向框架的迭代收缩阈值方法求解1,2-范数的正则优化数学模型，得到全彩色图像。

对于项，加入约束项

Rank(x_(i,j))≤r_i,j，设定k₁＝0.54，k₂＝0.5，利用基于交替方向框架的迭代收缩阈值方法迭代求解，迭代次数为1500次，得到全彩色图像X。

本发明的效果可通过以下的仿真进一步说明

1.仿真条件

本实验的硬件测试平台是：Intel Core i7CPU，主频3.40GHz，内存8GB；软件仿真平台为：windows 7、64位操作系统和matlab2013b。

2.仿真实验

仿真1：对比实验，

为验证本发明方法的有效性和可行性，以图2所示的2(a)，2(b)，2(c)，2(d)作为仿真实验所需的原始全彩色图像，对其进行下采样操作，分别得到如图3所示的马赛克图像，其中

图3(a)是对图2(a)进行下采样操作后的马赛克图像，

图3(b)是对图2(b)进行下采样操作后的马赛克图像，

图3(c)是对图2(c)进行下采样操作后的马赛克图像，

图3(d)是对图2(d)进行下采样操作后的马赛克图像，

用现有的Demosaick方法分别对马赛克图像3(a)，3(b)，3(c)，3(d)进行重建，获得全彩色图像如图4(a)，4(b)，4(c)，4(d)，其中

图4(a)是对图3(a)用现有的Demosaick方法进行重建获得的结果，

图4(b)是对图3(b)用现有的Demosaick方法进行重建获得的结果，

图4(c)是对图3(c)用现有的Demosaick方法进行重建获得的结果，

图4(d)是对图3(d)用现有的Demosaick方法进行重建获得的结果；

用本发明的方法分别对马赛克图像3(a)，3(b)，3(c)，3(d)进行重建，获得全彩色图像如图5(a)，5(b)，5(c)，5(d)，其中，

图5(a)是对图3(a)用本发明方法进行重建获得的结果，

图5(b)是对图3(b)用本发明方法进行重建获得的结果，

图5(c)是对图3(c)用本发明方法进行重建获得的结果，

图5(d)是对图3(d)用本发明方法进行重建获得的结果。

将本发明方法和现有的Demosaick方法重建后的全彩色图像的信噪比PSNR进行比较，结果如表1所示。

表1

信噪比/dB	图3(a)	图3(b)	图3(c)	图3(d)
					Demosaick方法	31.6327	35.8172	37.1097	37.4230
本发明	31.9891	36.1579	37.3732	37.6208

从表1可以看出：本发明方法的信噪比PSNR的大小比现有的Demosaick方法的信噪比PSNR大小平均能增加0.2896dB。

仿真2：可视化实验，

为了能够可视化的突出本发明能够有效提高边缘色彩准确度和提高抗噪能力的优点，对图7分别用本发明方法和现有Demosaick方法分别进行重构，获得图8和图9所示的全彩色图像，其中：

7(a)是对第一幅原始全彩色图像6(a)进行下采样后的马赛克图像，

7(b)是对第二幅原始全彩色图像6(b)进行下采样后的马赛克图像，

8(a)是通过现有Demosaick方法对7(a)进行重构后的全彩色图像，

8(b)是通过现有Demosaick方法对7(b)进行重构后的全彩色图像，

9(a)是通过本发明方法对7(a)进行重构后的全彩色图像，

9(b)是通过本发明方法对7(a)进行重构后的全彩色图像。

将图8(a)、图9(a)与原始全彩色图像6(a)进行对比，将图8(b)、图9(b)与原始全彩色图像6(b)进行对比可看出，现有Demosaick方法重构后的全彩色图像边缘色彩的准确度不高，有明显噪点，而本发明方法有效提高了边缘色彩的准确度并且有效消减了明显噪点。

Claims

1.一种基于物理成像模型的彩色图像去马赛克方法，其特征在于，包括：

<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <mi>Y</mi> <mo>-</mo> <mi>&Phi;</mi> <mi>X</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mo>*</mo> </msub> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> </munderover> <mo>|</mo> <mo>|</mo> <msup> <mo>&dtri;</mo> <mn>2</mn> </msup> <msub> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mn>2</mn> </mrow> </msub> <mo>}</mo> <mo>,</mo> </mrow>

s.t.Rank(x_(i,j))≤r_i,j,i＝1,2,…,M,j＝1,2…,S_i

Φ_cX_c＝Y_c,c∈{R,G,B}

式中，min表示最小化操作，Y是马赛克图像，Φ为对全彩色图像X做下采样处理的算子，X表示全彩色图像，||*||_F表示F-范数，k₁表示设定第一个正则项的参数，k₂表示设定第一个正则项的参数，||*||_1,2表示1,2-范数，||*||_*表示核范数，X_i表示为第i个图像块，i＝1,2,...,M，M表示对全彩色图像X进行分块操作后的总块数，▽²表示为2阶偏导操作，x_(i,j)表示第i个图像块的第j个相似块，j＝1,2,...,S_i，S_i表示相似块的总个数，Rank(x_(i,j))代表相似块矩阵x_(i,j)的秩，r_(i,j)为代表相似块矩阵x_(i,j)的最大值，Φ_c是对c通道图像进行下采样处理的算子，X_c表示c通道的全彩色图像，Y_c表示c通道的马赛克图像，c∈{R,G,B}，R,G,B分别表示红、绿、蓝三颜色通道；

2.根据权利要求1所述的方法，其特征在于：成像步骤中利用色彩滤波阵列CFA对原彩色图像进行采样，是根据压缩感知理论，将CFA采样过程看做对原彩色图像的观测过程，用c通道的采样矩阵Φ_c与c通道的原彩色图像X_c相乘，得到马赛克图像Y:

其中，H_ij均为观测矩阵内元素，i＝1,2,...,M，j＝1,2,...,N，M,N分别为采样矩阵Φ的行数和列数，观测矩阵Φ按Bayer模式分布。

3.根据权利要求1所述的方法，其特征在于：建模步骤中利用彩色图像的物理成像模型联合空间对齐性和稀疏特性，建立1,2-范数的正则优化数学模型，按如下步骤进行：

3a)利用物理成像模型f_i(λ)人工模拟光线在物体表面的反射情况，使得在空间上某一位置的值发生改变时，在相同位置上色彩通道的值也发生改变，得到空间对齐特性，其中，物理成像模型表示如下：

f_i(λ)＝τ(λ)cosα_i+κ(λ)ηcos^sβ_i

式中，λ是指波长，α_i是像元i处的入射角，β_i是反射光线与入射光线的镜像方向的夹角，s为光强，η为镜面反射系数，τ(λ)和κ(λ)分别是漫反射系数和镜面反射系数，

3b)利用二阶拉普拉斯特性挖掘稀疏特性，对场景图像做二阶拉普拉斯变换，使得图像矩阵中在大多数位置为零或者近似为零，得到稀疏特性，

3c)利用空间对齐特性和稀疏特性，使用1,2-范数刻化空间对齐特性和稀疏特性，结合现有去马赛克方法的最小化正则模型，加入1,2-范数正则项和约束Rank(x_(i,j))≤r_i,j，得到1,2-范数最小正则化数学模型，

s.t.Rank(x_(i,j))≤r_i,j,i＝1,2,…,M,j＝1,2…,S_i

Φ_cX_c＝Y_c,c∈{R,G,B}，

所述现有图像重建的最小化正则模型是：

<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <mi>Y</mi> <mo>-</mo> <mi>&Phi;</mi> <mi>X</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mo>*</mo> </msub> </mrow>