CN113852820B - 一种新型色彩空间转换矩阵生成方法 - Google Patents

Abstract

本发明属于马赛克图像压缩技术领域，提供一种新型色彩空间转换矩阵生成方法；本发明首先给出四通道模型的新型约束模型，设计得到色彩空间转换矩阵和逆矩阵，更容易达到预期目标，且能够根据约束条件把参数量降维，减少了搜索的工作量；然后采用新型率失真优化方法，在预设范围内搜索色彩空间转换矩阵，在编码之前估计损失量和码率的近似值，避免了二次编码的问题，且对于不同的编码框架使用新型率失真优化方法得到的结果是完全相同的；最终，基于本发明生成的色彩空间转换矩阵，在相同的编码码率的情况下能够实现更小的图像整体编码损失，实现更好的图像压缩性能。

Description

一种新型色彩空间转换矩阵生成方法

技术领域

本发明属于马赛克图像压缩技术领域，涉及四通道模型的色彩空间转换矩阵，具体提供了一种基于率失真优化方法的新型约束模型下的色彩空间转换矩阵生成方法。

背景技术

如今数字图像的尺寸和数量越来越庞大，导致现有的存储空间消耗巨大，并给数据传输带来极大的困难。图像传感器是数码相机的核心组成部件，目前电荷耦合元件(Charged Coupled Device,CCD)仍是最主流的成像器件，要获得一幅全彩图像，理论上需要有三个图像传感器同时获得红、绿、蓝三原色的信息；但是考虑到大众普及程度以及成本控制等原因，数码相机大多采用单传感器的模式，即单CCD模式；由于只有每个像素位置一个传感器来感应光的强度，所以需要在传感器前面要加上一个彩色滤波阵列，即CFA(ColorFilter Array)，使得每个像素点只允许与滤波阵列相应颜色的光透过，其中的Bayer格式CFA比较符合人眼的视觉特性，因而最为常用；由Bayer格式CFA产生的图像通常被称为Bayer马赛克图像或简称为Bayer-CFA图像、Bayer图像、CFA图像、马赛克图像等。

目前针对马赛克图像设计了很多方法，最成功的是四通道模型，但这些模型的色彩空间转换矩阵均是根据全彩色图像压缩的色彩空间转换矩阵稍加变化而来，不一定是的色彩空间转换矩阵；对于寻找全彩色图像色彩空间转换矩阵的方法中，提出了不同的原始约束模型，并且根据这些模型，使用率失真优化方法可以找到色彩空间转换矩阵，但是这些率失真优化过程中使用了一次编码，使用寻找到色彩空间转换矩阵再进行一次编码，产生了二次编码的问题，且在率失真优化过程中使用不同的编码框架会产生不同的色彩空间转换矩阵。

发明内容

本发明的目的在于针对上述方法中存在的缺陷，提供一种基于率失真优化方法的新型约束模型下的色彩空间转换矩阵生成方法，首先给出四通道模型的新型约束模型，然后使用新型率失真优化方法，在预设范围内搜索色彩空间转换矩阵；期间不会使用二次编码的操作，且对于不同的编码框架，使用本发明生成的色彩空间转换矩阵都是相同的。

为了实现上述目的，本发明采用的技术方案为：

一种新型色彩空间转换矩阵生成方法，包括以下步骤：

S1、将马赛克图像转换为四通道模型：

G₁表示奇数行奇数列的绿色分量，R表示红色分量，B表示蓝色分量，G₂表示偶数行偶数列的绿色分量；

并设置色彩空间转换矩阵及其逆矩阵：

其中，A为色彩空间转换矩阵，x、y与w为在逆变换矩阵对应位置的设置参数；Y、Dg、Co与Cg表示转换后的颜色空间，Y为亮度分量，Dg、Co、Cg为色度分量；

S2、在x∈(0.5,1.5)、y∈(-1.5,-0.5)范围内计算率失真优化函数值；

S3、搜索率失真函数值的最小值点，并输出使得率失真函数值为最小值所对应的(w、x、y)，生成色彩空间转换矩阵

进一步的，所述步骤2具体包括以下步骤：

S21、初始化x＝0.5；

S22、初始化y＝-1.5；

S23、令

并将w、x、y带入色彩空间转换矩阵中；

S24、对四通道模型执行色彩空间转换，转换至YDgCoCg模型：

其中，Y为亮度分量，Dg、Co、Cg为色度分量；

S25、分别对w×Y、Y、Dg、Co、Cg分量执行DCT变换，结果依次记为

累加/>

每个块的高频32位的系数的平方值、得到Loss_T；累加/>

每个块的高频32位的系数的平方值、得到Bits_T；

S26、令MSE2＝Loss_T/(W×H)，令bpp2＝Bits_T/(W×H)，W、H分别为马赛克图像的宽与高；

S27、计算率失真优化函数值：J＝MSE2+λ*bpp2，λ为预设的系数；

S28、令y＝y+0.05，如果y≤-0.5，执行S23；如果y＞-0.5，执行S29；

S29、令x＝x+0.05，如果x≤1.5，执行S22；如果x＞1.5，执行S3。

更进一步的，所述步骤S27中，λ取0.17。

本发明的工作原理在于：

本发明提供一种新型约束模型，该约束模型下的色彩空间转换矩阵需要满足以下条件：

1)逆转换矩阵的第一列为恢复RGB分量时对应为Y的系数，因为Y分量是使用亮度编码的分量，它的恢复质量会比其他三个通道要好，所以恢复RGB分量时要与Y分量有关，即数字不能为0，且通过观察其他的逆向转换矩阵，这一列数字都相同，我们也同样保留这个规律；

2)在正向色彩空间转换矩阵中，在计算Y分量或者Cg分量时，对两个不同的G像素，能够具有相同的权重，对应到逆向色彩空间转换矩阵中，就要求恢复两个不同的G像素时，对Cg的系数和Y的系数相同且同样这个数字不能为0；

3)在正向色彩空间转换矩阵中，计算Cg时，在R像素和G像素乘上的权重相同，对应到逆向色彩空间转换矩阵中，恢复R和B像素时，对应Cg的系数应该相同且同样这个数字不能为0；

4)Y近似是一个“亮度”通道，它包含图像灰度亮度信息的近似值，这就要求正向色彩空间转换矩阵中计算Y时必须与四个分量都相关，即矩阵的第一行不能出现数字0；

5)如果转换矩阵A的行列式的绝对值小于1，则数据有本质上的减少，从而容易导致重构失真，如果转换矩阵A的行列式的绝对值大于1，则数据有本质上的增加，从而容易增加编码所需比特数，因此最好保持转换矩阵A的行列式的绝对值等于1；

设计得到如步骤1所述色彩空间转换矩阵和逆矩阵；在逆矩阵设出带有三个参数约束模型，并且通过约束条件把三个变量降为成两个无关变量；使用了新型率失真优化方法搜索约束模型的最优解，过程中使用MSE2估算MSE和Entropy估算bpp均是在编码之前完成，避免了二次编码的问题，且对于不同的编码框架，虽然MSE和bpp不尽相同，但MSE2和Entropy完全相同，即对于不同的编码框架使用新型率失真优化方法得到的结果是完全相同的。

综上所述，本发明的有益效果在于：

本发明提供一种色彩空间转换矩阵生成方法，采用新型约束方法，更容易达到预期目标，且能够根据约束条件把参数量降维，减少了搜索的工作量；同时，采用新型率失真优化方法，在编码之前估计损失量和码率的近似值，避免了二次编码的问题，且对于不同的编码框架使用新型率失真优化方法得到的结果是完全相同的；基于本发明生成的色彩空间转换矩阵，在相同的编码码率的情况下能够实现更小的图像编码损失，实现更好的图像压缩性能。

附图说明

图1为本发明实施例中新型约束模型下的色彩空间转换矩阵生成方法以及仿真测试流程示意图。

图2为本发明实施例中色彩空间转换示意图。

图3为本发明实施例中在训练集上新型率失真优化结果图。

图4为本发明实施例中色彩空间转换矩阵在测试集上的MSE-bpp曲线、以及与其他现有方法的对比图。

具体实施方式

下面结合附图和实施例，对本发明做进一步详细描述。

本实施例提供了一种新的马赛克图像四通道色彩空间转换的约束模型，并基于新型率失真优化方法生成色彩空间转换矩阵；同时，对该色彩空间转换矩阵进行仿真测试，完整流程如图1所示。

本实施例以Bayer-CFA图像为例，所述色彩空间转换矩阵的生成方法具体包括以下步骤：

S1、首先将马赛克图像转成四通道模型：

G₁表示奇数行奇数列的绿色分量，R表示红色分量，B表示蓝色分量，G₂表示偶数行偶数列的绿色分量，如图2所示；

并设置色彩空间转换矩阵的逆矩阵及其本身分别为：

其中，A为色彩空间转换矩阵，x、y和w为在逆变换矩阵对应位置的设置的参数；

S2、在x∈(0.5,1.5)、y∈(-1.5,-0.5)范围内计算新型率失真优化函数值，选择这个范围的原因是真实情下的率失真优化函数在这个范围内存在最小值，具体步骤为：

S21、初始化x＝0.5；

S22、初始化y＝-1.5；

S23、令

并将w、x、y带入S1的色彩空间转换矩阵中；

S24、对四通道模型执行色彩空间转换，转换至YDgCoCg模型：

其中，Y为亮度分量，Dg、Co、Cg为色度分量；

S25、分别对w×Y、Y、Dg、Co、Cg分量执行DCT变换(离散余弦变换、Discrete CosineTransform)结果依次记为

累加/>

每个块的高频32位的系数的平方值、得到Loss_T；累加/>

每个块的高频32位的系数的平方值、得到Bits_T；

S26、令MSE2＝Loss_T/(W×H)，令bpp2＝Bits_T/(W×H)，W、H分别为马赛克图像(原始图像)的宽与高；

S27、计算并保存率失真优化函数值J＝MSE2+λ*bpp2和对应的(w、x、y)，取λ＝0.17；λ为预设的系数，λ取值比较小的原因是bpp2是一个非常大的数字，而真实的bpp是一个很小的数字，这里用bpp2估计bpp的变化趋势，需要把率失真优化函数J中的bpp2的比重缩小；

S28、y＝y+0.05，如果y≤-0.5，执行S23；如果y＞-0.5，执行S29；

S29、x＝x+0.05，如果x≤1.5，执行S22；如果x＞1.5，执行S3；

S3、寻找率失真函数值的最小值点，并输出使得率失真函数值为最小值所对应的(w、x、y)，得到色彩空间转换矩阵

如图3所示，其中，图3使用“Classical dataset”作为训练集寻找色彩空间转换矩阵，且找到的点的w、x、y分别为：0.5882、1、-0.7。

2、仿真测试：

S4、基于色彩空间转换矩阵

执行马赛克图像压缩步骤，具体为：

S41、设置参数质量因子q＝30；

S42、分别对Y、Dg、Co、Cg分量执行DCT变换；对Y分量执行亮度分量压缩，生成Y′；对Dg、Co、Cg分量执行色度分量压缩，生成Dg′、Co′、Cg′；统计编码比特数Bits；

S43、执行

并计算与原始分量/>

之间的均方误差MSE，bpp＝Bits/(W×H)；

S44、改变质量因子q的值，记录多组bpp和MSE，画出MSE-bpp曲线，并与其他现有方法的MSE-bpp曲线对比，结果如图4所示；由图可见显示了q＝30，40，50，60，70五种码率作用于“Kodak dataset”测试集，画出的MSE-bpp曲线，其中，标号为NT的曲线为本发明所画的曲线，标号为MSST和MUV较新且性能较好的的对比方法的MSE-bpp曲线；需要注意的是，曲线越靠下表示该曲线对应的方法性能更好。

通过恢复马赛克图像计算压缩图像的MSE和bpp参数，本发明寻找的色彩空间转换矩阵具有更高图像压缩性能；本发明中，在色彩空间转换矩阵的逆矩阵上提出合理约束模型，根据约束条件把参数量降维成两维；使用新型率失真优化方法寻找色彩空间转换矩阵，避免了二次编码问题，同时对于不同的压缩框架得到的结果相同。

本实施例仅以Bayer-CFA为例，但对于其他RGGB型CFA同样有效。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种新型色彩空间转换矩阵生成方法，包括以下步骤：

S1、将马赛克图像转换为四通道模型：

G₁表示奇数行奇数列的绿色分量，R表示红色分量，B表示蓝色分量，G₂表示偶数行偶数列的绿色分量；

并设置色彩空间转换矩阵及其逆矩阵：

其中，A为色彩空间转换矩阵，x、y与w为色彩空间转换矩阵中的设置参数；

S2、在x∈(0.5,1.5)、y∈(-1.5,-0.5)范围内计算率失真优化函数值；具体包括以下步骤：

S21、初始化x＝0.5；

S22、初始化y＝-1.5；

S23、令

并将w、x、y带入色彩空间转换矩阵中；

S24、对四通道模型执行色彩空间转换，转换至YDgCoCg模型：

其中，Y为亮度分量，Dg、Co、Cg为色度分量；

S25、分别对w×Y、Y、Dg、Co、Cg分量执行DCT变换，结果依次记为

累加

每个块的高频32位的系数的平方值、得到Loss_T；累加/>

每个块的高频32位的系数的平方值、得到Bits_T；

S26、令MSE2＝Loss_T/(W×H)，令bpp2＝Bits_T/(W×H)，W、H分别为马赛克图像的宽与高；

S27、计算率失真优化函数值：J＝MSE2+λ*bpp2，λ为预设的系数，λ取0.17；

S28、令y＝y+0.05，如果y≤-0.5，执行S23；如果y＞-0.5，执行S29；

S29、令x＝x+0.05，如果x≤1.5，执行S22；如果x＞1.5，执行S3；

S3、搜索率失真函数值的最小值点，并输出使得率失真函数值为最小值所对应的(w、x、y)，生成色彩空间转换矩阵

Images