CN114567782B

CN114567782B - 适用于3DNR图像降噪的raw图像压缩方法及装置

Info

Publication number: CN114567782B
Application number: CN202210449170.2A
Authority: CN
Inventors: 秦伟杰; 王彬; 徐凯; 陈石; 赵佳佳; 王中杰
Original assignee: Jiangsu Peregrine Microelectronics Co ltd
Current assignee: Jiangsu Daoyuan Technology Group Co ltd
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2022-07-12
Anticipated expiration: 2042-04-27
Also published as: CN114567782A

Abstract

本发明公开了一种适用于3DNR图像降噪的raw图像压缩方法及装置，本方法首先预测计算矩阵块中除中心点以外像素的预测值；然后将预测值矩阵再分组，求得每组的第一大值与第二大值并计算两者比值，确认当前组的编码因子；再根据编码因子判断组编码方法并确认编码因子序号，将组内各元素保留原像素值或由本发明提出的编码方案进行编码，然后拼接构成组编码；将中心像素、编码因子、编码因子序号以及组编码按次序拼接用以存储。本发明方法作用于ISP时，在保证压缩率高于传统预测压缩方法的前提下，尽可能减少了压缩模块作用于图像数据时的芯片资源使用。

Description

适用于3DNR图像降噪的raw图像压缩方法及装置

技术领域

本发明涉及一种图像处理方法及装置，具体涉及一种图像压缩方法及装置。

背景技术

3DNR是一种时域与空域相结合的图像去噪方法，在ISP芯片对视频的处理过程中，3DNR去噪的时域模块在对当前帧去噪时往往需要与上一帧（即对比帧）进行比较以获取最优的去噪效果。因此，ISP芯片在设计3DNR去噪模块的同时会留出一块内存以存储对比帧数据。而一张1920*1080的12bit宽动态图像需要3MB左右的存储空间，这对芯片的成本控制是极大的负担，所以在ISP中还需增加图像压缩模块尽可能减少存储对比帧所需的数据量。

由于在3DNR去噪过程中对对比帧的精确度要求较高，因此该压缩模块所使用的压缩算法必须为无损压缩算法。传统图像无损压缩方法中，无损预测编码易于数字电路的设计，并且对RGB图像有不错的压缩率，但是对3DNR时域去噪后的raw对比帧数据的压缩效果微乎甚微。

发明内容

发明目的：针对上述现有技术，提出一种适用于3DNR图像降噪的raw图像压缩方法及装置，提高去噪后raw图像压缩效果。

技术方案：一种适用于3DNR图像降噪的raw图像压缩方法，包括如下步骤：

步骤1：将raw图像的像素数据矩阵块根据RGGB排列分成四组矩阵块，得到即R矩阵块、RGRG行中的G矩阵块、GBGB行中的G矩阵块、B矩阵块；然后分别以四组矩阵块的中心点像素为起点，从起点开始依次计算相邻的下一个像素的预测值，其中，某一像素的所述预测值为相邻的上一个像素与该像素的差值，并将预测值记为difxx，xx表示所预测像素的序号；将四组矩阵块的预测值按原像素位置组合成预测值矩阵；

步骤2：将所述预测值矩阵按元素位置平均分为若干小组；对于各小组，分别求取小组中元素的绝对值最大值max_group_X以及绝对值第二大值2rd_max_group_X，X表示小组的序号，记max_group_X与2rd_max_group_X的比值为ratio_group_X，若ratio_group_X<4，则小组X的编码因子为表示max_group_X所需的二进制位的个数，若ratio_group_X>=4，则小组X的编码因子为表示2rd_max_group_X所需的二进制位的个数；

步骤3：根据编码因子理论上的最大值，采用对应位数的二进制表示编码因子；然后确定编码因子序号：若编码因子为表示max_group_X所需的二进制位的个数，则编码因子序号为0，若编码因子为表示2rd_max_group_X所需的二进制位的个数，则编码因子序号为当前小组内最大值对应的序号位，所述序号位为当前小组按从左往右，从上往下的编号，并且根据步骤2中各小组的分组大小，用二进制表示所述编码因子序号；再根据所述编码因子确定小组中各预测值所需的二进制位数并编码；其中，各预测值所需的二进制位数为编码因子数值加1，且二进制的首位为符号位；编码方法具体为：

当编码因子为表示max_group_X所需的二进制位的个数，若编码因子处于0~raw图像bit位数减2时，则按符号位拼接二进制表示的预测值绝对值，若编码因子等于raw图像bit位数减1时，则保留原像素；

当编码因子为表示2rd_max_group_X所需的二进制位的个数，最大值对应的位置直接用完整的12bit表示原始像素，小组中其余五个预测值则由编码因子编码，若编码因子处于0~raw图像bit位数减2时，则按符号位拼接二进制表示的预测值绝对值，若编码因子等于raw图像bit位数减1时，则保留原像素；

从而得到组编码格式为：编码因子二进制表示，编码因子序号二进制表示，组像素编码；

步骤4：进行块编码：将四组矩阵块的四个中心像素值以及各小组对应的编码因子和编码因子序号放在块编码的最前方，将各小组对应的组像素编码放在块编码的最后方。

进一步的，所述步骤3中，若raw图像bit位数为12bit，当编码因子范围为0~10时，按照按符号位拼接二进制表示的预测值绝对值编码，当编码因子为11时，则保留二进制表示的原像素值；

若raw图像bit位数为10bit，当编码因子范围为0~8时，按照按符号位拼接二进制表示的预测值绝对值编码，当编码因子为9时，则保留二进制表示的原像素值；

若raw图像bit位数为8bit，当编码因子范围为0~6时，按照按符号位拼接二进制表示的预测值绝对值编码，当编码因子为7时，则保留二进制表示的原像素值。

进一步的，包括存储有执行所述图像压缩方法程序的存储介质。

有益效果：本方法及装置根据raw图像的数据分布特点，构造了一种适合raw图像压缩的预测值计算方案，并且提供了一种编码方案以减少无效位的存储。本发明方法作用于ISP时，在保证压缩率高于传统预测压缩方法的前提下，尽可能减少了压缩模块作用于图像数据时的芯片资源使用。

附图说明

图1为8*8RGGB排列raw图像矩阵块以及像素编号图；

图2为预测分块以及预测方向图；

图3为预测值矩阵；

图4为编码分组图；

图5为编码表；

图6为最终编码顺序图；

图7为本发明的图像压缩方法流程图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

根据3DNR去噪模块的算法特性，其输出数据格式一般为4*4、8*8、16*16的raw像素数据矩阵块。本实施例利用如图1所示的一个8*8矩阵块的RGGB排列的12bit raw图像数据对本方法进行具体说明，本方法最终的压缩结果为一串二进制数。图1中，右半部分为左侧8*8矩阵块中每个像素点的编号。

步骤一：分块计算预测值。

为使预测值最小，此处将8*8矩阵块根据RGGB排列分为如图2所示的四组4*4矩阵块，从左往右依次为R矩阵块、RGRG行中的G矩阵块、GBGB行中的G矩阵块、B矩阵块。以R矩阵块为例，像素45为其中心点，箭头起点为预测起点，箭头终点为预测终点，起点指向终点的方向即为预测方向。箭头终点处像素的预测值即为起点像素与终点像素的差值，此差值含符号，最多需要13bit二进制数表示；此预测值记为difxx，xx表示终点像素的序号，中心点像素45无预测值，记为C45。其他三个矩阵块预测值计算方法与之相同，重新整合为8*8矩阵块后如图3所示。

图2所示分组目的如下：一，raw图像可以理解为单通道的RGB图像，其在每一个像素位置只获取三通道RGB图像的其中一种颜色的像素值。Raw图像相邻四个呈现RGGB排列的像素值分别取自RGB图像的R、G、G、B通道，而已知的是，正常一幅RGB图像中会有很多颜色相近的平坦地区，特别是本实施例中所使用的8*8矩阵块在主流的1080p或者720p图像中只占极小一部分，根据图像平坦区域的特性，其R、G、B任一通道的像素值很有可能极其相近。所以此处将RGGB分为四个矩阵块分别运算有利于减小预测值；二，以图2最左侧R矩阵块为例，从像素45出发有六条主路径为别为：45->47->67、45->65->63->61、45->25->27、45->25->05->07、45->43->41->21->01和45->43->23->03，在图像解码模块的数字电路设计中，此六条路径并行计算且单个最长路径为45->43->41->21->01，仅需四次运算即可由像素45还原出像素01，节省大量硬件资源。

步骤二：分组计算编码因子。

将预测值矩阵按元素位置平均分为若干小组；对于各小组，分别求取小组中元素的绝对值最大值max_group_X以及绝对值第二大值2rd_max_group_X，X表示小组的序号，记max_group_X与2rd_max_group_X的比值为ratio_group_X，若ratio_group_X<4，则小组X的编码因子为表示max_group_X所需的二进制位的个数，若ratio_group_X>=4，则小组X的编码因子为表示2rd_max_group_X所需的二进制位的个数。

本实施例中，将图3预测值矩阵分为图4所示的十个小组，对每个小组分别求其编码因子。以组1为例，首先求得组1的绝对值最大值，记为max_group_1。然后求出组1的绝对值第二大值，记为2rd_max_group_1。计算max_group_1与2rd_max_group_1的比值，记ratio_group_1=max_group_1/2rd_max_group_1。若ratio_group_1<4，组1的编码因子则为表示max_group_1所需的二进制位的个数，例如：max_group_1=14，二进制表示为1110，则组1的编码因子为4；若ratio_group_1>=4，则组1的编码因子为表示2rd_max_group_1所需的二进制位的个数。

以下举例说明此处编码因子分以上两种情况的原因，假设max_group_1=60，2rd_max_group_1=15。若不管第二大值的大小，将编码因子表示为最大值的二进制位数60需要6位二进制数表示，此时当前组编码位数为6*7=42；若按本实施例所示方法，判断出ratio_group_1=max_group_1/2rd_max_group_1>=4，此时编码因子表示为第二大值的二进制位数，15需要4位二进制数表示，此时当前组编码位数为5*5+12=37。由此可见，将编码因子分为以上两种情况可以进一步减少组编码二进制位数。

图4所示分组主要目的在于保证每组的数据量一致，方便编码因子的计算方式统一以及设计时代码的复用。

步骤三：分组进行编码。

首先记录编码因子，此实施例所用皆为12bit raw数据，所以编码因子需4bit表示。然后用3bit记录编码因子序号，若编码因子为表示max_group_X所需的二进制位的个数，则编码因子序号为0；若编码因子为表示2rd_max_group_X所需的二进制位的个数，则其编码因子序号为当前组最大值的序号位，序号位为该组从左往右从上往下的编号，例如：在组1中，dif31序号位为1，dif32序号位为2，dif33序号位为3，dif41序号位为4，dif42序号位为5，dif43序号位为6。最后，根据当前组的编码因子确定组中各预测值所需的二进制位数并编码。

如图5所示，每组的预测值所需的二进制位数为编码因子数值加1，且二进制的首位为符号位S。编码因子范围为0~10时，按照符号位拼接二进制表示的预测值绝对值的方法编码，编码因子为11时，则认为当前组预测值过大，没有编码的价值，保留原像素值。本实施例所用数据为12bit raw数据，预测值范围为-4095~+4095，当预测值绝对值范围为1024~2047时，需要12bit二进制数表示，范围为2048~4095时，需要13bit二进制数表示，不如直接存储原12bit像素值划算，所以编码因子为11时，即预测值绝对值大于等于1024时，当前组元素皆存原12bit像素值。

当编码因子为表示max_group_X所需的二进制位的个数时，若编码因子为0~10，则按符号位拼接二进制表示的预测值绝对值，如图5中0~10列所示，例如：当前组编码因子为4，预测值为-13，根据上述规则可表示为11101。若编码因子为11，则保留原像素值的二进制数，如图5中11列所示，例如：当前组编码因子为11，原像素为128，根据上述规则可表示为000010000000。组编码依次为：4bit的编码因子二进制表示，3bit的编码因子序号二进制表示，组像素编码，其位数为6*max_group_X+6个bit。

当编码因子为表示2rd_max_group_X所需的二进制位的个数时，最大值对应的位置直接用完整的12bit表示原始像素，小组中其余五个预测值则由编码因子编码，若编码因子为0~10，则按符号位拼接二进制表示的预测值绝对值，如图5中0~10列所示，若编码因子为11，则保留原像素值的二进制数，如图5中11列所示。组编码依次为：4bit的编码因子二进制表示，3bit的编码因子序号二进制表示，组像素编码，其位数为5*2rd_max_group_X+5+12个bit。

步骤四：整块进行编码。

本实施例的8*8矩阵块整体的编码如图6所示，将四组矩阵块的固定位数的中心四个像素值以及各小组对应的编码因子和编码因子序号放在了块编码的最前方，将不确定位数的组像素编码放在了块编码的最后方，其中四个中心像素值各12bit，十个组的编码因子以及编码因子序号各4bit和3bit，以上固定位数编码总共为118bit。组编码位数与当前组的编码因子相关，其bit位数区间为6~72。此做法目的在于，图像解码时，访问完前面固定位数的编码值后，即可依次确定每组的组像素编码的位置和位数，减少解码的计算量。

此处具体说明解码流程以验证步骤四的块编码方法的可行性，首先获取整个8*8块的二进制串表示为数组encode，已知四个中心像素都为12bit，表示为encode[12:1]，encode[24:13]，encode[36:25]，encode[48:37]，则第一组编码因子表示为encode[49:52]，编码因子序号为encode[53:55]，然后根据步骤三的编码方法则可以反推出组一组编码的二进制位数，记为num_group_1，此时第一组的组编码即encode[119:118+num_group_1]。以此类推，可还原出每组的编码因子，编码因子序号以及组编码，最终还原出原8*8像素矩阵。

一种3DNR图像降噪装置，包括存储有执行上述raw图像压缩方法程序的存储介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种适用于3DNR图像降噪的raw图像压缩方法，其特征在于，包括如下步骤：

步骤1：将raw图像的像素数据矩阵块根据RGGB排列分成四组矩阵块，得到R矩阵块、RGRG行中的G矩阵块、GBGB行中的G矩阵块、B矩阵块；然后分别以四组矩阵块中位于所述raw图像的像素数据矩阵的中心RGGB像素块中的像素为起点，从起点开始依次计算相邻的下一个像素的预测值，其中，某一像素的所述预测值为相邻的上一个像素与该像素的差值，并将预测值记为difxx，xx表示所预测像素在所述raw图像的像素数据矩阵中的序号；将四组矩阵块的预测值按原像素位置组合成预测值矩阵；

步骤4：进行块编码：将四组矩阵块的四个中心像素值以及各小组对应的编码因子和编码因子序号依次放在块编码的最前方，将各小组对应的组像素编码依次放在块编码的最后方。

2.根据权利要求1所述的适用于3DNR图像降噪的raw图像压缩方法，其特征在于，所述步骤3中，若raw图像bit位数为12bit，当编码因子范围为0~10时，按照按符号位拼接二进制表示的预测值绝对值编码，当编码因子为11时，则保留二进制表示的原像素值；

3.一种3DNR图像降噪装置，其特征在于，包括存储有执行如权利要求1或2所述raw图像压缩方法程序的存储介质。