CN117291807B - 图像去马赛克方法及其装置、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种图像去马赛克方法及其装置、电子设备、存储介质，涉及图像处理技术领域。方法包括：根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据；基于预设的动态移位方式对第一窗口数据进行第一插值处理得到G通道插值图像；根据第二级插值窗口从第一窗口数据中获取第二窗口数据；根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；根据缓存映射关系从预设存储器中读取RB目标分量重建得到第二拜尔图像；根据G通道插值图像和第二拜尔图像进行第二插值处理得到去马赛克的RGB图像。能够实现资源复用、节约成本。

Description

图像去马赛克方法及其装置、电子设备、存储介质

技术领域

本申请涉及图像处理技术领域，尤其是一种图像去马赛克方法及其装置、电子设备、存储介质。

背景技术

图像是视觉信息的重要载体，具有极为丰富的信息含量表达。由于人眼对色彩更加敏感，为了提升图像视觉效果，需要使用去马赛克算法将拜尔图像恢复成RGB真彩图像。去马赛克算法是决定相机成像质量的核心算法。针对拜尔图像内插RGB的3个分量数据的算法是业界的研究热点。

相关技术中，对G通道的插值算法做过很多创新，但并没有从节约资源消耗的角度进行考虑和改进。而在对拜尔图像进行去马赛克处理的过程中，如何在满足插值效果的同时实现资源复用、节约成本，是一个亟待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。

本申请实施例提供了一种图像去马赛克方法及其装置、电子设备、存储介质，能够在对拜尔图像进行去马赛克处理的过程中，在满足插值效果的同时实现资源复用、节约成本。

第一方面，本申请实施例提供了一种图像去马赛克方法，包括：

根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据；

基于预设的动态移位方式对所述第一窗口数据进行第一插值处理，得到G通道插值图像；

根据第二级插值窗口从所述第一窗口数据中获取第二窗口数据；其中，所述第二级插值窗口的第二长度小于或等于所述第一级插值窗口的第一长度；所述第二级插值窗口的第二宽度小于所述第一级插值窗口的第一宽度；

根据所述第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从所述第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；所述预设存储器的地址空间由所述第二级插值窗口的尺寸和中心点的所述拜尔数据类型确定；

根据所述缓存映射关系从所述预设存储器中读取所述RB目标分量，重建得到尺寸大小与所述第二级插值窗口相同的包括所述RB目标分量的第二拜尔图像；

根据所述G通道插值图像和所述第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。

根据本申请的一些实施例，所述根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据之前，所述方法还包括：

设置所述第一级插值窗口的所述第一长度和所述第一宽度；

根据所述第一长度设置所述第二级插值窗口的所述第二长度；其中，所述第二长度小于或等于所述第一长度；

根据所述第一宽度设置所述第二级插值窗口的所述第二宽度；其中，在所述第一宽度为偶数的情况下，所述第二宽度小于或等于所述第一宽度的1/2；在所述第一宽度为奇数的情况下，所述第二宽度小于或等于所述第一宽度与1的和值的1/2。

根据本申请的一些实施例，所述第二长度和所述第二宽度均取奇数。

根据本申请的一些实施例，所述基于预设的动态移位方式对所述第一窗口数据进行第一插值处理，得到G通道插值图像，包括：

在所述第一窗口数据中，以当前待处理的数据点为中心计算水平方向的第一特征集合和垂直方向的第二特征集；

根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位；

根据所述第二特征集、预设的所述左移位函数和所述右移位函数，计算垂直方向的垂直权重和垂直移位；

根据所述水平移位和所述垂直移位的比较结果，将所述水平权重和所述垂直权重恢复为相同的数量级；

对恢复为相同的数量级的所述水平权重和所述垂直权重进行限位修正处理和权重值归一化处理，得到目标水平权重和目标垂直权重；

基于所述目标水平权重和所述目标垂直权重进行所述第一插值处理，得到G通道插值图像。

根据本申请的一些实施例，所述第一特征集合包括第一梯度、第一均值、第一均差、第一方差和第一平坦度；所述根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位，包括：

将所述第一梯度与所述第一均值相乘得到第一权重值；

将所述第一权重值与所述第一均差相乘得到第二权重值；

将所述第二权重值与所述第一方差相乘得到第三权重值；

将所述第三权重值与所述第一平坦度相除得到所述第四权重值；

输出所述第四权重值为所述水平权重。

根据本申请的一些实施例，所述根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位，还包括：

得到所述第一权重值之后，调用所述右移位函数，对所述第一权重值进行右移位限位处理，得到位宽小于第一位宽阈值的所述第一权重值，以及第一移位值；

得到所述第二权重值之后，调用所述右移位函数，对所述第二权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第二权重值，以及第二移位值；其中，所述第二移位值基于所述第一移位值移位后得到；

得到所述第三权重值之后，调用所述右移位函数，对所述第三权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第三权重值，以及第三移位值；其中，所述第三移位值基于所述第二移位值移位后得到；

得到所述第四权重值之后，调用所述右移位函数，对所述第四权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第四权重值，以及第四移位值；并调用所述左移位函数，对所述第四权重值进行左移位限位处理，得到位宽大于第二位宽阈值的所述第四权重值；其中，所述第二位宽阈值小于所述第一位宽阈值；其中，所述第四移位值基于所述第三移位值移位后得到；

输出所述第四移位值为所述水平移位。

根据本申请的一些实施例，所述根据所述水平移位和所述垂直移位的比较结果，将所述水平权重和所述垂直权重恢复为相同的数量级，包括：

比较所述水平移位和所述垂直移位的数值大小；

在所述水平移位大于所述垂直移位的情况下，令所述水平移位减去所述垂直移位得到第一移位差值；确定所述水平移位为最终的水平移位信息，将所述垂直移位向右移位所述第一移位差值后得到最终的垂直移位信息；

或者，在所述水平移位小于所述垂直移位的情况下，令所述垂直移位减去所述水平移位得到第二移位差值；确定所述垂直移位为最终的垂直移位信息，将所述水平移位向右移位所述第二移位差值后得到最终的水平移位信息；

根据所述水平移位信息移动和所述垂直移位信息令所述水平权重和所述垂直权重恢复为相同的数量级。

第二方面，本申请实施例提供了一种图像去马赛克装置，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例任一项所述的图像去马赛克方法。

第三方面，本申请实施例提供了一种电子设备，包括如第二方面实施例所述的图像去马赛克装置。

第四方面，本申请实施例提供了一种存储介质，所述存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于被计算机执行时实现如第一方面实施例任意一项所述的图像去马赛克方法。

本申请实施例包括：在根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据之后，首先，基于预设的动态移位方式对第一窗口数据进行第一插值处理，得到G通道插值图像；而后，根据第二级插值窗口从第一窗口数据中获取第二窗口数据；其中，第二级插值窗口的第二长度小于或等于第一级插值窗口的第一长度；第二级插值窗口的第二宽度小于第一级插值窗口的第一宽度；实现了复用缓存资源；根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；预设存储器的地址空间由第二级插值窗口的尺寸和中心点的拜尔数据类型确定，有利于节约缓存资源，降低成本；根据缓存映射关系从预设存储器中读取RB目标分量，重建得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像；根据G通道插值图像和第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。本申请实施例的方案，能够在对拜尔图像进行去马赛克处理的过程中，在满足插值效果的同时实现资源复用、节约成本。

发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本申请一个实施例提供的用于执行图像去马赛克方法的系统架构的示意图；

图2是本申请另一个实施例提供的用于执行图像去马赛克方法的硬件框架示意图；

图3是本申请一个实施例提供的图像去马赛克方法的流程示意图；

图4A是本申请一个实施例提供的尺寸为3x3且中心点为Gb分量的第二级插值窗口的示意图；

图4B是本申请一个实施例提供的尺寸为3x3且中心点为Gr分量的第二级插值窗口的示意图；

图4C是本申请一个实施例提供的尺寸为3x3且中心点为R分量的第二级插值窗口的示意图；

图4D是本申请一个实施例提供的尺寸为3x3且中心点为B分量的第二级插值窗口的示意图；

图5是本申请一个实施例提供的图像去马赛克装置的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。

需要说明的是，在本申请的描述中虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上。描述到“第一”、“第二”只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

相关技术中，对G通道的插值算法做过很多创新，但并没有从节约资源消耗的角度进行考虑和改进。而在对拜尔图像进行去马赛克处理的过程中，如何在满足插值效果的同时实现资源复用、节约成本，是一个亟待解决的问题。

基于此，本申请提供了一种图像去马赛克方法、图像去马赛克装置、电子设备、计算机可读存储介质，在根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据之后，首先，基于预设的动态移位方式对第一窗口数据进行第一插值处理，得到G通道插值图像；而后，根据第二级插值窗口从第一窗口数据中获取第二窗口数据；其中，第二级插值窗口的第二长度小于或等于第一级插值窗口的第一长度；第二级插值窗口的第二宽度小于第一级插值窗口的第一宽度；实现了复用缓存资源；根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；预设存储器的地址空间由第二级插值窗口的尺寸和中心点的拜尔数据类型确定，有利于节约缓存资源，降低成本；根据缓存映射关系从预设存储器中读取RB目标分量，重建得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像；根据G通道插值图像和第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。本申请实施例的方案，能够在对拜尔图像进行去马赛克处理的过程中，在满足插值效果的同时实现资源复用、节约成本。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，该系统框架包括：数据获取模块110、第一插值处理模块120、预设缓存器130、第二插值处理模块140。其中，数据获取模块110分别与第一插值处理模块120、预设缓存器130通信连接、第二插值处理模块140分别与第一插值处理模块120、预设缓存器130通信连接。

结合图1和图2，对基于该系统框架所执行的图像去马赛克方法进行进一步说明。

其中，数据获取模块110，用于根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据；还用于根据第二级插值窗口从所述第一窗口数据中获取第二窗口数据；其中，第二级插值窗口的第二长度小于或等于第一级插值窗口的第一长度；第二级插值窗口的第二宽度小于第一级插值窗口的第一宽度；根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系。通过对第一级插值窗口和第二级插值窗口的大小进行限定，能够复用第一窗口数据，即充分复用行缓存的缓存资源，降低成本。

具体地，如图2所示，在数据获取模块110中利用到了第一窗口A、第二窗口B和第三窗口C。第一窗口A、第二窗口B和第三窗口C分别是基于中心点1、中心点2、中心点3的第一级插值窗口。利用三个第一级插值窗口获取三个第一窗口数据，分别处理三个第一窗口数据输出G通道插值图像的三行数据。

第一插值处理模块120，用于基于预设的动态移位方式对第一窗口数据进行第一插值处理，得到G通道插值图像。

预设缓存器130，用于存放从第二窗口数据中确定的待使用的RB目标分量。该预设存储器的地址空间由第二级插值窗口的尺寸和中心点的拜尔数据类型确定。具体地，该预设缓存器130是RB缓存器，该缓存器是为了使尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像与G通道插值图像做流水对齐所开辟的小缓存。如此，就无需为针对R分量和B分量所进行的插值处理再多开设额外的行缓存器，有利于降低硬件成本，节约缓存资源。

第二插值处理模块140，用于根据缓存映射关系从预设存储器中读取RB目标分量，重建得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像；根据G通道插值图像和第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。

在本申请实施例提供的系统框架，通过数据获取模块110、第一插值处理模块120、预设缓存器130、第二插值处理模块140之间的相互配合，能够在对拜尔图像进行去马赛克处理的过程中，在满足插值效果的同时实现资源复用、节约成本。

本领域技术人员可以理解的是，图中示出的系统结构并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域技术人员可以理解的是，本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

基于上述系统结构，下面提出本申请的图像去马赛克方法的各个实施例。

第一方面，如图3所示，该图像去马赛克方法能够应用于如图1所示的系统框架中，该图像去马赛克方法可以包括但不限于有步骤S110至步骤S160。

步骤S110：根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据。

步骤S120：基于预设的动态移位方式对第一窗口数据进行第一插值处理，得到G通道插值图像。

步骤S130：根据第二级插值窗口从第一窗口数据中获取第二窗口数据；其中，第二级插值窗口的第二长度小于或等于第一级插值窗口的第一长度；第二级插值窗口的第二宽度小于第一级插值窗口的第一宽度。

步骤S140：根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；预设存储器的地址空间由第二级插值窗口的尺寸和中心点的拜尔数据类型确定。

步骤S150：根据缓存映射关系从预设存储器中读取RB目标分量，重建得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像。

步骤S160：根据G通道插值图像和第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。

可以理解的是，第一插值处理是对G通道进行的插值处理；第二插值处理是基于G通道插值图像对R通道和B通道进行的插值处理。在运用去马赛克算法的过程中，在处理顺序上，先进行第一插值处理，后进行第二插值处理。在第一插值处理和第二插值处理中分别使用尺寸大小不同的插值窗口，即通过对第一级插值窗口和第二级插值窗口的大小进行限定，能够复用第一窗口数据，即充分复用行缓存的缓存资源，降低成本。

具体地，通过步骤S110和步骤S130，根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据、根据第二级插值窗口从第一窗口数据中获取第二窗口数据，充分复用行缓存的缓存资源。

具体地，步骤S140中所使用的预设缓存器是为了使尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像与G通道插值图像做流水对齐所开辟的小缓存。如此，就无需为针对R分量和B分量所进行的插值处理再多开设额外的行缓存器，有利于降低硬件成本，节约缓存资源。

具体地，RB目标分量包括R分量和B分量；建立的缓存映射关系表征了RB目标分量与缓存地址之间的对应关系。有利于在后续还原得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像。

通过实施包括步骤S110至步骤S160的图像去马赛克方法，在根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据之后，首先，基于预设的动态移位方式对第一窗口数据进行第一插值处理，得到G通道插值图像；而后，根据第二级插值窗口从第一窗口数据中获取第二窗口数据；其中，第二级插值窗口的第二长度小于或等于第一级插值窗口的第一长度；第二级插值窗口的第二宽度小于第一级插值窗口的第一宽度；实现了复用缓存资源；根据第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；预设存储器的地址空间由第二级插值窗口的尺寸和中心点的拜尔数据类型确定，有利于节约缓存资源，降低成本；根据缓存映射关系从预设存储器中读取RB目标分量，重建得到尺寸大小与第二级插值窗口相同的包括RB目标分量的第二拜尔图像；根据G通道插值图像和第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像。本申请实施例的方案，能够在对拜尔图像进行去马赛克处理的过程中，在满足插值效果的同时实现资源复用、节约成本。

根据本申请的一些实施例，步骤S110之前，图像去马赛克方法还包括但不限于有以下步骤：设置第一级插值窗口的第一长度和第一宽度；根据第一长度设置第二级插值窗口的第二长度；其中，第二长度小于或等于第一长度；根据第一宽度设置第二级插值窗口的第二宽度；其中，在第一宽度为偶数的情况下，第二宽度小于或等于第一宽度的1/2；在第一宽度为奇数的情况下，第二宽度小于或等于第一宽度与1的和值的1/2。

其中，根据本申请的一些实施例，第二长度和第二宽度均取奇数。

可以理解的是，设置第一级插值窗口为MxN、第二级插值窗口为mxn，其中，M为第一长度、N第一宽度、m为第二长度、n为第二长度。根据算法要求，如图2所示，进行第二插值处理是需要利用第一插值处理后的结果，所以G通道也需要建立一个mxn的第二级插值窗口。为了能复用资源，G通道在建立好第二级插值窗口mxn时，进行第二插值处理时第二级插值窗口所需的数据也要能在第一级插值窗口MXN中获得。因此得到两个窗口尺寸的大小关系需要满足如下条件：

当N为偶数，m<=M，n<=(N/2)；当N为奇数，m<=M，n<=(N+1)/2。

需要说明的是，在对bayer图像处理时，一般窗口的尺寸选择为奇数，少数情况使用偶数。在此对第一级插值窗口的尺寸大小不做具体的限制。

需要说明的是，此处处理的数据是拜尔格式数据，m和n的取值需满足均为奇数，第二级插值窗口mxn如一般采用3x3，5x3，3x5或5x5等尺寸；如此有利于在图像边缘进行对称操作构建插值领域的窗口。此外需要强调的是，m、n均需要大于或等于3，mxn为3x3是实现RB通道插值效果的最小领域单元。

可以理解的是，进行第二插值处理时并不需要使用到mxn窗口中的所有数据。因此，可以针对当前插值窗口的中心点是拜尔数据的何种类型做特定的选择。即针对mxn窗口内中心点的不同的拜尔数据类型建立相应的数据的缓存映射关系。具体地，当中心点的拜尔数据类型为Gb分量或Gr分量时，按照从上至下、从左到右的顺序遍历第二窗口数据，将B分量、R分量依次存入预设存储器。当中心点的拜尔数据类型为R分量或B分量时，将在中心点的135度角方向和45度角方向上的临近的B分量、R分量按照从上至下、从左到右的顺序依次存入预设存储器。可以进一步节约缓存资源，降低成本。

在一些实施例中，结合图4A、图4B、图4C和图4D，对步骤S140进行进一步说明。

如图4A所示，当中心点为Gb分量时，将第0行、第1列的R分量存入地址1中；将第1行、第0列的B分量存入地址2中；将第1行、第2列的B分量存入地址3中；将第2行、第1列的R分量存入地址4中。

如图4B所示，当中心点为Gr分量时，将第0行、第1列的B分量存入地址1中；将第1行、第0列的R分量存入地址2中；将第1行、第2列的R分量存入地址3中；将第2行、第1列的B分量存入地址4中。

如图4C所示，当中心点为R分量时，将第0行、第0列的B分量存入地址1中；将第0行、第2列的B分量存入地址2中；将第1行、第1列的R分量存入地址3中；将第2行、第0列的B分量存入地址4中；将第2行、第2列的B分量存入地址中5。

如图4D所示，当中心点为B分量时，将第0行、第0列的R分量存入地址1中；将第0行、第2列的R分量存入地址2中；将第1行、第1列的B分量存入地址3中；将第2行、第0列的R分量存入地址4中；将第2行、第2列的R分量存入地址中5。

可见在使用3x3的插值窗口时，最多只需要开辟5个地址空间存所需的原始拜尔图像中R和B分量。当使用其他尺寸的第二级插值窗口时存放R分量和B分量的方式是类似的。

根据本申请的一些实施例，对步骤S120进行进一步说明，步骤S120包括但不限于有步骤S121至步骤S125。

步骤S121：在第一窗口数据中，以当前待处理的数据点为中心计算水平方向的第一特征集合和垂直方向的第二特征集。

步骤S122：根据第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位。

步骤S123：根据第二特征集、预设的左移位函数和右移位函数，计算垂直方向的垂直权重和垂直移位。

步骤S124：根据水平移位和垂直移位的比较结果，将水平权重和垂直权重恢复为相同的数量级。

步骤S125：对恢复为相同的数量级的水平权重和垂直权重进行限位修正处理和权重值归一化处理，得到目标水平权重和目标垂直权重。

步骤S126：基于目标水平权重和目标垂直权重进行第一插值处理，得到G通道插值图像。

可以理解的是，本方案中的预设的动态移位方式是针对第一插值处理所使用的，具体地，针对G分量的插值算法一般是通过以当前点为中心，计算水平和垂直方向的拜尔图像的特征集来进行插值。具体地，第一特征集合包括第一梯度A1、第一均值B1、第一均差C1、第一方差D1和第一平坦度E1；第二特征集合包括第二梯度A2、第二均值B2、第二均差C2、第二方差D2和第二平坦度E2。而后分别将水平方向的特征参数进行乘除处理得到水平权重，将垂直方向的特征参数两个进行乘除处理得到垂直权重，有利于通过比较2个方向的权重值引导插值。

需要说明的是，预设的左移位函数具有左移功能，预设的右移位函数具有右移功能。

在执行步骤S122之前，还需要设置左移位函数和右移位函数。

通过设置左移位函数和右移位函数实现移位，从而可以限制乘法器的位宽，并通过能够记录当前数据的数量级范围。

定义右移位函数为MAX_SHIFT_RIGHT(w,shift,max)。参数w为权重，参数shift为记录的右移位值，参数max为最大位宽。该右移位函数用于在权重w大于最大位宽max的情况下，则令权重w向右移一位，并将参数shift加1；直至权重w小于或等于最大位宽max；可以通过shift记录当前数据的数量级范围。

定义左移位函数为MAX_SHIFT_LEFT(w,shift,min)。参数w为权重，参数shift为记录的左移位值，min为最小位宽。该左移位函数用于在权重w小于最小位宽min的情况下，令权重w向左移一位，并将参数shift减1；直至权重w大于或等于最小位宽min；可以通过shift记录当前数据的数量级范围。

当内部算法涉及到多个变量相乘的运算，会占用较大的位宽。通过步骤S121至步骤S125，利用预设的右移位函数和左移位函数实现动态移位方式，降低运算中乘法器的位宽，从而降低逻辑部分面积。

根据本申请的一些实施例，步骤S122包括但不限于有以下步骤：根据第一梯度与第一均值相乘得到第一权重值；根据第一权重值与第一均差相乘得到第二权重值；根据第二权重值与第一方差相乘得到第三权重值；根据第三权重值与第一平坦度进行相除处理得到第四权重值；输出第四权重值为水平权重。即是说，水平权重Wh=A1*B1*C1*D1/E1。

根据本申请的一些实施例，步骤S122包括但不限于有以下步骤：

得到第一权重值之后，调用右移位函数，对第一权重值进行右移位限位处理，得到位宽小于第一位宽阈值的第一权重值，以及第一移位值。

得到第二权重值之后，调用右移位函数，对第二权重值进行右移位限位处理，得到位宽小于第一位宽阈值的第二权重值，以及第二移位值；其中，第二移位值基于第一移位值移位后得到。

得到第三权重值之后，调用右移位函数，对第三权重值进行右移位限位处理，得到位宽小于第一位宽阈值的第三权重值，以及第三移位值；其中，第三移位值基于第二移位值移位后得到。

得到第四权重值之后，调用右移位函数，对第四权重值进行右移位限位处理，得到位宽小于第一位宽阈值的第四权重值，以及第四移位值；并调用左移位函数，对第四权重值进行左移位限位处理，得到位宽大于第二位宽阈值的第四权重值；其中，第二位宽阈值小于第一位宽阈值；其中，第四移位值基于第三移位值移位后得到。

输出第四移位值为水平移位。

具体地，对步骤S122的计算水平权重Wh的过程进行进一步说明。

首先，首先定义计算过程中需要保留的最大位宽MAX_W和最小位宽MIN_W，例如设置最大位宽MAX_W为16bit和最小位宽MIN_W为15bit。

其次，计算第一权重值Wh0=A1*B2；调用MAX_SHIFT_RIGHT(Wh0，shift_Wh0，MAX_W)判断是否需要向右移位以降低结果数据的位宽。

接着，计算第二权重值Wh1=Wh0*C1；调用MAX_SHIFT_RIGHT(Wh1，shift_Wh1，MAX_W)判断是否需要向右移位以降低结果数据的位宽。具体地，基于第一移位值shift_Wh0，调用右移函数经过右移位后，得到第二移位值shift_Wh1。

而后，计算第三权重值Wh2=Wh1*D1；调用MAX_SHIFT_RIGHT(Wh2,shift_Wh2，MAX_W)判断是否需要向右移位以降低结果数据的位宽。具体地，基于第二移位值shift_Wh1，调用右移函数经过右移位后，得到第三移位值shift_Wh2。

最后，计算第四权重值Wh3=Wh2*（1/E）；调用MAX_SHIFT_RIGHT(Wh3，shift_Wh3，MAX_W)判断是否需要向右移位以降低结果数据的位宽；由于这一步实际进行除法操作因此还需调用MAX_SHIFT_LEFT(Wh3，shift_Wh3，MIN_W)判断是否需要向左移位以达到运算过程的位宽下限。具体地，基于第三移位值shift_Wh2，先后调用右移函数、左移函数经过右移位、左移位后，得到第四移位值shift_Wh3。

最终得到水平权重Wh=Wh3，水平移位信息shift_h=shift_Wh3。

同理，基于同样的操作流程可以得到垂直权重Wv=Wv3，垂直移位信息shift_v=shift_Wv3。

根据本申请的一些实施例，步骤S124包括但不限于有以下步骤：

比较水平移位和垂直移位的数值大小。

在水平移位大于垂直移位的情况下，令水平移位减去垂直移位得到第一移位差值；确定水平移位为最终的水平移位信息，将垂直移位向右移位第一移位差值后得到最终的垂直移位信息。

或者，在水平移位小于垂直移位的情况下，令垂直移位减去水平移位得到第二移位差值；确定垂直移位为最终的垂直移位信息，将水平移位向右移位第二移位差值后得到最终的水平移位信息。

根据水平移位信息移动和垂直移位信息令水平权重和垂直权重恢复为相同的数量级。

通过将计算过程中记录的水平移位信息和垂直移位信息用来对水平权重Wh和垂直权重Wv进行数量级的恢复，有利于在后续基于相同的数量级比较水平权重Wh和垂直权重Wv，进而利用水平权重Wh和垂直权重Wv确定目标水平权重Ratio_h和目标垂直权重Ratio_v，完成第一插值处理。

具体地，恢复数量级的过程为：

首先，比较水平移位信息shift_h和垂直移位信息shift_v的大小：

若shift_h＞shift_v；则shift_diff=shift_h – shift_v。

若shift_h＜shift_v；则shift_diff=shift_v – shift_h。

其次，再将二者恢复到同一个数量级：

在shift_h＞shift_v的情况下，shift_h_final=shift_h；shift_v_final=shift_v>>shift_diff；符号>>表示右移；将垂直移位信息shift_v向右移位shift_diff可以得到最终的垂直移位信息shift_v_final。

同理，在shift_h＜shift_v的情况下，shift_v_final=shift_v；shift_h_final=shift_h>>shift_diff。

通过上面两步操作后，shift_h_final和shift_v_final就处于相同的数量级。即水平权重Wh和垂直权重Wv处于相同的数量级。

在水平权重Wh和垂直权重Wv处于相同的数量级之后，接着执行步骤S125：对恢复为相同的数量级的水平权重和垂直权重进行限位修正处理和权重值归一化处理，得到目标水平权重和目标垂直权重。对步骤S125进行进一步的说明。

步骤S125中进行的限位修正处理包括：

将水平权重Wh和垂直权重Wv相加得到权重和值；接着分别利用左移位函数和右移位函数将权重和值限定在规定的数量级内，并记录下权重值移位信息W_total_shift，根据权重值移位信息W_total_shift对水平权重Wh和垂直权重Wv进行修正。当权重值移位信息W_total_shift>0，则将水平权重Wh右移W_total_shift得到修正后的最终水平权重Wh_final，将垂直权重Wv右移W_total_shift得到修正后的最终垂直权重Wv_final。

移位的目的是最终让各个方向的权重值归一化处理，因此，接着将根据修正后的最终水平权重Wh_final和最终垂直权重Wv_final进行步骤S125中的权重值归一化处理。即计算归一化的目标水平权重Ratio_h=Wh_final/W_total、目标垂直权重Ratio_v=Wv_final/W_total。

接着，得到目标水平权重Ratio_h和目标垂直权重Ratio_v后，执行步骤S126。具体地，最终的G插值公式可表示为：G=Ratio_h*Gh+Ratio_v*Gv。其中，Gh分别对应中心点周围水平方向的原始拜尔图像中的G值；Gv分别对应中心点周围垂直方向的原始拜尔图像中的G值。

举一示例，结合16进制对预设的动态移位方式的计算过程进行进一步说明。

首先，计算得到水平权重Wh=A1*B1*C1*D1/E1=10’h3e1，shift_h=45；计算得到垂直权重Wv=A2*B2*C2*D2/E2=10’h2bc，shift_v=47。

接着，shift_h＜shift_v，则计算shift_diff=shift_v – shift_h=2。

将shift_h右移2位，得到水平权重Wh=10’hf8；此时，水平权重Wh与垂直权重Wv处于同一个数量级。

接着，计算权重和值W_total = Wh+Wv；并利用下面的左移位函数和右移位函数将权重和值限定在规定的数量级内，并记录下移位信息W_total_shift。

再对Wh_final、Wv_final进行修正，当W_total_shift>0，将Wh右移W_total_shift得到Wh_final；将Wv右移W_total_shift得到Wv_final。

最后，计算得到归一化的目标水平权重Ratio_h=Wh_final/W_total、目标垂直权重Ratio_v=Wv_final/W_total。

以上就是动态移位在连续相乘运算过程的使用，此动态移位方式并不限定于对G分量进行的第一插值处理中，在类似的连续相乘运算过程中皆可使用。

在一实施例中，结合图2、图4A至图4D对步骤S160进行进一步说明。

原始的拜尔图像一般是通过摄像头中的图像传感器产生的。原始的拜尔图像中G分量占了全部坐标的一半，而通过进行第一插值处理可以得到另外一半坐标。插值完成后原始图像的每个坐标位置都有一个G分量。在对G分量进行插值后得到的G通道插值图像是G分量的全像素图像。

因为G插值的过程所使用的流水线长度会根据插值算法的复杂度进行设计，为了保证G分量插值后得到的mxn窗口和从预设缓存器中第二窗口数据的所对应的中心点是相同的，在步骤S160中，还必须将两个通路的数据做流水对齐的操作。通过让RB缓存的深度和G插值流水线的长度匹配达到数据对齐的效果。

在数据对齐之后，接下来只需根据当前插值窗口中心点的拜尔类型进行各个分量的插值，进行插值时需将窗口限制在mxn内。

以下简述基于3x3插值窗口进行的R分量和B分量的插值方法：

如图4A所示，B为水平插值，R为垂直插值。具体地：

B=(B_left+B_right)/2；R=(R_top+R_down)/2。

如图4B所示，R为水平插值，B为垂直插值。具体地：

R=(R_left+R_right)/2；B=(B_top+B_down)/2。

如图4C所示，R为当前位置拜尔值，B为45度和135度方向的4个临近点插值；具体地：

R=R；B=(B_top_left+B_top_right+B_down_left+B_down_right)/4。

如图4D所示，B为当前位置bayer值，R为45度和135度方向的4个临近点插值；具体地：

B=B；R=(R_top_left+R_top_right+R_down_left+R_down_right)/4。

如果R分量和B分量插值想追求更好的效果可以在mxn的限制范围内适当加大插值的窗口，参考周围更多的原始拜尔图像数据。在进行插值处理的过程中，除了取临近的点以外，还需考虑每个临近点与中心点的距离，距离越近，参考的权重相应越大；反之，权重越小。

第二方面，如图5所示，本申请实施例提供了一种图像去马赛克装置500，包括至少一个处理器501和用于与至少一个处理器501通信连接的存储器502；存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施例任一项中的图像去马赛克方法。

其中，处理器501，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。

存储器502，可以采用只读存储器（Read Only Memory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器502中，并由处理器501来调用执行本申请实施例的图像去马赛克方法。

输入/输出接口503，用于实现信息输入及输出。

通信接口504，用于实现本装置与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。

总线505，在设备的各个组件（例如处理器501、存储器502、输入/输出接口503和通信接口504）之间传输信息。

其中处理器501、存储器502、输入/输出接口503和通信接口504通过总线505实现彼此之间在设备内部的通信连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

第三方面，本申请实施例提供了一种电子设备，包括如上述实施例中的图像去马赛克装置。

第四方面，本申请实施例提供了一种存储介质，存储介质是计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于被计算机执行时实现如上述实施例中的图像去马赛克方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请所限定的范围内。

Claims (8)

1.一种图像去马赛克方法，其特征在于，包括：

根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据；

基于预设的动态移位方式对所述第一窗口数据进行第一插值处理，得到G通道插值图像；

根据第二级插值窗口从所述第一窗口数据中获取第二窗口数据；其中，所述第二级插值窗口的第二长度小于或等于所述第一级插值窗口的第一长度；所述第二级插值窗口的第二宽度小于所述第一级插值窗口的第一宽度；

根据所述第二窗口数据的中心点的拜尔数据类型和预设缓存规则，将从所述第二窗口数据中确定的待使用的RB目标分量存放至预设存储器，建立缓存映射关系；所述预设存储器的地址空间由所述第二级插值窗口的尺寸和中心点的所述拜尔数据类型确定；

根据所述缓存映射关系从所述预设存储器中读取所述RB目标分量，重建得到尺寸大小与所述第二级插值窗口相同的包括所述RB目标分量的第二拜尔图像；

根据所述G通道插值图像和所述第二拜尔图像进行第二插值处理，得到去马赛克的RGB图像；

其中，所述根据第一级插值窗口从待去马赛克的第一拜尔图像中获取第一窗口数据之前，所述方法还包括：

设置所述第一级插值窗口的所述第一长度和所述第一宽度；

根据所述第一长度设置所述第二级插值窗口的所述第二长度；其中，所述第二长度小于或等于所述第一长度；

根据所述第一宽度设置所述第二级插值窗口的所述第二宽度；其中，在所述第一宽度为偶数的情况下，所述第二宽度小于或等于所述第一宽度的1/2；在所述第一宽度为奇数的情况下，所述第二宽度小于或等于所述第一宽度与1的和值的1/2；

所述第二长度和所述第二宽度均取奇数。

2.根据权利要求1所述的图像去马赛克方法，其特征在于，所述基于预设的动态移位方式对所述第一窗口数据进行第一插值处理，得到G通道插值图像，包括：

在所述第一窗口数据中，以当前待处理的数据点为中心计算水平方向的第一特征集合和垂直方向的第二特征集；

根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位；

根据所述第二特征集、预设的所述左移位函数和所述右移位函数，计算垂直方向的垂直权重和垂直移位；

根据所述水平移位和所述垂直移位的比较结果，将所述水平权重和所述垂直权重恢复为相同的数量级；

对恢复为相同的数量级的所述水平权重和所述垂直权重进行限位修正处理和权重值归一化处理，得到目标水平权重和目标垂直权重；

基于所述目标水平权重和所述目标垂直权重进行所述第一插值处理，得到G通道插值图像。

3.根据权利要求2所述的图像去马赛克方法，其特征在于，所述第一特征集合包括第一梯度、第一均值、第一均差、第一方差和第一平坦度；所述根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位，包括：

将所述第一梯度与所述第一均值相乘得到第一权重值；

将所述第一权重值与所述第一均差相乘得到第二权重值；

将所述第二权重值与所述第一方差相乘得到第三权重值；

将所述第三权重值与所述第一平坦度相除得到第四权重值；

输出所述第四权重值为所述水平权重。

4.根据权利要求3所述的图像去马赛克方法，其特征在于，所述根据所述第一特征集、预设的左移位函数和右移位函数，计算水平方向的水平权重和水平移位，还包括：

得到所述第一权重值之后，调用所述右移位函数，对所述第一权重值进行右移位限位处理，得到位宽小于第一位宽阈值的所述第一权重值，以及第一移位值；

得到所述第二权重值之后，调用所述右移位函数，对所述第二权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第二权重值，以及第二移位值；其中，所述第二移位值基于所述第一移位值移位后得到；

得到所述第三权重值之后，调用所述右移位函数，对所述第三权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第三权重值，以及第三移位值；其中，所述第三移位值基于所述第二移位值移位后得到；

得到所述第四权重值之后，调用所述右移位函数，对所述第四权重值进行右移位限位处理，得到位宽小于所述第一位宽阈值的所述第四权重值，以及第四移位值；并调用所述左移位函数，对所述第四权重值进行左移位限位处理，得到位宽大于第二位宽阈值的所述第四权重值；其中，所述第二位宽阈值小于所述第一位宽阈值；其中，所述第四移位值基于所述第三移位值移位后得到；

输出所述第四移位值为所述水平移位。

5.根据权利要求2所述的图像去马赛克方法，其特征在于，所述根据所述水平移位和所述垂直移位的比较结果，将所述水平权重和所述垂直权重恢复为相同的数量级，包括：

比较所述水平移位和所述垂直移位的数值大小；

在所述水平移位大于所述垂直移位的情况下，令所述水平移位减去所述垂直移位得到第一移位差值；确定所述水平移位为最终的水平移位信息，将所述垂直移位向右移位所述第一移位差值后得到最终的垂直移位信息；

或者，在所述水平移位小于所述垂直移位的情况下，令所述垂直移位减去所述水平移位得到第二移位差值；确定所述垂直移位为最终的垂直移位信息，将所述水平移位向右移位所述第二移位差值后得到最终的水平移位信息；

根据所述水平移位信息移动和所述垂直移位信息令所述水平权重和所述垂直权重恢复为相同的数量级。

6.一种图像去马赛克装置，其特征在于，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任一项所述的图像去马赛克方法。

7.一种电子设备，其特征在于，包括如权利要求6所述的图像去马赛克装置。

8.一种存储介质，其特征在于，所述存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于被计算机执行时实现如权利要求1至5任意一项所述的图像去马赛克方法。