CN105245881B - 一种数字图像滤镜处理的方法和装置 - Google Patents

Abstract

本发明公开了一种数字图像滤镜处理的方法和装置。所述数字图像滤镜处理的方法包括：处理器对基础源图像进行区域划分，并为所述区域建立索引；所述处理器根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块；所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块；所述处理器根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；所述处理器将所有所述目标图像分块编码段合并，形成目标图像代码。本发明为基于硬件加速的超大尺寸图像滤镜处理提供了一种可行的方案，实现了图像滤镜处理的加速，并减少处理过程的中间内存占用，减轻系统负担。

Description

一种数字图像滤镜处理的方法和装置

技术领域

本发明实施例涉及数字图像处理技术，尤其涉及一种数字图像滤镜处理的方法和装置。

背景技术

图像的滤镜功能增加了图像处理的趣味性，提升了用户体验。

图1a为现有技术中常用的图像滤镜处理方法示意图。如图1a所示，解码器从源图码流中解码源图到内存；处理器对内存中的图像执行滤镜算法和几何变换，转变为目标图像；编码器将目标图像编码成目标图码流。由于滤镜算法一般比较慢，上述单纯使用处理器来进行滤镜算法和几何变换的方法无法达到性能要求，因此常使用硬件加速的方法，加速滤镜处理。

图1b是现有技术中基于硬件加速的图像处理方法的示意图。如图1b所示，解码器从源图码流中解码源图到内存；处理器上传解码出来的源图至硬件缓存；硬件对源图进行处理，并将得到的目标图存入硬件缓存；处理器下载目标图至内存中，并对目标图进行几何变换；编码器对最终得到的目标图进行编码得到目标图的码流。上述过程中，所使用的硬件可能是数字信号处理器(digital signal processor，DSP)或者图形处理器(GraphicProcessing Unit，GPU)，在硬件对源图进行处理前需要将源图上传至硬件缓存是因为：解码出来的源图不能为DSP或GPU所直接访问。当源图尺寸增大时，这种方案存在如下问题：占用系统内存太多；硬件缓存不一定能放下整张图片，比如使用GPU时，有纹理最大尺寸限制。

发明内容

本发明提供一种数字图像滤镜处理的方法和装置，以实现快速的数字图像滤镜处理。

第一方面，本发明实施例提供了一种数字图像滤镜处理的方法，包括：

处理器对基础源图像进行区域划分，并为所述区域建立索引；

所述处理器根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块；

所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块；

所述处理器根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；

所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；

所述处理器将所有所述目标图像分块编码段合并，形成目标图像代码。

第二方面，本发明实施例还提供了一种数字图像滤镜处理的装置，包括：

索引建立模块，配置在处理器中，用于对基础源图像进行区域划分，并为所述区域建立索引；

图像分块模块，配置在所述处理器中，用于根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块；

对应分块获取模块，配置在所述处理器中，用于获取与虚拟目标图像分块对应的虚拟源图像分块；

编码段截取模块，配置在所述处理器中，用于根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；

编码段处理模块，配置在所述处理器中，用于与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；

代码形成模块，配置在所述处理器中，用于将所有所述目标图像分块编码段合并，形成目标图像代码。

本发明实施例提供的技术方案，通过处理器对虚拟源图像和虚拟目标图像进行分块，根据为基础源图像建立的区域索引，截取基础源图像代码中与虚拟源图像分块对应的多个区域相关的编码段，并与硬件配合，对编码段进行处理得到对应的目标图像分块编码段后，将所有目标图像分块编码段合并，形成目标图像代码。上述方法为基于硬件加速的超大尺寸图像滤镜处理提供了一种可行的方案，减少图像滤镜处理过程的中间内存占用，解决了超大尺寸图像无法使用硬件加速处理的问题,达到了大幅提升图像处理效率的有益效果。

附图说明

图1a为现有技术中常用的图像滤镜处理方法示意图；

图1b是现有技术中基于硬件加速的图像处理方法的示意图；

图2是本发明实施例一中图像滤镜处理的方法的流程示意图；

图3是本发明实施例二中图像滤镜处理的方法的流程示意图；

图4是本发明实施例二中虚拟源图像分块扩展示意图；

图5是本发明实施例二中图像滤镜处理的方法过程示意图；

图6是本发明实施例三中图像滤镜处理的装置的结构图；

图7是本发明实施例三中编码段处理模块的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图2是本发明实施例一中图像滤镜处理的方法的流程示意图。本实施例可适用于超大尺寸图像的滤镜处理，该方法可以由图像滤镜处理的装置来执行，所述装置通过软件和/或硬件实现，一般集成在具备图像处理能力的计算机设备中，该装置主要包括处理器、编码器、解码器、具备滤镜处理功能的硬件主体以及硬件缓存等部件。

参见图2，本实施例中的图像滤镜处理的方法具体可以包括：

S110、处理器对基础源图像进行区域划分，并为所述区域建立索引。

本实施例中，基础源图像可以采用压缩格式。为节约空间，图像常以压缩格式进行存储，在对图像进行滤镜处理时，需要将提取到内存中的图像进行解压缩，而上述解压缩的过程是需要占用内存进行处理的，当图片的尺寸过大时，占用的内存很多，会导致系统内存不足甚至程序崩溃。本实施例采用了压缩格式的基础源图像，并在后续步骤中进行分块处理，从而减小解压对内存的过多占用。

本发明的技术方案需要对图像进行分块处理，且处理过程是基于图像编码的，为更准确的提取图像分块对应的编码段，首先对基础源图像进行区域划分。

进一步的，所述处理器对基础源图像进行区域划分，并为所述区域建立索引，包括：

所述处理器根据所述基础源图像的尺寸设定所述区域的大小，并进行区域划分；

所述处理器为所述区域建立区域索引。

对基础源图像的区域划分是需要参考基础源图像的尺寸进行的，分辨率相同的情况下，尺寸大的进行区域划分后，每个区域包含的像素点多；尺寸小的进行区域划分后，每个区域包含的像素点少。基础源图像是与源图代码相对应的，因此划分好的区域与源图代码也存在对应关系，确定了某一区域，则可根据处理器为区域建立的索引找到对应的编码段。

S120、所述处理器根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块。

图像划分原则是可以人为设定的，以相应得到的源图像分块可被硬件一次性处理为准则。虚拟源图像和虚拟目标图像都不是真实存在，是为了便于从目标图像分块找到对应的源图像编码段而虚拟出来的。划分出的虚拟源图像块和虚拟目标图像块的数量相同，示例性的，每个虚拟源图像块或虚拟目标图像块对应多个基础源图像中的区域。

S130、所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块。

虚拟目标图像分块和虚拟源图像分块是对应的，因此根据这种对应关系，即可确定与虚拟目标图像分块对应的虚拟源图像分块。

进一步的，所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块，包括：

所述处理器提取所述虚拟目标图像分块四个顶点的坐标；

所述处理器对所述四个顶点的坐标进行几何变换；

所述处理器根据变换后得到的坐标，确定虚拟源图像中与所述虚拟目标图像分块对应的虚拟源图像分块。

虚拟目标图像是虚拟源图像经过几何变换得到的，因此，从虚拟目标图像获得虚拟源图像时，需要进行反向几何变换具体的，几何变换可为翻转。为简化操作过程，选取虚拟目标图像分块的四个顶点的坐标进行几何变换，获得的四个坐标即为虚拟源图像分块四个顶点的坐标，从这四个坐标能够确定与上述虚拟目标图像分块对应的虚拟源图像分块。

S140、所述处理器根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段。

每个虚拟源图像块对应多个基础源图像中的区域，而这些区域和源图像代码又存在对应关系，这种对应关系可以根据区域索引获得，因此，每个虚拟源图像分块都对应于特定的一个源图像编码段，确定了虚拟源图像分块后，在区域索引的辅助下，可找到与这个虚拟源图像分块对应的源图像编码段，并由处理器进行截取。

S150、所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段。

仅用处理器对编码段进行处理，会由于滤镜算法慢的原因，不能实现很好的性能，因此，本实施例使用处理器与硬件配合对源图像编码段进行处理。

S160、所述处理器将所有所述目标图像分块编码段合并，形成目标图像代码。

目标图像分块编码段与虚拟目标图像分块存在对应关系，这种对应关系来自于虚拟目标图像块与虚拟源图像块、虚拟源图像块与基础源图像中多个区域、基础源图像中多个区域与源图像编码段的对应关系。因此，将每个与虚拟目标图像分块对应的目标图像编码段合并后可得到目标图像代码。

本发明实施例提供的技术方案，通过处理器对虚拟源图像和虚拟目标图像进行分块，根据为基础源图像建立的区域索引，截取基础源图像代码中与虚拟源图像分块对应的多个区域相关的编码段，并与硬件配合，对编码段进行处理得到对应的目标图像分块编码段后，将所有目标图像分块编码段合并，形成目标图像代码。为基于硬件加速的超大尺寸图像滤镜处理提供了一种可行的方案，减少图像滤镜处理过程的中间内存占用，解决了超大尺寸图像无法使用硬件加速处理的问题,达到了大幅提升图像处理效率的有益效果。

实施例二

本实施例以上述实施例一为基础，进一步说明处理器与硬件配合对编码段进行处理的过程。

在本实施例中，所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段，包括：

解码器对所述编码段解码，获得对应的源图像分块；

所述处理器将所述源图像分块上传至硬件缓存；

硬件主体对所述源图像分块进行滤镜算法处理，并将得到的目标图像分块存入硬件缓存；

所述处理器从所述硬件缓存中下载所述目标图像分块；

所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块；

编码器对所述最终目标图像分块进行编码，得到对应的编码段。

图3是本发明实施例二中图像滤镜处理的方法的流程示意图。如图3所示，本实施例中的图像滤镜处理的方法，具体可以包括：

S210、处理器对基础源图像进行区域划分，并为所述区域建立索引。

S220、所述处理器根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块。

S230、所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块。

S240、所述处理器根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段。

S250、解码器对所述编码段解码，获得对应的源图像分块。

解码器对源图像编码段进行解码，得到与这段源图像编码段对应的源图像分块。

S260、所述处理器将所述源图像分块上传至硬件缓存。

本实施例中对图像进行滤镜处理的硬件可以为GPU或DSP。滤镜处理硬件不能直接对内存中的源图像分块直接进行处理，所以由处理器将内存中的源图像分块上传到硬件缓存中，等待硬件的处理。

S270、硬件主体对所述源图像分块进行滤镜算法处理，并将得到的目标图像分块存入硬件缓存。

具备滤镜处理功能的硬件主体提取硬件缓存中的源图像分块，并对源图像分块进行滤镜算法处理，处理后得到的目标图像分块由硬件主体将其保存在硬件缓存中，等待处理器的下载。

S280、所述处理器从所述硬件缓存中下载所述目标图像分块。

处理器将硬件缓存中的目标图像分块下载到内存中。

S290、所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块。

处理器在内存中对目标图像分块进行例如翻转的几何变换，经几何变换后，得到最终目标图像分块，这个最终目标图像分块与目标图像编码段存在对应关系。

S300、编码器对所述最终目标图像分块进行编码，得到对应的编码段。

S310、所述处理器将所有所述目标图像分块编码段合并，形成目标图像代码。

进一步的，所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块之后，还包括：

所述处理器根据辅助数据区域范围，扩大所述源图像分块的边界至设定值；

对应的，所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块之前，还包括：

所述处理器根据辅助数据区域范围，裁剪目标图像分块的边缘至设定值。

硬件主体对源图像分块进行滤镜算法处理时，需要用到这个分块相邻部分图像的数据，所以将根据虚拟目标图像分块得到的虚拟源图像分块的边界扩大，以使滤镜算法处理中需要的辅助数据都能包含在扩大后的图像中。图4是本发明实施例二中虚拟源图像分块扩展示意图。如图4所示，中间位置的图像220是从虚拟目标图像分块得到的虚拟源图像分块，边缘位置的图像210是扩大边界后，包含辅助信息的虚拟源图像分块扩展部分。这个扩展部分会在后续的过程中一直参与，但经过滤镜算法和几何变换后得到的对应边缘不是目标图像分块需要的部分，因此，目标图像分块被下载到内存后，处理器再将这个扩展部分裁剪掉。

图5是本发明实施例二中图像滤镜处理的方法过程示意图。由图5可更为直观全面的了解本实施例二中图像滤镜处理方法的执行过程。

本实施例提供的技术方案，对处理器与硬件配合处理源图像编码段的过程做了进一步的说明，由解码器对源图像编码段进行解码，并上传给硬件做滤镜算法处理，处理器将得到的目标图分块下载到内存中进行几何变换，编码器对最终目标图像分块进行编码，得到目标图像编码段。上述方案实现了源图像的分块处理，提高了图像滤镜处理的效率，并减少处理过程的中间内存占用，减轻系统负担。

实施例三

图6是本发明实施例三中图像滤镜处理的装置的结构图。如图6所示，图像滤镜处理的装置，可以包括：

索引建立模块310，配置在处理器中，用于对基础源图像进行区域划分，并为所述区域建立索引；

图像分块模块320，配置在所述处理器中，用于根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块；

对应分块获取模块330，配置在所述处理器中，用于获取与虚拟目标图像分块对应的虚拟源图像分块；

编码段截取模块340，配置在所述处理器中，用于根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；

编码段处理模块350，配置在所述处理器中，用于与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；

代码形成模块360，配置在所述处理器中，用于将所有所述目标图像分块编码段合并，形成目标图像代码。

进一步的，所述索引建立模块310，可以用于：

根据所述基础源图像的尺寸设定所述区域的大小，并进行区域划分；

为所述区域建立区域索引。

进一步的，所述对应分块获取模块330，可以用于：

提取所述虚拟目标图像分块四个顶点的坐标；

对所述四个顶点的坐标进行几何变换；

根据变换后得到的坐标，确定虚拟源图像中与所述虚拟目标图像分块对应的虚拟源图像分块。

图7是本发明实施例三中编码段处理模块的结构图。如图7所示，在本实施例中，所述编码段处理模块350包括分块上传单元352、分块下载单元354和分块变换单元355，所述装置还包括编码段解码单元351、分块处理单元353和分块编码单元356，其中：

编码段解码单元351，配置在解码器中，用于对所述编码段解码，获得对应的源图像分块；

分块上传单元352，用于将所述源图像分块上传至硬件缓存；

分块处理单元353，配置在硬件主体中，用于对所述源图像分块进行滤镜算法处理，并将得到的目标图像分块存入硬件缓存；

分块下载单元354，用于从所述硬件缓存中下载所述目标图像分块；

分块变换单元355，用于对所述目标图像分块进行几何变换得到最终目标图像分块；

分块编码单元356，配置在编码器中，用于对所述最终目标图像分块进行编码，得到对应的编码段。

进一步的，如图6所示，所述图像滤镜处理的装置还可以包括：

边界扩大模块370，配置在所述处理器中，用于在所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块之后，根据辅助数据区域范围，扩大所述源图像分块的边界至设定值；

对应的，所述编码段处理模块350，还包括：

边缘裁剪单元357，配置在所述处理器中，用于在所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块之前，根据辅助数据区域范围，裁剪目标图像分块的边缘至设定值。

上述图像滤镜处理的装置可执行本发明任意实施例所提供的图像滤镜处理的方法，具备执行图像滤镜处理的方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的图像滤镜处理操作。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数字图像滤镜处理的方法，其特征在于，包括：

处理器对基础源图像进行区域划分，并为所述区域建立索引；

所述处理器根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块,其中,所述虚拟源图像和所述虚拟目标图像是从目标图像分块找到对应的源图像编码段而虚拟出来的；

所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块；

所述处理器根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；

所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；

所述处理器将所有所述目标图像分块编码段合并，形成目标图像代码；

其中，所述处理器与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段，包括：

解码器对所述编码段解码，获得对应的源图像分块；

所述处理器将所述源图像分块上传至硬件缓存；

硬件主体对所述源图像分块进行滤镜算法处理，并将得到的目标图像分块存入硬件缓存；

所述处理器从所述硬件缓存中下载所述目标图像分块；

所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块；

编码器对所述最终目标图像分块进行编码，得到对应的编码段。

2.根据权利要求1所述的方法，其特征在于，所述处理器对基础源图像进行区域划分，并为所述区域建立索引，包括：

所述处理器根据所述基础源图像的尺寸设定所述区域的大小，并进行区域划分；

所述处理器为所述区域建立区域索引。

3.根据权利要求1所述的方法，其特征在于，所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块，包括：

所述处理器提取所述虚拟目标图像分块四个顶点的坐标；

所述处理器对所述四个顶点的坐标进行几何变换；

所述处理器根据变换后得到的坐标，确定虚拟源图像中与所述虚拟目标图像分块对应的虚拟源图像分块。

4.根据权利要求1所述的方法，其特征在于，所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块之后，还包括：

所述处理器根据辅助数据区域范围，扩大所述源图像分块的边界至设定值；

对应的，所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块之前，还包括：

所述处理器根据辅助数据区域范围，裁剪目标图像分块的边缘至设定值。

5.一种数字图像滤镜处理的装置，其特征在于，包括：

索引建立模块，配置在处理器中，用于对基础源图像进行区域划分，并为所述区域建立索引；

图像分块模块，配置在所述处理器中，用于根据预设的图像划分原则对虚拟源图像和虚拟目标图像进行分块,其中,所述虚拟源图像和所述虚拟目标图像是从目标图像分块找到对应的源图像编码段而虚拟出来的；

对应分块获取模块，配置在所述处理器中，用于获取与虚拟目标图像分块对应的虚拟源图像分块；

编码段截取模块，配置在所述处理器中，用于根据区域索引，截取基础源图像代码中与所述虚拟源图像分块对应的多个所述区域相关的编码段；

编码段处理模块，配置在所述处理器中，用于与硬件配合，对所述编码段进行处理得到对应的目标图像分块编码段；

代码形成模块，配置在所述处理器中，用于将所有所述目标图像分块编码段合并，形成目标图像代码；

其中，所述编码段处理模块包括分块上传单元、分块下载单元和分块变换单元，所述装置还包括编码段解码单元、分块处理单元和分块编码单元，其中：

编码段解码单元，配置在解码器中，用于对所述编码段解码，获得对应的源图像分块；

分块上传单元，用于将所述源图像分块上传至硬件缓存；

分块处理单元，配置在硬件主体中，用于对所述源图像分块进行滤镜算法处理，并将得到的目标图像分块存入硬件缓存；

分块下载单元，用于从所述硬件缓存中下载所述目标图像分块；

分块变换单元，用于对所述目标图像分块进行几何变换得到最终目标图像分块；

分块编码单元，配置在编码器中，用于对所述最终目标图像分块进行编码，得到对应的编码段。

6.根据权利要求5所述的装置，其特征在于，所述索引建立模块具体用于：

根据所述基础源图像的尺寸设定所述区域的大小，并进行区域划分；

为所述区域建立区域索引。

7.根据权利要求5所述的装置，其特征在于，所述对应分块获取模块，具体用于：

提取所述虚拟目标图像分块四个顶点的坐标；

对所述四个顶点的坐标进行几何变换；

根据变换后得到的坐标，确定虚拟源图像中与所述虚拟目标图像分块对应的虚拟源图像分块。

8.根据权利要求5所述的装置，其特征在于，还包括：

边界扩大模块，配置在所述处理器中，用于在所述处理器获取与虚拟目标图像分块对应的虚拟源图像分块之后，根据辅助数据区域范围，扩大所述源图像分块的边界至设定值；

对应的，所述编码段处理模块，还包括：

边缘裁剪单元，配置在所述处理器中，用于在所述处理器对所述目标图像分块进行几何变换得到最终目标图像分块之前，根据辅助数据区域范围，裁剪目标图像分块的边缘至设定值。