CN113938685B - 面向大规模图像存储的认知型软件可调整图像编码装置 - Google Patents

Abstract

本发明提出一种面向大规模图像存储的认知型软件可调整图像编码装置，包括：模块1，用于获取待编码图像集的基本信息，该参数信息包括：待编码图像集的规模、每张待编码图像的尺寸和每张待编码图像的色深；模块2，用于挖掘并构建图像的深层信息，所述深层信息包括：每张待编码图像的内容画像、待编码图像集的整体画像、编码器所处的环境画像；模块3，用于对该基本信息和该深层信息进行整合，并结合该编码装置中编码器的可调整的编码参数，构建数学模型；模块4，用于求解该数学模型，得到最优编码参数，并以该最优编码参数对该待编码图像集进行编码。相较现有的图像编码方法，本发明有效降低图像存储空间，节省存储运算成本。

Description

面向大规模图像存储的认知型软件可调整图像编码装置

技术领域

本发明涉及到图像的属性挖掘方法，围绕着挖掘出的图像的画像(Profile)，开展个性化的图像编码。特别是面向大规模数据存储的图像编码方法。

背景技术

数字图像是目前重要的信息表现形式，它们可以利用丰富的像素信息，表示现实中的各种生活场景、平面广告以及各种医疗图片等。当二维光的强度信号被采样和量化，创建数字图像时，可能会产生大量的，过于丰富的数据，例如数字化图片的尺寸可能太大，色彩深度过深等，最终导致不切实际的存储或传输要求。图像压缩编码解决了减少表示数字图像所需的信息量的问题，从而减少了表示图像所需的信息，使图像的传输或存储要求更加实用。图像压缩编码是一个旨在产生图像的紧凑表示的过程，从而减少图像存储传输要求。事实上，每个图像都会有冗余数据，冗余是指图像中数据的重复，可能是在图像中重复频率高的像素或图案。图像压缩编码是通过利用图像中的冗余信息进行的。减少冗余有助于实现图像存储空间的节省。当这些冗余中的一个或多个被减少或消除时，就实现了图像压缩编码。

发明人在进行面向存储的大规模图像压缩编码研究时，发现现有技术不能够针对图像的本质进行弹性编码，但这种缺陷并不是由图像编码器的编码原理导致的。因为对于任意图像来说，不同的图像编码器都能胜任图像压缩编码的任务。事实上，图像压缩编码器在进行编码之前，需要人为的设定编码的量化参数，但并不能够在编码之前确定怎样的参数组合才能够使得大规模图像具有最佳的呈现质量。

让软件具备认知功能的概念于1999年首次提出，当时被用于无线电的技术，称为认知无线电。其核心思想是，无线电应该具备学习能力，能与周围环境交互，并获取周边环境的反馈信息，以此来感知和利用在该空间的可用频谱，限制和降低冲突的发生。这一发现使得无线电技术能够广泛的适应各种环境和需求，提高了个人无线业务的灵活性。因此，发明人认为图像编码器应该包含一个认知装置，该装置能够在图像被编码之前对图像的个性化情况有基本认知，从而灵活的做出相应的编码决策，提升编码的灵活性。

发明内容

本发明的目的是提供一种面向大规模图像存储的认知型软件可调整图像编码装置。从宏观的角度出发，将大规模图像压缩编码定义为一种离散变量优化问题。首先，图像编码装置通过数据挖掘，对图像进行深层认知，构建不同模态的图像内容画像和图像编码环境画像；之后，结合不同模态的画像构建数学模型，确定该装置依托的编码器可调整的编码参数；最后，使用动态优化方法，求出该数学模型的最优解，输出能够指导编码器编码的参数决策，灵活的完成大规模图像编码。

具体来说本发明提出了一种面向大规模图像存储的认知型软件可调整图像编码装置，其中包括：

模块1，用于获取待编码图像集的基本信息，该参数信息包括：待编码图像集的规模、每张待编码图像的尺寸和每张待编码图像的色深；

模块2，用于挖掘并构建图像的深层信息，所述深层信息包括：每张待编码图像的内容画像、待编码图像集的整体画像、编码器所处的环境画像；

模块3，用于对该基本信息和该深层信息进行整合，并结合该编码装置中编码器的可调整的编码参数，构建数学模型；

模块4，用于求解该数学模型，得到最优编码参数，并以该最优编码参数对该待编码图像集进行编码。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块1包括：

根据待编码图像集的图像数量N、待编码图像集的存储名称及其排列顺序，确定执行编码器的硬件是否能够承担待编码图像的规模；

根据每张待编码图像的宽度和高度、每张待编码图像的总像素数，确定每张图像的尺寸是否能够直接作为图像编码器的输入；

确认编码装置是否支持当前色深的图像编码。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块2包括：

挖掘并构建每张待编码图像的内容画像；包括：图像编码器采用的不同量化参数对输出图像质量的影响；通过上述信息构建每张图像与编码器之间的关系；第i张待待编码图像(1≤i≤N)的内容画像的每一个元素表示为

C_i＝{(A_i，bit_i，M_i)}

其中A＝(a₁，a₂，…，a_n)表示n种模态的图像评价指标集合；M＝(μ₁，μ₂，…，μ_k)表示k种编码软件可调整的参数集合。因此第i张待待编码图像的画像元素C_i意为：指定的编码器中，编码参数集合M的情况下，图像的评价指标集合为A，所占用的存储空间为bit。

挖掘并构建待编码图像集的整体画像；包括：整个图像集在当前编码器下能够得到的图像存储空间上限bit_max与下限bit_min；通过上述信息构建整个图像集画像，为图像集的编码限制条件提供参考；

挖掘并构建编码器所处的环境画像；包括：预测当前编码环境在整个编码过程中的耗时上限T；预测当前编码环境在整个编码过程中的功耗上限W；通过上述信息构建编码环境的画像，为图像集的编码限制条件提供参考。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块3包括：

确定适用于当前应用场景的图像评价指标信息A的模态种类数n；

确定当前编码器可调整的编码参数M的数量和种类数k；

根据适当的衡量方式，结合实际情况，合理的配比A中n种模态的图像评价指标权重向量Ω＝(ω₁，ω₂，…，ω_n)；

根据每种模态信息与画像参数及其权重配比，构建数学模型。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块4包括：

确定用于组成图像内容画像图像质量评价指标，包括：峰值信噪比、结构相似性和多方法评估融合；

确定通过挖掘并构建待编码图像集的整体画像、编码器所处的环境画像得到的限定条件，包括：图像数据存储空间上限bit_max、图像质量评价指标评价下限、编码功率上限W、编码耗时上限T；

构建目标函数，包括：图像在限定条件下所能得到的最佳图像质量，并且通过对得到能输出相应质量图像的M，表示为：

其中F(Ω，A)表示A根据权重Ω所构成的线性加权和或非线性加权和；上述目标函数的限制条件为：

其中

表示由于编码器并行计算导致的非线性累加方式。其中，时间的累加额外包括画像挖掘所耗费的时间T_mining和优化求解的时间T_optimization，功耗的累加额外包括画像挖掘所需功耗W_mining和优化求解所需功耗W_optimization；

根据构建的带有限制条件的目标函数，结合每种模态信息与画像参数及其权重配比构成的数学模型进行仿真并求解，输出结果为当前待编码图像集的该最优编码参数。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块2包括：

模块21，用于通过对图像进行不同参数设置下的压缩编码，记录其输出图像的不同模态的评价指标值及其对应的存储空间的大小的信息标签化描述，作为该内容画像；

模块22，用于通过遍历待编码图像集中的每一幅图像，多次执行该模块21，最终将模块21的结果呈现为一组画像数据，统计这组画像数据并建立整个图像集的画像作为该整体画像；

模块23，用于结合模块21和模块22的执行，获取当前编码环境的硬件水平，编码执行速度，编码总体功耗，作为该环境画像。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块21包括：

模块211，用于选取图像的k种量化参数取整并分别采取J个分布均匀精度值，将量化参数按照精度值由小到大的进行排列，k和J均为正整数；

模块212，用于按照每个图像编号对应的量化值，共对图像进行J^k次的压缩编码；

模块213，用于记录每个量化值得到的n种模态的图像的质量评价指标及其压缩后的存储空间占用情况，并建立映射。对于一张图像，共建立n×J^k次映射，构成形如C_i＝{(A_i，bit_i，M_i)}信息标签化描述，并以此作为图像的内容画像。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块3包括：

模块31，用于分别对该内容画像、该整体画像和该环境画像，赋予不同的权重，构成权重向量Ω；

模块32，用于按照线性加权和或非线性加权和后的该内容画像构成目标函数、该整体画像和该环境画像构成限制条件，搭建离散变量优化模型。

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块4包括：

模块41，用于确定图像集的编码时间上限和编码存储空间上限作为该数学模型的限制条件；

模块42，用于通过根据该数学模型结合该限制条件，在N×J^k个信息标签化描述中决策出最合适的N×k个并反馈至编码器做出最终的图像编码。

由以上方案可知，本发明的优点在于：相较现有的图像编码方法(以HEIC为基准)，同等平均峰值信噪比下，有效降低20％以上的图像存储空间，节省存储运算成本。将图像压缩编码所需的算力、时间和存储空间控制在用户可接受的范围之内。

附图说明

图1为本发明流程图；

图2为本发明所述模块2中，挖掘并构建图像画像的示意图；

图3为本发明所述模块3、模块4中，搭建数学模型并求解反馈的示意图。

具体实施方式

本发明提出了一种面向大规模图像存储的认知型软件可调整图像编码装置，包括：获取图像的规模信息、图像的尺寸信息、图像色深信息；挖掘并构建图像的内容画像(即信息标签化描述)、图像数据集的整体画像、编码环境画像；对获取和挖掘到的不同模态信息和画像进行整合；基于整合数据搭建凸优化模型，求出当前编码环境和存储环境下的最优图像处理决策和最优图像参数设置决策；对于原始图像按照优化后的编码决策结果进行压缩编码，用以实现不同图像内容、不同图像属性、不同存储环境下的灵活压缩编码；减少由于图像异构导致的冗余。另外，当使用回溯法或递归法求解最优图像编码参数决策时，可以求得小于当前编码环境限制的任意一种情况的解，以便于适应不同业务需求的灵活转换。

为实现上述目的，本方法包括如下步骤：

步骤1：准备待压缩编码的原始图像集，软件可调整的图像编码器；

步骤2：在选定的软件可调整图像编码器下，挖掘并构建图像的内容画像、图像数据集的整体画像、编码环境画像；

步骤3：根据步骤2挖掘出的多种模态的画像，根据重要性赋予不同权重，结合实际情况进行灵活建模并求解。

步骤4：根据步骤3的求解结果，指导原始图像集中的每个图像完成压缩编码。

所述步骤1中的图像编码器可以是任意一种现有的编码器或未来可能产生的更先进的软件可调整的图像编码器。

所述步骤2包括：

步骤21：挖掘并构建图像的内容画像。通过对图像进行不同参数设置下的压缩编码，记录其输出图像的不同模态评价指标值及其对应的存储空间的大小的信息标签化描述；

步骤22：挖掘并构建图像数据集的整体画像。通过遍历图像数据集中的每一个图像，多次执行步骤21，最终将步骤21的结果呈现为一组画像数据，统计这组画像数据并建立整个图像集的画像，整个图像集在当前编码器下能够得到的图像存储空间上限bit_max与下限bit_min；

步骤23：挖掘编码环境画像。结合步骤21和步骤22的执行，使编码装置对当前环境下的编码有一定认知，图像数据存储空间上限bit_max、图像质量评价指标评价下限、编码功率上限W、编码耗时上限T；

所述步骤3包括：

步骤31：对于步骤2挖掘出的不同模态的画像，按照其重要程度，赋予不同的权重；

步骤32：按照加权的不同模态的图像内容画像，设定目标函数，以最大化平均图像质量为优化目标，搭建数学模型；

步骤33：求解步骤32中带有限定条件的数学模型。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

为实现上述目的，如图1所示，本方法包括如下步骤：

本发明的具体实施的过程如下：

1.假设现有待编码图像集中图像的个数为N，一次图像编码优化仅限于选定的N个图像，特别的，这N张图像可能存在尺寸上的差异，图像尺寸越小，其所占用的存储空间一般越小，但为了公平起见，尽可能保证这N张图像的尺寸相似；

2.选取现有软件可调整图像编码方法，首先对编码软件进行多次参数调整，之后对图像进行试编码并记录其编码结果。通过不断编码-反馈的过程，逐渐构建起编码器对图像的“印象”。根据实际情况要求的精度、时间限制等客观情况，具体将挖掘图像内容画像的方法为以下三种：

2.1在要求的编码精度准确、图像数量较少时，采用此步骤(穷举挖掘法)：

2.1.1选取图像的k种量化参数取整并分别采取J个分布均匀精度值，将量化参数按照精度值由小到大的进行排列；

2.1.2按照每个编号对应的量化值，对一张图像进行J^k次的压缩编码；

2.1.3记录每个量化值得到的n种图像的质量评价指标及其压缩后的存储空间占用情况，共建立n×J^k次映射，构成形如C_i＝{(A_i，bit_i，M_i)}信息标签化描述，并以此作为图像的内容画像；

2.1.4对剩余的N-1张图像同样进行2.1.2和2.1.3的步骤；

2.1.5形成图像压缩质量-输出图像所占空间的信息标签化描述，并以此作为图像的画像；

2.2在对数据挖掘速度要求较高时，采用此步骤(拟合挖掘法)：

2.2.1选取图像的k种量化参数取整并分别采取J个分布均匀精度值，但仅从J中取2或3个量化参数；

2.2.2按照选取的2～3个量化参数，对一张图像进行J²～J³次的压缩编码；

2.2.3记录每个量化值得到的n种图像的质量评价指标及其压缩后的存储空间占用情况，共建立n×J²～n×J³次映射，构成形如C_i′＝{(A_i′，bit_i′，M_i′)}信息标签化描述，事实上，有C_i′∈C_i；

2.2.4基于J²～J³个映射值，通过拟合预测出其余映射值，表示为：

Fit(C_i)≈C_i

其中Fit(·)表示一种线性或非线性拟合方式，用以预测没有通过编码器实际反馈的画像元素结合C_i-C_i′；

2.2.5对剩余的N-1张图像同样进行2.2.2、2.2.3和2.2.4的步骤；

2.2.6形成图像压缩质量-输出图像所占空间的信息标签化描述，并以此作为图像的画像，此时这样的信息标签化描述只能保证接近真实的映射情况，但数据挖掘时间因为借助了拟合已经大大缩短；

2.3在对数据挖掘速度要求高但可以使用额外的数据和时间进行训练时，采用此步骤(聚类挖掘法)：

2.3.1选取不同于含有N张图像的图像集的额外图像集，数量为N₀且N₀＞N；

2.3.2对N₀张图像进行2.1.2和2.1.3的步骤；

2.3.3对N₀张图像及其产生的图像压缩质量-输出图像所占空间的信息标签化描述C⁰＝{(A⁰，bit⁰，M⁰)}进行聚类，形成聚类之后的映射关系；

2.3.4对待编码的N张图像，逐张图像映射至与N₀的聚类空间中，由此发现待编码图像的图像压缩质量-输出图像所占空间的信息标签化描述；

图2展示了本发明提出的编码装置在整个编码流程中所处的位置，以及展示了挖掘和构建图像画像的流程。

3.在挖掘图像信息标签化描述时，应该对图像编码装置所依附的编码器、硬件环境有所认知。例如在多种参数设置下，编码器的不同编码速度将构成该图像在当前编码环境下的环境画像，同样用信息标签化描述来表达。

4.结合形成图像压缩质量-输出图像所占空间的信息标签化描述，将大规模图像编码视为离散变量优化问题并求解，具体步骤如下：

4.1为得到的图像的内容画像中表示n种模态的图像评价指标集合A＝(a₁，a₂，…，a_n)初步分配权重向量Ω；

4.2确定限制条件。包括图像数据存储空间上限bit_max、图像质量评价指标评价下限、编码功率上限W、编码耗时上限T；

4.3建立数学模型。建立离散变量优化模型，目标函数为：

其中F(Ω，A)表示A根据权重Ω所构成的线性加权和或非线性加权和，M＝(μ₁，μ₂，…，μ_k)表示k种编码软件可调整的参数集合；上述目标函数的限制条件为：

其中

表示由于编码器并行计算导致的非线性累加方式。其中，时间的累加额外包括画像挖掘所耗费的时间T_mining和优化求解的时间T_optimization，功耗的累加额外包括画像挖掘所需功耗W_mining和优化求解所需功耗W_optimization；

根据构建的带有限制条件的目标函数，结合每种模态信息与画像参数及其权重配比构成的数学模型进行仿真并求解，输出结果为当前待编码图像集的该最优编码参数。

此时需要借助一些优化方法(例如背包法)进行求解以避免“组合爆炸”问题；

4.4优化模型输出N张图像所对应的编码参数；

4.5此时，如果之前是通过2.1的步骤进行的图像画像挖掘，则在挖掘出的数据中选择对于量化参数的图像即可完成压缩编码任务；如果之前是通过2.2或2.3的步骤进行的图像画像挖掘，则需要按照输出的量化参数对原始图像进行一次编码压缩，才能完成最终的图像编码；

4.6另外，若上述优化方法当前应用环境下仍未达到要求，则应该调整4.1所述的权重分配情况以重新求解。或者，如果图像数据量N过大导致优化时间变长，可以适当将N张图像数据划分为若干子集后逐一使用分组背包问题进行求解。

图3展示了本发明提出的装置中，不同画像的具体内容，以及搭建数学模型并求解的流程。

发明并不局限于前面给出的细节，而可以在所附权利要求的范围内修改。在权利要求中，不减或步骤不隐含任何特定顺序的操作。除非在权利要求中制定说明。

Claims (5)

1.一种面向大规模图像存储的认知型软件可调整图像编码装置，其特征在于，包括：

模块1，用于获取待编码图像集的基本信息，该参数信息包括：待编码图像集的规模、每张待编码图像的尺寸和每张待编码图像的色深；

模块2，用于挖掘并构建图像的深层信息，所述深层信息包括：每张待编码图像的内容画像、待编码图像集的整体画像、编码器所处的环境画像；

模块3，用于对该基本信息和该深层信息进行整合，并结合该编码装置中编码器的可调整的编码参数，构建数学模型；

模块4，用于求解该数学模型，得到最优编码参数，并以该最优编码参数对该待编码图像集进行编码；

其中该模块2包括：

挖掘并构建每张待编码图像的内容画像；包括：

通过上述信息构建每张图像与编码器之间的关系；第i张待编码图像(1≤i≤N)的内容画像的每一个元素表示为：

C_i＝{(A_i，bit_i，M_i)}

其中A＝(a₁，a₂，…，a_n)表示n种模态的图像评价指标集合；M＝(μ₁，μ₂，…，μ_k)表示k种编码软件可调整的参数集合；第i张待编码图像的画像元素C_i为在指定的编码器中，编码参数集合M的情况下，图像的评价指标集合为A，所占用的存储空间为bit；

挖掘并构建待编码图像集的整体画像；包括：整个图像集在当前编码器下的图像存储空间上限bit_max与下限bit_min；通过上述信息构建整个图像集画像，为图像集的编码限制条件提供参考；

挖掘并构建编码器所处的环境画像；包括：预测当前编码环境在整个编码过程中的耗时上限T；预测当前编码环境在整个编码过程中的功耗上限W；通过上述信息构建编码环境的画像，为图像集的编码限制条件提供参考；

该模块3包括：

确定适用于当前应用场景的图像评价指标信息A的模态种类数n；

确定当前编码器可调整的编码参数M的种类数k；

配比A中n种模态的图像评价指标权重向量Ω＝(ω₁，ω₂，…，ω_n)；

根据每种模态信息及其权重配比，构建该数学模型；

该模块4包括：

确定用于组成图像内容画像图像质量评价指标，包括：峰值信噪比、结构相似性和多方法评估融合；

确定通过挖掘并构建待编码图像集的整体画像、编码器所处的环境画像得到的限定条件，包括：图像数据存储空间上限bit_max、图像质量评价指标评价下限、编码功率上限W、编码耗时上限T；

构建目标函数，包括：图像在限定条件下所能得到的最佳图像质量，并且通过对得到能输出相应质量图像的M，表示为：

其中F(Ω，A)表示A根据权重Ω所构成的线性加权和或非线性加权和；上述目标函数的限制条件为：

其中

表示由于编码器并行计算导致的非线性累加方式；其中，时间的累加额外包括画像挖掘所耗费的时间T_mining和优化求解的时间T_optimization，功耗的累加额外包括画像挖掘所需功耗W_mining和优化求解所需功耗W_optimization；

根据构建的损失函数，结合每种模态信息及其权重配比构成的数学模型进行仿真并求解，输出结果为当前待编码图像集的该最优编码参数。

2.如权利要求1所述的面向大规模图像存储的认知型软件可调整图像编码装置，其特征在于，该模块1包括：

根据待编码图像集的图像数量、待编码图像集的存储名称及其排列顺序，确定执行编码器的硬件是否能够承担待编码图像的规模；

根据每张待编码图像的宽度和高度、每张待编码图像的总像素数，确定每张图像的尺寸是否能够直接作为图像编码器的输入；

确认编码装置是否支持当前色深的图像编码。

3.如权利要求1所述的面向大规模图像存储的认知型软件可调整图像编码装置，其特征在于，该模块2包括：

模块21，用于通过对图像进行不同参数设置下的压缩编码，记录其输出图像的不同模态的评价指标值及其对应的存储空间的大小的信息标签化描述，作为该内容画像；

模块22，用于通过遍历待编码图像集中的每一幅图像，多次执行该模块21，最终将模块21的结果呈现为一组画像数据，统计这组画像数据并建立整个图像集的画像作为该整体画像；

模块23，用于结合模块21和模块22的执行，获取当前编码环境的硬件水平，编码执行速度，编码总体功耗，作为该环境画像；

所述的面向大规模图像存储的认知型软件可调整图像编码装置，其中该模块21包括：

模块211，用于选取图像的k种量化参数取整并分别采取J个分布均匀精度值，将量化参数按照精度值由小到大的进行排列，k和J均为正整数；

模块212，用于按照每个图像编号对应的量化值，共对图像进行J^k次的压缩编码；

模块213，用于记录每个量化值得到的n种模态的图像的质量评价指标及其压缩后的存储空间占用情况，并建立映射；对于一张图像，共建立n×J^k次映射，构成形如C_i＝{(A_i,bit_i,M_i)}信息标签化描述，并以此作为图像的内容画像。

4.如权利要求1所述的面向大规模图像存储的认知型软件可调整图像编码装置，其特征在于，该模块3包括：

模块31，用于为该图像评价指标集合A，分配权重向量Ω；

模块32，用于按照线性加权和或非线性加权和后的该内容画像构成目标函数、该整体画像和该环境画像构成限制条件，搭建离散变量优化模型。

5.如权利要求3所述的面向大规模图像存储的认知型软件可调整图像编码装置，其特征在于，该模块4包括：

模块41，用于确定图像集的编码时间上限和编码存储空间上限作为该数学模型的限制条件；

模块42，用于通过根据该数学模型结合该限制条件，在N×J^k个信息标签化描述中决策出最合适的N×k个并反馈至编码器做出最终的图像编码。

Images