CN112163589B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，该方法包括：通过显著性检测方法生成与原始图像对应的显著性响应图；将显著性响应图转化为二值掩膜图；通过二值掩膜图，分割出前景和背景；判断前景和背景之间的能量分布是否不平衡；若是，则调节前景和背景的能量分布，得到能量平衡图像。本申请结合显著性检测及基于能量感知的图像平衡策略，通过分析前后景能量分布来自动检测出低能量目标，再通过生成的精确掩膜来可适应性平衡前后景能量分布，可以改善目标匹配效率，提升图像匹配准确度，及时避免因为处理低质量图像给算法带来的效果影响，普适性的实现所有涉及到图像匹配的图像处理问题得到一定的效率提升。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种图像处理方法、装置、设备及存储介质。

背景技术

图像匹配作为计算机视觉中的一个基础技术模块，已经被成功应用于如目标跟踪、图像分类、人脸识别、图像检索等众多具体问题当中。所以图像匹配能力的好坏可直接影响应用该技术模块的图像处理问题的最终效果。在目标跟踪问题当中，基于当前帧的目标定位往往需要通过匹配前一帧中感兴趣区域得到；图像分类同样需要与训练得到的图像模板匹配来判断是否属于同一类；在人脸识别任务中，图像匹配依然扮演着重要的角色，从人脸图像中提取的特征需要与标准数据集中的数据进行匹配比对，再由相似性对人脸进行进一步识别。

近年来提出的图像匹配方法虽然在受到快速运动、目标旋转、复杂背景等因素的影响时产生的误差一般在容忍范围内，但是一旦出现目标显著度弱于背景等情况，各种任务的总体性能将很容易产生巨大波动，甚至导致任务失败等问题。在目标跟踪问题中，由于跟踪条件的复杂多变，待跟踪目标很难时刻保持相对于背景的醒目，尤其在摄像机距离目标很远时，目标只能呈现出小尺寸暗黑形态，令跟踪算法难以捕捉到目标，这种情况下的傅里叶域中，目标即呈现出相对于背景的较低能量，其将对目标的准确定位和跟踪产生很大影响。在图像分类问题中，小尺寸的目标在相似的背景信息下显示出相对低的能量，这种情况很难提取出用于分类的局部信息，复杂背景下的目标也会呈现出较低的能量。同理，在人脸识别、图像检索等，也会出现目标低能量，进而造成一定影响。

因此，如何解决由于图像处理问题复杂多变，经常会出现目标能量太弱以至于难以检测、跟踪或分类的问题，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置、设备及存储介质，可以改善目标匹配效率，提升图像匹配准确度，及时避免因为处理低质量图像给算法带来的效果影响。其具体方案如下：

一种图像处理方法，包括：

通过显著性检测方法生成与原始图像对应的显著性响应图；

将生成的所述显著性响应图转化为二值掩膜图；

通过转化得到的所述二值掩膜图，分割出前景和背景；

判断所述前景和所述背景之间的能量分布是否不平衡；

若是，则调节所述前景和所述背景的能量分布，得到能量平衡图像。

优选地，在本发明实施例提供的上述图像处理方法中，通过显著性检测方法生成与原始图像对应的显著性响应图，具体包括：

将原始图像的目标位置矩阵框进行扩展，获取扩展边界框；

通过显著性检测方法提取所述扩展边界框中的感兴趣区域，生成显著性响应图。

优选地，在本发明实施例提供的上述图像处理方法中，采用第一公式将生成的所述显著性响应图转化为二值掩膜图；所述第一公式为：

其中，i_m，n为所述显著性响应图中的元素，m，n分别为所述显著性响应图的宽和高，I_log为所述二值掩膜图的像素，ε为所述阈值。

优选地，在本发明实施例提供的上述图像处理方法中，判断所述前景和所述背景之间的能量分布是否不平衡，具体包括：

分别计算在每个特征通道中所述前景和所述背景的像素均值；

判断所述前景的像素均值在任一特征通道中是否均小于所述背景的像素均值；

若是，则判定所述前景和所述背景之间的能量分布不平衡。

优选地，在本发明实施例提供的上述图像处理方法中，调节所述前景和所述背景的能量分布，具体包括：

根据在每个特征通道中所述前景和所述背景的像素均值，计算在每个特征通道中所述前景和所述背景之间的像素差值；

根据获取的所述二值掩膜图、计算出的所述像素差值、所述原始图像的RGB三通道信息和可调固定参数，增强所述前景的信息同时抑制所述背景的信息。

优选地，在本发明实施例提供的上述图像处理方法中，采用第二公式计算在每个特征通道中所述前景和所述背景之间的像素差值；所述第二公式为：

其中，p_sub_R、p_sub_G、p_sub_B分别为在RGB三通道中所述前景和所述背景之间的像素差值；μ_{B_R}、μ_{B_G}、μ_{B_B}分别为在RGB三通道中所述前景的像素均值；μ_{F_R}、μ_{F_G}、μ_{F_B}分别为在RGB三通道中所述背景的像素均值。

优选地，在本发明实施例提供的上述图像处理方法中，采用第三公式增强所述前景的信息同时抑制所述背景的信息；所述第三公式为：

其中，B_p为抑制后的所述背景的信息；F_p为增强后的所述前景的信息；M为所述二值掩膜图；I＝{I_R，I_G，I_B}为所述原始图像的RGB三通道信息；δ为所述可调固定参数。

本发明实施例还提供了一种图像处理装置，包括：

显著性检测模块，用于通过显著性检测方法生成与原始图像对应的显著性响应图；

掩膜图转化模块，用于将生成的所述显著性响应图转化为二值掩膜图；

前景提取模块，用于通过转化得到的所述二值掩膜图，分割出前景和背景；

能量分布判断模块，用于判断所述前景和所述背景之间的能量分布是否不平衡；

能量分布调节模块，用于若所述前景和所述背景之间的能量分布不平衡，则调节所述前景和所述背景的能量分布，得到能量平衡图像。

本发明实施例还提供了一种图像处理设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述图像处理方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述图像处理方法。

从上述技术方案可以看出，本发明所提供的一种图像处理方法，包括：通过显著性检测方法生成与原始图像对应的显著性响应图；将生成的显著性响应图转化为二值掩膜图；通过转化得到的二值掩膜图，分割出前景和背景；判断前景和背景之间的能量分布是否不平衡；若是，则调节前景和背景的能量分布，得到能量平衡图像。

本发明结合显著性检测及基于能量感知的图像平衡策略，从图像整体的角度进行考虑，兼顾前后景信息，通过分析前后景能量分布来自动检测出低能量目标，再通过生成的精确掩膜来可适应性平衡前后景能量分布，可以改善目标匹配效率，提升图像匹配准确度，及时避免因为处理低质量图像给算法带来的效果影响，普适性的实现所有涉及到图像匹配的图像处理问题得到一定的效率提升，具有可同时适用于空间域及频域、灰度空间、HSV图像空间、RGB图像空间等各类图像处理问题，具备准确率高、无需调参等优点。此外，本发明还针对图像处理方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的图像处理方法的流程图；

图2为本发明实施例提供的能量感知适应策略的示意图；

图3为本发明实施例提供的基于能量感知的目标跟踪流程示意图；

图4为本发明实施例提供的基于能量感知的细粒度分类流程示意图；

图5为本发明实施例提供的原始特征脸和能量感知特征脸对比示意图；

图6为本发明实施例提供的图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像处理方法，如图1所示，包括以下步骤：

S101、通过显著性检测方法生成与原始图像对应的显著性响应图；

S102、将生成的显著性响应图转化为二值掩膜图；

S103、通过转化得到的二值掩膜图，分割出前景和背景；

S104、判断前景和背景之间的能量分布是否不平衡；

若是，则执行步骤S105；需要说明的是，整个过程会转换到傅里叶域中进行计算，图像转换到傅里叶域中反映出来的信息通常称为能量；

S105、调节前景和背景的能量分布，得到能量平衡图像。

在本发明实施例提供的上述图像处理方法中，结合显著性检测及基于能量感知的图像平衡策略，从图像整体的角度进行考虑，兼顾前后景信息，通过分析前后景能量分布来自动检测出低能量目标，再通过生成的精确掩膜来可适应性平衡前后景能量分布，可以改善目标匹配效率，提升图像匹配准确度，及时避免因为处理低质量图像给算法带来的效果影响，普适性的实现所有涉及到图像匹配的图像处理问题得到一定的效率提升，具有可同时适用于空间域及频域、灰度空间、HSV图像空间、RGB图像空间等各类图像处理问题，具备准确率高、无需调参等优点。

进一步地，在具体实施时，在本发明实施例提供的上述图像处理方法中，步骤S101通过显著性检测方法生成与原始图像对应的显著性响应图，具体可以包括：将原始图像的目标位置矩阵框进行扩展，获取扩展边界框；通过显著性检测方法提取扩展边界框中的感兴趣区域，生成显著性响应图。

需要说明的是，要分析能量分布，首先要确定前景的具体位置。因此，本发明采用了显著性检测方法GLGOV被选择用来提取边界框中的感兴趣区域。

由于显著性方法综合考虑了前后景信息来生成显著性响应图，但是边界框只能显示目标的大致位置，且包含的背景信息很少，在某些复杂的情况下，显著性方法很难准确地检测出目标。本发明在原有边界框的基础上进行了扩展，以获得更精确的显著性检测。但扩展也不能太多，因为过多复杂的背景信息也会干扰目标的检测，所以本发明利用如下公式对待检测区域进行扩展：

I_extension＝I_bounding+ρ

其中，ρ为基于目标框向外扩展的像素数，I_bounding为第一帧已知的目标位置矩形框，或跟踪过程中前一帧已经定位好的目标位置矩形框；I_extension为经过左右宽高各扩展ρ各像素后的扩展框。

由此生成的图像块输入到GLGOV显著性检测方法当中，即可生成显著性响应图：

I_sal＝GLGOV(I_extension)

其中，I_sal为通过GLGOV方法作用后生成的显著性响应图，一般情况下，显著性响应图为经过显著性检测算法后生成的一个灰白图，灰白的程度代表图像中各个位置的显著程度，白色的(目标)代表更显著，黑色或灰色的代表不太显著的背景部分，而这里的I_sal即是生成的灰白图，用于反映显著程度。

如图2所示，第一行第一个的原始图像中的内矩形表示原始边界框，外矩形表示扩展边界框；第二行第一个的图片为根据扩展边界框从原始图像裁剪出的图片，第二个图片为GLGOV生成的显著性映射(即显著性响应图)，第三个图片为逻辑映射；第一行第二个图片为整个图像的遮罩(即二值掩膜图)，第三个图片为能量平衡图像。

在具体实施时，在本发明实施例提供的上述图像处理方法中，在执行步骤S102时，可以采用第一公式将生成的显著性响应图转化为二值掩膜图；该第一公式为：

其中，i_m，n为所述显著性响应图中的元素，m，n分别为所述显著性响应图的宽和高，I_log为所述二值掩膜图的像素，ε为所述阈值。

待检测区域的精确定位即可基于逻辑图得到。令精确待检测区域内的像素值为1，全图其余位置的像素值为0，则可得到掩膜M，这一掩膜即可精确的将前景从背景中分割出来。然后通过分析属于前景的像素信息和属于背景的像素信息来检测不平衡的能量分布。

在具体实施时，在本发明实施例提供的上述图像处理方法中，步骤S104判断前景和背景之间的能量分布是否不平衡，具体可以包括：分别计算在每个特征通道中前景和背景的像素均值；判断前景的像素均值在任一特征通道中是否均小于背景的像素均值；若是，则判定前景和背景之间的能量分布不平衡。

具体地，分别计算前后景像素的均值为μ_F和μ_B，并使用下式所示的策略来判断当前待检测区域是否需要使用能量平衡策略(也可称为能量调节策略)：

其中，Flag_energy用来表示是否要进行能量平衡策略的一个判断依据，如果这个变量为1则进行能量平衡策略，如果为0则不进行能量平衡。

本发明以应用最广泛RGB颜色空间为例进行叙述。

当前景像素的均值在任一特征通道中都小于背景像素的均值即(μ_FR≤μ_BR)^(μ_FG≤μ_BG)^(μ_FB≤μ_BB)，即认为μ_F＜μ_B，此时可判定前后景的能量分布是不平衡的。此时将Flag_energy的值设成1，代表后续的能量平衡策略将被应用到当前图像上。否则，将Flag_energy的值设成0，代表继续使用原始图像进行后续操作。

在具体实施时，在本发明实施例提供的上述图像处理方法中，步骤S105调节前景和背景的能量分布，具体可以包括：根据在每个特征通道中前景和背景的像素均值，计算在每个特征通道中前景和背景之间的像素差值；根据获取的二值掩膜图、计算出的像素差值、原始图像的RGB三通道信息和可调固定参数，可适应增强前景的信息同时抑制背景的信息。

这样采用基于精确轮廓的能量平衡策略可令算法更多的关注于前景而精准的抑制背景信息带来的影响，以实现最终的效果提升。

进一步地，在具体实施时，在本发明实施例提供的上述图像处理方法中，可以采用第二公式计算在每个特征通道中前景和背景之间的像素差值；该第二公式为：

其中，p_sub_R、p_sub_G、p_sub_B分别为在RGB三通道中前景和背景之间的像素差值；μ_{B_R}、μ_{B_G}、μ_{B_B}分别为在RGB三通道中前景的像素均值；μ_{F_R}、μ_{F_G}、μ_{F_B}分别为在RGB三通道中背景的像素均值。

在具体实施时，在本发明实施例提供的上述图像处理方法中，可以采用第三公式增强前景的信息同时抑制背景的信息；该第三公式为：

其中，B_p为抑制后的背景的信息；F_p为增强后的前景的信息；M为二值掩膜图；I＝{I_R,I_G,I_B}为原始图像的RGB三通道信息；δ为可调固定参数。

根据下式将原始图像更新为一个全新图像以实现增强目标的目的：

I_new＝B_p+F_p

本发明根据显著性方法给出的边界框，对每一帧计算一个显著性映射；其次根据显著性映射为整个图像生成一个逻辑掩模，将帧精确地分为前景和背景；然后通过分析前景和背景之间的能量分布来检测能量分布；最后如果分布不平衡，自适应增强前景的精确区域，同时抑制剩余的背景信息。如图2所示，经过能量平衡后的图像判别性得到了明显的增强，以至于更易跟踪、分类或进一步识别。接下来将对这一发明在跟踪、分类及人脸识别问题中的应用做出阐述。

在跟踪问题中，为提升跟踪效率，目前大部分跟踪算法都采用相关滤波在傅里叶域内训练模板进而实现跟踪。在对两张图片进行相关操作时，快速傅里叶转换能够很好的将空间域内的卷积转换为频域内的点乘，这一计算模式为提升跟踪效率的主要原因。但是对于一些颜色较深能量较低的目标来说，其在傅里叶域中的能量通常都表现的较低，以至于这种低能量目标的变化很容易被高能量的背景所吞没，导致不准确跟踪或跟踪失败。为克服上述这一问题并证明本发明的有效性，本发明将提出的上述图像处理方法引入到目标跟踪问题当中，以保持要跟踪的目标始终保持显著于背景进而提升跟踪效果。具体引入到代表性跟踪方法ECO中作为示例进行说明，因为ECO方法中涉及到的多项式卷积操作及紧凑模型生成策略可以有效提升跟踪的精度和效率。

对于每一个来到的视频帧，图像I被动态调节成能量平衡图像I_energy，由于只有第一帧的目标位置是已知的，所以其后续帧的能量平衡图像I_energy都是基于前一帧的跟踪结果矩形框经过适当像素扩展得到的。

接下来对能量平衡图像I_energy提取颜色和直方图特征以构成训练样本x_energy，那么此时的跟踪目标函数可用如下公式表示：

其中，J{x}表示插值的特征图，f表示相关滤波模板，y表示训练样本对应的标签集合，P表示利用主成分分析学得的系数矩阵，这一矩阵主要用来减少相关滤波和多项式卷积的个数，ω和λ代表空间正则化权重用来缓解边缘效应，跟踪目标函数的第二项为ECO的紧凑模型，即取相关滤波的部分子集，加权平均，所以公式中的c为子集中相关滤波器的下标，C为子集相关滤波器的个数，F为F范数，Frobenius的简写。特别的，像

这种头上带小帽的标识代表频域内的变量。图3示出了整个基于自适应能量平衡的跟踪过程，在能量感知目标跟踪过程中，对于每一帧首先采用能量调节策略判断当前图像能量是否平衡，若能量平衡则使用原图像与预训练好的相关滤波模板做相关操作，得到响应图，确定目标位置；若能量不平衡，则使用能量调节策略进行能量平衡，通过二值掩膜突出目标，抑制背景，生成能量平衡图像，并在跟踪过程中使用，通过求目标函数最小值，确定此时的相关滤波模板，并利用该模板进行后续跟踪而实现的，通过跟踪目标函数可以得到此时最优的相关滤波模板，最终确定目标位置。

由于相关滤波跟踪方法本身就是利用已得到的跟踪结果作为样本进行模板训练的，所以基于本发明提出的上述图像处理方法，即可实现一个逐帧的在线调整，进而使得训练集中的所有样本均为能量平衡样本，以此训练出的模板判别性更高。经过多角度实验验证，基准跟踪算法的跟踪效果得到了显著提升。

在细粒度分类问题中，样本间相似度都很高，都几乎用肉眼难以分辨，即使一些方法采用分块模型来辨别相似的种类，但在如光照变化、遮挡、复杂背景等情况下细粒度分类依然存在巨大的挑战。因为细粒度分类依然是基于矩形框进行分类的，所以或多或少的背景信息会参与计算，而对分类效果产生影响。通过将本发明提出的上述图像处理方法引入细粒度分类问题中，由于有目的的增强了目标特征，所以上述挑战因素造成的影响可得到有效缓解。换句话说，这样一来分类算法可以更多的关注于目标而不是受到复杂背景信息的影响，最终提升分类的准确率。

具体地，本发明将上述图像处理方法融合到目前最常用的细粒度图像分类算法LLC(基于局部线性约束编码的图像分类方法)中来验证本发明的有效性。LLC算法通过局部线性约束编码框架引导的空间金字塔匹配来将每一个描述方式投影到局部极坐标系统中。如图4所示，在能量感知的细粒度分类过程中，对每一个图像采用能量调节策略，进行能量平衡预处理，之后再对能量已平衡的图像进行特征提取，生成能量感知描述子，随后进行编码、池化并采用空间金字塔策略进行SVM分类，以得到最终的细粒度分类结果，这种情况下的分类算法能够提取出更多的针对目标的特征，目标函数如下：

其中，X_energy＝[x_{energy_1},x_{energy_2},...,x_{energy_N}]是通过I_energy提取出的局部特征，B是由K-means算法得到的编码集合，C＝[c₁,c₂,...c_N]为每一个局部特征对应的编码方式以生成最终的图像表示，

表示元素的点乘，d_i为局部适配器为不同的基向量赋予不同的自由度，并令其于输入描述符的相似性成比例。整个方法通过求解目标函数的最小值，来确定最佳的编码方式C，以此来得到最合适的特征表达，用于提升分类精准度。

实验证明，对于目标框中目标比率小于40％的类，本发明可以实现相对的改进，而对于目标比率大于40％的类，本发明取得的改善较小。这是因为本发明同时考虑了前景和背景信息，而当边界框包含背景信息较少时，本发明提升程度并不大。

在人脸识别问题中，众所周知，特征脸是人脸识别中最重要的方法之一，特征脸可以看作是从一批人脸图像转换而来的特征子空间，人脸识别的后续过程是将新的图像投影到特征子空间中，根据投影点的位置进行人脸识别。在转换到另一个空间后，图像会变得更容易分离。在这个任务中，特征子空间可以显示在类似于人脸的图像中，也就是所谓的特征脸。该方法可以在短时间内处理大量的人脸，但在光照和观察方向上的性能较差。因此，本发明首次将上述图像处理方法引入到特征脸中，希望通过提高特征子空间的适应性来提高投影图像的可分性。并以最经典的PCA+SVM人脸识别方法为例，将所提出的上述图像处理方法整合到最经典的PCA+SVM人脸识别方法中。实现细节如下：

对属于40个人的M个人脸进行分类；从M个人脸中选择N个人脸作为训练集T；如图5所示，对训练集T使用主成分分析法来生成被降维的特征F和对应主成分(特征脸)V；将本发明提出的上述图像处理方法应用在生成的特征脸上，输出新的特征脸V’；基于特征F和相对应的标签训练SVM模型Z；利用剩余M-N个人脸样本构建测试集S；将测试集内样本S投影在新生成的子特征空间V’上一得到新的测试特征F’；同时将特征F和F’输入到SVM模型Z中以得到最终的分类准确率。

当原有特征子空间调整到能量感知子空间时，投影点也会变得能量敏感。实验表明，在这种情况下，投影可以更容易被区分，与原有经典方法相比，可以获得更高的识别精度，这说明本发明不仅可以应用于基于像素的空间域，还可应用于基于特征的传递域。

可以理解的是，在涉及图像匹配的图像处理问题中，前景显著度弱于后者的条件下，本发明动态检测前后景能量不平衡并可适应性平衡前后景能量，利用显著性检测及基于阈值的精确轮廓分割理论，实现前后景分割并平衡，主要包括两个部分：一个是不平衡能量检测策略，能量异常检测通过比较前景和背景的像素差异，及时对低能目标进行预警，该能量平衡策略亦可以在其他颜色空间、特征空间中实现；另一个是能量平衡策略，该策略在前景显著度弱于背景的图像上使用，以增加图像匹配的准确度，首先对图像采用基于显著性检测的阈值分割，生成二值掩膜图，精确提取前景轮廓，再通过逐通道的计算前景背景的图像差别，基于差别程度大小可适应性平衡前后景能量分布，最终应用平衡后图像进行后续的匹配以实现精准的跟踪、分类等图像处理任务。

基于同一发明构思，本发明实施例还提供了一种图像处理装置，由于该装置解决问题的原理与前述一种图像处理方法相似，因此该装置的实施可以参见图像处理方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的图像处理装置，如图6所示，具体包括：

显著性检测模块11，用于通过显著性检测方法生成与原始图像对应的显著性响应图；

掩膜图转化模块12，用于将生成的显著性响应图转化为二值掩膜图；

前景提取模块13，用于通过转化得到的二值掩膜图，分割出前景和背景；

能量分布判断模块14，用于判断前景和背景之间的能量分布是否不平衡；

能量分布调节模块15，用于若前景和背景之间的能量分布不平衡，则调节前景和背景的能量分布，得到能量平衡图像。

在本发明实施例提供的上述图像处理装置中，可以通过上述五个模块的相互作用，采用基于显著性检测的能量不平衡检测策略自动捕捉不显著目标并自适应调节前后景能量分布，不会降低算法的执行速度，却可使得所有涉及图像匹配的图像处理任务的最终效果得到提升，该方法泛化性较强，可广泛应用于空间域、频域或特征空间等涉及到区分前后景的所有任务中，更有利于在图像处理任务中普及。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种图像处理设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的图像处理方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像处理方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种图像处理方法，包括：通过显著性检测方法生成与原始图像对应的显著性响应图；将生成的显著性响应图转化为二值掩膜图；通过转化得到的二值掩膜图，分割出前景和背景；判断前景和背景之间的能量分布是否不平衡；若是，则调节前景和背景的能量分布，得到能量平衡图像。这样结合显著性检测及基于能量感知的图像平衡策略，从图像整体的角度进行考虑，兼顾前后景信息，通过分析前后景能量分布来自动检测出低能量目标，再通过生成的精确掩膜来可适应性平衡前后景能量分布，可以改善目标匹配效率，提升图像匹配准确度，及时避免因为处理低质量图像给算法带来的效果影响，普适性的实现所有涉及到图像匹配的图像处理问题得到一定的效率提升，具有可同时适用于空间域及频域、灰度空间、HSV图像空间、RGB图像空间等各类图像处理问题，具备准确率高、无需调参等优点。此外，本发明还针对图像处理方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的图像处理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

通过显著性检测方法生成与原始图像对应的显著性响应图；

将生成的所述显著性响应图转化为二值掩膜图；

通过转化得到的所述二值掩膜图，分割出前景和背景；

判断所述前景和所述背景之间的能量分布是否不平衡；所述判断所述前景和所述背景之间的能量分布是否不平衡，具体包括：分别计算在每个特征通道中所述前景和所述背景的像素均值；判断所述前景的像素均值在任一特征通道中是否均小于所述背景的像素均值；

若是，则判定所述前景和所述背景之间的能量分布不平衡，调节所述前景和所述背景的能量分布，得到能量平衡图像。

2.根据权利要求1所述的图像处理方法，其特征在于，通过显著性检测方法生成与原始图像对应的显著性响应图，具体包括：

将原始图像的目标位置矩阵框进行扩展，获取扩展边界框；

通过显著性检测方法提取所述扩展边界框中的感兴趣区域，生成显著性响应图。

3.根据权利要求2所述的图像处理方法，其特征在于，采用第一公式将生成的所述显著性响应图转化为二值掩膜图；所述第一公式为：

其中，i_m，n为所述显著性响应图中的元素，m，n分别为所述显著性响应图的宽和高，I_log为所述二值掩膜图的像素，ε为阈值。

4.根据权利要求1所述的图像处理方法，其特征在于，调节所述前景和所述背景的能量分布，具体包括：

根据在每个特征通道中所述前景和所述背景的像素均值，计算在每个特征通道中所述前景和所述背景之间的像素差值；

根据获取的所述二值掩膜图、计算出的所述像素差值、所述原始图像的RGB三通道信息和可调固定参数，增强所述前景的信息同时抑制所述背景的信息。

5.根据权利要求4所述的图像处理方法，其特征在于，采用第二公式计算在每个特征通道中所述前景和所述背景之间的像素差值；所述第二公式为：

其中，p_sub_R、p_sub_G、p_sub_B分别为在RGB三通道中所述前景和所述背景之间的像素差值；μ_{B_R}、μ_{B_G}、μ_{B_B}分别为在RGB三通道中所述前景的像素均值；μ_{F_R}、μ_{F_G}、μ_{F_B}分别为在RGB三通道中所述背景的像素均值。

6.根据权利要求5所述的图像处理方法，其特征在于，采用第三公式增强所述前景的信息同时抑制所述背景的信息；所述第三公式为：

其中，B_p为抑制后的所述背景的信息；F_p为增强后的所述前景的信息；M为所述二值掩膜图；I＝{I_R,I_G,I_B}为所述原始图像的RGB三通道信息；δ为所述可调固定参数。

7.一种图像处理装置，其特征在于，包括：

显著性检测模块，用于通过显著性检测方法生成与原始图像对应的显著性响应图；

掩膜图转化模块，用于将生成的所述显著性响应图转化为二值掩膜图；

前景提取模块，用于通过转化得到的所述二值掩膜图，分割出前景和背景；

能量分布判断模块，用于判断所述前景和所述背景之间的能量分布是否不平衡；所述能量分布判断模块，具体用于分别计算在每个特征通道中所述前景和所述背景的像素均值；判断所述前景的像素均值在任一特征通道中是否均小于所述背景的像素均值；若是，则判定所述前景和所述背景之间的能量分布不平衡；

能量分布调节模块，用于若所述前景和所述背景之间的能量分布不平衡，则调节所述前景和所述背景的能量分布，得到能量平衡图像。

8.一种图像处理设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至6任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像处理方法。

Images