CN110276753A - 基于特征空间统计信息映射的目标自适应隐藏方法 - Google Patents

Abstract

本发明提出了基于特征空间统计信息映射的目标自适应隐藏方法，使用深度卷积的学习方式，在使用显著性目标检测进行目标与背景区域划分的基础上，分别获取目标特征空间与表征背景风格特征的特征空间统计信息，建立目标图像与背景区域图像间关于特征空间统计信息的映射网络，使得目标图像具有背景区域图像的特征空间统计信息，并通过边界融合获得目标自适应隐藏的图像。本发明提出了建立目标图像与背景区域图像间关于特征空间统计信息的映射网络，进行目标自适应隐藏的任务目标，并针对任务目标提出了相应的解决方案，获得了良好的结果，具有重要的理论意义和实践价值。

Description

基于特征空间统计信息映射的目标自适应隐藏方法

技术领域

本发明涉及图像处理和深度学习技术、计算机视觉与人工智能领域，具体涉及一种基于特征空间统计信息映射的目标自适应隐藏方法。

背景技术

随着计算机技术的不断发展，基于特征的映射变化方法已成为了热门的研究方向，其主要通过映射的方式将某些特征变换到其他的特征空间中去，但其中关于将同一图像中的背景区域的部分特征映射到目标中，进而完成目标依据背景的自适应隐藏的研究较少。

申请号201510430539.5，发明名称为“基于纹理合成的影像敏感目标隐藏方法”公开了一种基于纹理合成的影像敏感目标隐藏方法，该方法包括：(1)在影像中标注敏感目标；(2)利用动态规划隐藏顺序确定需要优先处理的样本纹理块；(3)通过八邻域快速搜索和模板块自适应策略在影像中快速查找相似样本纹理块；(4)基于颜色纹理特征匹配准则确定最佳匹配样本纹理块，并替换原样本纹理块；(5)重复以上隐藏过程，直到敏感目标隐藏完成等步骤。该方法虽然法具有隐藏效果好、隐藏效率高等特点，但该方法无法建立目标图像与背景区域图像间关于特征空间统计信息的映射网络，未考虑背景风格特征空间与目标特征空间的融合。申请号201811198144.7，发明名称为“一种基于分解因子的图像局部风格迁移方法”公开了一种基于分解因子的图像局部风格迁移方法，该方法包括：(1)获取迁移任务；(2)初始化风格迁移网络并利用带标签的数据样本进行训练；(3)基于训练后的所述风格迁移网络对所述迁移任务进行处理，获得合成图像。该方法能够较好地解耦因子，具有重构效果显著等优点，但是该方案无法完成基于背景的自适应隐藏。因此，亟需提出一种将同一图像中的背景区域的部分特征映射到目标中，进而完成目标依据背景的自适应隐藏的方法。

发明内容

本发明提出了基于特征空间统计信息映射的目标自适应隐藏方法，使用深度卷积的学习方式，在使用显著性目标检测进行目标与背景区域划分的基础上，分别获取目标特征空间与表征背景风格特征的特征空间统计信息，建立目标图像与背景区域图像间关于特征空间统计信息的映射网络，使得目标图像具有背景区域图像的特征空间统计信息，获得目标自适应隐藏的图像。

本发明提供了一种基于特征空间统计信息映射的目标自适应隐藏方法，主要包括以下步骤：

步骤1、数据样本集的建立：采集具有不同目标与背景的图像，建立数据样本集，划分为训练集与测试集；

步骤2、划分目标与背景区域：对原始图像进行显著性目标检测，划分目标与背景，获取目标图像与背景区域；

步骤3、建立关于特征空间统计信息的映射网络：利用深度多层卷积的方式分别获取目标特征空间与表征背景风格特征的特征空间统计信息，将背景风格特征映射到目标特征上，完成背景风格特征空间与目标特征空间的融合，得到特征映射后的目标特征空间，进而生成新的目标图像，使其具备一定的背景风格特征，建立目标图像与背景区域间关于特征空间统计信息的映射网络；

步骤4、边界信息融合：对特征映射后的目标与原始背景进行边界信息的融合，平滑边界信息，获得颜色变化更加平滑的图像，使得目标隐藏效果更加趋近于自然图像；

步骤5、采用上述特征空间统计信息的映射网络及边界处理方式对原始图像中的目标进行自适应隐藏处理。

进一步地，步骤2还包括：

步骤2.1、采用显著性目标检测方法，对原始图像进行显著性目标检测，得到有效划分目标与背景区域的掩膜；

步骤2.2、使用上述步骤中获取的掩膜，对原始图像进行有效划分，分别获取目标图像与背景区域，分别送入深度学习网络中，通过深度多层卷积的方式进行特征空间的提取。

进一步地，步骤3还包括：

步骤3.1、获取背景区域特征空间统计信息：利用深度卷积的方式获取背景区域的特征空间，通过计算其Gram矩阵得到背景图像的特征空间统计信息。图像经过卷积处理，在第i层的特征空间表示为其中x表示输入图像，C_i,H_i和W_i则分别表示特征空间的通道数、高度以及宽度：

步骤3.2、融合目标特征空间与背景特征空间统计信息：给定一幅输入图像x，经过显著性目标检测后，将其分割为目标图像x_c和背景图像x_s。经过卷积计算，分别获取目标图像的特征空间Fⁱ(x_c)和背景图像的风格特征空间G(Fⁱ(x_s))。卷积神经网络通过如下函数，在弱化目标图像特征、保留目标图像特征的内容信息并匹配代表背景图像风格特征的特征空间统计信息的同时，融合进背景图像特征，完成特征的自适应感知：

采用求近似解的方式，将计算量放入训练阶段，引入近似值，并根据目标的特征空间进行调整：

式中，表示一个可以通过学习得到的权重矩阵，Φ则用来进行维数的匹配；

步骤3.3、为指导网络进行学习，训练并优化相应参数，综合考虑网络的结构，最小化背景区域图像与目标图像间的风格特征，网络的损失函数设计如下，以此来指导网络进行特征的自适应感知：

式中，Gen(x_c,x_s)表示本发明所提网络结构，为对网络优化而得到的网络参数，i∈{1,..K}为背景区域图像特征层数，目标图像特征层数为c，l_TV(·)为全变差正则化项，用来增加生成目标图像的平滑性，λ_TV为其权重项；λ_c和是λ_s用来平衡目标图像和背景图像风格特征相似性的权重比值，即通过对两者的加权系数进行增减，能够控制目标的隐藏程度。

进一步地，步骤4还包括：将生成的目标图像与原始图像的背景区域图像进行边缘优化，以获得颜色变化更加平滑的图像，使最终结果更加接近真实的自然场景图像。将原始图像中的背景区域作为背景，生成的目标图像作为前景进行融合：

X_final＝αX′_object+(1-α)X_background (5)

式中，X_final表示最终结果图，X′_object表示生成的目标图像，X_background表示原始图像背景区域，通过求解泊松方程能够计算得到α值。

本发明的有益效果在于：

(1)本发明提出了基于特征空间统计信息映射的目标自适应隐藏方法，在使用显著性目标检测进行目标与背景区域划分的基础上，使用深度卷积的学习方式，在使用显著性目标检测进行目标与背景区域划分的基础上，分别获取目标特征空间与表征背景风格特征的特征空间统计信息，建立目标图像与背景区域图像间关于特征空间统计信息的映射网络，使得目标图像具有背景区域图像的特征空间统计信息，获得目标自适应隐藏的图像。本发明方法在军事目标伪装、虚拟现实等领域中拥有广泛的应用前景；

(2)本发明提出了目标特征空间与背景特征空间统计信息融合的技术手段，该技术手段能够将背景的风格特征映射到目标上，目标与背景来自于同一幅图像，来完成背景风格特征空间与目标特征空间的融合，得到特征映射后的目标特征空间，生成新的目标；

(3)本发明提出了一种边界信息融合具体的手段，即通过对特征映射后的目标与原始背景进行边界信息的融合，平滑边界信息，有效减少边界效应的影响，获得颜色变化更加平滑的图像，使得目标隐藏效果更加趋近于自然图像；

(4)本发明真正实现了目标的隐藏，与现有技术的风格迁移问题完全不同，本发明是在目标与背景划分的基础上，将同一幅图像中的背景特征映射到目标上，目标隐藏过程中，是将特征映射后的目标与原始背景进行融合，得到特征映射后的目标图像，并将其与原始的背景图像进行边界融合，得到最终的图像。

附图说明

图1为本发明的整体框架；

图2为本发明目标与背景区域划分过程；

图3为本发明特征空间统计信息映射网络结构图；

图4为本发明目标自适应隐藏效果图；

图5为本发明不同程度下的目标隐藏效果图；

图6为本发明目标的自适应隐藏与还原效果；

图7为本发明相同目标不同场景下自适应隐藏效果图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明，但此种通过附图描述的实施例是示例性的，仅用于解释本发明，不能限制本发明权力范围。

如图1所示，该实施例提供了一种基于特征空间统计信息映射的目标自适应隐藏方法

其主要步骤介绍如下：

步骤1、数据样本集的建立

从网络中采集自然场景中，具有不同目标的图像，建立数据样本集，划分为训练集与测试集。

如图1所示为本发明整体框架，使用特征空间统计信息来表征图像中目标的风格特征信息。通过目标特征空间综合计算出来的Gram矩阵，能够有效地将图像特征间隐藏的联系提取出来，得到关于图像的特征空间统计信息，表现出的形式就是图像的风格特征，代表了其颜色、纹理等特征的集合。

步骤2、对原始图像进行显著性目标检测，划分目标与背景，获取目标图像与背景区域。

具体包括下述步骤：

步骤2.1、如图2中②所示，采用显著性目标检测方法，对原始图像进行显著性目标检测，得到有效划分目标与背景区域的掩膜；

步骤2.2、如图2中③所示，使用上述步骤中获取的掩膜，对原始图像进行有效划分，分别获取目标图像与背景区域，分别送入深度学习网络中，通过深度多层卷积的方式进行特征空间的提取。

步骤3、建立关于特征空间统计信息的映射网络

如图3所示，利用深度多层卷积的方式分别获取目标特征空间与表征背景风格特征的特征空间统计信息，将背景风格特征映射到目标特征上，完成背景风格特征空间与目标特征空间的融合，得到特征映射后的目标特征空间，进而生成新的目标图像，使其具备一定的背景风格特征，建立目标图像与背景区域间关于特征空间统计信息的映射网络。

具体包括下述步骤：

步骤3.1、获取背景区域特征空间统计信息：利用深度卷积的方式获取背景区域的特征空间，通过计算其Gram矩阵得到背景图像的特征空间统计信息。图像经过卷积处理，在第i层的特征空间表示为其中x表示输入图像，C_i,H_i和W_i则分别表示特征空间的通道数、高度以及宽度：

步骤3.2、融合目标特征空间与背景特征空间统计信息：给定一幅输入图像x，经过显著性目标检测后，将其分割为目标图像x_c和背景图像x_s。经过卷积计算，分别获取目标图像的特征空间Fⁱ(x_c)和背景图像的风格特征空间G(Fⁱ(x_s))。卷积神经网络通过如下函数，在弱化目标图像特征、保留目标图像特征的内容信息并匹配代表背景图像风格特征的特征空间统计信息的同时，融合进背景图像特征，完成特征的自适应感知：

为使上式可微，从而在深度学习网络中能够进行训练，使用特征匹配层(CoMatchLayer)，采用求近似解的方式，将计算量放入训练阶段，引入近似值，并根据目标的特征空间进行调整：

式中，表示一个可以通过学习得到的权重矩阵，Φ则用来进行维数的匹配；

步骤3.3、为指导网络进行学习，训练并优化相应参数，综合考虑网络的结构，最小化背景区域图像与目标图像间的风格特征，网络的损失函数设计如下，以此来指导网络进行特征的自适应感知：

式中，Gen(x_c,x_s)表示本发明所提网络结构，为对网络优化而得到的网络参数，i∈{1,..K}为背景区域图像特征层数，目标图像特征层数为c，l_TV(·)为全变差正则化项，用来增加生成目标图像的平滑性，λ_TV为其权重项；λ_c和是λ_s用来平衡目标图像和背景图像风格特征相似性的权重比值，即通过对两者的加权系数进行增减，能够控制目标的隐藏程度。

步骤4、边界信息融合：对特征映射后的目标与原始背景进行边界信息的融合，平滑边界信息，获得颜色变化更加平滑的图像，使得目标隐藏效果更加趋近于自然图像。

如图1中③所示，将生成的目标图像与原始图像的背景区域图像进行边缘优化，以获得颜色变化更加平滑的图像，使最终结果更加接近真实的自然场景图像。将原始图像中的背景区域作为背景，生成的目标图像作为前景进行融合：

X_final＝αX′_object+(1-α)X_background (5)

式中，X_final表示最终结果图，X′_object表示生成的目标图像，X_background表示原始图像背景区域，通过求解泊松方程能够计算得到α值。

步骤5、采用特征空间统计信息的映射网络及边界处理方式对原始图像中的目标进行自适应隐藏处理。

图4中给出了本发明中一些图像目标自适应隐藏效果。其中，第一列、第三列为原始图像，第二列、第四列为目标自适应隐藏后的图像。可以直观地看出本发明能够有效完成图像中目标的自适应隐藏，具有良好的效果。

图5中给出了本发明中不同程度下的目标隐藏效果。通过对式(4)中目标项和背景项损失，分别赋予不同的权重系数，以实现对目标隐藏程度的设定。背景项的损失系数所占权重越大，代表目标与背景更具相似性，目标的隐藏程度越深。

图6中给出了本发明中目标的自适应隐藏与还原效果。通过对特征空间统计信息网络的输入数据进行替换，将特征映射后，具有一定背景特征的目标图像与原始目标图像作为输入数据，能够在不改变网络原始结构的基础上，完成对隐藏目标的逆向还原，实现目标与背景特征空间的自适应映射过程。

图7中给出了本发明中一些相同目标不同场景下自适应隐藏效果。其中，第一列为原始图像、第二列为不同场景图像，第三列、第四列、第五列以及第六列为相同目标在不同场景下的自适应隐藏效果。可以直观地看出本发明能够有效完成不同目标依据不同场景的自适应隐藏，具有良好的效果。

上述实施例为本发明的具体实施例，所要明确的是，本发明的实施方式并不仅限于上述实施例，后续在实施例上进行的任何修改、等同替换、改进等均应包含在本发明的保护范围。

Claims (4)

1.基于特征空间统计信息映射的目标自适应隐藏方法，其特征在于其特征在于其特征在于，包括下述步骤：

步骤1、数据样本集的建立：采集具有不同目标与背景的图像，建立数据样本集，划分为训练集与测试集；

步骤2、划分目标与背景区域：对原始图像进行显著性目标检测，划分目标与背景，获取目标图像与背景区域；

步骤3、建立关于特征空间统计信息的映射网络：利用深度多层卷积的方式分别获取目标特征空间与表征背景风格特征的特征空间统计信息，将背景风格特征映射到目标特征上，完成背景风格特征空间与目标特征空间的融合，得到特征映射后的目标特征空间，进而生成新的目标图像，使其具备背景风格特征；

步骤4、边界信息融合：对特征映射后的目标与原始背景进行边界信息的融合，平滑边界信息，获得颜色变化更加平滑的图像，使得目标隐藏效果更加趋近于自然图像；

步骤5、采用上述特征空间统计信息的映射网络及边界处理方式对原始图像中的目标进行自适应隐藏处理。

2.根据权利要求1所述的方法，其特征在于，所述步骤2，具体包括下述步骤：

步骤2.1、采用显著性目标检测方法，对原始图像进行显著性目标检测，得到有效划分目标与背景区域的掩膜；

步骤2.2、使用步骤2.1中获取的掩膜，对原始图像进行有效划分，分别获取目标图像与背景区域，分别送入深度学习网络中，通过深度多层卷积的方式进行特征空间的提取。

3.根据权利要求1所述的方法，其特征在于，所述步骤3，具体包括下述步骤：

步骤3.1、获取背景区域特征空间统计信息：利用深度卷积的方式获取背景区域的特征空间，通过计算其Gram矩阵得到背景图像的特征空间统计信息；

图像经过卷积处理，在第i层的特征空间表示为其中x表示输入图像，C_i,H_i和W_i则分别表示特征空间的通道数、高度以及宽度：

步骤3.2、融合目标特征空间与背景特征空间统计信息：给定一幅输入图像x，经过显著性目标检测后，将其分割为目标图像x_c和背景图像x_s；经过卷积计算，分别获取目标图像的特征空间Fⁱ(x_c)和背景图像的风格特征空间G(Fⁱ(x_s))；卷积神经网络通过如下函数，在弱化目标图像特征、保留目标图像特征的内容信息并匹配代表背景图像风格特征的特征空间统计信息的同时，融合进背景图像特征，完成特征的自适应感知：

采用求近似解的方式，将计算量放入训练阶段，引入近似值，并根据目标的特征空间进行调整：

式中，表示一个可以通过学习得到的权重矩阵，Φ则用来进行维数的匹配；

步骤3.3、为指导网络进行学习，训练并优化相应参数，综合考虑网络的结构，最小化背景区域图像与目标图像间的风格特征，网络的损失函数设计如下，以此来指导网络进行特征的自适应感知：

式中，Gen(x_c,x_s)表示本发明所提网络结构，为对网络优化而得到的网络参数，i∈{1,..K}为背景区域图像特征层数，目标图像特征层数为c，l_TV(·)为全变差正则化项，用来增加生成目标图像的平滑性，λ_TV为其权重项；λ_c和是λ_s用来平衡目标图像和背景图像风格特征相似性的权重比值，即通过对两者的加权系数进行增减，能够控制目标的隐藏程度。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中，将生成的目标图像与原始图像的背景区域图像进行边缘优化，以获得颜色变化平滑的图像，使最终结果接近真实的自然场景图像；

将原始图像中的背景区域作为背景，生成的目标图像作为前景进行融合：

X_final＝αX′_object+(1-α)X_background (5)

式中，X_final表示最终结果图，X′_object表示生成的目标图像，X_background表示原始图像背景区域，通过求解泊松方程能够计算得到α值。