CN108460390A - 一种基于特征学习的敏感图像识别方法 - Google Patents

Abstract

一种基于特征学习的敏感图像识别方法。首先，提取四种颜色SIFT特征，并采用密集采样和点采样方式将四种颜色SIFT描述子融合在一起。接着，采用高斯混合模型对图像数据建模，并基于该概率产生式模型的对数似然函数的下界导出特征映射，这是特征学习的过程。该特征映射编码了数据的中高层语义特征，是观测变量、高斯混合模型的模型参数和隐变量的函数。最后，将数据集分割成训练集和测试集，利用训练集训练分类器的参数。对于输入的测试图像，送入分类器，输出其标签，完成敏感图像识别。本发明采用融合的颜色SIFT描述子描述图像，基于高斯混合模型学习出编码数据分布信息的特征映射,对于识别敏感图像中所包含的高层语义内容非常有效。

Description

一种基于特征学习的敏感图像识别方法

技术领域

本发明涉及一种基于特征学习的敏感图像识别方法，可广泛应用于网络图像鉴别、色情信息过滤和网络信息安全等领域。属于机器学习,计算机视觉和图像处理领域。

背景技术

随着近些年来互联网技术的飞速发展，网络图像以指数增长的方式出现在公众视野。由于互联网的可隐匿性和开放性，使得这些图像鱼龙混杂，其中以色情图像为代表的包含不良信息的敏感图像泛滥。如何识别网络敏感图像并进行有效监管，成为近些年来国内外研究者十分关注的研究领域。

目前有很多用于敏感图像识别的方法，经过对现有文献检索归纳，共分为三类：一类是基于关键文字的识别方法，该类方法基于文字系统对敏感图像进行过滤，具体来说，事先建立好敏感词库，将读入的待检测图像的环绕文字与敏感词库比对，具有较高匹配度的图像视为敏感图像。该类方法的局限性在于过度依赖词库，词库中未包含的语种的敏感信息会导致匹配失效。此外，仅依据关键字检测，会导致漏检或错检部分有效信息；一类是基于网址黑名单的识别方法，该类方法将不良网站的网址加入到敏感地址库中，当接收到访问需求时，将访问地址和敏感地址库进行比对，如果匹配成功，则认为该访问网站包含敏感图像。该类方法的缺陷在于敏感地址库的更新速度有限，会导致大量信息的漏检；一类是基于图像内容的识别方法，该类方法以机器学习、计算机视觉技术为依托，试图通过匹配图像特征和高层语义之间的关系让计算机去理解图像包含的语义内容，完成敏感图像的检测和筛选，成为目前研究者最青睐的研究方向。

传统的基于图像内容的敏感图像识别方法，常常选用颜色、纹理和形状等底层特征作为图像的特征表示，如Fleck M.M.和Forsyth D.A于1996年发表在《Proceedings ofEuropean Conference of Computer Vision(欧洲计算机视觉和模式识别会议论文集)》中的论文“Finding Naked People”，该方法结合了颜色和纹理特性来获取皮肤区域的掩模，该掩模对很多皮肤色调和颜色都非常有效。接着检测出柱形的皮肤区域，如果可以组成人体的形状，则认定该副图像是敏感图像。此外，Wang J.和Wiederhold W.于1998年发表在《Computer Communications(计算机通信)》中的论文“System for ScreeningObjectionable Images”，开发出敏感图像识别系统“WIPE64”。该系统采用图标滤波器、图形检测器、颜色直方图滤波器、纹理滤波器和基于小波的形状匹配算法的组合来提供在线敏感图像的鲁棒筛选。尽管基于内容的敏感图像识别方法已经取得了较大成果，但是这些方法在对图像建模时都没有考虑数据分布信息，而这些信息对于识别敏感图像中所包含的高层语义内容非常有效。

发明内容

本发明的目的在于针对现有方法的不足，提出一种基于特征学习的敏感图像识别方法。该方法从网络数据库中学习出图像的特征表示。

本发明通过下述技术方案来实现。首先，从每一幅图像中提取四种颜色特征和尺度不变特征变换SIFT(Scale-invariant feature transform)相融合的特征；

一种是在HSV(Hue色相，Saturation饱和度，intensity亮度)颜色模型的三个通道上计算SIFT描述子，即每个描述子3×128维，为了叙述方便，将该特征简记为HSV-SIFT特征；

一种是将色相直方图(Hue historgram)和SIFT描述子结合的特征，简记为HueSIFT特征；

一种是用SIFT描述子描述了对立色彩空间(Opponent color space)的所有通道信息的特征，简记为OpponentSIFT特征；

一种是正则化的RGB(Red红色,green绿色,bule蓝色)颜色模型的色度分量添加描述子,简记为RGB-SIFT特征。

上述四种融合特征通过密集采样结合起来成为固定长度的特征向量。紧接着，选择概率产生式模型对数据特征分布建模，并基于该模型学习出表征数据中高层语义内容的特征。最后，将学习出的特征送出分类器，完成敏感图像识别。

本发明一种基于特征学习的敏感图像识别方法，包括以下几个步骤：

步骤一、底层特征提取：

1、颜色描述子：RGB直方图是基于RGB颜色空间的通道的三个一维直方图的结合，这种直方图没有不变特性。对立直方图基于下述的对立颜色空间的通道建立：

其中，O1,O2,O3是对立颜色空间的三个通道。将上述颜色空间通道的三个一维直方图连接起来组成了对立直方图。通道O3表征了强度信息，其余两个通道表征了颜色信息。在HSV颜色空间中，灰色轴附近的色调不稳定。为了解决这个问题，对该色调加入了误差分析，并且H和S颜色模型关于光的强度尺度不变和移位不变。在正则化的RGB颜色模型中，r和g描述了图像中的颜色信息：

其中，r,g,b是正则化后的RGB颜色空间的三个通道。

2、颜色和SIFT的融合特征：HSV颜色模型和尺度不变特征变换SIFT的融合特征产生3×128维特征描述子，每个通道128维。该特征对轻微的颜色变化鲁棒性较强，其缺陷是忽略了低饱和度色度的不稳定性。色度直方图和SIFT的融合特征中，对色度直方图的加权解决了灰色轴附近色度的不稳定性问题，该特征具有尺度不变和移位不变性。对立颜色空间和SIFT的融合特征使用SIFT特征描述子表征颜色空间的所有通道信息。O₃通道的信息等同于强度信息，O₁和O₂通道描述了图像中的颜色信息，由于O₁和O₂通道含有一定的强度信息，因此O₁和O₂通道对光强度的变化不鲁棒。RGB颜色空间和SIFT描述子的融合特征，由于SIFT描述子使用了输入通道的导数，因此也具有移位不变性，但是对颜色光照的变化不具有不变性。

3、颜色SIFT特征的融合实施方案：首先，尺度不变的点通过一个检测子获取，该检测子分两个步骤进行：先使用角点检测子(此处使用Harris角点检测子，该检测子为行业内角点检测通用算法)寻找潜在的尺度不变点。接着，采用拉普拉斯-高斯算子(Laplacian-of-Gaussians)对这些点进行筛选，选择在尺度上达到最大值的点组成子集。紧接着，在这些点周围的区域提取颜色描述子。为了在不同尺度上提取可比较的特征描述子，所有的区域成比例地降采样为60×60的统一的图像块。为了从区域描述子学习出物体外观模型，采用K均值算法将每副图像的描述子降为40个聚类，最后，将不同图像的聚类集合之间的地动距离(Earth Mover’s Distance)距离作为支持向量机的核函数。

步骤二、使用高斯混合模型对数据分布建模。

设x∈R是步骤一提取好的颜色SIFT特征，为观测变量，维度为D。下面采用高斯混合模型GMMs(Gaussian Mixture Models)对数据分布建模，该模型是观测变量、模型参数和隐变量的函数。高斯混合模型采样过程如下：首先选择一个混合中心，该选择过程是随机的。紧接着从该混合中心的高斯分布中采样。该过程由m＝(m₁,…,m_L)^T指示，即：如果选择了第l个混合中心，则m_l＝1，否则，m_l＝0。m服从以下有L个事件的多项式分布：

其中，m是高斯混合分布的指示子；x是观测变量；m代表了哪个混合中心被用来产生观测变量x，例如：如果选择第l个混合中心产生观测变量，则m的第l个分量m_l＝1,l＝1,…,L；P(m)是指示子m所服从的概率分布函数，L为高斯混合模型混合中心的个数，β_l为指示子m的每个分量出现的概率，且P(m_l)＝β_l。

高斯混合模型的联合概率密度分布可以写为：

其中，x∈R是步骤一提取好的颜色SIFT特征，为观测变量，D是它的维度；P(x,m|θ)是对观测变量x建立好的高斯混合模型；为给定指示子m的前提下，观测变量x所服从的概率分布；是整个模型的参数，具体来说，是混合中心对应的高斯分布的均值和方差，表示了混合中心出现的概率；L是高斯混合模型混合中心的个数。

步骤三、基于高斯混合模型导出编码数据分布的特征映射。

该操作基于似然函数P(x|θ)＝Σ_mP(x,m|θ)的变分下界进行。算法分为E步和M步，其中，E步最大化后验分布，M步最大化模型参数，两个步骤在训练集上交替进行。假设P(m|x^c)是以图像样本x^c为条件的指示子m的后验分布，Q^c(m)是该后验分布的近似，可得：

其中，logP(x|θ)是高斯混合模型的联合概率密度函数的似然函数；KL是相对熵；Q(m)是后验分布P(m|x)的近似；F(θ)是似然函数logP(x|θ)的变分下界；E为数学期望；(E步)是指示子m＝(m₁,…,m_L)^T每个分量m_l的后验分布，l是混合成分的索引，N(x；u_l,Σ_l)表示观测变量(即输入图片)服从的单个高斯分布；(M步)是指示子的每个分量出现的概率，i是样本个数的索引，P为图片样本的个数；(M步)是第l个高斯分布的均值，Σ_l是第l个高斯分布的方差。有了P(x|θ)的下界F(θ)，可得到分数函数的组成成分，具体如下：

其中，L为高斯混合模型混合中心的个数；N(x；u_l,Σ_l),l＝1,…,L表示观测变量(即输入图片)服从的单个高斯分布，g_l是指示向量m＝(m₁,…,m_L)^T每个分量m_l的后验分布；和衡量了图像样本对模型的拟合程度；衡量了上述拟合的不确定性。

完整的特征映射形式如下：

步骤四、将上述特征映射送入分类器完成敏感图像识别。

本发明的优点和功效在于：在采用融合后的颜色特征和SIFT特征对敏感图像进行初级描述的基础上，进一步使用概率产生式模型GMMs对数据分布建模，并基于该模型学习出了编码了图像数据语义内容的高层特征。该特征区别于传统方法中基于肤色信息描述的底层特征之处在于，是观测变量、模型隐变量和模型参数的函数，是适应数据分布高层语义特征。

附图说明

图1为基于特征学习的敏感图像识别方法流程图。

图2为实施例图像库的正常图像和敏感图像识别准确率。

具体实施方式

以下结合具体实施例和附图对本发明的技术方案做更详细的阐述，操作的流程图如图1所示。以下实施例以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明的具体实施例：10000幅图像，包括5000幅从网络上随机下载的正常图像和5000幅敏感图像。从10000幅图像中随机选取6000幅图像组成训练集，剩余的4000幅图像组成测试集合。

下面结合附图对本发明的实施方式做更具体的说明，详述如下(使用Visual C++编程实现)：

1、图像底层特征提取。

HSV和SIFT融合特征提取：首先提取图像的HSV颜色信息，并为HSV的每个成分计算SIFT特征描述子，共得到384维特征描述子，每个通道128维。Hue和SIFT融合特征提取：首先提取图像的Hue颜色信息，并为Hue的每个通道计算SIFT特征描述子，共得到384维特征描述子。对立颜色空间Oppnent和SIFT的融合特征提取：提取对立颜色空间的三个通道信息O₁、O₂和O₃，并在三个通道上分别计算SIFT特征。rgSIFT融合特征提取：首先按照下式将图像的RGB信息的三个通道正则化：

正则化后的r和g都是尺度不变的，因此对光照强度的变化和阴影等具有不变性。接着为r和g通道提取SIFT特征。

具体来说，特征提取实施方式如下。首先采用Harris-Laplace点检测子获取尺度不变的点，该检测子使用Harris角点检测法寻找潜在的尺度不变的点。接着，选择这些点中在尺度上的LoG(Laplacian-of-Gaussians)值达到最大值的点组成子集。HSV颜色特征、Hue颜色特征、Oppent颜色特征和RGB颜色特征均在该子集中点的周围区域计算得到。为了在不同的尺度上获取到可对比的描述子，所有的区域被成比例地降采样到60×60统一尺寸的块。

2、使用高斯混合模型对图像数据建模，并基于该模型导出编码数据分布的特征映射。

将上述方法获取的颜色SIFT描述子作为输入送入高斯混合模型，对图像数据进行建模：

其中x是融合的颜色SIFT描述子。混合中心数目为60。并基于该模型导出编码语义内容的特征映射，该特征映射基于似然函数P(x|θ)＝Σ_mP(x,m|θ)的变分下界进行。算法分为E步和M步，其中E步最大化后验分布，M步最大化模型参数，两个步骤在训练集上交替进行：

其中，(E步)，(M步)，(M步)。完整的特征映射形式如下：

其中，

3、选用分类器完成敏感图像识别。

在构建的数据库上，为所有的训练集和测试集中的图片分别实施上述颜色SIFT特征提取和特征学习的过程，最终学习出所有图像的中高层语义特征向量。将该中高层语义特征向量送入分类器完成敏感图像识别。敏感图像识别的目标是，基于训练集训练模型，并借助于该模型判定输入的测试样本是否为敏感图像。具体来说，输入一副测试图片，提取其颜色SIFT特征描述子，基于高斯混合模型学习出中高层语义特征，送入分类器，输出其标签，完成敏感图像识别。

为了验证本发明的有效性，在实施例上和图像识别领域的传统方法做了比较。这些方法包括(1)基准模型BoW，该模型采用最近邻分类方式，直接使用像素，没有利用图像的标签信息，也就是没有学习的过程；(2)传统方法1：该方法使用图像的肤色信息作为特征描述子，是没有考虑图像的高层语义信息的分类模型；(3)传统方法2：该方法是种通用的与主题无关的高斯混合模型，也成为基于背景高斯混合模型的方法，该模型可通过利用所有训练数据并适应每个主题来训练。实验重复测试了20轮，最后给出平均结果。根据离线交叉验证，在实施例上的参数设为K＝60。实施例上识别准确率对比结果如下：基准方法识别率为75％，传统方法1识别准确率为80％，传统方法2识别准确率为83％，本发明方法识别准确率为89％，本发明方法在识别准确率上一致地优于所对比的方法。此外，在实施例上，改变测试集中的正常图像和敏感图像的比例，并选出其中一组，给出实验结果：4000幅测试集中，有1500幅正常图像和2500幅敏感图像组成，当使用本发明方法对其识别时，识别准确率分别是93％和94％。图2给出了改变训练样本集的比例时，三种对比方法的识别准确率。从该图看出，本发明方法一致地优于其他两种对比方法。

Claims (1)

1.一种基于特征学习的敏感图像识别方法，首先，从每一幅图像中提取四种颜色特征和尺度不变特征变换SIFT相融合的特征；

一种是在HSV颜色模型的三个通道上计算SIFT描述子，即每个描述子3×128维，为了叙述方便，将该特征记为HSV-SIFT特征；Hue为色相，Saturation为饱和度，intensity为亮度；

一种是将色相直方图和SIFT描述子结合的特征，记为HueSIFT特征；

一种是用SIFT描述子描述了对立色彩空间的所有通道信息的特征，记为OpponentSIFT特征；

一种是正则化的RGB颜色模型的色度分量添加描述子,记为RGB-SIFT特征；Red红色,green绿色,bule蓝色；

其特征在于：包括以下几个步骤：

步骤一、底层特征提取：

1.1、颜色描述子：RGB直方图是基于RGB颜色空间的通道的三个一维直方图的结合，这种直方图没有不变特性；对立直方图基于下述的对立颜色空间的通道建立：

其中，O1,O2,O3是对立颜色空间的三个通道；将上述颜色空间通道的三个一维直方图连接起来组成了对立直方图；通道O3表征了强度信息，其余两个通道表征了颜色信息；在HSV颜色空间中，灰色轴附近的色调不稳定；为了解决这个问题，对该色调加入了误差分析，并且H和S颜色模型关于光的强度尺度不变和移位不变；在正则化的RGB颜色模型中，r和g描述了图像中的颜色信息：

其中，r,g,b是正则化后的RGB颜色空间的三个通道；

1.2、颜色和SIFT的融合特征：HSV颜色模型和尺度不变特征变换SIFT的融合特征产生3×128维特征描述子，每个通道128维；该特征对轻微的颜色变化鲁棒性较强，其缺陷是忽略了低饱和度色度的不稳定性；色度直方图和SIFT的融合特征中，对色度直方图的加权解决了灰色轴附近色度的不稳定性问题，该特征具有尺度不变和移位不变性；对立颜色空间和SIFT的融合特征使用SIFT特征描述子表征颜色空间的所有通道信息；O₃通道的信息等同于强度信息，O₁和O₂通道描述了图像中的颜色信息，由于O₁和O₂通道含有一定的强度信息，因此O₁和O₂通道对光强度的变化不鲁棒；RGB颜色空间和SIFT描述子的融合特征，由于SIFT描述子使用了输入通道的导数，因此也具有移位不变性，但是对颜色光照的变化不具有不变性；

1.3、颜色SIFT特征的融合方案：首先，尺度不变的点通过一个检测子获取，该检测子分两个步骤进行：先使用Harris角点检测子寻找潜在的尺度不变点；接着，采用拉普拉斯-高斯算子对这些点进行筛选，选择在尺度上达到最大值的点组成子集；紧接着，在这些点周围的区域提取颜色描述子；为了在不同尺度上提取可比较的特征描述子，所有的区域成比例地降采样为60×60的统一的图像块；为了从区域描述子学习出物体外观模型，采用K均值算法将每副图像的描述子降为40个聚类，最后，将不同图像的聚类集合之间的地动距离距离作为支持向量机的核函数；

步骤二、使用高斯混合模型对数据分布建模；

设x∈R是步骤一提取好的颜色SIFT特征，为观测变量，维度为D；下面采用高斯混合模型GMMs对数据分布建模，该模型是观测变量、模型参数和隐变量的函数；高斯混合模型采样过程如下：首先选择一个混合中心，该选择过程是随机的；紧接着从该混合中心的高斯分布中采样；该过程由m＝(m₁,…,m_L)^T指示，即：如果选择了第l个混合中心，则m_l＝1，否则，m_l＝0；m服从以下有L个事件的多项式分布：

其中，m是高斯混合分布的指示子；x是观测变量；m代表了哪个混合中心被用来产生观测变量x，例如：如果选择第l个混合中心产生观测变量，则m的第l个分量m_l＝1,l＝1,…,L；P(m)是指示子m所服从的概率分布函数，L为高斯混合模型混合中心的个数，β_l为指示子m的每个分量出现的概率，且P(m_l)＝β_l；

高斯混合模型的联合概率密度分布写为：

其中，x∈R是步骤一提取好的颜色SIFT特征，为观测变量，D是它的维度；P(x,m|θ)是对观测变量x建立好的高斯混合模型；为给定指示子m的前提下，观测变量x所服从的概率分布；是整个模型的参数，具体来说，是混合中心对应的高斯分布的均值和方差，表示了混合中心出现的概率；L是高斯混合模型混合中心的个数；

步骤三、基于高斯混合模型导出编码数据分布的特征映射；

基于似然函数P(x|θ)＝Σ_mP(x,m|θ)的变分下界进行；算法分为E步和M步，其中，E步最大化后验分布，M步最大化模型参数，两个步骤在训练集上交替进行；假设P(m|x^c)是以图像样本x^c为条件的指示子m的后验分布，Q^c(m)是该后验分布的近似，可得：

其中，logP(x|θ)是高斯混合模型的联合概率密度函数的似然函数；KL是相对熵；Q(m)是后验分布P(m|x)的近似；F(θ)是似然函数logP(x|θ)的变分下界；E为数学期望；是指示子m＝(m₁,…,m_L)^T每个分量m_l的后验分布，l是混合成分的索引，N(x；u_l,Σ_l)表示观测变量服从的单个高斯分布；是指示子的每个分量出现的概率，i是样本个数的索引，P为图片样本的个数；是第l个高斯分布的均值，Σ_l是第l个高斯分布的方差；有了P(x|θ)的下界F(θ)，得到分数函数的组成成分，具体如下：

其中，L为高斯混合模型混合中心的个数；N(x；u_l,Σ_l),l＝1,…,L表示观测变量服从的单个高斯分布，g_l是指示向量m＝(m₁,…,m_L)^T每个分量m_l的后验分布；和衡量了图像样本对模型的拟合程度；衡量了上述拟合的不确定性；

完整的特征映射形式如下：

步骤四、将上述特征映射送入分类器完成敏感图像识别。