CN104680189B

CN104680189B - 基于改进词袋模型的不良图像检测方法

Info

Publication number: CN104680189B
Application number: CN201510117478.7A
Authority: CN
Inventors: 田春娜; 张相南; 高新波; 王代富; 王秀美; 王颖; 邓成
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2015-03-15
Filing date: 2015-03-15
Publication date: 2018-04-10
Anticipated expiration: 2035-03-15
Also published as: CN104680189A

Abstract

本发明公开了一种基于改进词袋模型的不良图像检测方法，主要解决传统词袋模型在检测不良图像过程中颜色描述不准确、关键特征点提取不全面、特征描述复杂、局部区域描述不精确的问题。其实现步骤为：(1)提取关键特征点；(2)对关键特征点提取颜色特征和梯度特征；(3)根据颜色特征和梯度特征分别建立颜色词典和梯度词典；(4)根据先验知识计算每个特征点颜色单词的类条件概率；(5)根据类条件概率对相应的梯度单词加权，并统计加权后的梯度单词直方图，(6)利用直方图训练分类器；(7)用训练好的分类器检测不良图像。本发明提高了颜色描述信息的丰富性，避免了关键特征点的丢失，能更加精确描述图像局部区域，可用于过滤色情图像。

Description

基于改进词袋模型的不良图像检测方法

技术领域

本发明属于模式识别与计算机视觉的交叉领域，特别涉及结合颜色统计先验和词袋模型的不良图像检测方法，可用于过滤色情图像。

背景技术

随着互联网及无线通信技术的发展，人们更加易于从网上获取大量的有用信息，但是淫秽、色情等不良信息也得以迅速传播。色情图像的传播干扰用户体验正常的网络信息服务，引起严重的社会问题。因此，亟需鲁棒的不良图像信息过滤技术。

由于彩色不良图像中通常含有大量裸露的肤色区域或者人体敏感器官，常用的不良信息检测方法通过分析能反映这些特点的感兴趣区域来过滤不良图像，如在YCbCr空间采用高斯混合模型对肤色进行建模，通过肤色模型提取肤色区域，分析肤色区域中的低层特征来判定该区域是否包含不良信息。中科院自动化所的Hu等在文献“W.Hu,H.Zuo,O.Wu,Y.Chen,Z.Zhang and D.Suter.Recognition of adult images,videos,and web pagebags.ACM Transactions on Multimedia Computing,Communications andApplications,vol.7,no.28,pp.1-24,2011.”中采用基于AdaBoost的人体敏感器官检测器，并结合肤色区域的低层特征表示来判断图像的性质，此方法的不足在于传统颜色描述方法所描述的信息不丰富。

由于不良图像的定义有较强的语义特性，基于词袋模型方法因其在语义描述上的优势成为不良图像检测极具潜力的发展方向之一。常用的基于词袋模型的不良图像检测方法首先提取图像的肤色区域，然后在肤色区域提取关键特征点，对这些特征点的尺度不变变换特征SIFT类得到词典，将图像表示成词典中的视觉单词的直方图，从而基于图像的直方图训练不良图像检测器。鉴于不良图像中人体的敏感器官常包含非肤色区域，肤色检测方法往往漏检这部分信息，从而导致对不良信息判定起决定作用的一些特征点丢失。为避免这种情况的出现，可在用词袋模型表示图像的局部特征时考虑融合颜色和梯度信息。如德国人工智能研究中心Ulges等在文献“A.Ulges,A.Stahl.Automatic detection ofchild pornography using color visual words.In IEEE International Conferenceon Multimedia and Expo,pp.1-6,Barcelona,Jul.2011.”中在YUV颜色空间的亮度Y、红色差U、蓝色差V通道中分别使用DCT描述子作为图像的局部特征。用这种特征融合方式构建词典时，颜色或梯度任一种特征的变化均需要不同的单词来表示，因此在描述不良图像时需要较大的词典规模，从而使得不良图像的表示更复杂，且在分类过程易出现过拟合问题。中国科学院刘毅志等在文献“刘毅志,杨颖,唐胜,林守勋.基于视觉注意模型VAMAI的敏感图像检测方法.中国图象图形学报,vol.16,no.7,pp.1226-1233,2011.”中采用基于加速稳健特征的词袋模型结合全局颜色特征来表示不良图像。这种方法导致图像的局部区域描述不精确。

发明内容

本发明目的在于针对上述已有技术的不足，提出一种基于改进词袋模型的不良图像检测方法，以提高颜色描述信息的丰富性，减小词典的规模，避免关键特征点的丢失，更加精确描述图像局部区域，实现对不良图像的鲁棒检测。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)收集正常图像与不良图像作为训练集，并标记每幅图像的类别；用高斯差分算子对训练集中的所有图像进行关键特征点检测，将这些关键特征点组成特征点集合T；

(2)对集合T中的关键特征点分别利用尺度不变变换特征SIFT方法和颜色属性CA方法计算关键特征点的梯度特征向量f和颜色特征向量f'，对梯度特征向量和颜色特征向量分别进行欧式距离测度下的K-均值聚类；并用梯度特征向量的聚类中心组成图像的梯度词典，用颜色特征向量的聚类中心组成图像的颜色词典；

(3)将训练集中所有图像特征点的梯度特征向量量化为梯度词典中的单词，将训练集中所有图像特征点的颜色特征向量量化为颜色词典中的单词；

(4)通过贝叶斯模型计算每个特征点的颜色单词的类条件概率，并与所对应特征点的梯度单词相乘，统计得到颜色先验加权后的梯度单词直方图；

(5)将训练图像的加权直方图及其类别标记输入支持向量机SVM，训练不良图像分类器；

(6)对待测图像，根据步骤(1)-(3)得到其关键特征点的梯度特征向量和颜色特征向量，并将这些特征向量分别量化为梯度单词和颜色单词，将步骤(4)得到的颜色单词的类条件概率与梯度单词相乘，统计出待测图像的颜色先验加权后的梯度单词直方图；

(7)将待测图像的加权直方图输入到步骤(5)所训练出的分类器中，根据分类器的分类结果判断待测图像是否属于不良类。

本发明与已有的基于肤色检测和词袋模型的不良图像检测方法相比，具有以下优点：

1)对图像中不良区域的颜色描述更准确，

本发明用颜色属性方法来描述颜色信息，更符合人对颜色的语义定义，相对传统的肤色检测方法，本发明能描述更丰富的颜色信息，因而对图像中不良区域的颜色描述更准确；

2)对图像中关键特征点的提取更全面。

不良图像中人体的敏感器官常包含非肤色区域，肤色模型往往会漏检该部分区域，从而导致对不良信息判定起决定作用的一些关键特征点丢失，导致不良图像的漏检率增高，本发明采用颜色概率先验给出图像中各个关键特征点的颜色属于不良图像的概率，从而避免了传统方法中关键特征点丢失的问题；

3)特征描述更加灵活。

本发明构建词袋模型时对颜色信息和梯度信息分别建立单独的词典，可以任意地组合颜色单词和梯度单词以描述不良图像特征，从而使用较小规模的词典更灵活的表示不良图像；

4)局部区域描述的精确性更高。

本发明将颜色信息作为梯度特征的视觉先验，来决定不同局部区域梯度特征的重要性，提高梯度特征的鉴别性，从而提高了不良图像检测的局部区域描述的精确性。

以下结合附图对本发明做进一步详细描述。

附图说明

图1是本发明的实现流程图。

具体实施方式

本发明基于颜色统计先验的不良图像检测方法，包括训练不良图像分类器和检测不良图像两个阶段。其具体实现参照图1，描述如下。

一.分类器训练阶段：

步骤1,获取训练集。

1a)从互联网或现有图库里收集包含人体敏感器官的图像作为不良图像，同时收集含日常风景、人物画像等符合道德标准的图像作为正常图像，用这些不良图像和正常图像组成图像训练集；

1b)根据图像内容人工标记出每幅训练图像的类别，即将训练图像分为正常类和不良类，得到与每幅图相对应的类别标记信息。

步骤2,检测训练集中图像的关键特征点。

2a)利用高斯差分算子DoG检测图像中的极值点：

2a1)采用隔点采样的方法变换图像的分辨率，并且多次改变采样间隔得到图像在多个分辨率尺度下的采样结果，然后建立图像多分辨金字塔，其中每一层代表一个分辨率尺度下的图像，并且按照分辨率大小排序，最下面是清晰的原始训练图像；

2a2)用高斯滤波算子对金字塔中每层图像做滤波，得到原始训练图像在不同分辨率下滤波后的输出结果，并且对相邻两层的结果求差值；

2a3)对差值结果做像素遍历，并且定义与当前像素距离最近的26个像素为当前像素的邻接像素点，如果当前像素是所有邻接像素点中的最大值或最小值，则定义当前像素为DoG图像的极值点；

2b)去除图像边缘上的非鉴别性极值点：

由于步骤2a)中定义的DoG图像的极值点在水平边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率，且在边缘处的极值点不能描述图像信息，所以其不具有鉴别性，故需要将所有极值点对应的主曲率与设定的主曲率范围进行比较，找到并且去除主曲率在设定范围外的极值点，即去除图像边缘上的非鉴别性极值点得到关键特征点集合T。

步骤3，计算训练图像的梯度特征向量和颜色特征向量。

3a)用SIFT方法计算T中关键特征点的梯度特征向量f：

3a1)计算关键特征点周围8×8像素邻域内的每个像素与其周围8个像素之间的差值，作为这个像素的8方向梯度，分别计算关键特征点邻域内所有像素8个方向上梯度的累加值，并且建立梯度直方图，将直方图峰值处所对应的方向作为关键特征点的主方向；

3a2)旋转关键特征点的像素邻域，使主方向向上，同时对关键特征点的像素邻域高斯加权，使离关键特征点越近的像素的梯度值的权重越大，以减小远离关键特征点的像素所带来的影响；

3a3)在关键特征点的像素邻域内的每4×4像素小块上统计已经旋转并且加权后的8个方向的梯度大小，计算每个梯度方向上的梯度累加值，将各个小块每个方向上的累加值作为梯度特征向量f。

3b)用CA方法计算T中关键特征点的颜色特征向量f'：

3b1)定义关键特征点的周围8×8像素邻域为区域R，计算区域R属于某个颜色标签的概率p(cn_i|R)：

x表示在图像区域R内像素的空间坐标，P为区域内像素数目，f(x)表示坐标x处的像素值；

3b2)将区域R属于各个颜色标签的概率组成颜色特征向量f'：

f'＝{p(cn₁|R),p(cn₂|R),…,p(cn_i|R),…,p(cn₁₁|R)}，i＝1,2,…,11

步骤4，利用聚类方法分别生成梯度词典和颜色词典。

4a)对关键特征点集合T中关键特征点的梯度特征向量f进行欧式距离测度下的K-均值聚类，得到N^g个聚类中心，定义每个聚类中心为一个梯度单词w^g，得到图像的梯度词典集合

4b)对关键特征点集合T中关键特征点的颜色特征向量f'进行欧式距离测度下的K-均值聚类，得到N^c个聚类中心，定义每个聚类中心为一个颜色单词w^c，得到图像的颜色词典集合

步骤5，将训练图像用梯度单词和颜色单词表示。

利用向量量化的方法计算特征向量距词典中单词的距离大小，利用矢量量化编码的方式将特征向量用词典中相距最近的单词表示，从而将关键特征点集合T中所有关键特征点的梯度特征向量量化为梯度词典中的单词，将关键特征点的颜色特征向量量化为颜色词典中的单词。

步骤6，计算颜色单词的类条件概率。

6a)根据训练集类别标记将训练图像分为不良类和正常类，定义class为训练图像的类别：训练图像为不良图像时class＝1，训练图像为正常图像时class＝2；在训练集中统计每个颜色单词w^c在不良图像中出现的次数m₁和每个颜色单词在正常图像中出现的次数m₂，计算w^c在不良类和正常类出现的概率为：

6b)根据类别先验概率和相似度概率，通过贝叶斯准则计算颜色单词w^c的类条件概率p(class＝k|w^c)，贝叶斯公式如下：

其中，p(class＝k)表示类别先验概率，表示属于相应类的图像数目占总图像数目的比例。

步骤7，统计颜色加权后的梯度单词直方图。

7a)将图像中每个关键特征点的梯度单词w^g乘上该关键特征点所对应的颜色单词w^c的类条件概率p(class＝k|w^c)，得到颜色先验加权后的梯度单词；

7b)将上述加权后的梯度单词与词典中单词进行对比，统计词典中每个单词在图像所有关键特征点中出现的次数，得到每幅图像颜色先验加权后的梯度单词的直方图。

步骤8，将每幅训练图像的颜色先验加权直方图及图像对应的类别标签输入到SVM中，训练不良图像分类器。

二.图像检测阶段：

步骤A，对待测图像，采用训练阶段步骤2中的DoG算子检测图像中的极值点，并去除非鉴别性特征点。

步骤B，对步骤A得到的关键特征点利用步骤3的方法提取梯度特征和颜色特征。

步骤C，利用步骤5的方法将步骤B得到的梯度特征向量和颜色特征向量量化为梯度单词和颜色单词。

步骤D，利用步骤6的方法计算步骤C得到的颜色单词的类条件概率。

步骤E，利用步骤7的方法得到测试图像颜色先验加权后的梯度单词的直方图；

步骤C，将待测图像的加权后的梯度单词直方图输入到训练阶段步骤8所训练好的分类器中，得出该图像是否属于不良图像的判别结果。

以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.一种基于改进词袋模型的不良图像检测方法，包括如下步骤：

A.收集正常图像与不良图像作为训练集，并标记每幅图像的类别；用高斯差分算子对训练集中的所有图像进行关键特征点检测，将这些关键特征点组成特征点集合T；

B.对集合T中的关键特征点分别利用尺度不变变换特征SIFT方法和颜色属性CA方法计算关键特征点的梯度特征向量f和颜色特征向量f'，对梯度特征向量和颜色特征向量分别进行欧式距离测度下的K-均值聚类；并用梯度特征向量的聚类中心组成图像的梯度词典，用颜色特征向量的聚类中心组成图像的颜色词典；

C.将训练集中所有图像特征点的梯度特征向量量化为梯度词典中的单词，将训练集中所有图像特征点的颜色特征向量量化为颜色词典中的单词；

D.通过贝叶斯模型计算每个特征点的颜色单词的类条件概率，并与所对应特征点的梯度单词相乘，统计得到颜色先验加权后的梯度单词直方图；按如下步骤进行：

D1.在训练集中统计每个颜色单词w^c在不良图像中出现的频次m₁和每个颜色单词在正常图像中出现的频次m₂，根据训练集类别标记将训练图像分为不良类和正常类，定义class为训练图像的类别，训练图像为不良图像时class＝1，训练图像为正常图像时class＝2，计算w^c在不良类和正常类出现的概率为：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msup> <mi>w</mi> <mi>c</mi> </msup> <mo>|</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>m</mi> <mi>k</mi> </msub> <mo>/</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </munderover> <msub> <mi>m</mi> <mi>j</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>&Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>}</mo> </mrow>

D2.根据类别先验概率和相似度概率，通过贝叶斯准则计算颜色单词w^c的类条件概率p(class＝k|w^c)，贝叶斯公式如下：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>|</mo> <msup> <mi>w</mi> <mi>c</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msup> <mi>w</mi> <mi>c</mi> </msup> <mo>|</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mi>p</mi> <mrow> <mo>(</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msup> <mi>w</mi> <mi>c</mi> </msup> <mo>|</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mi>p</mi> <mrow> <mo>(</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，p(class＝k)表示类别先验概率；

D3.将图像中每个关键特征点的梯度单词w^g乘上该关键特征点所对应的颜色单词w^c的类条件概率p(class＝k|w^c)，得到颜色先验加权后的梯度单词；

D4.将上述加权后的梯度单词与词典中单词进行对比，统计词典中每个单词在图像所有关键特征点中出现的次数，得到每幅图像颜色先验加权后的梯度单词的直方图；

E.将训练图像的加权直方图及其类别标记输入支持向量机SVM，训练不良图像分类器；

F.对待测图像，根据步骤A-C得到其关键特征点的梯度特征向量和颜色特征向量，并将这些特征向量分别量化为梯度单词和颜色单词，将步骤D得到的颜色单词的类条件概率与梯度单词相乘，统计出待测图像的颜色先验加权后的梯度单词直方图；

G.将待测图像的加权直方图输入到步骤E所训练出的分类器中，根据分类器的分类结果判断待测图像是否属于不良类。

2.根据权利要求1所述的方法，其特征在于所述步骤A中用高斯差分算子对训练集中的图像进行关键特征点检测，按如下步骤进行：

A1.变换图像的分辨率，得到图像在多个分辨率尺度下的变换结果，建立图像多分辨金字塔，其中每一层代表一个分辨率尺度下的图像；

A2.对金字塔中每层图像做高斯滤波，得到滤波后的输出结果，并且对相邻两层的结果求差值；

A3.对差值结果做像素遍历，并且定义与当前像素距离最近的26个像素为当前像素的邻接像素点，如果当前像素是所有邻接像素点中的最大值或最小值，则定义当前像素为图像的关键特征点；

A4.去除每个关键点中主曲率最大和最小的点，即去除边缘上的非鉴别性特征点，最后到关键特征点集合T。

3.根据权利要求1所述的方法，其特征在于所述步骤B中利用尺度不变变换特征SIFT方法对集合T中的关键特征点计算梯度特征向量f，按如下步骤进行：

B1.统计关键特征点周围8×8像素邻域内的梯度直方图，并且将直方图峰值处的方向作为关键特征点的主方向；

B2.将关键特征点的像素邻域沿主方向旋转，同时对关键特征点的像素邻域高斯加权；

B3.在关键特征点的像素邻域内的每4×4像素小块上统计8个方向的梯度方向直方图，计算每个梯度方向上的梯度累加值，将各个小块每个方向上的累加值作为梯度特征向量f。

4.根据权利要求1所述的方法，其特征在于所述步骤B中利用颜色属性CA方法对集合T中的关键特征点计算颜色特征向量f'，通过如下公式计算：

f'＝{p(cn₁|R),p(cn₂|R),...,p(cn_i|R),...,p(cn₁₁|R)} i＝1,2,...,11

其中，p(cn_i|R)是每个区域R属于某个颜色标签的概率，由如下公式计算：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>cn</mi> <mi>i</mi> </msub> <mo>|</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>P</mi> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>&Element;</mo> <mi>R</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>cn</mi> <mi>i</mi> </msub> <mo>|</mo> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中p(cn_i|f(x))是输入像素属于第i个颜色标签cn_i的概率，x表示在图像区域R内像素的空间坐标，P为区域内像素数目，f(x)表示坐标x处的像素值。

5.根据权利要求1所述的方法，其特征在于所述步骤B中分别生成梯度词典和颜色词典，按如下步骤进行：

B4.对T中关键特征点的梯度特征向量f进行欧式距离测度下的K-均值聚类，得到N^g个聚类中心，定义每个聚类中心为一个梯度单词w^g，得到图像的梯度词典集合

B5.对T中关键特征点的颜色特征向量f'进行欧式距离测度下的K-均值聚类，得到N^c个聚类中心，定义每个聚类中心为一个颜色单词w^c，得到图像的颜色词典集合