CN102842032A - 基于多模式组合策略的移动互联网色情图像识别方法 - Google Patents

Abstract

本发明涉及一种移动互联网色情图像识别方法。一种基于多模式组合策略的移动互联网色情图像识别方法，首先利用基于小波纹理修正肤色的色情图像识别算法对图像进行粗过滤，识别出疑似色情图像，并在此基础上：首先采用误判图像匹配技术把经常误判的图像搜集起来组建成误判图像库，然后提取图像的全局特征，采用E2LSH技术对图像库中的图像建立索引；其次，对识别出的疑似色情图像利用图像库的E2LSH进行快速精确匹配，经过匹配如果不在误判图像库中，则认为是疑似色情图像；最后，对于经过匹配不在误判图像库中的疑似色情图像，采用基于最大连通感兴趣区的多种特征融合识别算法进行最终识别。在保证色情图像较高识别率的前提下，可以有效地降低正常图像的误判率。

Description

基于多模式组合策略的移动互联网色情图像识别方法

技术领域

本发明涉及一种移动互联网色情图像识别方法，特别是涉及一种基于多模式组合策略的移动互联网色情图像识别方法。

背景技术

近年来移动互联网发展迅速，预计2012年中国移动互联网网民数量将达4.5亿，而这其中很大一部分都是青少年，他们可以很方便地通过手机从网络下载色情图像和不良信息。而由于青少年身心尚未发育成熟，对一切都比较好奇，又处于青春叛逆期，很容易诱使他们走向歧途。色情图像和色情网站的存在已经严重威胁到青少年的身心健康。因此，有必要利用智能图像识别技术对移动互联网色情图像进行过滤，为通信运营商更有效地封堵色情网站提供技术支持。

目前通信运营商已经部署了不良图像过滤系统，该系统在前端机利用基于内容的不良图像识别技术对图像进行识别，将中标图像数据上传到后台进行管理并由人工坐席审核，根据发现的色情图像来对色情网站进行封堵。现有的移动互联网不良图像识别技术都是在前端机采用一种色情图像识别算法对图像进行过滤，结果是色情图像的查全率可以满足客户的要求，但是正常图像的误判率却很高，需要很多的人工坐席来对算法的识别结果进行审核。图1给出了一种现有通信运营商采用的移动互联网色情图像识别方案，该技术方案注重色情图像的查全率，也就是保证尽可能多的色情图像被识别正确。但是会造成前端机识别结果中包含有很多的正常图像，再加上通过移动互联网上网的用户众多，下载的数据量非常大，交给人工坐席审核的图像里面正常图像的总量很大，这就需要花费大量的人力和财力来对图像进行人工审核，极大地增加通信运营商的运营成本。

因此，如何在保证色情图像较高查全率的前提下，使正常图像的误判率有较大地降低（也就是色情图像的查准率有较大提高），正是本领域技术人员一直在研究、解决的问题。

发明内容

本发明针对目前移动互联网色情图像识别中正常图像误判率过高的问题，提出一种基于多模式组合策略的移动互联网色情图像识别方法。在保证色情图像较高识别率的前提下，可以有效地降低正常图像的误判率。

本发明所采用的技术方案：

一种基于多模式组合策略的移动互联网色情图像识别方法，首先利用基于小波纹理修正肤色的色情图像识别算法对图像进行第一次粗过滤，识别出疑似色情图像，并在此基础上:

首先，采用误判图像匹配技术把经常误判的图像搜集起来，组建成一个百万级规模的误判图像库，然后提取图像的全局特征，采用E2LSH技术对图像库中的图像建立索引；

其次，对识别出的疑似色情图像利用基于百万级误判图像库的E2LSH进行快速精确匹配，经过匹配如果在图像库中，则认为是正常的图像，如果不在误判图像库中，则认为是疑似色情图像；

最后，对于经过匹配不在误判图像库中的疑似色情图像，采用基于最大连通感兴趣区的多种特征融合识别算法进行二次过滤，最终识别出色情图像。

所述的基于多模式组合策略的移动互联网色情图像识别方法，基于小波纹理修正肤色的色情图像识别算法在肤色检测基础上，加入小波纹理分析去除由于类肤色背景引起的类肤色点，最后利用肤色面积比对图像进行第一次粗过滤，其流程如下：

1）RGB颜色空间变换到HSV颜色空间；

2）将HSV颜色空间进行量化，划分成L个颜色子空间，通过统计分析确定皮肤颜色在这L个子空间中的分布，聚类得到皮肤颜色的分布子空间集合A以及A的隶属度集合W；

3）肤色建模，确定样本皮肤像素的总数shin_count以及样本皮肤像素在这L个子空间的频次sub_count_i，i＝1,...,L，

$\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\mathrm{sub}\_\mathrm{count}\_i=\mathrm{shin}\_\mathrm{count}$

以归一化的频次作为皮肤像素分布于该子空间的可能性；

v_i＝sub_count_i/skin_count

为了消除皮肤样本选取不精确和统计因素的影响，设定一个肤色分布概率的可能性阈值T_vi，

如果满足v_i≥T_vi，则w_i＝v_i；否则，w_i＝0，得到：

A＝{A₁,A₂,...,A_L}

W＝{w₁,w₂,...,w_L}

其中，w_i表示对应子空间A_i的隶属度，即A_i中的颜色是皮肤颜色的可能性，i＝1,2,...L，参数L＝72；

4）计算肤色概率：对任意图像F(x,y)，将每一个像素(x,y)转换到HSV颜色空间并量化，得到该像素的颜色子空间标号k，该点属于肤色的概率为w(k)；

5）小波纹理修正肤色，去除类肤色点的干扰：对原图像做一层小波分解，取出变换后的高频系数LH、HH和HL，对三个高频系数求平均得到一个高频平均系数H_AVE；设某个像素点属于肤色的临界概率阈值为th，如果w(k)<th，则该点不是一个肤色点，否则利用H_AVE计算该点周围36*36邻域的小波特征。利用小波高频平均系数计算36*36邻域方差WAVE_VAR，定义属于类肤色点的方差阈值为FALSE_TH，如果WAVE_VAR>=FALSE_TH，该像素不是一个肤色点，否则是一个肤色点；

6）重复步骤4）—5）可以完成对一个图像的肤色分割，计算肤色面积比SKIN_RATION，定义色情图像阈值SEX_TH，如果SKIN_RATION>=SEX_TH，该图像是一副色情图像，否则是一副正常图像。

所述的基于多模式组合策略的移动互联网色情图像识别方法，利用E2LSH进行误判图像快速匹配，分为误判图像库中每一幅图像索引的建立和图像匹配两部分，E2LSH建立索引的过程如下：

1）提取图像特征p，对于图像库中的每一张图像，进行4*4的分块，计算每一块的hu矩特征，16块一共112维特征向量；

2）E2LSH映射降维：利用散列函数g(v)=(h₁(v),h₂(v),...,h_k(v))对特征p进行降维，得到一个k维的向量g(v)；

3）E2LSH桶哈希：对第二步得到的k维向量，计算主哈希值h₁(g(v))和次哈希值h₂(g(v))；

4）将主哈希值和次哈希值相同的点放入同一个桶中，生成哈希表T={b₁,b₂,...,b_k,...,b_N}，同时把特征向量p的数据存进桶中，其中b_k表示哈希表T的第k个桶，N为哈希表T中包含的桶的个数；

5）为哈希表中的每个桶生成一个索引文件，索引文件由该桶中各点的主次哈希值组成；

6）重复上述步骤，完成所有图像索引的建立；

匹配过程如下：

1）计算图像4*4分块Hu矩特征p；

2）计算p的哈希表索引；

3）根据索引，搜索该哈希表中的所有桶b，并计算桶中的每个点与p的欧氏距离，如果存在距离小于0.001，则认为该图像在图像库中，否则就认为不在图像库中。

所述的基于多模式组合策略的移动互联网色情图像识别方法，基于最大连通感兴趣区的多种特征融合识别算法，只对一副图像的最大连通区域进行分析，以避免一副色情图像由于肤色面积比过小而被漏判的可能，提高了色情图像的识别率；同时提取基于颜色、形状、位置、纹理的多种特征，采用支持向量机（Support Vector Machine，SVM）进行分类，在保持较高识别率的同时，可以较好地降低误判率。

基于最大连通感兴趣区的多种特征融合识别算法，具体实施方案如下：

1）图像尺寸归一化，对图像进行缩放操作，以提高运算速度；

2）肤色分割：首先对RGB颜色空间进行变换，令某个像素点的像素值为R、G、B，归一化后的像素值为r、g、b，如果R+G+B=0，则r=0，g=0，b=0，如果R+G+B≠0，则r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B)；

定义颜色分量rg、rb、lgrg、lgrb，如果g=0，则rg=0，lgrg=0，如果g≠0，则rg=r/g，lgrg=logrg；如果b=0，则rb=0，lgrb=0，如果b≠0，rb=r/b，lgrb=loglgrb；令某点属于肤色的概率为p，如果R>95&&G>40&&B>20&&R>G&&abs(R-G)>15&&R>B，则把lgrg和lgrb代入事先训练好的肤色模型进行计算得到p,否则p=0，设属于肤色的概率阈值为skin_th，如果p>=skin_th，该点是一个肤色点，否则不是一个肤色点。

3）图像平滑以及形态学开闭操作；

4）连通域分析：使用区域生长法标记连通域，只需对图像进行一次扫描就能标记出所有连通区域；

5）如果没有连通区域，认为图像是一副正常图像，如果有，则进入下面的特征提取过程；

6）最大连通域特征提取：提取的特征分为颜色、形状、纹理、空间位置；使用72HSV直方图作为颜色特征，首先把RGB颜色空间变换到HSV，随后对HSV颜色空间量化成72个bin，最后统计一副图像每一个bin出现的频次，并进行频次归一化；

7）支持向量机分类，经过步骤6）提取100维特征，先对特征进行归一化，然后把归一化后的100维特征代入事先训练好的支持向量机识别模型进行计算，即可以得出分类结果；

8）人脸检测。

所述的基于多模式组合策略的移动互联网色情图像识别方法，连通域标记方法如下：

1）经过肤色分割后的二值图像为待标记图像，初始化一个标记矩阵matrix，该矩阵的大小为二值图像的长乘以宽，一个队列queue以及标记计数器label；

2）从二值图像的原点开始扫描图像，当扫描到一个没有被标记的前景像素pixel时，label加1，并在matrix中标记pixel，同时扫描pixel的8邻域，若存在未被标记的前景像素，则在matrix中进行标记，并放入queue中，作为区域生长的种子；

3）如果queue不为空，从queue中取出一个生长种子点newpixel，扫描newpixel的八邻域，若存在未被标记过的前景像素，则在matrix中进行标记，并放入queue中；

4）重复3），直到queue为空，一个连通区域标记完毕；

5）回到2），直到整个图像被扫描完毕。通过比较label可以得到最大的连通域。

所述的基于多模式组合策略的移动互联网色情图像识别方法，形状特征属于图像的中级特征，采用Zernike矩描述图像形状特征：

Zernike矩的基函数为：

V_nm(x,y)=V_nm(rcosθ,rsinθ)=R_nm(r)exp(jmθ)

Zernike矩的径向基函数R_nm(r)为Zernike多项式：

$R_{\mathrm{nm}}\left(r\right)=\underset{s=0}{\overset{\frac{n-\left|m\right|}{2}}{\mathrm{\&Sigma;}}}{(-1)}^s\frac{(n-s)!}{s!(\frac{n+\left|m\right|}{2}-s)!(\frac{n-\left|m\right|}{2}-s)!}{r}^{(n-2s)}$

$=\underset{k=\left|m\right|,n-k=\mathrm{evne}}{\overset{n}{\mathrm{\&Sigma;}}}{(-1)}^{\frac{n-k}{2}}\frac{\left(\frac{n+k}{2}\right)!}{\left(\frac{n-k}{2}\right)!\left(\frac{m+k}{2}\right)!\left(\frac{k-m}{2}\right)!}{r}^{\text{k}}$

R_nm(r)满足R_nm(r)＝R_n,-m(r)，当n和m取不同数值时，就是不同阶数的Zernike多项式，这里取m=4，n=4，通过计算Zernike矩可以得到9个特征。

色情图像的最大连通区域一般来讲都是出现在图像的正中间以及附近位置，所以选取最大连通域的重心作为一个特征，设最大连通域外接矩形的高为roiheight，宽为roiwidth，中心坐标为x，y，则最大连同区域在原图中的位置为(x+roiwidth/2)/wd、(y+roiheight/2)/ht；由于长短轴之比过大的连通域通常是类肤色的一些图标形成的，所以选取最大连通区域长短轴之比作为一个特征，计算公式为roiheight/roiwidth。

所述的基于多模式组合策略的移动互联网色情图像识别方法，采用2*2分块的灰度共生矩阵来描述图像纹理特征，在估计图像的二阶组合条件概率密度函数的基础上，通过计算图像中一定距离和一定方向的两个像素之间的灰度相关性，对图像的所有像素进行统计，反映图像在方向、相邻间隔、变化幅度及快慢上的综合信息，

p(i,j,d,θ)={[(x,y),(x+dx,y+dy)|f(x,y)=i,f(x+dx,y+dy)＝j]}

x，y是图像的像素坐标，dx，dy是位置偏移量，d是灰度共生矩阵的的生长步长，θ为灰度共生矩阵的生长方向，取0°，45°，90°，135°四个方向，

经过多次试验，灰度共生矩阵参数里面的能量、对比度、逆差矩、自相关四个特征在区分色情图像和正常图像方面效果较好，四个特征的计算公式如下：

$w1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{p}^2(i,j,d,\mathrm{\&theta;})$

$w2=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})*{(i-j)}^2$

$w3=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{p(i,j,d,\mathrm{\&theta;})}{1+(i-j)*(i-j)}$

$w4=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{i*j*p(i,j,d,\mathrm{\&theta;})-u_1*u_2}{d_1^2{d}_2^2}$

$u_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}i\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$u_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}j\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(i-u_1)}^2\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(j-u_2)}^2\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

2*2分块纹理特征提取方法：

1）在原图中取出最大连通区域并进行灰度化；

2）对图像进行2*2分块；

3）取出其中的一块，进行灰度级量化，由256个灰度级量化到16个灰度级；

4）分别计算0°，45°，90°，135°四个方向的灰度共生矩阵，在每一个方向上计算能量、对比度、逆差矩、自相关四个特征，最后四个方向上的特征求均值；

5）重复步骤2-5，完成所有块的特征计算。

所述的基于多模式组合策略的移动互联网色情图像识别方法，采用AdaBoost实现人脸检测：首先使用Harr-Like表示人脸特征，使用积分图实现特征值的快速计算；

接着使用AdaBoost算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式把弱分类器构造成一个强分类器；

最后把训练得到的若干个强分类器串联组成一个级联结构的层叠分类器，该分类器可以对不含人脸的矩形窗口进行逐级剔除，利用层叠分类器实现人脸检测；

利用人脸信息对疑似色情图像进一步判别的方法如下：

1）如果人脸的个数大于5，则认为这是一副多人的合影照，是一副正常的图像；

2）如果人脸的个数大于等于2小于等于5，计算所有人脸的面积和sum_face，设图像的宽为width，高为height，如果sum face>=0.7*height*width，则认为是一副正常图像，否则是一副色情图像；

3）如果人脸的个数为1，计算人脸的面积area，如果area>=0.25*height*width，则认为是一副正常的人脸大头照图像，否则，进一步计算人脸在原图中的位置x、y，如果0.4*height<=x<=0.6*height&&0.4*width<=y<=0.6*width，则人脸在图像的中间位置，是一副正常的人脸图像，否则是一副色情图像；

4）如果人脸的个数为0，认为是一副色情图像。

本发明的有益效果：

1、本发明基于多模式组合策略来对移动互联网色情图像进行识别，采用两级色情图像过滤技术和一级误判图像匹配技术相结合来过滤移动互联网色情图像，在保持色情图像较高查全率的提前下，使正常图像的误判率降到很低。一方面满足了通信运营商利用该技术封堵色情网站的需要，通信运营商可以利用该技术发现更多的色情图像，及时封堵色情网站，净化了移动互联网的上网环境；同时也降低了人工坐席的人员数量，为通信运营商节约了人力和财力，可以降低运营商的运营成本。

2、本发明基于多模式组合策略的移动互联网色情图像识别方法，采用基于小波纹理修正的肤色检测算法，有效地降低了类肤色背景点的干扰。同时采用的基于百万级误判图像库的E2LSH快速图像匹配技术，解决了以前色情图像识别技术对于同一张正常图像多次误判的情况，降低了误判率。利用该技术色情图像的识别率可以达到95%以上，误判率小于4%。

3、本发明基于多模式组合策略的移动互联网色情图像识别方法，创造性地将图像识别领域中两种不同认知流派与实际应用深度融合，体现出了技术与现实需求的完美结合，不依赖于一种模式，在保证色情图像较高查全率的同时，又能使正常图像的误判降到最低。同时，通过采用基于最大连通感兴趣区的多种特征融合识别算法，保证了色情图像识别率达90%以上的前提下，有效地降低了正常图像的误判率。

附图说明

图1：现有通信运营商采用的移动互联网色情图像识别方案示意图；

图2：基于多模式组合策略的移动互联网色情图像识别技术示意图；

图3：基于小波纹理修正肤色的色情图像识别算法流程图；

图4：基于最大连通感兴趣区的多种特征融合识别算法流程图；

图5：部分Haar-Like特征算子；

图6：层叠分类器进行人脸检测原理。

具体实施方式

实施例一：参见图2，本发明基于多模式组合策略的移动互联网色情图像识别方法，首先利用基于小波纹理修正肤色的色情图像识别算法对图像进行第一次粗过滤，识别出疑似色情图像，并在此基础上首先采用误判图像匹配技术把经常误判的图像搜集起来，组建成一个百万级规模的误判图像库，然后提取图像的全局特征，采用E2LSH技术对图像库中的图像建立索引；其次，对识别出的疑似色情图像利用基于百万级误判图像库的E2LSH进行快速精确匹配，经过匹配如果在图像库中，则认为是正常的图像，如果不在误判图像库中，则认为是疑似色情图像；最后，对于经过匹配不在误判图像库中的疑似色情图像，采用基于最大连通感兴趣区的多种特征融合识别算法进行二次过滤，最终识别出色情图像。

实施例二：参见图2、图3，本实施例基于多模式组合策略的移动互联网色情图像识别方法，基于小波纹理修正肤色的色情图像识别算法在肤色检测基础上，加入小波纹理分析去除由于类肤色背景引起的类肤色点，最后利用肤色面积比对图像进行第一次粗过滤。该技术可以保持一个较高的色情图像查全率，同时可以满足前端机每秒钟处理200副以上图像的要求。其具体流程如下：

1）RGB颜色空间变换到HSV颜色空间；

2）首先将HSV颜色空间进行量化，划分成L个颜色子空间，然后通过统计分析确定皮肤颜色在这L个子空间中的分布，聚类得到皮肤颜色的分布子空间集合A以及A的隶属度集合W；

3）肤色建模，确定样本皮肤像素的总数shin_count以及样本皮肤像素在这L个子空间的频次sub_count_i，i＝1,...,L，

$\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}\mathrm{sub}\_\mathrm{count}\_i=\mathrm{shin}\_\mathrm{count}$

以归一化的频次作为皮肤像素分布于该子空间的可能性；

v_i＝sub_count_i/skin_count

为了消除皮肤样本选取不精确和统计因素的影响，设定一个肤色分布概率的可能性阈值T_vi，

如果满足v_i≥T_vi，则w_i＝v_i；否则，w_i＝0，得到：

A＝{A₁,A₂,...,A_L}

W＝{w₁,w₂,...,w_L}

其中，w_i表示对应子空间A_i的隶属度，即A_i中的颜色是皮肤颜色的可能性，i＝1,2,...L，参数L＝72；

4）计算肤色概率：对任意图像F(x,y)，将每一个像素(x,y)转换到HSV颜色空间并量化，得到该像素的颜色子空间标号k，该点属于肤色的概率为w(k)；

5）小波纹理修正肤色，去除类肤色点的干扰：对原图像做一层小波分解，取出变换后的高频系数LH、HH和HL，对三个高频系数求平均得到一个高频平均系数H_AVE；设某个像素点属于肤色的临界概率阈值为th，如果w(k)<th，则该点不是一个肤色点，否则利用H_AVE计算该点周围36*36邻域的小波特征。利用小波高频平均系数计算36*36邻域方差WAVE_VAR，定义属于类肤色点的方差阈值为FALSE_TH，如果WAVE_VAR>=FALSE_TH，该像素不是一个肤色点，否则是一个肤色点；

6）重复步骤4）—5）可以完成对一个图像的肤色分割，计算肤色面积比SKIN_RATION，定义色情图像阈值SEX_TH，如果SKIN_RATION>=SEX_TH，该图像是一副色情图像，否则是一副正常图像。

实施例三：参见图2。本实施例基于多模式组合策略的移动互联网色情图像识别方法，与实施例一或实施例二不同的是：采用误判图像匹配技术首先把经常误判的图像搜集起来，组建成一个百万级规模的误判图像库。然后提取图像的全局特征，采用E2LSH技术对图像库中的图像建立索引。对于第一次粗过滤的图像结果，可以采用E2LSH进行快速精确匹配，经过匹配如果在图像库中，则认为是正常的图像。这样就避免了同一张图像被多次误判的可能，大大降低了误判率。

局部敏感哈希（Locality Sensitive Hashing，LSH）与最近邻搜索算法相似，它的基本原理是：针对空间中的点，通过适当的局部敏感哈希函数对其进行散列，使得散列后的数据仍保持原来数据的位置关系，即原来距离较近的点以较大的概率散列到相同的哈希桶中，反之距离较远的点以较小的概率散列到同一个桶中。LSH是针对汉明空间的，精确欧式位置敏感哈希（Exact Euclidean Locality Sensitive Hashing，E2LSH）是在欧式空间的实现方案。局部敏感哈希定义如下：

如果函数族H＝{h:S→U}是位置敏感的，如果对于任意的点有v,q∈S，如果v∈B(q,₁r)，则Pr_H[h(q)＝h(v)]≥p₁，如果

则Pr_H[h(q)＝h(v)]≤p₂。p₁,p₂,r₁,r₂满足p₁＞p₂和r₁＜r₂。对于参数K，定义函数组ζ＝{g:S→U^k}，其中g(v)＝(h₁(v),h₂(v),...,h_k(v))，h_i(v)∈H,1≤i≤k。函数组g是有K个哈希函数组成的哈希函数组，对于一个向量利用函数组g中的K个哈希值h₁(v),h₂(v),...,h_k(v)生成哈希索引键值。

利用E2LSH进行误判图像快速匹配，分为误判图像库中每一幅图像索引的建立和图像匹配两部分，E2LSH建立索引的过程如下：

1）提取图像特征p，对于图像库中的每一张图像，进行4*4的分块，计算每一块的hu矩特征，16块一共112维特征向量；

2）E2LSH映射降维：利用散列函数g(v)=(h₁(v),h₂(v),...,h_k(v))对特征p进行降维，得到一个k维的向量g(v)；

3）E2LSH桶哈希：对第二步得到的k维向量，计算主哈希值h₁(g(v))和次哈希值h₂(g(v))；

4）将主哈希值和次哈希值相同的点放入同一个桶中，生成哈希表T={b₁,b₂,...,b_k,...,b_N}，同时把特征向量p的数据存进桶中，其中b_k表示哈希表T的第k个桶，N为哈希表T中包含的桶的个数；

5）为哈希表中的每个桶生成一个索引文件，索引文件由该桶中各点的主次哈希值组成；

6）重复上述步骤，完成所有图像索引的建立；

匹配过程如下：

1）计算图像4*4分块Hu矩特征p；

2）计算p的哈希表索引；

3）根据索引，搜索该哈希表中的所有桶b，并计算桶中的每个点与p的欧氏距离，如果存在距离小于0.001，则认为该图像在图像库中，否则就认为不在图像库中。

基于最大连通感兴趣区的多种特征融合识别算法，只对一副图像的最大连通区域进行分析，这样做的好处是避免了一副色情图像由于肤色面积比过小而被漏判的可能，提高了色情图像的识别率。同时提取基于颜色、形状、位置、纹理的多种特征，采用支持向量机（SupportVector Machine，SVM）进行分类，在保持较高识别率的同时，可以较好地降低误判率。

实施例四：参见图2～图6。本实施例基于多模式组合策略的移动互联网色情图像识别方法，在实施例三的基础上，采用基于最大连通感兴趣区的多种特征融合识别算法，对一副图像的最大连通区域进行分析，以避免一副色情图像由于肤色面积比过小而被漏判的可能，提高了色情图像的识别率；同时提取基于颜色、形状、位置、纹理的多种特征，采用支持向量机（Support Vector Machine，SVM）进行分类，在保持较高识别率的同时，可以较好地降低误判率。

具体实施方案如下：

1）图像尺寸归一化，对图像进行缩放操作，以提高运算速度。设原图宽为width，高为height，缩放后图像的宽为wd，高为ht。如果width<400&&height<400，则wd=width，ht=height。否则，如果width>height，则ht=400，wd=width/(1.0*height/400)取整，如果width<=height，则width=400，ht=height/(1.0*width/400)取整。

2）肤色分割。首先对RGB颜色空间进行变换，令某个像素点的像素值为R、G、B，归一化后的像素值为r、g、b。如果R+G+B=0，则r=0，g=0，b=0，如果R+G+B≠0，则r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B)。定义颜色分量rg、rb、lgrg、lgrb，如果g=0，则rg=0，lgrg=0，如果g≠0，则rg=r/g，lgrg=logrg；如果b=0，则rb=0，lgrb=0，如果b≠0，rb=r/b，lgrb=loglgrb。令某点属于肤色的概率为p，如果R＞95&&G>40&&B>20&&R＞G&&abs(R-G)＞15&&R＞B，则把lgrg和lgrb代入事先训练好的肤色模型（混合高斯模型）进行计算得到p,否则p=0。设属于肤色的概率阈值为skin_th，如果p>=skin_th，该点是一个肤色点，否则不是一个肤色点。

3）图像平滑以及形态学开闭操作。经过肤色分割后的图像为一副二值图像，由于外界光照不均以及背景中类肤色区域的影响，二值图像中会出现噪声、边界不光滑的现象。首先使用5×5的模板采用邻域平均法对二值图像进行滤波，随后再进行形态学开闭操作处理。开运算可以消除背景中的假目标，闭运算可以去除目标中的孔洞。我们的实验结果表明，先使用开运算再使用闭运算，对目标中的孔洞和背景中的假目标消除效果是十分明显的。

4）连通域分析。使用区域生长法标记连通域，只需对图像进行一次扫描就能标记出所有连通区域。连通域标记方法如下：

Step1：经过步骤3处理后的二值图像为待标记图像，初始化一个标记矩阵matrix，该矩阵的大小为二值图像的长乘以宽，一个队列queue以及标记计数器label。

Step2：从二值图像的原点开始扫描图像，当扫描到一个没有被标记的前景像素pixel时，label加1，并在matrix中标记pixel，同时扫描pixel的8邻域，若存在未被标记的前景像素，则在matrix中进行标记，并放入queue中，作为区域生长的种子。

Step3：如果queue不为空，从queue中取出一个生长种子点newpixel，扫描newpixel的八邻域，若存在未被标记过的前景像素，则在matrix中进行标记，并放入queue中。

Step4：重复Step3，直到queue为空，一个连通区域标记完毕。

Step5：回到Step2，直到整个图像被扫描完毕。通过比较label可以得到最大的连通域。

5）如果没有连通区域，认为图像是一副正常图像。如果有，则进入下面的特征提取过程。

6）最大连通域特征提取。提取的特征分为颜色、形状、纹理、空间位置。

颜色特征属于图像的底层特征。HSV颜色空间对于人来说是自然的、直观的，更接近于人对颜色的主观认识。这里使用72HSV直方图作为颜色特征，首先把RGB颜色空间变换到HSV，随后对HSV颜色空间量化成72个bin，最后统计一副图像每一个bin出现的频次，并进行频次归一化。

7）支持向量机分类。支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的泛化（推广）能力。经过6）步可以提取100维特征，先对特征进行归一化，然后把归一化后的100维特征代入事先训练好的支持向量机识别模型进行计算，即可以得出分类结果。

8）人脸检测。

实施例五：参见图4。本实施例基于多模式组合策略的移动互联网色情图像识别方法，与实施例四不同的是，形状特征属于图像的中级特征，矩能够较好地描述图像形状特征。有研究对各种矩在图像表示能力、噪声敏感度和信息冗余等方面的性能进行了比较，从全局性能考虑，Zernike矩是最优的。Zernike矩不变量具有旋转、伸缩和平移不变性。Zernike矩的基函数为：

V_nm(x,y)=V_nm(rcosθ,rsinθ)=R_nm(r)exp(jmθ)

Zernike矩的径向基函数R_nm(r)为Zernike多项式：

$R_{\mathrm{nm}}\left(r\right)=\underset{s=0}{\overset{\frac{n-\left|m\right|}{2}}{\mathrm{\&Sigma;}}}{(-1)}^s\frac{(n-s)!}{s!(\frac{n+\left|m\right|}{2}-s)!(\frac{n-\left|m\right|}{2}-s)!}{r}^{(n-2s)}$

$=\underset{k=\left|m\right|,n-k=\mathrm{evne}}{\overset{n}{\mathrm{\&Sigma;}}}{(-1)}^{\frac{n-k}{2}}\frac{\left(\frac{n+k}{2}\right)!}{\left(\frac{n-k}{2}\right)!\left(\frac{m+k}{2}\right)!\left(\frac{k-m}{2}\right)!}{r}^{\text{k}}$

R_nm(r)满足R_nm(r)＝R_n,-m(r)，当n和m取不同数值时，就是不同阶数的Zernike多项式。这里取m=4，n=4，通过计算Zernike矩可以得到9个特征。

色情图像的最大连通区域一般来讲都是出现在图像的正中间以及附近位置，所以选取最大连通域的重心作为一个特征。设最大连通域外接矩形的高为roiheight，宽为roiwidth，中心坐标为x，y，则最大连同区域在原图中的位置为(x+roiwidth/2)/wd、(y+roiheight/2)/ht。

利用最大连通区域长短轴之比，可以过滤掉一些比值过大的连通体（一般来讲不是色情图像），它们通常是类肤色的一些图标形成的，最大连通区域长短轴之比为roiheight/roiwidth。

皮肤纹理是一种特殊的纹理，没有明显的纹理基元，无明显的周期性和方向性。真实的皮肤区域通常为光滑区域，没有明显的纹理特征，至少不存在明显的可以感知的纹理特征。正常图像中的动物皮毛、家具物料、沙漠等具有明显的可以感知和量化的纹理特征，因此纹理特征可以作为区分色情图像和正常图像的一个重要特征。

灰度共生矩阵是一种用来分析图像纹理特征的重要方法，它建立在估计图像的二阶组合条件概率密度函数的基础上，通过计算图像中一定距离和一定方向的两个像素之间的灰度相关性，对图像的所有像素进行统计，反映图像在方向、相邻间隔、变化幅度及快慢上的综合信息。

p(i,j,d,θ)={[(x,y),(x+dx,y+dy)|f(x,y)=i,f(x+dx,y+dy)＝j]}

x，y是图像的像素坐标，dx，dy是位置偏移量，d是灰度共生矩阵的的生长步长，θ为灰度共生矩阵的生长方向，取0°，45°，90°，135°四个方向。

经过多次试验，灰度共生矩阵参数里面的能量、对比度、逆差矩、自相关四个特征在区分色情图像和正常图像方面效果较好。四个特征的计算公式如下：

$w1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{p}^2(i,j,d,\mathrm{\&theta;})$

$w2=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})*{(i-j)}^2$

$w3=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{p(i,j,d,\mathrm{\&theta;})}{1+(i-j)*(i-j)}$

$w4=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{i*j*p(i,j,d,\mathrm{\&theta;})-u_1*u_2}{d_1^2{d}_2^2}$

$u_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}i\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$u_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}j\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(i-u_1)}^2\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(j-u_2)}^2\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

2*2分块纹理特征提取方法：

Step1、在原图中取出最大连通区域并进行灰度化；

Step2、对图像进行2*2分块；

Step3、取出其中的一块，进行灰度级量化，由256个灰度级量化到16个灰度级；

Step4、分别计算0°，45°，90°，135°四个方向的灰度共生矩阵，在每一个方向上计算能量、对比度、逆差矩、自相关四个特征，最后四个方向上的特征求均值。

Step5、重复步骤2-5，完成所有块的特征计算。

实施例六：参见图2～图6。本实施例基于多模式组合策略的移动互联网色情图像识别方法，与前述各实施例不同的是，采用如下的人脸检测方法。

人脸检测在色情图像识别中不起主要的作用，只起到一个辅助的修正作用，所以并不需要十分精确的人脸检测算法。本发明采用AdaBoost实现人脸检测。首先使用Harr-Like表示人脸特征（如图5所示），使用积分图实现特征值的快速计算。接着使用AdaBoost算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式把弱分类器构造成一个强分类器。最后把训练得到的若干个强分类器串联组成一个级联结构的层叠分类器，该分类器可以对不含人脸的矩形窗口进行逐级剔除，利用层叠分类器实现人脸检测的原理如图6所示。利用人脸信息对疑似色情图像进一步判别的方法如下：

Step1、如果人脸的个数大于5，则认为这是一副多人的合影照，是一副正常的图像。

Step2、如果人脸的个数大于等于2小于等于5，计算所有人脸的面积和sum_face，设图像的宽为width，高为height，如果sum face>=0.7*height*width，则认为是一副正常图像，否则是一副色情图像。

Step3、如果人脸的个数为1。计算人脸的面积area，如果area>=0.25*height*width，则认为是一副正常的人脸大头照图像。否则，进一步计算人脸在原图中的位置x、y，如果0.4*height<=x<=0.6*height&&0.4*width<=y<=0.6*width，则人脸在图像的中间位置，是一副正常的人脸图像，否则是一副色情图像。

Step4、如果人脸的个数为0，认为是一副色情图像。

Claims (10)

1.一种基于多模式组合策略的移动互联网色情图像识别方法，首先利用基于小波纹理修正肤色的色情图像识别算法对图像进行第一次粗过滤，识别出疑似色情图像，并在此基础上:

首先，采用误判图像匹配技术把经常误判的图像搜集起来，组建成一个百万级规模的误判图像库，然后提取图像的全局特征，采用E2LSH技术对图像库中的图像建立索引；

其次，对识别出的疑似色情图像利用基于百万级误判图像库的E2LSH进行快速精确匹配，经过匹配如果在图像库中，则认为是正常的图像，如果不在误判图像库中，则认为是疑似色情图像；

最后，对于经过匹配不在误判图像库中的疑似色情图像，采用基于最大连通感兴趣区的多种特征融合识别算法进行二次过滤，最终识别出色情图像。

2.根据权利要求1所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：基于小波纹理修正肤色的色情图像识别算法在肤色检测基础上，加入小波纹理分析去除由于类肤色背景引起的类肤色点，最后利用肤色面积比对图像进行第一次粗过滤，其流程如下：

1）RGB颜色空间变换到HSV颜色空间；

2）将HSV颜色空间进行量化，划分成L个颜色子空间，通过统计分析确定皮肤颜色在这L个子空间中的分布，聚类得到皮肤颜色的分布子空间集合A以及A的隶属度集合W；

3）肤色建模，确定样本皮肤像素的总数shin_count以及样本皮肤像素在这L个子空间的频次sub_count_i，i＝1,...,L，

$\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}\mathrm{sub}\_\mathrm{count}\_i=\mathrm{shin}\_\mathrm{count}$

以归一化的频次作为皮肤像素分布于该子空间的可能性；

v_i＝sub_count_i/skin_count

为了消除皮肤样本选取不精确和统计因素的影响，设定一个肤色分布概率的可能性阈值T_vi，

如果满足v_i≥T_vi，则w_i＝v_i；否则，w_i＝0，得到：

A＝{A₁,A₂,...,A_L}

W＝{w₁,w₂,...,w_L}

其中，w_i表示对应子空间A_i的隶属度，即A_i中的颜色是皮肤颜色的可能性，i＝1,2,...L，参数L＝72；

4）计算肤色概率：对任意图像F(x,y)，将每一个像素(x,y)转换到HSV颜色空间并量化，得到该像素的颜色子空间标号k，该点属于肤色的概率为w(k)；

5）小波纹理修正肤色，去除类肤色点的干扰：对原图像做一层小波分解，取出变换后的高频系数LH、HH和HL，对三个高频系数求平均得到一个高频平均系数H_AVE；设某个像素点属于肤色的临界概率阈值为th，如果w(k)<th，则该点不是一个肤色点，否则利用H_AVE计算该点周围36*36邻域的小波特征。利用小波高频平均系数计算36*36邻域方差WAVE_VAR，定义属于类肤色点的方差阈值为FALSE_TH，如果WAVE_VAR>=FALSE_TH，该像素不是一个肤色点，否则是一个肤色点；

6）重复步骤4）—5）可以完成对一个图像的肤色分割，计算肤色面积比SKIN_RATION，定义色情图像阈值SEX_TH，如果SKIN_RATION>=SEX_TH，该图像是一副色情图像，否则是一副正常图像。

3.根据权利要求1所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：利用E2LSH进行误判图像快速匹配，分为误判图像库中每一幅图像索引的建立和图像匹配两部分，E2LSH建立索引的过程如下：

1）提取图像特征p，对于图像库中的每一张图像，进行4*4的分块，计算每一块的hu矩特征，16块一共112维特征向量；

2）E2LSH映射降维：利用散列函数g(v)=(h₁(v),h₂(v),...,h_k(v))对特征p进行降维，得到一个k维的向量g(v)；

3）E2LSH桶哈希：对第二步得到的k维向量，计算主哈希值h₁(g(v))和次哈希值h₂(g(v))；

4）将主哈希值和次哈希值相同的点放入同一个桶中，生成哈希表T={b₁,b₂,...,b_k,...,b_N}，同时把特征向量p的数据存进桶中，其中b_k表示哈希表T的第k个桶，N为哈希表T中包含的桶的个数；

5）为哈希表中的每个桶生成一个索引文件，索引文件由该桶中各点的主次哈希值组成；

6）重复上述步骤，完成所有图像索引的建立；

匹配过程如下：

1）计算图像4*4分块Hu矩特征p；

2）计算p的哈希表索引；

3）根据索引，搜索该哈希表中的所有桶b，并计算桶中的每个点与p的欧氏距离，如果存在距离小于0.001，则认为该图像在图像库中，否则就认为不在图像库中。

4.根据权利要求1～3任一项所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：基于最大连通感兴趣区的多种特征融合识别算法，只对一副图像的最大连通区域进行分析，以避免一副色情图像由于肤色面积比过小而被漏判的可能，提高了色情图像的识别率；同时提取基于颜色、形状、位置、纹理的多种特征，采用支持向量机（Support VectorMachine，SVM）进行分类，在保持较高识别率的同时，可以较好地降低误判率。

5.根据权利要求4所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：基于最大连通感兴趣区的多种特征融合识别算法，具体实施方案如下：

1）图像尺寸归一化，对图像进行缩放操作，以提高运算速度；

2）肤色分割：首先对RGB颜色空间进行变换，令某个像素点的像素值为R、G、B，归一化后的像素值为r、g、b，如果R+G+B=0，则r=0，g=0，b=0，如果R+G+B≠0，则r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B)；

定义颜色分量rg、rb、lgrg、lgrb，如果g=0，则rg=0，lgrg=0，如果g≠0，则rg=r/g，lgrg=logrg；如果b=0，则rb=0，lgrb=0，如果b≠0，rb=r/b，lgrb=loglgrb；令某点属于肤色的概率为p，如果R>95&&G>40&&B>20&&R>G&&abs(R-G)>15&&R>B，则把lgrg和lgrb代入事先训练好的肤色模型进行计算得到p,否则p=0。设属于肤色的概率阈值为skin_th，如果p>=skin_th，该点是一个肤色点，否则不是一个肤色点；

3）图像平滑以及形态学开闭操作；

4）连通域分析：使用区域生长法标记连通域，只需对图像进行一次扫描就能标记出所有连通区域；

5）如果没有连通区域，认为图像是一副正常图像，如果有，则进入下面的特征提取过程；

6）最大连通域特征提取：提取的特征分为颜色、形状、纹理、空间位置；使用72HSV直方图作为颜色特征，首先把RGB颜色空间变换到HSV，随后对HSV颜色空间量化成72个bin，最后统计一副图像每一个bin出现的频次，并进行频次归一化；

7）支持向量机分类，经过步骤6）提取100维特征，先对特征进行归一化，然后把归一化后的100维特征代入事先训练好的支持向量机识别模型进行计算，即可以得出分类结果；

8）人脸检测。

6.根据权利要求5所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：连通域标记方法如下：

1）经过肤色分割后的二值图像为待标记图像，初始化一个标记矩阵matrix，该矩阵的大小为二值图像的长乘以宽，一个队列queue以及标记计数器label；

2）从二值图像的原点开始扫描图像，当扫描到一个没有被标记的前景像素pixel时，label加1，并在matrix中标记pixel，同时扫描pixel的8邻域，若存在未被标记的前景像素，则在matrix中进行标记，并放入queue中，作为区域生长的种子；

3）如果queue不为空，从queue中取出一个生长种子点newpixel，扫描newpixel的八邻域，若存在未被标记过的前景像素，则在matrix中进行标记，并放入queue中；

4）重复3），直到queue为空，一个连通区域标记完毕；

5）回到2），直到整个图像被扫描完毕。通过比较label可以得到最大的连通域。

7.根据权利要求5所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：形状特征属于图像的中级特征，采用Zernike矩描述图像形状特征：Zernike矩的基函数为：

V_nm(x,y)=V_nm(rcosθ,rsinθ)=R_nm(r)exp(jmθ)

Zernike矩的径向基函数R_nm(r)为Zernike多项式：

$R_{\mathrm{nm}}\left(r\right)=\underset{s=0}{\overset{\frac{n-\left|m\right|}{2}}{\mathrm{\&Sigma;}}}{(-1)}^s\frac{(n-s)!}{s!(\frac{n+\left|m\right|}{2}-s)!(\frac{n-\left|m\right|}{2}-s)!}{r}^{(n-2s)}$

$=\underset{k=\left|m\right|,n-k=\mathrm{evne}}{\overset{n}{\mathrm{\&Sigma;}}}{(-1)}^{\frac{n-k}{2}}\frac{\left(\frac{n+k}{2}\right)!}{\left(\frac{n-k}{2}\right)!\left(\frac{m+k}{2}\right)!\left(\frac{k-m}{2}\right)!}{r}^{\text{k}}$

R_nm(r)满足R_nm(r)＝R_n,-m(r)，当n和m取不同数值时，就是不同阶数的Zernike多项式，这里取m=4，n=4，通过计算Zernike矩可以得到9个特征。

8.根据权利要求5所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：色情图像的最大连通区域一般来讲都是出现在图像的正中间以及附近位置，所以选取最大连通域的重心作为一个特征，设最大连通域外接矩形的高为roiheight，宽为roiwidth，中心坐标为x，y，则最大连同区域在原图中的位置为

/、(y+roiheight/2)/ht；由于长短轴之比过大的连通域通常是类肤色的一些图标形成的，所以选取最大连通区域长短轴之比作为一个特征，计算公式为roiheight/roiwidth。

9.根据权利要求5所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：采用2*2分块的灰度共生矩阵来描述图像纹理特征，在估计图像的二阶组合条件概率密度函数的基础上，通过计算图像中一定距离和一定方向的两个像素之间的灰度相关性，对图像的所有像素进行统计，反映图像在方向、相邻间隔、变化幅度及快慢上的综合信息，

p(i,j,d,θ)={[(x,y),(x+dx,y+dy)|f(x,y)=i,f(x+dx,y+dy)＝j]}

x，y是图像的像素坐标，dx，dy是位置偏移量，d是灰度共生矩阵的的生长步长，θ为灰度共生矩阵的生长方向，取0°，45°，90°，135°四个方向。

经过多次试验，灰度共生矩阵参数里面的能量、对比度、逆差矩、自相关四个特征在区分色情图像和正常图像方面效果较好，四个特征的计算公式如下：

$w1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{p}^2(i,j,d,\mathrm{\&theta;})$

$w2=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})*{(i-j)}^2$

$w3=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{p(i,j,d,\mathrm{\&theta;})}{1+(i-j)*(i-j)}$

$w4=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}\frac{i*j*p(i,j,d,\mathrm{\&theta;})-u_1*u_2}{d_1^2{d}_2^2}$

$u_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}i\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$u_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}j\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_1=\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(i-u_1)}^2\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

$d_2=\underset{j=0}{\overset{l-1}{\mathrm{\&Sigma;}}}{(j-u_2)}^2\underset{i=0}{\overset{l-1}{\mathrm{\&Sigma;}}}p(i,j,d,\mathrm{\&theta;})$

2*2分块纹理特征提取方法：

1）在原图中取出最大连通区域并进行灰度化；

2）对图像进行2*2分块；

3）取出其中的一块，进行灰度级量化，由256个灰度级量化到16个灰度级；

4）分别计算0°，45°，90°，135°四个方向的灰度共生矩阵，在每一个方向上计算能量、对比度、逆差矩、自相关四个特征，最后四个方向上的特征求均值；

5）重复步骤2-5，完成所有块的特征计算。

10.根据权利要求5～9任一项所述的基于多模式组合策略的移动互联网色情图像识别方法，其特征是：采用AdaBoost实现人脸检测：

首先使用Harr-Like表示人脸特征，使用积分图实现特征值的快速计算；

接着使用AdaBoost算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式把弱分类器构造成一个强分类器；

最后把训练得到的若干个强分类器串联组成一个级联结构的层叠分类器，该分类器可以对不含人脸的矩形窗口进行逐级剔除，利用层叠分类器实现人脸检测；

利用人脸信息对疑似色情图像进一步判别的方法如下：

1）如果人脸的个数大于5，则认为这是一副多人的合影照，是一副正常的图像；

2）如果人脸的个数大于等于2小于等于5，计算所有人脸的面积和sum_face，设图像的宽为width，高为height，如果sum face>=0.7*height*width，则认为是一副正常图像，否则是一副色情图像；

3）如果人脸的个数为1，计算人脸的面积area，如果area>=0.25*height*width，则认为是一副正常的人脸大头照图像，否则，进一步计算人脸在原图中的位置x、y，如果0.4*height<=x<=0.6*height&&0.4*width<=y<=0.6*width，则人脸在图像的中间位置，是一副正常的人脸图像，否则是一副色情图像；

4）如果人脸的个数为0，认为是一副色情图像。

Images