CN106778581A - 一种移动终端“敏感”信息识别方法 - Google Patents

Abstract

一种移动终端“敏感”信息识别方法，其以最大化识别“敏感”图片信息（如身着军装、警服等）为目标，基于机器学习算法，设计高效智能方法，包括画面扫描和特征提取及匹配两个主要步骤。画面扫描阶段是初步提取画面特征实现动态画面到静态图片的转换；特征提取及匹配阶段通过倒双三角双重判别算法、PCA面部识别、Sobel边缘检测算法以及KNN算法实现“敏感”图片识别。本发明能够快速高效的对涉及党、政、军的“敏感”画面进行识别，可用于对移动终端进行全面的防护，真正做到在信息链源头保障机密信息的安全。

Description

一种移动终端“敏感”信息识别方法

技术领域

本发明涉及信息安全识别方法，具体涉及一种移动终端“敏感”信息识别方法。

背景技术

随着信息时代的到来，互联网技术已经改变了人们传统的生产和生活方式，移动智能终端的普及率逐年增加，根据The Consumer Barometer机构统计报告显示，2016年中国的智能手机普及率为58％，预计2020年，中国智能手机普及率将达到90％以上。移动终端已经成为互联网的重要入口，而大量“敏感”信息(例如，涉及党、政、军的敏感画面及文字信息)却充斥互联网，例如2016年5月10日，辽宁丹东女辅警不雅照事件在社会中影响恶劣，给国家和政府形象造成巨大影响。

目前，从用户对智能手机的使用情况看，不同类型的用户群安全防范意识差别较大，“无意识”的信息泄露已成为不容忽视的一大泄密隐患。据最新资料统计，失泄密事件中53.7％是来自移动终端，这个比例在逐年提高。智能移动终端设备成为了失泄密的罪魁祸首，“无意识”的违规操作导致泄密事件发生的情况屡有发生，给国家和单位建设带来巨大损失。对于公安、军队、科研等一些特殊行业、部门的人员来说，不得不面临的新挑战。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种移动终端“敏感”信息识别方法，用于对终端进行全面的防护，真正做到在信息链源头保障机密信息的安全。

为了实现上述目的，本发明采用的技术方案是：

一种移动终端“敏感”信息识别方法，分为画面扫描和特征提取及匹配两个阶段，其特征在于，包括以下步骤：

1)画面扫描阶段是将移动终端动态画面到静态图片的转换：

画面扫描以16×16为单位，30s/次扫描当前画面，初步提取画面特征，当画面出现两个或两个以上符合敏感信息特征时，截图至终端内存，通过存放在内存里，实现动态画面到静态图片的转换；

2)特征提取及匹配阶段是对图片进行分析并得出是否为“敏感”信息，特征提取及匹配阶段由倒双三角双重判别算法、PCA面部识别、Sobel边缘检测算法及KNN算法组成，详细步骤如下：

①将步骤1)处理的图片通过倒双三角双重判别算法以肤色可分性作为依据，在确定的颜色空间内，定义出肤色的边界，进而把肤色划分在一个确定的区域内部，以下式所定义：

②在YC_bC_r颜色空间，经试验发现验C_bC_r平面上一个像素的颜色如果落入下公式所表示的矩形区域内，则被认为属于肤色像素；

133≤C_r≤177；

29≤C_b≤127；

③由RGB与YC_bC_r的转换公式可知，我们可以在RGB空间中构造一个和YC_bC_r空间具有相同分类性能的皮肤检测器,以下式所示，

④将肤色在YUV和YIQ的色度空间上的分布进行了分析，通过YUV空间的相位角和YIQ空间的I分量联合的方法来确定肤色在色度信息上的分布范围，在YUV空间中，U和V是平面上两个相互正交的矢量，称为色度信号矢量，每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表示，色调由相位角θ表示；

⑤接下来判定符合人体肤色特征C_r分量所在区域，进而分割人脸，通过人面部各个特征部位识别眉毛、下巴、鼻尖等之间的坐标，计算瞳孔与鼻尖θ，瞳孔与嘴唇I；满足下式范围条件的几何图形初步认为是人脸。

⑥PCA面部识别将所定位脸部特征高维图像空间经PCA变换后得到一组新的正交基，对这些正交基做一定的取舍，保留其中的一部分生成低维的人脸空间，也即是人脸的特征子空间,利用PCA变换的生成矩阵Q,首先计算训练集的协方差矩阵X，其中x₁,x₂,…,x_n为第i副图像的描述,即x₁为一个列向量；

式中，e是矩阵P的特征值λ对应的特征向量，则有：

Pe＝λl

⑦计算生成矩阵P的特征值和特征向量，并挑选合适的特征值和特征向量，构造特征子空间变化矩阵，把训练图像和测试图像投影到特征空间中，每一幅人脸图像投影到子空间以后，就对应于子空间的一个点，同样，子空间中的任一点也对应于一副图像。将重构的脸称为特征脸Eigenface，接下来，分别让样本集和测试集的图像投影到该子空间中，即：eigenvector'*X等等，然后得到一组坐标系数，把投影到特征子空间中的测试图像和样本集进行比较，判断人脸特征及所在位置；

⑧Sobel边缘检测算法通过人脸部定位服装所在坐标方位，利用Sobel边缘检测算法及KNN算法判断服装涉及敏感信息，并报警提示。

所述的Sobel边缘检测算法中的Sobel卷积因子为：该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以A代表原始图像，G_x及G_y分别代表经横向及纵向边缘检测的图像灰度值，公式如下：

G_x＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)

+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)

+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)

＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

G_y＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)

+0*f(x-1,y)0*f(x,y)+0*f(x+1,y)

+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)

＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]；

式中f(a,b)表示图像(a,b)点的灰度值；图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：如果梯度G大于某一阀值。则认为该点(x,y)为边缘点。通过将整张图片分析运算，即得出服装轮廓图。

所述的“敏感”信息判定KNN算法，包括如下步骤：

1)随机从特征库中选择k个样本作为移动终端“敏感”信息的k个初始最邻近节点；

2)计算移动终端“敏感”信息与每个初始k个初始最邻近节点的欧氏距离；

3)将步骤2所得结果排序，并求得其中最大值；

4)重复步骤2和步骤3并记录特征次数，并按照高低顺序排序；

5)依据步骤4结果判定图片信息是否“敏感”。

本发明的有益效果是：

1)基于PCA算法的双重“倒三角”定位判别法。在PCA基础上加入双重“倒三角”定位判别法，两个瞳孔分别和鼻尖、嘴唇组成对称等腰三角形，从而定位人脸范围和面部角度，以此作为人脸的特征值，极大提高人脸识别率。

2)利用了Sobel算子中梯度信息对图像进行边缘的检测。

附图说明

图1为发明的工作原理流程图。

具体实施方式

以下结合实施例对本发明进一步叙述。

如图1所示，一种移动终端“敏感”信息识别方法，分为画面扫描和特征提取及匹配两个阶段，包括以下步骤：

1)画面扫描阶段是将移动终端动态画面到静态图片的转换：

画面扫描以16×16为单位，30s/次扫描当前画面，初步提取画面特征，当画面出现两个或两个以上符合敏感信息特征时，截图至终端内存，通过存放在内存里，实现动态画面到静态图片的转换；

2)特征提取及匹配阶段是对图片进行分析并得出是否为“敏感”信息，特征提取及匹配阶段由倒双三角双重判别算法、PCA面部识别、Sobel边缘检测算法及KNN算法组成，详细步骤如下：

①将步骤1)处理的图片通过倒双三角双重判别算法以肤色可分性作为依据，在确定的颜色空间内，定义出肤色的边界，进而把肤色划分在一个确定的区域内部，以下式所定义：

②在YC_bC_r颜色空间，经试验发现验C_bC_r平面上一个像素的颜色如果落入下公式所表示的矩形区域内，则被认为属于肤色像素；

133≤C_r≤177；

29≤C_b≤127；

③由RGB与YC_bC_r的转换公式可知，我们可以在RGB空间中构造一个和YC_bC_r空间具有相同分类性能的皮肤检测器,以下式所示，

④将肤色在YUV和YIQ的色度空间上的分布进行了分析，通过YUV空间的相位角和YIQ空间的I分量联合的方法来确定肤色在色度信息上的分布范围，在YUV空间中，U和V是平面上两个相互正交的矢量，称为色度信号矢量，每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表示，色调由相位角θ表示；

⑤接下来判定符合人体肤色特征C_r分量所在区域，进而分割人脸，通过人面部各个特征部位识别眉毛、下巴、鼻尖等之间的坐标，计算瞳孔与鼻尖θ，瞳孔与嘴唇I；满足下式范围条件的几何图形初步认为是人脸。

⑥PCA面部识别将所定位脸部特征高维图像空间经PCA变换后得到一组新的正交基，对这些正交基做一定的取舍，保留其中的一部分生成低维的人脸空间，也即是人脸的特征子空间,利用PCA变换的生成矩阵Q,首先计算训练集的协方差矩阵X，其中x₁,x₂,…,x_n为第i副图像的描述,即x₁为一个列向量；

式中，e是矩阵P的特征值λ对应的特征向量，则有：

Pe＝λl

⑦计算生成矩阵P的特征值和特征向量，并挑选合适的特征值和特征向量，构造特征子空间变化矩阵，把训练图像和测试图像投影到特征空间中，每一幅人脸图像投影到子空间以后，就对应于子空间的一个点，同样，子空间中的任一点也对应于一副图像。将重构的脸称为特征脸Eigenface，接下来，分别让样本集和测试集的图像投影到该子空间中，即：eigenvector'*X等等，然后得到一组坐标系数，把投影到特征子空间中的测试图像和样本集进行比较，判断人脸特征及所在位置；

⑧Sobel边缘检测算法通过人脸部定位服装所在坐标方位，利用Sobel边缘检测算法及KNN算法判断服装涉及敏感信息，并报警提示。

所述的Sobel边缘检测算法中的Sobel卷积因子为：该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以A代表原始图像，G_x及G_y分别代表经横向及纵向边缘检测的图像灰度值，公式如下：

G_x＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)

+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)

+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)

＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

G_y＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)

+0*f(x-1,y)0*f(x,y)+0*f(x+1,y)

+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)

＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]；

式中f(a,b)表示图像(a,b)点的灰度值；图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：如果梯度G大于某一阀值。则认为该点(x,y)为边缘点。通过将整张图片分析运算，即得出服装轮廓图。

所述的“敏感”信息判定KNN算法，包括如下步骤：

1)随机从特征库中选择k个样本作为移动终端“敏感”信息的k个初始最邻近节点；

2)计算移动终端“敏感”信息与每个初始k个初始最邻近节点的欧氏距离；

3)将步骤2所得结果排序，并求得其中最大值；

4)重复步骤2和步骤3并记录特征次数，并按照高低顺序排序；

5)依据步骤4结果判定图片信息是否“敏感”。

实施例:

取典型正、反例识别成功率(正、反例2000个)，移动终端是否存在卡顿现象，报警平均延迟以及内存开销率。

表1列出的是本实验针对上述实验内容及目的的结果。

表1

实验结果与分析：

移动终端“敏感”信息识别系统在功能和性能方面都有良好的表现，图像识别方面优势明显，同时无卡顿现象，内存占用率较小，对硬件速度影响很小。缺点：对硬件有有依赖性，响应速度方面有待加强。

Claims (3)

1.一种移动终端“敏感”信息识别方法，分为画面扫描和特征提取及匹配两个阶段，其特征在于，包括以下步骤：

1)画面扫描阶段是将移动终端动态画面到静态图片的转换：

画面扫描以16×16为单位，30s/次扫描当前画面，初步提取画面特征，当画面出现两个或两个以上符合敏感信息特征时，截图至终端内存，通过存放在内存里，实现动态画面到静态图片的转换；

2)特征提取及匹配阶段是对图片进行分析并得出是否为“敏感”信息，特征提取及匹配阶段由倒双三角双重判别算法、PCA面部识别、Sobel边缘检测算法及KNN算法组成，详细步骤如下：

①将步骤1)处理的图片通过倒双三角双重判别算法以肤色可分性作为依据，在确定的颜色空间内，定义出肤色的边界，进而把肤色划分在一个确定的区域内部，以下式所定义：

$\begin{array}{c}(R,G,B)isclassifiedasskinif:\\ R>95andG>40andB>20and\\ \max \{R,G,B\}-\min \{R,G,B\}>15and\\ |R-G|>15andR>GandR>B\end{array};$

②在YC_bC_r颜色空间，经试验发现验C_bC_r平面上一个像素的颜色如果落入下公式所表示的矩形区域内，则被认为属于肤色像素；

133≤C_r≤177；

29≤C_b≤127；

③由RGB与YC_bC_r的转换公式可知，我们可以在RGB空间中构造一个和YC_bC_r空间具有相同分类性能的皮肤检测器,以下式所示，

$\begin{array}{c}133\≤0.439R-0.368G-0.071B+128\≤177\\ 77\≤-0.148R-0.291G+0.439B+128\≤127\end{array};$

④将肤色在YUV和YIQ的色度空间上的分布进行了分析，通过YUV空间的相位角和YIQ空间的I分量联合的方法来确定肤色在色度信息上的分布范围，在YUV空间中，U和V是平面上两个相互正交的矢量，称为色度信号矢量，每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表示，色调由相位角θ表示；

$\begin{array}{c}Ch\sqrt{|V{|}^2+|U{|}^2}\\ \mathrm{\θ}={\tan }^{-1}\left(\right|V|/|U\left|\right)\end{array};$

⑤接下来判定符合人体肤色特征C_r分量所在区域，进而分割人脸，通过人面部各个特征部位识别眉毛、下巴、鼻尖等之间的坐标，计算瞳孔与鼻尖θ，瞳孔与嘴唇I；满足下式范围条件的几何图形初步认为是人脸；

$\begin{array}{c}100\≤\mathrm{\θ}\≤150\\ 20\≤I\≤90\end{array};$

⑥PCA面部识别将所定位脸部特征高维图像空间经PCA变换后得到一组新的正交基，对这些正交基做一定的取舍，保留其中的一部分生成低维的人脸空间，也即是人脸的特征子空间,利用PCA变换的生成矩阵Q,首先计算训练集的协方差矩阵X，其中x₁,x₂,...,x_n为第i副图像的描述,即x₁为一个列向量；

$X=\left[\begin{array}{cccc}{x}_1-\stackrel{\‾}{x}& x_2-\stackrel{\‾}{x}& \mathrm{...}& x_n-\stackrel{\‾}{x}\end{array}\right];$

$\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ .\\ x_n\end{array}\right];$

$Q={\mathrm{XX}}^T=\left[\begin{array}{cccc}{x}_1-\stackrel{\‾}{x}& x_2-\stackrel{\‾}{x}& \mathrm{...}& x_n-\stackrel{\‾}{x}\end{array}\right]\left[\begin{array}{c}{(x_1-\stackrel{\‾}{x})}^T\\ {(x_2-\stackrel{\‾}{x})}^T\\ .\\ .\\ .\\ {(x_n-\stackrel{\‾}{x})}^T\end{array}\right];$

式中，e是矩阵P的特征值λ对应的特征向量，则有：

$\begin{array}{c}Pe=\mathrm{\λ}l\\ x^{T}Xl=\mathrm{\λ}l\\ Q\left(Xe\right)=\mathrm{\λ}\left(Xe\right)\end{array};$

⑦计算生成矩阵P的特征值和特征向量，并挑选合适的特征值和特征向量，构造特征子空间变化矩阵，把训练图像和测试图像投影到特征空间中，每一幅人脸图像投影到子空间以后，就对应于子空间的一个点，同样，子空间中的任一点也对应于一副图像。将重构的脸称为特征脸Eigenface，接下来，分别让样本集和测试集的图像投影到该子空间中，即：eigenvector'*X等等，然后得到一组坐标系数，把投影到特征子空间中的测试图像和样本集进行比较，判断人脸特征及所在位置；

⑧Sobel边缘检测算法通过人脸部定位服装所在坐标方位，利用Sobel边缘检测算法及KNN算法判断服装涉及敏感信息，并报警提示。

2.根据权利要求1所述的一种移动终端“敏感”信息识别方法，其特征在于，所述的Sobel边缘检测算法中的Sobel卷积因子为：该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以A代表原始图像，G_x及G_y分别代表经横向及纵向边缘检测的图像灰度值，公式如下：

G_x＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)

+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)

+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)

＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

G_y＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)

+0*f(x-1,y)0*f(x,y)+0*f(x+1,y)

+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)

＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]；式中f(a,b)表示图像(a,b)点的灰度值；图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：如果梯度G大于某一阀值；则认为该点(x,y)为边缘点。通过将整张图片分析运算，即得出服装轮廓图。

3.根据权利要求1所述的一种移动终端“敏感”信息识别方法，其特征在于，所述的“敏感”信息判定KNN算法，包括如下步骤：

1)随机从特征库中选择k个样本作为移动终端“敏感”信息的k个初始最邻近节点；

2)计算移动终端“敏感”信息与每个初始k个初始最邻近节点的欧氏距离；

3)将步骤2所得结果排序，并求得其中最大值；

4)重复步骤2和步骤3并记录特征次数，并按照高低顺序排序；

5)依据步骤4结果判定图片信息是否“敏感”。