CN103839037A - 一种基于众核和gpu的网络视频流不良内容检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于众核和GPU的网络视频流不良内容检测方法，包括：在众核计算平台下获取网络数据包，对网络数据包进行分类，以提取网络数据包中的视频数据包，对视频数据包进行重组，按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列，GPU采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，以确定疑似不良图像，GPU采用SVM对疑似不良图像进行精确处理，以确定不良图像。本发明只需获取网络数据包，即可识别出视频流，直接对视频流进行解码后，采用图像匹配检测技术即可识别该视频流是否含有不良信息。

Description

一种基于众核和GPU的网络视频流不良内容检测方法和系统

技术领域

本发明属于网络信息监控技术领域，更具体地，涉及一种基于众核和GPU的网络视频流不良内容检测方法和系统。 

背景技术

网络已经成为人们获得信息从而了解自己和认识世界所不可或缺的途径，然而目前网络内容异常庞杂，而且泥沙俱下、良莠不齐，色情、暴力、反动、欺诈等不良信息混杂在网络信息之中，网络上的敏感信息，特别是色情小说、色情图像及视频的传播，扰乱社会秩序，破坏社会风气，给人们尤其是青少年的健康成长容易造成极大的负面影响。通过从网络信息内容安全向网络行为安全领域的切换，确保青少年不被网络中大量传播的不良网络内容精神污染，对于维护社会稳定以及保障青少年身心健康成长具有重要的理论价值与现实意义。其中图像视频比起文本具有更丰富的信息，因而，它具有更大的危害。 

目前，在网络不良信息过滤方面，常用的方法是路由器过滤和软件过滤。 

路由器过滤方法将不良信息源的IP地址及节点列表，设成黑名单，利用网络出口过滤功能，屏蔽信息的IP地址。该技术的运用存在两个难点：一是不良信息源IP地址的确定问题，不少不良网络信息传播者盗取其他健康网站的IP地址，或经常改IP地址，这对于编制过滤IP地址黑名单十分困难；二是如果互联网上采取了过严的控制，有时会使一些信息资源丰富的节点变得无法或很难访问，这实际上是阻止了网络用户对合法网站的访问。 

软件过滤方法实质上是基于内容的过滤技术，即从多媒体信息中提取对不良信息识别有用的数据，针对网络信息内容本身的分析，从根本上解决网络信息安全技术对不良信息的监督能力不足的问题。网络视频通常数据量大，抽象程度低，传统视频检测软件方法需要将视频完整下载到本地才能进行，无法满足在线处理的性能要求，具有效率低、实时性较差的缺点。 

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于众核和GPU的网络视频流不良内容检测方法，其利用众核计算平台和GPU等硬件设备，实时监控网络视频流，及时发现不良视频流，并做出相应的响应。无需先下载视频，只需获取网络数据包，即可识别出视频流，直接对视频流进行解码后采用图像匹配检测技术即可识别该视频流是否含有不良信息。 

为实现上述目的，本发明提供了一种基于众核和GPU的网络视频流不良内容检测方法，包括以下步骤： 

（1）在众核计算平台下获取网络数据包； 

（2）对网络数据包进行分类，以提取网络数据包中的视频数据包； 

（3）对视频数据包进行重组； 

（4）按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列 

（5）GPU采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像； 

（6）GPU采用SVM对疑似不良图像进行精确处理，以确定不良图像。 

步骤（2）具体为，根据获取的网络数据包头部中的源IP、目的IP、源端口、目的端口以及协议类型的信息对网络数据包进行分类，以找出视频数据包。 

步骤（3）具体为，根据视频数据包的源IP地址和目的地址，按照网络视频协议对视频数据包进行重组，并去除视频数据包中的网络附加信息。 

步骤（4）包括以下子步骤： 

（4-1）判断视频数据包所用的编码类型； 

（4-2）根据各个类型的视频数据包的流量比例计算各个解码进程的数量； 

（4-3）利用确定数量的解码进程对视频数据包进行解码，以生成图像序列。 

步骤（5）具体包括以下子步骤： 

（5-1）将图像序列中的图像划分为多个矩阵区域； 

（5-2）分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R： 

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，

表示像素点的均值，E（）表示求取平均值，R取值为0到1之间； 

（5-3）判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑。 

（5-4）通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值，转换公式如下： 

定义中间参数v'＝max(r,g,b)，r'，g'，b'为 

$r^{\′}=\frac{v^{\′}-r}{v^{\′}-\min (r,g,b)}$

$g^{\′}=\frac{g^{\′}-r}{v^{\′}-\min (r,g,b)}$

$b^{\′}=\frac{b^{\′}-r}{v^{\′}-\min (r,g,b)}$

h＝60*h' 

$s=\frac{v^{\′}-\min (r,g,b)}{v^{\′}}$

$v=\frac{v^{\′}}{255}$

其中 

上述公式中，max表示取最大值，min表示取最小值，&表示且关系，r,g,b∈[0,255]，h∈[0,360]，s∈[0,1]； 

（5-5）判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内，具体而言，根据图像检测的经验，h、s、v满足一下范围，h∈[0,64]且s∈[38.4,230.4]且v∈[51.2,243.2]，则可以被判定为肤色点； 

（5-6）统计步骤（5-5）中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小； 

（5-7）判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然后转入步骤（6），否则过程结束。 

步骤（6）包括以下子步骤： 

（6-1）选定多个不良图像和非不良图像作为训练集； 

（6-2）使用SIFT特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库； 

（6-3）使用SIFT特征点检测方法计算疑似不良图像的SIFT特征点； 

（6-4）判断疑似不良图像的SIFT特征点是否在样本库中，如果是则 可以判定该疑似不良图像是不良图像，否则过程结束。 

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果： 

1、在线实时监控：由于采用了步骤（1）至步骤（4），只要获取到完整的图像序列，就可以直接进行不良信息检测，如果含有不良信息就可以直接进行过滤，而无需等待视频完全下载，具有实时性监控的特点。 

2、检测效率高：由于采用了步骤（1）至（4），其在众核计算平台下实现，而步骤（5）至（6）是在GPU中实现，使得检测效率大大提高，避免了单步处理速度过慢带来的性能瓶颈。 

3、检测准确度高：由于采用了步骤（5）至步骤（6），先采用纹理检测方法，将非纹理区域标黑，然后采用肤色值检测方法，提取出疑似不良图片，这样减少了需精确检测的工作量，最后采用基于SVM的机器学习方法进行精确检测，两种方法结合的图像检测方法使得检测准确度提高。 

本发明的另一目的在于提供一种基于众核和GPU的网络视频流不良内容检测系统，其利用众核计算平台和GPU等硬件设备，实时监控网络视频流，及时发现不良视频流，并做出相应的响应。无需先下载视频，只需获取网络数据包，即可识别出视频流，直接对视频流进行解码后采用图像匹配检测技术，即可识别该视频流是否含有不良信息。 

为实现上述目的，本发明提供了一种基于众核和GPU的网络视频流不良内容检测系统，包括数据包获取模块、分类模块、重组模块、解码模块、处理模块、预处理模块、SVM模块，数据包获取模块、分类模块、重组模块、解码模块设置于众核计算平台下，预处理模块、SVM模块设置于GPU中，数据包获取模块用于获取网络数据包，分类模块用于对网络数据包进行分类，以提取网络数据包中的视频数据包，重组模块用于对视频数据包进行重组，解码模块用于在众核计算平台下按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列，预处理模块用于采用基于纹理检测 和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像，SVM模块用于采用SVM对疑似不良图像进行精确处理，以确定不良图像。 

解码模块包括第一判断子模块、第一计算子模块和解码子模块，第一判断子模块用于判断视频数据包所用的编码类型，第一计算子模块用于根据各个类型的视频数据包的流量比例计算各个解码进程的数量，解码子模块用于利用确定数量的解码进程对视频数据包进行解码，以生成图像序列，预处理模块包括划分子模块、第二计算子模块、第二判断子模块、转换子模块、第三判断子模块、统计子模块和第四判断子模块，划分子模块用于将图像序列中的图像划分为mxm的矩阵区域，第二计算子模块用于分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R： 

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，

表示像素点的均值，E（）表示求取平均值，R取值为0到1之间，第二判断子模块用于判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑，然后进入预处理模块，否则直接进入预处理模块。 

转换子模块用于通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值，第三判断子模块用于判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内，统计子模块用于统计第三判断子模块中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小，第四判断子模块用于判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然 后转入SVM模块，否则过程结束，SVM模块包括选择子模块、第一特征点计算子模块、第二特征点计算子模块和第五判断子模块，选择子模块用于选定多个不良图像和非不良图像作为训练集，第一特征点计算子模块用于使用SIFT特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库，第二特征点计算子模块用于使用SIFT特征点检测方法计算疑似不良图像的SIFT特征点，第五判断子模块用于判断疑似不良图像的SIFT特征点是否在样本库中，如果是则可以判定该疑似不良图像是不良图像，否则过程结束。 

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果： 

1、在线实时监控：由于采用了数据包获取模块、分类模块、重组模块、解码模块，只要获取到完整的图像序列，就可以直接进行不良信息检测，如果含有不良信息就可以直接进行过滤，而无需等待视频完全下载，具有实时性监控的特点。 

2、检测效率高：由于采用了数据包获取模块、分类模块、重组模块、解码模块，其在众核计算平台下实现，而预处理模块、SVM模块是在GPU中实现，使得检测效率大大提高，避免了单步处理速度过慢带来的性能瓶颈。 

3、检测准确度高：由于采用了预处理模块，先采用纹理检测方法，将非纹理区域标黑，然后采用肤色值检测方法，提取出疑似不良图片，这样减少了需精确检测的工作量，最后采用基于SVM的机器学习方法进行精确检测，两种方法结合的图像检测方法使得检测准确度提高。 

附图说明

图1是本发明基于众核和GPU的网络视频流不良内容检测方法的流程图。 

图2是本发明方法中步骤（4）的细化流程图。 

图3是本发明方法中步骤（5）的细化流程图。 

图4是本发明方法中步骤（6）的细化流程图。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

如图1所示，本发明基于众核和GPU的网络视频流不良内容检测方法包括以下步骤： 

（1）获取网络数据包；具体而言，可分为被动方式获取与主动方式获取，被动方式是在网络入口处利用网关设备的数据镜像功能获取所有通过该网关的网络数据包，主动方式是向有视频资源的主机发出请求，然后捕获该主机发出的数据包，在Linux系统下采用Libpcap开发包进行网络数据包的获取，在Windows系统下采用Winpcap进行网络数据包的获取。 

（2）对网络数据包进行分类，以提取网络数据包中的视频数据包；具体而言，根据获取的网络数据包头部中的源IP、目的IP、源端口、目的端口以及协议类型的信息对网络数据包进行分类，以找出视频数据包； 

（3）对视频数据包进行重组，具体而言，根据视频数据包的源IP地址和目的地址，按照网络视频协议对视频数据包进行重组，并去除视频数据包中的头部、协商、应答、重传等网络附加信息； 

（4）在众核计算平台下按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列，具体而言，本发明采用的解码协议为MPEG、H.261以及H.263，具体包括以下子步骤（如图2所示）； 

（4-1）判断视频数据包所用的编码类型； 

（4-2）根据各个类型的视频数据包的流量比例计算各个解码进程的数量； 

（4-3）利用确定数量的解码进程对视频数据包进行解码，以生成图像序列； 

（5）GPU采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像，具体包含以下子步骤（如图3所示）： 

（5-1）将图像序列中的图像划分为mxm的矩阵区域（m为正整数，其取值可根据图片大小进行设定）； 

（5-2）分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R： 

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，

表示像素点的均值，E（）表示求取平均值，R取值为0到1之间，越趋近于1，则光滑度越低，越趋近于0，则光滑度越高。 

（5-3）判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑；在本实施方式中，阈值的取值是0.98，即光滑度因子大于0.98时，认为是非肤色纹理区域，反之，是肤色纹理区域。 

（5-4）通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值，转换公式如下： 

定义中间参数v'＝max(r,g,b)，r'，g'，b'为 

$r^{\′}=\frac{v^{\′}-r}{v^{\′}-\min (r,g,b)}$

$g^{\′}=\frac{g^{\′}-r}{v^{\′}-\min (r,g,b)}$

$b^{\′}=\frac{b^{\′}-r}{v^{\′}-\min (r,g,b)}$

则有 

h＝60*h' 

$s=\frac{v^{\′}-\min (r,g,b)}{v^{\′}}$

$v=\frac{v^{\′}}{255}$

其中 

上述公式中，max表示取最大值，min表示取最小值，&表示且关系，r,g,b∈[0,255]，h∈[0,360]，s∈[0,1]； 

（5-5）判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内，具体而言，根据图像检测的经验，h、s、v满足一下范围，h∈[0,64]且s∈[38.4,230.4]且v∈[51.2,243.2]，则可以被判定为肤色点。 

（5-6）统计步骤（5-5）中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小； 

（5-7）判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然后转入步骤（6），否则过程结束；在本实施方式中，疑似不良图像的阈值取值范围是10%。 

（6）GPU采用支持向量机（Support vector machine，SVM）对疑似不良图像进行精确处理，以确定不良图像，具体包括以下子步骤： 

（6-1）选定多个不良图像和非不良图像作为训练集；在本实施方式中，不良图像和非不良图像的数量均为2000张； 

（6-2）使用尺度不变特征转换（Scale-invariant feature transform，简称SIFT）特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库； 

（6-3）使用SIFT特征点检测方法计算疑似不良图像的SIFT特征点； 

（6-4）判断疑似不良图像的SIFT特征点是否在样本库中，如果是则可以判定该疑似不良图像是不良图像，否则过程结束。 

本发明基于众核和GPU的网络视频流不良内容检测系统包括数据包获取模块、分类模块、重组模块、解码模块、处理模块、预处理模块、SVM模块，其中数据包获取模块、分类模块、重组模块、解码模块设置于众核计算平台下，处理模块、预处理模块、SVM模块设置于GPU中。 

数据包获取模块用于获取网络数据包；具体而言，可分为被动方式获取与主动方式获取，被动方式是在网络入口处利用网关设备的数据镜像功能获取所有通过该网关的网络数据包，主动方式是向有视频资源的主机发出请求，然后捕获该主机发出的数据包，在Linux系统下采用Libpcap开发包进行网络数据包的获取，在Windows系统下采用Winpcap进行网络数据包的获取。 

分类模块用于对网络数据包进行分类，以提取网络数据包中的视频数据包；具体而言，根据获取的网络数据包头部中的源IP、目的IP、源端口、目的端口以及协议类型的信息对网络数据包进行分类，以找出视频数据包。 

重组模块用于对视频数据包进行重组，具体而言，根据视频数据包的源IP地址和目的地址，按照网络视频协议对视频数据包进行封装，并去除视频数据包中的头部、协商、应答、重传等网络附加信息； 

解码模块用于在众核计算平台下按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列，具体而言，本发明采用的解码协议为MPEG、H.261以及H.263，具体包括第一判断子模块、第一计算子模块和解码子模块。 

第一判断子模块用于判断视频数据包所用的编码类型。 

第一计算子模块用于根据各个类型的视频数据包的流量比例计算各个解码进程的数量。 

解码子模块用于利用确定数量的解码进程对视频数据包进行解码，以生成图像序列。 

预处理模块用于采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像，具体包含划分子模块、第二计算子模块、第二判断子模块、转换子模块、第三判断子模块、统计子模块和第四判断子模块。 

划分子模块用于将图像序列中的图像划分为mxm（m为正整数，其取值可根据图片大小进行设定）的矩阵区域。 

第二计算子模块用于分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R： 

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，

表示像素点的均值，E（）表示求取平均值，R取值为0到1之间，越趋近于1，则光滑度越低，越趋近于0，则光滑度越高。 

第二判断子模块用于判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑；在本实施方式中，阈值的取值是0.98，即光滑度因子大于0.98时，认为是非肤色纹理区域，反之，是肤色纹理区域。 

转换子模块用于通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值，转换公式如下： 

定义中间参数v'＝max(r,g,b)，r'，g'，b'为 

$r^{\′}=\frac{v^{\′}-r}{v^{\′}-\min (r,g,b)}$

$g^{\′}=\frac{g^{\′}-r}{v^{\′}-\min (r,g,b)}$

$b^{\′}=\frac{b^{\′}-r}{v^{\′}-\min (r,g,b)}$

则有 

h＝60*h' 

$s=\frac{v^{\′}-\min (r,g,b)}{v^{\′}}$

$v=\frac{v^{\′}}{255}$

其中 

上述公式中，max表示取最大值，min表示取最小值，&表示且关系，r,g,b∈[0,255]，h∈[0,360]，s∈[0,1]。 

第三判断子模块用于判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内，具体而言，根据图像检测的经验，h、s、v满足一下范围，h∈[0,64]且s∈[38.4,230.4]且v∈[51.2,243.2]，则可以被判定为肤色点。 

统计子模块用于统计第三判断子模块中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小。 

第四判断子模块用于判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然后转入SVM模块，否则过程结束；在本实施方式中，疑似不良图像的阈值取值范围是10%。 

SVM模块用于采用支持向量机（Support vector machine，SVM）对疑似不良图像进行精确处理，以确定不良图像，具体包括选择子模块、第一特征点计算子模块、第二特征点计算子模块和第五判断子模块。 

选择子模块用于选定多个不良图像和非不良图像作为训练集；在本实施方式中，不良图像和非不良图像的数量均为2000张。 

第一特征点计算子模块用于使用尺度不变特征转换（Scale-invariantfeature transform，简称SIFT）特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库。 

第二特征点计算子模块用于使用SIFT特征点检测方法计算疑似不良图像的SIFT特征点。 

第五判断子模块用于判断疑似不良图像的SIFT特征点是否在样本库中，如果是则可以判定该疑似不良图像是不良图像，否则过程结束。 

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (8)

1.一种基于众核和GPU的网络视频流不良内容检测方法，其特征在于，包括以下步骤：

（1）在众核计算平台下获取网络数据包；

（2）对网络数据包进行分类，以提取网络数据包中的视频数据包；

（3）对视频数据包进行重组；

（4）按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列；

（5）GPU采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像；

（6）GPU采用SVM对疑似不良图像进行精确处理，以确定不良图像。

2.根据权利要求1所述的网络视频流不良内容检测方法，其特征在于，步骤（2）具体为，根据获取的网络数据包头部中的源IP、目的IP、源端口、目的端口以及协议类型的信息对网络数据包进行分类，以找出视频数据包。

3.根据权利要求1所述的网络视频流不良内容检测方法，其特征在于，步骤（3）具体为，根据视频数据包的源IP地址和目的地址，按照网络视频协议对视频数据包进行重组，并去除视频数据包中的网络附加信息。

4.根据权利要求1所述的网络视频流不良内容检测方法，其特征在于，步骤（4）包括以下子步骤：

（4-1）判断视频数据包所用的编码类型；

（4-2）根据各个类型的视频数据包的流量比例计算各个解码进程的数量；

（4-3）利用确定数量的解码进程对视频数据包进行解码，以生成图像序列。

5.根据权利要求1所述的网络视频流不良内容检测方法，其特征在于，步骤（5）具体包括以下子步骤：

（5-1）将图像序列中的图像划分为多个矩阵区域（m的取值可根据图片大小进行设定）；

（5-2）分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R：

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，

表示像素点的均值，E（）表示求取平均值，R取值为0到1之间；

（5-3）判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑。

（5-4）通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值，转换公式如下：

定义中间参数v'＝max(r,g,b)，r'，g'，b'为

$r^{\′}=\frac{v^{\′}-r}{v^{\′}-\min (r,g,b)}$

$g^{\′}=\frac{g^{\′}-r}{v^{\′}-\min (r,g,b)}$

$b^{\′}=\frac{b^{\′}-r}{v^{\′}-\min (r,g,b)}$

h＝60*h'

$s=\frac{v^{\′}-\min (r,g,b)}{v^{\′}}$

$v=\frac{v^{\′}}{255}$

其中

上述公式中，max表示取最大值，min表示取最小值，&表示且关系，r,g,b∈[0,255]，h∈[0,360]，s∈[0,1]；

（5-5）判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内，具体而言，根据图像检测的经验，h、s、v满足一下范围，h∈[0,64]且s∈[38.4,230.4]且v∈[51.2,243.2]，则可以被判定为肤色点；

（5-6）统计步骤（5-5）中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小；

（5-7）判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然后转入步骤（6），否则过程结束。

6.根据权利要求1所述的网络视频流不良内容检测方法，其特征在于，步骤（6）包括以下子步骤：

（6-1）选定多个不良图像和非不良图像作为训练集；

（6-2）使用SIFT特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库；

（6-3）使用SIFT特征点检测方法计算疑似不良图像的SIFT特征点；

（6-4）判断疑似不良图像的SIFT特征点是否在样本库中，如果是则可以判定该疑似不良图像是不良图像，否则过程结束。

7.一种基于众核和GPU的网络视频流不良内容检测系统，其特征在于，

包括数据包获取模块、分类模块、重组模块、解码模块、预处理模块、SVM模块，数据包获取模块、分类模块、重组模块、解码模块设置于众核计算平台下，处理模块、预处理模块、SVM模块设置于GPU中；

数据包获取模块用于获取网络数据包；

分类模块用于对网络数据包进行分类，以提取网络数据包中的视频数据包；

重组模块用于对视频数据包进行重组；

解码模块用于在众核计算平台下按照网络视频流编码的语法对重组后的视频数据包进行解码，以生成图像序列；

预处理模块用于采用基于纹理检测和肤色点检测相结合的方法对图像序列进行预处理，采用基于纹理检测的方法处理图像序列，并将图像序列中的非纹理区域标黑，采用肤色点检测的方法确定疑似不良图像；

SVM模块用于采用SVM对疑似不良图像进行精确处理，以确定不良图像。

8.根据权利要求7所述的网络视频流不良内容检测系统，其特征在于，

解码模块包括第一判断子模块、第一计算子模块和解码子模块；

第一判断子模块用于判断视频数据包所用的编码类型；

第一计算子模块用于根据各个类型的视频数据包的流量比例计算各个解码进程的数量；

解码子模块用于利用确定数量的解码进程对视频数据包进行解码，以生成图像序列；

预处理模块包括划分子模块、第二计算子模块、第二判断子模块、转换子模块、第三判断子模块、统计子模块和第四判断子模块；

划分子模块用于将图像序列中的图像划分为多个矩阵区域；

第二计算子模块用于分别采用以下公式计算每个矩阵区域的灰度方差σ和光滑度因子R：

$\mathrm{\σ}=E\left({(x-\stackrel{\‾}{x})}^2\right)$

$R=1-\frac{1}{1+\mathrm{\σ}}$

其中x表示矩阵区域中的像素点，表示像素点的均值，E（）表示求取平均值，R取值为0到1之间；

第二判断子模块用于判断矩形区域的光滑度因子是否小于选定的阈值，如果大于阈值，则该矩形区域被判定为非肤色纹理区域，并将此区域标黑；

转换子模块用于通过非线性变换将图像序列中的图像的RGB颜色空间r、g、b值转换到HSV空间的h、s、v值；

第三判断子模块用于判断图像中每个像素点的h、s、v值是否都在肤色点的范围之内；

统计子模块用于统计第三判断子模块中h、s、v值在肤色点范围之内的像素点的数目，并计算肤色点占图像的比率大小；

第四判断子模块用于判断该比率是否大于设定为疑似不良图像的阈值，如果是则该图像被认定为疑似不良图像，然后转入SVM模块，否则过程结束；

SVM模块包括选择子模块、第一特征点计算子模块、第二特征点计算子模块和第五判断子模块；

选择子模块用于选定多个不良图像和非不良图像作为训练集；

第一特征点计算子模块用SIFT特征点检测方法计算训练集中不良图像的SIFT特征点，以形成样本库；

第二特征点计算子模块用SIFT特征点检测方法计算疑似不良图像的SIFT特征点；

第五判断子模块用于判断疑似不良图像的SIFT特征点是否在样本库中，如果是则可以判定该疑似不良图像是不良图像，否则过程结束。

Images