CN106557527A - 一种色情图像检测和系统 - Google Patents
一种色情图像检测和系统 Download PDFInfo
- Publication number
- CN106557527A CN106557527A CN201510641416.6A CN201510641416A CN106557527A CN 106557527 A CN106557527 A CN 106557527A CN 201510641416 A CN201510641416 A CN 201510641416A CN 106557527 A CN106557527 A CN 106557527A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- pornographic
- checked
- altimetric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 155
- 238000012360 testing method Methods 0.000 claims abstract description 71
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的色情图像检测方法和系统,应用于通信领域。从高吞吐量业务接口获取至少一个待检测图像;从多个检测模块中确定出至少一个检测模块作为待检测模块;将所述待检测图像分发给对应的所述待检测模块;所述待检测模块对所述待检测图像进行色情图像检测得到检测结果。与现有技术相比,能够对高吞吐量业务中的大量图片进行色情检测,进一步避免通过高吞吐量业务进行色情传播的安全隐患,提高高吞吐量业务的网络安全,提高了用户体验度。
Description
技术领域
本发明涉及通信领域,具体涉及一种色情图像检测方法和系统。
背景技术
和传统短/彩信业务相比,高吞吐量业务融合通信(以下简称RCS,Rich Communication Suite)的消息传输更具互联网业务特征;以及融合内容分发网络(以下简称CDN,Content Delivery Network)作为各类互联网业务提供统一加速服务的内容管道,是获取用户互联网访问数据的有效载体。这两类载体伴随的内容安全问题也需要有效遏制。典型如色情类图像的传播,在RCS和CDN下传播渠道更宽泛,吞吐量巨大,必需采取快速有效的技术手段实施检测和过滤。
发明内容
本发明要解决的主要技术问题是,提供一种色情图像检测方法和系统,解决现有中高吞吐量业务中色情安全的问题。
为解决上述问题,本发明提供一种色情图像检测方法,包括:
从高吞吐量业务接口获取至少一个待检测图像;
从多个检测模块中确定出至少一个检测模块作为待检测模块;
将所述待检测图像分发给对应的所述待检测模块;
所述待检测模块对所述待检测图像进行色情图像检测得到检测结果。
在本发明的一种实施例中,所述高吞吐量业务接口包括融合通信接口和/或内容分发网络接口。
在本发明的一种实施例中,所述检测结果包括所述待检测图像为疑似色情图像;在得到检测结果后,还包括:对所述待检测图像的检测结果为疑似色情图像进行人工确认。
在本发明的一种实施例中,在将所述待检测图像分发给对应的所述待检测模块之前还包括;根据预设大小将多个待检测图像进行打包成数据包;所述将所述待检测图像分发给对应的所述待检测模块包括:将数据包分发对应的所述待检测模块。
在本发明的一种实施例中,所述将所述待检测图像分发给对应的所述待检测模块包括:通过路由模块将将所述待检测图像分发给对应的所述待检测模块。
在本发明的一种实施例中,当从高吞吐量业务接口获取多个待检测图像时;所述从多个检测模块中确定出待检测模块包括:从多个检测模块中确定出多个检测模块为待检测模块;所述将所述待检测图像分发给对应的所述待检测模块包括:通过异步方式将多个待检测图像分别分发给对应的所述待检测模块。
在本发明的一种实施例中,所述待检测模块对所述待检测图像进行色情图像检测得到检测结果包括:
所述检测模块使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果。
在本发明的一种实施例中,所述全局特征包括:在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征。
在本发明的一种实施例中,所述检测模块使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果包括:
采集图像样本并根据是否为色情图像标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;
得到所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;
根据所述色情图像索引和所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;
根据多个相似的样本图像对应的标记得到检测结果。
在本发明的一种实施例中,所述根据多个相似的样本图像对应的标记得到检测结果包括:
根据多个相似的样本图像对应的标记得到色情样本图像个数占比;
占比大于等于第一阈值,则检测结果为色情图像;
占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,所述第一阈值大于所述第二阈值;
占比小于等于第二阈值,则检测结果为非色情图像。
为解决上述问题,本发明还提供一种色情图像检测系统,包括获取模块、确定模块、分发模块和多个检测模块:
所述获取模块用于从高吞吐量业务接口获取至少一个待检测图像;
所述确定模块用于从多个检测模块中确定出至少一个检测模块作为待检测模块;
所述分发模块用于将所述待检测图像分发给对应的所述待检测模块;
所述检测模块用于对所述待检测图像进行色情图像检测得到检测结果。
在本发明的一种实施例中,还包括人工坐席模块,所述人工坐席模块用于所述检测结果包括所述待检测图像为疑似色情图像;在得到检测结果后,还包括:对所述待检测图像的检测结果为疑似色情图像进行人工确认。
在本发明的一种实施例中,所述分发模块还用于,在将所述待检测图像分发给对应的所述待检测模块之前,根据预设大小将多个待检测图像进行打包成 数据包;将数据包分发对应的所述待检测模块。
在本发明的一种实施例中,还包括路由模块,所述分发模块还用于通过所述路由模块将将所述待检测图像分发给对应的所述待检测模块。
在本发明的一种实施例中,当从高吞吐量业务接口获取多个待检测图像时;所述确定模块还用于从多个检测模块中确定出多个检测模块为待检测模块;所述分发模块还用于通过异步方式将多个待检测图像分别分发给对应的所述待检测模块。
在本发明的一种实施例中,所述检测模块还用于使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果。
在本发明的一种实施例中,所述全局特征包括:在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征。
在本发明的一种实施例中,所述检测模块还用于:
采集图像样本并根据是否为色情图像标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;
得到所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;
根据所述色情图像索引和所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;
根据多个相似的样本图像对应的标记得到检测结果。
在本发明的一种实施例中,所述根据多个相似的样本图像对应的标记得到检测结果包括:
根据多个相似的样本图像对应的标记得到色情样本图像个数占比;
占比大于等于第一阈值,则检测结果为色情图像;
占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,所述第一阈值大于所述第二阈值;
占比小于等于第二阈值,则检测结果为非色情图像。
本发明的有益效果是:
本发明提供的色情图像检测方法和系统,从高吞吐量业务接口获取至少一个待检测图像;从多个检测模块中确定出至少一个检测模块作为待检测模块;将所述待检测图像分发给对应的所述待检测模块;所述待检测模块对所述待检测图像进行色情图像检测得到检测结果。与现有技术相比,能够对高吞吐量业务中的大量图片进行色情检测,进一步避免通过高吞吐量业务进行色情传播的安全隐患,提高高吞吐量业务的网络安全,提高了用户体验度。
附图说明
图1为本发明实施例一提供的色情图像检测方法流程图;
图2-1为本发明实施例二提供的色情图像检测系统结构图;
图2-2为本发明实施例二提供的色情图像检测方法流程图;
图3-1为本发明实施例三提供的色情图像检测系统结构图;
图3-2为本发明实施例三提供的色情图像检测方法流程图;
图4为本发明实施例四提供的色情图像检测方法流程图;
图5-1为本发明实施例五提供的色情图像检测系统结构图;
图5-2为本发明实施例五提供的色情图像检测方法流程图;
图6-1为本发明实施例六提供的色情图像检测系统结构图一;
图6-2为本发明实施例六提供的色情图像检测系统结构图二;
图6-3为本发明实施例六提供的色情图像检测系统结构图三。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
本实施例的色情图像检测方法,如图1所示,该方法包括:
步骤S101:从高吞吐量业务接口获取至少一个待检测图像;
在该步骤中,高吞吐量业务接口具体可以包括融合通信接口RCS和/或内容分发网络接口CDN。其中,RCS/CDN的图片传输格式包括主流的bmp、jpg、tiff、gif、png等,大小从数K到数M不等。消息每秒传输数量可达到上万条。分拣得到的图像需要进行快速有效的处理,而且随着业务量和识别特点的变化,识别方式和识别能力也要快速适应。
步骤S102:从多个检测模块中确定出至少一个检测模块作为待检测模块;
在该步骤中,由于高吞吐量业务的信息量比较大,会存在多个检测模块来进行色情图像检测,那么要对待检测图像指定对应的检测模块,即当前的待检测图像用哪个检测模块来进行色情检测,该检测模块就作为待检测模块。具体的,待检测模块可以是一个或多个检测模块,这里的待检测模块就是指当前需要用来进行待检测图像检测的检测模块,即处于工作状态的检测模块。
步骤S103:将待检测图像分发给对应的待检测模块;
在该步骤中,在确定了用哪个检测模块即待检测模块进行色情检测后,将对应的待检测图像分发到对应的待检测模块。
步骤S104:待检测模块对待检测图像进行色情图像检测得到检测结果。
在该步骤中,待检测摸进行色情检测得到检测结果,进行滤除等处理,提高网络安全。
在上述步骤S104后,检测结果包括待检测图像为疑似色情图像;在得到检测结果后,还包括:对待检测图像的检测结果为疑似色情图像进行人工确认。即对不能确定疑似色情图像,通过人工进行确认。
为了提高处理效率,避免实时发送占用太多网络资源,在将待检测图像分发给对应的待检测模块之前还包括;根据预设大小将多个待检测图像进行打包成数据包;将待检测图像分发给对应的待检测模块包括:将数据包分发对应的待检测模块。即可以将待检测图像根据一定的大小打包,这样可以以固定的大小的数据包进行分发。
进一步,为了减小分发过程中的一方面随着业务量和类型的增减需要将消息分发模块随之上线或下线,另一方面避免检测模块随之修改连接配置和重启,保持业务连续性以降低运维成本。将待检测图像分发给对应的待检测模块包括:通过路由模块将将待检测图像分发给对应的待检测模块。即借助路由模块对待检测图像进行缓存等处理。
进一步,当多个待检测图像需要分发到多个检测模块时,为了避免在分发过程中彼此冲突,可以才用异步方式进行分发,即当从高吞吐量业务接口获取多个待检测图像时;从多个检测模块中确定出待检测模块包括:从多个检测模块中确定出多个检测模块为待检测模块;将待检测图像分发给对应的待检测模块包括:通过异步方式将多个待检测图像分别分发给对应的待检测模块。
在上述步骤S104中,待检测模块对待检测图像进行色情图像检测得到检测结果可以为检测模块使用全局特征检索算法对待检测图像进行色情图像检测得到检测结果。当然,其他可以进行色情图像检测的方式都可以实现。
具体的,全局特征包括:在六角锥体模型空间上的颜色直方图特征即CD特征、区域形状特征即SCD特征和局部区域的梯度方向直方图特征即HOG特征。当然,也可以采用其他全局特征来实现,应该理解为,只要能够便于对图像进行识别以及进行检索都包含在内。检测模块使用全局特征检索算法对待检测图像进行色情图像检测得到检测结果包括:采集图像样本并根据是否为色情图像 标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;得到待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;根据色情图像索引和待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;根据多个相似的样本图像对应的标记得到检测结果。值得注意的是,这里的多个相似样本,可以根据其相似程度的高低选取一定数量的,例如选取其中的1000个。其中,根据多个相似的样本图像对应的标记得到检测结果包括:根据多个相似的样本图像对应的标记得到色情样本图像个数占比;占比大于等于第一阈值,则检测结果为色情图像;占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,第一阈值大于第二阈值;占比小于等于第二阈值,则检测结果为非色情图像。进一步,还可以根据占比得到对应的进行打分,以100分为例,根据其占比乘以100就可以得到对应的分数。设置相应的分数阈值来判断其是否为色情图像等。当然也可以直接根据占比进行判断。
实施例二:
本申实施例的色情图像检测方法,本实施例中对应的色情检测系统如图2-1所示,消息分发模块、集群驻留模块、核心检测模块、人工坐席模块、集群管理模块组成对应的色情检测系统,该方法步骤如图2-2所示,包括:
步骤A1、消息分发模块向RCS业务接口请求获得检测的图像。
步骤A2、消息分发模块将得到的图像分发到检测集群中某台服务器的核心检测模块。
步骤A3、核心检测模块使用全局特征检索算法为图像打分,判定图像类型为色情图像、非色情图像或者疑似色情图像。
步骤A4、疑似色情图像被发送到人工坐席模块进行确认,返回确认结果。
步骤A5、核心检测模块的检测结果被发送到集群管理模块进行汇总。
更进一步地,为达到待检测图像文件大吞吐量的传送,步骤A2中图像分发的流程为:
步骤A21、消息分发模块和若干实施图像检测的服务节点中的核心检测模块形成异步的请求响应关系。
步骤A22、服务节点的核心检测模块启动若干进程用于向消息分发模块请求图像数据并实施检测。
步骤A23、消息分发模块向RCS业务接口请求图像文件,设定固定的chunk值,将可能出现的若干小文件数据和对应的文件信息打包成chunk大小的数据包,将数据包形成队列。
步骤A24、当核心检测模块的进程空闲时,异步方式向消息分发模块请求并获得chunk数据包,并在内存中拆包还原成原始图像数据。
更进一步地,步骤A3中全局特征检索算法的流程为:
步骤A31、采集正样本和负样本图像若干(一般十万张以上)。
步骤A32、对每张样本图像计算三种特征值CD特征、SCD特征、HOG特征,得到样本图片的特征向量值以及正负标识的二进制集合。
其中SCD(Scalable Color Descriptor)特征描述图片在HSV空间上的颜色直方图:将图像从RGB空间转换到HSV空间后量化为一个256色区(色度H等分为16份,饱和度S等分4份,亮度V等分4份,16*4*4=256),统计每个色区中像素点数目,归一化为每个色区像素点概率分布。
CD(Compactness Descriptor)特征描述区域形状,用白色、黑色分别表示皮肤区域和非皮肤区域,形成二值图像。二值图像被等分成小块并记录各区域中的皮肤点概率分布,顺序是整幅图像、四等分每区域、16等分每区域的皮肤点概率,共21(1+4+16)项概率值。
HOG(Histogram of Oriented Gradient)特征通过计算和统计图像局部区域的梯度方向直方图来构成特征,对图像集合和光学形变能保持较好的不变性。
步骤A33、对三种特征的向量值,并对三个特征分别建立kd-tree索引文件。
步骤A34、针对从RCS接口获得的待测图像,计算CD特征、SCD特征、HOG特征。
步骤A35、用前述kd-tree索引为待测图像三个特征检索前1000个相似的值,并由高到低进行打分,分值1~1000。
步骤A36、取总得分最高的前1000张样本图像,根据样本的正负标识,统计其中正样本个数,在这1000张样本的占比乘以100即为得分。
步骤A37、上述得分在65分以上的为色情图像,得分在35分以下的为非色情图像,得分在35~65之间的为疑似色情图像。
实施例三:
上述实施例可以对特定样本相关的色情图片实施快速有效的判定,并且当样本数量覆盖比较好时能取得不错的判别效果。但在互联网环境下的业务运行过程中,会有新类型的不良图像,当这类图像越来越多时会使判别效果不断下降,因此需要将新类型的不良图像迭代加入样本库。因此在实施例二的基础上增加系统“样本训练模块”如图3-1所示,一方面获取人工坐席已判别确认的正负图像作为样本,另一方面手动传入新型正负图像样本,将样本图片重新计 算特征值追加到原有特征集合,并计算生成新的kd-tree索引。本申实施例的色情图像检测方法,如图3-2所示,包括:
步骤B1、图像检测的服务节点以“发布-订阅”模式的消息队列向集群管理模块申请订阅。
步骤B2、人工坐席模块将人工判定结果传送到样本训练模块。
步骤B3、样本训练模块将人工判定的正负样本图像提取SCD、CD和HOG特征和标识追加到原有的二进制集合,并计算生成kd-tree索引文件。
步骤B4、样本训练模块将索引文件传送到集群管理模块。
步骤B5、集群管理模块将索引文件发布到步骤B1中申请订阅的各服务节点的集群驻留模块。
步骤B6、集群驻留模块将新的索引文件替换原有索引文件,并通知核心检测模块重新读取索引再进行后续判别。
实施例四:
上述实施例中采用一个消息分发模块和RCS业务接口进行对接,获取待检测图像。随着业务发展,数据传输量的不断扩大,单个消息分发模块无法承受来自RCS业务接口的数据吞吐量;另外业务对接场景的变化,本实施例中的消息分发模块在上述实施例二和三的基础上,适用于和CDN Cache设备(以下简称Cache)对接,请求缓存图像并判别图像是否为色情。此时需要对消息分发模块节点进行扩充,引入图4所示实施例,一方面可以满足和新的RCS接口或Cache接口对接,另一方面向服务节点分发图像时进行分流。本申实施例的色情图像检测方法,包括:
步骤C1、确定新的RCS业务接口或Cache业务接口,增加新的消息分发模 块节点和该业务接口对接。
步骤C2、在服务节点的集群驻留模块中更改消息分发模块的配置信息,而消息分发模块无需配置服务节点信息。
步骤C3、如前述实施例所示进行后续的图像判别和训练流程。
而针对CDN Cache缓存的色情图像判别,特定的对接流程为:
步骤C31、消息分发模块向Cache管理设备获取当前时间间隔的话单数据。
步骤C32、消息分发模块解析话单数据的命中图像部分的url。
步骤C33、消息分发模块向Cache发起上述url的请求得到图像文件,并进行后续的分发、检测处理。
实施例五:
上述实施例中,随着图片识别业务量的进一步增长,或者业务场景的进一步丰富,对消息分发模块的线性扩展将有进一步要求。一方面随着业务量和类型的增减需要将消息分发模块随之上线或下线,另一方面避免图像检测服务节点随之修改连接配置和重启,保持业务连续性以降低运维成本。此时消息分发模块群组可形成云服务的组网方式提供对外的通用色情图像检测,引入图5-1所示实施用例,在上述实施例二、实施例三和实施例四的基础上,增加系统“路由消息模块”。目的为使消息分发模块的服务能力伸缩对后台的核心检测配置变化不产生影响,而检测服务节点的伸缩同样不影响消息分发模块配置,同时路由消息模块负责对两侧消息传递的合理调度和缓存,降低系统检测延时。本申实施例的色情图像检测方法,如图5-2所示,包括:
步骤D1、核心检测模块向消息路由模块发出异步获取图像的请求,设定图像文件获取事件并开始侦测。
步骤D2、消息路由模块得到各服务节点核心检测模块发送的异步获取请求,以及请求所对应的服务节点信息,形成请求队列。
步骤D3、消息分发模块从消息路由模块取得图像请求队列成员,包括对应的服务节点信息。
步骤D4、消息分发模块从RCS、Cache等业务接口获取图像数据并打包成chunk文件块,根据得到的图像请求,将chunk文件连同服务节点信息封装并发送到路由检测模块。
步骤D5、消息路由模块得到消息分发模块发送的封包,解析出服务节点信息,将去掉服务节点信息的chunk封包发送到对应的服务节点核心检测模块。
步骤D6、核心检测模块侦测到chunk封包接收事件,解析出chunk封包中的图像文件,进行后续的检测工作。
其中,各个模块之间相互协调完成,消息分发模块用于从RCS/CDN接口获取待判别的图像和压缩文件,并分发到图像检测集群。集群管理模块用于监控图像检测集群服务状态,控制服务上下线,业务配置下发,统计信息上报。集群驻留模块用于部署在集群服务器接收集群管理模块的指令实施服务控制等操作。核心检测模块用于对接收的图像运行检测算法实施判别,输出该图像的类型(色情、非色情,或疑似色情)。样本训练模块用于搜集现有色情图像和非色情图像分别标记入库建立索引。人工坐席模块用于对于核心检测模块判别得到的疑似色情图像进行人工确认。消息路由模块用于使消息分发模块和核心检测模块可伸缩性部署,接触两者的耦合。
具体的,本实施例的色情图像检测方法,还可以为,
采集图像样本并标记为正样本(即色情图像)和负样本(即非色情图像),这里是进行采集图像样本并根据是否为色情图像标记为色情样本或非色情样本 一种实例,当然,还可以采用其他方式进行标记,输入到样本训练模块,抽取图像全局检索特征建立索引,将索引数据通过集群管理模块分发配置到检测集群模块。
消息分发模块实时从RCS/CDN等接口获取待判别的图像以及其它附加消息,形成消息队列。
消息分发模块根据核心检测模块所在的服务节点将队列消息分发到核心检测模块。
核心检测模块获取待判别图像以并行方式判别,输出对图像的打分。
得分较高的作为色情图像,较低的作为正常图像,落在中间范围的作为疑似图像发送疑似图像人工坐席模块进行人工确认。
完成人工确认后,输入到样本训练模块实施训练并将训练结果重新分发到服务节点以提升后续判别的准确率。
采用本实施例的方法,可以提供较高的色情图像识别准确率;对海量消息提供较高的处理性能;随着业务量变化系统部署具有可伸缩性;快速适应新型色情图片的处理。
实施例六:
本实施例提供一种色情图像检测系统,如图6-1所示,包括获取模块、确定模块、分发模块和多个检测模块:其中,所述获取模块用于从高吞吐量业务接口获取至少一个待检测图像;所述确定模块用于从多个检测模块中确定出至少一个检测模块作为待检测模块;所述分发模块用于将所述待检测图像分发给对应的所述待检测模块;所述检测模块用于对所述待检测图像进行色情图像检测得到检测结果。
本实施例还提供一种色情图像检测系统,如图6-2所示,还包括人工坐席模块,所述人工坐席模块用于所述检测结果包括所述待检测图像为疑似色情图像;在得到检测结果后,还包括:对所述待检测图像的检测结果为疑似色情图像进行人工确认。
进一步,所述分发模块还用于,在将所述待检测图像分发给对应的所述待检测模块之前,根据预设大小将多个待检测图像进行打包成数据包;将数据包分发对应的所述待检测模块。
本实施例还提供一种色情图像检测系统,如图6-3所示,还包括路由模块,所述分发模块还用于通过所述路由模块将将所述待检测图像分发给对应的所述待检测模块。
进一步,当从高吞吐量业务接口获取多个待检测图像时;所述确定模块还用于从多个检测模块中确定出多个检测模块为待检测模块;所述分发模块还用于通过异步方式将多个待检测图像分别分发给对应的所述待检测模块。
进一步,所述检测模块还用于使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果。
进一步,所述全局特征包括:在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征。
进一步,所述检测模块还用于:
采集图像样本并根据是否为色情图像标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;
得到所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;
根据所述色情图像索引和所述待检测图像的在六角锥体模型空间上的颜色 直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;
根据多个相似的样本图像对应的标记得到检测结果。
进一步,所述根据多个相似的样本图像对应的标记得到检测结果包括:
根据多个相似的样本图像对应的标记得到色情样本图像个数占比;
占比大于等于第一阈值,则检测结果为色情图像;
占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,所述第一阈值大于所述第二阈值;
占比小于等于第二阈值,则检测结果为非色情图像。
值得注意的是,本实施例中的模块与上述实施例二至六中一个模块对应一个模块,也可以一个模块对应模块或多个模块对应一个模块,例如本实施例中的获取模块和分发模块两个模块对应上述的消息分发模块,本实施例中的检测模块对应上述的核心检测模块等,应该理解为只要能够实现相同的功能,其都可以进行对应或结合对应。进一步,各模块既可以是硬件设备也可以对应的软件程序,也可以软件程序和硬件设备结合实现。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,上述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上实施例仅用以说明本发明的技术方案而非限制,仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均 应涵盖在本发明的权利要求范围当中。
Claims (19)
1.一种色情图像检测方法,其特征在于,包括:
从高吞吐量业务接口获取至少一个待检测图像;
从多个检测模块中确定出至少一个检测模块作为待检测模块;
将所述待检测图像分发给对应的所述待检测模块;
所述待检测模块对所述待检测图像进行色情图像检测得到检测结果。
2.如权利要求1所述的色情图像检测方法,其特征在于,所述高吞吐量业务接口包括融合通信接口和/或内容分发网络接口。
3.如权利要求1所述的色情图像检测方法,其特征在于,所述检测结果包括所述待检测图像为疑似色情图像;在得到检测结果后,还包括:对所述待检测图像的检测结果为疑似色情图像进行人工确认。
4.如权利要求1所述的色情图像检测方法,其特征在于,在将所述待检测图像分发给对应的所述待检测模块之前还包括;根据预设大小将多个待检测图像进行打包成数据包;所述将所述待检测图像分发给对应的所述待检测模块包括:将数据包分发对应的所述待检测模块。
5.如权利要求1所述的色情图像检测方法,其特征在于,所述将所述待检测图像分发给对应的所述待检测模块包括:通过路由模块将将所述待检测图像分发给对应的所述待检测模块。
6.如权利要求1-5任一项所述的色情图像检测方法,其特征在于,当从高吞吐量业务接口获取多个待检测图像时;所述从多个检测模块中确定出待检测模块包括:从多个检测模块中确定出多个检测模块为待检测模块;所述将所述待检测图像分发给对应的所述待检测模块包括:通过异步方式将多个待检测图像分别分发给对应的所述待检测模块。
7.如权利要求1-5任一项所述的色情图像检测方法,其特征在于,所述待检测模块对所述待检测图像进行色情图像检测得到检测结果包括:
所述检测模块使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果。
8.如权利要求7项所述的色情图像检测方法,其特征在于,所述全局特征包括:在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征。
9.如权利要求8项所述的色情图像检测方法,其特征在于,所述检测模块使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果包括:
采集图像样本并根据是否为色情图像标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;
得到所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;
根据所述色情图像索引和所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;
根据多个相似的样本图像对应的标记得到检测结果。
10.如权利要求9项所述的色情图像检测方法,其特征在于,所述根据多个相似的样本图像对应的标记得到检测结果包括:
根据多个相似的样本图像对应的标记得到色情样本图像个数占比;
占比大于等于第一阈值,则检测结果为色情图像;
占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,所述第一阈值大于所述第二阈值;
占比小于等于第二阈值,则检测结果为非色情图像。
11.一种色情图像检测系统,其特征在于,包括获取模块、确定模块、分发模块和多个检测模块:
所述获取模块用于从高吞吐量业务接口获取至少一个待检测图像;
所述确定模块用于从多个检测模块中确定出至少一个检测模块作为待检测模块;
所述分发模块用于将所述待检测图像分发给对应的所述待检测模块;
所述检测模块用于对所述待检测图像进行色情图像检测得到检测结果。
12.如权利要求11所述的色情图像检测系统,其特征在于,还包括人工坐席模块,所述人工坐席模块用于所述检测结果包括所述待检测图像为疑似色情图像;在得到检测结果后,还包括:对所述待检测图像的检测结果为疑似色情图像进行人工确认。
13.如权利要求11所述的色情图像检测系统,其特征在于,所述分发模块还用于,在将所述待检测图像分发给对应的所述待检测模块之前,根据预设大小将多个待检测图像进行打包成数据包;将数据包分发对应的所述待检测模块。
14.如权利要求11所述的色情图像检测系统,其特征在于,还包括路由模块,所述分发模块还用于通过所述路由模块将将所述待检测图像分发给对应的所述待检测模块。
15.如权利要求11-14任一项所述的色情图像检测系统,其特征在于,当从高吞吐量业务接口获取多个待检测图像时;所述确定模块还用于从多个检测模块中确定出多个检测模块为待检测模块;所述分发模块还用于通过异步方式将多个待检测图像分别分发给对应的所述待检测模块。
16.如权利要求11-14任一项所述的色情图像检测系统,其特征在于,所述检测模块还用于使用全局特征检索算法对所述待检测图像进行色情图像检测得到检测结果。
17.如权利要求16项所述的色情图像检测系统,其特征在于,所述全局特征包括:在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征。
18.如权利要求17项所述的色情图像检测系统,其特征在于,所述检测模块还用于:
采集图像样本并根据是否为色情图像标记为色情样本或非色情样本,抽取图像样本图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征全局检索特征建立色情图像索引;
得到所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征;
根据所述色情图像索引和所述待检测图像的在六角锥体模型空间上的颜色直方图特征、区域形状特征和局部区域的梯度方向直方图特征进行检索,得到多个相似的样本图像;
根据多个相似的样本图像对应的标记得到检测结果。
19.如权利要求18项所述的色情图像检测系统,其特征在于,所述根据多个相似的样本图像对应的标记得到检测结果包括:
根据多个相似的样本图像对应的标记得到色情样本图像个数占比;
占比大于等于第一阈值,则检测结果为色情图像;
占比小于第一阈值大于第二阈值,则检测结果为疑似色情图像,所述第一阈值大于所述第二阈值;
占比小于等于第二阈值,则检测结果为非色情图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510641416.6A CN106557527A (zh) | 2015-09-30 | 2015-09-30 | 一种色情图像检测和系统 |
PCT/CN2016/085882 WO2017054515A1 (zh) | 2015-09-30 | 2016-06-15 | 一种色情图像检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510641416.6A CN106557527A (zh) | 2015-09-30 | 2015-09-30 | 一种色情图像检测和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106557527A true CN106557527A (zh) | 2017-04-05 |
Family
ID=58417816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510641416.6A Withdrawn CN106557527A (zh) | 2015-09-30 | 2015-09-30 | 一种色情图像检测和系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106557527A (zh) |
WO (1) | WO2017054515A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446461A (zh) * | 2018-10-29 | 2019-03-08 | 成都思维世纪科技有限责任公司 | 一种cdn及cache缓存不良信息内容审计的方法 |
CN111259304A (zh) * | 2020-02-17 | 2020-06-09 | 猎港信息技术(上海)有限公司 | 基于图像识别的论坛监控系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303734A (zh) * | 2008-06-25 | 2008-11-12 | 腾讯科技(深圳)有限公司 | 图片检测系统及方法 |
CN102306287A (zh) * | 2011-08-24 | 2012-01-04 | 百度在线网络技术(北京)有限公司 | 一种用于识别敏感图像的方法与设备 |
CN102842032A (zh) * | 2012-07-18 | 2012-12-26 | 郑州金惠计算机系统工程有限公司 | 基于多模式组合策略的移动互联网色情图像识别方法 |
US8718383B2 (en) * | 2008-08-06 | 2014-05-06 | Obschestvo s ogranischennoi otvetstvennostiu “KUZNETCH” | Image and website filter using image comparison |
CN104134059A (zh) * | 2014-07-25 | 2014-11-05 | 西安电子科技大学 | 保持颜色信息的形变敏感器官模型下的不良图像检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567101A (zh) * | 2012-01-12 | 2012-07-11 | 郑州金惠计算机系统工程有限公司 | Wap手机传媒色情图像识别、监管的多进程管理系统 |
CN102547794B (zh) * | 2012-01-12 | 2015-05-06 | 郑州金惠计算机系统工程有限公司 | Wap手机传媒色情图像、视频及不良内容的识别监管平台 |
KR20150092546A (ko) * | 2014-02-05 | 2015-08-13 | 한국전자통신연구원 | 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법 |
-
2015
- 2015-09-30 CN CN201510641416.6A patent/CN106557527A/zh not_active Withdrawn
-
2016
- 2016-06-15 WO PCT/CN2016/085882 patent/WO2017054515A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303734A (zh) * | 2008-06-25 | 2008-11-12 | 腾讯科技(深圳)有限公司 | 图片检测系统及方法 |
US8718383B2 (en) * | 2008-08-06 | 2014-05-06 | Obschestvo s ogranischennoi otvetstvennostiu “KUZNETCH” | Image and website filter using image comparison |
CN102306287A (zh) * | 2011-08-24 | 2012-01-04 | 百度在线网络技术(北京)有限公司 | 一种用于识别敏感图像的方法与设备 |
CN102842032A (zh) * | 2012-07-18 | 2012-12-26 | 郑州金惠计算机系统工程有限公司 | 基于多模式组合策略的移动互联网色情图像识别方法 |
CN104134059A (zh) * | 2014-07-25 | 2014-11-05 | 西安电子科技大学 | 保持颜色信息的形变敏感器官模型下的不良图像检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446461A (zh) * | 2018-10-29 | 2019-03-08 | 成都思维世纪科技有限责任公司 | 一种cdn及cache缓存不良信息内容审计的方法 |
CN111259304A (zh) * | 2020-02-17 | 2020-06-09 | 猎港信息技术(上海)有限公司 | 基于图像识别的论坛监控系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2017054515A1 (zh) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109495476B (zh) | 一种基于边缘计算的数据流差分隐私保护方法及系统 | |
CN103595576B (zh) | 一种基于内容提供商标识的互联口icp流量统计系统及方法 | |
CN103686345A (zh) | 一种基于数字信号处理器的视频内容比对方法 | |
CN107679560B (zh) | 数据传输方法、装置、移动终端及计算机可读存储介质 | |
CN106972985B (zh) | 加速dpi设备数据处理与转发的方法和dpi设备 | |
CN110677300B (zh) | 基于移动边缘计算的电力安管视频智能分流装置及方法 | |
CN109062715B (zh) | 内存时钟频率的确定方法、装置及终端 | |
CN104426838B (zh) | 一种互联网缓存调度方法及系统 | |
CN109299742A (zh) | 自动发现未知网络流的方法、装置、设备及存储介质 | |
CN102497297A (zh) | 基于多核多线程的深度报文检测技术的实现系统和方法 | |
CN112115957A (zh) | 数据流识别方法及装置、计算机存储介质 | |
CN105868590A (zh) | 一种笔迹数据处理方法和装置 | |
CN109982293A (zh) | 流量产品推送方法、系统、电子设备及存储介质 | |
CN107690051A (zh) | 一种报警影像记录方法及装置 | |
CN106557527A (zh) | 一种色情图像检测和系统 | |
CN105139665A (zh) | 一种道路交通管理系统及方法 | |
KR20070008210A (ko) | 유해 멀티미디어 정보 차단 방법 및 장치 | |
CN111079744B (zh) | 适用于复杂光照环境的车辆车牌智能识别方法及装置 | |
CN109922083A (zh) | 一种网络协议流量控制系统 | |
CN104133907A (zh) | 一种云计算数据自动分类统计的方法和系统 | |
CN114257526A (zh) | 一种带内遥测系统、方法和装置 | |
CN113055890A (zh) | 一种面向移动恶意网页的多设备组合优化的实时检测系统 | |
CN114666282B (zh) | 一种基于机器学习的5g流量识别方法及装置 | |
CN105007232A (zh) | 网络大数据处理平台 | |
CN206039561U (zh) | 一种动态人像采集比对系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170405 |
|
WW01 | Invention patent application withdrawn after publication |