CN114092743B - 敏感图片的合规性检测方法、装置、存储介质及设备 - Google Patents
敏感图片的合规性检测方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN114092743B CN114092743B CN202111405840.2A CN202111405840A CN114092743B CN 114092743 B CN114092743 B CN 114092743B CN 202111405840 A CN202111405840 A CN 202111405840A CN 114092743 B CN114092743 B CN 114092743B
- Authority
- CN
- China
- Prior art keywords
- sensitive
- detection
- compliance
- picture
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 375
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 6
- 238000012550 audit Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种敏感图片的合规性检测方法、装置、存储介质及设备,属于图片处理技术领域。所述方法用于合规性检测网络中,所述合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略;包括:获取待检测的敏感图片;利用所述目标检测网络,从所述敏感图片中识别出敏感区域和敏感类别,所述敏感区域中包含敏感目标,所述敏感类别是所述敏感目标所属的类别;从所述至少一个检测分支中选择与所述敏感类别对应的目标检测分支;利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规。本申请可以实现对敏感图片的合规性检测,且可以提高检测的准确性。
Description
技术领域
本申请实施例涉及图片处理技术领域,特别涉及一种敏感图片的合规性检测方法、装置、存储介质及设备。
背景技术
随着网站上敏感图片的日益增多,需要对网站上的敏感图片设置比较严格的监管规范,以使敏感图片不会被擅自涂改、扭曲和变形等,从而保证敏感图片的合规性。
目前,敏感图片的合规性检测大多由审核人员承担,然而,网站上每日会产生海量的敏感图片,人工审核敏感图片的合规性会非常困难,因此,需要引入基于计算机视觉的检测方法,以降低审核人员的审核难度,提高审核效率。
常用的基于计算机视觉的检测方法是目标检测方法,该目标检测方法可以识别敏感图片中的敏感区域,以及敏感区域中的敏感目标所属的敏感类别。然而,仅仅识别出敏感区域和敏感类别是无法判断敏感图片是否合规的。
发明内容
本申请实施例提供了一种敏感图片的合规性检测方法、装置、存储介质及设备,用于解决现有的目标检测算法误判检测敏感图片的合规性的问题。所述技术方案如下:
一方面,提供了一种敏感图片的合规性检测方法,用于合规性检测网络中,所述合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略;所述方法包括:
获取待检测的敏感图片;
利用所述目标检测网络,从所述敏感图片中识别出敏感区域和敏感类别,所述敏感区域中包含敏感目标,所述敏感类别是所述敏感目标所属的类别;
从所述至少一个检测分支中选择与所述敏感类别对应的目标检测分支;
利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规。
在一种可能的实现方式中,所述检测分支是规范检测网络,所述合规性检测策略是检测所述敏感区域是否符合设定的规范,若所述敏感区域符合所述规范,则确定所述敏感图片合规,若所述敏感区域不符合所述规范,则确定所述敏感图片不合规;或者,
所述检测分支是人脸检测网络,所述合规性检测策略是检测所述敏感区域是否是敏感人脸,若所述敏感区域不是所述敏感人脸,则确定所述敏感图片合规,若所述敏感区域是所述敏感人脸,则确定所述敏感图片不合规;或者,
所述检测分支是违规检测分支,所述合规性检测策略是将敏感区域是违规标志的敏感图片确定为不合规。
在一种可能的实现方式中,当所述检测分支是规范检测网络时,所述规范检测网络中包括至少一个孪生网络,每个孪生网络对应于一种规范,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
从所述至少一个孪生网络中选择与所述敏感类别对应的目标孪生网络;
将所述敏感区域和预设的标准图片分别输入所述目标孪生网络中相同的两个神经网络中,所述标准图片是与所述敏感目标属于同一敏感类别且符合所述规范的图片;
利用所述两个神经网络检测所述敏感区域与所述标准图片的分类结果;
若所述分类结果是同类,则确定所述敏感区域符合所述规范,且所述敏感图片合规;
若所述分类结果是异类,则确定所述敏感区域不符合所述规范,且所述敏感图片不合规。
在一种可能的实现方式中,当所述检测分支是人脸检测网络时,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
利用所述人脸检测网络,检测所述敏感区域与人脸特征库中的至少一个敏感人脸之间的相似度;
若所述相似度小于预设阈值,则确定所述敏感区域不是所述敏感人脸,且所述敏感图片合规;
若所述相似度大于或等于预设阈值,则确定所述敏感区域是所述敏感人脸,且所述敏感图片不合规。
在一种可能的实现方式中,所述方法还包括:
对所述人脸特征库中的敏感人脸进行更新。
在一种可能的实现方式中,当所述检测分支是违规检测分支时,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
将输入所述违规检测分支的所述敏感区域确定为违规标志,并确定所述敏感图片不合规。
在一种可能的实现方式中,所述方法还包括:
获取第一训练集,所述第一训练集中的样本中标注有目标对象的边界框和类别,所述目标对象包括制定有规范的对象、敏感人脸和违规标志中的至少一种,所述边界框用于描述所述目标对象在所述样本中的区域;
创建目标检测网络,所述目标检测网络中包括特征提取单元、区域建议单元、分类单元和回归单元,所述特征提取单元用于从样本中提取完整的特征图,所述区域建议单元用于从所述完整的特征图中提取区域建议特征图,所述分类单元用于根据所述区域建议特征图对目标对象进行分类,所述回归单元用于根据所述区域建议特征图对目标对象进行边界框回归;
根据所述第一训练集对所述目标检测网络进行训练。
在一种可能的实现方式中,所述方法还包括:
获取第二训练集,所述第二训练集中包括同类样本对、异类样本对和标注的分类结果,所述同类样本对的两个样本中均包含符合规范的对象,或者,所述同类样本对的两个样本中均包含不符合规范的对象,所述异类样本对的一个样本中包含符合规范的对象,另一个样本中包含不符合规范的对象,所述分类结果为同类或异类;
创建规范检测网络,所述规范检测网络中包括相同的两个神经网络和对比损失函数,每个神经网络用于提取样本的特征图,所述对比损失函数用于根据两个特征图生成分类结果;
根据所述第二训练集对所述规范检测网络进行训练。
在一种可能的实现方式中,所述方法还包括:
获取第三训练集,所述第三训练集中的样本中标注有敏感人脸;
创建人脸检测网络,所述人脸检测网络中包括人脸特征提取单元,所述人脸特征提取单元用于提取样本中的人脸特征图;
根据所述第三训练集对所述人脸检测网络进行训练;
在完成训练后,利用所述人脸检测网络对敏感人物的人脸进行特征提取,得到人脸特征库。
一方面,提供了一种敏感图片的合规性检测装置,用于合规性检测网络中,所述合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略;所述装置包括:
获取模块,用于获取待检测的敏感图片;
识别模块,用于利用所述目标检测网络,从所述敏感图片中识别出敏感区域和敏感类别,所述敏感区域中包含敏感目标,所述敏感类别是所述敏感目标所属的类别;
选择模块,用于从所述至少一个检测分支中选择与所述敏感类别对应的目标检测分支;
检测模块,用于利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的敏感图片的合规性检测方法。
一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上所述的敏感图片的合规性检测方法。
本申请实施例提供的技术方案的有益效果至少包括:
由于合规性检测网络中包括目标检测网络和至少一个检测分支,且每个检测分支对应于一种合规性检测策略,所以,可以先利用目标检测网络,从敏感图片中识别出包含敏感目标的敏感区域和敏感目标所属的敏感类别,再从至少一个检测分支中选择与敏感类别对应的目标检测分支,最后,利用目标检测分支的合规性检测策略检测敏感图片是否合规,从而可以实现对敏感图片的合规性检测。另外,可以针对每个敏感类别的特点来设置对应的合规性检测策略,并对每种合规性检测策略生成一个检测分支,这样,就可以利用与敏感类别对应的检测分支来检测敏感图片是否合规,从而提高检测的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的敏感图片的合规性检测方法的方法流程图;
图2是本申请一个实施例提供的合规性检测网络的结构示意图;
图3是本申请一个实施例提供的目标检测网络的结构示意图;
图4是本申请一个实施例提供的规范检测网络的结构示意图;
图5是本申请一个实施例提供的特定目标检测网络的结构示意图;
图6是本申请一个实施例提供的对比损失函数的曲线图;
图7是本申请一个实施例提供的敏感图片的合规性检测装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
敏感图片是指包含敏感目标的图片。本实施例中将敏感目标划分为三类,第一类敏感目标是制定有规范的对象,第二类敏感目标是敏感人脸,第三类敏感目标是违规标志。下面分别对这三种敏感目标进行说明。
第一类敏感目标在使用时需要严格遵守相关的国家标准,不得擅自涂改,不得扭曲、变形等。这类敏感目标可以是地图等。通常,不合规的敏感目标是对合规的敏感目标进行涂改、扭曲或变形得到的,所以,不合规的敏感目标与合规的敏感目标是非常相似的。基于上述特点,可以创建规范检测网络,通过规范检测网络中的孪生网络来检测第一类敏感目标。
第二类敏感目标是敏感人物的人脸,这里所说的敏感人物可以是落马官员、犯罪分子等。基于上述特点,可以创建人脸检测网络,通过人脸检测网络来检测第二类敏感目标。
第三类敏感目标是诸如违规旗帜之类的违规标志。基于上述特点,可以创建违规检测分支,通过违规检测分支来检测第三类敏感目标。
本实施例中提供了一个兼顾不同类型的敏感图片的合规性检测方法,可以通过合规性检测网络来检测敏感图片中是否包含上述敏感目标,从而确定敏感图片是否合规。其中,合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略。这里所说的检测分支即为上文中提到的规范检测网络、人脸检测网络和违规检测分支。
请参考图1,其示出了本申请一个实施例提供的敏感图片的合规性检测方法的方法流程图,该敏感图片的合规性检测方法可以应用于合规性检测网络中。
该敏感图片的合规性检测方法,可以包括:
步骤101,获取待检测的敏感图片。
其中,敏感图片中包括至少一个敏感目标。敏感图片可以是网站中的图片,也可以是从其他设备中获取图片,本实施例不限定敏感图片的来源。
步骤102,利用目标检测网络,从敏感图片中识别出敏感区域和敏感类别,敏感区域中包含敏感目标,敏感类别是敏感目标所属的类别。
本实施例中,可以将敏感图片输入目标检测网络中,并获取该目标检测网络的输出结果,该输出结果包括输出敏感区域和敏感类别。其中,敏感区域用于指示敏感目标的位置,敏感类别用于指示敏感目标所属的类别。
步骤103,从至少一个检测分支中选择与敏感类别对应的目标检测分支。
本实施例中,可以从至少一个检测分支中选择与敏感类别对应的一个检测分支,将该检测分支称为目标检测分支。
步骤104,利用目标检测分支的合规性检测策略检测敏感图片是否合规。
目标检测分支可以检测敏感目标是否合规,若敏感目标合规,则确定敏感图片合规;若敏感目标不合规,则确定敏感图片不合规。
综上所述,本申请实施例提供的敏感图片的合规性检测方法,由于合规性检测网络中包括目标检测网络和至少一个检测分支,且每个检测分支对应于一种合规性检测策略,所以,可以先利用目标检测网络,从敏感图片中识别出包含敏感目标的敏感区域和敏感目标所属的敏感类别,再从至少一个检测分支中选择与敏感类别对应的目标检测分支,最后,利用目标检测分支的合规性检测策略检测敏感图片是否合规,从而可以实现对敏感图片的合规性检测。另外,可以针对每个敏感类别的特点来设置对应的合规性检测策略,并对每种合规性检测策略生成一个检测分支,这样,就可以利用与敏感类别对应的检测分支来检测敏感图片是否合规,从而提高检测的准确性。
下面对合规性检测网络的结构进行说明。如图2所示,合规性检测网络中包括一个目标检测网络和至少一个检测分支。图2中以检测分支包括规范检测网络、人脸检测网络和违规检测分支为例,则目标检测网络分别与规范检测网络、人脸检测网络和违规检测分支相连接。
具体的,目标检测网络可以对输入的敏感图片进行检测,得到敏感区域和敏感类别,根据敏感类别从规范检测网络、人脸检测网络和违规检测分支中选择一个目标检测分支,再将敏感区域输入该目标检测分支,由目标检测分支判断敏感图片是否合规。
在使用合规性检测网络之前,需要对合规性检测网络进行训练。结合合规性检测网络的结构,可以将训练过程进行分解,即对目标检测网络、规范检测网络和人脸检测网络进行单独训练。
训练目标检测网络:
具体的,目标检测网络的训练流程可以包括以下步骤:
1)获取第一训练集,第一训练集中的样本中标注有目标对象的边界框和类别,目标对象包括制定有规范的对象、敏感人脸和违规标志中的至少一种,边界框用于描述目标对象在样本中的区域。
其中,目标对象的类别与检测分支对应。若检测分支中包括规范检测网络和人脸检测网络,则目标对象包括制定有规范的对象和敏感人脸;若检测分支中包括规范检测网络和违规检测分支,则目标对象包括制定有规范的对象和违规标志;若检测分支中包括规范检测网络、人脸检测网络和违规检测分支,则目标对象包括制定有规范的对象、敏感人脸和违规标志。
以目标对象包括制定有规范的对象、敏感人脸和违规标志为例,第一训练集中的第一类样本中包含符合规范的对象以及不符合规范的对象,第二类样本中包含敏感人脸和非敏感人脸,第三类样本中包含违规标志和非违规标志。
需要说明的是,每个样本中都需要标注好边界框和类别,边界框可以是一个包围目标对象的矩形框,其可以用矩形左上角的x和y轴坐标与右下角的x和y轴坐标确定。类别可以是犯罪分子、违规旗帜等。
2)创建目标检测网络,目标检测网络中包括特征提取单元、区域建议单元、分类单元和回归单元,特征提取单元用于从样本中提取完整的特征图,区域建议单元用于从完整的特征图中提取区域建议特征图,分类单元用于根据区域建议特征图对目标对象进行分类,回归单元用于根据区域建议特征图对目标对象进行边界框回归。
本实施例中基于二阶段目标检测算法创建目标检测网络,该目标检测网络中包括特征提取单元、区域建议单元、分类单元和回归单元,其中,分类单元用于预测类别,回归单元用于预测位置(即边界框),如图3所示。为了便于理解,图3中还示出了训练样本、矩形标注包围盒和目标损失函数,该矩形标注包围盒对应标注有分类标签和位置标签。
3)根据第一训练集对目标检测网络进行训练。
训练时,将第一训练集中的每个样本输入目标检测网络中,通过特征提取单元提取完整的特征图后,将该完整的特征图输入区域建议单元中。通过区域建议单元提取区域建议特征图后,分别将区域建议特征图输入分类单元和回归单元中,通过分类单元提取类别,通过回归单元提取边界框。分别计算分类单元的损失函数和回归单元的损失函数,将这两个损失函数构成目标损失函数,再根据目标损失函数和反向传播来训练目标检测网络。
训练规范检测网络:
具体的,规范检测网络的训练流程可以包括以下步骤:
1)获取第二训练集,第二训练集中包括同类样本对、异类样本对和标注的分类结果,同类样本对的两个样本中均包含符合规范的对象,或者,同类样本对的两个样本中均包含不符合规范的对象,异类样本对的一个样本中包含符合规范的对象,另一个样本中包含不符合规范的对象,分类结果为同类或异类。
本实施例中,可以获取部分正样本和部分负样本,并随机利用这些样本构造样本对,得到同类样本对和异类样本对。其中,正样本是包含规范的对象的样本,负样本是包含不规范的对象的样本。
2)创建规范检测网络,规范检测网络中包括相同的两个神经网络和对比损失函数,每个神经网络用于提取样本的特征图,对比损失函数用于根据两个特征图生成分类结果。
两个完全相同的神经网络构成孪生网络,其中,一个神经网络的输入是待测图片,另一个神经网络的输入是标准图片,从而能够比较待测图片与标准图片之间的相似度。训练孪生网络的目标是让合规图片与标准图片的输出距离尽可能的小,违规图片与标准图片的输出距离尽可能的大。可见,孪生网络非常适用于处理两个输入比较类似的情况,对于地图等违规图片与合规图片相似性较高的类别。使用孪生网络对能够更好地进行判定,给出更为准确的分类结果。
规范检测网络中除了包括相同的两个神经网络,还包括一个对比损失函数,如图4所示。为了便于理解,图4中将两个神经网络分别命名为网络1和网络2,且一个样本对中的样本1输入网络1中,样本2输入网络2中。
3)根据第二训练集对规范检测网络进行训练。
在训练时,可以将同类样本对(或异类样本对)分别输入孪生网络中的两个神经网络中,这两个神经网络分别提取出输入的样本的特征图,并将该特征图输入出对比损失函数中,对比损失函数对两个特征图生成相似度和分类结果。然后,通过反向传播继续对规范检测网络进行训练。在反向传播时,两个神经网络之间共享参数。
需要说明的是,每个孪生网络对应于一种规范,所以,可以针对每个类别的目标对象创建一个规范检测网络。比如,目标对象是第一特定目标,则需要创建一个第一特定目标的规范检测网络;目标对象是第二特定目标,则需要创建一个第二特定目标的规范检测网络。
训练人脸检测网络:
具体的,人脸检测网络的训练流程可以包括以下步骤:
1)获取第三训练集,第三训练集中的样本中标注有敏感人脸。
具体的,可以收集落马官员、犯罪分子等敏感人物的图片作为样本。
2)创建人脸检测网络,人脸检测网络中包括人脸特征提取单元,人脸特征提取单元用于提取样本中的人脸特征图。
3)根据第三训练集对人脸检测网络进行训练。
在训练时,可以将样本输入人脸检测网络中,并对检测结果计算余弦损失函数,通过反向传播进行训练。
4)在完成训练后,利用人脸检测网络对敏感人物的人脸进行特征提取,得到人脸特征库。
在完成训练后,可以利用人脸检测网络对将审核过的敏感人物的图片提取人脸特征,构建成敏感人物的人脸特征库,通过人脸特征库比对的方法进行人脸识别,可以提高人脸检测网络的可扩展性,可以在后续出现新增敏感人物时及时更新人脸特征库。即,人脸特征库中的敏感人脸进行更新。
在单独训练好目标检测网络和至少一个检测分支后,可以得到合规性检测网络,下面对合规性检测网络的使用流程进行说明。
若根据敏感类别确定的目标检测分支是规范检测网络,合规性检测策略是检测敏感区域是否符合设定的规范,若敏感区域符合规范,则确定敏感图片合规,若敏感区域不符合规范,则确定敏感图片不合规。具体的,步骤104可以实现为:从至少一个孪生网络中选择与敏感类别对应的目标孪生网络;将敏感区域和预设的标准图片分别输入目标孪生网络中相同的两个神经网络中,标准图片是与敏感目标属于同一敏感类别且符合规范的图片;利用两个神经网络检测敏感区域与标准图片的分类结果;若分类结果是同类,则确定敏感区域符合规范,且敏感图片合规;若分类结果是异类,则确定敏感区域不符合规范,且敏感图片不合规。
若根据敏感类别确定的目标检测分支是人脸检测网络,则合规性检测策略是检测敏感区域是否是敏感人脸,若敏感区域不是敏感人脸,则确定敏感图片合规,若敏感区域是敏感人脸,则确定敏感图片不合规。具体的,步骤104可以实现为:利用人脸检测网络,检测敏感区域与人脸特征库中的至少一个敏感人脸之间的相似度;若相似度小于预设阈值,则确定敏感区域不是敏感人脸,且敏感图片合规;若相似度大于或等于预设阈值,则确定敏感区域是敏感人脸,且敏感图片不合规。
若根据敏感类别确定的目标检测分支是违规检测分支,合规性检测策略是将敏感区域是违规标志的敏感图片确定为不合规。具体的,步骤104可以实现为:将输入违规检测分支的敏感区域确定为违规标志,并确定敏感图片不合规。
下面以目标对象是特定目标为例,对合规性检测网络的训练和使用流程进行说明,该合规性检测网络的结构如图5所示。
目标检测网络的训练:训练集中包括人工标注的299张特定目标图片和机器标注的819张特定目标图片。测试集中包括人工标注的34张特定目标图片、机器标注的407张特定目标图片,以及362张非特定目标图片。训练时,将标注好的数据依次传入特征提取单元和区域建议单元,生成区域建议特征图后分别送入分类单元和回归单元,进行是否是特定目标的类别预测和位置预测。对分类单元的输出计算交叉熵损失函数,对回归单元的输出计算Smooth L1损失函数。这两部分共同组成目标检测模块的损失函数,通过反向传播进行训练。
规范检测网络的训练:训练集中包括采用人工标注的700张特定目标图片,其中,合规特定目标350张,违规特定目标350张。利用已标注好的合规特定目标与违规特定目标随机组成样本对。若两张特定目标图片均为合规特定目标图片,或两张特定目标图片均为违规图片,表示同类样本对;若两张特定目标图片为一张合规一张违规,则为异类样本对。训练时,将构造好的样本对分别传入孪生网络的两个网络中,最后一层的两个成对样本特征送入对比损失函数,得到样本对是否相似,通过反向传播进行训练。其中,对比损失函数的公式如下:
其中,表示样本对特征的欧式距离,Y=0表示相似样本(同类),Y=1表示不相似样本(异类)。式中右边第一项代表两个相似样本(Y=0)之间的损失,第二项代表两个不相似样本之间的损失,分别对应图6中的虚线和实线。虚线(对应第一项)是一个增函数,两个相似样本距离越近损失函数越小,距离越远损失函数越大;实线(对应第二项)是一个减函数,两个不同样本距离越近损失函数越大,距离越远损失函数越小,超过m(代表足够远)则损失函数的值为0。
在使用合规性检测网络时,可以将待测图片输入到训练好的目标检测网络中,通过回归单元得到敏感区域,通过分类单元得到敏感类别。若敏感类别为特定目标,则将敏感区域传入规范检测网络进行判定,预测出待测图片是否为合规。若敏感类别不是特定目标,则不继续进行后续判定。
需要说明的是,特定目标的合规性检测的难点在于,标准特定目标的要求非常严格,拉伸、变形、边缘模糊、变色等,即使是相较于原图的细微改变,都会被判定为违规特定目标图片。通常的图片分类模型无法分辨这种差别,往往把违规特定目标与合规特定目标误分成为同一类别。本示例中,使用孪生网络进行特定目标的合规性判定,即使违规特定目标与标准特定目标的相似度很高,也能给出准确的判定结果。通过采用孪生网络解决特定目标这类区分难度大的合规性检测任务,能够有效提升模型判别的准确率。利用孪生网络的特性,将待测图片同标准特定目标图片一起输入孪生网络中,通过对比损失函数,预测出待测图片与标准特定目标图片之间是否相似,从而判定待测图片是否合规。孪生网络善于处理相似度较高的图片比对,使用孪生网络来进行特定目标图片合规性检测正好发挥了这一优势。
请参考图7,其示出了本申请一个实施例提供的敏感图片的合规性检测装置的结构框图,该敏感图片的合规性检测装置可以应用于计算机设备中。该敏感图片的合规性检测装置,可以包括:
获取模块710,用于获取待检测的敏感图片;
识别模块720,用于利用目标检测网络,从敏感图片中识别出敏感区域和敏感类别,敏感区域中包含敏感目标,敏感类别是敏感目标所属的类别;
选择模块730,用于从至少一个检测分支中选择与敏感类别对应的目标检测分支;
检测模块740,用于利用目标检测分支的合规性检测策略检测敏感图片是否合规。
在一个可选的实施例中,检测分支是规范检测网络,合规性检测策略是检测敏感区域是否符合设定的规范,若敏感区域符合规范,则确定敏感图片合规,若敏感区域不符合规范,则确定敏感图片不合规;或者,检测分支是人脸检测网络,合规性检测策略是检测敏感区域是否是敏感人脸,若敏感区域不是敏感人脸,则确定敏感图片合规,若敏感区域是敏感人脸,则确定敏感图片不合规;或者,检测分支是违规检测分支,合规性检测策略是将敏感区域是违规标志的敏感图片确定为不合规。
在一个可选的实施例中,当检测分支是规范检测网络时,规范检测网络中包括至少一个孪生网络,每个孪生网络对应于一种规范,检测模块740,还用于:
从至少一个孪生网络中选择与敏感类别对应的目标孪生网络;
将敏感区域和预设的标准图片分别输入目标孪生网络中相同的两个神经网络中,标准图片是与敏感目标属于同一敏感类别且符合规范的图片;
利用两个神经网络检测敏感区域与标准图片的分类结果;
若分类结果是同类,则确定敏感区域符合规范,且敏感图片合规;
若分类结果是异类,则确定敏感区域不符合规范,且敏感图片不合规。
在一个可选的实施例中,当检测分支是人脸检测网络时,检测模块740,还用于:
利用人脸检测网络,检测敏感区域与人脸特征库中的至少一个敏感人脸之间的相似度;
若相似度小于预设阈值,则确定敏感区域不是敏感人脸,且敏感图片合规;
若相似度大于或等于预设阈值,则确定敏感区域是敏感人脸,且敏感图片不合规。
在一个可选的实施例中,检测模块740,还用于:
对人脸特征库中的敏感人脸进行更新。
在一个可选的实施例中,当检测分支是违规检测分支时,检测模块740,还用于:
将输入违规检测分支的敏感区域确定为违规标志,并确定敏感图片不合规。
在一个可选的实施例中,获取模块710,还用于:获取第一训练集,第一训练集中的样本中标注有目标对象的边界框和类别,目标对象包括制定有规范的对象、敏感人脸和违规标志中的至少一种,边界框用于描述目标对象在样本中的区域;
该装置还包括创建模块,用于创建目标检测网络,目标检测网络中包括特征提取单元、区域建议单元、分类单元和回归单元,特征提取单元用于从样本中提取完整的特征图,区域建议单元用于从完整的特征图中提取区域建议特征图,分类单元用于根据区域建议特征图对目标对象进行分类,回归单元用于根据区域建议特征图对目标对象进行边界框回归;
训练模块,用于根据第一训练集对目标检测网络进行训练。
在一个可选的实施例中,获取模块710,还用于获取第二训练集,第二训练集中包括同类样本对、异类样本对和标注的分类结果,同类样本对的两个样本中均包含符合规范的对象,或者,同类样本对的两个样本中均包含不符合规范的对象,异类样本对的一个样本中包含符合规范的对象,另一个样本中包含不符合规范的对象,分类结果为同类或异类;
创建模块,还用于创建规范检测网络,规范检测网络中包括相同的两个神经网络和对比损失函数,每个神经网络用于提取样本的特征图,对比损失函数用于根据两个特征图生成分类结果;
训练模块,用于根据第二训练集对规范检测网络进行训练。
在一个可选的实施例中,获取模块710,还用于获取第三训练集,第三训练集中的样本中标注有敏感人脸;
创建模块,还用于创建人脸检测网络,人脸检测网络中包括人脸特征提取单元,人脸特征提取单元用于提取样本中的人脸特征图;
训练模块,用于根据第三训练集对人脸检测网络进行训练;
创建模块,还用于在完成训练后,利用人脸检测网络对敏感人物的人脸进行特征提取,得到人脸特征库。
综上所述,本申请实施例提供的敏感图片的合规性检测装置,由于合规性检测网络中包括目标检测网络和至少一个检测分支,且每个检测分支对应于一种合规性检测策略,所以,可以先利用目标检测网络,从敏感图片中识别出包含敏感目标的敏感区域和敏感目标所属的敏感类别,再从至少一个检测分支中选择与敏感类别对应的目标检测分支,最后,利用目标检测分支的合规性检测策略检测敏感图片是否合规,从而可以实现对敏感图片的合规性检测。另外,可以针对每个敏感类别的特点来设置对应的合规性检测策略,并对每种合规性检测策略生成一个检测分支,这样,就可以利用与敏感类别对应的检测分支来检测敏感图片是否合规,从而提高检测的准确性。
本申请一个实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的敏感图片的合规性检测方法。
本申请一个实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上所述的敏感图片的合规性检测方法。
需要说明的是:上述实施例提供的敏感图片的合规性检测装置在进行敏感图片的合规性检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将敏感图片的合规性检测装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的敏感图片的合规性检测装置与敏感图片的合规性检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。
Claims (11)
1.一种敏感图片的合规性检测方法,其特征在于,用于合规性检测网络中,所述合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略;所述方法包括:
获取待检测的敏感图片;
利用所述目标检测网络,从所述敏感图片中识别出敏感区域和敏感类别,所述敏感区域中包含敏感目标,所述敏感类别是所述敏感目标所属的类别;
从所述至少一个检测分支中选择与所述敏感类别对应的目标检测分支;
利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规;
所述检测分支是规范检测网络,所述规范检测网络中包括至少一个孪生网络,每个孪生网络对应于一种规范,所述合规性检测策略是检测所述敏感区域是否符合设定的规范,若所述敏感区域符合所述规范,则确定所述敏感图片合规,若所述敏感区域不符合所述规范,则确定所述敏感图片不合规;或者,
所述检测分支是人脸检测网络,所述合规性检测策略是检测所述敏感区域是否是敏感人脸,若所述敏感区域不是所述敏感人脸,则确定所述敏感图片合规,若所述敏感区域是所述敏感人脸,则确定所述敏感图片不合规;或者,
所述检测分支是违规检测分支,所述合规性检测策略是将敏感区域是违规标志的敏感图片确定为不合规。
2.根据权利要求1所述的方法,其特征在于,当所述检测分支是规范检测网络时,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
从所述至少一个孪生网络中选择与所述敏感类别对应的目标孪生网络;
将所述敏感区域和预设的标准图片分别输入所述目标孪生网络中相同的两个神经网络中,所述标准图片是与所述敏感目标属于同一敏感类别且符合所述规范的图片;
利用所述两个神经网络检测所述敏感区域与所述标准图片的分类结果;
若所述分类结果是同类,则确定所述敏感区域符合所述规范,且所述敏感图片合规;
若所述分类结果是异类,则确定所述敏感区域不符合所述规范,且所述敏感图片不合规。
3.根据权利要求1所述的方法,其特征在于,当所述检测分支是人脸检测网络时,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
利用所述人脸检测网络,检测所述敏感区域与人脸特征库中的至少一个敏感人脸之间的相似度;
若所述相似度小于预设阈值,则确定所述敏感区域不是所述敏感人脸,且所述敏感图片合规;
若所述相似度大于或等于预设阈值,则确定所述敏感区域是所述敏感人脸,且所述敏感图片不合规。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所述人脸特征库中的敏感人脸进行更新。
5.根据权利要求1所述的方法,其特征在于,当所述分支网络是违规检测分支时,所述利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规,包括:
将输入所述违规检测分支的所述敏感区域确定为违规标志,并确定所述敏感图片不合规。
6.根据权利要求1或5所述的方法,其特征在于,所述方法还包括:
获取第一训练集,所述第一训练集中的样本中标注有目标对象的边界框和类别,所述目标对象包括制定有规范的对象、敏感人脸和违规标志中的至少一种,所述边界框用于描述所述目标对象在所述样本中的区域;
创建目标检测网络,所述目标检测网络中包括特征提取单元、区域建议单元、分类单元和回归单元,所述特征提取单元用于从样本中提取完整的特征图,所述区域建议单元用于从所述完整的特征图中提取区域建议特征图,所述分类单元用于根据所述区域建议特征图对目标对象进行分类,所述回归单元用于根据所述区域建议特征图对目标对象进行边界框回归;
根据所述第一训练集对所述目标检测网络进行训练。
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取第二训练集,所述第二训练集中包括同类样本对、异类样本对和标注的分类结果,所述同类样本对的两个样本中均包含符合规范的对象,或者,所述同类样本对的两个样本中均包含不符合规范的对象,所述异类样本对的一个样本中包含符合规范的对象,另一个样本中包含不符合规范的对象,所述分类结果为同类或异类;
创建规范检测网络,所述规范检测网络中包括相同的两个神经网络和对比损失函数,每个神经网络用于提取样本的特征图,所述对比损失函数用于根据两个特征图生成分类结果;
根据所述第二训练集对所述规范检测网络进行训练。
8.根据权利要求1或3或4所述的方法,其特征在于,所述方法还包括:
获取第三训练集,所述第三训练集中的样本中标注有敏感人脸;
创建人脸检测网络,所述人脸检测网络中包括人脸特征提取单元,所述人脸特征提取单元用于提取样本中的人脸特征图;
根据所述第三训练集对所述人脸检测网络进行训练;
在完成训练后,利用所述人脸检测网络对敏感人物的人脸进行特征提取,得到人脸特征库。
9.一种敏感图片的合规性检测装置,其特征在于,用于合规性检测网络中,所述合规性检测网络中包括目标检测网络和至少一个检测分支,每个检测分支对应于一种合规性检测策略;所述装置包括:
获取模块,用于获取待检测的敏感图片;
识别模块,用于利用所述目标检测网络,从所述敏感图片中识别出敏感区域和敏感类别,所述敏感区域中包含敏感目标,所述敏感类别是所述敏感目标所属的类别;
选择模块,用于从所述至少一个检测分支中选择与所述敏感类别对应的目标检测分支;
检测模块,用于利用所述目标检测分支的合规性检测策略检测所述敏感图片是否合规;
所述检测分支是规范检测网络,所述规范检测网络中包括至少一个孪生网络,每个孪生网络对应于一种规范,所述合规性检测策略是检测所述敏感区域是否符合设定的规范,若所述敏感区域符合所述规范,则确定所述敏感图片合规,若所述敏感区域不符合所述规范,则确定所述敏感图片不合规;或者,
所述检测分支是人脸检测网络,所述合规性检测策略是检测所述敏感区域是否是敏感人脸,若所述敏感区域不是所述敏感人脸,则确定所述敏感图片合规,若所述敏感区域是所述敏感人脸,则确定所述敏感图片不合规;或者,
所述检测分支是违规检测分支,所述合规性检测策略是将敏感区域是违规标志的敏感图片确定为不合规。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至8任一所述的敏感图片的合规性检测方法。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8任一所述的敏感图片的合规性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111405840.2A CN114092743B (zh) | 2021-11-24 | 2021-11-24 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111405840.2A CN114092743B (zh) | 2021-11-24 | 2021-11-24 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114092743A CN114092743A (zh) | 2022-02-25 |
CN114092743B true CN114092743B (zh) | 2022-07-26 |
Family
ID=80304081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111405840.2A Active CN114092743B (zh) | 2021-11-24 | 2021-11-24 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092743B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122806A (zh) * | 2017-05-16 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种敏感图像识别方法及装置 |
CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
CN110321873A (zh) * | 2019-07-12 | 2019-10-11 | 苏州惠邦医疗科技有限公司 | 基于深度学习卷积神经网络的敏感图片识别方法及系统 |
CN111460247A (zh) * | 2019-01-21 | 2020-07-28 | 重庆邮电大学 | 网络图片敏感文字自动检测方法 |
CN112001282A (zh) * | 2020-08-12 | 2020-11-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种图像识别方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10163042B2 (en) * | 2016-08-02 | 2018-12-25 | International Business Machines Corporation | Finding missing persons by learning features for person attribute classification based on deep learning |
WO2018208791A1 (en) * | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
US11023824B2 (en) * | 2017-08-30 | 2021-06-01 | Intel Corporation | Constrained sample selection for training models |
US10769500B2 (en) * | 2017-08-31 | 2020-09-08 | Mitsubishi Electric Research Laboratories, Inc. | Localization-aware active learning for object detection |
CN108257158B (zh) * | 2018-03-27 | 2021-11-30 | 福州大学 | 一种基于循环神经网络的目标预测与跟踪方法 |
CN110728330A (zh) * | 2019-10-23 | 2020-01-24 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象识别方法、装置、设备及存储介质 |
CN111178249A (zh) * | 2019-12-27 | 2020-05-19 | 杭州艾芯智能科技有限公司 | 人脸比对的方法、装置、计算机设备及存储介质 |
EP4091100A4 (en) * | 2020-01-17 | 2024-03-20 | Percipient.ai Inc. | SYSTEMS AND METHODS FOR IDENTIFYING AN OBJECT OF INTEREST FROM A VIDEO SEQUENCE |
CN112150692A (zh) * | 2020-10-14 | 2020-12-29 | 吴喜庆 | 一种基于人工智能的门禁控制方法及系统 |
CN113283368B (zh) * | 2021-06-08 | 2023-10-20 | 电子科技大学中山学院 | 一种模型训练方法、人脸属性分析方法、装置及介质 |
-
2021
- 2021-11-24 CN CN202111405840.2A patent/CN114092743B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122806A (zh) * | 2017-05-16 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种敏感图像识别方法及装置 |
CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
CN111460247A (zh) * | 2019-01-21 | 2020-07-28 | 重庆邮电大学 | 网络图片敏感文字自动检测方法 |
CN110321873A (zh) * | 2019-07-12 | 2019-10-11 | 苏州惠邦医疗科技有限公司 | 基于深度学习卷积神经网络的敏感图片识别方法及系统 |
CN112001282A (zh) * | 2020-08-12 | 2020-11-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种图像识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114092743A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423690B (zh) | 一种人脸识别方法及装置 | |
WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
CN112381075B (zh) | 一种机房特定场景下进行人脸识别的方法及系统 | |
Wang et al. | An effective method for plate number recognition | |
CN112801057B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN105224947B (zh) | 分类器训练方法和系统 | |
Rasouli et al. | The effect of color space selection on detectability and discriminability of colored objects | |
WO2016045215A1 (zh) | 指纹图像质量的判断方法和装置 | |
US20180349716A1 (en) | Apparatus and method for recognizing traffic signs | |
CN108537286B (zh) | 一种基于关键区域检测的复杂目标精准识别方法 | |
CN113793336B (zh) | 一种检测血细胞的方法、装置、设备及可读存储介质 | |
CN111368772B (zh) | 身份识别方法、装置、设备及存储介质 | |
CN110866466A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
CN113449725B (zh) | 对象分类方法、装置、设备及存储介质 | |
TW202030683A (zh) | 理賠資訊提取方法和裝置、電子設備 | |
CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
Masmoudi et al. | Vision based system for vacant parking lot detection: Vpld | |
CN108537223B (zh) | 一种车牌检测方法、系统及设备和存储介质 | |
CN111325265B (zh) | 一种针对篡改图像的检测方法及装置 | |
Rhee | Detection of spliced image forensics using texture analysis of median filter residual | |
CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
Ganapathy et al. | A Malaysian vehicle license plate localization and recognition system | |
Zhang et al. | Image splicing localization using noise distribution characteristic | |
CN110909685A (zh) | 姿势估计方法、装置、设备及存储介质 | |
CN110619280A (zh) | 一种基于深度联合判别学习的车辆重识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |