CN113554059A - 图片处理方法、装置、电子设备及存储介质 - Google Patents
图片处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113554059A CN113554059A CN202110701731.9A CN202110701731A CN113554059A CN 113554059 A CN113554059 A CN 113554059A CN 202110701731 A CN202110701731 A CN 202110701731A CN 113554059 A CN113554059 A CN 113554059A
- Authority
- CN
- China
- Prior art keywords
- picture
- target
- image
- model
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 304
- 238000012549 training Methods 0.000 claims abstract description 192
- 238000010586 diagram Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 137
- 238000000586 desensitisation Methods 0.000 claims description 106
- 230000009466 transformation Effects 0.000 claims description 45
- 230000035945 sensitivity Effects 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 14
- 241000283923 Marmota monax Species 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种图片处理方法、装置、电子设备及存储介质,属于图片识别技术领域,包括:在获取到待识别图片的情况下,将待识别图片输入至目标卷积神经网络CNN模型,目标CNN网络模型通过第一训练集训练得到,目标CNN网络模型用于识别输入的图片是否为敏感图片,第一训练集包括标注有是否为敏感图片的图片样本;在目标CNN网络模型识别待识别图片为敏感图片的情况下,获取通过目标CNN网络模型生成的待识别图片的热力图,待识别图片的热力图包括至少一个敏感图像区域;对至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。采用本公开提供的图片处理方法、装置、电子设备及存储介质,至少解决现有图片分享过程中存在信息分享的质量低的问题。
Description
技术领域
本公开涉及图片识别技术领域,具体涉及一种图片处理方法、装置、电子设备及存储介质。
背景技术
随着互联网和无线通信技术的飞速发展,人们之间进行信息共享的方式越来越丰富。图片分享作为一种新兴的信息分享功能,可以实现用户通过图片(如照片或者拍摄的视频中的帧图片等)向他人展现自己生活的点点滴滴,提升用户分享信息的便捷性及趣味性。
其中,人们之间在相互分享的图片中,可能会存在部分违法或者违反社会公德等的违规图片,例如,包含色情内容(如胸部、臀部或者三角区等部位的图像)或者暴力内容等内容图片。而为防止违规图片的传播为社会带来不良影响,目前通常是通过人工识别出传播的图片中的违规图片,并将识别到的违规图片进行剔除。但是,由于违规图片的剔除,会导致信息分享过程中出现信息缺失,进而降低人们之间信息分享的质量。
发明内容
本申请实施例的目的是提供一种图片处理方法、装置、电子设备及存储介质,以解决目前图片分享中存在信息分享的质量低的问题。
本公开的技术方案如下:
根据本申请实施例的第一方面,提供一种图片处理方法,包括:
在获取到待识别图片的情况下,将所述待识别图片输入至目标卷积神经网络CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
在其中一个实施例中,所述在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中之前,还包括:
基于所述第一训练集对初始CNN模型进行训练,得到第一CNN模型;
输入第一图片样本的图片至所述第一CNN模型,得到所述第一CNN模型在目标层输出的第一结果,其中,所述第一图片样本为所述第一训练集中的任一图片样本,所述目标层包括中间层和输出层中的至少一项;
将所述第一结果作为第二CNN模型在所述目标层输出的第二结果的软目标,迭代更新所述第二CNN模型的模型参数,得到所述目标CNN模型,其中,所述第二结果为所述第一图片样本的图片输入至所述第二CNN模型得到的结果。
在其中一个实施例中,所述在获取到待识别图片的情况下,将所述待识别图片输入至目标卷积神经网络CNN模型中之前,还包括:
获取第一样本集和第二样本集,其中,所述第一样本集包括标注的图片样本,所述第二样本集包括未标注的图片样本;
将所述第一样本集输入至第M-1个CNN模型中,训练得到第M个CNN模型,其中,所述M为正整数;
将所述第二样本集中图片样本输入至所述第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至所述第一样本集中;
在所述M个CNN模型不满足训练停止条件的情况下,将所述第M个CNN模型作为所述第M-1个CNN模型,并重新执行将所述第一样本集输入至第M-1个CNN模型中;
在所述M个CNN模型满足训练停止条件的情况下,将所一样本集作为所述第一训练集。
在其中一个实施例中,所述将所一样本集作为所述第一训练集之后,还包括:
对所述第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,所述图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
将所述第三样本集加入至所述第一训练集,以更新所述第一训练集。
在其中一个实施例中,所述对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片,包括:
在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,所述N为大于1的整数;
基于所述目标脱敏处理方式,对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
在其中一个实施例中,所述N种预设脱敏处理方式包括设置马赛克、模糊处理以及替换为目标图像,其中,所述目标图像为与所述待识别图片中除所述至少一个敏感图像区域之外的图像关联的图像。
在其中一个实施例中,所述在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,包括:
获取所述热力图中所述至少一个敏感图像区域的敏感等级;
在所述N种预设脱敏处理方式中,确定所述至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
根据本申请实施例的第二方面,提供一种图片处理装置,包括:
图片输入模块,被配置为在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
热力图获取模块,被配置为在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
图片输出模块,被配置为对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
在其中一个实施例中,所述装置,还包括:
第一训练模块,被配置为基于所述第一训练集对初始CNN模型进行训练,得到第一CNN 模型;
结果输出模块,被配置为输入第一图片样本的图片至所述第一CNN模型,得到所述第一CNN模型在目标层输出的第一结果,其中,所述第一图片样本为所述第一训练集中的任一图片样本,所述目标层包括中间层和输出层中的至少一项;
参数更新模块,被配置为将所述第一结果作为第二CNN模型在所述目标层输出的第二结果的软目标,迭代更新所述第二CNN模型的模型参数,得到所述目标CNN模型,其中,所述第二结果为所述第一图片样本的图片输入至所述第二CNN模型得到的结果。
在其中一个实施例中,所述装置,还包括:
样本集获取模块,被配置为获取第一样本集和第二样本集,其中,所述第一样本集包括标注的图片样本,所述第二样本集包括未标注的图片样本;
第二训练模块,被配置为将所述第一样本集输入至第M-1个CNN模型中,训练得到第M 个CNN模型,其中,所述M为正整数;
标注模块,被配置为将所述第二样本集中图片样本输入至所述第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至所述第一样本集中;
重置模块,被配置为在所述M个CNN模型不满足训练停止条件的情况下,将所述第M个CNN模型作为所述第M-1个CNN模型,并重新执行将所述第一样本集输入至第M-1个CNN 模型中;
训练集生成模块,被配置为在所述M个CNN模型满足训练停止条件的情况下,将所一样本集作为所述第一训练集。
在其中一个实施例中,所述装置,还包括:
数据增强模块,被配置为对所述第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,所述图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
训练集更新模块,被配置为将所述第三样本集加入至所述第一训练集,以更新所述第一训练集。
在其中一个实施例中,所述图片输出模块,包括:
处理方式确定单元,被配置为在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,所述N为大于1的整数;
图片输出单元,被配置为基于所述目标脱敏处理方式,对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
在其中一个实施例中,所述N种预设脱敏处理方式包括设置马赛克、模糊处理以及替换为目标图像,其中,所述目标图像为与所述待识别图片中除所述至少一个敏感图像区域之外的图像关联的图像。
在其中一个实施例中,所述处理方式确定单元,包括:
敏感等级获取子单元,被配置为获取所述热力图中所述至少一个敏感图像区域的敏感等级;
处理方式子单元,被配置为在所述N种预设脱敏处理方式中,确定所述至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
根据本申请实施例的第三方面,提供一种电子设备,该电子设备可以包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面的任一项实施例中所示的图片处理方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由图片处理装置或者电子设备的处理器执行时,以使图片处理装置或者电子设备实现以实现如第一方面的任一项实施例中所示的图片处理方法。
根据本申请实施例的第五方面,提供一种计算机程序产品,包括计算机程序或者指令,所述计算机程序/指令被处理器执行时实现如第一方面的任一项实施例中所示的图片处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
将待识别图片输入至由第一训练集训练得到的目标CNN模型中,通过目标CNN模型识别待识别图片,并在识别到待识别图片为敏感图片的情况下生成待识别图片的热力图,最后将生成的热力图中的敏感图像区域的图像进行脱敏处理,从而实现对待识别图片中部分图像的脱敏处理。如此,通过本申请实施例,相比于直接将敏感图片剔除,至少可以保留敏感图像区域之外的图像的信息,从而提升信息分享过程中信息的完整性,进而提升人们之间信息分享的质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限值本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图片处理方法的流程示意图;
图2是根据一示例性实施例示出的初始CNN模型的结构示意图;
图3是根据一示例性实施例示出的采用蒸馏技术训练CNN模型的示意图;
图4是根据一示例性实施例示出的半监督训练的流程示意图;
图5是根据一示例性实施例示出的热力图的示意图;
图6是根据一示例性实施例示出的一种图片处理装置的结构框图;
图7是根据一示例性实施例示出的一种计算设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参见图1,是根据一示例性实施例示出的一种图片处理方法的流程示意图。该图片处理方法应用于电子设备,例如计算机终端、或服务器,为方便理解,本方案以服务器为例进行说明。如图1所示,上述图片处理方法包括如下步骤101-104。
步骤101、在获取到待识别图片的情况下,将待识别图片输入至目标卷积神经网络(Convolutional Neural Networks,CNN)模型中,其中,目标CNN网络模型通过第一训练集训练得到,第一训练集包括标注有敏感标签的敏感图片样本。
需要说明的是,上述目标CNN模型可以是任意能够实现识别待识别图片是否为敏感图片的深度神经网络模型,且上述目标CNN模型可以在识别图片为敏感图片的情况下,生成待识别图片的热力图,并为待识别图片标注敏感标签。
本申请一实施例中,上述目标CNN模型可以是由包括标注有标签的图片样本的第一训练集训练得到,该标签用于指示图片样本的图片是否为敏感图片,即在将待识别图片输入至目标卷积神经网络CNN模型之前,电子设备还可以基于上述第一训练集训练得到上述目标CNN模型。
其中,上述基于第一训练集训练得到上述目标CNN模型,可以是通过第一训练集训练预设的初始CNN模型,得到上述目标CNN模型,且该训练过程可以如下:
将第一训练集的图片样本中的图片作为初始的CNN模型的输入,通过训练的CNN模型的输出结果以及图片样本标注的标签结果计算训练的CNN模型的损失,并根据计算得到的损失调节CNN模型的模型参数(如权重等)以实现模型的迭代,通过反复对预设的CNN模型进行迭代,直至达到迭代停止条件,如CNN模型的损失趋向于不变,将最终迭代得到的 CNN模型作为上述目标CNN模型。
需要说明的是,为保证训练得到的目标CNN模型的识别精度,可以设置初始的CNN模型骨干网络的网络层数多。另外,该骨干网络可以包括Big-transfer或efficientnet系列的网络等。
当然,上述基于第一训练集训练得到上述目标CNN模型,也可以是通过其他方式训练得到上述目标CNN模型,具体地,上述步骤101之前,还可以包括:
基于第一训练集对初始CNN模型进行训练,得到第一CNN模型;
输入第一图片样本的图片至第一CNN模型,得到第一CNN模型在目标层输出的第一结果,其中,第一图片样本为第一训练集中的任一图片样本,目标层包括中间层和输出层中的至少一项;
将第一结果作为第二CNN模型在目标层输出的第二结果的软目标,迭代更新第二CNN 模型的模型参数,得到目标CNN模型,其中,第二结果为第一图片样本的图片输入至第二 CNN模型得到的结果。
基于此,通过将训练好的第一CNN模型作为第二CNN模型的输出结果的软目标,实现将第一CNN模型学习到的知识迁移至第二CNN模型中,训练得到上述目标CNN模型,从而使目标CNN模型的训练方式更灵活,且保证目标CNN模型的识别精度。
其中,上述基于第一训练集对初始CNN模型进行训练,得到第一CNN模型,即通过第一训练的图片样本的图片作为初始CNN模型的输入,且根据模型的输出结果与图片样本的标签结果调整模型参数,实现对初始CNN模型的反复训练迭代,得到上述第一CNN模型。
例如,可以构建如图2所示包括backbone网络的初始CNN模型21,并通过第一训练集对初始CNN模型进行训练得到第一CNN模型,该第一CNN模型可以识别输入的图片的图片类型,如敏感(例如露胸、露臀、露三角区)以及正常(即不敏感)等,并为输入的图片标注相应的标签。
另外,上述第一CNN模型和第二CNN模型可以是任意的能够实现识别图片是否为敏感图片的CNN模型,第一CNN模型和第二CNN模型还能够在识别图片为敏感图片的情况下,生成图片的热力图。
需要说明的是,上述第一CNN模型的识别精度可以高于第二CNN模型的识别精度。如此,由于将第一CNN模型的输出结果作为第二CNN模型的输出结果的软目标,以实现迭代更新第二CNN模型的模型参数,从而使得参数更新后的第二CNN模型的输出结果逐渐接近第一CNN模型的输出结果或者与第一CNN模型的输出结果一致,进而实现将第一CNN模型学习的知识迁移至第二CNN模型中,得到目标CNN模型。
另外,上述第一CNN模型与第二CNN模型可以是具有相同网络架构的CNN模型;或者,上述第一CNN模型与第二CNN模型也可以是具有不同网络架构的CNN模型。具体地,上述第一CNN模型的网络层数可以是大于上述第二CNN模型的网络层数,即第二CNN模型相比第一CNN模型具有更快的识别速度,通过将第一CNN模型的识别精度迁移至第二CNN模型,在使用目标CNN模型(即迭代更新后最终得到的第二CNN模型)进行识别时,不仅可以保证目标CNN模型的精度,还可以提升CNN识别模型的识别速度。
示例性地,假设如图2所示的初始CNN模型21为具有较多的网络层数的CNN模型,那么,在通过第一训练集训练初始CNN模型21得到第一CNN模型之后,可以将该第一CNN模型作为教师(Teacher)模型;
此时,将网络层数少的CNN模型作为学生(Student)模型(即第二CNN模型),如图3所示,将图片样本分别输入至教师模型和学生模型中,并将教师模型中的输出结果作为学生模型的输出结果的软目标,让学生模型去拟合教师模型的输出结果。例如,可以是通过Hint-学习拟合教师模型的中间层的结果,即将教师模型的中间层的结果作为学生模型的中间层的结果(即目标层包括中间层);和/或,通过知识蒸馏方式拟合教师模型的输出层的结果,即将教师模型的输出层的结果作为学生模型的输出层的结果(即目标层包括输出层);
通过损失函数计算学生模型的输出结果与教师模型的输出结果之间的模拟损失(imitation loss),并在模拟损失未满足预设条件(如模拟损失大于预设损失等)的情况下,更新学生模型的网络参数,重新执行将图片样本分别输入至教师模型和学生模型中,并将教师模型中的输出结果作为学生模型的输出结果的软目标,让学生模型去拟合教师模型的输出结果,直至模拟损失满足预设条件,学生模型收敛,此时学生模型的输出结果接近教师模型的输出结果,保存学生模型(即得到目标CNN模型)。
本申请一实施例中,上述第一训练集可以是包括标注有敏感标签的敏感图片样本,该敏感标签用于指示图片样本的图片为敏感图片。当然,为保证训练的鲁棒性,上述第一训练集还可以包括标注有正常标签的非敏感图片样本,该正常标签用于指示图片的样本不为敏感图片,在此并不进行限定。
需要说明的是,上述第一训练集中各图片样本的标签的标注,可以是均通过人工操作实现;或者,为降低第一训练集获取中人工操作的工作量,上述第一训练集的部分图片样本中标签的标注,也可以是通过机器标注。
具体地,上述在获取到待识别图片的情况下,将待识别图片输入至目标卷积神经网络 CNN模型中之前,还可以包括:
获取第一样本集和第二样本集,其中,第一样本集包括标注的图片样本,第二样本集包括未标注的图片样本;
将第一样本集输入至第M-1个CNN模型中,训练得到第M个CNN模型,其中,M为正整数;
将第二样本集中图片样本输入至第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至第一样本集中;
在M个CNN模型不满足训练停止条件的情况下,将第M个CNN模型作为第M-1个CNN模型,并重新执行将第一样本集输入至第M-1个CNN模型中;
在M个CNN模型满足训练停止条件的情况下,将所述第一样本集作为第一训练集。
基于此,在对CNN模型的训练过程中,通过包括标注的图片样本的第一样本集对待训练的CNN模型进行训练,并通过训练得到的CNN模型对未标注的图片样本进行标注,且将标注后的样本加入至第一样本集中,直至在训练得到的CNN模型满足训练停止条件下,将第一样本集中作为上述训练样本集,实现以半监督的方式获取训练样本集,从而可以降低获取训练样本集的工作量,提升获取训练样本集的效率。
本申请一实施例中,上述第一样本集中的图片样本的标注有标签,而上述第二样本集中的图片样本均为标注有标签,且上述第一样本集和第二图片集中的样本图片可以均包括敏感图片以及非敏感图片。
例如,在视频和图片资源中,根据历史审核记录或者用户投诉举报的记录中抽取一批疑似低俗的图片及其视频帧(即敏感图片);同时抽取一批正常视频和图片资源的数据(即非敏感图片)。
需要说明的是,上述图片样本的标签可以是根据预先设定的图片分类标准进行标注,该图片分类标准包括划分图片为敏感图片和非敏感图片的判断标准,例如,敏感图片可以是包括露胸、露臀、露三角区、内衣类、足部特写、裆部特写以及臀部特写等中至少一项敏感内容的图片,而非敏感图片为不包括上述敏感内容的图片。
另外,上述第M-1个CNN模型可以是预先设置有模型参数的初始CNN模型(此时M=1,即第0个CNN模型表示初始CNN模型),也可以是对初始CNN模型进行训练过程中任意一次迭代后得到的CNN模型(即M大于1),而该第M-1个CNN模型可以包括一个CNN模型或者多个CNN模型,且该多个CNN模型可以是分别用于根据不同图像特征(如胸部、臀部或者三角区等)识别图片是否为敏感图片的CNN模型。
本申请一实施例中,上述将第一样本集输入至第M-1个CNN模型中,训练得到第M个CNN模型,可以是将第一样本集的图片样本输入至第M-1个CNN模型中,该第M-1个CNN模型输出识别结果;通过预设的损失函数计算识别结果与图片样本中标签的标记结果之间的损失;判断计算得到的损失是否达到预设条件,若计算得到的损失未达到预设条件,则对 CNN模型中的网络参数进行更新,并得到第M个CNN模型,且第M个CNN模型不满足训练停止条件。
其中,上述判断计算得到的损失是否达到预设条件,可以是判断计算得到的损失与上一次训练中计算得到的损失的差值是否小于或者等于预设差值(如趋向于不变),或者,也可以是判断计算得到的损失是否小于或者等于预设损失,等等。
另外,上述对CNN模型中的网络参数进行更新,可以是根据预设的网络参数更新方法对CNN模型的网络参数进行调整,如梯度下降法等。
需要说明的是,在训练得到上述第M个CNN模型之后,电子设备可以将第二样本集中未标注的样本输入至第M个CNN模型中,得到通过机器标注的图片样本,并将标注的样本加入至第一样本集中,如此,在训练停止之前,不断通过训练得到CNN模型对未标注样本进行标注并更新第一样本集,直至上述训练满足停止条件,将更新得到的第一样本集作为训练样本集。
以上述M=3为例进行说明,即上述第M-1个模型为对初始CNN模型进行2次训练后得到的第2个CNN模型,此时,将第2个CNN模型作为待训练的CNN模型,电子设备将第一样本集输入至待训练的CNN模型中,训练得到第3个CNN模型;然后,电子设备将第二样本集中的图片样本输入至第3个CNN模型中,通过第3个CNN模型对第二样本集中未标注的图片样本进行标注,即标注第二样本集中各图片样本的图片是否为敏感图片,并将标注后的图片样本加入至第一样本集中,以更新第一样本集;通过预设的损失函数计算第3个 CNN模型的损失,若第3个CNN模型的损失未达到预设条件(即第3个CNN模型未满足训练停止条件),则对第3个CNN模型的网络参数进行更新,并将第3个CNN模型作为待训练的 CNN模型,重新执行将第一样本集输入至待训练的CNN模型中;若第3个CNN模型的损失达到预设条件,则将更新后的第一样本集作为上述训练样本集。
当然,上述获取训练样本集的过程中,可以是电子设备同时通过上述第一样本集分别同时对多个待训练CNN模型进行训练,得到多个训练后的CNN模型,该多个待训练CNN模型可以是根据不同图像特征(如胸部、臀部或者三角区等)识别图片是否为敏感图片的CNN模型;由多个训练后的CNN模型共同对第二样本集中的图片样本进行是否为敏感图像的标注,并将标注后的图片样本加入至第一样本集中。
又一示例中,如图4所示,电子设备可以用标注图片集(即第一样本集)的标注图片训练多个初始CNN模型(包括分别用于识别臀部、胸部以及三角区等中至少两个图像区域中的图像是否敏感的多个CNN模型),并将训练得到的多个CNN模型作为多个Teacher模型;综合多个教师(Teacher)模型对未标注图片(即第二样本集的图片样本)进行标注,例如,若至少一个Teacher模型识别到其对应的图像区域的图像敏感,则标注未标注图片为敏感图像,若多个Teacher模型均识别到其对应的图像区域的图像不敏感,则标注未标注图片为正常图像;将多个Teacher模型标注的标注图片加入至标注图片集中;在多个Teacher 模型中任意一个Teacher模型的未满足训练停止条件的情况下,将该Teacher模型作为学生(Student)模型,通过更新的标注图片集训练该Student模型,即更新该Student模型的网络参数,将训练后的Student模型作为新的Teacher模型,并重新执行综合多个Teacher 模型对未标注图片进行标注;在多个Teacher模型满足训练停止条件的情况下,将最终更新得到的标注图片集作为第一训练集。
本申请一实施例中,电子设备可以通过上述半监督处理得到的标注图片形成上述第一训练集。当然,电子设备还可以对形成的第一训练集进行扩展,以进一步丰富第一训练集中的图片样本。
具体地,上述将所一样本集作为所述第一训练集之后,还包括:
对第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
将第三样本集加入至第一训练集,以更新第一训练集。
基于此,通过对第一训练集中的图片样本进行上述图片数据增强处理,并将图片数据增强处理后得到的样本集更新第一训练集,从而使获取到的第一训练集更丰富,且进一步提升第一训练集的获取效率。
本申请实施例中,上述对第一训练集中的图片样本进行图片数据增强处理,可以是对第一训练集中的部分图片样本进行图片数据增强处理,或者,也可以是对第一训练集中的全部图片样本进行图片数据增强处理。
其中,在对第一训练集的图片样本进行图片数据增强处理中,增强处理后得到的图片样本的标签沿用处理前的图片样本的标签。
另外,上述图片数据增强处理可以包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项。例如,上述第一训练集中包括一张土拨鼠的照片,可以对该土拨鼠的照片分别进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡等图片数据增强处理,得到旋转后的土拨鼠的照片、翻转变换后的土拨鼠的照片、缩放变换后的土拨鼠的照片、平移变换后的土拨鼠的照片、尺度变换后的土拨鼠的照片、噪声扰动后的土拨鼠的照片、颜色变换后的土拨鼠的照片以及遮挡后的土拨鼠的照片。
步骤102、在目标CNN网络模型识别待识别图片为敏感图片的情况下,获取通过目标 CNN网络模型生成的待识别图片的热力图,其中,待识别图片的热力图包括至少一个敏感图像区域。
本申请一实施例中,由于CNN模型具备类激活映射(Class Activation Mapping,CAM) 技术,CAM可以计算出模型判别一个图片为敏感图片的依据,即在图片为敏感图片的情况下,计算各图像特征(包括臀部、胸部以及三角区等)在判定图片的为敏感图片的权重;根据各图像特征的权重,确定该图像特征所在的区域是否为敏感图像区域,若图像特征的权重大于或者等于预设权重,则确定该图像特征所在的区域为敏感图像区域,反之,则不为敏感图像区域;并通过不同深度的预设颜色(如红色、灰度)标示敏感图像区域的图像,得到热力图,且该预设颜色越深表示权重越大。
例如,可以通过CNN模型的权重计算得到待识别图片分类为敏感图片这个标签的依据,如图5中的热力图所示,虚线区域(虚线区域实际为红色或灰度,且红色或灰度越深表示权重越大)为判定待识别图片为露胸的依据,即胸部的图像特征的权重大于或者等于预设权重,虚线区域为上述敏感图像区域。
步骤103、对至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
本申请一实施例中,上述电子设备对敏感图像区域内的图像区域进行脱敏处理,可以是采用预定的脱敏处理方式实现;或者,电子设备也可以根据实际场景需求选取不同的脱敏处理方式,对敏感图像区域内的图像区域进行脱敏处理。
具体地,上述步骤103,
对热力图中至少一个敏感图像区域的图像进行脱敏处理,得到输出图片,包括:
在N种预设脱敏处理方式中,确定待识别图片的目标脱敏处理方式,N为大于1的整数;
基于目标脱敏处理方式,对热力图中至少一个敏感图像区域的图像进行脱敏处理,得到输出图片。
基于此,通过根据实际场景需求在N种预设脱敏处理方式中确定目标脱敏处理方式,对上述至少一个敏感图像区域的图像进行脱敏处理,进一步提升脱敏处理的质量。
其中,上述N种预设脱敏方式中任意一种脱敏方式可以是能够实现将敏感图像区域中的敏感信息设置为不可见状态的处理方式,例如,该预设脱敏方式可以是将脱敏图像区域中的图像从待识别图片中删除,使该待识别图片中该脱敏图像区域更新为空白图像区域,等等。
具体地,上述N种预设脱敏处理方式包括以下至少一项:设置马赛克、模糊处理以及替换为目标图像,其中,目标图像为与待识别图片中除至少一个敏感图像区域之外的图像关联的图像。
基于此,通过对敏感图像区域的图像进行设置马赛克、模糊处理或者替换为目标图像等,不仅可以避免待识别图片中的敏感图像区域的图像内容被查看,还能保证待识别图片的显示质量。
需要说明的是,上述目标图像可以是任意的预先设置的图像,或者,也可以是与待识别图片中除上述敏感图像区域的图像之外的图像关联的图像,等等。
本申请实施例中,上述在N种预设脱敏处理方式中,确定待识别图片的目标脱敏处理方式,可以是根据待识别图片的敏感程度以及当前对敏感图片的政策要求等等至少一项场景信息,确定与场景信息相对应的预设脱敏处理方式为上述目标脱敏处理方式。
例如,在一种情况下,可以是将替换为目标图像的脱敏处理方式作为上述目标脱敏处理方式;而在另一种情况下,可以是将设置马赛克的脱敏处理方式作为上述目标脱敏处理方式。
或者,上述在N种预设脱敏处理方式中,确定待识别图片的目标脱敏处理方式,包括:
获取热力图中至少一个敏感图像区域的敏感等级;
在N种预设脱敏处理方式中,确定至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
基于此,通过上述待识别图片中至少一个敏感图像区域的敏感等级中的最高敏感等级,确定相对应的脱敏方式作为上述目标脱敏方式,从而使脱敏方式更合适,进一步提升脱敏效果。
其中,上述敏感等级可以是根据敏感图像区域中的图像内容确定,例如,若图像内容中露臀则敏感等级低,若图像内容中露胸则敏感等级适中,若图像内容中露三角区则敏感等级高,等等;或者,也可以是根据热力图中各敏感图像区域的颜色深浅程度确定,颜色越深则敏感等级越高。
另外,上述在N种预设脱敏处理方式中,确定至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式,可以是电子设备中预设有不同敏感等级与预设脱敏处理方式的对应关系,电子设备将与上述最高敏感等级具有对应关系的预设敏感处理方式确定为目标脱敏方式。
示例性地,敏感等级高与设置马赛克对应、敏感等级适中与模糊处理对应、敏感等级低与替换为目标图像对应,若上述最高敏感等级为敏感等级适中,则将模糊处理确定为上述目标脱敏方式,等等。
基于此,将待识别图片输入至由第一训练集训练得到的目标CNN模型中,通过目标CNN 模型识别待识别图片,并在识别到待识别图片为敏感图片的情况下生成待识别图片的热力图,最后将生成的热力图中的敏感图像区域的图像进行脱敏处理,从而实现对待识别图片中部分图像的脱敏处理。如此,通过本申请实施例,相比于直接将敏感图片剔除,至少可以保留敏感图像区域之外的图像的信息,从而提升信息分享过程中信息的完整性,进而提升人们之间信息分享的质量。
为便于对本申请的图片处理方法的图片脱敏处理过程的理解,在此提供示例一和示例二进行说明,具体如下:
示例一
a、将静态的封面图(即待识别图片)输入到训练得到的Student模型(即目标CNN模型)中,模型会预测出图片的敏感标签,并计算出热力图;
b、如果命中相应的敏感标签和实际场景需求,则可以替换热力图中表示敏感的像素点,例如红色较深的像素点,例如原始图片中的敏感部位像素点。可以有多重替换方式,比如可以做模糊处理,设置马赛克,“一键穿衣”(即替换为图片中的非敏感图像)等;
c、可以对敏感部位的像素点做不同的策略(即确定目标脱敏处理方式),比如命中的敏感部位不严重则可以做模糊处理,较严重的可以直接打马赛克,一些轻微的可以做“一键穿衣”等操作;
d、实际使用场景可以根据业务或者是政策需要,调整需要处理的敏感类型以及是否打马赛克或者是模糊等处理。
示例二
a、将原始的视频进行实时抽帧(即待识别图片为视频帧)处理,将抽取的帧送入到Student模型中;
b、帧数据输入到Student模型中,模型会识别图片中的敏感标签,并计算原始帧数据中的热力图,根据热力图去脱敏处理;
c、如果命中相应的敏感标签和实际场景需求,则根据模型得到的热力图,直接将帧数据的敏感部位进行脱敏处理,可选择设置马赛克,模糊处理,“一键穿衣”等;
d、将脱敏的视频帧数据还原成视频数据,形成脱敏后的视频数据,并最终展示给用户。如果选择“一键穿衣”,最终呈现的效果是用户无感知的,即用户完全发现不出来图片是处理过的。
图6是根据一示例性实施例示出的一种图片处理装置的结构示意图。
如图6所示,该图片处理装置600具体可以包括:
图片输入模块601,被配置为在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
热力图获取模块602,被配置为在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
图片输出模块603,被配置为对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
基于此,将待识别图片输入至由第一训练集训练得到的目标CNN模型中,通过目标CNN 模型识别待识别图片,并在识别到待识别图片为敏感图片的情况下生成待识别图片的热力图,最后将生成的热力图中的敏感图像区域的图像进行脱敏处理,从而实现对待识别图片中部分图像的脱敏处理。如此,通过本申请实施例,相比于直接将敏感图片剔除,至少可以保留敏感图像区域之外的图像的信息,从而提升信息分享过程中信息的完整性,进而提升人们之间信息分享的质量。
在其中一个实施例中,所述装置600,还包括:
第一训练模块,被配置为基于所述第一训练集对初始CNN模型进行训练,得到第一CNN 模型;
结果输出模块,被配置为输入第一图片样本的图片至所述第一CNN模型,得到所述第一CNN模型在目标层输出的第一结果,其中,所述第一图片样本为所述第一训练集中的任一图片样本,所述目标层包括中间层和输出层中的至少一项;
参数更新模块,被配置为将所述第一结果作为第二CNN模型在所述目标层输出的第二结果的软目标,迭代更新所述第二CNN模型的模型参数,得到所述目标CNN模型,其中,所述第二结果为所述第一图片样本的图片输入至所述第二CNN模型得到的结果。
基于此,通过将训练好的第一CNN模型作为第二CNN模型的输出结果的软目标,实现将第一CNN模型学习到的知识迁移至第二CNN模型中,训练得到上述目标CNN模型,从而使目标CNN模型的训练方式更灵活,且保证目标CNN模型的识别精度。
在其中一个实施例中,所述装置600,还包括:
样本集获取模块,被配置为获取第一样本集和第二样本集,其中,所述第一样本集包括标注的图片样本,所述第二样本集包括未标注的图片样本;
第二训练模块,被配置为将所述第一样本集输入至第M-1个CNN模型中,训练得到第M 个CNN模型,其中,所述M为正整数;
标注模块,被配置为将所述第二样本集中图片样本输入至所述第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至所述第一样本集中;
重置模块,被配置为在所述M个CNN模型不满足训练停止条件的情况下,将所述第M个CNN模型作为所述第M-1个CNN模型,并重新执行将所述第一样本集输入至第M-1个CNN 模型中;
训练集生成模块,被配置为在所述M个CNN模型满足训练停止条件的情况下,将所一样本集作为所述第一训练集。
基于此,在对CNN模型的训练过程中,通过包括标注的图片样本的第一样本集对待训练的CNN模型进行训练,并通过训练得到的CNN模型对未标注的图片样本进行标注,且将标注后的样本加入至第一样本集中,直至在训练得到的CNN模型满足训练停止条件下,将第一样本集中作为上述训练样本集,实现以半监督的方式获取训练样本集,从而可以降低获取训练样本集的工作量,提升获取训练样本集的效率。
在其中一个实施例中,所述装置600,还包括:
数据增强模块,被配置为对所述第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,所述图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
训练集更新模块,被配置为将所述第三样本集加入至所述第一训练集,以更新所述第一训练集。
基于此,通过对第一训练集中的图片样本进行上述图片数据增强处理,并将图片数据增强处理后得到的样本集更新第一训练集,从而使获取到的第一训练集更丰富,且进一步提升第一训练集的获取效率。
在其中一个实施例中,所述图片输出模块603,包括:
处理方式确定单元,被配置为在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,所述N为大于1的整数;
图片输出单元,被配置为基于所述目标脱敏处理方式,对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
基于此,通过根据实际场景需求在N种预设脱敏处理方式中确定目标脱敏处理方式,对上述至少一个敏感图像区域的图像进行脱敏处理,进一步提升脱敏处理的质量。
在其中一个实施例中,所述N种预设脱敏处理方式包括设置马赛克、模糊处理以及替换为目标图像,其中,所述目标图像为与所述待识别图片中除所述至少一个敏感图像区域之外的图像关联的图像。
基于此,通过对敏感图像区域的图像进行设置马赛克、模糊处理或者替换为目标图像等,不仅可以避免待识别图片中的敏感图像区域的图像内容被查看,还能保证待识别图片的显示质量。
在其中一个实施例中,所述处理方式确定单元,包括:
敏感等级获取子单元,被配置为获取所述热力图中所述至少一个敏感图像区域的敏感等级;
处理方式子单元,被配置为在所述N种预设脱敏处理方式中,确定所述至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
基于此,通过上述待识别图片中至少一个敏感图像区域的敏感等级中的最高敏感等级,确定相对应的脱敏方式作为上述目标脱敏方式,从而使目标脱敏方式更合适,进一步提升脱敏效果。
基于同一发明构思,本申请实施例还提供了一种计算设备,具体结合图7进行详细说明。
图7是根据一示例性实施例示出的一种计算设备的结构框图。
如图7所示,该计算设备700能够实现根据本申请实施例中的图片处理方法以及图片处理装置的计算设备的示例性硬件架构的结构图。该计算设备可以指代本申请实施例中的电子设备。
该计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(application specific integrated circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制,存储器702 可包括硬盘驱动器(hard disk drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,USB)驱动器或者两个及其以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM 可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存,或者两个或及其以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以执行如下步骤:
处理器701,执行在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
基于此,将待识别图片输入至由第一训练集训练得到的目标CNN模型中,通过目标CNN 模型识别待识别图片,并在识别到待识别图片为敏感图片的情况下生成待识别图片的热力图,最后将生成的热力图中的敏感图像区域的图像进行脱敏处理,从而实现对待识别图片中部分图像的脱敏处理。如此,通过本申请实施例,相比于直接将敏感图片剔除,至少可以保留敏感图像区域之外的图像的信息,从而提升信息分享过程中信息的完整性,进而提升人们之间信息分享的质量。
在其中一个实施例中,处理器701,执行基于所述第一训练集对初始CNN模型进行训练,得到第一CNN模型;
输入第一图片样本的图片至所述第一CNN模型,得到所述第一CNN模型在目标层输出的第一结果,其中,所述第一图片样本为所述第一训练集中的任一图片样本,所述目标层包括中间层和输出层中的至少一项;
将所述第一结果作为第二CNN模型在所述目标层输出的第二结果的软目标,迭代更新所述第二CNN模型的模型参数,得到所述目标CNN模型,其中,所述第二结果为所述第一图片样本的图片输入至所述第二CNN模型得到的结果。
基于此,通过将训练好的第一CNN模型作为第二CNN模型的输出结果的软目标,实现将第一CNN模型学习到的知识迁移至第二CNN模型中,训练得到上述目标CNN模型,从而使目标CNN模型的训练方式更灵活,且保证目标CNN模型的识别精度。
在其中一个实施例中,处理器701,执行获取第一样本集和第二样本集,其中,所述第一样本集包括标注的图片样本,所述第二样本集包括未标注的图片样本;
将所述第一样本集输入至第M-1个CNN模型中,训练得到第M个CNN模型,其中,所述M为正整数;
将所述第二样本集中图片样本输入至所述第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至所述第一样本集中;
在所述M个CNN模型不满足训练停止条件的情况下,将所述第M个CNN模型作为所述第M-1个CNN模型,并重新执行将所述第一样本集输入至第M-1个CNN模型中;
在所述M个CNN模型满足训练停止条件的情况下,将所一样本集作为所述第一训练集。
基于此,在对CNN模型的训练过程中,通过包括标注的图片样本的第一样本集对待训练的CNN模型进行训练,并通过训练得到的CNN模型对未标注的图片样本进行标注,且将标注后的样本加入至第一样本集中,直至在训练得到的CNN模型满足训练停止条件下,将第一样本集中作为上述训练样本集,实现以半监督的方式获取训练样本集,从而可以降低获取训练样本集的工作量,提升获取训练样本集的效率。
在其中一个实施例中,处理器701,执行对所述第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,所述图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
将所述第三样本集加入至所述第一训练集,以更新所述第一训练集。
基于此,通过对第一训练集中的图片样本进行上述图片数据增强处理,并将图片数据增强处理后得到的样本集更新第一训练集,从而使获取到的第一训练集更丰富,且进一步提升第一训练集的获取效率。
在其中一个实施例中,处理器701,执行在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,所述N为大于1的整数;
基于所述目标脱敏处理方式,对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
基于此,通过根据实际场景需求在N种预设脱敏处理方式中确定目标脱敏处理方式,对上述至少一个敏感图像区域的图像进行脱敏处理,进一步提升脱敏处理的质量。
在其中一个实施例中,所述N种预设脱敏处理方式包括设置马赛克、模糊处理以及替换为目标图像,其中,所述目标图像为与所述待识别图片中除所述至少一个敏感图像区域之外的图像关联的图像。
基于此,通过对敏感图像区域的图像进行设置马赛克、模糊处理或者替换为目标图像等,不仅可以避免待识别图片中的敏感图像区域的图像内容被查看,还能保证待识别图片的显示质量。
在其中一个实施例中,处理器701,执行获取所述热力图中所述至少一个敏感图像区域的敏感等级;
在所述N种预设脱敏处理方式中,确定所述至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
基于此,通过上述待识别图片中至少一个敏感图像区域的敏感等级中的最高敏感等级,确定相对应的脱敏方式作为上述目标脱敏方式,从而使目标脱敏方式更合适,进一步提升脱敏效果。
在一个示例中,该计算设备700还可包括收发器703和总线704。其中,如图5所示,处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
总线704包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(AGP) 或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令用于实现本申请实施例所记载的图片处理方法。
在一些可能的实施方式中,本公开提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤,例如,所述计算机设备可以执行本申请实施例所记载的图片处理方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开是参照根据本公开的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像传输设备的处理器以产生一个机器,使得通过计算机或其他可编程图像传输设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像传输设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像传输设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。
Claims (10)
1.一种图片处理方法,其特征在于,包括:
在获取到待识别图片的情况下,将所述待识别图片输入至目标卷积神经网络CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
2.根据权利要求1所述的方法,其特征在于,所述在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中之前,还包括:
基于所述第一训练集对初始CNN模型进行训练,得到第一CNN模型;
输入第一图片样本的图片至所述第一CNN模型,得到所述第一CNN模型在目标层输出的第一结果,其中,所述第一图片样本为所述第一训练集中的任一图片样本,所述目标层包括中间层和输出层中的至少一项;
将所述第一结果作为第二CNN模型在所述目标层输出的第二结果的软目标,迭代更新所述第二CNN模型的模型参数,得到所述目标CNN模型,其中,所述第二结果为所述第一图片样本的图片输入至所述第二CNN模型得到的结果。
3.根据权利要求1所述的方法,其特征在于,所述在获取到待识别图片的情况下,将所述待识别图片输入至目标卷积神经网络CNN模型中之前,还包括:
获取第一样本集和第二样本集,其中,所述第一样本集包括标注的图片样本,所述第二样本集包括未标注的图片样本;
将所述第一样本集输入至第M-1个CNN模型中,训练得到第M个CNN模型,其中,所述M为正整数;
将所述第二样本集中图片样本输入至所述第M个CNN模型中,以对输入的图片样本进行标注,并将标注的图片样本加入至所述第一样本集中;
在所述M个CNN模型不满足训练停止条件的情况下,将所述第M个CNN模型作为所述第M-1个CNN模型,并重新执行将所述第一样本集输入至第M-1个CNN模型中;
在所述M个CNN模型满足训练停止条件的情况下,将所一样本集作为所述第一训练集。
4.根据权利要求3所述的方法,其特征在于,所述将所一样本集作为所述第一训练集之后,还包括:
对所述第一训练集中的图片样本进行图片数据增强处理,得到第三样本集,其中,所述图片数据增强处理包括对图片进行旋转、翻转变换、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换以及遮挡中的至少一项;
将所述第三样本集加入至所述第一训练集,以更新所述第一训练集。
5.根据权利要求1所述的方法,其特征在于,所述对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片,包括:
在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,所述N为大于1的整数;
基于所述目标脱敏处理方式,对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
6.根据权利要求5所述的方法,所述N种预设脱敏处理方式包括设置马赛克、模糊处理以及替换为目标图像,其中,所述目标图像为与所述待识别图片中除所述至少一个敏感图像区域之外的图像关联的图像。
7.根据权利要求5所述的方法,所述在N种预设脱敏处理方式中,确定所述待识别图片的目标脱敏处理方式,包括:
获取所述热力图中所述至少一个敏感图像区域的敏感等级;
在所述N种预设脱敏处理方式中,确定所述至少一个敏感图像区域的敏感等级中最高敏感等级所对应的目标脱敏处理方式。
8.一种图片处理装置,其特征在于,包括:
图片输入模块,被配置为在获取到待识别图片的情况下,将所述待识别图片输入至目标CNN模型中,其中,所述目标CNN网络模型通过第一训练集训练得到,所述目标CNN网络模型用于识别输入的图片是否为敏感图片,且所述第一训练集包括标注有是否为敏感图片的图片样本;
热力图获取模块,被配置为在所述目标CNN网络模型识别所述待识别图片为敏感图片的情况下,获取通过所述目标CNN网络模型生成的待识别图片的热力图,其中,所述待识别图片的热力图包括至少一个敏感图像区域;
图片输出模块,被配置为对所述至少一个敏感图像区域内的图像进行脱敏处理,得到输出图片。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的图片处理方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由图片处理装置或者电子设备的处理器执行时,以使所述图片处理装置或者所述电子设备实现如权利要求1至7中任一项所述的图片处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701731.9A CN113554059A (zh) | 2021-06-23 | 2021-06-23 | 图片处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701731.9A CN113554059A (zh) | 2021-06-23 | 2021-06-23 | 图片处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113554059A true CN113554059A (zh) | 2021-10-26 |
Family
ID=78130835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110701731.9A Pending CN113554059A (zh) | 2021-06-23 | 2021-06-23 | 图片处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554059A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711544A (zh) * | 2018-12-04 | 2019-05-03 | 北京市商汤科技开发有限公司 | 模型压缩的方法、装置、电子设备及计算机存储介质 |
CN109872284A (zh) * | 2019-01-18 | 2019-06-11 | 平安普惠企业管理有限公司 | 图像信息脱敏方法、装置、计算机设备及存储介质 |
CN111639710A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、装置、设备以及存储介质 |
CN111711794A (zh) * | 2020-06-22 | 2020-09-25 | 上海辰珅科技有限公司 | 防偷拍图像处理方法、装置、终端及存储介质 |
CN111726648A (zh) * | 2020-06-28 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 图像数据检测的方法、装置、设备及计算机可读存储介质 |
CN112395442A (zh) * | 2020-10-12 | 2021-02-23 | 杭州电子科技大学 | 移动互联网上的低俗图片自动识别与内容过滤方法 |
-
2021
- 2021-06-23 CN CN202110701731.9A patent/CN113554059A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711544A (zh) * | 2018-12-04 | 2019-05-03 | 北京市商汤科技开发有限公司 | 模型压缩的方法、装置、电子设备及计算机存储介质 |
CN109872284A (zh) * | 2019-01-18 | 2019-06-11 | 平安普惠企业管理有限公司 | 图像信息脱敏方法、装置、计算机设备及存储介质 |
CN111639710A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、装置、设备以及存储介质 |
CN111711794A (zh) * | 2020-06-22 | 2020-09-25 | 上海辰珅科技有限公司 | 防偷拍图像处理方法、装置、终端及存储介质 |
CN111726648A (zh) * | 2020-06-28 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 图像数据检测的方法、装置、设备及计算机可读存储介质 |
CN112395442A (zh) * | 2020-10-12 | 2021-02-23 | 杭州电子科技大学 | 移动互联网上的低俗图片自动识别与内容过滤方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112950581B (zh) | 质量评估方法、装置和电子设备 | |
KR102454930B1 (ko) | 이미지의 디스크립션 스테이트먼트 포지셔닝 방법 및 장치, 전자 기기 및 저장 매체 | |
CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN110363220B (zh) | 行为类别检测方法、装置、电子设备和计算机可读介质 | |
US11475608B2 (en) | Face image generation with pose and expression control | |
CN106789565A (zh) | 社交内容分享方法及装置 | |
JP2022547248A (ja) | コンテンツ配信画像の自動生成のためのスケーラブルアーキテクチャ | |
CN109035147B (zh) | 图像处理方法及装置、电子装置、存储介质和计算机设备 | |
CN112818737A (zh) | 视频识别方法、装置、存储介质及终端 | |
CN109360197A (zh) | 图像的处理方法、装置、电子设备及存储介质 | |
CN111027450A (zh) | 银行卡信息识别方法、装置、计算机设备及存储介质 | |
CN112348808A (zh) | 屏幕透图检测方法及装置 | |
CN112329586A (zh) | 基于情绪识别的客户回访方法、装置及计算机设备 | |
CN111881706B (zh) | 活体检测、图像分类和模型训练方法、装置、设备及介质 | |
CN115620054A (zh) | 一种缺陷分类方法、装置、电子设备及存储介质 | |
CN113762382B (zh) | 模型的训练及场景识别方法、装置、设备及介质 | |
CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
CN113392886A (zh) | 图片识别模型的获取方法、装置、电子设备及存储介质 | |
CN114170484A (zh) | 图片属性预测方法、装置、电子设备和存储介质 | |
CN112749686B (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
CN113554059A (zh) | 图片处理方法、装置、电子设备及存储介质 | |
CN116977260A (zh) | 目标物的缺陷检测方法、装置、电子设备及存储介质 | |
CN112084936A (zh) | 一种人脸图像预处理方法、装置、设备及存储介质 | |
WO2020113563A1 (zh) | 人脸图像质量评估方法、装置、设备及存储介质 | |
CN113327212B (zh) | 人脸驱动、模型的训练方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |