CN117078789B - 图像处理方法、装置、设备及介质 - Google Patents
图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117078789B CN117078789B CN202311230984.8A CN202311230984A CN117078789B CN 117078789 B CN117078789 B CN 117078789B CN 202311230984 A CN202311230984 A CN 202311230984A CN 117078789 B CN117078789 B CN 117078789B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- noise
- model
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000009826 distribution Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 20
- 238000009827 uniform distribution Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 11
- 208000032484 Accidental exposure to product Diseases 0.000 abstract 1
- 231100000818 accidental exposure Toxicity 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000001066 destructive effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000012633 leachable Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000254 damaging effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Bioethics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请的实施例公开了一种图像处理方法、装置、设备及介质,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,该方法包括:获取待处理图像;将待处理图像输入至预训练的图像生成器,图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的;获取图像生成器输出的对应于待处理图像的目标图像,目标图像为图像生成器在待处理图像中添加不可见噪声得到的图像,且目标图像用于代替待处理图像应用于目标任务。本申请实施例的技术方案加强了图像隐私的保护,即使在该目标图像泄露或意外暴露的情况下,也不容易被非法利用。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。
背景技术
随着大数据、云计算和人工智能领域的迅猛发展,越来越多的企业和组织开始依赖机器学习模型为其业务提供关键洞察和优化策略。然而,机器学习模型需要大量的训练数据进行学习,并倾向于捕捉训练数据中的潜在模式和结构;例如图像分类模型,需要对大量的训练图像进行学习,但由于训练图像中可能涉及个人的隐私信息,这些模型的训练和部署过程引发了数据隐私的泄露和非法利用。
发明内容
申请的实施例提供了一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质及计算机程序产品,加强了图像隐私的保护,即使在该目标图像泄露或意外暴露的情况下,也不容易被非法利用。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种图像处理方法,包括:获取待处理图像;将所述待处理图像输入至预训练的图像生成器,所述图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,所述目标样本图像是将基于样本图像生成的不可见样本噪声添加至所述样本图像中得到的;获取所述图像生成器输出的对应于所述待处理图像的目标图像,所述目标图像为所述图像生成器在所述待处理图像中添加不可见噪声得到的图像,且所述目标图像用于代替所述待处理图像应用于目标任务。
根据本申请实施例的一个方面,提供了一种图像处理装置,包括:获取模块,用于获取待处理图像;输入模块,用于将所述待处理图像输入至预训练的图像生成器,所述图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,所述目标样本图像是将基于样本图像生成的不可见样本噪声添加至所述样本图像中得到的;获取模块,还用于获取所述图像生成器输出的对应于所述待处理图像的目标图像,所述目标图像为所述图像生成器在所述待处理图像中添加不可见噪声得到的图像,且所述目标图像用于代替所述待处理图像应用于目标任务。
在本申请的一实施例中,装置还包括训练模块,用于获取所述样本图像和所述待训练模型;根据所述样本图像生成所述样本图像对应的不可见样本噪声,并将所述样本图像对应的不可见样本噪声添加至所述样本图像得到所述目标样本图像;根据所述目标样本图像生成所述目标样本图像对应的对抗样本噪声,并将所述对抗样本噪声添加至所述目标样本图像得到对抗样本图像;根据所述对抗样本图像对所述待训练模型进行训练得到所述图像生成器。
在本申请的一实施例中,训练模块进一步用于获取所述样本图像的样本类别标签,以及第一预设噪声的取值范围;保持所述待训练模型的模型参数不变,将所述样本图像输入至所述待训练模型,以获取所述待训练模型在所述样本图像中添加所述第一预设噪声后,针对添加噪声后的第一噪声样本图像所输出的第一样本类别;根据所述样本类别标签和所述第一样本类别之间的最小距离,以及所述第一预设噪声的取值范围确定所述不可见样本噪声。
在本申请的一实施例中,训练模块进一步用于根据所述样本类别标签和所述第一样本类别之间的最小距离,以及所述第一预设噪声的取值范围生成第一样本噪声;获取所述第一噪声样本图像所对应的数据梯度,并根据所述数据梯度和所述第一预设噪声的取值范围生成第二样本噪声;根据所述第一样本噪声和所述第二样本噪声确定所述不可见样本噪声。
在本申请的一实施例中,训练模块进一步用于获取预训练的估计器;将所述第一噪声样本图像和所述样本类别标签输入至所述估计器,以得到所述第一噪声样本图像分别属于所述样本类别标签和其他类别的概率;根据所述第一噪声样本图像分别属于所述样本类别标签和其他类别的概率,获取所述第一噪声样本图像所对应的数据梯度。
在本申请的一实施例中,训练模块还用于随机初始化神经网络的参数,并获取训练集样本,所述训练集样本中的每个样本包括输入数据和所述输入数据的标签;根据用于拉近所述神经网络的输出与所述标签的损失函数和针对所述输入数据的数据梯度的正则化项生成所述神经网络的目标函数;根据所述训练集样本和目标函数对所述神经网络的参数进行调整,得到所述估计器。
在本申请的一实施例中,训练模块进一步用于获取所述样本图像的样本类别标签,以及第二预设噪声的取值范围;保持所述待训练模型的模型参数不变,将所述目标样本图像输入至所述待训练模型,以获取所述待训练模型在所述目标样本图像中添加所述第二预设噪声后,针对添加噪声后的第二噪声样本图像所输出的第二样本类别;根据所述样本类别标签和所述第二样本类别之间的最大距离,以及所述第二预设噪声的取值范围,确定所述对抗样本噪声。
在本申请的一实施例中,训练模块进一步用于将所述对抗样本图像输入至所述待训练模型,以获取所述待训练模型针对所述对抗样本图像输出的对抗样本类别;根据所述样本类别标签和所述对抗样本类别之间的最小距离,对所述待训练模型的模型参数进行调整得到所述图像生成器。
在本申请的一实施例中,所述样本图像的类别数量为K个;训练模块进一步用于根据所述样本类别标签和所述对抗样本类别之间的最小距离得到所述待训练模型的对抗误差项;获取所述待训练模型针对所述样本图像输出的所述样本图像属于第k个类别的预测概率;根据所述样本图像属于第k个类别的预测概率和所述样本图像属于第k个类别的预设分布概率生成所述待训练模型的修正项;根据所述对抗误差项和所述修正项的最小值,对所述待训练模型的模型参数进行调整得到所述图像生成器。
在本申请的一实施例中,训练模块进一步用于根据所述样本图像的类别数量K计算所述样本图像均匀分布的概率,将所述均匀分布的概率作为预设概率;根据所述样本图像属于第k个类别的预测概率和所述预设概率之间的均方误差生成所述修正项。
在本申请的一实施例中,训练模块进一步用于获取所述样本图像属于第k个类别的先验分布概率,将所述先验分布概率作为所述预设分布概率;根据所述样本图像属于第k个类别的预测概率和所述预设分布概率之间的平均误差生成所述修正项。
在本申请的一实施例中,输入模块进一步用于若所述待处理图像的图像内容包括需要进行信息保护的指定内容,则将所述待处理图像输入至所述预训练的图像生成器;所述装置还包括训练模块,训练模块用于根据所述目标图像对机器学习模型进行训练,所述机器学习模型用于执行与所述待处理图像相关的下游任务。
根据本申请实施例的一个方面,本申请实施例提供了一种电子设备,包括一个或多个处理器;存储装置,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现如上所述的图像处理方法。
根据本申请实施例的一个方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被电子设备的处理器执行时,使电子设备执行如上所述的图像处理方法。
根据本申请实施例的一个方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序,使得所述电子设备执行如上所述的图像处理方法。
在本申请的实施例所提供的技术方案中,将待处理图像输入至预训练的图像生成器,而图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的,即由于目标样本图像在添加不可见噪声后,该目标样本图像可以保护图像中的数据不被非法利用;之后根据该目标样本图像进行对抗训练,使得模型提取鲁棒的特征,使其能够抵御对抗训练的破坏性影响,进一步确保图像生成器输出的图像免受机器学习模型对抗训练的破坏,降低了数据被非法利用的可能,进而图像生成器输出的目标图像为图像生成器在待处理图像中添加了不可见噪声得到的图像,通过添加不可见噪声使得图像隐私保护得到了加强,进而该目标图像可代替待处理图像应用于目标任务时,即使在该目标图像泄露或意外暴露的情况下,也不容易被非法利用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本申请涉及的一种实施环境的示意图。
图2是本申请的一示例性实施例示出的一种图像处理方法的流程图。
图3是本申请的一示例性实施例示出的一种目标图像的示意图。
图4是本申请的一示例性实施例示出的另一种目标图像的示意图。
图5是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图6是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图7是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图8是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图9是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图10是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图11是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图12是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图13是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图14是本申请的一示例性实施例示出的另一种图像处理方法的流程图。
图15是本申请的另一示例性实施例示出的一种添加不同噪声的图像对比示意图。
图16是本申请的一示例性实施例示出的图像处理装置的结构框图。
图17示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/,也不是必须按所描述的顺序执行。例如,有的操作/还可以分解,而有的操作/可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是:在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例的技术方案涉及人工智能(Artificial Intelligence,AI)技术领域,在介绍本申请实施例的技术方案之前,先简单介绍AI技术。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,AI是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。AI也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心,是使计算机具有智能的根本途径,其应用遍及AI的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例的技术方案具体涉及AI中的机器学习技术,具体是基于机器学习技术预训练得到图像生成器,进而实现对图像隐私的处理,以下对本申请实施例的技术方案进行详细介绍。
请参阅图1,图1是本申请涉及的一种实施环境的示意图。该实施环境包括终端10和服务器20。
终端10用于将待处理图像发送至服务器20。
服务器20用于将待处理图像输入至预训练的图像生成器,进行获取图像生成器输出的对应于待处理图像的目标图像,其中,该图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的;因此,目标图像为图像生成器在待处理图像中添加不可见噪声得到的图像,且该目标图像可用于代替待处理图像应用于目标任务。
在一些实施例中,服务器20可以该目标图像发送至终端10,该终端10可以基于目标图像进行下游任务,例如对下游模型进行训练,又例如基于目标图像生成新的目标文本。
在一些实施例中,服务器20也可以自己获取待处理图像,然后输入到图像生成器,进而获取图像生成器对该待处理图像进行处理后所输出的目标图像,以基于目标图像进行后续处理。
在一些实施例中,终端10也可以单独实现图像处理,即终端10获取待处理图像,然后输入到图像生成器,进而获取图像生成器对目标图像进行处理后所生成的目标图像。
其中,前述终端10可以是智能手机、平板、笔记本电脑、计算机、智能语音交互设备、智能家电、车载终端、飞行器等任意能够获取目标视频和待处理图像的电子设备,服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器,本处不对此进行限制。
终端10和服务器20预先通过网络建立通信连接,使得终端10和服务器20 之间可以通过网络互相通信。网络可以是有线网络,也可以是无线网络,本处也不进行限制。
需要说明的是:本发明实施例可以对各种图像进行图文处理,可应用于各种场景,包括但不限于云技术、AI(Artificial Intelligence,人工智能)、智慧交通、辅助驾驶等各种场景中的图像,或者也可以应用于所有提供人脸识别能力的相关应用,包括但不限于:人脸解锁、APP人脸登录、远程人脸验证、刷脸门禁系统、线下刷脸支付等。
具体地,如果将本申请实施例的技术方案应用在智慧交通场景中,终端可以为车载终端,车载终端将行车记录仪拍摄的发生车祸的车辆图像作为待处理图像,将车辆图像输入至图像生成器,使得图像生成器在车辆图像的车牌号区域添加上不可见噪声得到目标车辆图像,进而通过目标车辆图像可以获知道路发生车祸,而不泄露发生车祸的具体车辆信息。
又例如将本申请实施例的技术方案应用在人脸识别相关的应用,服务器可以为门禁服务器,获取门禁终端上传的人脸图像,将该人脸图像输入至图像生成器,通过图像生成器在人脸图像中添加不可见噪声得到目标人脸图像,并删除人脸图像,而保存该目标人脸图像以便于后续使用,即使该目标人脸图像意外暴露,也不会被非法利用。
需要说明的是,在本申请的具体实施方式中,图像涉及到对象相关,当本申请实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以下对本申请实施例的技术方案的各种实现细节进行详细阐述。
如图2所示,图2是本申请的一个实施例示出的图像处理方法的流程图,该方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,该图像处理方法可以包括S210至S230,详细介绍如下。
S210、获取待处理图像。
在本申请实施例中,待处理图像可以是任意具有图像内容的图像,例如一张风景画、人物像等。
在一示例中,待处理图像可以是视频中的一帧图像,即获取待处理图像的过程为:通过指定的帧率或时间间隔来读取视频中的每一帧图像,从读取的帧图像中随机选择一帧或者选择关键帧作为目标图像。
在一示例中,待处理图像可以是从其他设备传输得到的,如接收图像采集设备传输;目标图像也可以是直接从网络中下载的,还可以是对象上传的。
需要说明的是,在本申请的具体实施方式中,获取待处理图像涉及到与对象相关的信息,当本申请实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关对象信息的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如待处理图像为对象A的人脸图像,则在获取该人脸图像,并对该人脸图像中进行处理之前,会告知该对象A对应的信息处理规则,如会涉及该对象的人脸识别、人脸特征提取等处理规则,并征求该对象A的单独同意,并严格遵守法律法规要求和个人信息处理规则处理相关信息,采取技术措施保障相关数据安全。
S220、将待处理图像输入至预训练的图像生成器,图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的。
在本申请实施例中,图像生成器为预训练且训练完成的模型,用于在图像中添加一些不可见噪声,以增强隐私保护,使得图像在泄露或意外暴露时,不会被非法利用;其中,该不可见噪声指的是对于其他机器学习模型不可见的噪声,用于保护图像中的数据,使得机器学习模型无法从受保护的数据中学习到有价值的信息。
值得注意的是,图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,对抗训练指的是通过在训练过程中加入对抗样本(即噪声),即经过一定程度的扰动后能使模型预测错误的数据,来增强模型对扰动的抵抗能力;该目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的,例如存在样本图像A,基于样本图像A生成不可见样本噪声B,将该不可见样本噪声B添加样本图像A中。
由于目标样本图像是添加了不可见样本噪声后图像,因此该目标样本图像可以保护图像中的数据不被非法利用;之后根据该目标样本图像进行对抗训练,使得模型提取目标样本图像的鲁棒特征,使其能够抵御对抗训练的破坏性影响,进而使得该图像生成器输出的图像可以免受机器学习模型对抗训练的破坏。
S230、获取图像生成器输出的对应于待处理图像的目标图像,目标图像为图像生成器在待处理图像中添加不可见噪声得到的图像,且目标图像用于代替待处理图像应用于目标任务。
在本申请实施例中,将目标图像输入到图像生成器后,可直接获取图像生成器输出的对应于待处理图像的目标图像,目标图像为图像生成器在待处理图像中添加不可见噪声得到的图像;在一示例中,图像生成器先基于待处理图像生成对应的更具鲁棒性的不可见噪声,将该不可见噪声添加至待处理图像中得到目标图像,其中,该不可见噪声的形式为RGB。
在一示例中,该目标图像为在待处理图像的全部区域中添加了不可见噪声得到的图像;如图3所示,待处理图像为310,图像生成器所输出的目标图像为320,该目标图像320中全部区域添加了不可见噪声。
在另一示例中,该目标图像为在待处理图像的部分区域中添加了不可见噪声得到的图像;该部分区域可以是服务器确定,也可以由图像生成器确定,例如针对包含人脸的图像,该部分区域为人脸区域。如图4所示,待处理图像为410,图像生成器所输出的目标图像为420,该目标图像420中人脸区域添加了不可见噪声。
需要说明的是,本申请实施例中的目标图像可用于代替待处理图像应用于目标任务,该目标任务可以为与待处理图像相关的下游图像任务,包括但不限于:图像识别、图文转换、图像模型训练等;也就是说,在执行目标任务时,是通过目标图像执行的,由于目标图像的图像隐私保护得到了加强,因此在执行目标任务,该目标任务即使被泄露也不容易被非法利用。
在本申请实施例中,将待处理图像输入至预训练的图像生成器,而图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的,即由于目标样本图像在添加不可见噪声后,该目标样本图像可以保护图像中的数据不被非法利用;之后根据该目标样本图像进行对抗训练,使得模型提取鲁棒的特征,使其能够抵御对抗训练的破坏性影响,进一步确保图像生成器输出的图像免受机器学习模型对抗训练的破坏,降低了数据被非法利用的可能,进而图像生成器输出的目标图像为图像生成器在待处理图像中添加了不可见噪声得到的图像,通过添加不可见噪声使得图像隐私保护得到了加强,进而该目标图像可代替待处理图像应用于目标任务时,即使在该目标图像泄露或意外暴露的情况下,也不容易被非法利用。
在本申请的一个实施例中,提供了另一种图像处理方法,该图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图5所示,该图像处理方法在图2中所示的S210~ S230的基础上,在图2中的S220之前增加了图像生成器的训练过程,包括步骤S510~S540;其中,S510~S540详细介绍如下。
S510、获取样本图像和待训练模型。
在本申请实施例中,待训练模型可以是某个类型的完整神经网络模型,例如待训练模型为ResNet;样本图像是干净的、没有经过处理的图像,其可以是任意具有合法合规内容的图像,例如为图像集ImageNet中的多张样本图像。
S520、根据样本图像生成样本图像对应的不可见样本噪声,并将样本图像对应的不可见样本噪声添加至样本图像得到目标样本图像。
根据样本图像生成该样本图像对应的不可见样本噪声,其中,可以该样本图像输入至待训练模型,该待训练模型包括能够实现生成噪声的网络结构,进而可通过待训练模型从样本图像中提取特征,基于所提取的特征生成不可见样本噪声。
在本申请实施例中,该不可见样本噪声的噪声区域与该样本图像的图像区域相同,因此将不可见样本噪声添加至该样本图像,使得目标样本图像的所有图像区域均受不可见样本噪声的保护;当然该不可见样本噪声的噪声区域小于样本图像的图像区域,使得目标样本图像的部分图像区域受不可见样本噪声的保护。
在一示例中,将样本图像对应的不可见样本噪声添加至样本图像可以是由待训练模型实现的。
S530、根据目标样本图像生成目标样本图像对应的对抗样本噪声,并将对抗样本噪声添加至目标样本图像得到对抗样本图像。
在一示例中,生成对抗样本噪声的过程与生成不可见样本噪声的过程相同;得到对抗样本图像的过程与得到目标样本图像的过程相同,在此不再赘述。
S540、根据对抗样本图像对待训练模型进行训练得到图像生成器。
在本申请实施例中,对抗样本图像有多个,每个对抗样本图像携带有样本标签,该样本标签可以为样本图像的图像类别,进而将多个对抗样本图像输入至待训练模型中,该待训练模型会将对抗样本图像和样本标签进行关联,以构建损失函数,通过损失函数对待训练模型的模型参数进行调整,直到待训练模型网络收敛时,得到训练完成的图像生成器。
需要说明的是,图5中所示S210~S230的其他详细介绍请参见图2所示的S210~S230,在此不再赘述。
本申请实施例中,根据样本图像生成样本图像对应的不可见样本噪声,并添加至样本图像得到目标样本图像,使得目标样本图像具有隐私保护,在目标样本图像的基础上添加对抗样本噪声,以此对待训练模型进行训练,使得待训练模型提取图像中鲁棒的特征,使其能够抵御对抗训练的破坏性影响。
本申请实施例提供了另一种图像处理方法,该图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图6所示,该图像处理方法在图5中所示的基础上,将图5中所示的S520扩展为S610~S640。其中,S610~S640详细介绍如下。
S610、获取样本图像的样本类别标签,以及第一预设噪声的取值范围。
在本申请实施例中,样本图像对应有样本类别标签,该样本类别标签用于标识样本图像的真实图像类别;噪声指的是一些不属于图像本身的信息,该第一预设噪声的取值范围用于保证该第一预设噪声对原始数据的影响不可见;在一示例中,人眼无法察觉到噪声的存在;该第一预设噪声的取值范围可以根据实际情况进行灵活调整,例如第一预设噪声的取值范围0~16/255。
S620、保持待训练模型的模型参数不变,将样本图像输入至待训练模型,以获取待训练模型在样本图像中添加第一预设噪声后,针对添加噪声后的第一噪声样本图像所输出的第一样本类别。
S630、根据样本类别标签和第一样本类别之间的最小距离,以及第一预设噪声的取值范围确定不可见样本噪声。
在本申请实施例中,输入的样本图像为干净的图像,通过待训练模型生成不可见样本噪声,该待训练模型的模型参数保持不变,其中模型参数包括神经网络中连接不同层之间的权重值,还包括神经网络中每个神经元的偏置值;将样本图像输入至待训练模型中,从该第一预设噪声的取值范围中取一噪声,添加该噪声得到的第一噪声样本图像之后,使得待训练模型对其输出的预测图像类别与该样本图像的真实类别的误差最小,则该噪声为不可见样本噪声。
在一示例中,将样本图像输入至待训练模型,该待训练模型用于从第一预设噪声的取值范围选取某一取值,在样本图像中添加该取值的第一预设噪声1得到第一噪声样本图像1,针对该第一噪声样本图像1所输出的第一样本类别1,该第一样本类别1即标识待训练模型所预测的图像类别。
由于样本类别标签标识了样本图像的真实图像类别,通过样本类别标签和第一样本类别1之间的距离1,即可获知待训练模型针对该第一噪声样本图像的分类误差1。
重复步骤S620~S630,即将样本图像输入至待训练模型,该待训练模型用于在样本图像添加另一个取值的第一预设噪声2得到第一噪声样本图像1,针对第一噪声样本图像1所输出的第一样本类别2,获取通过样本类别标签和第一样本类别1之间的距离2;通过步骤S620~S630,通过多个取值的第一预设噪声可以得到多个距离,根据从多个距离中选择最小距离,即模型的输出与真实类别的分类误差最小,进而基于该最小距离所对应的第一预设噪声的取值确定不可见噪声;例如假设最小距离为距离1,则将第一预设噪声1作为不可见噪声。
S640、将样本图像对应的不可见样本噪声添加至样本图像得到目标样本图像。
需要说明的是,图6中所示S210~S230、S510、S530~S540的详细介绍请参见图5所示的S210~S230、S510、S530~S540,在此不再赘述。
本申请实施例中,在给定一个干净的样本图像时,寻找一个受限的不可见样本噪声,使得加上该噪声后的噪声样本图像能最小化模型的输出与真实类别的分类误差,即使得模型无法正确识别其类别,保证生成的不可见噪声的保护性。
本申请实施例还提供了另一种图像处理方法,该图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图7所示,在图6中所示的基础上,将图6中所示的S630扩展为S710~S730,包括在待训练模型的模型参数保持不变的情况下,将样本图像输入至待训练模型中,从该第一预设噪声的取值范围中取一噪声,添加该噪声得到的第一噪声样本图像之后,使得待训练模型对其输出的预测图像类别与该样本图像的真实类别的误差最小,且使得该第一噪声样本图像的数据梯度更小,则该噪声为对抗样本噪声。其中,S710~S730详细介绍如下。
S710、根据样本类别标签和第一样本类别之间的最小距离,以及第一预设噪声的取值范围生成第一样本噪声。
生成第一样本噪声的过程参见S620~S630,在此不再赘述。
S720、获取第一噪声样本图像所对应的数据梯度,并根据数据梯度和第一预设噪声的取值范围生成第二样本噪声。
在本申请实施例中,第一噪声样本图像所对应的数据梯度,该数据梯度用于表示数据在不同类别之间的变化程度。如果有一个元素远大于其他元素,说明该样本属于某个类别的概率很高,数据分布在该类别附近很集中,数据梯度很小;如果向量中所有元素都接近相等,说明该样本属于各个类别的概率都差不多,数据分布在各个类别之间很平均,数据梯度很大。
在一示例中,可以通过单独训练的数据梯度估计器获取第一噪声样本图像所对应的数据梯度。
在本申请实施例中,为了减小生成的目标图像中可学习的信息,则需要目标图像具有较小的数据梯度,因此,在模型训练过程中,也需要使得第一噪声样本图像的数据梯度尽可能小,使得数据分布更加集中,从而实现数据坍缩的效果,以此隐藏样本之间的差异性,减少第一噪声样本图像中可学习的信息;因此在第一预设噪声的取值范围内,最小化第一噪声样本图像所对应的数据梯度,进而反向得到该最小化数据梯度所对应的第二样本噪声的取值。可选的,在最小化数据梯度时,最小化数据梯度的范数。
S730、根据第一样本噪声和第二样本噪声确定不可见样本噪声。
可以理解的是,第一样本噪声和第二样本噪声可以分别是一个具体的值,也可以是一个取值范围;若为取值范围,则需要从第一样本噪声的取值范围和第二样本噪声的取值范围中选择一个噪声作为不可见样本噪声,使得样本图像添加该不可见样本噪声后得到的目标样本图像,既能最小化模型的分类损失,又能最小化数据梯度。
若为一个具体的值,则可将第一样本噪声或第二样本噪声作为不可见样本噪声;例如设模型的分类损失和数据梯度的权重相同,则可以从第一样本噪声和第二样本噪声中,选择噪声值更小的作为不可见噪声;例如模型的分类损失和数据梯度的权重不同,则选择权重更大的一方所对应的噪声作为不可见噪声,假设模型的分类损失的权重更大,则选择第一样本噪声作为不可见噪声。
需要说明的是,图7中所示的S210~S230、S510、S610~S620、S640、S530~S540的其他详细介绍请参见图6中所示的S210~S230、S510、S610~S620、S640、S530~S540,在此不再赘述。
本申请实施例中,在给定一个干净的样本图像时,寻找一个受限的不可见样本噪声,使得加上该噪声后的噪声样本图像能最小化模型的输出与真实类别的分类误差,又能最小化数据梯度,即使得模型无法正确识别其类别,又使得数据分布更加坍缩,以此隐藏样本之间的差异性,减少可学习的信息,进一步提高了生成的不可见噪声的保护性。
在本申请的一个实施例中,还提供了另一种图像处理方法,图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图8所示,该图像处理方法在图7中所示的基础上,将S720扩展为S810~S840。其中,S810~S840详细介绍如下。
S810、获取预训练的估计器。
S820、将第一噪声样本图像和样本类别标签输入至估计器,以得到第一噪声样本图像分别属于样本类别标签和其他类别的概率。
S830、根据第一噪声样本图像分别属于样本类别标签和其他类别的概率,获取第一噪声样本图像所对应的数据梯度。
在本申请实施例中,估计器用于估计数据分布的梯度,即数据在不同类别之间的变化程度,该估计器可以为一个单独训练的神经网络;在一示例中,估计器结构与待训练模型相同,但参数不同。
其中,该估计器的输入为图像以及该图像的标签,输出是一个 K 维的向量,其中 K 是图像的类别数,x表示图像,y表示该图像的标签。向量的每个元素表示该图像属于对应类别的概率,即/>表示x属于第 k 个类别的概率,其中可以基于图像属于不同类别的概率分布,得到针对输入图像的概率密度函数,图像的数据梯度即估计器对该概率密度函数求对数后再求导数所得到的向量场;因此,将第一噪声样本图像和样本类别标签输入至估计器,可得到第一噪声样本图像分别属于对应类别的概率,通过该第一噪声样本图像分别属于对应类别的概率可获知该第一噪声样本图像的数据分布,以此得到数据梯度。在一示例中,该估计器可以直接输出第一噪声样本图像的数据梯度。
S840、根据数据梯度和第一预设噪声的取值范围生成第二样本噪声。
在本申请实施例中,该估计器是通过如下步骤训练得到的:
步骤1:随机初始化神经网络的参数,并获取训练集样本,训练集样本中的每个样本包括输入数据和该输入数据的标签;
步骤2:根据用于拉近神经网络的输出与标签的损失函数和针对输入数据的数据梯度的正则化项生成神经网络的目标函数;
步骤3、根据训练集样本和目标函数对神经网络的参数进行调整,得到估计器。
为了构建估计器,需要随机神经网络的参数,该神经网络可以与待训练模型的神经网络结构相同;该神经网络也可以是其他神经结构的网络,例如多层感知机、卷积神经网络、循环神经网络等。本申请实施例中,可以使用原始数据集作为训练集样本,每个样本都有输入数据 xi 和对应的真实标签 yi。
定义一个目标函数,用于训练该神经网络,其中,可使用损失函数作为分类准确性的指标,该损失函数用于拉近神经网络的输出与标签,使得神经网络的输出分类更加准确;在一示例中,该损失函数为均方误差(MSE)或交叉熵损失;此外,在损失函数的基础上加入一个针对输入数据的数据梯度的正则化项,即针对输入数据的数据梯度的范数的平方,作为数据分布平滑性的指标,即目标函数为;θ 表示估计器的参数,表示估计器对输入数据 x的输出,y表示输入数据的真实标签,λ是一个正则化系数,/>表示对 x 求梯度,该损失函数的含义是在保证分类准确性的同时,最小化数据梯度的范数,即使得数据分布更加平滑和集中;最后使用训练集样本,并通过优化算法更新/>的参数,训练的目标是最小化目标函数,使得神经网络能够准确地估计输入数据的数据梯度,以得到估计器;其中,优化算法可以是随机梯度下降或牛顿法等。
需要说明的是,图8中所示的S210~S230、S510、S610~S620、S710、S730、S640、S530~S540的其他详细介绍请参见图7所示的S210~S230、S510、S610~S620、S710、S730、S640、S530~S540,在此不再赘述。
在本申请实施例中,通过预训练的估计器得到图像分别属于各个类别的概率,进而保证生成的数据梯度的准确性。
值得注意的是,在本申请的一个实施例中,还提供了另一种图像处理方法,图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图9所示,该图像处理方法在图5中所示的基础上,将S530扩展为S910~S940。其中,S910~S940详细介绍如下。
S910、获取样本图像的样本类别标签,以及第二预设噪声的取值范围。
在本申请实施例中,第二预设噪声与前述的第一预设噪声可以相同,也可以不同;该第二预设噪声的取值范围用于为了保证对抗噪声对原始数据的影响不过大,即不会改变数据的本质特征;该第二预设噪声的取值范围可以根据实际情况进行灵活调整,例如第二预设噪声的取值范围0~4/255;第二预设噪声的取值范围与第一预设噪声的取值范围可以相同,也可以不同。
S920、保持待训练模型的模型参数不变,将目标样本图像输入至待训练模型,以获取待训练模型在目标样本图像中添加第二预设噪声后,针对添加噪声后的第二噪声样本图像所输出的第二样本类别。
S930、根据样本类别标签和第二样本类别之间的最大距离,以及第二预设噪声的取值范围,确定对抗样本噪声。
在本申请实施例中,输入的图像为添加了不可见样本图像的目标样本图像,待训练模型针对该目标样本图像生成对抗样本噪声,在该待训练模型的模型参数保持不变的情况下,将目标样本图像输入至待训练模型中,从该第二预设噪声的取值范围中取一噪声,添加该噪声得到的第二噪声样本图像之后,使得待训练模型对其输出的预测图像类别与该样本图像的真实类别的误差最大,则该噪声为对抗样本噪声。
在一示例中,将目标样本图像输入至待训练模型,该待训练模型用于从第二预设噪声的取值范围选取某一取值,在该目标样本图像中添加该取值的第二预设噪声1得到第二噪声样本图像,针对该第二噪声样本图像1所输出的第二样本类别1,该第二样本类别即标识待训练模型所预测的图像类别。
通过样本类别标签和第二样本类别之间的距离,即可获知待训练模型针对该第二噪声样本图像的分类误差1。
重复步骤S920~S930,即将目标样本图像输入至待训练模型,该待训练模型用于在目标样本图像添加另一个取值的第二预设噪声2得到第二噪声样本图像1,针对第二噪声样本图像1所输出的第二样本类别2,获取通过样本类别标签和第二样本类别1之间的距离2;通过步骤S920~S930,通过多个取值的第二预设噪声可以得到多个距离,根据从多个距离中选择最大距离,即模型的输出与真实类别的分类误差最大化,使得生成的对抗样本噪声能够迷惑待训练模型,进而基于该最大距离所对应的第二预设噪声的取值确定对抗样本噪声。
S940、将对抗样本噪声添加至目标样本图像得到对抗样本图像。
需要说明的是,图9中所示的S210~S230、S510~S520、S540的其他详细介绍请参见图5所示的S210~S230、S510~S520、S540,在此不再赘述。
在本申请实施例中,在给定目标样本图像的情况下,求解一个受限的对抗样本噪声,使得添加噪声后的图像,最大化模型输出与真实标签之间的误差,便于模型提取不可学习示例的鲁棒特征,使其能够抵御对抗训练的破坏性影响。
在本申请的一个实施例中,还提供了另一种图像处理方法,图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图10所示,该图像处理方法在图9中所示的基础上,将S540扩展为S1010~S1020。其中,S1010~S1020详细介绍如下。
S1010、将对抗样本图像输入至待训练模型,以获取待训练模型针对对抗样本图像输出的对抗样本类别。
S1020、根据样本类别标签和对抗样本类别之间的最小距离,对待训练模型的模型参数进行调整得到图像生成器。
在每个目标样本图像中添加了尽可能让模型预测出错的对抗样本噪声得到对抗样本图像后,通过对抗样本图像输入至待训练模型,使得待训练模型的分类误差最小化,其中,待训练模型针对该对抗样本图像输出对抗样本类别,该对抗样本类别用于标识待训练模型所预测的类别,通过样本类别标签和对抗样本类别之间的距离确定待训练模型的分类误差,最小距离对应该分类误差的最小化,将分类误差的最小化作为待训练模型的训练目标,进而根据该训练目标对待训练模型的模型参数进行调整,使得待训练模型能够提取目标样本图像的鲁棒特征,即使得模型能够正确识别其类别,得到图像生成器。
在一示例中,样本类别标签和对抗样本类别之间的距离可以通过样本类别标签和对抗样本类别之间的相似度确定,相似度越高,距离越大。
需要说明的是,图10中所示的S210~S230、S510~S520、S910~S940的其他详细介绍请参见图9所示的S210~S230、S510~S520、S910~S940,在此不再赘述。
在本申请实施例中,在给定目标样本图像和对抗样本噪声的情况下,找到一个待训练模型的参数,使得模型的分类误差尽可能小,使得待训练模型能够提取目标样本图像的鲁棒特征,即使得模型能够正确识别其类别,保证图像生成器的识别准确性。
在本申请的一个实施例中,还提供了另一种图像处理方法,图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图11所示,该图像处理方法在图10中所示的基础上,将S1020扩展为S1110~S1140。其中,样本图像的类别数量为K个;S1110~S1140详细介绍如下。
S1110、根据样本类别标签和对抗样本类别之间的最小距离得到待训练模型的对抗误差项。
在本申请实施例中,根据样本类别标签和第二样本类别之间的最小距离可以确定等待训练模型针对对抗样本图像所输出的预测最小分类误差,即对抗误差项;在一示例中,该对抗误差项为根据样本类别标签和第二样本类别之间的最小距离所构建的损失函数。
S1120、获取待训练模型针对样本图像输出的样本图像属于第k个类别的预测概率。
在本申请实施例中,将样本图像输入至待训练模型,待训练模型基于该样本图像生成不可见样本噪声,且该待训练模型还可对样本图像进行预测其所属的类别,由于样本图像的类别数量为K个,待训练模型可输出样本图像属于第k个类别的预测概率。
例如待训练模型用于实现二分类问题,即K=2,待训练模型的输出向量是一个二维向量,其每个元素表示属于对应类别的概率。假设待训练模型对一个样本图像的输出向量是 [0.9, 0.1],即待训练模型确定样本图像属于第一个类别的概率为0.9,属于第二个类别的概率为0.2。
S1130、根据样本图像属于第k个类别的预测概率和样本图像属于第k个类别的预设分布概率生成待训练模型的修正项。
在本申请实施例,样本图像属于第k个类别的预设分布概率为期望分布概率,根据样本图像输入第k个类别的预测概率和预设分布概率生成待训练模型的修正项,该待训练模型的修正项用于反映待训练模型输出的预测概率与期望分布概率的偏差。
S1140、根据对抗误差项和修正项的最小值,对待训练模型的模型参数进行调整得到图像生成器。
为了保证模型在样本图像上的输出能够尽可能符合期望分布,本申请实施例中,需要最小化修正项。
将分类误差的最小化和修正项的最小化作为待训练模型的训练目标,进而根据该训练目标对待训练模型的模型参数进行调整,使得待训练模型能够提取目标样本图像的鲁棒特征,即使得模型能够正确识别其类别,进而训练完成得到图像生成器。
需要说明的是,图11中所示的S210~S230、S510~S520、S910~S940、S1010的其他详细介绍请参见图10所示的S210~S230、S510~S520、S910~S940、S1010,在此不再赘述。
在本申请实施例中,加入了修正项,并最小化修正项,使得模型在干净样本图像上的输出尽可能均匀,即使得数据分布在各个类别之间更加平均,进而使得模型输出的图像的数据中包含的可学习信息更少。
在本申请的一个实施例中,还提供了另一种图像处理方法,图像处理方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图12所示,该图像处理方法在图11中所示的基础上,将S1130扩展为S1210~S1220。其中,S1210~S1220详细介绍如下。
S1210、根据样本图像的类别数量K计算样本图像均匀分布的概率,将均匀分布的概率作为预设分布概率。
S1220、根据样本图像属于第k个类别的预测概率和预设分布概率之间的均方误差生成修正项。
在本申请实施例中,根据样本图像的类别数量K计算样本图像均匀分布的概率,即1/K,表示每个类别的概率都相等。
计算根据样本图像属于第k个类别的预测概率和样本图像均匀分布的概率之间的误差,以此生成修正项。承接上例,待训练模型对一个样本图像的输出向量是 [0.9, 0.1],与均匀分布 [0.5, 0.5]的差距很大,修正项的值也很大。
在一示例中,将样本图像属于第k个类别的预测概率和样本图像均匀分布的概率之间的均分误差作为修正项,通过均方误差可以消除正负偏差的影响,进而最小化该修正项,可以使得待训练模型的输出尽可能均匀,即使得数据分布在各个类别之间更加平均,进而保证数据中包含的可学习信息更少。
在另一示例中,也可以将样本图像属于第k个类别的预测概率和样本图像均匀分布的概率之间的平均误差作为修正项。
需要说明的是,图12中所示的S210~S230、S510~S520、S910~S940、S1010、S1110~S1120、S1140的其他详细介绍请参见图11所示的S210~S230、S510~S520、S910~S940、S1010、S1110~S1120、S1140,在此不再赘述。
本申请实施例提供了另一种图像处理方法,该方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图13所示,该图像处理方法在图11中所示的基础上,将S1130扩展为S1310~S1320。其中,S1310~S1320详细介绍如下。
S1310、获取样本图像属于第k个类别的先验分布概率,将先验分布概率作为预设概率。
在本申请实施例中,先验分布概率是指在没有观测到任何其他信息的情况下,一个样本属于某一特定类别的概率,这一概率能够为分类算法提供基础,使其能够更好地理解数据并做出准确的预测。
其中,样本图像属于第k个类别的先验分布概率可以基于以往的经验、统计分析或实验结果等获得的。在一示例中,计算每个类别的样本数量,并将每个类别的样本数除以总样本数来估计先验分布概率。在另一示例中,由多个专家基于领域知识或以往的经验估计样本图像属于第k个的概率,进而对多个专家的估计的概率进行平均得到先验分布概率。
S1320、根据样本图像属于第k个类别的预测概率和预设概率之间的平均误差生成修正项。
计算根据样本图像属于第k个类别的预测概率和样本图像属于第k个类别的先验分布概率之间的平均误差,以此生成修正项,进而最小化该修正项,可以使得待训练模型能够正确识别其类别,在分类问题中提供更准确的概率估计,更好地理解数据的类别分布特征。
需要说明的是,图13中所示的S210~S230、S510~S520、S910~S940、S1010、S1110~S1120、S1140的其他详细介绍请参见图11所示的S210~S230、S510~S520、S910~S940、S1010、S1110~S1120、S1140,在此不再赘述。
本申请实施例提供了另一种图像处理方法,该方法可以应用于图1所示的实施环境,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明,如图14所示,该图像处理方法在图2中所示基础上,将图2所示的S210扩展为S1410,在S230之后增加了S1420。其中,S1410~S1420详细介绍如下。
S1410、若待处理图像的图像内容包括需要进行信息保护的指定内容,则将待处理图像输入至预训练的图像生成器。
如前所描述,图像生成器用于在图像中添加一些不可见噪声,以增强隐私保护,而为了提高处理的效率,本申请实施例中仅对设定的待处理图像进行图像处理,其中,该设定的待处理图像即为图像内容包括需要进行信息保护的指定内容,该指定内容可以根据实际情况进行灵活调整,例如该指定内容为人脸、支付界面的支付密码等。
因此,本申请需要判断待处理图像的图像内容是否包括该指定内容,首先需要对待处理图像的图像内容进行提取,例如通过计算机视觉技术,提取图像中的关键特征,常见的特征包括边缘、角点、纹理等,关键特征有助于表示图像的内容和结构;如果需要提取特定物体或区域的内容,可以使用目标检测和分割技术,例如使用卷积神经网络(CNN)进行物体检测和分割;之后对提取的特征进行描述,通常通过生成特征向量或描述符来表示,之后使用机器学习算法,如支持向量机(SVM)、深度学习模型等,对图像的内容进行识别和分类;最后利用深度学习技术,例如卷积神经网络和循环神经网络(RNN),对图像进行语义理解,从而识别图像中的物体、场景和上下文,以此得到图像内容。
若待处理图像的图像内容包括需要进行信息保护的指定内容,则将待处理图像输入至预训练的图像生成器。
S1420、根据目标图像对机器学习模型进行训练,机器学习模型用于执行与待处理图像相关的下游任务。
如前所描述,目标图像为在待处理图像中添加不可见噪声得到的图像,因此根据目标图像对机器学习模型进行训练时,该机器学习模型可以学习到的内容较少,降低了数据隐私的泄露,其中,该机器学习模型用于执行与待处理图像相关的下游任务,如该下游任务为图像文本的转化、图像的质量优化等。
在本申请其他实施例中,若待处理图像的图像内容不包括需要进行信息保护的指定内容,则可以直接根据待处理图像对机器学习模型进行训练。
需要说明的是,图14中所示S210、S230的详细介绍请参见图2中所示的S210、S230,在此不再赘述。
本申请实施例中,针对待处理图像的图像内容包括需要进行信息保护的指定内容,通过图像生成器进行处理,提高处理的效率,进而通过图像生成器输出的图像进行机器学习模型训练时,降低了数据隐私的泄露。
为了便于理解,本申请实施例还提供一种图像处理方法,以具体的示例进行说明。先对待训练模型的训练过程进行说明,包括两个阶段。
第一阶段:生成目标样本图像。在这个阶段,待训练模型用于生成添加了不可见样本噪声的目标样本图像,即在样本图像上添加一些不可感知的噪声,使得模型无法正确识别其类别。同时,这些噪声还要满足数据坍缩的条件,即使得数据分布更加集中,以此隐藏样本之间的差异性,减少可学习的信息。具体通过以下公式实现的:,。
其中,表示待训练模型,/>表示第i个样本图像,/>表示第i个样本图像通过待训练模型生成的不可见样本噪声,/>表示第i个样本图像对应的真实标签,/>表示不可见样本噪声的大小范围,通常取值为16/255,8/255,4/255。/>表示范数,用的是/>范数,表示损失函数,/>表示单独训练的用来估计数据梯度的估计器。/>
表示数据坍缩诱导项,即数据梯度估计器/>对第 i 个目标样本图像/>的输出的数据梯度的范数;数据坍缩诱导项的作用是使得生成的目标样本图像具有较小的数据梯度,即使得数据分布更加坍缩,以此隐藏样本之间的差异性,减少可学习的信息;因此,本申请实施例中加入了一个最小化/>的范数的目标。
表示分类误差项,即待训练模型/>对第 i 个目标样本图像的输出与真实标签/>之间的损失函数;其中,该损失函数可以是交叉熵损失、平方误差损失或其他类型的损失函数;分类误差项的作用是使得生成的目标样本图像能够迷惑待训练模型/>,即使得模型无法正确识别其类别。因此,本申请实施例中加入了一个最小化/>的目标。
在本申请实施例中,公式(1)表示在给定待训练模型和数据梯度估计器/>,且待训练模型/>的模型参数θ是不进行更新的情况下,求解一个受限的/>,使得/>同时满足两个条件:一是使得待训练模型/>对其分类误差最小;二是使得数据梯度估计器/>对其输出的范数最小。
然后,将上述(1)中求解得到的加到/>中,就得到了目标样本图像/>。
如图15所示,不同的不可见样本噪声的噪声强度不同,其所呈现的图像效果不同,其中1510为干净的样本图像,1520为添加了不可见样本噪声强度为8/255的目标样本图像,1530为添加了不可见样本噪声强度为16/255的目标样本图像。
第二阶段:对待训练模型进行对抗训练。
(1)对抗训练。
为了提取目标样本图像的鲁棒特征,待训练模型将经过对抗训练;此阶段输入是通过第一阶段得到的目标样本图像。具体公式如下:。
这个公式(3)是用于对待训练模型进行对抗训练的优化目标,即在目标样本图像上再添加一层对抗样本噪声,最大化模型输出与真实标签之间的误差;这样做的目的是提取目标样本图像的鲁棒特征,使其能够抵御对抗训练的破坏性影响。
其中,θ 表示待训练模型的模型参数,即要求更新的变量。/>表示第 i 个目标样本图像/>通过待训练模型/>生成的对抗样本噪声,即要求解的变量。/>表示对抗样本噪声的范围,通常取值为4/255。
表示对抗误差项,即待训练模型/>对第 i 个对抗样本图像/>的输出与真实标签/>之间的损失函数;其中,损失函数可以是交叉熵损失、平方误差损失或其他类型的损失函数。对抗误差项的作用是使得生成的对抗样本噪声能够迷惑待训练模型/>,即使得模型对其分类误差最大化。因此,本申请实施例中加入了一个最大化/>的目标。
需要说明的是,公式(3)是一个两层的优化目标。内层:在待训练模型当前的模型参数θ不变的情况下,求解一个受限的对抗样本噪声/>,使得/>对待训练模型的分类误差最大化;这是一个最大化问题,即在给定待训练模型/>和目标样本图像的情况下,找到一个对抗样本噪声/>,使得/>尽可能大;这样做的目的是使得生成的对抗样本噪声能够迷惑待训练模型/>,即使得模型无法正确识别其类别。
外层:用对模型进行训练,更新待训练模型/>的模型参数 θ ,使得对待训练模型/>的分类误差最小化;这是一个最小化问题,即在给定目标样本图像/>和对抗样本噪声/>的情况下,找到一个待训练模型/>的参数 θ ,使得尽可能小;这样做的目的是使得待训练模型/>能够提取目标样本图像的鲁棒特征,即使得模型能够正确识别其类别。
通过这两层的博弈,待训练模型可以在目标样本图像上进行对抗训练,以生成更具鲁棒性和可迁移性的保护噪声。
(2)修正优化目标。
本申请实施例中,还需考虑待训练模型对于干净样本图像的输出效果,因此,需要对模型参数更新的目标进行优化,具体如下:。
其中,表示样本图像的类别数量。
公式(4)是用来对待训练模型进行对抗训练的优化目标,在公式(3)的基础上加入了一个修正项,该修正项旨在使待训练模型在干净样本图像上的输出尽可能均匀,即每个类别都有相同的概率;这样做的目的是使得数据中包含的可学习信息更少,为了保护数据免受任何类型和结构的机器学习模型利用,因此,在本申请实施例中加入了一个最小化修正项的目标。
具体来说,修正项是一个误差函数,即,其计算了待训练模型在干净样本图像上的输出与均匀分布之间的差异。其中,/>表示待训练模型在第 i 个干净样本图像上对第 k 个类别的预测概率,1/K表示均匀分布下每个类别的概率。
在本申请其他实施例中,优化目标也可以引入数据分布先验作为指导,即将均匀分布的概率替换为先验分布概率。
在本申请其他实施例中,在对待训练模型进行对抗训练的过程中,可以不仅针对模型的输出层,也可以针对模型的中间层,来生成对抗样本噪声;这样可以使得对抗样本噪声更加具有迁移性,即能够适用于不同结构和参数的模型。例如,如果待训练模型是一个卷积神经网络,那么可以在卷积层或者池化层上生成对抗样本噪声;如果待训练模型是一个循环神经网络,那么可以在隐藏层或者输出层上生成对抗样本噪声。
可以理解的是,通过上述方法训练得到图像生成器可以在图像中添加一些不可见噪声,以增强隐私保护;即将以人脸图像输入至该图像生成器,该图像生成器可以输出具有噪声保护的人脸图像。
本申请实施例提供的图像处理方法的模型训练过程,在生成目标样本图像的阶段,这个阶段使用了一个min-max优化过程,即在噪声大小范围内,最小化模型输出与真实标签之间的误差和数据梯度的范数。
在对待训练模型进行对抗训练的阶段,待训练模型将经过对抗训练,即在目标样本图像上再添加一层对抗噪声,最大化模型输出与真实标签之间的误差,以是提取目标样本图像的鲁棒特征,使其能够抵御对抗训练的破坏性影响。此外,这个阶段还引入了一个修正项,旨在使模型在干净样本上的输出尽可能均匀,使得数据中包含的可学习信息更少。
因此,一个两阶段的min-max-min优化过程,旨在通过不可见噪声保护数据免受对抗型学习者的侵害;并且,设置了诱导数据坍缩优化目标,旨在生成强迁移性的目标样本图像来保护数据免受不同结构的标准型和对抗型学习者的侵害。
进一步,本申请提供的图像处理方法,有效保护了训练数据免受对抗训练的破坏;具有更快的速度,使其能够适用于大型模型和数据集;在保护数据免受未知模型的对抗利用方面具有较好的可迁移性。
在此介绍本申请的装置实施例,可以用于执行本申请上述实施例中的图像处理方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的图像处理方法的实施例。
本申请实施例提供了一种图像处理装置,如图16所示,装置包括:
获取模块1610,用于获取待处理图像。
输入模块1620,用于将待处理图像输入至预训练的图像生成器,图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,目标样本图像是将基于样本图像生成的不可见样本噪声添加至样本图像中得到的。
获取模块1610,还用于获取图像生成器输出的对应于待处理图像的目标图像,目标图像为图像生成器在待处理图像中添加不可见噪声得到的图像,且该目标图像用于代替待处理图像应用于目标任务。
在本申请的一个实施例中,基于前述方案,装置还包括训练模块,用于获取样本图像和待训练模型;根据样本图像生成样本图像对应的不可见样本噪声,并将样本图像对应的不可见样本噪声添加至样本图像得到目标样本图像;根据目标样本图像生成目标样本图像对应的对抗样本噪声,并将对抗样本噪声添加至目标样本图像得到对抗样本图像;根据对抗样本图像对待训练模型进行训练得到图像生成器。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于获取样本图像的样本类别标签,以及第一预设噪声的取值范围;保持待训练模型的模型参数不变,将样本图像输入至待训练模型,以获取待训练模型在样本图像中添加第一预设噪声后,针对添加噪声后的第一噪声样本图像所输出的第一样本类别;根据样本类别标签和第一样本类别之间的最小距离,以及第一预设噪声的取值范围确定不可见样本噪声。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于根据样本类别标签和第一样本类别之间的最小距离,以及第一预设噪声的取值范围生成第一样本噪声;获取第一噪声样本图像所对应的数据梯度,并根据数据梯度和第一预设噪声的取值范围生成第二样本噪声;根据第一样本噪声和第二样本噪声确定不可见样本噪声。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于获取预训练的估计器;将第一噪声样本图像和样本类别标签输入至估计器,以得到第一噪声样本图像分别属于样本类别标签和其他类别的概率;根据第一噪声样本图像分别属于样本类别标签和其他类别的概率,获取第一噪声样本图像所对应的数据梯度。
在本申请的一个实施例中,基于前述方案,训练模块还用于随机初始化神经网络的参数,并获取训练集样本,训练集样本中的每个样本包括输入数据和输入数据的标签;根据用于拉近神经网络的输出与标签的损失函数和针对输入数据的数据梯度的正则化项生成神经网络的目标函数;根据训练集样本和目标函数对神经网络的参数进行调整,得到估计器。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于获取样本图像的样本类别标签,以及第二预设噪声的取值范围;保持待训练模型的模型参数不变,将目标样本图像输入至待训练模型,以获取待训练模型在目标样本图像中添加第二预设噪声后,针对添加噪声后的第二噪声样本图像所输出的第二样本类别;根据样本类别标签和第二样本类别之间的最大距离,以及第二预设噪声的取值范围,确定对抗样本噪声。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于将对抗样本图像输入至待训练模型,以获取待训练模型针对对抗样本图像输出的对抗样本类别;根据样本类别标签和对抗样本类别之间的最小距离,对待训练模型的模型参数进行调整得到图像生成器。
在本申请的一个实施例中,基于前述方案,样本图像的类别数量为K个;训练模块进一步用于根据样本类别标签和对抗样本类别之间的最小距离得到待训练模型的对抗误差项;获取待训练模型针对样本图像输出的样本图像属于第k个类别的预测概率;根据样本图像属于第k个类别的预测概率和样本图像属于第k个类别的预设分布概率生成待训练模型的修正项;根据对抗误差项和修正项的最小值,对待训练模型的模型参数进行调整得到图像生成器。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于根据样本图像的类别数量K计算样本图像均匀分布的概率,将均匀分布的概率作为预设概率;根据样本图像属于第k个类别的预测概率和预设概率之间的均方误差生成修正项。
在本申请的一个实施例中,基于前述方案,训练模块进一步用于获取样本图像属于第k个类别的先验分布概率,将先验分布概率作为预设分布概率;根据样本图像属于第k个类别的预测概率和预设分布概率之间的平均误差生成修正项。
在本申请的一个实施例中,基于前述方案,输入模块进一步用于若待处理图像的图像内容包括需要进行信息保护的指定内容,则将待处理图像输入至预训练的图像生成器;装置还包括训练模块,训练模块用于根据目标图像对机器学习模型进行训练,机器学习模型用于执行与待处理图像相关的下游任务。
需要说明的是,上述实施例所提供的装置与上述实施例所提供的方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
上述实施例所提供的装置可以设于终端内,也可以设于服务器内。
本申请的实施例还提供了一种电子设备,包括一个或多个处理器,以及存储装置,其中,存储装置,用于存储一个或多个计算机程序,当一个或多个计算机程序被一个或多个处理器执行时,使得电子设备实现如上的图像处理方法。
图17示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图17示出的电子设备的计算机系统1700仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图17所示,计算机系统1700包括处理器(Central Processing Unit,CPU)1701,其可以根据存储在只读存储器(Read-Only Memory,ROM)1702中的程序或者从储存部分1708加载到随机访问存储器(Random Access Memory,RAM)1703中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM 1703中,还存储有系统操作所需的各种程序和数据。CPU 1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(Input /Output,I/O)接口1705也连接至总线1704。
在一些实施例中,以下部件连接至I/O接口1705:包括键盘、鼠标等的输入部分1706;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid CrystalDisplay,LCD)等以及扬声器等的输出部分1707;包括硬盘等的储存部分1708;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1710上,以便于从其上读出的计算机程序根据需要被安装入储存部分1708。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1709从网络上被下载和安装,和/或从可拆卸介质1711被安装。在该计算机程序被处理器(CPU)1701执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机程序的组合来实现。
描述于本申请实施例中所涉及到的单元或者模块可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元或者模块也可以设置在处理器中。其中,这些单元或者模块的名称在某种情况下并不构成对该单元或者模块本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前所述的图像处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该电子设备执行上述各个实施例中提供如前所述的图像处理方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术者在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
上述内容,仅为本申请的较佳示例性实施例,并非用于限制本申请的实施方案,本领域普通技术者根据本申请的主要构思和精神,可以十分方便地进行相应的变通或修改,故本申请的保护范围应以权利要求书所要求的保护范围为准。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像;
将所述待处理图像输入至预训练的图像生成器,所述图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,所述目标样本图像是将基于样本图像生成的不可见样本噪声添加至所述样本图像中得到的;
获取所述图像生成器输出的对应于所述待处理图像的目标图像,所述目标图像为所述图像生成器在所述待处理图像中添加不可见噪声得到的图像,且所述目标图像用于代替所述待处理图像应用于目标任务;
将所述待处理图像输入至预训练的图像生成器之前,所述方法还包括:
获取所述样本图像和所述待训练模型,所述样本图像的类别数量为K个;
根据所述样本图像生成所述样本图像对应的不可见样本噪声,并将所述样本图像对应的不可见样本噪声添加至所述样本图像得到所述目标样本图像;
根据所述目标样本图像生成所述目标样本图像对应的对抗样本噪声,并将所述对抗样本噪声添加至所述目标样本图像得到对抗样本图像;
将所述对抗样本图像输入至所述待训练模型,以获取所述待训练模型针对所述对抗样本图像输出的对抗样本类别;根据所述样本图像对应的样本类别标签和所述对抗样本类别之间的最小距离得到所述待训练模型的对抗误差项;
获取所述待训练模型针对所述样本图像输出的所述样本图像属于第k个类别的预测概率;根据所述样本图像属于第k个类别的预测概率和所述样本图像属于第k个类别的预设分布概率生成所述待训练模型的修正项;
根据所述对抗误差项和所述修正项的最小值,对所述待训练模型的模型参数进行调整得到所述图像生成器。
2.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像生成所述样本图像对应的所述不可见样本噪声,包括:
获取所述样本图像的样本类别标签,以及第一预设噪声的取值范围;
保持所述待训练模型的模型参数不变,将所述样本图像输入至所述待训练模型,以获取所述待训练模型在所述样本图像中添加所述第一预设噪声后,针对添加噪声后的第一噪声样本图像所输出的第一样本类别;
根据所述样本类别标签和所述第一样本类别之间的最小距离,以及所述第一预设噪声的取值范围确定所述不可见样本噪声。
3.根据权利要求2所述的方法,其特征在于,所述根据所述样本类别标签和所述第一样本类别之间的最小距离,以及所述第一预设噪声的取值范围确定所述不可见样本噪声,包括:
根据所述样本类别标签和所述第一样本类别之间的最小距离,以及所述第一预设噪声的取值范围生成第一样本噪声;
获取所述第一噪声样本图像所对应的数据梯度,并根据所述数据梯度和所述第一预设噪声的取值范围生成第二样本噪声;
根据所述第一样本噪声和所述第二样本噪声确定所述不可见样本噪声。
4.根据权利要求3所述的方法,其特征在于,所述获取所述第一噪声样本图像所对应的数据梯度,包括:
获取预训练的估计器;
将所述第一噪声样本图像和所述样本类别标签输入至所述估计器,以得到所述第一噪声样本图像分别属于所述样本类别标签和其他类别的概率;
根据所述第一噪声样本图像分别属于所述样本类别标签和其他类别的概率,获取所述第一噪声样本图像所对应的数据梯度。
5.根据权利要求4所述的方法,其特征在于,所述估计器是通过如下步骤训练得到的:
随机初始化神经网络的参数,并获取训练集样本,所述训练集样本中的每个样本包括输入数据和所述输入数据的标签;
根据用于拉近所述神经网络的输出与所述标签的损失函数和针对所述输入数据的数据梯度的正则化项生成所述神经网络的目标函数;
根据所述训练集样本和所述目标函数对所述神经网络的参数进行调整,得到所述估计器。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标样本图像生成所述目标样本图像对应的对抗样本噪声,包括:
获取所述样本图像的样本类别标签,以及第二预设噪声的取值范围;
保持所述待训练模型的模型参数不变,将所述目标样本图像输入至所述待训练模型,以获取所述待训练模型在所述目标样本图像中添加所述第二预设噪声后,针对添加噪声后的第二噪声样本图像所输出的第二样本类别;
根据所述样本类别标签和所述第二样本类别之间的最大距离,以及所述第二预设噪声的取值范围,确定所述对抗样本噪声。
7.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像属于第k个类别的预测概率和所述样本图像属于第k个类别的预设分布概率生成所述待训练模型的修正项,包括:
根据所述样本图像的类别数量K计算所述样本图像均匀分布的概率,将所述均匀分布的概率作为预设概率;
根据所述样本图像属于第k个类别的预测概率和所述预设概率之间的均方误差生成所述修正项。
8.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像属于第k个类别的预测概率和所述样本图像属于第k个类别的预设分布概率生成所述待训练模型的修正项,包括:
获取所述样本图像属于第k个类别的先验分布概率,将所述先验分布概率作为所述预设分布概率;
根据所述样本图像属于第k个类别的预测概率和所述预设分布概率之间的平均误差生成所述修正项。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述将所述待处理图像输入至预训练的图像生成器,包括:
若所述待处理图像的图像内容包括需要进行信息保护的指定内容,则将所述待处理图像输入至所述预训练的图像生成器;
在所述获取所述图像生成器输出的对应于所述待处理图像的目标图像之后,所述方法还包括:
根据所述目标图像对机器学习模型进行训练,所述机器学习模型用于执行与所述待处理图像相关的下游任务。
10.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像;
输入模块,用于将所述待处理图像输入至预训练的图像生成器,所述图像生成器是根据目标样本图像对待训练模型进行对抗训练得到的,所述目标样本图像是将基于样本图像生成的不可见样本噪声添加至所述样本图像中得到的;
获取模块,还用于获取所述图像生成器输出的对应于所述待处理图像的目标图像,所述目标图像为所述图像生成器在所述待处理图像中添加不可见噪声得到的图像,且所述目标图像用于代替所述待处理图像应用于目标任务;
所述装置还包括训练模块,用于获取所述样本图像和所述待训练模型,所述样本图像的类别数量为K个;根据所述样本图像生成所述样本图像对应的不可见样本噪声,并将所述样本图像对应的不可见样本噪声添加至所述样本图像得到所述目标样本图像;根据所述目标样本图像生成所述目标样本图像对应的对抗样本噪声,并将所述对抗样本噪声添加至所述目标样本图像得到对抗样本图像;将所述对抗样本图像输入至所述待训练模型,以获取所述待训练模型针对所述对抗样本图像输出的对抗样本类别;根据所述样本图像对应的样本类别标签和所述对抗样本类别之间的最小距离得到所述待训练模型的对抗误差项;获取所述待训练模型针对所述样本图像输出的所述样本图像属于第k个类别的预测概率;根据所述样本图像属于第k个类别的预测概率和所述样本图像属于第k个类别的预设分布概率生成所述待训练模型的修正项;根据所述对抗误差项和所述修正项的最小值,对所述待训练模型的模型参数进行调整得到所述图像生成器。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备执行权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被电子设备的处理器执行时,使得所述电子设备执行权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230984.8A CN117078789B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230984.8A CN117078789B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117078789A CN117078789A (zh) | 2023-11-17 |
CN117078789B true CN117078789B (zh) | 2024-01-02 |
Family
ID=88708245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311230984.8A Active CN117078789B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078789B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110648289A (zh) * | 2019-08-29 | 2020-01-03 | 腾讯科技(深圳)有限公司 | 图像的加噪处理方法及装置 |
CN111465960A (zh) * | 2017-12-26 | 2020-07-28 | 三星电子株式会社 | 图像获取装置及控制图像获取装置的方法 |
JP2020160616A (ja) * | 2019-03-25 | 2020-10-01 | ブラザー工業株式会社 | 生成装置、コンピュータプログラム、生成方法 |
WO2021114931A1 (zh) * | 2019-12-09 | 2021-06-17 | 支付宝(杭州)信息技术有限公司 | 防止隐私数据泄漏的编码模型训练方法及装置 |
WO2021197332A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的图片分类方法及装置 |
CN116665261A (zh) * | 2022-02-18 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置和设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11202101136UA (en) * | 2018-08-10 | 2021-03-30 | Visa Int Service Ass | Techniques for matching disparate input data |
WO2021189364A1 (zh) * | 2020-03-26 | 2021-09-30 | 深圳先进技术研究院 | 一种对抗图像生成方法、装置、设备以及可读存储介质 |
CN112149608A (zh) * | 2020-10-09 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置和存储介质 |
-
2023
- 2023-09-22 CN CN202311230984.8A patent/CN117078789B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111465960A (zh) * | 2017-12-26 | 2020-07-28 | 三星电子株式会社 | 图像获取装置及控制图像获取装置的方法 |
JP2020160616A (ja) * | 2019-03-25 | 2020-10-01 | ブラザー工業株式会社 | 生成装置、コンピュータプログラム、生成方法 |
CN110648289A (zh) * | 2019-08-29 | 2020-01-03 | 腾讯科技(深圳)有限公司 | 图像的加噪处理方法及装置 |
WO2021114931A1 (zh) * | 2019-12-09 | 2021-06-17 | 支付宝(杭州)信息技术有限公司 | 防止隐私数据泄漏的编码模型训练方法及装置 |
WO2021197332A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的图片分类方法及装置 |
CN116665261A (zh) * | 2022-02-18 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117078789A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401558B (zh) | 数据处理模型训练方法、数据处理方法、装置、电子设备 | |
Takemura et al. | Model extraction attacks on recurrent neural networks | |
CN110969243B (zh) | 防止隐私泄漏的对抗生成网络的训练方法及装置 | |
CN110795944A (zh) | 推荐内容处理方法及装置、情感属性确定方法及装置 | |
CN113298152B (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
Sun et al. | Image steganalysis based on convolutional neural network and feature selection | |
CN114170484B (zh) | 图片属性预测方法、装置、电子设备和存储介质 | |
CN117349899B (zh) | 基于遗忘模型的敏感数据处理方法、系统及存储介质 | |
CN116823428A (zh) | 一种反欺诈检测方法、装置、设备及存储介质 | |
CN117078789B (zh) | 图像处理方法、装置、设备及介质 | |
US20240119260A1 (en) | Defense against adversarial example input to machine learning models | |
CN114463646B (zh) | 一种基于多头自注意力卷积神经网络的遥感场景分类方法 | |
US20230306106A1 (en) | Computer Security Systems and Methods Using Self-Supervised Consensus-Building Machine Learning | |
Wu et al. | DHGAN: Generative adversarial network with dark channel prior for single‐image dehazing | |
CN115953849A (zh) | 活体检测模型的训练方法、活体检测方法及系统 | |
CN113542527B (zh) | 一种人脸图像传输方法、装置、电子设备及存储介质 | |
Ha et al. | Comprehensive analysis of privacy in black-box and white-box inference attacks against generative adversarial network | |
CN117079336B (zh) | 样本分类模型的训练方法、装置、设备及存储介质 | |
CN113705489B (zh) | 基于先验区域知识指导的遥感影像细粒度飞机识别方法 | |
CN116912920B (zh) | 表情识别方法及装置 | |
WO2022262603A1 (zh) | 多媒体资源的推荐方法、装置、设备、存储介质及计算机程序产品 | |
CN110674497B (zh) | 一种恶意程序相似度计算的方法和装置 | |
Saxena et al. | Semantic image completion and enhancement using gans | |
CN117036225A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
CN117876709A (zh) | 图像识别方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |