CN116935089A - 信息处理装置 - Google Patents

信息处理装置 Download PDF

Info

Publication number
CN116935089A
CN116935089A CN202210874974.7A CN202210874974A CN116935089A CN 116935089 A CN116935089 A CN 116935089A CN 202210874974 A CN202210874974 A CN 202210874974A CN 116935089 A CN116935089 A CN 116935089A
Authority
CN
China
Prior art keywords
neural network
countermeasure
training
challenge
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210874974.7A
Other languages
English (en)
Inventor
田垄照博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Publication of CN116935089A publication Critical patent/CN116935089A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Abstract

本发明的信息处理装置，能够生成能够预测在使用对抗训练时满足特定的鲁棒性的深度神经网络，其包括1个以上的处理器和存储有1个以上的程序的存储器，在1个以上的程序被1个以上的处理器执行时，使信息处理装置执行下述步骤：获取关于对抗训练的特性的用户设定，执行对抗训练，对抗训练使用包括对抗样本和表示原始的分类类别的正确答案数据的学习数据以及用户设定来使神经网络进行学习，对抗训练使在输入了对抗样本的情况下输出误分类类别的神经网络进行学习，以在输入了对抗样本的情况下输出原始的分类类别，执行形式验证算法，来判断在使用通过对抗训练进行学习得到的权重系数的神经网络中在特定数据的规定的噪声范围内不存在对抗样本。

Description

信息处理装置
技术领域
本发明涉及使用对抗训练和形式方法来改善深度神经网络的鲁棒性的信息处理装置。
背景技术
近年来，已经能够使用深度学习技术以较高的识别概率识别图像中包括的被拍摄体。已知对于这样的执行被拍摄体识别等分类问题的深度神经网络，输入添加了人无法察觉的程度的噪声(扰动)的称为对抗样本的图像，故意引起误分类的技术。
另一方面，开发了为了针对使用对抗样本使深度神经网络引起误分类的攻击改善鲁棒性(robustness)而使深度神经网络进行学习的称为对抗训练的技术(AleksanderMadry、及其他4人，“Towards Deep Learning Models Resistant to AdversarialAttacks”ICLR2018，2017年6月19日，URL：https://arxiv.org/abs/1706.06083)。
在对抗训练中，使用对抗样本作为学习数据，以即使输入该对抗样本也不会进行误分类的方式使深度神经网络进行学习。因此，用对抗训练生成的深度神经网络，与一般的深度神经网络的学习同样地，即使能够对于学习和测试中使用的数据的样本得出较高的正确率，也不保证总是输出正确的分类结果。
另一方面，因为存在对于对抗样本的误分类导致严重的后果的情况，所以在进行对抗训练的情况下，优选能够预测学习得到的神经网络满足何种程度的鲁棒性。
发明内容
本发明是鉴于上述课题得到的，其目的在于实现一种生成能够预测在使用对抗训练的情况下满足特定的鲁棒性的深度神经网络的技术。
为了解决该课题，例如本发明的信息处理装置具有以下结构，即：
一种信息处理装置，其包括：
1个以上的处理器；和
存储有1个以上的程序的存储器，
在所述1个以上的程序被所述1个以上的处理器执行时，使所述信息处理装置执行下述步骤：
获取关于对抗训练的特性的用户设定，
执行所述对抗训练，所述对抗训练使用包括对抗样本和表示原始的分类类别的正确答案数据的学习数据以及所述用户设定来使神经网络进行学习，所述对抗训练使在输入了所述对抗样本的情况下输出误分类类别的神经网络进行学习，以在输入了所述对抗样本的情况下输出所述原始的分类类别，
执行形式验证算法，来判断在使用通过所述对抗训练进行学习得到的权重系数的所述神经网络中在特定数据的规定的噪声范围内不存在对抗样本。
发明效果
根据本发明，能够生成能够预测在使用对抗训练的情况下满足特定的鲁棒性的深度神经网络。
附图说明
图1是说明本发明的实施方式的信息提供系统的概要的图。
图2是表示本实施方式的信息处理装置的硬件结构例的框图。
图3是表示信息处理装置的功能结构例的框图。
图4是用于说明用通常的学习实现的样本分类与用对抗训练实现的样本分类的不同的图之一。
图5是用于说明用通常的学习实现的样本分类与用对抗训练实现的样本分类的不同的图之二。
图6是用于说明对回归模型应用形式验证的情况的例之一。
图7是用于说明对回归模型应用形式验证的情况的例之二。
图8是用于说明对分类模型应用形式验证的情况的例之一。
图9是用于说明对分类模型应用形式验证的情况的例之二。
图10是表示信息处理装置中的鲁棒性改善处理的动作的流程图。
图11是表示学习数据和测试数据的数据结构的一例的图。
图12是表示对抗样本数据的数据结构的一例的图。
图13是表示模型数据334的数据结构的一例的图。
具体实施方式
以下参考附图详细说明实施方式。另外，以下实施方式并不限定要求的权利范围所述的发明，并且实施方式中说明的特征的全部组合并不一定是发明必需的。也可以将实施方式中说明的多个特征中的两个以上特征任意地组合。另外，对于同一或同样的结构附加同一附图标记，省略重复的说明。
＜信息处理系统的概要＞
参考图1，对于本实施方式的信息处理系统的一例进行说明。信息处理系统10例如由信息处理装置100和电子设备101、通信终端102构成，它们能够通过网络相互通信。信息处理装置100通过执行鲁棒性(robustness、健壮性)改善处理，而生成完成了对抗训练和形式验证的已学习的模型(也称为已验证深度神经网络)。关于鲁棒性改善处理、对抗训练和形式验证在后文中叙述。信息处理装置100例如是服务器装置，但也可以是在网络中配置的边缘节点，也可以是构成P2P网络的节点。本实施方式中，为了使说明简化而以服务器装置由1台计算机构成的情况为例进行说明，但也可以由多台计算机构成，也可以用在主机上运行的虚拟机实现。
通信终端102是供用户103指定鲁棒性改善处理所需的数据和设定值、或者供用户103将必要的数据上传至信息处理装置100的通信终端。通信终端102例如是个人计算机，但也可以是平板设备和智能手机。
电子设备101是能够配置通过鲁棒性改善处理生成的已验证的神经网络的电子设备。电子设备101例如可以与用户的指示相应地、或者与系统更新等特定触发发生相应地，从信息处理装置100下载已验证的神经网络。图1所示的例子中，示出了电子设备101例如是移动设备的情况为例，但也可以是进行图像识别处理的其他电子设备。电子设备例如也可以是车辆等。此处，示出了下载至电子设备101的结构，但也可以代替电子设备101地，改为安装了神经网络的网络应用服务器，或者也可以是在云服务的平台上构建信息处理装置100、在信息处理装置100自身或云服务的平台上的其他装置中安装神经网络的结构。
通过进行详情后述的本实施方式的鲁棒性改善处理，而进行对神经网络的对抗训练和形式验证。因此，进行了鲁棒性改善处理的神经网络对于对抗样本的鲁棒性改善。对抗样本是以通过添加人眼无法察觉的水平的噪声(也称为扰动)来使神经网络引起误分类的方式生成的样本(输入数据)。对于对抗样本改善了鲁棒性的神经网络，在如下所述的用例的一例中，能够减轻误分类引起的安全风险。
例如，以输入拍摄了动物的图像时对图像中包括的动物是什么进行分类的神经网络为例进行说明。该神经网络例如在输入熊猫的图像时，输出被拍摄体是熊猫的分类结果。例如，生成对该熊猫的图像添加了数学计算得到的噪声(扰动)的图像作为对抗样本。该对抗样本(添加了噪声的熊猫的图像)在人眼观看时看起来是熊猫的图像。但是，对未执行对抗训练的神经网络输入该对抗样本时，神经网络输出例如长臂猿这样的错误的分类结果。与此相对，使用进行了本实施方式的鲁棒性改善处理的已验证的神经网络的电子设备中，对于满足鲁棒性要件的范围的噪声的对抗样本，能够得到正确的分类结果(即熊猫)。
作为其他例子，以输入拍摄了人脸的图像时对图像中包括的人物是谁进行分类的神经网络为例进行说明。这样的人脸识别技术例如在进出房间和分析监视图像中是有用的。对于佩戴具有添加了噪声的图案的太阳镜的人的状态(即对抗样本)，用未执行对抗训练的神经网络进行人脸识别处理时，该神经网络会识别为其他人物。与此相对，使用进行了本实施方式的鲁棒性改善处理的已验证的神经网络的电子设备中，对于满足鲁棒性要件的范围的噪声的对抗样本，能够得到正确的人物作为分类结果。即，能够防止电子设备的误动作(用对抗样本进行的伪装)。
作为其他例子，以对于用深度伪造(deepfake)技术生成的、现实中不存在的人物的脸部图像(或动态图像)、对该图像是否用深度伪造技术生成的图像进行分类的神经网络为例进行说明。这样的分类器对于判断用深度伪造技术生成的证件照片和帐户用的图像、或者判断为了政治舆论操纵而生成的动态图像是有用的。用对抗样本规避这样的神经网络的判断的情况下，存在安全上的风险。与此相对，使用进行了本实施方式的鲁棒性改善处理的已验证的神经网络的电子设备中，对于满足鲁棒性要件的范围的噪声的对抗样本，能够得到是否深度伪造的正确的判断结果。
作为其他例子，以根据图像内的速度标志识别法定速度的神经网络为例进行说明。本例中，存在该神经网络搭载在车辆中的情况。这样的神经网络根据图像内的速度标志识别法定速度，使行驶的车辆能够按法定速度行驶。通过对标志附加图案而使其对抗样本化的情况下，用未执行对抗训练的神经网络进行识别处理时，存在误分类为不同的速度或停止的标志的情况。与此相对，使用进行了本实施方式的鲁棒性改善处理的已验证的神经网络的电子设备中，对于满足鲁棒性要件的范围的噪声的对抗样本，能够得到正确的标志的分类结果。
能够将使用本实施方式的已验证的神经网络的电子设备应用于实际应用的场景是多种多样的。但是，能够将本实施方式的已验证的神经网络应用于实际应用的场景和效果并不限定于上述例子。
＜信息处理装置的硬件结构例＞
参考图2，对于信息处理装置100的硬件结构例进行说明。信息处理装置100包括存储器202、处理器204、通信接口206、存储208和输入接口210。这些要素分别与总线214连接，经由总线370相互通信。
存储器202例如是DRAM等易失性的存储介质，暂时性地存储数据和程序。另外，存储208是持久性地存储数据和程序的非易失性的存储介质。存储208例如可以是半导体存储器和硬盘。存储208能够保存后述的用于使神经网络进行学习的学习数据、用于测试已学习的神经网络的测试数据、对抗样本的数据等执行对抗训练和形式验证所需的各种数据。
处理器204例如包括中央运算装置(CPU)等运算电路。处理器204也可以由1个以上的处理器构成。处理器204也可以进而包括用于更高速地执行机器学习等统计处理的运算电路(例如GPU)和专用硬件，也可以在内部包括存储器。处理器204通过将存储208中存储的程序部署至存储器202并执行，而实现信息处理装置100的各种功能。
通信接口206是用于与信息处理装置100的外部之间进行数据的发送接收的接口。通信接口206可以包括能够以符合各种标准的通信方式进行通信的通信电路。通信接口206与网络连接，经由网络与通信终端102和电子设备101交换数据。输入接口210例如是用于接受信息处理装置100的管理者的输入的设备，但也可以省略。
电源212是用于提供信息处理装置100的各部工作用的电力的电路或模块。电源212也可以构成为具备电池。
＜对抗训练的说明＞
在对于信息处理装置的功能结构例进行说明之前，对于本实施方式的对抗训练进行说明。如上所述，对抗样本是以使进行对抗训练前的神经网络代替原始的分类类别地输出误分类类别的方式、添加了噪声的图像或动态图像。对于对抗样本的鲁棒性(robustness)，可以按为了用特定数据使神经网络的分类结果变化而最低需要添加何种程度的噪声进行定义。另外，添加的噪声的大小也称为范数。对于原始的样本，为了使其成为对抗样本而要求的噪声越大，则越难将人骗过。例如，将原始的样本X配置在二维空间中的情况下，能够用距离X的半径表示噪声的大小(即范数)。即，用用户设定等规定了容许何种程度大小的范数的情况下，对于(例如学习数据等)特定数据组中的各样本的分类结果在该范数的范围内越没有变化，则能够认为模型的鲁棒性越高。
对于对抗样本提高鲁棒性的方法有多种，本实施方式中，以进行对抗训练作为该提高鲁棒性用的一个方法的情况为例进行说明。对抗训练是使用对抗样本作为学习数据的学习。此时，学习数据中的各正确答案数据并非表示将对抗样本误分类至的类别，而是表示对抗样本化之前的原始的正确答案类别。即，使神经网络学习成为在输入对抗样本时不进行误分类(即分类为原始的正确答案类别)。
图4和图5中，示意性地示出了用通常的学习实现的样本的分类与用对抗训练实现的样本的分类的不同。在图4的左侧和右侧，边界线400示意性地示出了用进行对抗训练前的神经网络对原始的学习数据正确地分类的情况下的边界。因为各样本尚未对抗样本化，所以该神经网络能够对各样本正确地分类。
图4的右侧示意性地示出了在对抗样本存在于与各样本相距一定范数的范围内的情况下发生误分类。包围图4的右侧所示的样本的方形示意性地表示与各原始的学习数据(黑色圆点412和白色圆点414)相距一定范数以内的区域。另外，黑色三角416和白色三角418表示引发误分类的对抗样本。图4的右侧的图中，一部分样本处的范数的范围与其他类别的区域重叠(超过了边界线400)，所以在“与原始的学习数据相距一定范数以内的区域”中存在对抗样本(黑色三角416和白色三角418)。
在图5中，示意性地示出了学习原始的样本形成的边界线400、与用对抗训练形成的边界线500的不同。图5的左侧表示图4的右侧所示的对抗样本存在的状况。对抗训练通过以在“与原始的学习数据相距一定范数以内的区域”中不存在对抗样本的方式、使用对抗样本进行学习，而使对样本分类的边界成为边界线500。由此，因为“与原始的学习数据相距一定范数以内的区域”不超过边界线500，所以不存在对抗样本。
另外，图4和图5所示的“与原始的学习数据相距一定范数以内的区域”相当于满足鲁棒性要件的范围的噪声的大小。即，在生成进行了对抗训练的神经网络时，需要事先设定鲁棒性要件、即使其具有直到何种程度的范数的鲁棒性之后，用该范数的对抗样本使其进行学习。
另外，优选保证在与学习数据相距一定范数以内的区域中不存在对抗样本，但并不保证这样地进行学习。另外，用对抗训练生成的神经网络，与一般的深度神经网络的学习同样地，即使能够对于学习和测试中使用的数据的样本得到较高的正确率，也不保证总是输出正确的分类结果。另一方面，存在对于对抗样本的误分类带来严重的后果的情况。因此，本实施方式中，通过进行以下说明的形式验证，能够预测用对抗训练学习后的神经网络满足何种程度的鲁棒性。
＜形式验证的说明＞
接着，参考图6至图9，对于使用本实施方式的形式验证进行的深度神经网络的验证进行说明。形式验证通过对硬件和软件是否满足特定属性进行数学证明，而保证例如系统正确。本实施方式的验证中，用形式验证证明深度神经网络是否满足特定属性。
图6示出了用于说明对回归模型应用形式验证的情况的例子。图6所示的例子中，节点600和602表示输入层的神经元。另外，节点604和节点606表示中间层的神经元。进而，节点608表示输出层的神经元。回归模型的例子中，输出层输出与输入值对应的预测值(此处是授信评分)。另外，与节点间的箭头关联的数值，表示连接节点的权重系数的值。另外，本例中为了简化，而将偏置设为0而省略。图6所示的例子中，在输入x2是3以下的制约下，验证是否存在输出(预测结果)是5以上的输入的组合(x1，x2)。本例中，验证是否存在授信评分是5以上的、表示工龄的参数与表示年收入的参数的组。
图7示出了存在满足上述制约的解的情况的例子。(x1，x2)的组是(5，0)的情况下，按每个节点运算输入值与权重系数的积的总和，对运算结果用中间层的激活函数(例如ReLU)进行运算，由此得到授信评分是5。
图8示出了用于说明对分类模型应用形式验证的情况的例子。图8所示的例子中，节点800和802表示输入层的神经元。另外，节点804和节点806表示中间层的神经元。进而，节点808、810和812表示输出层的神经元。分类模型的例子中，输出层输出对输入值分类的类别(此处是授信评级)。与节点间的箭头关联的数值，表示连接节点的权重系数的值。本例中，也将偏置设为0而省略。图8所示的例子中，在输入x1是3以下的制约下，验证是否存在输出层的节点808的值最大的输入的组合(x1，x2)。本例中，验证是否存在授信评级A的概率最高的、表示工龄的参数与表示年收入的参数的组。
图9示出了存在满足上述制约的解的情况的例子。(x1，x2)的组是(1，0)的情况下，按每个节点运算输入值与权重系数的积的总和，对运算结果用中间层的激活函数(例如ReLU)进行运算，由此授信评级A最高。
由上述例子能够得知，通过将特定数据的一定范数内不存在对抗样本作为属性，并证明该属性，能够保证用对抗训练生成的神经网络的鲁棒性。例如，作为分类模型示出的权重系数对应于用对抗训练得到的权重系数，输入中的制约对应于特定样本处的范数的范围。另外，输出节点的分类对应于应用了对抗训练的神经网络的输出层(分类结果)，输出的制约对应于原始的分类类别以外的概率并非最高。这样，通过使用形式验证，能够验证(判断)在使用用对抗训练得到的权重系数的神经网络中、在与特定数据相距一定范数内不存在对抗样本。
＜信息处理装置的功能结构例＞
接着，参考图3，对于信息处理装置100的功能结构例进行说明。图3所示的功能结构例例如可以通过处理器204将存储208中存储的1个以上程序部署至存储器202并执行而实现。另外，本实施方式中说明的各功能模块可以合并或分离，并且也可以用其他模块实现说明的功能。另外，作为硬件说明的也可以用软件实现，也可以相反。
数据获取部310例如获取要应用对抗训练的模型的数据(关于神经网络的结构的超参数)、学习数据和测试数据。数据获取部310例如可以接收从通信终端102发送来的这些数据，也可以预先与用户指示相应地获取作为学习数据和测试数据330和模型数据334保存在存储208中的数据。进而，也可以与用户指示相应地获取信息处理装置100的外部的存储中保存的这些数据。
用户设定获取部312例如从通信终端102获取关于对抗训练的特性的用户设定。关于对抗训练的特性的设定，例如包括对抗样本的生成算法的设定、对抗训练中设定的范数(噪声的大小)、和执行对抗训练时的学习的周期(epoch)数等的设定。
处理部314控制信息处理装置100的各部，控制信息处理装置100的各种动作。另外，处理部314控制对抗样本生成部316、对抗训练控制部318和形式验证控制部320进行的动作，实现鲁棒性改善处理。
对抗样本生成部316使数据获取部310获取的学习数据对抗样本化。然后，对抗样本生成部316生成将所生成的对抗样本与表示原始的分类类别的正确答案数据关联得到的对抗训练用的学习数据。另外，对抗样本生成部316也使数据获取部310获取的测试数据对抗样本化。然后，对抗样本生成部316将对抗样本化的数据与测试数据的正确答案数据关联，作为用对抗训练生成的神经网络的测试时使用的测试数据。对抗样本生成部316将生成的对抗训练用的学习数据和测试数据例如作为对抗样本数据332保存在存储208中。
对抗训练控制部318基于用对抗样本生成部316生成的对抗训练用的学习数据、用用户设定获取部312获取的用户设定、以及模型数据，来执行对抗训练。另外，对抗训练控制部318在因到达设定的周期数和正确率而结束对抗训练时，使用对抗训练用的测试数据，评价训练后的神经网络进行了何种程度的误分类。处理部314在使用对抗训练用的测试数据得到的评价结果没有超过一定正确率的情况下，也可以再次执行对抗训练，反复进行直到使用对抗训练用的测试数据得到的评价结果超过一定正确率。
形式验证控制部320验证(判断)在使用通过对抗训练控制部318的对抗训练而得到的权重系数的神经网络中、在与特定数据相距一定范数内不存在对抗样本。此时，形式验证控制部320使用尚未对抗样本化的学习数据或测试数据进行验证。处理部314可以在满足鲁棒性的制约的数据的比例大于事先设定的值的情况下结束形式验证的处理，在并非如此的情况下进行改变条件后的对抗训练。形式验证控制部320可以对形式验证已完成的模型的数据附加标签，作为模型数据334保存在存储208中。
模型配置部322响应来自电子设备101的请求或信息处理装置100的管理者的操作，将形式验证已完成的模型的数据发送至电子设备101，将模型数据部署在电子数据中。
学习数据和测试数据330包括包含原始的正确答案数据的学习数据和原始的测试数据。在图11中示出了学习数据和测试数据330的数据结构的一例。学习数据和测试数据330包括数据ID、图像数据、正确答案标签和数据种类。数据ID表示数据的识别符。图像数据是学习数据和测试数据的图像数据。图11的例子中，这些图像数据例如是使用深度伪造技术生成的并非实际存在的人物的脸部图像、和实际存在的人物的脸部图像中的任一者的图像数据。该正确答案标签对应于原始的正确答案数据。例如，如果图像数据是用深度伪造技术生成的图像则表示为“1”，是实际存在的人物的脸部图像的情况下表示为“0”。本领域技术人员可知，在神经网络识别人物名的情况下，正确答案标签是与图像数据对应的人名等。正确答案标签可以用独立于该数据结构的One-Hot编码的形式记载。数据种类表示是将图像数据用作学习数据还是用作测试数据。对于数据种类，可以以学习数据与测试数据的比率一定的方式，在每次学习时随机地分配种类，也可以固定。另外，也可以不设置数据种类的列，而是对于测试数据和学习数据具有数据结构。
对抗样本数据332包括对抗样本化的对抗训练用的学习数据和测试数据。在图12中，示出了对抗样本数据332的数据结构的一例。对抗样本数据332包括数据ID、图像数据、正确答案标签、数据种类、生成算法和范数。另外，虽然图12中未示出，但也可以进而包括生成对抗样本时的原始的图像数据的数据ID。数据ID是对抗样本化的图像的识别符，图像数据是对抗样本化的图像数据。正确答案标签原样地表示原始的图像数据的正确答案标签的值。即，深度神经网络以即使在输入对抗样本时、也不会误分类而是导出原始的正确答案标签的方式进行学习。数据种类与学习数据和测试数据330是同样的。生成算法表示生成对抗样本的算法的种类。算法的种类可以是多种多样的，例如可以是FGSM(Fast Gradient SignMethod)、C&W Attack、JSMA(Jacobian Saliency Map Attack)、Boundary Attack等。范数表示生成对抗样本时应用的噪声的大小。另外，范数例如也可以使用Wasserstein距离等表示对抗样本的噪声的大小的其他指标。
模型数据334包括预先获取的或者从通信终端102发送来的、要应用对抗训练的模型的数据(关于神经网络的结构的超参数)。另外，包括进行用对抗训练控制部318生成的对抗训练后的模型的数据(关于神经网络的结构的超参数)和权重系数的数据。另外，模型数据334也可以包括用形式验证控制部320进行的形式验证已完成的附加了标签的模型的数据。在图13中示出了模型数据334的数据结构的一例。模型数据334包括模型ID、权重系数、超参数、生成日期时间和生成阶段。模型ID是识别神经网络的识别符。权重系数是在学习神经网络时得到的权重系数。超参数可以包括层数、各层的节点数、网络的结构(例如是CNN、卷积核大小等)等数据。生成日期时间表示生成模型的日期时间。生成阶段例如是用于识别是已完成形式验证的模型、还是已完成对抗训练的模型、还是原始的模型等的信息。
＜信息处理装置中的鲁棒性改善处理的一系列动作＞
接着，对于信息处理装置100中执行的鲁棒性改善处理的一系列动作，参考图10进行说明。另外，本处理是通过处理器204将存储208中保存的计算机程序部署至存储器202并执行而实现的。以下说明中，为了使说明变得容易而将各步骤的处理主体一并设为处理器204进行说明，但与处理内容相应地由处理部314等各部执行对应的处理。
首先，处理器204获取学习数据和神经网络的结构(超参数等)(S1001)之后，获取用户设定(S1002)。S1001的处理和S1002的处理的顺序也可以相反，也可以从通信终端102同时获取双方的数据。用户设定包括范数(噪声的大小)、对抗样本生成算法、执行对抗训练时的周期数、执行对抗训练时的学习率、执行对抗训练时的学习算法、评价对抗训练用的测试数据时的阈值等。用户设定也可以还包括指定形式验证时在哪个数据的范数内不存在对抗样本的设定。执行对抗训练时的学习算法包括梯度降低法、Adam等算法的指定。
进而，处理器204生成对抗样本(S1003)。对抗样本的生成是基于用户设定中包括的对抗样本生成算法执行的。用户设定中没有指定该算法的情况下，可以顺次执行可以作为对抗样本生成算法的算法，生成用各种算法生成的对抗样本。这样，能够实施不仅对于特定特性的对抗样本、对于各种各样的对抗样本都改善了鲁棒性的对抗训练。
处理器204基于S1001中获取的学习数据和S1002中获取的用户设定来执行对抗训练(S1004)。处理器204执行使用包括对抗样本和表示原始的分类类别的正确答案数据的学习数据使神经网络进行学习的对抗训练。另外，进行对抗训练之前的原始的神经网络在输入对抗样本时，代替原始的分类类别地输出误分类类别。
接着，处理器204使用S1001中获取的测试数据，对用对抗训练生成的神经网络的动作进行测试(S1005)，判断用测试求出的正确率是否在阈值以上(S1006)。正确率并非阈值以上的情况下，处理器204使处理前进至S1007，改变设定值中的1个设定值(S1007)，按改变后的设定值再次执行S1003～1005的处理。
在S1007中，处理器204改变设定值中的1个设定值。例如，S1006中使用测试数据进行的测试没有达到规定以上的正确率而失败的情况下，可以减小范数的大小(即1个设定值)。在本例之外，例如也可以仅设定对抗训练对于测试数据的正确率作为用户设定，每次执行S1007时将范数的大小(即1个设定值)从较小的值改变为较大的值。这样，能够用S1003～S1005的处理保持对抗训练的测试结果超过规定的正确率地，使范数的大小逐渐增大。这样，对于在用对抗训练改善鲁棒性的情况下、与并非对抗样本的原始的样本相对的正确率降低的消长关系，能够维持深度神经网络的正确率地实现尽可能地增大范数(即改善鲁棒性)的对抗训练。该情况下，在S1006中，处理器204可以判断是否维持规定以上的正确率地反复进行了规定次数的范数改变，如果肯定，则使处理前进至S1008。另外，也可以实现用上述方法、能够用一个对抗样本生成算法实现超过规定正确率的最大范数的对抗训练、用其他多个对抗样本生成算法也同样地实施超过规定正确率的最大范数的对抗训练而从用这些对抗训练生成的深度神经网络中、能够在正确率或对抗样本生成算法的特性的观点上由用户选择要求的深度神经网络的结构。
除此以外，处理器204也可以保持多个用户设定中的其他设定固定并改变1项设定地，反复进行S1003～1005的处理。例如，通过改变对抗样本生成算法来反复进行处理，而生成各种各样的特性的对抗样本，通过对于这些对抗样本执行对抗训练，能够改善生成的深度神经网络的鲁棒性。另外，关于执行对抗训练时的周期数、执行对抗训练时的学习率、执行对抗训练时的学习算法等，难以得知选择哪个设定值能够得到最佳的结果的情况较多。因此，与根据感觉和经验设定相比，能够根据处理器逐渐改变这些设定值而得到的结果确定能够得到最佳的结果的值对于用户而言更有利。
另一方面，处理器204在正确率在阈值以上的情况下，执行使用形式验证进行的鲁棒性评价(S1008)。另外，使用形式验证进行的鲁棒性评价，能够使用公知技术实现。例如，能够使用标题是“Reluplex:An Efficient SMT Solver for Verifying Deep NeuralNetworks”的公知文献(Guy Kats，及其他3人，2017年5月19日，URL：https://arxiv.org/pdf/1702.01135.pdf)中记载的对于深度神经网络的证明属性的技术。处理器204将用对抗训练生成的深度神经网络作为对象，将在原始的学习数据或测试数据的规定范数(对抗训练中指定的范数的值)内输出层的最大输出是正确答案数据的类别以外的属性设为查询，由此对不存在与该属性相当的输入的组合进行形式验证。结果是不存在的情况下，处理器204证明了在使用通过对抗训练进行学习得到的权重系数的神经网络中，在特定数据的规定噪声的范围内不存在对抗样本。发现了与属性相当的输入的组合的情况下，证明了在该特定数据的规定范数内存在对抗样本。另外，该情况下，将存在的输入的组合作为反例返回。在形式验证中，鲁棒性的数据比例大于事先设定的值的情况下，处理器204判断为在特定数据的规定噪声的范围内不存在对抗样本，结束鲁棒性改善处理。
如以上所说明，本实施方式在获取关于对抗训练的特性的用户设定值后，使用包括对抗样本和表示原始的分类类别的正确答案数据的学习数据和用户设定，执行使神经网络进行学习的对抗训练。另外，进行对抗训练之前的神经网络在输入对抗样本时，代替原始的分类类别地输出误分类类别。然后，通过执行形式验证算法，判断使用通过对抗训练进行学习得到的权重系数的神经网络中、在特定数据的规定噪声的范围内不存在对抗样本。通过这样，能够生成能够预测在使用对抗训练的情况下满足特定的鲁棒性的深度神经网络。
发明并不限于上述实施方式，能够在发明的主旨的范围内进行各种变形、改变。

Claims (5)

1.一种信息处理装置，其特征在于，包括：
1个以上的处理器；和
存储有1个以上的程序的存储器，
在所述1个以上的程序被所述1个以上的处理器执行时，使所述信息处理装置执行下述步骤：
获取关于对抗训练的特性的用户设定，
执行所述对抗训练，所述对抗训练使用包括对抗样本和表示原始的分类类别的正确答案数据的学习数据以及所述用户设定来使神经网络进行学习，所述对抗训练使在输入了所述对抗样本的情况下输出误分类类别的神经网络进行学习，以在输入了所述对抗样本的情况下输出所述原始的分类类别，
执行形式验证算法，来判断在使用通过所述对抗训练进行学习得到的权重系数的所述神经网络中在特定数据的规定的噪声范围内不存在对抗样本。
2.如权利要求1所述的信息处理装置，其特征在于：
所述1个以上的处理器，
反复进行改变关于所述对抗训练的特性的设定中的至少1个设定值地执行所述对抗训练的步骤，和判断通过所述对抗训练进行学习得到的神经网络是否满足规定的正确率的步骤，
与判断为通过对抗训练进行学习得到的神经网络满足所述规定的正确率相应地，用所述形式验证算法来判断使用通过之前最近的所述对抗训练进行学习得到的权重系数的所述神经网络中在特定数据的规定的噪声范围内不存在对抗样本。
3.如权利要求2所述的信息处理装置，其特征在于：
所述设定包括所述对抗样本的噪声的大小，
所述1个以上的处理器改变所述对抗样本的噪声范围的值地执行所述对抗训练。
4.如权利要求3所述的信息处理装置，其特征在于：
判断通过所述对抗训练进行学习得到的神经网络是否满足所述规定的正确率的步骤，包括判断使用通过所述对抗训练进行学习得到的神经网络和测试数据进行的测试的正确率是否超过规定的阈值的步骤。
5.如权利要求2所述的信息处理装置，其特征在于：
所述设定包括对抗样本的生成算法，
所述1个以上的处理器改变所述对抗样本的生成算法地执行所述对抗训练。
CN202210874974.7A 2022-04-06 2022-07-25 信息处理装置 Pending CN116935089A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/714,563 2022-04-06
US17/714,563 US20230325651A1 (en) 2022-04-06 2022-04-06 Information processing apparatus for improving robustness of deep neural network by using adversarial training and formal method

Publications (1)

Publication Number Publication Date
CN116935089A true CN116935089A (zh) 2023-10-24

Family

ID=82656819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874974.7A Pending CN116935089A (zh) 2022-04-06 2022-07-25 信息处理装置

Country Status (4)

Country Link
US (1) US20230325651A1 (zh)
EP (1) EP4258178A1 (zh)
JP (1) JP2023154373A (zh)
CN (1) CN116935089A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3798913A1 (en) * 2019-09-24 2021-03-31 Robert Bosch GmbH Device and method to improve the robustness against adversarial examples
CN113822328B (zh) * 2021-08-05 2022-09-16 厦门市美亚柏科信息股份有限公司 防御对抗样本攻击的图像分类方法、终端设备及存储介质

Also Published As

Publication number Publication date
US20230325651A1 (en) 2023-10-12
JP2023154373A (ja) 2023-10-19
EP4258178A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN111291841B (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
US20190188573A1 (en) Training of artificial neural networks using safe mutations based on output gradients
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
KR102264233B1 (ko) 문장, 문서 특징값 및 문장 가중치 간의 상관관계를 학습한 인공 신경망에 의해 생성된 설명이 부가된 문서 분류 방법
EP4068222A1 (en) Anti-spoofing method and apparatus
CN112633310A (zh) 具有改进的训练鲁棒性地对传感器数据进行分类的方法和系统
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN113139628A (zh) 样本图像的识别方法、装置、设备及可读存储介质
JP2019152964A (ja) 学習方法および学習装置
CN111931153A (zh) 基于人工智能的身份验证方法、装置和计算机设备
CN116151965B (zh) 一种风险特征提取方法、装置、电子设备及存储介质
CN110866609B (zh) 解释信息获取方法、装置、服务器和存储介质
CN113570512A (zh) 一种图像数据处理方法、计算机及可读存储介质
KR102126795B1 (ko) 딥러닝 기반의 이미지 개인정보 가공장치 시스템, 장치 및 그 방법
CN110084142B (zh) 一种用于人脸识别的年龄隐私保护方法及系统
CN116935089A (zh) 信息处理装置
CN110717037A (zh) 对用户分类的方法和装置
CN113887408B (zh) 活化人脸视频的检测方法、装置、设备及存储介质
CN116563898A (zh) 基于GhostNet网络的掌静脉图像识别方法、装置、设备及介质
CN116503918A (zh) 基于ViT网络的掌静脉图像分类方法、装置、设备及介质
CN113762249A (zh) 图像攻击检测、图像攻击检测模型训练方法和装置
CN113705749A (zh) 基于深度学习的二维码识别方法、装置、设备及存储介质
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
EP4318318A1 (en) Information processing device for improving quality of generator of generative adversarial network (gan)
JP6947460B1 (ja) プログラム、情報処理装置、及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination