CN115082761A - 模型产生装置及方法 - Google Patents

模型产生装置及方法 Download PDF

Info

Publication number
CN115082761A
CN115082761A CN202210746633.1A CN202210746633A CN115082761A CN 115082761 A CN115082761 A CN 115082761A CN 202210746633 A CN202210746633 A CN 202210746633A CN 115082761 A CN115082761 A CN 115082761A
Authority
CN
China
Prior art keywords
encoder
feature
neural network
sample
model generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210746633.1A
Other languages
English (en)
Inventor
栗永徽
李庭瑄
詹念怡
李维斌
林彦承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hon Hai Precision Industry Co Ltd
Original Assignee
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Precision Industry Co Ltd filed Critical Hon Hai Precision Industry Co Ltd
Publication of CN115082761A publication Critical patent/CN115082761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Telephone Function (AREA)

Abstract

一种模型产生装置及方法。所述装置接收多个样本影像。所述装置产生对应所述等样本影像的多个对抗样本。所述装置将所述等样本影像及所述等对抗样本分别输入至自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取。所述装置计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络。所述装置基于所述第一编码器及多个标注数据，产生任务模型。本发明所提供的模型产生技术，可快速产生可抵抗对抗式攻击的任务模型。

Description

模型产生装置及方法
技术领域
本揭露关于一种模型产生装置及方法。具体而言，本揭露系关于一种可快速产生可抵抗对抗式攻击的任务模型的模型产生装置及方法。
背景技术
由于缺乏稳健性(Robustness)，深度神经网络已被证明对于输入的对抗性扰动(Adversarial perturbation)特别不稳定。
因此，在这样缺点下所产生的不稳定模型，将可能带给下游应用程序带来了执行时的风险。举例而言，当执行自动驾驶汽车的安全关键任务时，对抗性攻击可能会导致自动驾驶的汽车采取不必要的行动(例如：错误辨识交通路标的意义)。
于现有技术中，虽然可通过产生对抗样本(Adversarial Example)去训练模型，以增强深度神经网络模型的稳健性。然而，在训练数据中加入对抗样本，将使得训练后的模型准确性降低，且由于前述方法需要重新训练整个模型，将使得训练模型的成本增加。此外，在针对不同下游应用程序时，还需要对应不同的应用程序重新训练一个独立的模型，因而无法快速产生对应不同应用的多个任务模型。
有鉴于此，如何提供一种可快速产生可防御对抗式攻击的任务模型的技术，乃业界亟需努力的目标。
发明内容
本揭露的目的在于提供一种模型产生装置。所述模型产生装置包含存储器、收发接口及处理器，所述处理器电性连接至所述存储器及所述收发接口。所述存储器用以存储自监督神经网络。所述处理器通过所述收发接口接收多个样本影像。所述处理器产生对应所述等样本影像的多个对抗样本。所述处理器将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取，其中所述等第一特征撷取由所述第一编码器产生，所述等第二特征撷取由所述第二编码器产生。所述处理器计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络。所述处理器基于所述第一编码器及多个标注数据，产生任务模型。
本揭露的另一目的在于提供一种模型产生方法，所述模型产生方法用于电子装置，所述电子装置包含存储器、收发接口及处理器。所述存储器用以存储自监督神经网络。所述模型产生方法包含下列步骤：通过所述收发接口接收多个样本影像；产生对应所述等样本影像的多个对抗样本；将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取，其中所述等第一特征撷取由所述第一编码器产生，所述等第二特征撷取由所述第二编码器产生；计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络；以及基于所述第一编码器及多个标注数据，产生任务模型。
在本发明的一实施方式中，其中所述自监督神经网络还包含线上神经网络及目标神经网络，所述第一编码器对应至所述线上神经网络，且所述第二编码器对应至所述目标神经网络。
在本发明的一实施方式中，其中所述处理器还执行以下运作：分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
在本发明的一实施方式中，其中所述处理器还执行以下运作：针对所述等对应训练集各者，执行以下运作：将所述第一样本影像输入至所述第一编码器，以产生对应所述第一样本影像的所述第一特征撷取；以及将所述第一对抗样本输入至所述第二编码器，以产生对应所述第一对抗样本的所述第二特征撷取。
在本发明的一实施方式中，其中所述处理器还执行以下运作：针对所述等对应训练集各者，执行以下运作：计算对应所述第一样本影像的所述第一特征撷取及对应所述第一对抗样本的所述第二特征撷取的所述相似度，以训练所述自监督神经网络。
在本发明的一实施方式中，其中所述处理器还执行以下运作：针对所述等对应训练集各者，执行以下运作：基于所述第一编码器所对应的指数移动平均，更新所述第二编码器。
在本发明的一实施方式中，其中所述处理器还执行以下运作：基于多个损失函数，计算所述等第一特征撷取及所述等第二特征撷取各者的所述相似度；以及基于所述等损失函数所对应的所述相似度，更新所述第一编码器。
在本发明的一实施方式中，其中所述处理器还执行以下运作：串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务；将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层；以及基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
在本发明的一实施方式中，其中所述自监督神经网络还包含线上神经网络及目标神经网络，所述第一编码器对应至所述线上神经网络，且所述第二编码器对应至所述目标神经网络。
在本发明的一实施方式中，还包含下列步骤：分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
在本发明的一实施方式中，还包含下列步骤：针对所述等对应训练集各者，执行以下步骤：将所述第一样本影像输入至所述第一编码器，以产生对应所述第一样本影像的所述第一特征撷取；以及将所述第一对抗样本输入至所述第二编码器，以产生对应所述第一对抗样本的所述第二特征撷取。
在本发明的一实施方式中，还包含下列步骤：针对所述等对应训练集各者，执行以下步骤：计算对应所述第一样本影像的所述第一特征撷取及对应所述第一对抗样本的所述第二特征撷取的所述相似度，以训练所述自监督神经网络。
在本发明的一实施方式中，还包含下列步骤：针对所述等对应训练集各者，执行以下运作：基于所述第一编码器所对应的指数移动平均，更新所述第二编码器。
在本发明的一实施方式中，还包含下列步骤：基于多个损失函数，计算所述等第一特征撷取及所述等第二特征撷取各者的所述相似度；以及基于所述等损失函数所对应的所述相似度，更新所述第一编码器。
在本发明的一实施方式中，还包含下列步骤：串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务；将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层；以及基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
本揭露所提供的模型产生技术(至少包含装置及方法)，通过产生对应多个样本影像的多个对抗样本，且基于所述等样本影像及所述等对抗样本训练自监督神经网络中的第一编码器及第二编码器，增强第一编码器对于特征撷取的能力，因此可提升第一编码器抵抗对抗式攻击的能力。此外，本揭露所提供的模型产生技术可基于训练完成的第一编码器及多个标注数据，快速的产生针对各种下游任务的任务模型，解决现有技术需要重新整个任务模型的训练成本问题。另外，由于本揭露所提供的模型产生技术在训练任务模型时，仅通过标注后的数据进行微调训练，而不需要在训练数据中加入对抗样本，因此训练后的准确性亦不会降低，解决现有技术发生的准确性下降问题。
以下结合附图阐述本揭露的详细技术及实施方式，俾使本揭露所属技术领域中技术人员能理解所请求保护的发明的技术特征。
附图说明
图1为描绘第一实施方式的模型产生装置的架构示意图；
图2为描绘第一实施方式的运作示意图；
图3为描绘第一实施方式的自监督神经网络的运作示意图；以及
图4为描绘第二实施方式的模型产生方法的部分流程图。
具体实施方式
以下将通过实施方式来解释本揭露所提供的一种模型产生装置及方法。然而，所述等实施方式并非用以限制本揭露需在如所述等实施方式所述的任何环境、应用或方式方能实施。因此，关于实施方式的说明仅为阐释本揭露的目的，而非用以限制本揭露的范围。应理解，在以下实施方式及图式中，与本揭露非直接相关的元件已省略而未绘示，且各元件的尺寸以及元件间的尺寸比例仅为例示而已，而非用以限制本揭露的范围。
本揭露的第一实施方式为模型产生装置1，其架构示意图系描绘于图1。于本实施方式中，模型产生装置1包含存储器11、收发接口13及处理器15，处理器15电性连接至存储器11及收发接口13。
须说明者，存储器11可为存储器、通用串行总线(Universal Serial Bus；USB)碟、硬盘、光盘、移动存储器或本揭露所属技术领域中技术人员所知且具有相同功能的任何其他存储介质或电路。收发接口13为可接收及传输数据的接口或本揭露所属技术领域中技术人员所知悉的其他可接收及传输数据的接口，收发接口13可通过例如：外部装置、外部网页、外部应用程序等等来源接收数据。处理器15可为各种处理单元、中央处理单元(CentralProcessing Unit；CPU)、微处理器或本揭露所属技术领域中技术人所知悉的其他计算装置。
于本实施方式中，如图1所示，存储器11可用以存储自监督神经网络100，模型产生装置1将通过自监督神经网络100训练用于特征撷取的编码器。关于自监督神经网络100的具体内容及实施细节，容后详述。
为便于理解，先简单说明本揭露的第一实施方式的运作，请参考图2的运作示意图200。如图2所示，本揭露主要包含三个阶段运作，依序分别为训练样本产生阶段S1、预训练(Pre-trained)阶段S2及微调(Fine-tuned)阶段S3。
具体而言，如图2所示，在训练样本产生阶段S1中，模型产生装置1将基于多个样本影像SI，通过对抗式攻击AA(Adversarial Attack)的运作，产生多个经由对抗式攻击AA的对抗样本AE(Adversarial Example)。
接着，如图2所示，在预训练阶段S2中，模型产生装置1将基于自监督神经网络100及前阶段所产生的训练数据(即，样本影像SI及对抗样本AE)，训练编码器E1。最后，在微调阶段S3中，模型产生装置1将基于训练完成的编码器E1产生对应的下游任务(downstreamtask)的任务模型，例如：任务模型T1、任务模型T2及任务模型T3。
以下段落将详细说明与本揭露相关的实施细节。于本实施方式中，如图1所示，存储器11可用以存储自监督神经网络100。于本揭露中，模型产生装置1将通过自监督神经网络100训练用于特征撷取的编码器E1，且通过另一编码器E2更新编码器E1以提升编码器E1抵抗对抗式攻击的能力。
于某些实施方式中，自监督神经网络100是由线上神经(Online)网络及目标(Target)神经网络所组成，且在训练阶段时通过所述目标神经网络辅助训练所述线上神经网络，以调整所述线上神经网络对于某些影像区块的特征撷取的权重及参数(例如：降低经由对抗式攻击所改变的影像区块的权重)。
具体而言，如图3所示，在自监督神经网络100中，第一编码器E1对应至所述线上神经网络，且第二编码器E2对应至所述目标神经网络。于某些实施方式中，本揭露所使用的自监督神经网络100可为BOYL(Bootstrap Your Own Latent)架构中所使用的自监督神经网络。
接着，以下将说明关于训练样本产生阶段S1的运作内容。于本实施方式中，处理器15可通过收发接口13接收多个样本影像。随后，处理器15将基于所述等样本影像，产生对应所述等样本影像的多个对抗样本。
具体而言，处理器15对所述等样本影像各者执行对抗式攻击(例如：在样本影像中加入部分的微小噪声)，以产生对应所述等样本影像各者的多个对抗样本。应理解，处理器15可通过多种对抗式攻击的方法产生噪声，例如：根据模型的梯度去计算各个像素(pixel)对于分类的影响，以产生加入所述样本影像的噪声。
举例而言，对抗式攻击可包含如白箱攻击(White box attack)中的FGSM、BIM、MIM、DeepFool及C&W等等的方法。又举例而言，对抗式攻击亦可包含如黑箱攻击(Black boxattack)中的ZOO、NES、NAttack、及Boundary等等的方法。须说明者，本揭露并未限制模型产生装置1用以产生对抗样本所使用的对抗式攻击的内容。
于某些实施方式中，为了使得模型产生装置1所训练的第一编码器E1具有更好的抵御效果，处理器15对于同一张样本影像可以产生多张对应于不同对抗式攻击的训练数据。具体而言，经由所述对抗式攻击产生的所述等对抗样本与所述等样本影像具有多对一关系。举例而言，对应于同一张样本影像，处理器15可通过FGSM、BIM及MIM的对抗式攻击方式，产生对应所述样本影像的三张对抗样本。
接着，于预训练阶段S2中，处理器15将所述等样本影像及所述等对抗样本输入至所述自监督神经网络100以进行训练。为便于理解，请参考图3。于本实施方式中，处理器15将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络100中的第一编码器E1及第二编码器E2，以产生多个第一特征撷取F1及多个第二特征撷取F2。如图3所示，所述等第一特征撷取F1是由第一编码器E1所产生，所述等第二特征撷取F2是由所述第二编码器E2所产生。
须说明者，于本揭露中，线上神经网络可由第一编码器E1、表示(Representation)层、投影(Projection)层及预测(Predicjection)层等等组成，以产生所述等第一特征撷取F1。此外，目标神经网络可由第二编码器E2、表示层及投影层等等组成，以产生所述等第二特征撷取F2。本领域技术人员应可根据前述说明内容，理解编码器产生特征撷取的方式，故不赘言。
于某些实施方式中，在训练前，处理器15更进一步分类样本影像及对抗样本以产生对应训练集，以便于后续训练时，处理器15将各个对应训练集输入至自监督神经网络100中的第一编码器E1及第二编码器E2，以进行各回合的训练。具体而言，处理器15分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
须说明者，对应训练集中包含一张样本影像及对应所述样本影像的一张对抗样本，若所述样本影像具有多张对应的对抗样本，则处理器15可产生多组的对应训练集。
接着，于本实施方式中，处理器15计算所述等第一特征撷取F1及所述等第二特征撷取F2各者的相似度，以训练所述自监督神经网络100。
于某些实施方式中，处理器15是将每一组对应训练集分别输入至自监督神经网络100中的编码器进行训练。具体而言，处理器15针对所述等对应训练集各者，执行以下运作：将所述第一样本影像输入至第一编码器E1，以产生对应所述第一样本影像的所述第一特征撷取F1；以及将第一对抗样本输入至第二编码器E2，以产生对应所述第一对抗样本的所述第二特征撷取F2。
于某些实施方式中，处理器15是计算每一组对应训练集所产生的特征撷取的相似度，以训练所述自监督神经网络100。具体而言，处理器15针对所述等对应训练集各者，执行以下运作：计算对应所述第一样本影像的所述第一特征撷取F1及对应所述第一对抗样本的所述第二特征撷取F2的所述相似度，以训练所述自监督神经网络100。
于某些实施方式中，特征撷取的相似度可通过多个损失函数L计算，并处理器15还基于损失函数L的计算结果更新第一编码器E1。
具体而言，处理器15基于多个损失函数L，计算所述等第一特征撷取F1及所述等第二特征撷取F2各者的所述相似度。接着，如图3所示，处理器15基于所述等损失函数L所对应的所述相似度，更新所述第一编码器E1。须说明者，本揭露并未限制模型产生装置1所使用的损失函数L内容，任何可用以判断特征撷取是否相似的损失函数，均可使用在本揭露中。
于某些实施方式中，为了增加第二编码器E2与第二编码器E1的差异性，可对于第二编码器E2的参数进行平滑或平均运作，以增加编码器的强健性。举例而言，如图3所示，处理器15可还基于所述第一编码器E1所对应的指数移动平均(Exponential MovingAverage；EMA)，更新第二编码器E2。
须说明者，由于各个对抗样本是经由对抗式攻击(例如：在样本影像中加入部分的微小噪声)所产生，因此通过二个神经网络的互相训练(即，线上神经网络及目标神经网络)，可有效降低训练完成后的第一编码器E1对于经由对抗式攻击的影像的误判机率，提高第一编码器E1特征撷取的准确性。
接着，在自监督神经网络100训练完成后(即，已训练过所有对应训练集)，由于第一编码器E1已具有抵御对抗式攻击的特征撷取能力。因此，在微调阶段S3中，处理器15即可以自监督神经网络100中的第一编码器E1为特征撷取的基底，再配合其他对应于不同应用的新增层进行微调(例如：全连接层、译码器等等)，产生任务模型。具体而言，处理器15基于所述第一编码器E1及多个标注数据，产生任务模型。
须说明者，标注数据为经由标注后的数据(即，基准真相标注(Ground truthlabels))，以用于微调新增层所训练的任务模型。此外，所述等标注数据可由专家对于数据进行人工标注产生，或是直接由外部装置(例如：对应数据类型的数据库)接收已标注完成的所述等标注数据，本揭露未限制取得所述等标注数据的方式。
须说明者，处理器15可根据所述任务模型所对应的应用或需求取得所述等标注数据。举例而言，若欲产生的任务模型与人脸辨识相关(例如：辨识任务)，处理器15可从至少一个人脸影像数据库中取得已标注完成的所述等标注数据。
于某些实施方式中，处理器15可基于不同应用的需求，将不同的新增层串接于第一编码器E1后，以通过第一编码器E1取得撷取特征，并快速的训练任务模型。
具体而言，处理器15串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务。接着，处理器15将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层。最后，处理器15基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
举例而言，如图2所示，任务模型T1可为执行侦测(Detection)任务的任务模型，任务模型T1可用于辨识样本影像中所对应的类别(例如：所述张样本图像映射至飞机类别)。任务模型T2可为执行分割任务(Segmentation)的任务模型，任务模型T2可用于产生样本影像中物体轮廓的分割。任务模型T3可为执行重建任务(Reconstruction)的任务模型，任务模型T3可将经由对抗式攻击的影像重建回原先的样本影像(即，滤除对抗式攻击所改变的噪声)。
以产生用于侦测任务的任务模型为例进行说明，处理器15可将多层用于侦测的全连接层(fully-connections layers)串接于第一编码器E1后，并通过全连接层所预测的结果与标注数据的结果计算损失函数，以更新全连接层的参数与权重，进以快速的训练用于侦测任务的任务模型。
以产生用于分割任务的任务模型为例进行说明，处理器15可将用于分割的译码器(Decoder)串接于第一编码器E1后，并通过译码器所预测的结果与标注数据的结果计算损失函数，以更新译码器的参数与权重，进以快速的训练用于分割任务的任务模型。
以产生用于重建任务的任务模型为例进行说明，处理器15可将用于重建的译码器串接于第一编码器E1后，并通过译码器所预测的结果与标注数据的结果计算损失函数，以更新译码器的参数与权重，进以快速的训练用于重建任务的任务模型。
由上述说明可知，本揭露所提供的模型产生装置1，通过产生对应多个样本影像的多个对抗样本，且基于所述等样本影像及所述等对抗样本训练自监督神经网络100中的第一编码器E1及第二编码器E2，增强第一编码器E1对于特征撷取的能力，因此可提升第一编码器E1抵抗对抗式攻击的能力。此外，本揭露所提供的模型产生装置1可基于训练完成的第一编码器E1及多个标注数据，快速的产生针对各种下游任务的任务模型，解决现有技术需要重新整个任务模型的训练成本问题。另外，由于本揭露所提供的模型产生装置1在训练任务模型时，仅通过标注后的数据进行微调训练，而不需要在训练数据中加入对抗样本，因此训练后的准确性亦不会降低，解决现有技术发生的准确性下降问题。
本揭露的第二实施方式为模型产生方法，其流程图描绘于图4。模型产生方法400适用于电子装置，所述电子装置包含存储器、收发接口及处理器，例如：第一实施方式所述的模型产生装置1。电子装置存储自监督神经网络，例如：第一实施方式的自监督神经网络100。模型产生方法400由所述处理器执行且通过步骤S401至步骤S409产生任务模型。
首先，于步骤S401，由电子装置通过所述收发接口接收多个样本影像。随后，于步骤S403，由电子装置产生对应所述等样本影像的多个对抗样本。
接着，于步骤S405，由电子装置将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取，其中所述等第一特征撷取由所述第一编码器产生，所述等第二特征撷取由所述第二编码器产生。
随后，于步骤S407，由电子装置计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络。
最后，于步骤S409，由电子装置基于所述第一编码器及多个标注数据，产生任务模型。
于某些实施方式中，所述自监督神经网络还包含线上神经网络及目标神经网络，所述第一编码器对应至所述线上神经网络，且所述第二编码器对应至所述目标神经网络。
于某些实施方式中，模型产生方法400还包含下列步骤：对所述等样本影像各者执行对抗式攻击，以产生对应所述等样本影像各者的多个对抗样本。
于某些实施方式中，其中经由所述对抗式攻击产生的所述等对抗样本与所述等样本影像具有多对一关系。
于某些实施方式中，模型产生方法400还包含下列步骤：分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
于某些实施方式中，模型产生方法400还包含下列步骤：针对所述等对应训练集各者，执行以下步骤：将所述第一样本影像输入至所述第一编码器，以产生对应所述第一样本影像的所述第一特征撷取；以及将所述第一对抗样本输入至所述第二编码器，以产生对应所述第一对抗样本的所述第二特征撷取。
于某些实施方式中，模型产生方法400还包含下列步骤：针对所述等对应训练集各者，执行以下步骤：计算对应所述第一样本影像的所述第一特征撷取及对应所述第一对抗样本的所述第二特征撷取的所述相似度，以训练所述自监督神经网络。
于某些实施方式中，模型产生方法400还包含下列步骤：针对所述等对应训练集各者，执行以下运作：基于所述第一编码器所对应的指数移动平均，更新所述第二编码器。
于某些实施方式中，模型产生方法400还包含下列步骤：基于多个损失函数，计算所述等第一特征撷取及所述等第二特征撷取各者的所述相似度；以及基于所述等损失函数所对应的所述相似度，更新所述第一编码器。
于某些实施方式中，模型产生方法400还包含下列步骤：串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务；将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层；以及基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
除了上述步骤，第二实施方式亦能执行第一实施方式所描述的模型产生装置1的所有运作及步骤，具有同样的功能，且达到同样的技术效果。本揭露所属技术领域中技术人员可直接了解第二实施方式如何基于上述第一实施方式以执行此等运作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。
需说明者，于本揭露专利说明书及权利要求中，某些用语(包含：编码器、特征撷取、样本影像及对抗样本等等)前被冠以“第一”或“第二”，所述等“第一”及“第二”仅用来区分不同的用语。例如：第一特征撷取及第二特征撷取中的“第一”及“第二”仅用来表示不同编码器所产生的特征撷取。
综上所述，本揭露所提供的模型产生技术(至少包含装置及方法)，通过产生对应多个样本影像的多个对抗样本，且基于所述等样本影像及所述等对抗样本训练自监督神经网络中的第一编码器及第二编码器，增强第一编码器对于特征撷取的能力，因此可提升第一编码器抵抗对抗式攻击的能力。此外，本揭露所提供的模型产生技术可基于训练完成的第一编码器及多个标注数据，快速的产生针对各种下游任务的任务模型，解决现有技术需要重新整个任务模型的训练成本问题。另外，由于本揭露所提供的模型产生技术在训练任务模型时，仅通过标注后的数据进行微调训练，而不需要在训练数据中加入对抗样本，因此训练后的准确性亦不会降低，解决现有技术发生的准确性下降问题。
上述实施方式仅用来例举本揭露的部分实施态样，以及阐释本揭露的技术特征，而非用来限制本揭露的保护范畴及范围。任何本揭露所属技术领域中技术人员可轻易完成的改变或均等性的安排均属于本揭露所主张的范围，而本揭露的权利保护范围以权利要求为准。
【符号说明】
1：模型产生装置
11：存储器
13：收发接口
15：处理器
100：自监督神经网络
200：运作示意图
S1：训练样本产生阶段
S2：预训练阶段
S3：微调阶段
SI：样本影像
AA：对抗式攻击
AE：对抗样本
E1：第一编码器
T1：任务模型
T2：任务模型
T3：任务模型
E2：第二编码器
EMA：指数移动平均
F1：第一特征撷取
F2：第二特征撷取
L：损失函数
400：模型产生方法
S401、S403、S405、S407、S409：步骤。

Claims (16)

1.一种模型产生装置，其特征在于，包含：
存储器，用以存储自监督神经网络；
收发接口；以及
处理器，电性连接至所述存储器及所述收发接口，用以执行以下运作：
通过所述收发接口接收多个样本影像；
产生对应所述等样本影像的多个对抗样本；
将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取，其中所述等第一特征撷取由所述第一编码器产生，所述等第二特征撷取由所述第二编码器产生；
计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络；以及
基于所述第一编码器及多个标注数据，产生任务模型。
2.根据权利要求1所述的模型产生装置，其特征在于，所述自监督神经网络还包含线上神经网络及目标神经网络，所述第一编码器对应至所述线上神经网络，且所述第二编码器对应至所述目标神经网络。
3.根据权利要求1所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
4.根据权利要求3所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
针对所述等对应训练集各者，执行以下运作：
将所述第一样本影像输入至所述第一编码器，以产生对应所述第一样本影像的所述第一特征撷取；以及
将所述第一对抗样本输入至所述第二编码器，以产生对应所述第一对抗样本的所述第二特征撷取。
5.根据权利要求4所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
针对所述等对应训练集各者，执行以下运作：
计算对应所述第一样本影像的所述第一特征撷取及对应所述第一对抗样本的所述第二特征撷取的所述相似度，以训练所述自监督神经网络。
6.根据权利要求5所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
针对所述等对应训练集各者，执行以下运作：
基于所述第一编码器所对应的指数移动平均，更新所述第二编码器。
7.根据权利要求1所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
基于多个损失函数，计算所述等第一特征撷取及所述等第二特征撷取各者的所述相似度；以及
基于所述等损失函数所对应的所述相似度，更新所述第一编码器。
8.根据权利要求1所述的模型产生装置，其特征在于，所述处理器还执行以下运作：
串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务；
将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层；以及
基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
9.一种模型产生方法，其特征在于，用于电子装置，所述电子装置包含存储器、收发接口及处理器，所述存储器用以存储自监督神经网络，所述模型产生方法由所述处理器执行且包含下列步骤：
通过所述收发接口接收多个样本影像；
产生对应所述等样本影像的多个对抗样本；
将所述等样本影像及所述等对抗样本分别输入至所述自监督神经网络中的第一编码器及第二编码器，以产生多个第一特征撷取及多个第二特征撷取，其中所述等第一特征撷取由所述第一编码器产生，所述等第二特征撷取由所述第二编码器产生；
计算所述等第一特征撷取及所述等第二特征撷取各者的相似度，以训练所述自监督神经网络；以及
基于所述第一编码器及多个标注数据，产生任务模型。
10.根据权利要求9所述的模型产生方法，其特征在于，所述自监督神经网络还包含线上神经网络及目标神经网络，所述第一编码器对应至所述线上神经网络，且所述第二编码器对应至所述目标神经网络。
11.根据权利要求9所述的模型产生方法，其特征在于，还包含下列步骤：
分类所述等样本影像及所述等对抗样本，以产生多个对应训练集，其中所述等对应训练集各者包含所述等样本影像中的第一样本影像及对应至所述第一样本影像的第一对抗样本。
12.根据权利要求11所述的模型产生方法，其特征在于，还包含下列步骤：
针对所述等对应训练集各者，执行以下步骤：
将所述第一样本影像输入至所述第一编码器，以产生对应所述第一样本影像的所述第一特征撷取；以及
将所述第一对抗样本输入至所述第二编码器，以产生对应所述第一对抗样本的所述第二特征撷取。
13.根据权利要求12所述的模型产生方法，其特征在于，还包含下列步骤：
针对所述等对应训练集各者，执行以下步骤：
计算对应所述第一样本影像的所述第一特征撷取及对应所述第一对抗样本的所述第二特征撷取的所述相似度，以训练所述自监督神经网络。
14.根据权利要求13所述的模型产生方法，其特征在于，还包含下列步骤：
针对所述等对应训练集各者，执行以下运作：
基于所述第一编码器所对应的指数移动平均，更新所述第二编码器。
15.根据权利要求9所述的模型产生方法，其特征在于，还包含下列步骤：
基于多个损失函数，计算所述等第一特征撷取及所述等第二特征撷取各者的所述相似度；以及
基于所述等损失函数所对应的所述相似度，更新所述第一编码器。
16.根据权利要求15所述的模型产生方法，其特征在于，还包含下列步骤：
串接至少一新增层于所述第一编码器之后，其中所述至少一新增层对应至下游任务；
将所述等标注数据输入至所述第一编码器及所述至少一新增层，以微调所述至少一新增层；以及
基于所述第一编码器及微调后的所述至少一新增层，产生对应所述下游任务的所述任务模型。
CN202210746633.1A 2022-01-06 2022-06-28 模型产生装置及方法 Pending CN115082761A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263266461P 2022-01-06 2022-01-06
US63/266,461 2022-01-06

Publications (1)

Publication Number Publication Date
CN115082761A true CN115082761A (zh) 2022-09-20

Family

ID=83255524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746633.1A Pending CN115082761A (zh) 2022-01-06 2022-06-28 模型产生装置及方法

Country Status (3)

Country Link
US (1) US20230215147A1 (zh)
CN (1) CN115082761A (zh)
TW (1) TWI810993B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439719B (zh) * 2022-10-27 2023-03-28 泉州装备制造研究所 一种针对对抗攻击的深度学习模型防御方法及模型

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN111046379B (zh) * 2019-12-06 2021-06-18 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN111046957B (zh) * 2019-12-13 2021-03-16 支付宝(杭州)信息技术有限公司 一种模型盗用的检测、模型的训练方法和装置
CN111695596A (zh) * 2020-04-30 2020-09-22 华为技术有限公司 一种用于图像处理的神经网络以及相关设备
CN113554089B (zh) * 2021-07-22 2023-04-18 西安电子科技大学 一种图像分类对抗样本防御方法、系统及数据处理终端

Also Published As

Publication number Publication date
TW202328989A (zh) 2023-07-16
TWI810993B (zh) 2023-08-01
US20230215147A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
Xu et al. Reasoning-rcnn: Unifying adaptive global reasoning into large-scale object detection
CN111615702B (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN111275107A (zh) 一种基于迁移学习的多标签场景图像分类方法及装置
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
EP3876163B1 (en) Model training, image processing method, device, storage medium, and program product
CN111177367B (zh) 案件分类方法、分类模型训练方法及相关产品
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN112561053B (zh) 图像处理方法、预训练模型的训练方法、装置和电子设备
CN114359564A (zh) 图像识别方法、装置、计算机设备、存储介质和产品
CN109697442B (zh) 一种字符识别模型的训练方法和装置
CN113887615A (zh) 图像处理方法、装置、设备和介质
CN115082761A (zh) 模型产生装置及方法
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN111950579A (zh) 分类模型的训练方法和训练装置
CN115565186B (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN111488400B (zh) 数据分类方法、装置和计算机可读存储介质
CN117134958A (zh) 用于网络技术服务的信息处理方法及系统
CN111507396A (zh) 缓解神经网络对未知类样本产生错误分类的方法及装置
US9378466B2 (en) Data reduction in nearest neighbor classification
CN115935358A (zh) 一种恶意软件识别方法、装置、电子设备及存储介质
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
Uzair et al. Electronet: An enhanced model for small-scale object detection in electrical schematic diagrams
CN112825121A (zh) 深度卷积神经网络初始化和训练方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination