JP2023118101A - 機械学習システムに対する敵対的パッチを特定するための装置及び方法 - Google Patents

機械学習システムに対する敵対的パッチを特定するための装置及び方法 Download PDF

Info

Publication number
JP2023118101A
JP2023118101A JP2023019431A JP2023019431A JP2023118101A JP 2023118101 A JP2023118101 A JP 2023118101A JP 2023019431 A JP2023019431 A JP 2023019431A JP 2023019431 A JP2023019431 A JP 2023019431A JP 2023118101 A JP2023118101 A JP 2023118101A
Authority
JP
Japan
Prior art keywords
adversarial
machine learning
patch
attention
learning system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023019431A
Other languages
English (en)
Inventor
マウリシオ ムニョス デルガド アンドレス
Mauricio Munoz Delgado Andres
クマール ムンマディ チャイタンヤ
Kumar Mummadi Chaithanya
ロヴィソット ジュリオ
Lovisotto Giulio
ヘンドリク メッツェン ヤン
Hendrik Metzen Jan
イン フィニー ニコル
Ying Finnie Nicole
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2023118101A publication Critical patent/JP2023118101A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

【課題】機械学習システム（６０）に対する敵対的パッチを特定するためのコンピュータ実装された方法に関する。
【解決手段】機械学習システム（６０）は、画像解析のために構成されており、入力画像（ｘ，ｘｉ）に基づき出力信号（ｙ，ｙｉ）を求め、出力信号（ｙ，ｙｉ）は、機械学習システム（６０）のアテンション層（ｌ）の出力に基づき求められ、敵対的パッチは、損失関数に関して敵対的パッチを最適化することにより特定され、損失関数は、項
Figure 2023118101000047
を含み、この項は、入力画像（ｘ，ｘｉ）内の敵対的パッチの１つのポジションに関するアテンション層（ｌ）のアテンションウェイトの和を表し、この方法は上述の項を最大化するステップを含む。
【選択図】図１

Description

本発明は、敵対的パッチを特定するための方法、アクチュエータの制御信号を求めるための方法、コンピュータプログラム、及び、機械可読記憶装置に関する。
従来技術
２０２１年のGu等による「Are Vision Transformers Robust to Patch Perturbations?」、https://arxiv.org/pdf/2111.10659v1.pdfには、ビジョントランスフォーマに対する敵対的パッチを特定するための方法が開示されている。
技術的背景
アテンションメカニズムを基礎とする機械学習システムは、ほとんどすべての技術分野において利用が増加している。特に画像解析を実施する場合、最近では、ビジョントランスフォーマなどのニューラルネットワークアーキテクチャが高い予測性能を示している。これらの主要な利点は、アテンションによって、１つの画像により捉えられたシーンのすべての部分についてまとめて推論できる、ということである。
他の機械学習システムと同様に、アテンションメカニズムに依拠する機械学習システムも、敵対的パッチを受けやすい。敵対的パッチは、画像の特定の領域に重畳された摂動であるものとして理解することができ、その目的は、重畳されたこの画像を処理したときに、たとえば画像を誤って分類するなど、機械学習システムを欺くためのものである。
Gu等著、「Are Vision Transformers Robust to Patch Perturbations?」、２０２１年、https://arxiv.org/pdf/2111.10659v1.pdf
従って、所与の機械学習システムに対する敵対的パッチを特定することは、解決すべき重要な問題である。その理由は、機械学習システムに対するそれらの敵対的パッチの影響を緩和する際に、それらの敵対的パッチが機械学習システムのユーザを左右するからである。
独立請求項１の特徴を備えた方法の利点とは、アテンションメカニズムを使用して機械学習システムに合わせて作成された敵対的パッチを特定することができる、ということである。このように、機械学習システムを欺くことに関してより優れた敵対的パッチを取得することができ、即ち、それらの敵対的パッチが重畳された画像を、機械学習システムによって正確に分類することがより困難になる。このような、より困難な敵対的パッチが特定された場合には、ユーザは、機械学習システムをさらにより良好に敵対的パッチから防御することができる。
発明の開示
第１の態様において、本発明は、機械学習システム（６０）に対する敵対的パッチを特定するためのコンピュータ実装された方法に関するものであり、機械学習システム（６０）は、画像解析のために構成されており、入力画像（ｘ，ｘｉ）に基づき出力信号（ｙ，ｙｉ）を求め、出力信号（ｙ，ｙｉ）は、機械学習システム（６０）のアテンション層（６１）の出力に基づき求められ、敵対的パッチは、損失関数に関して敵対的パッチを最適化することにより特定され、損失関数は、項
Figure 2023118101000002
 を含み、この項は、入力画像（ｘ，ｘｉ）内の敵対的パッチの１つのポジションに関するアテンション層（６１）のアテンションウェイトの和を表し、本方法は、上述の項を最大化するステップを含む。
機械学習システムは、特に、複数の層を含むニューラルネットワークであるものとして理解することができ、この場合、それらの層のうち少なくとも１つは、アテンション層、たとえばセルフアテンション層である。機械学習システムは、画像を処理し、入力画像に関する予測を求めるように構成されており、たとえば、実行の分類（たとえば、単一ラベル分類、マルチラベル分類、物体検出、セマンティックセグメンテーション）を実行するように、又は、入力画像に基づき回帰分析を実行するように、即ち、入力画像を表す少なくとも１つの実数値を求めるように構成されている。
画像解析のために構成されている機械学習システムは、画像を解析するようにトレーニングされている機械学習システムであるものとして理解することができる。
入力画像は、任意の適当な光学センサによって記録することができ、たとえば、カメラ、ＬＩＤＡＲセンサ、レーダセンサ、超音波センサ、又は、サーマルカメラによって記録することができる。ただし、入力画像は、合成により求めることもでき、たとえば、敵対的生成ネットワーク、オートエンコーダ、又は、正規化フローといった機械学習モデルによって生成することもできる。入力画像は、コンピュータシミュレーションから合成することもでき、たとえば、仮想世界からレンダリングされた画像とすることもできる。
敵対的パッチは、好ましくは、入力画像よりも小さい画像であるものとして理解することができ、この場合、敵対的パッチを画像に適用することができる。画像への敵対的パッチの適用は、特に、画像の所定の領域内の画像のピクセルを敵対的パッチのピクセルに置き換えることであるものとして理解することができ、この場合、その領域は、敵対的パッチと同等のサイズを有する。このことは、画像に敵対的パッチを重畳することであるものとして理解することもできる。選択的に、敵対的パッチのピクセルに基づき領域内のピクセルを変更することもでき、たとえば、事前定義された混合係数を使用して敵対的パッチを画像に混合することによって変更することもできる。
敵対的パッチを特定するということは、複数の入力画像を誤って解析するように、たとえば入力画像のデータセットからのすべての入力画像を誤分類するように、機械学習システムを最もうまく欺くことを目標として、敵対的パッチを最適化することであるものとして理解することができる。敵対的パッチは、特に、機械学習システムを欺くときに、画像内の敵対的パッチのポジションは重要ではないように最適化することができる。
有利には、この方法は、他のアプローチと比較して、機械学習システムを欺くことがさらに可能となるように、敵対的パッチを特定する目的で、機械学習システムにおけるアテンション層の独特の特性、即ち、アテンションウェイトを重視している。これによって、機械学習をより良好に理解できるようになり、機械学習システムを敵対的攻撃に対しさらに優れて堅牢なものにするように、機械学習システムのユーザが導かれる。
たとえば、ｘｉ∈［０，１］３×ｈ×ｗ及び関連づけられたラベルｙｉにより数学的に定式化されるような入力画像を考慮する場合には、ｐｈ＜＜ｈ，ｐｗ＜＜ｗであるとして、敵対的パッチｐ∈［０，１］３×ｐｈ×ｐｗは、以下の目標、即ち、
Figure 2023118101000003
 を最大化することによって特定することができ、ここで、Ｌは、より大きい入力画像ｘｉ内のパッチｐのロケーションを指定するものであり、Ｆは、パッチを入力画像に適用する（たとえば所定のサイズだけ入力領域を上書きする）関数であり、ｆは、機械学習システムである。
最適化のために、ｌ∞ノルム拘束された摂動に対する射影勾配降下法を、式
Figure 2023118101000004
 に従って使用することができる。ここで、ｐ０は、特に、［０，１］３×ｐｈ×ｐｗから均一にランダムに初期化することができる。
アテンション層の入力を求めるために、入力画像は、機械学習システムの複数の層によって処理することができ、又は、入力画像をそのままアテンション層への入力として使用することができる。アテンション層は、好ましくは、ドット積アテンションを適用することによって、アテンション層の入力を処理する。ドット積アテンションは、すべてのキーに対するクエリのドット積として、クエリごとにアテンションウェイトを計算することであるものとして理解することができる。次いで、ソフトマックス関数が、キーの次元にわたって適用される。次いで、これらのアテンションウェイトが式
Figure 2023118101000005
 による値によって乗算される。
この場合、
Figure 2023118101000006
 は、それぞれｎ個のクエリ、キー及び値の行列である。典型的には、ソフトマックス演算におけるドット積は、
Figure 2023118101000007
 によりスケーリングすることができ、その理由は、ソフトマックスはさもなければ飽和勾配領域に押し込まれ、これによって、アテンション層を含む機械学習システムをトレーニングすることが困難になることが判明したからである。実際のところ、クエリ、キー及び値をｄｋ、ｄｋ及びｄｖの次元にＨ回、線形に射影することによって、複数のアテンションヘッドを使用することが有益であると判明した。ｈ番目のアテンションヘッド（ＡＨ）の出力は、式
Figure 2023118101000008
 に従って求めることができる。ここで、
Figure 2023118101000009
 は、アテンション層の（学習可能な）射影行列である。次いで、個々のアテンションヘッドの出力を連結して、アテンション層の別の学習済み射影行列によって乗算することができる。特別なケースは、
Figure 2023118101000010
 であるセルフアテンションであり、これは典型的には、画像認識モデルのエンコーダ層において使用される。この場合には、アテンション層の入力Ｘにおけるｈ番目のヘッドのアテンションウェイトは、式
Figure 2023118101000011
 に従って定義することができる。この場合には、ｈ番目のセルフアテンションヘッドは、式
Figure 2023118101000012
 によって表すことができる。
発明者らが見出したことは、
Figure 2023118101000013
 を近似することができ、即ち、この勾配は、アテンションウェイトＡｈ（Ｘ）を実質的に一定であるとみなす、ということである。従って、公知の方法によって開示されているようなエンドツーエンド損失に基づく、ＰＧＤなど勾配に基づく攻撃は、値
Figure 2023118101000014
 のセルフアテンションを介して、（線形に）伝搬し得るＸにおける敵対的な作用に注目することに偏っている一方、アテンションウェイトＡｈ（Ｘ）を介して、伝播するＸの潜在的に敵対的な（かつ非線形の）作用が効果的に無視される。かくして、この方法によってアテンションウェイトをターゲットとすることが提案され、その理由は、これが機械学習モデルに対する潜在的な敵対的入力に対して付加的な洞察を与えるからである。
本発明者らがさらに見出したことは、ソフトマックス関数、即ち、
Figure 2023118101000015
 に基づく損失関数よりも前に、アテンションウェイトに基づき損失関数に従って、敵対的サンプルを特定することである。
以下において使用する異なる表記法を用いて、この式は、
Figure 2023118101000016
 として記述することもできる。
ここで、Ｂｈｌは、添字ｌが付されたアタッチメント層のｈ番目のヘッドの出力を表し、
Figure 2023118101000017
 は、アテンション層のｈ番目のヘッドにおいて求められた射影クエリを表し、
Figure 2023118101000018
 は、アテンション層のｈ番目のヘッドにおいて求められた射影キーを表す。出力Ｂｈｌは、行列であるものとして理解することができる。換言すれば、Ｂｈｌの各要素は、添字ｌが付されたアテンション層の個々のアテンションヘッドｈ内のキーとクエリとの間のドット積の類似性を定量化するものとして理解することができる。
この方法の好ましい実施形態において、敵対的パッチを最適化するための損失関数の一部である項は、式
Figure 2023118101000019
 によって表される。ここで、ｎは、アテンション層ｌに供給されるシーケンスのシーケンス長であり、
Figure 2023118101000020
 は、ソフトマックス関数の適用前のシーケンスの要素ｉ＊に関するシーケンスの要素ｊのアテンションウェイトを表す。これは、アテンションウェイトロジットであるものとして理解することもできる。トランスフォーマ及びビジョントランスフォーマに関連する一般的な用語の観点から、シーケンス要素は、トークンであるものとして理解することができ、たとえば、機械学習システムの入力画像のパッチの特徴表現であるものとして理解することができる。ｉ＊番目のトークンは、好ましくは、敵対的パッチが適用された入力画像内の１つのパッチに対応するトークンとなるように、選択することができる。敵対的パッチを最適化するための損失の一部として
Figure 2023118101000021
 を最大化する場合には、これによって有利には、敵対的パッチを含むパッチにすべてのアテンションウェイトを集中させるアテンションヘッドがもたらされる。換言すれば、項
Figure 2023118101000022
 は、入力画像内の敵対的パッチの１つのポジションに関するアテンション層ｌのアテンションウェイトの和を表す。
好ましい実施形態においてさらに可能であることは、アテンション層が複数のヘッドを含み、この場合、各ヘッドはアテンションウェイトを含み、入力画像内の敵対的パッチの１つのポジションに関するアテンション層のアテンションウェイトの和を表す項が、アテンション層のヘッドごとに最大化される、ということである。
換言すれば、項
Figure 2023118101000023
 は、ヘッド（アテンションヘッドとも称する）ごとに別個に求めることができ、その後、各項を最大化することができる。個々の項を最大化するために、損失関数における個々の項を単純に合計することができる。
ただし、項
Figure 2023118101000024
 のヘッドごとの最大化が、式
Figure 2023118101000025
 即ち、それぞれ異なる項
Figure 2023118101000026
 に関して、（多変量ソフトプラスとしても知られる）ｌｏｇｓｕｍｅｘｐ演算を実行する式により表される損失関数の最大化によって達成される、ということも可能である。発明者らが見出したことは、ｌｏｇｓｕｍｅｘｐ演算の結果、より強い敵対的パッチが得られ、次いで、機械学習システム及びその弱点をより良好に理解できるようになる、ということである。
それぞれ異なる項
Figure 2023118101000027
 は、それぞれ異なるスケールを有する可能性があり、その結果、最適化中に、１つの項が他の項よりも優勢になることがある。有利には、これを緩和し、すべてのヘッドをクエリパッチに向けるようにする目的で、それぞれ異なる項を正規化することもできる。好ましくは、それぞれ異なる項を求める前に、射影クエリ及び射影キーを、それぞれ射影クエリ及び射影キーのノルムにより分割することによって、正規化を達成することができる。好ましくは、Ｌ１，２ノルムは、正規化のために選択することができる。Ｌ１，２ノルムは、式
Figure 2023118101000028
 によって表すことができる。
好ましい実施形態において、機械学習システムが複数のアテンション層を含み、入力画像内の敵対的パッチの１つのポジションに関するアテンション層のアテンションウェイトの和を表す項が、アテンション層ごとに最大化される、ということも可能である。
敵対的パッチを特定するために特に可能であることは、アテンション層ごとに値
Figure 2023118101000029
 が求められ、敵対的パッチを最適化するために使用される損失関数の一部を形成するために、それぞれ異なる値
Figure 2023118101000030
 が合計される、ということである。発明者らは、それぞれ異なる値
Figure 2023118101000031
 の組合せが、好ましくはｌｏｇｓｕｍｅｘｐ演算によって達成できる、ということを見出した。有利には、これによって、より強い敵対的パッチがもたらされ、ひいては機械学習モデルのより良好な理解がもたらされる。ｌｏｇｓｕｍｅｘｐ演算は、式
Figure 2023118101000032
 によって表すことができる。
最適化にあたり、最適化すべき損失関数を取得するために、損失項
Figure 2023118101000033
 を、交差エントロピー損失項などの損失項に加えることができる。
敵対的パッチが特定された場合には、ユーザは、有利には、機械学習モデルを欺くためにはどのパターンが適しているのかについての洞察を得る。これに加え、特定された敵対的パッチは、さらに、敵対的攻撃に対し機械学習モデルを堅牢にするために使用することができる。従って、好ましい実施形態において、この方法は、機械学習システムに対する特定された敵対的パッチの影響を緩和するさらなるステップを含む。
緩和ステップには、たとえば、特定された敵対的パッチに基づき、機械学習システムの分類を信用できるか否かを判定する不確定性検出といった付加的な手段によって、機械学習システムを拡張することが含まれる。従って、機械学習システムの出力は、敵対的サンプルの出現に関する知識を有しており、それに応じて適合可能である。
好ましくは、機械学習システムに対する敵対的パッチの影響の緩和は、敵対的トレーニングによって達成される。
敵対的トレーニングは、最小－最大最適化問題であるものとして理解することができ、この場合、敵対的パッチを特定するということは、内部最大化問題であるものとして理解することができる。この場合に、特定された敵対的パッチは、機械学習モデルをトレーニングするための入力画像のアノテーション、たとえば分類又は望ましい回帰分析結果と組み合わせて、トレーニングサンプルとして使用され、ここで、トレーニングは、外部最小化問題であるものとして理解することができる（即ち、分類及び／又は回帰結果に関する損失が最小化される）。これによって有利には、敵対的パッチを使用する攻撃に対する機械学習モデルのロバスト性を改善することができ、その結果、機械学習モデルの予測性能が改善される。
他の態様において、本発明は、技術システムのアクチュエータ用の制御信号を求めるためのコンピュータ実装された方法に関し、この方法は、先に説明した緩和アプローチに従って、機械学習システムに対する敵対的パッチの影響を緩和するステップと、機械学習システムの出力に基づき制御信号を求めるステップと、を含む。
有利には、これによって、技術的システムを制御するためにより良好な制御信号を求めることができる。
以下の図面を参照しながら、本発明の実施形態についてさらに詳細に説明する。
１つのアテンション層を含む機械学習システムを示す図である。 機械学習システムをトレーニングするためのトレーニングシステムを示す図である。 アクチュエータをその環境内で制御する分類器を含む制御システムを示す図である。 少なくとも部分的に自律型のロボットを制御する制御システムを示す図である。 製造機械を制御する制御システムを示す図である。 自動化されたパーソナルアシスタントを制御する制御システムを示す図である。 アクセス制御システムを制御する制御システムを示す図である。 監視システムを制御する制御システムを示す図である。 撮像システムを制御する制御システムを示す図である。
実施形態の説明
図１には、複数の層（Ｌ１，Ｌ２，ｌ）を含む機械学習システム（６０）が示されており、これらの層のうちの少なくとも１つはアテンション層（６１）である。機械学習システム（６０）は、入力画像（ｘｉ）を処理するように構成されており、このシステムは、ニューラルネットワーク（６０）であるものとして理解することができる。図示の実施形態の場合、アテンション層には、ニューラルネットワーク（６０）の別の層の出力である入力（ｘａ）が供給される。他の実施形態において、入力画像（ｘｉ）は、複数のパッチに分割することができ、それらのパッチについて、特徴表現をパッチトークンの形態で抽出することができ、次いで、それらをアテンション層（ｌ）の入力として用いることができる。
アテンション層（ｌ）は、少なくとも１つの、ただし好ましくは複数のアテンションヘッド（ｈ＝１，ｈ＝２，ｈ＝３）を含み、これらのアテンションヘッド各々は、アテンション層（ｌ）の入力（ｘａ）に基づき出力を求めるように構成されている。この入力が、クエリ射影を求めるクエリ行列（Ｗｑ）と、キー射影を求めるキー行列（Ｗｋ）と、値射影を求める値行列（Ｗｖ）とによって乗算される。クエリ射影とキー射影と値射影とに基づき、アテンションヘッドは、ニューラルネットワークに関して知られているセルフアテンションメカニズムに従って、出力（ｏ１，ｏ２，ｏ３）を求める。アテンション層の出力を求めるために、出力（ｏ１，ｏ２，ｏ３）は、好ましくは、アテンション層内のアテンションヘッドごとに求めることができる。次いで、出力信号（ｙｉ）を求める目的で、アテンション層の出力を、ニューラルネットワーク（６０）の他の層によって処理することができる。他の実施形態（図示せず）において、アテンション層の出力は、出力信号（ｙｉ）としてそのまま使用するものとしてもよい。
クエリ射影とキー射影とに基づき、アテンションヘッド（ｈ＝１，ｈ＝２，ｈ＝３）の損失項ユニット（６２）は、式
Figure 2023118101000034
 に従って損失項
Figure 2023118101000035
 を求める。
図２には、トレーニングデータセット（Ｔ）を用いて制御システム（４０）のニューラルネットワーク（６０）をトレーニングするためのトレーニングシステム（１４０）の１つの実施形態が示されている。トレーニングデータセット（Ｔ）は、分類器（６０）をトレーニングするために使用される複数の入力画像（ｘｉ）を含み、この場合、トレーニングデータセット（Ｔ）はさらに、入力画像（ｘｉ）ごとに望ましい出力信号（ｔｉ）を含み、これは入力画像（ｘｉ）に対応し、入力画像（ｘｉ）の分類及び／又は望ましい回帰分析結果を表す。
トレーニングのために、トレーニングデータユニット（１５０）は、コンピュータ実装されたデータベース（Ｓｔ２）にアクセスし、データベース（Ｓｔ２）は、トレーニングデータセット（Ｔ）を供給する。トレーニングデータユニット（１５０）は、トレーニングデータセット（Ｔ）から好ましくはランダムに、少なくとも１つの入力画像（ｘｉ）と、入力信号（ｘｉ）に対応する望ましい出力信号（ｔｉ）とを求め、入力信号（ｘｉ）を敵対的ユニット（７０）に送信する。敵対的ユニット（７０）は、入力画像（ｘｉ）とニューラルネットワーク（６０）のパラメータ化とに基づき、敵対的パッチを特定するように構成されている。敵対的ユニット（７０）は、好ましくは、損失関数
Figure 2023118101000036
 を最大化することによって敵対的パッチを特定する。ただし、
Figure 2023118101000037
 は、交差エントロピー損失である。好ましくは、最大化は、たとえばピクセルにおける所定量の摂動のみを許可することによって、敵対的モデルに関して制約される。これは、特に、射影勾配降下法によって達成することができる。
敵対的パッチが特定された場合には、敵対的ユニット（７０）は、このパッチを入力画像（ｘｉ）に適用して、パッチされた画像（ｘｐ）を求める。パッチされた画像（ｘｐ）は、次いで、ニューラルネットワーク（６０）に供給される。ニューラルネットワーク（６０）は、パッチされた画像（ｘｉ）に基づき出力信号（ｙｉ）を求める。
望ましい出力信号（ｔｉ）と求められた出力信号（ｙｉ）とが修正ユニット（１８０）に送られる。
次いで、修正ユニット（１８０）は、望ましい出力信号（ｔｉ）と求められた出力信号（ｙｉ）とに基づき、ニューラルネットワーク（６０）のための新たなパラメータ（Φ’）を求める。この目的で修正ユニット（１８０）は、望ましい出力信号（ｔｉ）と求められた出力信号（ｙｉ）とを、損失関数を用いて比較する。損失関数は、求められた出力信号（ｙｉ）が望ましい出力信号（ｔｉ）からどの程度逸脱しているのかを表す第１の損失値を求める。所与の実施形態において、負の対数尤度関数が損失関数として使用される。他の損失関数も、代替的な実施形態において想定される。
さらに想定されることは、求められた出力信号（ｙｉ）と望ましい出力信号（ｔｉ）とが各々、たとえばテンソルの形態で複数のサブ信号を含むということであり、この場合、望ましい出力信号（ｔｉ）のサブ信号は、求められた出力信号（ｙｉ）のサブ信号に対応する。たとえば、ニューラルネットワーク（６０）が物体検出のために構成されており、第１のサブ信号が入力信号（ｘｉ）の一部に関する物体の発生確率を表し、第２のサブ信号が物体の正確なポジションを表す、ということが想定される。求められた出力信号（ｙｉ）と望ましい出力信号（ｔｉ）とが、複数の対応するサブ信号を含む場合には、好ましくは、対応するサブ信号ごとに、適当な損失関数を用いることによって第２の損失値が求められ、第１の損失値を形成するために、たとえば重み付けされた和を用いることによって、求められた第２の損失値が適当に組み合わせられる。
修正ユニット（１８０）は、第１の損失値に基づき新たなパラメータ（Φ’）を求める。所与の実施形態において、これは勾配降下法を用いて行われ、好ましくは確率的勾配降下法、Ａｄａｍ又はＡｄａｍＷを用いて行われる。さらなる実施形態において、トレーニングは、ニューラルネットワークをトレーニングするための進化的アルゴリズム又は二次法に基づくものとすることもできる。
他の好ましい実施形態において、既述のトレーニングは、事前定義された反復ステップ数だけ反復的に繰り返され、又は、第１の損失値が事前定義された閾値を下回るまで反復的に繰り返される。選択的に又は付加的に、テストデータセット又は検証データセットに関する第１の損失値の平均が事前定義された閾値を下回ると、トレーニングが終了する、ということも想定される。反復のうちの少なくとも１つにおいて、先行の反復において求められた新たなパラメータ（Φ’）が、ニューラルネットワーク（６０）のパラメータ（Φ）として使用される。
さらにトレーニングシステム（１４０）は、少なくとも１つのプロセッサ（１４５）と、少なくとも１つの機械可読記憶媒体（１４６）とを含み得るものであり、この機械可読記憶媒体（１４６）は、プロセッサ（１４５）によって実行されるときに、本発明の態様のうちの１つによるトレーニング方法をトレーニングシステム（１４０）に実施させるための命令を含む。
図３には、アクチュエータ（１０）の１つの実施形態がその環境（２０）内で示されている。アクチュエータ（１０）は、制御システム（４０）と相互に作用する。アクチュエータ（１０）とその環境（２０）とを合わせて、アクチュエータシステムと称することにする。好ましくは、均等に離間された時点において、センサ（３０）が、アクチュエータシステムの状態をセンシングする。センサ（３０）は、複数のセンサを含み得る。好ましくは、センサ（３０）は、環境（２０）の画像を撮影する光学センサである。センシングされた状態を符号化するセンサ（３０）の出力信号（Ｓ）（又は、センサ（３０）が複数のセンサを含むケースにおいては、センサ各々の出力信号（Ｓ））が、制御システム（４０）に送信される。
これにより、制御システム（４０）は、センサ信号（Ｓ）のストリームを受信する。その後、制御システム（４０）は、センサ信号（Ｓ）のストリームに依存して一連の制御信号（Ａ）を計算し、次いで、これらの制御信号（Ａ）がアクチュエータ（１０）に送信される。
制御システム（４０）は、任意選択肢の受信ユニット（５０）においてセンサ（３０）のセンサ信号（Ｓ）のストリームを受信する。受信ユニット（５０）は、センサ信号（Ｓ）を入力画像（ｘ）に変換する。選択的に、受信ユニット（５０）が設けられていないケースにおいては、各センサ信号（Ｓ）をそのまま入力画像（ｘ）とみなすことができる。入力画像（ｘ）は、たとえば、センサ信号（Ｓ）からの抜粋として実現することができる。選択的に、センサ信号（Ｓ）を処理して、入力画像（ｘ）を生じさせることができる。換言すれば、入力画像（ｘ）は、センサ信号（Ｓ）に従って供給される。
次いで、入力画像（ｘ）は、図２に従ってトレーニングされたニューラルネットワーク（６０）に送られる。
ニューラルネットワーク（６０）は、パラメータ（Φ）によってパラメータ化され、これらのパラメータ（Φ）は、パラメータ記憶装置（Ｓｔ１）に記憶され、かつ、パラメータ記憶装置（Ｓｔ１）によって供給される。
ニューラルネットワーク（６０）は、入力画像（ｘ）から出力信号（ｙ）を求める。出力信号（ｙ）は、１つ又は複数のラベルを入力画像（ｘ）に割り当てる情報を含む。出力信号（ｙ）は、任意選択肢の変換ユニット（８０）に送信され、この変換ユニット（８０）は、出力信号（ｙ）を制御信号（Ａ）に変換する。次いで、制御信号（Ａ）は、これに応じてアクチュエータ（１０）を制御するために、アクチュエータ（１０）に送信される。選択的に、出力信号（ｙ）をそのまま制御信号（Ａ）とみなすことができる。
アクチュエータ（１０）は、制御信号（Ａ）を受信し、これに応じて制御されて、制御信号（Ａ）に対応するアクションを実施する。アクチュエータ（１０）は、制御信号（Ａ）をさらに別の制御信号に変換する制御ロジックを含み得るものであり、次いで、このさらに別の制御信号が使用されて、アクチュエータ（１０）が制御される。
さらに他の実施形態において、制御システム（４０）は、センサ（３０）を含み得る。さらに他の実施形態において、制御システム（４０）は、選択的に又は付加的に、アクチュエータ（１０）を含み得る。
さらに他の実施形態において想定することができることは、制御システム（４０）が、アクチュエータ（１０）の代わりに、又は、アクチュエータ（１０）に加えて、ディスプレイ（１０ａ）を制御するということである。
さらに制御システム（４０）は、少なくとも１つのプロセッサ（４５）及び少なくとも１つの機械可読記憶媒体（４６）を含み得るものであり、この機械可読記憶媒体（４６）には命令が記憶されており、これらの命令は、実行時に、本発明の１つの態様による方法を制御システム（４０）に実施させるためのものである。
図４に示されている実施形態の場合、制御システム（４０）を使用して、少なくとも部分的に自律型のロボット、たとえば少なくとも部分的に自律型の車両（１００）が制御される。
センサ（３０）は、１つ又は複数のビデオセンサ、及び／又は、１つ又は複数のレーダセンサ、及び／又は、１つ又は複数の超音波センサ、及び／又は、１つ又は複数のＬｉＤＡＲセンサを含み得る。これらのセンサのうちのいくつか又はすべては、好ましくは、ただし必須ではないが、車両（１００）に組み込まれる。
ニューラルネットワーク（６０）は、入力画像（ｘ）に基づき、少なくとも部分的に自律型のロボットの近傍にある物体を検出するように構成することができる。出力信号（ｙ）は、少なくとも部分的に自律型のロボットの近傍で物体がどこに位置しているのかを表す情報を含み得る。次いで、この情報に従って、たとえば検出された物体との衝突を回避するために、制御信号（Ａ）を求めることができる。
好ましくは車両（１００）に組み込まれるアクチュエータ（１０）は、車両（１００）のブレーキ、推進システム、エンジン、駆動トレイン、又は、ステアリングによって実現することができる。車両（１００）が検出された物体との衝突を回避するために、アクチュエータ（１０）が制御されるように、制御信号（Ａ）を求めることができる。ニューラルネットワーク（６０）が、検出された物体を最も高い可能性で何であるとみなしたのかに従って、たとえば歩行者であるのか木であるのかに従って、検出された物体を分類することもでき、その分類に依存して制御信号（Ａ）を求めることができる。
選択的に又は付加的に、たとえばニューラルネットワーク（６０）によって検出された物体を表示する目的で、ディスプレイ（１０ａ）を制御するために制御信号（Ａ）を使用することもできる。同様に想定されることは、車両（１００）が、検出された物体のうちの少なくとも１つと衝突しそうになった場合には、ディスプレイ（１０ａ）が警告信号を発生するように、制御信号（Ａ）がディスプレイ（１０ａ）を制御し得ることである。警告信号は、警告音及び／又は触覚信号、たとえば車両のステアリングホイールの振動とすることができる。
さらに他の実施形態において、少なくとも部分的に自律型のロボットは、たとえば、飛行、水泳、潜水又は歩進により移動可能な他の移動型ロボット（図示せず）によって実現することができる。移動型ロボットは、特に、少なくとも部分的に自律型の芝刈り機、又は、少なくとも部分的に自律型の掃除ロボットとすることができる。上述の実施形態のすべてにおいて、移動型ロボットが識別された上述の物体との衝突を回避し得るために、移動型ロボットの推進ユニット及び／又はステアリング及び／又はブレーキが制御されるように、制御信号（Ａ）を求めることができる。
さらに他の実施形態において、少なくとも部分的に自律型のロボットは、ガーデニングロボット（図示せず）によって実現することができ、このガーデニングロボットは、センサ（３０）、好ましくは光学センサを使用して、環境（２０）内の植物の状態を判定することができる。アクチュエータ（１０）は、液体噴霧用ノズル及び／又は刈り取り装置、たとえば刃を制御することができる。植物の識別された種類及び／又は識別された状態に応じて、アクチュエータ（１０）に、適当な量の適当な液体を植物に散布させるように、及び／又は、植物を刈り取らせるように、制御信号（Ａ）を求めることができる。
さらに他の実施形態において、少なくとも部分的に自律型のロボットは、たとえば、洗濯機、ストーブ、オーブン、電子レンジ又は皿洗い機などのような屋内電気器具（図示せず）によって実現することができる。センサ（３０）、たとえば光学センサは、家庭電化製品によって処理されている物体の状態を検出することができる。たとえば、屋内電気器具が洗濯機であるケースにおいては、センサ（３０）は、洗濯機内部の洗濯物の状態を検出することができる。この場合には制御信号（Ａ）を、洗濯物の検出された材質に依存して求めることができる。
図５に示されている実施形態において、制御システム（４０）を使用して、たとえば製造ラインの一部分である製造システム（２００）の製造機械（１１）、たとえば、押し抜き機、カッタ、ガンドリル又はグリッパが制御される。製造機械は、製造品（１２）を移動させる搬送装置、たとえば、コンベヤベルト又は組立ラインを含み得る。制御システム（４０）は、アクチュエータ（１０）を制御し、さらにアクチュエータ（１０）は、製造機械（１１）を制御する。
センサ（３０）は、たとえば、ある製造品（１２）の特性を検出する光学センサによって実現することができる。
ニューラルネットワーク（６０）は、搬送装置に対する製造品（１２）のポジションを求めることができる。次いで、製造品（１２）の求められたポジションに依存して、製造品（１２）の後続の製造ステップのために、アクチュエータ（１０）を制御することができる。たとえば、製造品自体の特定のロケーションにおいて、この製造品を切断するように、アクチュエータ（１０）を制御することができる。選択的に想定することができることは、製造品が破損しているのか否かについて、又は、欠陥を示すのか否かについて、ニューラルネットワーク（６０）が分類することである。その後、搬送装置から製造品を取り出すように、アクチュエータ（１０）を制御することができる。
図６に示されている実施形態において、自動化されたパーソナルアシスタント（２５０）を制御するために、制御システム（４０）が使用される。センサ（３０）は、たとえば、ユーザ（２４９）のジェスチャのビデオ画像を受信するための、光学センサとすることができる。選択的に、センサ（３０）は、たとえば、ユーザ（２４９）の音声命令を受信するための音声センサとすることもできる。
この場合には制御システム（４０）は、自動化されたパーソナルアシスタント（２５０）を制御するための制御信号（Ａ）を求める。制御信号（Ａ）は、センサ（３０）のセンサ信号（Ｓ）に従って求められる。センサ信号（Ｓ）は、制御システム（４０）に送信される。たとえば、ニューラルネットワーク（６０）を、ユーザ（２４９）によりなされたジェスチャを識別するために、たとえばジェスチャ認識アルゴリズムを実行するように構成することができる。この場合には、制御システム（４０）は、自動化されたパーソナルアシスタント（２５０）へ送信するための制御信号（Ａ）を求めることができる。次いで、制御システム（４０）は、制御信号（Ａ）を自動化されたパーソナルアシスタント（２５０）に送信する。
たとえば、制御信号（Ａ）を、ニューラルネットワーク（６０）によって認識された識別済みのユーザジェスチャに従って求めることができる。制御信号（Ａ）は、自動化されたパーソナルアシスタント（２５０）に、データベースから情報を取り出させ、取り出されたこの情報を、ユーザ（２４９）が受信するために適した形態で出力させるための情報を含み得る。
さらに他の実施形態において想定することができることは、自動化されたパーソナルアシスタント（２５０）の代わりに、制御システム（４０）が、識別済みのユーザジェスチャに従って制御される屋内電気器具（図示せず）を制御するということである。屋内電気器具は、洗濯機、ストーブ、オーブン、電子レンジ、又は、皿洗い機とすることができる。
図７に示されている実施形態において、制御システム（４０）は、アクセス制御システム（３００）を制御する。アクセス制御システム（３００）は、アクセスを物理的に制御するように設計することができる。このシステムは、たとえば、ドア（４０１）を有し得る。センサ（３０）は、アクセスを許可すべき否かの判定に関連するシーンを検出するように構成することができる。これは、たとえば、一例として人間の顔を検出するために画像又はビデオデータを供給する光学センサとすることができる。
たとえば、検出された人物の顔を、データベースに格納されている既知の人物の他の顔とマッチングさせることにより、人物の身元を分類し、それによって人物の身元を特定するように、ニューラルネットワーク（６０）を構成することができる。この場合には、たとえば、特定された身元に従って、ニューラルネットワーク（６０）の分類に応じて、制御信号（Ａ）を求めることができる。アクチュエータ（１０）を、制御信号（Ａ）に応じてドアを開放又は閉鎖する鎖錠とすることができる。選択的にアクセス制御システム（３００）を、非物理的な論理的アクセス制御システムとすることができる。このケースにおいては、ディスプレイ（１０ａ）を制御して、人物の身元に関する情報を示すために、及び／又は、その人物に対しアクセスを許可すべきか否かを示すために、制御信号を使用することができる。
図８に示されている実施形態において、制御システム（４０）は、監視システム（４００）を制御する。この実施形態は、図７に示した実施形態とほとんど同様である。従って、異なる態様についてのみ、詳細に説明することにする。センサ（３０）は、監視下にあるシーンを検出するように構成されている。制御システム（４０）は、必ずしもアクチュエータ（１０）を制御するのではなく、選択的にディスプレイ（１０ａ）を制御することができる。一例として画像分類器（６０）は、たとえば、光学センサ（３０）により検出されたシーンが正常であるのか否かについて、又は、そのシーンが異常を示しているのか否かについて、シーンの分類を求めることができる。次いで、ディスプレイ（１０ａ）に送信される制御信号（Ａ）は、たとえば、ディスプレイ（１０ａ）に、求められた分類に応じて表示内容を調節させるように、たとえばニューラルネットワーク（６０）により異常であるとみなされた物体を強調表示させるように、構成することができる。
図９には、制御システム（４０）によって制御される医療用撮像システム（５００）の１つの実施形態が示されている。この撮像システムは、たとえば、ＭＲＩ装置、Ｘ線撮像装置、又は、超音波撮像装置とすることができる。センサ（３０）は、たとえば撮像センサとすることができ、このセンサは、たとえば、患者の種々のタイプの体組織を表す少なくとも１つの患者画像を撮影する。
この場合には、分類器（６０）が、センシングされた画像（ｘ）の少なくとも一部分の分類を求めることができる。
次いで、分類に従って制御信号（Ａ）を選択することができ、それによってディスプレイ（１０ａ）が制御される。たとえば、一例として、画像内に表示された組織を悪性組織又は良性組織のいずれかに分類することによって、センシングされた画像において種々のタイプの組織を検出するように、ニューラルネットワーク（６０）を構成することができる。このことを、ニューラルネットワーク（６０）による入力画像（ｘ）のセマンティックセグメンテーションによって行うことができる。次いで、たとえば、入力画像（ｘ）を表示して、同様の組織タイプの種々の領域を同一色により着色することによって、ディスプレイ（１０ａ）に、種々の組織を表示させるように、制御信号（Ａ）を求めることができる。
さらに他の実施形態（図示せず）において、撮像システム（５００）は、非医療目的で、たとえばワークピースの材料特性を求めるために、使用することができる。これらの実施形態の場合、ワークピースの少なくとも一部分の入力画像（ｘ）を受信して、入力画像（ｘ）のセマンティックセグメンテーションを実施し、それによってワークピースの材料特性を分類するように、ニューラルネットワーク（６０）を構成することができる。この場合には、入力画像（ｘ）はもちろんのこと、検出された材料特性に関する情報もディスプレイ（１０ａ）に表示させるように、制御信号（Ａ）を求めることができる。
用語「コンピュータ」は、事前定義された演算規則を処理するためのあらゆるデバイスを包含するものとして理解することができる。これらの演算規則は、ソフトウェア形態、ハードウェア形態、又は、ソフトウェアとハードウェアとの混合形態とすることができる。
一般的に、複数の存在は、添字が付されるものとして理解することができ、即ち、それら複数の存在のうちの各要素に１つの固有の添字が割り当てられ、これは、好ましくは、それら複数の存在に含まれる要素に、連続する整数を割り当てることによって行われる。好ましくは、複数の存在がＮ個の要素を含み、ただし、Ｎは、それら複数の存在のうちの要素の番号である場合には、それらの要素には、１乃至Ｎの整数が割り当てられる。複数の存在における要素は、それらの添字によって取り扱うことができるものとして理解することもできる。

Claims (13)

  1. 機械学習システム（６０）に対する敵対的パッチを特定するためのコンピュータ実装された方法であって、
    前記機械学習システム（６０）は、画像解析のために構成されており、入力画像（ｘ，ｘｉ）に基づき出力信号（ｙ，ｙｉ）を求め、
    前記出力信号（ｙ，ｙｉ）は、前記機械学習システム（６０）のアテンション層（ｌ）の出力に基づき求められ、
    前記敵対的パッチは、損失関数に関して当該敵対的パッチを最適化することにより特定され、
    前記損失関数は、項
    Figure 2023118101000038
     を含み、当該項は、前記入力画像（ｘ，ｘｉ）における前記敵対的パッチの１つのポジションに関する前記アテンション層（ｌ）のアテンションウェイトの和を表し、
    当該方法は、前記項を最大化するステップを含む、
    機械学習システム（６０）に対する敵対的パッチを特定するためのコンピュータ実装された方法。
  2. 前記項
    Figure 2023118101000039
     は、式
    Figure 2023118101000040
     によって表される、
    請求項１に記載の方法。
  3. 前記アテンション層は、複数のヘッドを含み、
    各ヘッドは、アテンションウェイトを含み、
    前記入力画像（ｘ，ｘｉ）内の前記敵対的パッチの１つのポジションに関する前記アテンション層（ｌ）のアテンションウェイトの和を表す項
    Figure 2023118101000041
     は、前記アテンション層（ｌ）のヘッドごとに最大化される、
    請求項１又は２に記載の方法。
  4. 前記項
    Figure 2023118101000042
     のヘッドごとの最大化は、式
    Figure 2023118101000043
     により表される損失関数の最大化によって達成される、
    請求項３に記載の方法。
  5. 前記機械学習システム（６０）は、複数のアテンション層（ｌ）を含み、前記入力画像（ｘ，ｘｉ）内の前記敵対的パッチの１つのポジションに関する前記アテンション層（ｌ）のアテンションウェイトの和を表す項
    Figure 2023118101000044
     は、前記アテンション層（ｌ）ごとに最大化される、
    請求項１乃至４のいずれか一項に記載の方法。
  6. 前記項
    Figure 2023118101000045
     は、式
    Figure 2023118101000046
     により表される損失関数の最大化によって最大化される、
    請求項５に記載の方法。
  7. 前記敵対的パッチは、射影勾配降下法に従って特定される、
    請求項１乃至６のいずれか一項に記載の方法。
  8. 当該方法は、前記機械学習システム（６０）に対する、特定された前記敵対的パッチの影響を緩和するさらなるステップを含む、
    請求項１乃至７のいずれか一項に記載の方法。
  9. 前記機械学習システム（６０）に対する前記敵対的パッチの影響の緩和は、敵対的トレーニングによって達成される、
    請求項８に記載の方法。
  10. 制御信号（Ａ）を求めるためのコンピュータ実装された方法であって、
    前記制御信号（Ａ）は、技術システムのアクチュエータ（１０）を制御するように構成されており、
    当該方法は、請求項８又は９に記載の機械学習システム（６０）に対する敵対的パッチの影響を緩和するステップを含み、
    前記制御信号（Ａ）を求めるステップは、前記機械学習システム（６０）の出力（ｙ）に基づく、
    制御信号（Ａ）を求めるためのコンピュータ実装された方法。
  11. 請求項８又は９に記載のトレーニング方法を実施するように構成されているトレーニングシステム（１４０）。
  12. コンピュータプログラムであって、当該コンピュータプログラムがプロセッサ（４５，１４５）によって実行される場合に、請求項１乃至１０のいずれか一項に記載の方法を当該方法のすべてのステップと共にコンピュータに実施させるために構成されているコンピュータプログラム。
  13. 請求項１２に記載のコンピュータプログラムが記憶されている機械可読記憶媒体（４６，１４６）。
JP2023019431A 2022-02-11 2023-02-10 機械学習システムに対する敵対的パッチを特定するための装置及び方法 Pending JP2023118101A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22156419 2022-02-11
EP22156419.8A EP4227854A1 (en) 2022-02-11 2022-02-11 Device and method for determining adversarial patches for a machine learning system

Publications (1)

Publication Number Publication Date
JP2023118101A true JP2023118101A (ja) 2023-08-24

Family

ID=80446855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023019431A Pending JP2023118101A (ja) 2022-02-11 2023-02-10 機械学習システムに対する敵対的パッチを特定するための装置及び方法

Country Status (5)

Country Link
US (1) US20230259658A1 (ja)
EP (1) EP4227854A1 (ja)
JP (1) JP2023118101A (ja)
KR (1) KR20230121571A (ja)
CN (1) CN116596045A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020142110A1 (en) * 2018-12-31 2020-07-09 Intel Corporation Securing systems employing artificial intelligence

Also Published As

Publication number Publication date
EP4227854A1 (en) 2023-08-16
KR20230121571A (ko) 2023-08-18
US20230259658A1 (en) 2023-08-17
CN116596045A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Carlini et al. Towards evaluating the robustness of neural networks
KR20210068993A (ko) 분류기를 훈련하는 디바이스 및 방법
CN113742723A (zh) 利用深度生成模型检测恶意软件
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
WO2021083731A1 (en) System and method with a robust deep generative model
CN114386614A (zh) 用于训练机器学习系统的方法和装置
JP2023008922A (ja) 信号の分類及び／又は信号に対する回帰分析を行うためのデバイス及び方法
US11574143B2 (en) Systems and methods with robust classifiers that defend against patch attacks
JP7264410B2 (ja) 「敵対的サンプル」に対するロバスト性を改善する装置及び方法
CN114386449A (zh) 用于借助于机器学习系统来确定输出信号的方法
US11995553B2 (en) Parameterization of a machine learning system for a control system
KR20210127639A (ko) 분류기를 훈련하기 위한 디바이스 및 방법
US20220230416A1 (en) Training of machine learning systems for image processing
US20240135699A1 (en) Device and method for determining an encoder configured image analysis
EP4296910A1 (en) Device and method for determining adversarial perturbations of a machine learning system
EP4343619A1 (en) Method for regularizing a neural network
Russo et al. Identification of various control chart patterns using support vector machine and wavelet analysis
EP3975064A1 (en) Device and method for training a classifier using an invertible factorization model
US20230022777A1 (en) Method and device for creating a machine learning system including a plurality of outputs
EP4145402A1 (en) Device and method for training a neural network for image analysis
EP3690760B1 (en) Device and method to improve the robustness against adversarial examples
US20230368007A1 (en) Neural network layer for non-linear normalization
JP2023046313A (ja) 画像のセマンティックセグメンテーション及び／又はインスタンスセグメンテーションを決定するための装置及び方法
KR20240022558A (ko) 입력 신호의 잡음 제거를 위해 기계 학습 시스템을 훈련시키기 위한 디바이스 및 방법
CN117422146A (zh) 用于经由共轭伪标签的测试时适配的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511