JP2022552243A - トレーニングされた機械学習モデルへの敵対的ロバスト性の追加 - Google Patents

トレーニングされた機械学習モデルへの敵対的ロバスト性の追加 Download PDF

Info

Publication number
JP2022552243A
JP2022552243A JP2022521116A JP2022521116A JP2022552243A JP 2022552243 A JP2022552243 A JP 2022552243A JP 2022521116 A JP2022521116 A JP 2022521116A JP 2022521116 A JP2022521116 A JP 2022521116A JP 2022552243 A JP2022552243 A JP 2022552243A
Authority
JP
Japan
Prior art keywords
machine learning
learning models
adversarial
trained machine
protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022521116A
Other languages
English (en)
Other versions
JPWO2021074770A5 (ja
Inventor
ベッサー、ビート
ニコラエ、マリア－イリナ
ラワット、アンブリッシュ
シン、マテュー
トラン、ゴック、ミン
ウィツバ、マーティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2022552243A publication Critical patent/JP2022552243A/ja
Publication of JPWO2021074770A5 publication Critical patent/JPWO2021074770A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

コンピューティング・システムにおいて、１つまたは複数のプロセッサによって、トレーニングされた機械学習モデルをセキュア化するための様々な実施形態が提供される。１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、１つまたは複数の強化された機械学習モデルが、敵対的攻撃に対しセキュア化される。

Description

本発明は、包括的には、コンピューティング・システムに関し、より詳細には、コンピューティング・システムにおいてコンピューティング・プロセッサを用いて、トレーニングされた機械学習モデルに、敵対者に対する敵対的ロバスト性を加えるための様々な実施形態に関する。
コンピューティング・システムは、職場、家、または学校にあり得る。昨今の情報技術の進歩、およびインターネットの人気の増大に起因して、多岐にわたるコンピュータ・システムが機械学習において使用されてきた。機械学習は、コンピュータが経験的データに基づいて挙動を発展させられるようにするために用いられる人工知能の一種である。機械学習は、基礎にある未知の確率分布の、関心対象の特徴を捕捉するために、トレーニング例を利用することができる。トレーニング・データは、観測される変数間の関係を示す例としてとらえることができる。機械学習研究の主要な焦点は、自動的な学習により複雑なパターンを認識してデータに基づく知的意思決定を下すことである。したがって、当該技術分野において、上述した問題に対処することが必要とされている。
第１の態様の観点から、本発明は、１つまたは複数のプロセッサによって、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するための方法を提供し、本方法は、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルを提供することを含む。
更なる態様の観点から、本発明は、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するためのシステムを提供し、システムは、実行可能な命令を有する１つまたは複数のコンピュータを備え、実行可能な命令は、実行されると、システムに、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルを提供させる。
更なる態様の観点から、本発明は、１つまたは複数のプロセッサによって、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するためのコンピュータ・プログラム製品を提供し、コンピュータ・プログラム製品は、処理回路によって読み出し可能であり、本発明のステップを実行するための方法を実行するための、処理回路による実行のための命令を記憶する、コンピュータ可読ストレージ媒体を備える。
更なる態様の観点から、本発明は、コンピュータ可読媒体上に記憶され、デジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムを提供し、コンピュータ・プログラムは、このプログラムがコンピュータ上で実行されるとき、本発明のステップを実行するためのソフトウェア・コード部分を備える。
更なる態様の観点から、本発明は、プロセッサによって、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するためのコンピュータ・プログラム製品を提供し、コンピュータ・プログラム製品は、コンピュータ可読プログラム・コード部分が記憶された非一過性コンピュータ可読ストレージ媒体を備え、コンピュータ可読プログラム・コード部分は、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルを提供する実行可能部分を備える、コンピュータ・プログラム製品を提供する。
コンピューティング・システムにおいて、１つまたは複数のプロセッサによって、トレーニングされた機械学習モデルをセキュア化するための様々な実施形態が提供される。１つの実施形態において、単なる例として、コンピューティング・システムにおいて、ここでもプロセッサによって、トレーニングされた機械学習モデルに、敵対者に対する敵対的ロバスト性を加えるための方法が提供される。１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、１つまたは複数の強化された機械学習モデルが、敵対的攻撃に対しセキュア化される。
本発明の利点が容易に理解されるようにするために、上記で簡単に説明された本発明のより具体的な説明が、添付の図面において示される特定の実施形態を参照して行われる。これらの図面は本発明の典型的な実施形態のみを示し、したがって、その範囲を限定するとみなされないことを理解して、本発明が、添付の図面の使用を通じて更に具体的かつ詳細に記述および説明される。
本発明の一実施形態による例示的なクラウド・コンピューティング・ノードを示すブロック図である。 本発明の一実施形態による例示的なクラウド・コンピューティング環境を示す追加のブロック図である。 本発明の実施形態による抽象化モデル層を示す追加のブロック図である。 本発明の態様を実現することができる、プロセッサによって、コンピューティング環境において、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための例示的な方法を示すフローチャート図である。 本発明の別の実施形態による、本発明の態様を実現することができる、プロセッサによって、コンピューティング環境において、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための例示的なシステムおよび機能を示すブロック図である。 本発明の別の実施形態による、本発明の態様を実現することができる、プロセッサによって、コンピューティング環境における画像について、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための追加の例示的なシステムおよび機能を示すブロック図である。 本発明の別の実施形態による、本発明の態様を実現することができる、プロセッサによって、コンピューティング環境における敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための追加の例示的な動作を示すブロック図である。 本発明の態様を実現することができる、プロセッサによって、コンピューティング環境における敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための例示的な方法を示すフローチャート図である。
本発明は、包括的には、例えば、機械学習または深層学習あるいはその両方等の人工知能（「ＡＩ」）の分野に関する。深層学習は、データのセットの複数のレベルの特徴または表現の学習に基づいた機械学習アルゴリズムのクラスを指す。現在の深層学習方法は、特徴抽出および変換の非線形処理ユニットの複数の層のカスケードを用いることを含む。特徴抽出は、後続の学習および一般化ステップを容易にするために、測定データの初期セットを受信し、導出された値（または特徴）を構築するプロセスを指す。多くの場合に、より低いレベルの特徴からより高いレベルの特徴が導出され、測定されたデータおよび導出された特徴の階層表現が生成される。
更に、深層学習アルゴリズムは、分散表現に基づく。分散表現は、観測（または測定）データが、１つまたは複数の層に編成された１つまたは複数の要素の相互作用の結果であるという仮定の下で動作する。概念上、深層学習は、測定データを提供するように相互作用する要素の層が、抽象化または合成のレベルを表すという追加の仮定を導入する。この仮定の下、複数の層および層サイズは、異なる抽象化量に対応する。
全体として、深層学習は、例えば、画像、オーディオ、ビデオおよびテキスト等の非構造化データからの、意思決定の最適化、および事業価値の抽出において主要な進化をもたらした。しかしながら、深層学習は、多岐にわたるデータ・タイプおよびタスクにおける計算性能の増大を達成するが、深層ニューラル・ネットワーク（ＤＮＮ）のいくつかの課題、脆弱性またはセキュリティあるいはその組合せの問題が存在する。例えば、ＤＮＮは敵対的攻撃を受けやすく、敵対者が入力に対し僅かな変更を行うことによってＤＮＮの挙動を完全に変更し得る。更に、敵対者／敵対的システム（例えば敵対的攻撃を実施する場合がある）は物理的世界においてもしかけられる場合があり、特に、例えば、生体認証、サイバーセキュリティ、自律走行車、ロボット工学等のセキュリティが重大な用途におけるＡＩおよび深層学習の展開に対する現実の脅威となる。
現時点では、トレーニングされた機械学習モデルに、敵対的サンプルに対する敵対的ロバスト性が欠如していることに起因して、ミッション・クリティカルな状況（例えば、ビジネスの状況）において機械学習モデルを展開することは、弱体化しているＡＩシステムにおける信頼性に伴って禁止されている。１つの態様において、「敵対的サンプル」は、敵対的例と同義であり得る。敵対的サンプル／例は、攻撃者／敵対者が、機械学習モデルにミスをさせるか誤りを生じさせるように意図的に設計された機械学習モデルへの入力とすることができる。「ホワイト・ボックス・シナリオ」は、敵対的サンプルに対し防御をもたらすが、ホワイト・ボックス攻撃に対する防御は依然として課題である。敵対的脅威に対する保護は、敵対的サンプル、攻撃および防御の深い理解を必要とするが、僅かな数の専門家しか、そのような防御を適用するのに必要な知識および経験を有していない。したがって、敵対的サンプルに対し、トレーニングされた機械学習／深層学習モデルを保護することは、現実世界のセキュリティが重要な用途におけるＡＩおよびＤＬの安全な展開を確保すること、より広義には、ＡＩシステムにおける信頼を維持することに不可欠である。
したがって、本明細書において、トレーニングされた機械学習モデル（例えば、勾配ベースの最適化アルゴリズムを用いてトレーニングすることができるニューラル・ネットワーク・モデルおよび任意の機械学習モデル）をセキュア化するための様々な実施形態が提供される。１つの実施形態において、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルが提供される。
更なる態様において、単なる例として、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルが提供される。再トレーニングされた機械学習モデルは、前処理層を用いて、拡張機械学習モデルを生成するように拡張することができる。機械学習モデルがニューラル・ネットワークである場合、本発明は、機械学習モデルの更なる層に追加することができ、前処理層に起因した正確性の損失を防ぐために、トレーニングされた機械学習モデルを再トレーニングする。本明細書において用いられるとき、「トレーニングされた学習モデル」は、モデル「Ｍ」が所望の状態に既にトレーニングされたことを示すことができる。１つの態様において、モデル「Ｍ」は、１つまたは複数の更なる層を追加することによって、モデルＭの構造が「Ｍ＋Ｋ」を示すように拡張することができる（例えば、拡張機械学習モデル）。次に、新たなモデル「Ｍ＋Ｋ」は、再びトレーニングされる必要があり、これは本明細書において再トレーニングとして示される。
１つまたは複数のロール・バック戦略を適用して、前のいくつかまたは全ての中間モデル状態（例えば、モデルの重み）を維持／保持する（例えば、維持コストを節減するために、Ｍ１、Ｍ２、Ｍ３またはＭ５あるいはその組合せを保存する代わりにモデルＭ２、Ｍ４およびＭ６を維持／保持する）ことができ、トレーニング崩壊が検出される場合、モデル状態から復元する。機械学習モデル「Ｍ」をトレーニングすることは、モデルＭの状態を、ループを通じて変更することができることを意味する。開始時に、Ｍは状態Ｍ１にあり、次の反復は状態Ｍ２であり、Ｍｎによる最後の反復まで継続することができる。モデルは、各反復を通じてより正確／良好になることを予期することができる。このため、モデル状態Ｍｎは、予測に用いるために最適化された／最良のものとすることができる。モデルＭ１，Ｍ２，．．．Ｍｎ－１は、中間と呼ぶことができる。しかしながら、実際には、必要な反復の数（すなわち、「ｎ」）が何回であるか厳密にわからない場合がある。例えば、おそらくモデルＭ１０が理想的かつ最適であり、「ｎ」が１０に等しいときの停止が望ましい場合があるが、システムがＭ１１以降にトレーニングを継続することにより悪化し得るかは未知である。したがって、いくつかの中間モデルを、最後のモデルよりも良好な場合にのみ維持／保持することが望ましい。
更に、後処理出力層を再トレーニングされた拡張機械学習モデルに追加し、結果として保護された機械学習モデルを得ることができる。（例えば、ブラック・ボックス攻撃またはホワイト・ボックス攻撃あるいはその両方の下で）安全なサンプルおよび敵対的サンプルに対する、保護された機械学習モデルの性能に関する１つまたは複数の性能報告を提供することができる。次に、保護された機械学習モデルをシステムのユーザに返すことができる。
したがって、本発明は、敵対的チャレンジに対し、以前にトレーニングされた機械学習モデルを強化し、特に、セキュリティが重要な用途（例えば、ヘルスケア、保険、金融等）において、セキュアなトレーニングされた機械学習モデルの展開を可能にする。更なる態様において、機械学習モデルは、コンピュータ、ＣＰＵ、ＧＰＵ、サーバ、プリプロセッサ、学習器、およびニューラル・ネットワークから構成される敵対者／敵対的システムに対し強化することができる。機械学習モデルの強化は、クラウド・ベースの環境においてサービスとして提供することもできることに留意されたい。
更なる態様において、単なる例として、敵対的ロバスト性は、トレーニングされた機械学習モデルを再トレーニングすることによって、トレーニングされた機械学習モデルに加えることができる。本発明は、トレーニングされた機械学習モデルに後処理機能を加えることができるか、またはニューラル・ネットワークに入力前処理層を加え、前処理層の防御強度を調整することができるか、あるいはその両方を行うことができる。
本発明は、追加のニューラル・ネットワーク層を用いて、トレーニングされたニューラル・ネットワークを拡張することができる。本発明は、保護プロセスの任意選択ステップにおいてユーザまたはシステムに入力を要求することができる。更に、本発明は、安全なサンプルに対する機械学習モデル性能を特定することができるか、または敵対的サンプルに対する機械学習モデル性能を特定することができるか、あるいはその両方を行うことができる。安全な例または敵対的例あるいはその両方の性能は、ユーザまたは別のコンピューティング・システムに戻して報告／通信することができる。本発明は、敵対的再トレーニング中の、トレーニングされた機械学習モデルの中間状態を追跡することができ、トレーニング崩壊を検出し、ロール・バック戦略を可能にすることができる。
なお、１つまたは複数の計算は、１つまたは複数の数学演算（例えば、変化率／微積分演算を実行する、微分方程式または偏微分方程式を解析的または計算的に解く、加算、減算、除算、乗算、標準偏差、平均値、平均、百分率を使用する、統計的分布を使用した統計モデリング、組み合わされた変数の最小値、最大値、または類似の閾値を発見することによる等）を伴い得る様々な数学演算または関数を使用して実行されてもよいことに留意されたい。
概して、本明細書において用いられるとき、「最適化」とは、「最大化」、「最小化」、または１つもしくは複数の具体的な目標、目的、ゴール、もしくは意図の達成を指す場合があるか、またはそのように定義される場合があるか、あるいはその両方の場合がある。最適化は、ユーザに対する利点の最大化（例えば機械学習モデルの利点の最大化）も指す場合がある。最適化は、状況、機会、またはリソースを最も効果的または機能的に利用することも指す場合がある。
更に、「最適化」は、最良の解または結果を指す必要はなく、例として特定の用途に「十分よい」解または結果を指す場合がある。一部の実施において、目的は、前処理演算（「プリプロセッサ」）または機械学習モデルあるいはその両方の「最良の」組合せを提案することであるが、様々な要因が存在する場合があり、それがより良い結果を生じる前処理演算（「プリプロセッサ」）または機械学習モデルあるいはその両方の組合せの、代替の提案につながる場合がある。本明細書において、用語「最適化」は、最小値（または最適化問題においてどのパラメータが考慮されるかに応じて最大値）に基づく、そのような結果を指す場合がある。更なる態様において、用語「最適化」または「最適化する」あるいはその両方は、最適結果が実際に達成されるか否かにかかわらず、実行コストの削減またはリソース利用の増大等の改善された結果を達成するために実行される動作を指す場合がある。同様に、用語「最適化」は、そのような改善動作を実行するコンポーネントを指す場合もあり、用語「最適化された」は、そのような改善動作の結果を記載するために使用される場合がある。
本開示は、クラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載の教示の実施は、クラウド・コンピューティング環境に限定されないことが予め理解される。むしろ、本発明の実施形態は、現在知られていない、または後に開発される任意の他のタイプのコンピューティング環境と併せて実施されることが可能である。
クラウド・コンピューティングは、最小限の管理労力およびサービス・プロバイダとの対話で迅速にプロビジョニングおよびリリースすることができる、構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシンおよびサービス）の共有プールへの好都合でオン・デマンドのネットワークアクセスを可能にするためのサービス送達のモデルである。このクラウド・モデルは、少なくとも５つの特性、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことができる。
特性は以下の通りである。
オン・デマンドのセルフサービス：クラウド消費者は、サービス・プロバイダとの人間の対話を必要とすることなく、自動的に必要に応じて、サーバ時間およびネットワーク・ストレージ等のコンピューティング能力を一方的にプロビジョニングすることができる。
ブロード・ネットワーク・アクセス：能力は、ネットワークを介して利用可能にされ、異種シンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップおよびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソース・プーリング：マルチ・テナント・モデルを用いて複数の消費者にサービングするために、プロバイダのコンピューティング・リソースがプールされ、異なる物理的リソースおよび仮想リソースは、要求に従って動的に割当ておよび再割当てされる。消費者が、通常、提供されるリソースの厳密な場所に対する制御も知識も有しないが、より高い抽象化度（例えば、国、州またはデータセンタ）で場所を指定することが可能であり得るという点で、場所独立性の意義がある。
高速な弾力性（Rapid Elasticity）：能力は、場合によっては自動的に、即座にスケール・アウトするように高速かつ弾力的にプロビジョニングされ、即座にスケール・インするように高速に解放され得る。消費者に対しては、プロビジョニングに利用可能な能力が、多くの場合無制限であるように見え、いつでも任意の量で購入可能である。
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、アクティブなユーザ・アカウント）に適したある抽象化度において計測能力を活用することによって、リソース使用を自動的に制御し、最適化する。リソース使用量は、モニタリングされ、制御され、報告することができ、利用サービスのプロバイダおよび消費者の両方に透明性がもたらされる。
サービス・モデルは、以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラ上で実行中のプロバイダのアプリケーションを使用する能力である。アプリケーションは、ウェブ・ブラウザ等のシン・クライアント・インターフェース（例えば、ウェブ・ベースの電子メール）を通して、様々なクライアント・デバイスからアクセス可能である。消費者は、限定されたユーザ固有アプリケーションの構成設定は例外である可能性があるが、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または更には個々のアプリケーション能力を含む、基礎となるクラウド・インフラを管理または制御しない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して生成された、消費者が作成または取得したアプリケーションを、クラウド・インフラ上に展開する能力である。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎となるクラウド・インフラを管理または制御しないが、展開されたアプリケーション、および、場合によっては、アプリケーション・ホスティング環境構成に対して制御を行う。
サービスとしてのインフラ（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、ならびに消費者がオペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを展開および実行することが可能な、他の基本コンピューティング・リソースをプロビジョニングする能力である。消費者は、基礎となるクラウド・インフラを管理または制御しないが、オペレーティング・システム、ストレージ、配置されたアプリケーションに対して制御を行い、かつ場合によっては、選択ネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）の限定的な制御を行う。
展開モデルは、以下の通りである。
プライベート・クラウド：クラウド・インフラは、組織のためだけに動作される。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
コミュニティ・クラウド：クラウド・インフラは、複数の組織によって共有され、共有の関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
パブリック・クラウド：クラウド・インフラは、一般公衆または大きな業界団体に利用可能とされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラは、一意なエンティティのままであるが、データおよびアプリケーション・ポータビリティを可能にする標準化技術または独自技術（例えば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって結合された、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成物である。
クラウド・コンピューティング環境は、無国籍、低結合、モジュール性、および意味相互運用性に焦点を当てたサービス指向型である。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラである。
ここで図１を参照すると、クラウド・コンピューティング・ノードの例の概略図が示される。クラウド・コンピューティング・ノード１０は、適切なクラウド・コンピューティング・ノードの１つの例にすぎず、本明細書に記載の本発明の実施形態の使用または機能の範囲に関していかなる限定も示唆するように意図されていない。いずれにせよ、クラウド・コンピューティング・ノード１０は、実施されることが可能であるか、または上記で示した機能のうちの任意のもの実行することが可能であるか、あるいはその両方である。
クラウド・コンピューティング・ノード１０内には、コンピュータ・システム／サーバ１２があり、これは、多数の他の汎用または専用のコンピューティング・システム環境または構成と共に動作可能である。コンピュータ・システム／サーバ１２と共に使用するのに適していると考えられる既知のコンピューティング・システム、環境、または構成、あるいはその組合せの例には、限定ではないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウド・コンピューティング環境等が含まれる。
コンピュータ・システム／サーバ１２については、コンピュータ・システムによって実行されるプログラム・モジュール等のコンピュータ・システム実行可能命令の一般的文脈において記載することができる。一般に、プログラム・モジュールは、特定のタスクを実行するかまたは特定の抽象化データ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造等を含むことができる。コンピュータ・システム／サーバ１２は、通信ネットワークを介してリンクされているリモート処理デバイスによってタスクが実行される分散型クラウド・コンピューティング環境において実施されてもよい。分散型クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルおよびリモート両方のコンピュータ・システム・ストレージ媒体に位置してもよい。
図１に示されているように、クラウド・コンピューティング・ノード１０内のコンピュータ・システム／サーバ１２は、汎用コンピューティング・デバイスの形態で示されている。コンピュータ・システム／サーバ１２のコンポーネントは、限定ではないが、１つまたは複数のプロセッサまたは処理ユニット１６、システム・メモリ２８、および、システム・メモリ２８を含む様々なシステム・コンポーネントをプロセッサ１６に結合するバス１８を含むことができる。
バス１８は、メモリ・バスまたはメモリ・コントローラ、周辺バス、高速グラフィック・ポート、および様々なバス・アーキテクチャのうちの任意のものを使用するプロセッサまたはローカル・バスを含む、いくつかのタイプのバス構造のうちの任意のもののうちの１つまたは複数を表す。限定ではなく例として、そのようなアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ）・バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）・バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ）・ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バスを含む。
コンピュータ・システム／サーバ１２は、典型的には、様々なコンピュータ・システム可読媒体を含む。そのような媒体は、コンピュータ・システム／サーバ１２によってアクセス可能な任意の利用可能な媒体とすることができ、揮発性媒体および不揮発性媒体、リムーバブル媒体および非リムーバブル媒体の両方を含む。
システム・メモリ２８は、ランダム・アクセス・メモリ（ＲＡＭ）３０またはキャッシュ・メモリ３２あるいはその両方等、揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム／サーバ１２は、他のリムーバブル／非リムーバブルの揮発性／不揮発性コンピュータ・システム・ストレージ媒体を更に含むことができる。単なる例として、非リムーバブルの不揮発性磁気媒体に対する読み出しおよび書き込みのために、ストレージ・システム３４を提供することができる（図示はしておらず、典型的には「ハード・ドライブ」と呼ばれる）。図示してはいないが、リムーバブル不揮発性磁気ディスク（例えば「フロッピー・ディスク」）に対する読み出しおよび書き込みのための磁気ディスク・ドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光媒体等のリムーバブル不揮発性光ディスクに対する読み出しもしくは書き込みのための光ディスク・ドライブを提供することができる。そのような場合には、それぞれを、１つまたは複数のデータ媒体インターフェースによってバス１８に接続することができる。更に図示し、後述するように、システム・メモリ２８は、本発明の実施形態の機能を実行するよう構成されたプログラム・モジュールのセット（例えば少なくとも１つ）を有する少なくとも１つのプログラム製品を含むことができる。
プログラム・モジュール４２のセット（少なくとも１つ）を有するプログラム／ユーティリティ４０は、限定ではなく例として、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データと同様にシステム・メモリ２８に記憶することができる。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはその何らかの組合せのそれぞれが、ネットワーキング環境の実装を含むことができる。プログラム・モジュール４２は、概して、本明細書に記載される本発明の実施形態の機能もしくは手順またはその両方を実行する。
コンピュータ・システム／サーバ１２は、キーボード、ポインティング・デバイス、ディスプレイ２４等の１つまたは複数の外部デバイス１４；ユーザがコンピュータ・システム／サーバ１２と相互作用できるようにする１つまたは複数のデバイス；またはコンピュータ・システム／サーバ１２が１つまたは複数の他のコンピューティング・デバイスと通信できるようにする任意のデバイス（例えばネットワーク・カード、モデム等）、あるいはその組合せと通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また更に、コンピュータ・システム／サーバ１２は、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、またはパブリック・ネットワーク（例えばインターネット）、あるいはこれらの組合せ等の１つまたは複数のネットワークと、ネットワーク・アダプタ２０を介して通信することができる。図示されているように、ネットワーク・アダプタ２０は、コンピュータ・システム／サーバ１２の他のコンポーネントとバス１８を介して通信する。図示されてはいないが、他のハードウェアまたはソフトウェアあるいはその両方のコンポーネントが、コンピュータ・システム／サーバ１２と併せて使用され得ることを理解されたい。例には、限定ではないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システム等が含まれる。
ここで図２を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。図示するように、クラウド・コンピューティング環境５０は、クラウド消費者によって使用されるローカル・コンピューティング・デバイス、例えば、携帯情報端末（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎ、あるいはその組合せが通信し得る、１つまたは複数のクラウド・コンピューティング・ノード１０を含む。ノード１０は、互いに通信することができる。それらは、上述のようなプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはそれらの組合せ等の、１つまたは複数のネットワーク内で物理的または仮想的にグループ化されてもよい（図示せず）。これによって、クラウド・コンピューティング環境５０が、インフラ、プラットフォーム、またはソフトウェア、あるいはそれらの組合せを、クラウド消費者がローカル・コンピューティング・デバイス上でリソースを維持する必要がないサービスとして提案することが可能となる。図２に示されるコンピューティング・デバイス５４Ａ～Ｎのタイプは、単なる例示であることを意図し、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続あるいはその両方を介して（例えば、ウェブ・ブラウザを用いて）、任意の種類のコンピュータ化デバイスと通信することができることが理解される。
ここで図３を参照すると、クラウド・コンピューティング環境５０（図２）によって提供される機能抽象化層のセットが示されている。図３に示されるコンポーネント、層、および機能は、単なる例示であることを意図し、発明の実施形態は、それらに限定されないと、予め理解されるべきである。図示するように、以下の層および対応する機能が提供される。
デバイス層５５は、クラウド・コンピューティング環境５０において様々なタスクを実行するために、物理または仮想あるいはその両方のデバイス、組み込み型または独立型あるいはその両方の電子装置、センサ、アクチュエータ、およびその他のオブジェクトを含む。デバイス層５５内のデバイスのそれぞれは、他の機能抽象化層にネットワーキング能力を組み込み、それによって、デバイスから取得される情報を他の抽象化層に提供することができるか、または他の抽象化層からの情報をデバイスに提供することができるか、あるいはその両方を行うことができる。一実施形態において、デバイス層５５を含む様々なデバイスは、集合的に「モノのインターネット」（ＩｏＴ）として知られるエンティティのネットワークを組み込むことができる。そのようなエンティティのネットワークは、当業者であれば理解するように、多岐にわたる目的を達成するために、データの相互通信、収集、および伝播を可能にする。
示されているデバイス層５５は、示すように、センサ５２、アクチュエータ５３、統合された処理、センサ、およびネットワーキング電子装置を備えた「学習」サーモスタット５６、カメラ５７、制御可能な家庭用コンセント５８、ならびに制御可能な電気スイッチ５９を含む。他の可能なデバイスには、限定ではないが、様々な追加のセンサ・デバイス、ネットワーキング・デバイス、電子デバイス（リモート制御デバイス等）、追加のアクチュエータ・デバイス、冷蔵庫または洗濯機／乾燥機等のいわゆる「スマート」家電、および多岐にわたる他の可能な相互接続されたオブジェクトが含まれる場合がある。
ハードウェアおよびソフトウェア層６０は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）、アーキテクチャ・ベース・サーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーキング・コンポーネント６６を含む。いくつかの実施形態では、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。
仮想化層７０は、仮想エンティティの以下の例、仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５が提供され得る、抽象化層を提供する。
１つの例では、管理層８０は、後述する機能を提供し得る。リソース・プロビジョニング８１は、クラウド・コンピューティング環境内でタスクを実行するために利用される、コンピューティング・リソースおよび他のリソースの動的な調達を提供する。測定および価格設定８２は、リソースがクラウド・コンピューティング環境内で利用されるときにコスト追跡を提供し、これらのリソースの消費に対する課金または請求を提供する。１つの例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、データおよび他のリソースについての保護だけでなく、クラウド消費者およびタスクについての本人確認を提供する。ユーザ・ポータル８３は、消費者およびシステム管理者にクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理８４は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソース配分および管理を提供する。サービス水準合意（ＳＬＡ）計画および遂行８５は、ＳＬＡに従って将来の要件が予期されるクラウド・コンピューティング・リソースの事前配置および調達を提供する。
ワークロード層９０は、クラウド・コンピューティング環境が利用され得る機能性の例を提供する。この層から提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想クラスルーム教育配信９３、データ解析処理９４、トランザクション処理９５、および、本発明の示される実施形態の文脈において、クラウド・コンピューティング環境において、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための様々なワークロードおよび機能９６を含む。加えて、クラウド・コンピューティング環境において、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための様々なワークロードおよび機能９６は、解析、深層学習等の動作、および更に説明されるように、ユーザおよびデバイス管理機能を含むことができる。当業者であれば、クラウド・コンピューティング環境における敵対者／敵対的システムに対するトレーニングされた機械学習モデルをセキュア化するためのワークロードおよび機能９６は、本発明の示される実施形態の様々な目的を達成するための、ハードウェアおよびソフトウェア６０、仮想化７０、管理８０、ならびに他のワークロード９０（例えば、データ解析処理９４等）におけるもの等の様々な抽象化層の他の部分と併せて機能することもできることを理解するであろう。
上述したように、本発明は、コンピューティング・システムにおける敵対者／敵対的システムに対しセキュア化された、強化された機械学習モデルを提供するための新規の解決策を提供する。１つまたは複数の機械学習モデル、１つまたは複数の機械学習モデルを強化するために用いられるデータ・セット、プリプロセッサのリスト、および選択された数の学習器からの選択された前処理動作の複数の組合せのうちの１つまたは複数を適用することによって、敵対的チャレンジに対しセキュア化された１つまたは複数の強化された機械学習モデルが提供される。
ここで図４を参照すると、示される実施形態の様々な態様を実施することができるプロセッサを用いて、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための方法４００が示される。機能４００は、マシン上の命令として実行される方法として実施することができる、ここで、命令は、少なくとも１つのコンピュータ可読媒体または１つの非一過性機械可読ストレージ媒体に含まれる。以下の動作／ステップのうちの１つまたは複数は、適用／選択されてもよく、または適用／選択されなくてもよい（例えば、ユーザが、いずれのステップが用いられるかを選択することができる）ことに留意されたい。機能４００はブロック４０２において開始することができる。
ブロック４０１におけるように、トレーニングされた機械学習モデルを受信することができ、入力データを要求することができる。すなわち、ユーザまたはコンピューティング・システムは、トレーニングされた機械学習モデルを提供するか、または機械学習モデルが受信されてもよいか、あるいはその両方である。また、いずれの種類の保護を適用するかに関するユーザからの要求が受信されてもよく、または代替的な動作では、機能４００は適用する１つまたは複数の保護を自動的に選択してもよい。
ブロック４０２におけるように、トレーニングされた機械学習モデルのうちの１つまたは複数は、敵対的に再トレーニングされてもよい。すなわち、機能４００は、例えば、各ミニ・バッチにおける敵対的サンプルの比を（例えば、各反復において、用いられるデータの或る割合、または「ミニ・バッチ」のみが存在し得る場合、その割合についてのコサイン・スケジュール等または「データの割合」に従って）徐々に増大させること等によって、追加の敵対的尺度により変更されたＭａｄｒｙのプロトコル等の１つまたは複数の敵対プロトコルを用いて、トレーニングされたニューラル・ネットワークを再トレーニングすることができる。この再トレーニング・ステップは、モデルの重みの全てまたはサブセットのみを変更することができる。１つの態様において、「敵対的に再トレーニングする」とは、機械学習モデルを、敵対的例およびトレーニング・データを用いて再トレーニングすることができることを意味する。敵対的例は、真の敵対者によって生成されるのではなく、機械学習モデルの所有者によって生成される（例えば、機械学習モデルは、敵対的再トレーニングに起因して、未来の敵対的攻撃に対して「ワクチン接種」される）。機械学習モデルが指定された敵対的例を用いてトレーニングされると、未来に機械学習モデルがこれらの敵対的例によって攻撃された場合、機械学習モデルはミスをせず、また誤りを引き起こされない。
ブロック４０３におけるように、１つまたは複数の前処理層を追加または較正あるいはその両方を行うことができる。１つの態様において、トレーニングされた機械学習モデルに前処理動作を加え、トレーニングされた機械学習モデルを較正する（例えば、ＪＰＥＧ圧縮の強度、ガウス雑音の分散等を調整する）ことによって、安全試験および敵対試験の精度間のトレードオフが改善する。
ブロック４０４におけるように、１つまたは複数のロバスト化層を追加することができる。１つの態様において、「ロバスト化層」は、トレーニングされた機械学習モデルを、未来の敵対的攻撃に対しよりロバストで、ガードされたものにするか、またはこれを可能にするか、あるいはその両方を行うように、１つまたは複数の層がトレーニングされた機械学習モデルに追加されたことを示す。１つの態様において、１つまたは複数のニューラル・ネットワーク層（例えば、畳込み、高密度等）を追加して、再トレーニングされた機械学習モデル（例えば、再トレーニングされたニューラル・ネットワーク）を拡張およびロバスト化することができる。例えば、ブロック４０４の動作は、ニューラル・ネットワーク・モデルに固有とすることができることに留意されたい。
ブロック４０５におけるように、再トレーニングされた機械学習モデルは、敵対的再トレーニングを受ける（例えば、敵対的例およびトレーニング・データを用いて再トレーニングを受ける）ことができる。１つの態様において、拡張された機械学習モデル（例えば、Ｍａｄｒｙのプロトコルに従う）の機械学習モデル・パラメータのうちの１つまたは複数を更新して、敵対的保護を受けた機械学習モデルを生成することができる。１つの態様において、「拡張された機械学習モデル」は、例えば、機械学習モデルＭ～Ｍ＋Ｋ等から、現在の機械学習モデルに対し更なる層を加えることを意味する。機械学習モデルＭが既にトレーニングされた場合であっても、ここで、トレーニングされた知識は、追加の層と共に良好に機能せず、このため、新たな機械学習モデル「Ｍ＋Ｋ」を再トレーニングすることが必要になる。
敵対的保護を受けた機械学習モデルをユーザまたはシステムに返し（例えば、ブロック４０６におけるように製造に展開し）、任意選択で、敵対的ロバスト性性能情報に関する情報（例えば、例として、投影勾配降下（「ＰＧＤ」）（ｎ，ε）、ホワイト・ボックス攻撃、高速勾配符号法（「ＦＧＳＭ」）（ε）転送攻撃およびゼロ次最適化（「ＺＯＯ」）ベースのブラック・ボックス攻撃等の下での、安全例および敵対例における試験性能、分類を変更するのに必要な最小ｌ∞ノルム摂動等）を提供することができる。
ここで図５を参照すると、コンピューティング環境における画像について、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための例示的なシステム５００および機能のブロック図。
１つの態様において、図１～図４において記載されたコンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはその組合せのうちの１つまたは複数を図５において用いることができる。示すように、機能の様々なブロックが、互いに対するシステム５００のブロックの関係を指定する矢印と共に、プロセス・フローを示すために描かれている。加えて、システム５００の機能ブロックの各々を関係付ける記述的情報も示されている。見て取れるように、機能ブロックの多くは、図４において以前に示したのと同じ記述的意味において機能の「モジュール」とみなすこともできる。上記を念頭において、システム５００のモジュールブロックは、本発明による画像の向上のためのシステムの様々なハードウェアおよびソフトウェア・コンポーネントに組み込むこともできる。機能ブロック５００の多くは、分散型コンピューティング環境、またはユーザデバイス、または他の場所における、様々なコンポーネント上のバックグラウンド処理として実行することができる。
示されるように、システム５００は、保護されたニューラル・ネットワーク５１０（例えば、強化された機械学習モデル・システム）を備え、これは、図１のクラウド・コンピューティング・ノード１０またはコンピューティング・システム１２あるいはその両方に含めるか、またはその外部とするか、あるいはその両方とすることができる。
保護されたニューラル・ネットワーク５１０は、第１の段階（例えば、「段階１」）において敵対的再トレーニング動作を行うこと、および第２の段階（例えば、「段階２」）において敵対的再トレーニング動作を行うことを含むことができる。
ブロック５０７におけるように、保護されたニューラル・ネットワーク５１０は、入力データとして、１つまたは複数の画像（例えば、「入力画像」）を受信することができる。ブロック５０３におけるように、保護されたニューラル・ネットワーク５００は、入力前処理層を加えて、例えば、ＪＰＥＧ圧縮、ガウス雑音および空間平滑化、特徴絞り込み等の（ブロック５０７の）入力画像を変更することができる。
ブロック５０１におけるように、トレーニングされたニューラル・ネットワーク（例えば、畳込みニューラル・ネットワーク「ＣＮＮ」、長・短期期記憶「ＬＳＴＭ」等）をユーザによって提供することができるか、または（例えば、自動化ニューラル・ネットワーク・モデルを介して）自動化されたシステムによって作成することができる。ブロック５０２に示すように、第１の段階において、保護されたニューラル・ネットワーク５１０は、例えば、敵対的サンプルに対する無限ノルム（「Ｉ@y∞@zノルム」または一様ノルム）制約を用いた、投影勾配降下ホワイト・ボックス攻撃を用いたＭａｄｒｙのプロトコルに従い、コサイン・スケジュールに従って敵対的サンプルの漸進的増加を用いること等によって、トレーニングされたニューラル・ネットワークを敵対的に再トレーニングすることができる。
ブロック５０４におけるように、また、１つまたは複数の追加のニューラル・ネットワーク層を、トレーニングされたモデルの後に加えることができる（例えば、高密度層、畳み込み層等）。ブロック５０５におけるように、第２の敵対的再トレーニング動作（例えば、敵対的再トレーニング段階２）を行うことができる（ブロック５０２に類似）。保護されたニューラル・ネットワーク５１０は、出力後処理層を加え、出力確率の非単調非微分可能変換を生成することができる。ブロック５０８におけるように、保護されたニューラル・ネットワーク５００は、再トレーニングされた機械学習モデル予測（例えば、ニューラル・ネットワーク予測（例えば、分類、回帰等））を提供することができる。
ここで図６を参照すると、ブロック図が、コンピューティング環境におけるテキスト・データについて、敵対者／敵対的システムに対し、トレーニングされた機械学習モデルをセキュア化するための例示的なシステムを示す。１つの態様において、図１～図５において記載されたコンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはその組合せのうちの１つまたは複数を図６において用いることができる。本明細書に記載の他の実施形態において用いられた類似のステップ／ブロック、要素、コンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはその組合せの繰り返しの説明は、簡潔にするために省かれる。
示されるように、システム６００は、保護されたニューラル・ネットワーク６１０（例えば、強化された機械学習モデル・システム）を備え、これは、図１のクラウド・コンピューティング・ノード１０またはコンピューティング・システム１２あるいはその両方に含めるか、またはその外部とするか、あるいはその両方とすることができる。
保護されたニューラル・ネットワーク６１０は、第１の段階（例えば、「段階１」）において敵対的再トレーニング動作を行うこと、および第２の段階（例えば、「段階２」）において敵対的再トレーニング動作を行うことを含むことができる。
ブロック６０７におけるように、保護されたニューラル・ネットワーク６１０は、テキスト・データ（例えば、例としてショート・メッセージ・サービス等の「テキスト」）を入力データ（例えば、「入力画像」）として受信することができる。ブロック６０３におけるように、保護されたニューラル・ネットワーク６１０は、入力前処理層およびテキスト埋め込みを加えることができる。例えば、ブロック６０７において、保護されたニューラル・ネットワーク６１０は、例えば、文字レベル、下部ケーシング、語幹解釈、見出し語解釈、ストップ・ワード除去、正規化、ノイズ除去、テキスト改良／拡張等における攻撃に打ち勝つために、敵対的ロバスト性／保護のための潜在的な入力前処理防御として、スペルチェック動作を加えることができる。また、テキスト埋め込みを加えて、例えば、事前トレーニングされた単語埋め込み（例えば、単語表現のための大域ベクトル「ＧｌｏＶｅ」またはＷｏｒｄ２Ｖｅｃあるいはその両方等）を用いること等によって、テキスト・データを数値データに変換することができる。
ブロック６０１におけるように、トレーニングされたニューラル・ネットワーク（例えば、畳込みニューラル・ネットワーク「ＣＮＮ」、長・短期期記憶「ＬＳＴＭ」等）をユーザによって提供することができるか、または自動化されたシステムによって作成することができる。
ブロック６０２におけるように、第１の段階において、保護されたニューラル・ネットワーク６１０は、トレーニングされたニューラル・ネットワークを敵対的再トレーニングすることができる。例えば、保護されたニューラル・ネットワーク６１０は、高速勾配法を用いることによってＭｉｙａｔｏのプロトコルに従い、Ｉ@y２@zノルムεを用いてサンプルの敵対的トレーニングを行うことによって、トレーニングされたニューラル・ネットワークの敵対的再トレーニングを行い、出力の前に、場合によっては、各ミニ・バッチにおける敵対的サンプルの比を（例えば、その割合についてのコサイン・スケジュール等に従って）徐々に増大させる等の追加の尺度によって変更された、追加の隠れ層を加えることができる。
ブロック６０４におけるように、また、１つまたは複数の追加のニューラル・ネットワーク層を、トレーニングされたモデルの後に加えることができる（例えば、高密度層、畳み込み層等）。ブロック６０５におけるように、第２の敵対的再トレーニング動作（例えば、敵対的再トレーニング段階２）を行うことができる（ブロック６０２に類似）。保護されたニューラル・ネットワーク６１０は、出力後処理層を追加し、出力確率の非単調非微分可能変換を生成することができる。ブロック６０８におけるように、保護されたニューラル・ネットワーク６１０は、再トレーニングされた機械学習モデル予測（例えば、ニューラル・ネットワーク予測（例えば、分類、回帰等））を提供することができる。
ここで図７を参照すると、ブロック図が、コンピューティング環境におけるテキスト・データについて、敵対者／敵対的システムに対しトレーニングされた機械学習モデルをセキュア化／保護するための例示的なシステムを示す。１つの態様において、図１～図６において記載されたコンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはその組合せのうちの１つまたは複数を図７において用いることができる。本明細書に記載の他の実施形態において用いられた類似のステップ／ブロック、要素、コンポーネント、モジュール、サービス、アプリケーションまたは機能あるいはその組合せの繰り返しの説明は、簡潔にするために省かれる。
示されるように、システム７００は、保護されたニューラル・ネットワーク７１０（例えば、強化された機械学習モデル・システム）を備え、これは、図１のクラウド・コンピューティング・ノード１０またはコンピューティング・システム１２あるいはその両方に含めるか、またはその外部とするか、あるいはその両方とすることができる。
ブロック７０５におけるように、保護されたニューラル・ネットワーク７１０は入力データを受信することができる。ブロック７０３におけるように、保護されたニューラル・ネットワーク７１０は、入力前処理層を加えて入力データを変更することができる。例えば、ブロック７０７において、保護されたニューラル・ネットワーク１０７は、圧縮、ガウス雑音、平滑化または特徴絞り込み、あるいはその組合せ等を用いて入力データを変更することができる。
ブロック７０１におけるように、トレーニングされた機械学習モデル（例えば、サポート・ベクトル・マシン「ＳＶＭ」等）をユーザによって提供することができるか、または自動化されたシステムによって作成することができる。
ブロック７０２におけるように、保護されたニューラル・ネットワーク７１０は、トレーニングされたニューラル・ネットワークを敵対的に再トレーニングすることができる（例えば、「敵対的再トレーニング」）。例えば、保護されたニューラル・ネットワーク７１０は、高速勾配法を用いて、Ｉ２ノルムεを用いてサンプルの敵対的トレーニングを行うことによって、トレーニングされたニューラル・ネットワークの敵対的再トレーニングを行い、出力の前に、場合によっては、例えば、各ミニ・バッチにおける敵対的サンプルの比を（例えば、その割合についてのコサイン・スケジュール等に従って）徐々に増大させる等の追加の尺度によって変更された、追加の隠れ層を加えることができる。
ブロック７０４におけるように、また、１つまたは複数の追加のニューラル・ネットワーク層を、トレーニングされたモデルの後に加えることができる。すなわち、保護されたニューラル・ネットワーク７１０は、出力後処理層を加え、出力確率の非単調非微分可能変換を生成することができる。ブロック７０６におけるように、保護されたニューラル・ネットワーク７１０は、再トレーニングされた機械学習モデル予測（例えば、ニューラル・ネットワーク予測（例えば、分類、回帰等））を提供することができる。
ここで図８を参照すると、示される実施形態の様々な態様を実施することができる、プロセッサを用いて、敵対者に対し機械学習モデルを強化するための入力前処理を学習するための方法８００を実施することができる。機能８００は、マシン上の命令として実行される方法として実施することができる、ここで、命令は、少なくとも１つのコンピュータ可読媒体または１つの非一過性機械可読ストレージ媒体に含まれる。機能８００はブロック８０２において開始することができる。
ブロック８０４におけるように、１つまたは複数のトレーニングされた機械学習モデルを受信することができる。ブロック８０６におけるように、１つまたは複数の敵対的保護プロトコルに基づいて、敵対的保護を含むように１つまたは複数のトレーニングされた機械学習モデルを再トレーニングすることができる。ブロック８０８におけるように、１つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルが提供される。ブロック８１０におけるように、機能８００は終了することができる。
１つの態様において、図８の少なくとも１つのブロックと併せてまたはその一部として、あるいはその両方で、８００の動作は以下の各々を含むことができる。８００の動作は、１つまたは複数のトレーニングされた機械学習モデルを受信し、１つまたは複数の敵対的保護プロトコルに基づいて敵対的保護を含むように１つまたは複数のトレーニングされた機械学習モデルを再トレーニングすることができる。
８００の動作は、１つもしくは複数の前処理層を１つもしくは複数のトレーニングされた機械学習モデルに加えることができ、敵対的保護強度の度合いが調整されるか、１つもしくは複数のニューラル・ネットワーク層を１つもしくは複数のトレーニングされた機械学習モデルに加えることができるか、または１つもしくは複数の後処理出力層を、１つもしくは複数の敵対的保護プロトコルに基づく敵対的保護を用いて再トレーニングされた、１つもしくは複数のトレーニングされた機械学習モデルに加えることができるか、あるいはその組合せを行うことができる。
８００の動作は、１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的保護プロトコルを自動的に実施するか、またはユーザから、１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的プロトコルを受信することができるか、あるいはその両方である。
８００の動作は、再トレーニングされている間、１つもしくは複数のトレーニングされた機械学習モデルの各状態をモニタリングおよび追跡することができるか、再トレーニング中に１つもしくは複数のトレーニングされた機械学習モデルに対するトレーニング崩壊を検出することができるか、または再トレーニング中の１つもしくは複数のトレーニングされた機械学習モデルの１つもしくは複数のロール・バック戦略を可能にすることができるか、あるいはその組合せを行うことができる。８００の動作は、敵対的攻撃からのセキュリティ・レベルを示す１つまたは複数の強化された機械学習モデルのためのセキュリティ・スコアを決定することができる。
本発明は、システム、コンピュータ実施方法またはコンピュータ・プログラム製品あるいはその組合せとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスによって用いるための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、限定ではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または上記の任意の適切な組合せとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストには以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録された溝内の隆起構造等の機械的に符号化されたデバイス、および上記の任意の適切な組合せが含まれる。本明細書において用いられるとき、コンピュータ可読ストレージ媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、または配線を介して送信される電気信号等の、一過性の信号自体であると解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワークあるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それらのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体への記憶のために転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラム言語等の従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、スタンドアロン・ソフトウェア・パッケージとして全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がユーザのコンピュータ上かつ一部がリモート・コンピュータ上で、または全体がコンピュータもしくはサーバ上で実行されてもよい。後者の場合、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを介してユーザのコンピュータに接続することができるか、または接続は（例えば、インターネット・サービス・プロバイダを用いてインターネットを通じて）外部コンピュータに対して行ってもよい。いくつかの実施形態では、本発明の態様を実行するために、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
本発明の態様について、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら本明細書において説明している。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実施する手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読ストレージ媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作の態様を実施する命令を含む製造品を含むように、コンピュータ可読媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して特定の方式で機能するように指示できるものであってもよい。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ実施プロセスを作り出すべくコンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の演算ステップを実行させるものであってもよい。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能性および動作を示す。なお、フローチャートまたはブロック図の各ブロックは、指定される論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表すことがある。いくつかの代替の実装形態では、ブロックに記載されている機能は、図に記載されている順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、関与する機能性に応じて、実際には実質的に同時に実行されてよく、またはそれらのブロックは場合によっては逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定される機能または動作を実行するか、または専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。

Claims (16)

  1. １つまたは複数のプロセッサによって、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するための方法であって、前記方法は、
    １つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルを提供することを含む、方法。
  2. 前記１つまたは複数のトレーニングされた機械学習モデルを受信することと、
    １つまたは複数の敵対的保護プロトコルに基づいて、前記敵対的保護を含むように前記１つまたは複数のトレーニングされた機械学習モデルを再トレーニングすることと、
    を更に含む、請求項１に記載の方法。
  3. １つまたは複数の前処理層を１つまたは複数のトレーニングされた機械学習モデルに加えることを更に含み、敵対的保護の強さの度合いが調整される、請求項１または２に記載の方法。
  4. １つまたは複数のニューラル・ネットワーク層を１つまたは複数のトレーニングされた機械学習モデルに加えることを更に含む、請求項１ないし３のいずれかに記載の方法。
  5. １つまたは複数の後処理出力層を前記１つまたは複数のトレーニングされた機械学習モデルに加えることを更に含み、前記１つまたは複数のトレーニングされた機械学習モデルは、１つまたは複数の敵対的保護プロトコルに基づいて前記敵対的保護により再トレーニングされる、請求項１ないし４のいずれかに記載の方法。
  6. 前記１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的保護プロトコルを自動的に実施すること、または
    ユーザから、前記１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的保護プロトコルを受信すること、
    を更に含む、請求項１ないし５のいずれかに記載の方法。
  7. 再トレーニングされている間、前記１つもしくは複数のトレーニングされた機械学習モデルの各状態をモニタリングおよび追跡すること、
    前記再トレーニング中の前記１つもしくは複数のトレーニングされた機械学習モデルに対するトレーニング崩壊を検出すること、または
    再トレーニング動作中、前記１つもしくは複数のトレーニングされた機械学習モデルについて１つもしくは複数のロール・バック戦略を可能にすること、
    を更に含む、請求項１ないし６のいずれかに記載の方法。
  8. コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するためのシステムであって、
    実行可能な命令を有する１つまたは複数のコンピュータを備え、前記実行可能な命令は、実行されると、前記システムに、
    １つまたは複数のトレーニングされた機械学習モデルに敵対的保護を加えることによって、敵対的攻撃に対しセキュア化された１つまたは複数の強化された機械学習モデルを提供させる、システム。
  9. 前記実行可能な命令は、
    前記１つまたは複数のトレーニングされた機械学習モデルを受信し、
    １つまたは複数の敵対的保護プロトコルに基づいて前記敵対的保護を含むように前記１つまたは複数のトレーニングされた機械学習モデルを再トレーニングする、
    請求項８に記載のシステム。
  10. 前記実行可能な命令は、１つまたは複数の前処理層を１つまたは複数のトレーニングされた機械学習モデルに加え、敵対的保護の強さの度合いが調整される、請求項８または９に記載のシステム。
  11. 前記実行可能な命令は、１つまたは複数のニューラル・ネットワーク層を１つまたは複数のトレーニングされた機械学習モデルに加える、請求項８ないし１０のいずれかに記載のシステム。
  12. 前記実行可能な命令は、１つまたは複数の後処理出力層を前記１つまたは複数のトレーニングされた機械学習モデルに加え、前記１つまたは複数のトレーニングされた機械学習モデルは、１つまたは複数の敵対的保護プロトコルに基づいて前記敵対的保護により再トレーニングされる、請求項８ないし１１のいずれかに記載のシステム。
  13. 前記実行可能な命令は、
    前記１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的保護プロトコルを自動的に実施するか、または
    ユーザから、前記１つもしくは複数の強化された機械学習モデルを提供するために用いられる１つもしくは複数の敵対的保護プロトコルを受信する、請求項８ないし１２のいずれかに記載のシステム。
  14. 前記実行可能な命令は、
    再トレーニングされている間、前記１つもしくは複数のトレーニングされた機械学習モデルの各状態をモニタリングおよび追跡するか、
    前記再トレーニング中の前記１つもしくは複数のトレーニングされた機械学習モデルに対するトレーニング崩壊を検出するか、または
    再トレーニング動作中、前記１つもしくは複数のトレーニングされた機械学習モデルについて１つもしくは複数のロール・バック戦略を可能にする、請求項８ないし１３のいずれかに記載のシステム。
  15. １つまたは複数のプロセッサによって、コンピューティング環境におけるトレーニングされた機械学習モデルをセキュア化するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、
    処理回路によって読み出し可能であり、請求項１ないし７のいずれかに記載の方法を実行するための、前記処理回路による実行のための命令を記憶する、コンピュータ可読ストレージ媒体を備える、コンピュータ・プログラム製品。
  16. コンピュータ可読媒体上に記憶され、デジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されるとき、請求項１ないし７のいずれかに記載の方法を実行するためのソフトウェア・コード部分を備える、コンピュータ・プログラム。
JP2022521116A 2019-10-14 2020-10-12 トレーニングされた機械学習モデルへの敵対的ロバスト性の追加 Pending JP2022552243A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/601,451 US11334671B2 (en) 2019-10-14 2019-10-14 Adding adversarial robustness to trained machine learning models
US16/601,451 2019-10-14
PCT/IB2020/059559 WO2021074770A1 (en) 2019-10-14 2020-10-12 Adding adversarial robustness to trained machine learning models

Publications (2)

Publication Number Publication Date
JP2022552243A true JP2022552243A (ja) 2022-12-15
JPWO2021074770A5 JPWO2021074770A5 (ja) 2022-12-22

Family

ID=75383118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521116A Pending JP2022552243A (ja) 2019-10-14 2020-10-12 トレーニングされた機械学習モデルへの敵対的ロバスト性の追加

Country Status (7)

Country Link
US (1) US11334671B2 (ja)
JP (1) JP2022552243A (ja)
KR (1) KR20220054812A (ja)
CN (1) CN114503108A (ja)
AU (1) AU2020368222B2 (ja)
GB (1) GB2604791B (ja)
WO (1) WO2021074770A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021010468A2 (pt) * 2018-12-31 2021-08-24 Intel Corporation Sistemas de segurança que empregam inteligência artificial
US11675896B2 (en) * 2020-04-09 2023-06-13 International Business Machines Corporation Using multimodal model consistency to detect adversarial attacks
US20220114259A1 (en) * 2020-10-13 2022-04-14 International Business Machines Corporation Adversarial interpolation backdoor detection
US11785024B2 (en) * 2021-03-22 2023-10-10 University Of South Florida Deploying neural-trojan-resistant convolutional neural networks
IL307781A (en) * 2021-04-19 2023-12-01 Deepkeep Ltd Device, system and method for protecting machine learning, artificial intelligence, and deep learning units
EP4348508A1 (en) * 2021-05-31 2024-04-10 Microsoft Technology Licensing, LLC Merging models on an edge server
US20230134546A1 (en) * 2021-10-29 2023-05-04 Oracle International Corporation Network threat analysis system
CN114355936A (zh) * 2021-12-31 2022-04-15 深兰人工智能(深圳)有限公司 智能体的控制方法、装置、智能体及计算机可读存储介质
CN114694222B (zh) * 2022-03-28 2023-08-18 马上消费金融股份有限公司 图像处理方法、装置、计算机设备及存储介质
GB2621838A (en) * 2022-08-23 2024-02-28 Mindgard Ltd Method and system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150134966A1 (en) 2013-11-10 2015-05-14 Sypris Electronics, Llc Authentication System
US9619749B2 (en) 2014-03-06 2017-04-11 Progress, Inc. Neural network and method of neural network training
US20160321523A1 (en) 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
WO2017120336A2 (en) 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US20180005136A1 (en) 2016-07-01 2018-01-04 Yi Gai Machine learning in adversarial environments
US11526601B2 (en) 2017-07-12 2022-12-13 The Regents Of The University Of California Detection and prevention of adversarial deep learning
CN107390949B (zh) * 2017-09-13 2020-08-07 广州视源电子科技股份有限公司 获取触摸屏基准资料的方法和装置、存储介质及触摸显示系统
CN108304858B (zh) 2017-12-28 2022-01-04 中国银联股份有限公司 对抗样本识别模型生成方法、验证方法及其系统
US11315012B2 (en) 2018-01-12 2022-04-26 Intel Corporation Neural network training using generated random unit vector
CN108099598A (zh) 2018-01-29 2018-06-01 三汽车起重机械有限公司 用于起重机的驱动装置及起重机
US11562244B2 (en) * 2018-02-07 2023-01-24 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN108322349B (zh) 2018-02-11 2021-04-06 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108537271B (zh) 2018-04-04 2021-02-05 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108615048B (zh) 2018-04-04 2020-06-23 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法
CA3043809A1 (en) * 2018-05-17 2019-11-17 Royal Bank Of Canada System and method for machine learning architecture with adversarial attack defence
US10861439B2 (en) * 2018-10-22 2020-12-08 Ca, Inc. Machine learning model for identifying offensive, computer-generated natural-language text or speech
US20200125928A1 (en) * 2018-10-22 2020-04-23 Ca, Inc. Real-time supervised machine learning by models configured to classify offensiveness of computer-generated natural-language text
US11526746B2 (en) * 2018-11-20 2022-12-13 Bank Of America Corporation System and method for incremental learning through state-based real-time adaptations in neural networks
US11481617B2 (en) * 2019-01-22 2022-10-25 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
EP3944159A1 (en) * 2020-07-17 2022-01-26 Tata Consultancy Services Limited Method and system for defending universal adversarial attacks on time-series data

Also Published As

Publication number Publication date
KR20220054812A (ko) 2022-05-03
GB2604791B (en) 2024-03-13
GB2604791A (en) 2022-09-14
US20210110045A1 (en) 2021-04-15
CN114503108A (zh) 2022-05-13
GB202207000D0 (en) 2022-06-29
US11334671B2 (en) 2022-05-17
WO2021074770A1 (en) 2021-04-22
AU2020368222B2 (en) 2023-11-23
AU2020368222A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP2022552243A (ja) トレーニングされた機械学習モデルへの敵対的ロバスト性の追加
US10909327B2 (en) Unsupervised learning of interpretable conversation models from conversation logs
US11681796B2 (en) Learning input preprocessing to harden machine learning models
US11397891B2 (en) Interpretability-aware adversarial attack and defense method for deep learnings
US11176508B2 (en) Minimizing compliance risk using machine learning techniques
US11803657B2 (en) Generation of representative data to preserve membership privacy
US20190065284A1 (en) Hybrid acceleration in a processing environment
US11625487B2 (en) Framework for certifying a lower bound on a robustness level of convolutional neural networks
US20220358358A1 (en) Accelerating inference of neural network models via dynamic early exits
US11836220B2 (en) Updating of statistical sets for decentralized distributed training of a machine learning model
US20210064982A1 (en) Cross-domain homophily quanitifcation for transfer learning
US11741296B2 (en) Automatically modifying responses from generative models using artificial intelligence techniques
US11573785B2 (en) Predicting code vulnerabilities using machine learning classifier models trained on internal analysis states
US20210216858A1 (en) Training machine learning systems
US11321611B2 (en) Deployment verification of authenticity of machine learning results
US11164078B2 (en) Model matching and learning rate selection for fine tuning
US20230169176A1 (en) Graph exploration framework for adversarial example generation
US20220335217A1 (en) Detecting contextual bias in text
US20220156297A1 (en) Efficient and compact text matching system for sentence pairs
CN114424216A (zh) 域特定模型压缩
US20240037439A1 (en) Quantum system selection via coupling map comparison
US20220198268A1 (en) Estimated online hard negative mining via probabilistic selection and scores history consideration
US20220398452A1 (en) Supervised similarity learning for covariate matching and treatment effect estimation via self-organizing maps
US11763082B2 (en) Accelerating inference of transformer-based models
US20230325469A1 (en) Determining analytical model accuracy with perturbation response

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402